高反光表面三维面形测量方法、服务器及系统
阅读：698发布：2020-05-12
专利汇可以提供高反光表面三维面形测量方法、服务器及系统专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供了一种高反光表面三维面形测量方法、 服务器 及系统，采用第一被测物体表面 图像序列 确定最佳投影灰度值，可以解决高反光表面三维测量过程中容易产生的局部过曝光难题，而且根据第二被测物体表面图像以及解 相位 算法 ，可在降低整体投影强度下对图像投影设备和 图像采集 设备进行坐标匹配，并根据最佳投影灰度值生成的自适应光栅条纹图像，投影条纹图像数量更少，操作更为简便，运算量小，投影至被测物体表面可以使 三维重建 时不会出现过曝光区域点 云 缺失现象，相较于传统方法所生成的自适应条纹，具有更好的调制度和 对比度 ，进而保证了三维重建得到的被测物体表面面形的测量 精度 和测量速度。，下面是高反光表面三维面形测量方法、服务器及系统专利的具体信息内容。
1.一种高反光表面三维面形测量方法，其特征在于，包括：
基于第一被测物体表面图像序列，确定最佳投影灰度值；所述第一被测物体表面图像序列由向被测物体表面投影均匀灰度图像序列后得到；
基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；所述第二被测物体表面图像由向所述被测物体表面投影正交正弦光栅图像后得到；
基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。
2.根据权利要求1所述的高反光表面三维面形测量方法，其特征在于，所述基于所述第一被测物体表面图像序列，确定最佳投影灰度值，具体包括：
分别基于图像阈值分割方法和反二进制阈值化方法，对所述第一被测物体表面图像序列进行处理，得到有效均匀灰度图像序列和有效掩模图像序列；
将所述有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，并确定所述投影图像中的最大灰度值；
基于插值预测快速查找算法以及所述最大灰度值，确定所述最佳投影灰度值。
3.根据权利要求2所述的高反光表面三维面形测量方法，其特征在于，将所述有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，具体包括：
将所述有效均匀灰度图像序列中的每个均匀灰度图像与所述有效掩模图像序列中对应位置的掩模图像分别进行相乘；
将所有相乘结果进行相加，生成所述投影图像。
4.根据权利要求1所述的高反光表面三维面形测量方法，其特征在于，所述基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，具体包括：
基于所述解相位算法，确定所述第二被测物体表面图像中的横向相位和纵向相位；
基于所述横向相位和所述纵向相位，确定所述正交正弦光栅图像中的像素坐标与所述第二被测物体表面图像中的像素坐标之间的对应关系。
5.根据权利要求4所述的高反光表面三维面形测量方法，其特征在于，所述基于所述最佳投影灰度值，生成自适应光栅条纹图像，具体包括：
基于所述最佳投影灰度值，采用如下公式生成自适应光栅条纹图像：
其中，Ii(u,v)为所述自适应光栅条纹图像中的第i个条纹图像，1≤i≤N，N为所述自适应光栅条纹图像中包含的条纹图案数量，u为所述横向相位，v为所述纵向相位，xideal为所述最佳投影灰度值， 为所述横向相位和所述纵向相位构成的相位主值， 为所述第i个条纹图像的相移步长。
6.根据权利要求1-5中任一项所述的高反光表面三维面形测量方法，其特征在于，所述解相位算法具体包括：外差式多频相移法。
7.一种高反光表面三维面形测量服务器，其特征在于，包括：
最佳投影灰度值确定模块，用于获取被测物体表面的第一被测物体表面图像序列，并基于所述第一被测物体表面图像序列，确定最佳投影灰度值；所述第一被测物体表面图像序列由向被测物体表面投影均匀灰度图像序列后得到；
自适应光栅条纹图像生成模块，用于获取所述被测物体表面的第二被测物体表面图像，基于解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；所述第二被测物体表面图像由向所述被测物体表面投影正交正弦光栅图像后得到；
三维重建模块，用于基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。
8.一种高反光表面三维面形测量系统，其特征在于，包括：图像投影设备、图像采集设备以及如权利要求7所述的高反光表面三维面形测量服务器；所述图像投影设备和所述图像采集设备均与所述高反光表面三维面形测量服务器通信连接；
所述图像投影设备用于向被测物体表面投影均匀灰度图像序列以及正交正弦光栅图像；
所述图像采集设备用于采集所述被测物体表面的第一被测物体表面图像序列和第二被测物体表面图像；
其中，所述第一被测物体表面图像在所述图像投影设备向所述被测物体表面投影所述均匀灰度图像序列后得到，所述第二被测物体表面图像在所述图像投影设备向所述被测物体表面投影所述正交正弦光栅图像后得到。
9.一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的高反光表面三维面形测量方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的高反光表面三维面形测量方法的步骤。
高反光表面三维面形测量方法、服务器及系统
技术领域
[0001] 本发明涉及三维面形测量技术领域，更具体地，涉及高反光表面三维面形测量方法、服务器及系统。
背景技术
[0002] 相移条纹投影技术由于具有全场获取、非接触式、低成本、高精度和快速数据处理等优势，现已广泛地应用于学术研究和工业领域。基于数字投影仪(Digitial Light Processing，DLP)与数字相机的数字投影光栅技术也被越来越多地用于高精度的光学三维测量中。
[0003] 然而，实际的测量过程中，由于被测物体材质不同，其表面会具有不同反射特性，光栅条纹的调制效果会受到不同程度的影响。其中，物体表面高反射率造成的图像过饱和是对相位获取和最终三维重建结果产生影响的因素之一。目前，高反光物体的三维面形测量方法主要分为多相机或多视角拍摄法、改进的基于编码方案重建法、高动态范围成像法、多重曝光法和添加辅助硬件法等。
发明内容
[0005] 为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种高反光表面三维面形测量方法、服务器及系统。
[0006] 第一方面，本发明实施例提供了一种高反光表面三维面形测量方法，包括：
[0007] 基于第一被测物体表面图像序列，确定最佳投影灰度值；所述第一被测物体表面图像序列由向被测物体表面投影均匀灰度图像序列后得到；
[0008] 基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；所述第二被测物体表面图像由向所述被测物体表面投影正交正弦光栅图像后得到；
[0009] 基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。
[0010] 所述基于所述第一被测物体表面图像序列，确定最佳投影灰度值，具体包括：
[0011] 分别基于图像阈值分割方法和反二进制阈值化方法，对所述第一被测物体表面图像序列进行处理，得到有效均匀灰度图像序列和有效掩模图像序列；
[0012] 将所述有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，并确定所述投影图像中的最大灰度值；
[0013] 基于插值预测快速查找算法以及所述最大灰度值，确定所述最佳投影灰度值。
[0014] 优选地，所述将所述有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，具体包括：
[0015] 将所述有效均匀灰度图像序列中的每个均匀灰度图像与所述有效掩模图像序列中对应位置的掩模图像分别进行相乘；
[0016] 将所有相乘结果进行相加，生成所述投影图像。
[0017] 优选地，所述基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，具体包括：
[0018] 基于所述解相位算法，确定所述第二被测物体表面图像中的横向相位和纵向相位；
[0020] 优选地，所述基于所述最佳投影灰度值，生成自适应光栅条纹图像，具体包括：
[0021] 基于所述最佳投影灰度值，采用如下公式生成自适应光栅条纹图像：
[0022]
[0023] 其中，Ii(u,v)为所述自适应光栅条纹图像中的第i个条纹图像，1≤i≤N，N为所述自适应光栅条纹图像中包含的条纹图案数量，u为所述横向相位，v为所述纵向相位，xideal为所述最佳投影灰度值， 为所述横向相位和所述纵向相位构成的相位主值， 为所述第i个条纹图像的相移步长。
[0024] 优选地，所述解相位算法具体包括：外差式多频相移法。
[0025] 第二方面，本发明实施例提供了一种高反光表面三维面形测量服务器，包括：最佳投影灰度值确定模块、自适应光栅条纹图像生成模块和三维重建模块。其中，
[0026] 最佳投影灰度值确定模块用于获取被测物体表面的第一被测物体表面图像序列，并基于所述第一被测物体表面图像序列，确定最佳投影灰度值；所述第一被测物体表面图像序列由向被测物体表面投影均匀灰度图像序列后得到；
[0027] 自适应光栅条纹图像生成模块用于获取所述被测物体表面的第二被测物体表面图像，基于解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；所述第二被测物体表面图像由向所述被测物体表面投影正交正弦光栅图像后得到；
[0028] 三维重建模块用于基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。
[0029] 第三方面，本发明实施例提供了一种高反光表面三维面形测量系统，包括：图像投影设备、图像采集设备以及如第二方面所述的高反光表面三维面形测量服务器；所述图像投影设备和所述图像采集设备均与所述高反光表面三维面形测量服务器通信连接；
[0030] 所述图像投影设备用于向被测物体表面投影均匀灰度图像序列以及正交正弦光栅图像；
[0031] 所述图像采集设备用于采集所述被测物体表面的第一被测物体表面图像序列和第二被测物体表面图像；
[0032] 其中，所述第一被测物体表面图像在所述图像投影设备向所述被测物体表面投影所述均匀灰度图像序列后得到，所述第二被测物体表面图像在所述图像投影设备向所述被测物体表面投影所述正交正弦光栅图像后得到。
[0033] 第四方面，本发明实施例提供了一种电子设备，包括：
[0035] 所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
[0036] 所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行第一方面提供的高反光表面三维面形测量方法。
[0037] 第五方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的高反光表面三维面形测量方法。
[0038] 本发明实施例提供的一种高反光表面三维面形测量方法、服务器及系统，首先基于第一被测物体表面图像序列，确定最佳投影灰度值；然后基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；最后基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。本发明实施例中，采用第一被测物体表面图像序列确定最佳投影灰度值，可以解决高反光表面三维测量过程中容易产生的局部过曝光难题，而且根据第二被测物体表面图像以及解相位算法，可在降低整体投影强度下对图像投影设备和图像采集设备进行坐标匹配，并根据最佳投影灰度值生成的自适应光栅条纹图像，投影条纹图像数量更少，操作更为简便，运算量小，投影至被测物体表面可以使三维重建时不会出现过曝光区域点云缺失现象，相较于传统方法所生成的自适应条纹，具有更好的调制度和对比度，进而保证了三维重建得到的被测物体表面面形的测量精度和测量速度。附图说明
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040] 图1为本发明实施例提供的一种高反光表面三维面形测量方法的流程示意图；
[0041] 图2为本发明实施例提供的一种高反光表面三维面形测量方法中自适应条纹的投影技术原理结构示意图；
[0042] 图3为本发明实施例提供的一种高反光表面三维面形测量方法中图像投影设备和图像采集设备的匹配过程的流程示意图；
[0043] 图4为本发明实施例提供的一种高反光表面三维面形测量服务器的结构示意图；
[0044] 图5为本发明实施例提供的一种高反光表面三维面形测量系统的结构示意图；
[0045] 图6为本发明实施例提供的一种电子设备的结构示意图；
[0046] 图7为本发明实施例提供的一种高反光表面三维面形测量方法中融合成投影图像的流程示意图；
[0047] 图8(a)为采用传统方法得到的自适应光栅条纹图像；
[0048] 图8(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的自适应光栅条纹图像；
[0049] 图9为本发明实施例提供的一种高反光表面三维面形测量方法中的相位展开图；
[0050] 图10(a)为采用传统方法得到的三维重建结构；
[0051] 图10(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的三维重建结构；
[0052] 图11(a)为采用传统方法得到的三维点云深度图；
[0053] 图11(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的三维点云深度图。
具体实施方式
[0054] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055] 如图1所示，本发明实施例提供了一种高反光表面三维面形测量方法，包括：
[0056] S1，基于第一被测物体表面图像序列，确定最佳投影灰度值；所述第一被测物体表面图像序列由向被测物体表面投影均匀灰度图像序列后得到；
[0057] S2，基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；所述第二被测物体表面图像由向所述被测物体表面投影正交正弦光栅图像后得到；
[0058] S3，基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。
[0059] 具体地，本发明实施例中提供的是一种基于自适应条纹的高反光表面三维面形测量方法，是利用自适应条纹投影技术实现高反光物体表面三维面形测量。根据被测物体表面的反射率自适应调整光栅条纹灰度值来避免采集图像饱和并保持高强度的调制。这里的“自适应”是指针对具有较大反射率变化的高反光物体三维面形测量，能够计算出投影的光栅条纹图像中每个像素的最佳投影灰度值。其技术原理如图2所示，图2中由服务器21将计算得到的自适应光栅条纹图像发送至图像投影设备22，由图像投影设备22向被测物体表面23投影自适应光栅条纹图像，并由图像采集设备24采集被测物体表面图像，最后由图像采集设备24采集到的被测物体表面图像发送至服务器21进行相位计算以及三维重建。利用计算得到的自适应光栅条纹图像投影至被测物体表面，使图像采集设备采集的正弦条纹图案不发生饱和，以该调制度高且不饱和的正弦条纹图进行相位解算可获得高精度的相位结果。其中，服务器21具体可以是电脑，图像投影设备22具体可以是投影仪，图像采集设备24具体可以是相机，本发明实施例中对此不作具体限定。
[0060] 而本发明实施例中提供的高反光表面三维面形测量方法，其执行主体为服务器21，首先执行步骤S1，服务器21基于第一被测物体表面图像序列，确定最佳投影灰度值。在此之前，服务器21通过图像投影设备22向被测物体表面投影均匀灰度图像序列，并通过图像采集设备24采集投影均匀灰度图像序列后的被测物体表面图像，即得到第一被测物体表面图像序列。均匀灰度图像序列是指由多个均匀灰度图像构成的图像序列，例如光栅图像序列，则是由多个均匀灰度的条纹图像形成。图像采集设备24将得到的第一被测物体表面图像序列发送至服务器21。服务器21收到第一被测物体表面图像序列，可以分别对第一被测物体表面图像序列进行两种不同处理，然后将两种不同处理得到的结果进行图像融合，进而确定出最佳投影灰度值。
[0061] 然后执行步骤S2，服务器21基于第二被测物体表面图像以及解相位算法，对图像投影设备22和图像采集设备23进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像。在此之前，服务器21通过图像投影设备22向被测物体表面投影正交正弦光栅图像，并通过图像采集设备24采集投影正交正弦光栅图像后的被测物体表面图像，即得到第二被测物体表面图像。图像采集设备24将得到的第二被测物体表面图像发送至服务器21。服务器21收到第二被测物体表面图像，利用解相位算法，求解第二被测物体表面图像的相位信息，相位信息即表示图像投影设备的坐标信息，而由于相位信息中还包含有图像采集设备的坐标信息，因此通过解相位算法，即可实现对图像投影设备和图像采集设备的坐标匹配。本发明实施例中，对图像投影设备和图像采集设备的进行坐标匹配的过程，也是确定二者坐标对应的关系的过程。在此基础上，可以结合最佳投影灰度值，生成用于向被测物体表面投影且实现三维重建的自适应光栅条纹图像。
[0062] 最后，执行步骤S3，根据生成的自适应光栅条纹图像，结合标定得到的相关参数，采用解相位算法解算即可得到被测物体表面的三维坐标，实现对被测物体表面的三维重建。即通过图像投影设备向被测物体表面投影自适应光栅条纹图像，由图像采集设备进行采集并传输至服务器，服务器则对自适应光栅条纹图像进行相位计算以及被测物体表面的三维重建。
[0063] 本发明实施例中提供的高反光表面三维面形测量方法，首先基于第一被测物体表面图像序列，确定最佳投影灰度值；然后基于第二被测物体表面图像以及解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；最后基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。本发明实施例中，采用第一被测物体表面图像序列确定最佳投影灰度值，可以解决高反光表面三维测量过程中容易产生的局部过曝光难题，而且根据第二被测物体表面图像以及解相位算法，可在降低整体投影强度下对图像投影设备和图像采集设备进行坐标匹配，并根据最佳投影灰度值生成的自适应光栅条纹图像，投影条纹图像数量更少，操作更为简便，运算量小，投影至被测物体表面可以使三维重建时不会出现过曝光区域点云缺失现象，相较于传统方法所生成的自适应条纹，具有更好的调制度和对比度，进而保证了三维重建得到的被测物体表面面形的测量精度和测量速度。
[0064] 在上述实施例的基础上，本发明实施例中提供的高反光表面三维面形测量方法，所述基于所述第一被测物体表面图像序列，确定最佳投影灰度值，具体包括：
[0065] 分别基于图像阈值分割方法和反二进制阈值化方法，对所述第一被测物体表面图像序列进行处理，得到有效均匀灰度图像序列和有效掩模图像序列；
[0066] 将所述有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，并确定所述投影图像中的最大灰度值；
[0067] 基于插值预测快速查找算法以及所述最大灰度值，确定所述最佳投影灰度值。
[0068] 具体地，本发明实施例中，采用图像融合的方法获得求取最佳投影灰度值所需的饱和阈值，结合插值预测查找算法求得最佳投影灰度值。首先，投影一系列不同均匀灰度值的图像序列，即均匀灰度图像序列至被测物体表面，并由图像采集设备采集对应的灰度图像。在不同亮度的条纹投影下，只有使该灰度图像都不会出现过饱和才是最佳投影灰度值。首先，根据图像阈值分割方法对第一被测物体表面图像序列进行处理，得到有效均匀灰度图像序列。根据反二进制阈值化方法对第一被测物体表面图像进行处理，得到有效掩模图像序列。
[0069] 设本发明实施例中采用的均匀灰度图像序列为：Pi＝255-K×(i-1),i＝1,2,…N，K为步长，N为均匀灰度图像序列中包含的均匀灰度图像的数量。对应的灰度图像分别为Ii，i＝1,2,…N。图像采集设备采集得到的第一被测物体表面图像序列为Ik(uc,vc)，k＝1,2,…N。其中，i与k一一对应。投影强度最初设置为最高灰度值255。所有的图像像素会随着降低投影强度和恒定的步长K来达到不饱和状态。
[0070] 运用图像阈值分割方法，即反阈值化为0，求取有效均匀灰度图像序列Gi(uc,vc)，i＝1,2,…N可表示为：
[0071]
[0072] 其中，thresh表示设定的分割阈值。
[0073] 运用反二进制阈值化方法，求取有效掩模图像序列Mi(uc,vc)，i＝1,2,…N。它是一个二进制矩阵，将用于后续的图像融合。可表示为：
[0074]
[0075] 其中，取maxval＝1，实现反二进制阈值化。序列像素的最佳灰度值是图像采集设备采集得到的第一被测物体表面图像序列Ik(uc,vc)中所对应的最大不饱和像素点灰度值。
[0076] 然后，将有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，并确定所述投影图像中的最大灰度值。具体合成的方式可以将有效均匀灰度图像序列中的均匀灰度图像与有效掩模图像序列中对应位置的掩模图像一对一进行处理后相加得到。投影图像中的最大灰度值是投影图像中取值最大的灰度值，由于阈值分割算法的不足和过曝区域边缘像素点的信息获取有部分缺失，因此该投影图像中的最大灰度值并不是最终自适应条纹投影图案的最佳灰度值，但是可以作为求取最佳投影灰度值所需的饱和阈值。
[0077] 考虑到，相机-投影仪灰度响应曲线：
[0078] Icam(x,y)＝k1Ipro(u,v)+k2+In (3)
[0079] 式中，Icam(x,y)为图像采集设备采集的图像灰度值，Ipro(u,v)为图像投影设备的图像灰度值，k1为图像采集设备、图像投影设备以及被测物体对于投影强度的调制系数，k2表示在特定测量情况下的环境光等因素对于投影强度的调制系数，In为噪声强度。对于特定的被测物体与测量环境，若反射率、环境光、噪声等不变，图像采集设备参数、图像投影设备参数、投影图像共同决定了图像采集设备采集图像的灰度值。公式(3)为y＝f(x)的线性函数，它的定义域与值域均为有限且有序的数集，因此本发明实施例中采用插值预测快速查找算法来解决。
[0080] 插值预测快速查找算法为了达到动态预测的目的，利用拉格朗日插值多项式L(x)来对数列中间mid值进行预测，求取公式如下：
[0081]
[0082]
[0083] 其中，low和high取决于图像分辨率大小，A[ylow]为灰度值数组中最小值，A[yhigh]为灰度值数组中最大值，x为目标元素，A给定数组。令目标元素x＝ymax，将x与数列中间元素的mid值作比较，运用二分法查找，不断迭代即可求得最佳投影灰度值xideal。
[0084] 在上述实施例的基础上，本发明实施例中提供的高反光表面三维面形测量方法，所述将所述有效均匀灰度图像序列和所述有效掩模图像序列进行合成，生成投影图像，具体包括：
[0085] 将所述有效均匀灰度图像序列中的每个均匀灰度图像与所述有效掩模图像序列中对应位置的掩模图像分别进行相乘；
[0086] 将所有相乘结果进行相加，生成所述投影图像。
[0087] 具体地，本发明实施例中，在生成投影图像时，具体采用合成的方式可以使先将有效均匀灰度图像序列中的每个均匀灰度图像与有效掩模图像序列中对应位置的掩模图像分别进行相乘，然后对得到的所有相乘结果进行相加，如公式(7)所示：
[0088]
[0089] 其中，H(uc,vc)为投影图像。
[0090] 在上述实施例的基础上，本发明实施例中提供的高反光表面三维面形测量方法，所述基于解相位算法，对图像投影设备和图像采集设备进行坐标匹配，具体包括：
[0091] 基于所述解相位算法，确定所述第二被测物体表面图像中的横向相位和纵向相位；
[0092] 基于所述横向相位和所述纵向相位，确定所述正交正弦光栅图像中的像素坐标与所述第二被测物体表面图像中的像素坐标之间的对应关系。
[0093] 具体地，本发明实施例中，由图像投影设备向被测物体表面投影正交正弦光栅图像，并计算逐像素相位实现相机与投影仪坐标匹配。由图像采集设备采集经被测物体表面调制的第二被测物体表面图像，利用解相位算法求得横向相位 与纵向相位解算出来的相位中包含相机像素坐标(x,y)对应的投影图像坐标(u,v)信息。如公式(8)和(9)所示，横纵相位直接对应于投影仪的横纵坐标。
[0094]
[0095]
[0096] 其中，横向相位 和纵向相位 具体可以通过外差式多频相移法求得。Nv和Nh分别是第二被测物体表面图像中横向光栅条纹和纵向光栅条纹的周期数，也即自适应光栅条纹图像中横向光栅条纹和纵向光栅条纹的周期数，W和H分别是第二被测物体表面图像的宽和高，也即自适应光栅条纹图像的宽和高。图像投影设备和图像采集设备的匹配过程如图3所示，图3中分别正交正弦光栅图像中的横向光栅条纹图像31和纵向光栅条纹图像32，计算出横向光栅条纹图像中包含的横向相位33和纵向相位34，最终由横向相位33和纵向相位34进行融合，得到调制条纹35(即第二被测物体表面图像中的条纹)，最终得到自适应光栅条纹36。从正交正弦光栅图像中求得横向相位和纵向相位，利用相位计算对应的投影坐标即可得到匹配结果。最后，由标定得到的相关参数解算即可得到被测物体的三维坐标。
[0097] 在上述实施例的基础上，本发明实施例中提供的高反光表面三维面形测量方法，所述基于所述最佳投影灰度值，生成自适应光栅条纹图像，具体包括：
[0098] 基于所述最佳投影灰度值，采用如下公式生成自适应光栅条纹图像：
[0099]
[0100] 其中，Ii(u,v)为所述自适应光栅条纹图像中的第i个条纹图像，1≤i≤N，N为所述自适应光栅条纹图像中包含的条纹图案数量，u为所述横向相位，v为所述纵向相位，xideal为所述最佳投影灰度值， 为所述横向相位和所述纵向相位构成的相位主值， 为所述第i个条纹图像的相移步长。
[0101] 具体地，本发明实施例中，考虑轮廓像素提取的复杂度，降低整体的投影强度，在低灰度不饱和的测量情况下进行有效的坐标匹配。根据得到的所需低投影强度xideal，该强度满足在相机动态范围内，即相机图像最高灰度值不会出现饱和现象，再利用公式(9)生成自适应光栅条纹图像，即得到经过投影强度调整的投影条纹图案。
[0102] 在上述实施例的基础上，本发明实施例中提供的高反光表面三维面形测量方法，所述解相位算法具体包括：外差式多频相移法。
[0103] 以下为本发明实施例中提供的高反光表面三维面形测量方法的完整流程：首先，开始进行测量，投影均匀灰度图像序列，即投射一定数目均匀灰度图像序列至被测物体表面，经图像采集设备采集后求取有效均匀灰度图像序列与有效掩模图像序列。其次，由有效掩模图像序列提取有效均匀灰度图像序列重新计算每个像素灰度值并合成投影图像，投影图像中的最大灰度值即为所需饱和阈值。然后，根据饱和阈值大小结合插值预测快速查找算法确定最佳投影灰度值。随后，投射正交正弦光栅图像，即水平与垂直的条纹图像序列，在低投影强度下采集经被测物体调制的条纹图像计算横向相位和纵向相位进行图像采集设备与图像投影设备直接的坐标匹配。最后，投射自适应光栅条纹图像至被测物体，并利用外差式多频相移法进行相位计算和三维重建。
[0104] 如图4所示，在上述实施例的基础上，本发明实施例中提供了一种高反光表面三维面形测量服务器，包括：最佳投影灰度值确定模块41、自适应光栅条纹图像生成模块42和三维重建模块43。其中，
[0105] 最佳投影灰度值确定模块41用于获取被测物体表面的第一被测物体表面图像，并基于所述第一被测物体表面图像，确定最佳投影灰度值；所述第一被测物体表面图像由向被测物体表面投影均匀灰度图像序列后得到；
[0106] 自适应光栅条纹图像生成模块42用于获取所述被测物体表面的第二被测物体表面图像，基于解相位算法，对图像投影设备和图像采集设备进行坐标匹配，并基于所述最佳投影灰度值，生成自适应光栅条纹图像；所述第二被测物体表面图像由向所述被测物体表面投影正交正弦光栅图像后得到；
[0107] 三维重建模块43用于基于所述自适应光栅条纹图像，进行相位计算和所述被测物体表面的三维重建。
[0108] 具体地，本发明实施例中提供的高反光表面三维面形测量服务器中各模块的作用与上述方法类实施例中各步骤的处理流程是一一对应的，实现的效果也是一致的，本发明实施例中对此不再赘述。
[0109] 如图5所示，在上述实施例的基础上，本发明实施例中提供了一种高反光表面三维面形测量系统，包括：图像投影设备51、图像采集设备52以及上述服务器实施例中所述的高反光表面三维面形测量服务器53；图像投影设备51和图像采集设备52均与高反光表面三维面形测量服务器53通信连接。
[0110] 所述图像投影设备51用于向被测物体表面投影均匀灰度图像序列以及正交正弦光栅图像；
[0111] 所述图像采集设备52用于采集所述被测物体表面的第一被测物体表面图像和第二被测物体表面图像；
[0112] 其中，所述第一被测物体表面图像在所述图像投影设备51向所述被测物体表面投影所述均匀灰度图像序列后得到，所述第二被测物体表面图像在所述图像投影设备51向所述被测物体表面投影所述正交正弦光栅图像后得到。
[0113] 如图6所示，在上述实施例的基础上，本发明实施例中提供了一种电子设备，包括：处理器(processor)601、存储器(memory)602、通信接口(Communications Interface)603和总线604；其中，
[0114] 所述处理器601、存储器602、通信接口603通过总线604完成相互间的通信。所述存储器602存储有可被所述处理器601执行的程序指令，处理器601用于调用存储器602中的程序指令，以执行上述各方法实施例所提供的方法。
[0115] 存储器602中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116] 在上述实施例的基础上，本发明实施例中提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法类实施例中所述的高反光表面三维面形测量方法的步骤。
[0117] 以下对本发明实施例中提供的高反光表面三维面形测量方法，进行实验与结果分析。
[0118] 实验中基于图5所示的结构搭建了一套高反光表面三维面形测量系统，该系统由计算机、相机和数字投影仪组成。投影仪型号为数字投影仪DLP4500，可实现RGB三通道投影，有效分辨率为1140pixels×912pixels，可实现高速图案投射。相机为Grasshopper3GS3-U3-32S4M灰点数字相机，最大分辨率为2048pxiel×1536pixel，其最大帧频可达到121fps。对测量系统的非线性误差进行反函数计算补偿，外差式多频四步相移法进行相位解算。实验中，选取表面具有局部反射率较大的物体作为被测物体。
[0119] 首先，向被测物体投射一系列灰度值不同的均匀灰度图案序列Pi，i＝1,2,…N，由c c相机采集相应的均匀灰度图像序列Ik(u ,v)，k＝1,2,…N。均匀灰度图像序列Pi所投射的灰度值依次增大，分别为30、60、90、120、150、180、210、240、255。实验中，为了降低环境光照和被测物体表面互反射等因素的影响，采集时相机调整为较小的光圈，固定的曝光时间并将相机的增益设置为0dB。为了使相机能与投影仪较好的实现同步，将相机的曝光时间设置为1/fp的整数倍秒，其中fp为投影仪的帧频。
[0120] 由公式(1)和(2)计算有效均匀灰度图像序列与对应的有效掩模图像序列。考虑到相机自身的噪声影响，将像素(uc,vc)的灰度值Ik(uc,vc)的阈值取为248。再根据公式(7)将有效掩模图像序列Mi(uc,vc)和有效均匀灰度图像Gi(uc,vc)融合成投影图像H(uc,vc)，如图7所示。
[0121] 实验中，通过在序列图像中遍历所有像素点，计算得到投影图像的最大灰度值为210。将投影图像的灰度值作为插值预测查找算法的设定饱和阈值，结合公式(5)和公式(6)，动态预测插值查找中间值大小，再利用二分法查找即能够快速求得最佳投影灰度值。
此后，在低灰度下实现坐标映射关系生成自适应光栅条纹图像，条纹投影效果对比如图8(a)和图8(b)所示，图8(a)为采用传统方法得到的自适应光栅条纹图像，图8(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的自适应光栅条纹图像。由图8(a)和图8(b)的局部细节可以看出，本发明实施例中的方法相较于传统方法可以使条纹调制度高且不发生饱和。
此后，在低灰度下实现坐标映射关系生成自适应光栅条纹图像，条纹投影效果对比如图8(a)和图8(b)所示，图8(a)为采用传统方法得到的自适应光栅条纹图像，图8(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的自适应光栅条纹图像。由图8(a)和图8(b)的局部细节可以看出，本发明实施例中的方法相较于传统方法可以使条纹调制度高且不发生饱和。
[0122] 利用外差式多频相移法进行相位主值展开。实验中，投影三组条纹，每组四幅不同相移的正弦条纹图，设置条纹频率分别为λ1＝1/70、λ2＝1/64、λ3＝1/59，其对应的相位主值分别为φ1、φ2、φ3。使用外差原理分别叠加φ1、φ2和φ3、，求得频率为λ12、λ23的相位φ12和φ23。然后，再将频率为λ12、λ23的相位叠加得到全场范围内只有一个周期相位的φ123。
[0123] 对最终相位展开图抽取0到945行相位值做实验结果分析，如图9所示。图9中X坐标和Y坐标均为像素(Pixels)，Z坐标为相位与弧度的比值。
[0124] 从图9中可知，本发明实施例中提出的自适应条纹投影技术在被测物体过曝区域可以成功实现相位的全部主值展开。更进一步地，结合测量系统的标定结果，应用相位-高度映射关系，可生成三维重建模型。实验中，先后使用传统光栅投影三维测量方法和本发明实施例中提供的方法，对同一具有高反光表面特性的金属工件进行三维测量，其实验效果对比如图10(a)和图10(b)所示，图10(a)为采用传统方法得到的三维重建结构，图10(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的三维重建结构。从图10(a)和图10(b)中可以明显看出，经传统光栅投影三维测量方法得到被测表面三维重构图中存在明显的点云缺失现象，而采用本发明实施例中的方法，被测表面的三维重建结构可被完整的重构出来。其三维点云深度对比如图11(a)和图11(b)所示，图11(a)为采用传统方法得到的三维点云深度图，图11(b)为采用本发明实施例中的高反光表面三维面形测量方法得到的三维点云深度图。图11(a)和图11(b)中，X坐标和Y坐标均为像素(Pixel)，Z坐标为点云深度，单位为mm。
[0125] 对被测物体点云三角网格化构建模型，进一步将模型数据与原始点云数据进行比较分析。规定基准面一侧的偏离值为负值，则另一侧为正值，则依据最小二乘拟合平面计算点到平面的最大距离和最小距离，并计算出平均误差与标准偏差如表1和表2所示，定量评价所提方法的有效性。
[0126] 表1 传统方法点云测评分析
[0127]
[0128] 表2 本发明实施例中提供的方法点云测评分析
[0129]
[0130] 由表1与2定量分析可得，所提方法在绝对方向与正向的平均误差和标准偏差均小于传统方法所得测量值。绝对方向平均误差减少84.1％，正向平均误差减少83.7％；绝对方向标准偏差减少71.6％，正向标准偏差减少69.4％。进一步验证了所提方法对于高反光物体三维面形测量具有先进性。
[0131] 综上所述，针对具有较大表面反射率变化物体的三维面形测量，本发明实施例中提供了一种基于图像融合和插值预测的自适应条纹投影方法，解决采集条纹过饱和，相位信息获取不完整导致三维重建过程中点云信息缺失的问题。实验结果表明，该方法可有效测量高反光物体的三维面形，获得较完整面形点云信息。所提方法不需要附加或改进任何硬件设备，也不需要大量采集和投射不同曝光时间和曝光量的条纹图，实际测量所提方法在绝对方向平均误差减少84.1％，正向标准偏差减少69.4％，因此所提方法对于高反光物体三维面形测量具有先进性和适用性。
[0132] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0133] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0134] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于畸变全局修正的数字投影光栅图像拟合校正方法 | 2020-05-08 | 528 |
| 油墨固化方法、喷墨打印机及存储介质 | 2020-05-08 | 915 |
| 一种节能装置 | 2020-05-08 | 820 |
| 一种个性化视觉训练方法及训练装置 | 2020-05-11 | 20 |
| 一种投影仪曝光时间确定方法及装置 | 2020-05-11 | 406 |
| 选择性激光熔化制造过程中平面度和轮廓度在线测量方法 | 2020-05-12 | 862 |
| 一种图像数据获取方法、装置及系统 | 2020-05-11 | 551 |
| 一种应用于交通运输工具的多动力源系统 | 2020-05-08 | 223 |
| 一种组合立体画的制作方法 | 2020-05-11 | 573 |
| 打印固化方法及打印固化系统 | 2020-05-11 | 195 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
光栅图像热门专利
QQ群二维码
意见反馈
意见反馈