一种基于空间编码结构光的稠密点云生成方法专利检索-视差显示技术专利检索查询-专利查询网

一种基于空间编码结构光的稠密点云生成方法

阅读：787发布：2020-05-08

专利汇可以提供一种基于空间编码结构光的稠密点云生成方法专利检索，专利查询，专利分析的服务。并且本发明提供了基于空间编码结构光的稠密点云生成方法，属于主动式三维视觉测量技术领域，设计正弦条纹模式和随机点模式，编码到不同的颜色通道，得到空间编码结构光模式，投射到被测物体表面，相机同步拍摄得到结构光图像；提取左结构光图像和右结构光图像的条纹中心点，计算左、右条纹中心点的空间相关相似度，进行匹配；对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列，获取每个像素点的相位信息，对相邻的两对匹配中心点对之间的所有像素点进行亚像素级匹配，最后计算所有匹配点的三维坐标。本发明能够精确高效地对颜色复杂的被测物体或运动目标进行三维重建，获得稠密的三维点云数据。，下面是一种基于空间编码结构光的稠密点云生成方法专利的具体信息内容。

权利要求

1.一种基于空间编码结构光的稠密点云生成方法，其特征在于，包括如下流程步骤：
步骤S110：根据相机和结构光投影仪的参数，设计正弦条纹模式和随机点模式，并编码到不同的颜色通道，组合得到新的空间编码结构光模式；
步骤S120：通过结构光投影仪将空间编码结构光模式投射到被测物体表面，使用结构光投影仪左右两侧的所述相机分别同步拍摄得到左结构光图像和右结构光图像；
步骤S130：基于条纹中心定位法，对左结构光图像和右结构光图像的条纹中心位置进行定位；
步骤S140：基于随机点模式，计算左结构光图像和右结构光图像条纹中心点的空间相关相似度，并进行匹配；
步骤S150：对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列，采用傅立叶变换获取每个像素点的相位信息；
步骤S160：基于相位信息，对相邻的两对匹配中心点对之间的所有像素点进行亚像素级的匹配，最后计算所有匹配点的三维坐标。
2.根据权利要求1所述的基于空间编码结构光的稠密点云生成方法，其特征在于，所述步骤S110包括：
步骤S111：根据结构光投影仪的分辨率、灰度值范围参数信息，设置对应的正弦函数，生成正弦条纹模式；
步骤S112：根据相机分辨率和结构光投影仪分辨率在水平以及垂直方向上的比值，设置对应的随机点尺寸、分布密度，生成随机点模式；
步骤S113：将正弦条纹模式和随机点模式使用不同的颜色通道进行编码，得到新的空间编码结构光模式。
3.根据权利要求2所述的基于空间编码结构光的稠密点云生成方法，其特征在于，所述步骤S120包括：
通过结构光投影仪将空间编码结构光模式投射到被测物体表面，然后使用左、右两侧的相机分别同步拍摄得到左结构光图像和右结构光图像，分别记为IL和IR；
对左结构光图像IL和右结构光图像IR进行畸变校正和立体校正，得到校正后的结构光图像，分别记为IL′、IR′。
4.根据权利要求3所述的基于空间编码结构光的稠密点云生成方法，其特征在于，所述步骤S130具体包括：
步骤S131：将校正后左结构光图像IL′经过颜色通道分离，得到正弦条纹模式和随机点模式，分别记为将校正后右结构光图像IR′经过颜色通道分离，得到正弦条纹模式和随机点模式，分别记为
步骤S132：计算图像和第i行像素值序列的一阶导数和二阶导数，利用二阶导数确定条纹边界点，再根据一阶导数对条纹中心点进行粗定位；
步骤S133：基于Hession矩阵确定粗条纹中心点的法线方向，在法线方向上利用泰勒展开实现条纹中点心的精确定位，得到左、右结构光图像第i行的条纹中心点坐标序列，分别记为其中，j＝1,2,3,...,NL，k＝1,2,3,...,NR，NL表示左结构光图像第i行提取到的条纹中心点数量，NR表示右结构光图像第i行提取到的条纹中心点数量。
5.根据权利要求4所述的基于空间编码结构光的稠密点云生成方法，其特征在于，所述步骤S140中，对左结构光图像第i行第j个条纹中心点基于随机点模式，采用零均值归一化相关算法计算其与右结构光图像第i行每个条纹中心点的空间相关相似度，选取相似度最高的点作为的匹配点，记为。
6.根据权利要求5所述的基于空间编码结构光的稠密点云生成方法，其特征在于，所述步骤S150具体包括：
步骤S151：对左结构光图像第i行相邻的2个条纹中心点对应的右结构光图像第i行上的条纹中心点分别是点和之间所有像素点构成的序列记为IL(u,i),点和之间所有像素点构成的序列记为IR(v,i),其中，
对IL(u,i)、IR(v,i)进行傅立叶变换；
步骤S152：采用带通滤波器对傅立叶变换的结果进行滤波，分别获取主复频率分量；
步骤S153：根据主复频率分量使用反正切函数计算相位，分别记为φL(u,i)、φR(v,i)。
7.根据权利要求6所述的基于空间编码结构光的稠密点云生成方法，其特征在于，所述步骤S160包括：
对左结构光图像第i行相邻的2个条纹中心点和之间的每一个像素点(u,i)，根据其相位信息，计算出在右结构光图像和之间相位接近点，记为(v,i)；点(u,i)和(v,i)的视差记为d＝u-v；对视差进行亚像素级优化，计算出亚像素级视差dsub，则最终得到与点(u,i)匹配的点是(u+dsub,i)；最后，基于三角测量原理，计算所有匹配点的三维坐标，得到被测物体表面的稠密点云数据。
8.根据权利要求7所述的基于空间编码结构光的稠密点云生成方法，其特征在于，亚像素级视差dsub的计算公式如下：

说明书全文

一种基于空间编码结构光的稠密点云生成方法

技术领域

[0001] 本发明涉及主动式三维视觉测量技术领域，具体涉及一种可简单、快速、精确地获取被测物体或运动场景三维点云数据的基于空间编码结构光的稠密点云生成方法。

背景技术

[0002] 基于结构光的点云生成技术通过结构光投影仪将编码结构光模式投射到被测物体表面，用相机同步拍摄得到结构光图像，再通过对变形的结构光图像进行解码处理，最后基于三角测量原理计算获取物体表面的三维点云数据。该技术在三维人脸成像、工业产品质量检测、钢轨探伤检测等多个领域有广泛应用。随着科学技术的迅速发展，传统的点云生成技术己不能满足复杂物体或运动场景下快速三维形态测量的需要，高速、实时三维形态测量已成为点云生成技术的发展趋势。因此，需要提供一种简单、快速和精确地对被测物体或运动场景获取三维点云数据的方法，以解决现阶段点云生成方法算法复杂、耗时、精度低的问题。

发明内容

[0003] 本发明的目的在于提供一种提高了获取颜色、纹理复杂的被测物体以及对运动场景或运动目标的三维点云数据的速度、精度的基于空间编码结构光的稠密点云生成方法，以解决上述背景技术中存在的至少一项技术问题。

[0004] 为了实现上述目的，本发明采取了如下技术方案：

[0005] 本发明提供一种基于空间编码结构光的稠密点云生成方法，包括如下流程步骤：

[0006] 步骤S110：根据相机和结构光投影仪的参数，设计正弦条纹模式和随机点模式，并编码到不同的颜色通道，组合得到新的空间编码结构光模式；

[0007] 步骤S120：通过结构光投影仪将空间编码结构光模式投射到被测物体表面，使用结构光投影仪左右两侧的所述相机分别同步拍摄得到左结构光图像和右结构光图像；

[0008] 步骤S130：基于条纹中心定位法，对左结构光图像和右结构光图像的条纹中心位置进行定位；

[0009] 步骤S140：基于随机点模式，计算左结构光图像和右结构光图像条纹中心点的空间相关相似度，并进行匹配；

[0010] 步骤S150：对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列，采用傅立叶变换获取每个像素点的相位信息；

[0011] 步骤S160：基于相位信息，对相邻的两对匹配中心点对之间的所有像素点进行亚像素级的匹配，最后计算所有匹配点的三维坐标。

[0012] 优选的，所述步骤S110包括：

[0013] 步骤S111：根据结构光投影仪的分辨率、灰度值范围参数信息，设置对应的正弦函数，生成正弦条纹模式；

[0014] 步骤S112：根据相机分辨率和结构光投影仪分辨率在水平以及垂直方向上的比值，设置对应的随机点尺寸、分布密度，生成随机点模式；

[0015] 步骤S113：将正弦条纹模式和随机点模式使用不同的颜色通道进行编码，得到新的空间编码结构光模式。

[0016] 优选的，所述步骤S120包括：

[0017] 通过结构光投影仪将空间编码结构光模式投射到被测物体表面，然后使用左、右两侧的相机分别同步拍摄得到左结构光图像和右结构光图像，分别记为IL和IR；

[0018] 对左结构光图像IL和右结构光图像IR进行畸变校正和立体校正，得到校正后的结构光图像，分别记为IL′、IR′。

[0019] 优选的，所述步骤S130具体包括：

[0020] 步骤S131：将校正后左结构光图像IL′经过颜色通道分离，得到正弦条纹模式和随机点模式，分别记为将校正后右结构光图像IR′经过颜色通道分离，得到正弦条纹模式和随机点模式，分别记为

[0021] 步骤S132：计算图像和第i行像素值序列的一阶导数和二阶导数，利用二阶导数确定条纹边界点，再根据一阶导数对条纹中心点进行粗定位；

[0022] 步骤S133：基于Hession矩阵确定粗条纹中心点的法线方向，在法线方向上利用泰勒展开实现条纹中点心的精确定位，得到左、右结构光图像第i行的条纹中心点坐标序列，分别记为其中，j＝1,2,3,...,NL，k＝1,2,3,...,NR，NL表示左结构光图像第i行提取到的条纹中心点数量，NR表示右结构光图像第i行提取到的条纹中心点数量。

[0023] 优选的，所述步骤S140中，对左结构光图像第i行第j个条纹中心点基于随机点模式，采用零均值归一化相关算法，计算其与右结构光图像第i行每个条纹中心点的空间相关相似度，选取相似度最高的点作为的匹配点，记为

[0024] 优选的，所述步骤S150具体包括：

[0025] 步骤S151：对左结构光图像第i行相邻的2个条纹中心点对应的右结构光图像第i行上的条纹中心点分别是点和之间所有像素点构
成的序列记为IL(u,i),点和之间所有像素点构成的序列记为IR(v,i),其中，对IL(u,i)、IR(v,i)进行傅立叶变换；

[0026] 步骤S152：采用带通滤波器对傅立叶变换的结果进行滤波，分别获取主复频率分量；

[0027] 步骤S153：根据主复频率分量使用反正切函数计算相位，分别记为φL(u,i)、φR(v,i)。

[0028] 优选的，所述步骤S160包括：

[0029] 对左结构光图像第i行相邻的2个条纹中心点和之间的每一个像素点(u,i)，根据其相位信息，计算出在右结构光图像和之间相位接近点，记为(v,i)；点(u,i)和(v,i)的视差记为d＝u-v；对视差进行亚像素级优化，计算出亚像素级视差dsub，则最终得到与点(u,i)匹配的点是(u+dsub,i)；最后，基于三角测量原理，计算所有匹配点的三维坐标，得到被测物体表面的稠密点云数据。

[0030] 优选的，亚像素级视差dsub的计算公式如下：

[0031]

[0032] 本发明有益效果：基于结构光投影仪和2个相机，能够精确高效地对颜色复杂的被测物体或运动目标进行三维重建，获得稠密的三维点云数据；为高速运动目标的三维重建提供了快速、准确、可靠的理论技术支持。

[0033] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明

[0034] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0035] 图1为本发明实施例所述的基于空间编码结构光的稠密点云生成方法的流程示意图。

[0036] 图2为本发明实施例所述的基于空间编码结构光的稠密点云生成方法所设计的一种空间编码结构光模式。

[0037] 图3为本发明实施例所述的基于空间编码结构光的稠密点云生成方法的结构光系统示意图。

具体实施方式

[0038] 下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

[0039] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或模块，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块和/或它们的组。

[0040] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

[0041] 为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。

[0042] 本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。

[0043] 实施例

[0044] 如图1所示，本发明实施例提供一种基于空间编码结构光的稠密点云生成方法，所述方法包括：

[0045] 步骤S1：根据相机和结构光投影仪的参数，设计正弦条纹模式和随机点模式，并将两种模式编码到不同的颜色通道，组合得到新的空间编码结构光模式；图2展示了一种由红通道正弦条纹模式和蓝通道随机点模式组合成的空间编码结构光模式；

[0046] 步骤S2：通过结构光投影仪将结构光模式投射到被测物体表面，相机同步拍摄得到结构光图像；

[0047] 步骤S3：基于条纹中心定位法，对结构光图像的条纹中心位置进行定位；

[0048] 步骤S4：基于随机点模式，计算左、右结构光图像条纹中心点的空间相关相似度，并进行匹配；

[0049] 步骤S5：对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列，采用傅立叶变换获取每个像素点的相位信息；

[0050] 步骤S6：基于相位信息，对相邻的两对匹配中心点对之间的所有像素点进行亚像素级的匹配，最后计算所有匹配点的三维坐标。

[0051] 所述步骤S1包括：

[0052] 步骤S11：根据结构光投影仪的分辨率、灰度值范围等参数信息，设置合适的正弦(余弦)函数，生成正弦条纹模式；

[0053] 步骤S12：根据相机分辨率和结构光投影仪分辨率在水平、垂直方向上的比值，设置合理的随机点尺寸、分布密度，生成随机点模式；

[0054] 步骤S13：将正弦条纹模式和随机点模式使用不同的颜色通道进行编码，得到新的空间编码结构光模式。

[0055] 所述的结构光系统由1个结构光投影仪和2个相机组成，如图3所示。

[0056] 所述的结构光系统在采集图像之前，需要对2个相机进行双目标定。

[0057] 所述的结构光系统在采集结构光图像时，首先通过结构光投影仪将空间编码结构光模式投射到物体表面，然后2个相机同步拍摄结构光图像，得到左、右结构光图像，分别记为LL和IR。

[0058] 相机拍摄得到结构光图像后，需要对左结构光图像LL和右结构光图像IR进行畸变校正和立体校正，得到校正后的结构光图像，分别记为L′L、I′R。

[0059] 所述步骤S3包括：

[0060] 步骤S31：将校正后左结构光图像L′L经过颜色通道分离，得到正弦条纹模式、随机点模式分别记为同理，将校正后右结构光图像I′R经过相同操作，得到

[0061] 步骤S32：计算图像和第i行像素值序列的一阶导数和二阶导数，利用二阶导数确定条纹边界点，再根据一阶导数对条纹中心点进行粗定位；

[0062] 步骤S33：基于Hession矩阵确定粗条纹中心点的法线方向，在法线方向上利用泰勒展开实现条纹中点心的精确定位，得到左、右结构光图像第i行的条纹中心点坐标序列，分别记为其中，其中，j＝1,2,3,...,NL，k＝1,2,3,...,NR，NL表示左结构光图像第i行提取到的条纹中心点数量，NR表示右结构光图像第i行提取到的条纹中心点数量。

[0063] 所述步骤S4中，对左结构光图像第i行第j个条纹中心点计算其与右结构光图像第i行每个条纹中心点的空间相关相似度，选取相似度最高的点作为的匹配点，记为[0064] 基于零均值归一化相关算法，对以和为中心的相同大小的邻域图像块，计算相似度，作为和的相似程度。

[0065] 所述步骤S5包括：

[0066] 步骤S51：对左结构光图像第i行相邻的2个条纹中心点记在右结构光图像第i行上与其相匹配的条纹中心点分别是点和之间所有像素点构成的序列记为IL(u,i),其中，其中，对IL(u,i)进行傅立叶变换；

[0067] 步骤S52：采用合适的带通滤波器，对傅立叶变换的结果进行滤波，只保留最主要的一个复频率分量；

[0068] 步骤S53：使用反正切函数计算相位，记为φL(u,i)；

[0069] 步骤S54：同理，对右结构光图像点和之间所有像素点构成的序列IR(v,i),计算相位得到φR(v,i)。

[0070] 所述步骤S6包括：

[0071] 对左结构光图像第i行相邻的2个条纹中心点和之间的每一个像素点(u,i)，根据其相位信息，计算出在右结构光图像和之间相位最接近的点，记为(v,i)；此时，点(u,i)和(v,i)的视差记为d＝u-v；然后对视差进行亚像素级优化，计算出亚像素级视差dsub，则最终得到与点(u,i)匹配的点是(u+dsub,i)；最后，基于三角测量原理，计算所有匹配点的三维坐标，得到被测物体表面的稠密点云数据。

[0072] 亚像素级视差dsub的计算公式为：

[0073]

[0074] 综上所述，本发明实施例所述的基于空间编码结构光的稠密点云生成方法，基于结构光投影仪和位于左右两侧的相机所组成的结构光系统，能够精确高效地对颜色复杂的被测物体或运动目标进行三维重建，获得稠密的三维点云数据。该技术为高速运动目标的三维重建提供了快速、准确、可靠的理论技术支持。

[0075] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

标题	发布/更新时间	阅读量
一种克服遮挡效应的驾驶场景双目深度估计方法	2020-05-08	664
一种视差估计方法、装置、存储介质及终端	2020-05-08	476
立体显示装置	2020-05-11	451
清洁机器人的控制方法及清洁机器人	2020-05-11	578
一种基于多对双目相机的视差图像拼接方法	2020-05-08	443
活体检测方法、装置、设备及存储介质	2020-05-08	174
对多个传感器设备中的图像捕获进行同步	2020-05-11	667
三维影像转换结构	2020-05-08	573
一种基于裸眼三维的近红外人脸识别方法	2020-05-08	376
一种自由立体显示光纤背光源分时驱动电路	2020-05-08	767

一种基于空间编码结构光的稠密点云生成方法

一种基于空间编码结构光的稠密点云生成方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：