一种基于编码结构光和双目的3D成像方法专利检索-双目视觉显示技术专利检索查询-专利查询网

一种基于编码结构光和双目的3D成像方法

阅读：152发布：2020-05-11

专利汇可以提供一种基于编码结构光和双目的3D成像方法专利检索，专利查询，专利分析的服务。并且本发明提出一种基于结构光编码和双目视觉的3D成像方法，包括以下步骤：1、通过棋盘标定板对两个摄像头进行标定，求出摄像头的内外参数；2、通过随机编码产生相应的投影图案；3、编码图案投射到物体上后，左右两个摄像头采集物体表面的编码图像；4、将采集的图像进行立体校正和立体匹配；5、通过相机成像模型进行三维坐标计算，得到物体表面点的三维坐标；6、重复1-5的过程，得到物体整个表面的三维信息，并进行三维重构，还原物体表面三维模型。本发明结合了主动式的结构光编码方案和被动式双目测量方案，能够实现对复杂环境下的物体三维重构，测量精度大大提高，对环境适应性增强。，下面是一种基于编码结构光和双目的3D成像方法专利的具体信息内容。

权利要求

1.一种基于编码结构光和双目的3D成像方法，其特征在于，包括以下步骤：
步骤1、采用一块棋盘格标定板作为标定板，进行双目摄像机的两个摄像头参数标定；
步骤2、采用被动的双目视觉和主动的结构光编码方案结合，利用投影仪投出编码的结构光，对目标物体进行特征标定；
步骤3、双目摄像头的两个摄像头采集各自的编码图案Rl和Rr；
步骤4、双目摄像头对两个摄像头各自采集到的含编码图案的图像进行预处理；
步骤5、对预处理后的图像输入到三维重构模型中进行立体校正和立体匹配；
步骤6、进行深度计算，包括以下过程：
(1)设置双目摄像机的一个摄像头O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-XlYl，有效焦距为fl；双目摄像机的另一个摄像头坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr；根据双目摄像机的投影模型得到O-xyz坐标系与or-xryrzr坐标系的空间转换矩阵Mlr表达式；
(2)根据双目摄像机的两个摄像头的相点的坐标、双目摄像机的内外参数通过空间矩阵转换，计算空间点的三维坐标；
步骤7、重复上述过程，得到目标整个表面的三维信息，生成三维点云。
2.根据权利要求1所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤
3中双目摄像头包括两个性能指标相同的摄像头，所述双目摄像机的两个摄像头沿着同一基线、左右对称、等距的排列在投影仪两侧。
3.根据权利要求1所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤
2中投影仪投射出的图像为随机序列编码图案。
4.根据权利要求1-3任意一项所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤4中图像预处理包括以下过程：图像灰度变换、空间坐标转换、图像去燥和增强等。
5.根据权利要求2所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤
5中所述立体校正具体包括将把两个摄像头采集的非共面行对准的两幅图像校正成共面行对准。
6.根据权利要求1-3任意一项所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤6中空间坐标点(x，y，z)的计算公式为：

说明书全文

一种基于编码结构光和双目的3D成像方法

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及一种基于编码结构光和双目视觉的3D成像方法。

背景技术

[0002] 视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器对环境的适应性是三维成像技术研究的重点内容。

[0003] 三维重构是通过传感器获取某个环境或者某个对象的表面信息，并以三维点云或曲面的形式表现出来。三维重构技术在机器人控制领域、物体特征识别以及三维测量领域都有广泛的应用。目前三维重构的技术主要包括：基于被动式的纹理恢复形状法、阴影恢复形状法和立体视觉法以及基于主动式的莫尔条纹法、飞行时间法和结构光法。其中，双目视觉是三维重构中常用的方式之一，通过不同视角的2个摄像头采集两幅图像，通过模拟人眼视觉系统，基于视觉差原理获取与图像对应点对应的位置偏差，从而构建出物体的三维信息。双目视觉成像原理简单，但是重构精度有限，对于一些表面光滑且特征不明显的物体，无法达到好的效果，因而在一些复杂的环境下无法正确重构。结构光成像系统复杂，但是精度较高，适应性较好。

发明内容

[0004] 本发明解决上述技术问题所采用的技术方案是：提将双目成像和结构光编码进行结合，提出一种基于编码结构光和双目的3D成像方法。编码结构光采用随机编码的形式，将图案投射到被测物体表面，通过两个等距的摄像头分别获取左右双目的目标物体表面的编码图案，通过图像坐标变换和图像处理计算空间点的三维坐标，最后生成高精度的空间三维点云图案，进行三维重构。

[0005] 本发明提供了一种基于编码结构光和双目的3D成像方法。

[0006] 包括以下步骤：

[0007] 步骤1、采用一块棋盘格标定板作为标定板，进行两个摄像头参数标定；

[0008] 步骤2、采用被动的双目视觉和主动的结构光编码方案结合，利用投影仪投出编码的结构光，对目标物体进行特征标定。

[0009] 步骤3、双目摄像头采集各自的编码图案Rl和Rr；

[0010] 步骤4、双目摄像头对各自采集到的含编码图案的图像进行预处理；

[0011] 步骤5、对预处理后的图像输入到三维重构模型中进行立体校正和立体匹配；

[0012] 步骤6、进行深度计算，包括以下过程：

[0013] (1)设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-XlYl，有效焦距为fl；右摄像机坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式。

[0014] (2)根据左右相点的坐标、摄像头的内外参数，通过空间矩阵转换，计算空间点的三维坐标。

[0015] 步骤7、重复上述过程，得到目标整个表面的三维信息，生成三维点云。附图说明

[0016] 图1为本发明实施双目摄像头和投影仪布局示意图；

[0017] 图2为本发明实施双目摄像头计算模型示意图；

[0018] 图3为本发明实施立体校正示意图；

[0019] 图4是本发明实施的一种基于编码结构光和双目的3D成像方法流程图。

具体实施方式

[0020] 下面结合具体事例详细说明本发明的实施方法。

[0021] 总体而言，本发明是基于主动的结构光编码和双目感知的方法，先通过棋盘格标定板对两个摄像头的内外参数进行标定，再通过投影仪投射编码图案到对象表面，通过双目摄像头获取对象表面干涉的编码图案，然后进行图像的校正和匹配，最后通过三角法计算出图像在空间点的坐标，产生目标3D点云图像，实现物体表面的三维重构。

[0022] 图4描述了本方法的实现流程，下面结合图1、图2和图3进行详细描述该方法。

[0023] 步骤1、采用一块棋盘格标定板作为标定板，进行两个摄像头参数标定；

[0024] 一个投影模版中包含多个结构光条，通过标定可以得到各坐标系之间的关系，进而可以获取目标点的位置并进行精确定位，但是双目视觉系统需要标定的变量较多，标定过程相对繁琐，而且标定参数的精度很大程度上决定了最终测量精度，所以，做好标定工作是整个测量环节中非常关键的一步。本发明采用张正友提出了基于平面模板的标定算法，这种方法采用几何参数已知的棋盘格模板代替立体标定快，相对于标定块，模板制造更为简单，大大降低了标定成本，并且其标定精度较高，能够满足很多条件下的应用要求。

[0025] 透镜模型如下：

[0026]

[0027] 步骤2、采用被动的双目视觉和主动的结构光编码方案结合，利用投影仪投出编码的结构光，对目标物体进行特征标定。

[0028] 结构光法是一种主动式的对被测物体进行特征点标记的方法，通过向物体投射特定图案使被测物体具有容易识别的编码特征信息，解决了双目视觉中“像素匹配”的难题。本文采用随机序列编码。

[0029] 随机序列是通过随机产生0或1来产生投射图片，该图片各个位置像素的灰度值是255 或0都是随机的。用该方法产生的图片投射到被测物体表面，能够保证在物体表面产生足够的灰度变化，并且受外界环境噪声以及对被测物体表面纹理情况影响较小，使得采集到的图像有较高的信噪比。

[0030] 步骤3、双目摄像头采集各自的编码图案Rl和Rr；

[0031] 双目视觉系统是将两个型号一致的摄像头沿水平或者其他方式安装，同时采集场景的图像，通过两幅图的差别计算场景的深度信息。两个摄像头光心的距离称为基线距离，两个摄像头在安装时光轴应尽量平行，并且高度和前后位置尽可能相同。双目处理模型如图2所示。

[0032] 步骤4、双目摄像头对各自采集到的含编码图案的图像进行预处理；

[0033] 采集到的图像受到设备分辨率等限制，它的深度信息也存在着许多缺点。为了更好的促进后续基于深度图像的应用，必须对深度图像进行去噪和修复等图像增强过程。图像的预处理主要分为以下几种：图像变换：如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可减少计算量，而且可获得更有效的处理。图像编码：压缩图像编码压缩技术可减少描述图像的数据量(即比特数)，以便节省图像传输、处理时间和减少所占用的存储器容量。图像增强和复原：图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。图像分割：图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。图像描述：图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。图像识别：图像识别属于模式识别的范畴，其主要内容是图像经过某些预处理(增强、复原、压缩)后，进行图像分割和特征提取，从而进行判决分类。

[0034] 步骤5、对预处理后的图像输入到三维重构模型中进行立体校正和立体匹配；

[0035] 在现实的双目立体视觉系统中，是不存在完全的共面行对准的两个摄像头图像平面的，因此对立体图像进行极线校正，这样在进行图像匹配时，只要沿图像的水平扫描线搜索对应的点即可，简化了匹配问题。如图3所示，极线校正就是通过对立体图像各进行以此投影变换，使左右图像投影到一个公共的平行于基线的空间平面，使两幅图像对应的极线在同一水平扫描线上，使匹配问题变为在一维扫描线上搜索问题。

[0036] 由于投影的图像是采用的随机编码结构光，物体表面会有大量的纹理信息，因此可以采用区域的立体匹配方法。基于灰度的立体匹配方法就是在左图像选取一个子窗口，然后根据匹配代价函数在右图像找到一个最为相似的子图像。匹配代价函数常用的有NCC、SAD、 SSD。其中SAD和SSD易受光照条件影响，NCC能够适当的消除光照增益和偏移的影响。因此选用NCC作为匹配代价函数，其公式如下：

[0037]

[0038] 式(1)中，I1(x,y)为左图像灰度值，I2(x,y)为右图像灰度值，为左图像灰度平均值，为右图像灰度平均值。

[0039] 步骤6、进行深度计算，包括以下过程：

[0040] (1)设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-XlYl，有效焦距为fl；右摄像机坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式。

[0041] (2)根据左右相点的坐标，通过空间矩阵转换，计算空间点的三维坐标。

[0042] 如图2所示，设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为 Ol-XlYl，有效焦距为fl；右摄像机坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式：

[0043]

[0044] O-xyz坐标系与or-xryrzr坐标系可通过空间转换矩阵Mlr表示为：

[0045]

[0046] 所以，空间点在世界坐标系下的三维坐标可表示为：

[0047]

[0048] 只要我们通过摄像头标定技术获得双目摄像头内参数和焦距fr,fl和空间点在左右摄像头中的图像坐标，就能够重构出被测点的三维空间坐标。

[0049] 步骤7、重复上述过程，得到目标整个表面的三维信息，生成三维点云。

[0050] 所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

标题	发布/更新时间	阅读量
一种基于双目视觉的桥梁监测方法及系统	2020-05-08	86
一种基于虚拟现实与手势识别的远程呈现交互方法和系统	2020-05-14	254
一种基于双目视觉对涡轮叶片应变测量的成像装置	2020-05-13	356
一种视觉导航无人机的摄像机标定方法及装置	2020-05-11	504
一种基于AR技术的物资堆叠方式的预估方法及装置	2020-05-11	882
一种基于深度学习的机器人避障控制方法及装置	2020-05-12	815
一种用于刚体坐标系空间变换标定的汇聚式双目系统	2020-05-11	592
一种基于多对双目相机的视差图像拼接方法	2020-05-12	688
基于双目视觉的高低分辨率融合立体匹配方法	2020-05-08	747
基于双目视觉和激光雷达融合的深度估计方法	2020-05-11	848

一种基于编码结构光和双目的3D成像方法

一种基于编码结构光和双目的3D成像方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：