技术领域
[0001] 本
发明实施例涉及
计算机视觉研究技术领域，具体涉及一种基于同名标记点的双目视觉立体匹配方法及装置。
背景技术
[0002] 双目视觉是
机器视觉最重要的研究领域之一，被广泛应用于
机器人导航、三维测量和
虚拟现实等领域，而双目立体匹配更是双目视觉的最重要问题之一，它是指从双目摄像机的左右视图中找出匹配点对，进而利用
视差原理计算出原始场景中的深度信息。
[0003] 同名标记点是一类特征相同的特殊图像关键点，与传统图像中的特征点不同，同名标记点往往存在于高度模糊、无纹理或者红外图像中，由于这类标记点周围缺乏足够的局部纹理信息，导致同名标记点不能产生可直接用于特征匹配的图像描述子，因而给双目视觉中的立体匹配环节带来了很多挑战。
[0004] 针对上述问题，目前也存在一些解决方案，如在歧义标记点上粘贴专
门设计的人工标记图案、引入几何约束、或者引入第三相机等。其中使用人工标记图案的方案，如AprilTag，尽管能部分解决当前立体匹配存在的歧义性问题，但是这种方案对图像
分辨率有要求，也不适用于高度模糊和红外图像中；引入几何约束的方法，如次序约束，已被证明对环境中的噪声敏感；另外，还有一些方案通过引入第三相机解决此类问题，但这种引入额外相机的方法会增加产品成本和体积，并且此类方案对引入的第三相机的摆放有一定的要求，同样存在一些使用上的限制。综上所述，目前尚没有合适的方法来很好地实现双目视觉中的双目立体匹配。
发明内容
[0005] 本发明实施例的目的在于提供一种基于同名标记点的双目视觉立体匹配方法及装置，用以解决现有方法不能很好地实现双目视觉中的双目立体匹配的问题。
[0006] 为实现上述目的，本发明实施例主要提供如下技术方案：
[0007] 第一方面，本发明实施例提供一种基于同名标记点的双目视觉立体匹配方法，所述方法包括：获取双目设备拍摄的左相机图像和右相机图像；识别所述左相机图像和右相机图像中的同名标记点，并计算出所述同名标记点的像点；计算左相机图像中每个同名标记点在右相机图像中对应的极线；计算右相机图像中的像点与所述极线之间的点线距离，根据所述点线距离是否满足极线几何约束得到候选匹配点；根据左相机图像和右相机图像中像点的个数以及候选匹配点的个数，确定像点匹
配对，其中，当左相机图像中的一个或多个同名标记点同时拥有多个候选匹配点时，通过横向和纵向拓展形成二进制编码字来构造像点的图像描述子，并根据所述图像描述子之间的相似度来确定像点匹配对；对所述像点匹配对进行空间几何验证。
[0008] 进一步地，计算出所述同名标记点的像点，具体包括：分别在左相机图像和右相机图像的成像平面上分割出包含同名标记点的投影斑点，计算每个投影斑点的亚
像素几何中心，并将所述亚像素几何中心作为相应同名标记点的像点，即像素坐标点。
[0009] 进一步地，采用相邻图像间
帧差或者
阈值分割的
图像处理方法分割出包含同名标记点的投影斑点，然后通过连通区域标记法统计出同属于一个投影斑点的像素，并将同一个投影斑点内所有有效灰度值的平方作为加权系数计算投影斑点的几何中心坐标，最后将此像素坐标作为对应斑点的像素坐标。
[0010] 进一步地，所述计算左相机图像中每个同名标记点在右相机图像中对应的极线，具体包括：使用张正友标定法求出左相机和右相机的内参以及两相机之间的变换关系，基于求出的内参和变换矩阵求出两相机之间的
基础矩阵，根据所述基础矩阵绘制出左相机图像中的像点在右相机图像上所对应的极线。
[0011] 进一步地，根据所述点线距离是否满足极线几何约束得到候选匹配点，具体包括：设置距离误差阈值，当所述像点与极线之间的点线距离在所述距离误差阈值内，则认为该像点位于该极线上，反之则该像点落在极线之外，保存所有满足极线约束的像点，作为候选匹配点，其中，所述点线距离为像点与极线之间的欧式距离。
[0012] 进一步地，所述确定像点匹配对，具体包括：当左相机图像与右相机图像上分别有且仅有一个像点，同时这两个像点满足极线几何约束时，则说明这两个像点构成一对像点匹配对，再根据计算机视觉中的三
角测量计算出该像点匹配对相对应空间点的三维坐标信息。
[0013] 进一步地，所述构造像点的图像描述子，具体包括：选取任一待匹配的同名标记点的像点作为中心点，以所述中心点为中心，向中心点横向的两边对称扩展出N个区域，任一区域内存在像点则记作1，不存在像点则记作0，由此组成一个由N个二进制数构成的横向编码字，同理，向纵向的两边对称扩展出N个区域，构成纵向编码字，此待匹配的像点的图像描述子是一个由横向编码字和纵向编码字组成的集合。
[0014] 进一步地，所述构造像点的图像描述子，还包括：通过改变拓展区域的
相位或改变拓展区域的间隔，获取一个像点的若干图像描述子。
[0015] 进一步地，根据所述图像描述子之间的相似度来确定像点匹配对，具体包括：计算每一个候选匹配点的图像描述子与待匹配像点的图像描述子之间的汉明距离的累积和，所述累积和越大则该候选匹配点与待匹配像点的似度越大，选取相似度最大的候选匹配点与所述待匹配像点构成一对像点匹配对。
[0016] 第二方面，本发明实施例提供一种基于同名标记点的双目视觉立体匹配装置，[0017] 所述装置包括：识别单元，用于识别左相机图像和右相机图像中的同名标记点，并计算出所述同名标记点的像点；极线对应单元，用于计算左相机图像中每个同名标记点在右相机图像中对应的极线；约束匹配单元，用于计算右相机图像中的像点与所述极线之间的点线距离，根据所述点线距离是否满足极线几何约束得到候选匹配点；像点对匹配单元，用于根据左相机图像和右相机图像中像点的个数以及候选匹配点的个数确定像点匹配对；验证单元，用于对像点匹配对进行空间几何验证；其中，所述像点对匹配单元还用于通过构造像点的图像描述子，并根据所述图像描述子之间的相似度来确定像点匹配对。
[0018] 本发明实施例提供的技术方案至少具有如下优点：
[0019] 本发明实施例提供的一种基于同名标记点的双目视觉立体匹配方法及装置，可以快速、准确地找到双目视觉系统中左相机图像和右相机图像上像点间的对应关系，有效解决歧义匹配问题，并能有效消除干扰噪声和错误匹配，同时本发明提出的方法适用性强不受场景限制，推广性较强。
附图说明
[0020] 图1为本发明实施例提供的一种基于同名标记点的双目视觉立体匹配方法的基本
流程图。
[0021] 图2为本发明实施例提供的一种左相机图像的同名标记点的投影斑点图。
[0022] 图3为本发明实施例提供的一种右相机图像的同名标记点的投影斑点图。
[0023] 图4为本发明实施例提供的一种区域间隔为W1/16的像点描述子的构造图。
[0024] 图5为本发明实施例提供的一种区域间隔为W1/16，与图4相差正半个周期的像点描述子的构造图。
[0025] 图6为本发明实施例提供的一种区域间隔为W1/16，与图4相差负半个周期的的像点描述子的构造图。
[0026] 图7为本发明实施例提供的一种基于同名标记点的双目视觉立体匹配装置的结构示意图。
具体实施方式
[0027] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本
说明书所揭露的内容轻易地了解本发明的其他优点及功效。
[0028] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、
接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、
电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0029] 目前，对于同名标记点匹配过程中存在的歧义匹配问题尚没有很好的解决办法，即当任一双目相机的一个共极平面上存在2个以上候选匹配点时，这些标记点在左右相机上的投影不再唯一配对，而本发明提出了一种在相机平面创建图像描述子的方法，可以快速地找到左右相机上同名标记点之间的对应关系，能够有效滤除干扰点，从而保证双目视觉系统的
稳定性。
[0030]
现有技术中，红外图像中的发
光标记物的
定位跟踪是机器视觉中许多应用的基础，如
动作捕捉、虚拟现实等，由于红外图像的特殊性，发光标记物在红外图像上的投影是一个与背景反差很大的亮斑，这些亮斑在红外图像中具有相同的特征，可以看做是一类同名标记点。
[0031] 因此，本发明实施例以红外图像中的反光标记物的立体匹配为例对本发明提出的一种基于同名标记点的双目视觉立体匹配方法及装置进行进一步的描述。
[0032] 参考图1，该方法包括：
[0033] 首先，利用双目摄像机获取左右相机同时拍摄的左相机图像和右相机图像，上述图像中一般均包含多个投影斑点，该投影斑点包括噪声和包含同名标记点的投影斑点。
[0034] 然后，识别所述左相机图像和右相机图像中的同名标记点，并计算出所有同名标记点的像点；
[0035] 具体地，由于红外图像中标记点与背景的反差比较大，同时标记点所占像素的比例较小，因此，可以很容易根据红外图像的直方图分布找出能分割标记点投影亮斑的二值化阈值，并通过阈值分割和连通区域标记分离出属于不同斑点的像素，分别在左相机图像和右相机图像的成像平面上分割出包含同名标记点的投影斑点，计算每个投影斑点的亚像素几何中心，并将所述亚像素几何中心作为相应同名标记点的像点，即像素坐标点。
[0036] 更具体地，采用相邻图像间帧差或者阈值分割等图像处理方法分割出包含同名标记点的投影斑点，然后通过连通区域标记法统计出同属于一个投影斑点的像素，并将同一个投影斑点内所有有效灰度值的平方作为加权系数计算投影斑点的几何中心坐标，最后将此像素坐标作为对应斑点的像素坐标。几何中心坐标的计算公式为：
[0037]
[0038] 其中(x,y)是待求的几何中心的坐标，I(m,n)是坐标为(m,n)的像素点的灰度值，S是斑点区域所包含的像素点的集合。
[0039] 参考图2，为本实施例提供的左相机图像，参考图3，为本实施例提供的右相机图像，本实施例中左相机图像和右相机图像上计算得到的斑点中心坐标如表1所示，[0040] 表1：
[0041]标号 左相机图像 标号 右相机图像
(1198.75,591.62) (550.85,559.06)
(1262.76,784.00) A1 (636.15,749.20)
A (1303.35,785.07) A2 (677.81,749.94)
(1335.50,788.69) A3 (710.43,753.11)
(1180.55,806.37) (556.266,733.04)
(1472.02,820.82) (849.78,784.18)
[0042] 紧接着，计算左相机图像中每个同名标记点在右相机图像中对应的极线；
[0043] 本实施例中计算左相机图像中每个同名标记点在右相机图像中对应的极线，在具体操作中，也可以计算右相机图像中每个同名标记点在左相机图像中对应的极线，其采用的方法均在本发明保护的范围之内。
[0044] 绘制极线需要事先知道左右相机的内参以及两相机之间的变换关系，因此，本实施例采用张正友标定法对相机进行标定，得到左相机和右相机的内参以及两相机之间的变换关系，基于求出的内参和变换矩阵求出两相机之间的基础矩阵F，以及左相机的投影矩阵Pl和右相机的投影矩阵Pr，根据所述基础矩阵F绘制出左相机图像中的像点在右相机图像上所对应的极线。以图2中的斑点A为例，斑点A在右相机图像中的极线为l＝Fp，其中，p为斑点A的齐次坐标。
[0045] 接下来，计算右相机图像中的像点与所述极线之间的点线距离，根据该点线距离是否满足极线几何约束得到候选匹配点；
[0046] 设置距离误差阈值，优选的距离误差阈值为5个像素，当任一像点与极线之间的点线距离在距离误差阈值内，则认为该像点位于该极线上，反之则该像点落在极线之外，保存所有满足极线约束的像点，作为候选匹配点，其中，点线距离为像点与极线之间的欧式距离。如图3所示，A1，A2，A3是标记点A的候选匹配点。
[0047] 然后，根据左相机图像和右相机图像中像点的个数以及候选匹配点的个数，确定像点匹配对；
[0048] 当左相机图像与右相机图像上分别有且仅有一个像点，同时这两个像点满足极线几何约束时，则说明这两个像点构成一对像点匹配对，再根据计算机视觉中的三角测量计算出该像点匹配对相对应空间点的三维坐标信息。
[0049] 当左相机图像中的一个或多个同名标记点同时拥有多个候选匹配点时，有可能存在歧义匹配，因此本发明实施例通过构造像点的图像描述子，并根据图像描述子之间的相似度来确定像点匹配对。构造像点的图像描述子的方法包括：选取任一待匹配的同名标记点的像点作为中心点，以所述中心点为中心，向中心点横向的两边对称扩展出N个区域，任一区域内存在像点则记作1，不存在像点则记作0，由此组成一个由N个二进制数构成的横向编码字，同理，向纵向的两边对称扩展出N个区域，构成纵向编码字，此待匹配的像点的图像描述子是一个由横向编码字和纵向编码字组成的集合。然后计算每一个候选匹配点的图像描述子与待匹配像点的图像描述子之间的汉明距离的累积和，所述累积和越大则该候选匹配点与待匹配像点的似度越大，选取相似度最大的候选匹配点与所述待匹配像点构成一对像点匹配对。具体地：
[0050] 在本实例中，与像点A相对应且满足极线约束的像点有三个，下面选择α和β的值以进行相应描述子的计算。本实例中，左相机和右相机的分辨率为2018×1536，设置α＝{0.01,0.1,1}同时β＝{0.01,0.1,1}，对各个像点的图像描述子进行计算。
[0051] 参考图4，像点A位于宽为W高为H的图像I中，A的周围分布着其他像点和可能存在的噪声。首先以A点为中心左右各扩展出8个等间距的纵向区域，图中虚线表示，区域的间隔为W1/16，其中W1＝αW，0<α<1，若扩展出的区域超出图像边界，则超出的部分将被舍弃。将扩展出的这16个区域看成一个由16个二进制数构成的编码字，以便于计算机很容易存储和运算，从右到左依次是这个编码字的15位至0位，若任一像点落在这16个区域中的一个，则相应
位置1，若所有像点遍历归类后，某个区域内没有任何像点，则该区域置0。按照此方法，图4中的区域编码可以求出像点A的一个二进制描述子为0111001011011101。
[0052] 此外，通过改变拓展区域的相位或改变拓展区域的间隔，可以获取一个像点的若干图像描述子。如：参考图5和图6，改变编码区域的相位，分别将编码区域向左和向右移动半个周期可以得到当前编码间隔下的另外两个二进制描述子1110001101110101和0111001011111011，1110001101110101为与图4相差正半个周期的像点描述子，
0111001011111011为与图4相差负半个周期的像点描述子。因此，在区域间隔为W1/16时，可以得到三个关于像点A的描述子，然后还可以通过改变区域间隔，获取更多关于像点A的描述子，以增加该编码方式应对图像尺度变化的鲁棒性。
[0053] 如上所述的方法，还需要以像点A为中心横向划分图像区域得到关于横向划分下的图像描述子，记横向区域划分时的区域间隔为H1/16，其中，H1＝αH，0<β<1，综上可知，像点A的描述子是一个二进制描述子集合。
[0054] 求出像点A在双目系统右相机图像中满足极线约束的相应候选匹配点的各描述子集合，本实施例中为A1，A2，A3，其中，A1，A2，A3的描述子集合分别为D1，D2，D3，计算D1，D2，D3分别与像点A的描述子集合D之间的明距离，并用汉明距离作为描述子集合中对应描述子之间的相似度，描述子集合D对应描述子集合Di，i∈{1,2,…,n}之间的相似度Si是对应各二进制描述子间相似度的累计和，该累计和的计算公式为：
[0055]
[0056] 其中，m是二进制描述子在集合中的索引，H(·)是汉明距离求解函数。
[0057] 本实施例的图像描述子的求解如表2所示，
[0058] 表2：
[0059]
[0060] 由表2可知，A2与像点A的相似度评分最大。需要说明的是：在实际工程中可以适当增加参数列表中取值的个数，从而提升描述子在尺度变化下的鲁棒性。
[0061] 最后，对像点匹配对进行空间几何验证；
[0062] 具体地，根据上述文中求得的左相机的投影矩阵Pl和右相机的投影矩阵Pr求出所有候选匹配点的三维空间坐标，若求出的三维空间坐标不在双目视觉系统所设定的测量范围要求，则认为对应的候选匹配点对是噪声并予以剔除。
[0063] 本发明实施例提供的一种基于同名标记点的双目视觉立体匹配方法及装置，可以快速、准确地找到双目视觉系统中左相机图像和右相机图像上像点间的对应关系，有效解决歧义匹配问题，并能有效消除干扰噪声和错误匹配，同时本发明提出的方法适用性强不受场景限制，推广性较强。
[0064] 与上述实施例对应的，本发明实施例还提供一种基于同名标记点的双目视觉立体匹配装置，参考图7，该装置包括：
[0065] 识别单元，用于识别左相机图像和右相机图像中的同名标记点，并计算出同名标记点的像点；具体地，分别在左相机图像和右相机图像的成像平面上分割出包含同名标记点的投影斑点，计算每个投影斑点的亚像素几何中心，并将所述亚像素几何中心作为相应同名标记点的像点，即像素坐标点，采用相邻图像间帧差或者阈值分割的图像处理方法分割出包含同名标记点的投影斑点，然后通过连通区域标记法统计出同属于一个投影斑点的像素，并将同一个投影斑点内所有有效灰度值的平方作为加权系数计算投影斑点的几何中心坐标，最后将此像素坐标作为对应斑点的像素坐标。
[0066] 极线对应单元，用于计算左相机图像中每个同名标记点在右相机图像中对应的极线；具体地，使用张正友标定法求出左相机和右相机的内参以及两相机之间的变换关系，基于求出的内参和变换矩阵求出两相机之间的基础矩阵，根据所述基础矩阵绘制出左相机图像中的像点在右相机图像上所对应的极线。
[0067] 约束匹配单元，用于计算右相机图像中的像点与所述极线之间的点线距离，根据所述点线距离是否满足极线几何约束得到候选匹配点；具体地，设置距离误差阈值，当所述像点与极线之间的点线距离在所述距离误差阈值内，则认为该像点位于该极线上，反之则该像点落在极线之外，保存所有满足极线约束的像点，作为候选匹配点，其中，所述点线距离为像点与极线之间的欧式距离。
[0068] 像点对匹配单元，用于根据左相机图像和右相机图像中像点的个数以及候选匹配点的个数确定像点匹配对；具体地，当左相机图像与右相机图像上分别有且仅有一个像点，同时这两个像点满足极线几何约束时，则说明这两个像点构成一对像点匹配对，再根据计算机视觉中的三角测量计算出该像点匹配对相对应空间点的三维坐标信息。构造像点的图像描述子，具体包括：选取任一待匹配的同名标记点的像点作为中心点，以所述中心点为中心，向中心点横向的两边对称扩展出N个区域，任一区域内存在像点则记作1，不存在像点则记作0，由此组成一个由N个二进制数构成的横向编码字，同理，向纵向的两边对称扩展出N个区域，构成纵向编码字，此待匹配的像点的图像描述子是一个由横向编码字和纵向编码字组成的集合。
[0069] 验证单元，用于对像点匹配对进行空间几何验证。
[0070] 本发明实施例提供的一种基于同名标记点的双目视觉立体匹配方法及装置，可以快速、准确地找到双目视觉系统中左相机图像和右相机图像上像点间的对应关系，有效解决歧义匹配问题，并能有效消除干扰噪声和错误匹配，同时本发明提出的方法适用性强不受场景限制，推广性较强。
[0071] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用
硬件与
软件组合来实现。当
应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送
计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0072] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何
修改、等同替换、改进等，均应包括在本发明的保护范围之内。
