机器人视觉导航定位图像特征点的匹配方法专利检索-帧间位移误差视听技术与设备专利检索查询-专利查询网

机器人视觉导航定位图像特征点的匹配方法

阅读：11发布：2020-05-18

专利汇可以提供机器人视觉导航定位图像特征点的匹配方法专利检索，专利查询，专利分析的服务。并且本发明提供了一种机器人视觉导航定位图像特征点的匹配方法，包括：从两帧图像里面提取特征点，对二者的特征点进行粗匹配；以及利用空间几何的仿射变换不变性筛选匹配特征点。通过利用拍摄到的天花板图像特征点在不同帧之间具有仿射变换不变性的特点，根据两帧图像中特征对的连线长度以及对应角是否相等来筛选出误匹配特征点，可以筛选出天花板上的特征点并实现准确匹配、剔除误匹配干扰点，另外在对不同帧图像的特征点进行匹配时，判断长度、夹角是否相等采用阈值判定法，扩大了有效特征点的筛选范围，不局限于天花板特征点，同样适用于实际拍摄时出现的模糊、像素离散化等情景的定位。，下面是机器人视觉导航定位图像特征点的匹配方法专利的具体信息内容。

权利要求

1.一种机器人视觉导航定位图像特征点的匹配方法，包括：
从两帧图像里面提取特征点，对二者的特征点进行粗匹配；以及
利用空间几何的仿射变换不变性筛选匹配特征点；
其中，所述利用空间几何的仿射变换不变性筛选匹配特征点包括：
将两帧图像粗匹配后的特征点在各自帧内对应两两相连，确定对应的连线长度是否相等，筛选匹配特征点；以及
将筛选出来的匹配特征点对应在两帧图像中组成三角形，确定连线夹角是否相等，进一步剔除误匹配特征点，完成特征点匹配；
其中，所述确定对应的连线长度是否相等包括：
在拍摄清晰的情况下直接利用数学意义上的相等即可；
而针对拍摄时出现的模糊、像素离散化的情况，采用判断阈值法；
其中，所述判断阈值法包括：
对于物体的成像位置位移量为Δdcam来说，在如下所示物距区间范围的特征点都作为有效特征点：
其中，L为物距；f为摄像机焦距；dobj为距离摄像机光轴的景物位置；Δdcam为成像位置位移量。
2.根据权利要求1所述的匹配方法，其中，所述长度相等的含义为：连线长度误差在10个像素点的范围内认为是相等。
3.根据权利要求2所述的匹配方法，其中所述确定对应的连线长度是否相等，筛选匹配特征点为：
成像位置位移量为Δdcam为10个像素点间距，对于焦距为1.8mm的摄像头，拍摄3m处的景物，将距离天花板高度为0.5m范围内的特征点作为有效特征点进行匹配。
4.根据权利要求1所述的匹配方法，其中，所述确定连线夹角是否相等包括：
在拍摄清晰的情况下，直接利用数学意义上的相等即可；
而针对拍摄时出现的模糊、像素离散化的情况，采用判断阈值法。
5.根据权利要求4所述的匹配方法，其中，所述判断阈值法为：
夹角相等的含义为：夹角的误差在2°的范围内认为是相等。
6.根据权利要求1至5任一项所述的匹配方法，其中，所述从两帧图像里面提取特征点的方法采用：SIFT、SURF或ORB 算法。

说明书全文

机器人视觉导航定位图像特征点的匹配方法

技术领域

[0001] 本发明属于机器视觉定位领域，涉及机器人视觉导航定位图像特征点的匹配方法。

背景技术

[0002] 移动机器人是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统，在军事领域、工业领域及民用领域等应用广泛。移动机器人的定位是进行行为控制与执行、环境感知等的重要基础，目前机器人常见的定位方法主要分为5大类：超声波导航定位、视觉导航定位、GPS全球定位、光发射导航定位以及即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)。

[0003] 在机器人视觉导航定位技术中，精确的自主定位是实现移动机器人自主导航的关键技术。对于在建筑物中移动的机器人来说，通常天花板上的特征点是最有效的导航特征点，只要将机器人视觉中的特征点在地图中匹配、找到这些点在地图中的对应点，即可很方便的接算出机器人在地图中的位置和航向，但是仍存在如下技术问题亟待解决：图像采集得到的是二维图像，缺少高度信息，较难区分天花板特征点和其它高度位置的特征点信息；另外，目前的特征点提取匹配算法多是基于待匹配点邻域内的颜色分布进行的匹配，而室内相似景物众多，对于间距比较大的待匹配帧，拍摄到相似物体的可能性很大，故相似小区域对于特征点匹配引起的干扰很大，容易造成误匹配。

发明内容

[0004] (一)要解决的技术问题

[0005] 本发明提供了一种机器人视觉导航定位图像特征点的匹配方法，以至少部分解决以上所提出的技术问题。

[0006] (二)技术方案

[0007] 根据本发明的一个方面，提供了一种机器人视觉导航定位图像特征点的匹配方法，包括：从两帧图像里面提取特征点，对二者的特征点进行粗匹配；以及利用空间几何的仿射变换不变性筛选匹配特征点。

[0008] 在本发明的一个实施例中，利用空间几何的仿射变换不变性筛选匹配特征点包括：将两帧图像粗匹配后的特征点在各自帧内对应两两相连，确定对应的连线长度是否相等，筛选匹配特征点；以及将筛选出来的匹配特征点对应在两帧图像中组成三角形，确定连线夹角是否相等，进一步剔除误匹配特征点，完成特征点匹配。

[0009] 在本发明的一个实施例中，确定对应的连线长度是否相等包括：在拍摄清晰的情况下直接利用数学意义上的相等即可；而针对拍摄时出现的模糊、像素离散化的情况，采用判断阈值法。

[0010] 在本发明的一个实施例中，确定对应的连线长度是否相等的判断阈值法包括：

[0011] 对于物体的成像位置位移量为Δdcam来说，在如下所示物距区间范围的特征点都作为有效特征点：

[0012]

[0013] 其中，L为物距；f为摄像机焦距；dobj为距离摄像机光轴的景物位置；Δdcam为成像位置位移量。

[0014] 在本发明的一个实施例中，长度相等的含义为：连线长度误差在10个像素点的范围内认为是相等。

[0015] 在本发明的一个实施例中，确定对应的连线长度是否相等，筛选匹配特征点为：成像位置位移量为Δdcam为10个像素点间距，对于焦距为1.8mm的摄像头，拍摄3m处的景物，将距离天花板高度为0.5m范围内的特征点作为有效特征点进行匹配。

[0016] 在本发明的一个实施例中，确定连线夹角是否相等包括：在拍摄清晰的情况下，直接利用数学意义上的相等即可；而针对拍摄时出现的模糊、像素离散化的情况，采用判断阈值法。

[0017] 在本发明的一个实施例中，确定连线夹角是否相等的判断阈值法为：夹角相等的含义为：夹角的误差在2°的范围内认为是相等。

[0018] 在本发明的一个实施例中，从两帧图像里面提取特征点的方法采用：SIFT、SURF或ORB算法。

[0019] (三)有益效果

[0020] 从上述技术方案可以看出，本发明提供的机器人视觉导航定位图像特征点的匹配方法，至少具有以下有益效果之一：

[0021] 1、通过利用拍摄到的天花板图像特征点在不同帧之间具有仿射变换不变性的特点，根据两帧图像中特征对的连线长度是否相等来筛选出误匹配特征点，并将筛选出来的图像特征点集合中不在同一直线的特征点三三组合，构建多个三角形，采用对应角相等进一步进行筛选，可以筛选出天花板上的特征点并实现准确匹配、剔除误匹配干扰点；

[0022] 2、在对不同帧图像的特征点进行匹配时，判断长度、夹角是否相等采用阈值判定法，扩大了有效特征点的筛选范围，不局限于天花板特征点，同样适用于实际拍摄时出现的模糊、像素离散化等情景的定位。附图说明

[0023] 图1为根据本发明实施例机器人视觉导航定位图像特征点的匹配方法的流程图。

[0024] 图2为根据本发明实施例依据空间几何的仿射变换不变性筛选匹配特征点的示意图，其中(a)为图像帧A的特征点连线示意图；(b)为图像帧B与图像帧A对应的特征点连线示意图。

[0025] 图3为根据本发明实施例利用机器人视觉导航定位图像特征点的匹配方法进行特征点匹配前后的对比效果示意图，其中，(a)为图像帧A中的全部特征点；(b)为图像帧B中的全部特征点；(c)为图像帧A经过筛选匹配后的特征点；(d)为图像帧B经过筛选匹配后的特征点。

具体实施方式

[0026] 本发明提供了一种机器人视觉导航定位图像特征点的匹配方法，通过利用拍摄到的图像特征点在不同帧之间具有仿射变换不变性的特点，根据两帧图像中特征对的连线长度、夹角是否相等来筛选出误匹配特征点，实现对有效特征点的准确匹配，并利用阈值判定法来判定连线长度、夹角是否相等，拓宽了有效特征点的筛选范围，还适用于拍摄模糊、像素离散化的情景。

[0027] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步详细说明。

[0028] 视觉导航定位的工作原理为对机器人周边的环境进行光学处理，先用摄像头进行图像采集，将采集的信息进行压缩，然后将它反馈到一个由神经网络和统计学方法构成的学习子系统，再由学习子系统将采集到的图像信息和实际位置联系起来，完成机器人的自主导航定位功能。

[0029] 首先，以摄像机的内外参数模型描述空间点坐标与照片上的点坐标之间的关系；其数学表达式为：

[0030]

[0031]

[0032]

[0033] 其中，(X，Y，Z)表示拍摄到的景物中任一点M的三维空间坐标；(x，y)表示M点被拍摄到视觉图像中的对应点坐标；z表示尺度因子；f表示摄像机的焦距；dx表示摄像机的感光敏感元件中每个像素在x轴方向上的尺寸；dy表示摄像机的感光敏感元件中每个像素在y轴方向上的尺寸；A表示视角参数矩阵；T表示机器人的位移参数矩阵；R表示机器人的横滚角；P表示机器人的俯仰角；H表示机器人的航向角；Tx表示机器人的空间位置横坐标；Ty表示机器人的空间位置纵坐标；Tz表示天花板高度；

[0034] 对于在机器人视觉中正视区域的天花板，由于它通常与机器人运动的地面平行，Tz为常数，拍摄天花板时的机器人航向角H和机器人的空间位置(Tx，Ty)是可以调整的，而其它姿态角，如横滚角R和俯仰角P都是0，所以天花板图像与机器人的视觉系统之间只有三个参数可以自由调整，通常根据天花板的这种性质，只要能够成功匹配出两帧中天花板上的特征点，即可根据这些特征点解算出两帧之间的相对位置和航向；

[0035] 其次，提取并匹配两帧图像中相同景物上的相同特征点；

[0036] 然后，根据相同特征点推导出机器人在拍摄这两帧图像时对应的航向角与运动的位移；推导依据的公式如下：

[0037]

[0038]

[0039] 其中，(xA，yA)为图像帧A中的天花板上任一个特征点的坐标，(xB，yB)为该特征点在图像帧B中的对应点坐标；

[0040] 其中，提取并匹配两帧图像中相同景物上的相同特征点至关重要，而目前有多种方法可以实现图像中的特征点提取与匹配，而相似小区域的干扰引起的误匹配会严重影响视觉定位的效果，本发明提出的机器人视觉导航定位图像特征点的匹配方法是在现有的SIFT、SURF、ORB等算法的前提上进行改进的方法，消除了误匹配特征点，可以实现准确定位。

[0041] 在本发明的一个示例性实施例中，提供了一种机器人视觉导航定位图像特征点的匹配方法。图1为根据本发明实施例机器人视觉导航定位图像特征点的匹配方法的流程图，如图1所示，机器人视觉导航定位图像特征点的匹配方法，包括：

[0042] 步骤S102：从两帧图像里面提取特征点，对二者的特征点进行粗匹配；

[0043] 从图像里面提取特征点的方法有很多种，比如现有的SIFT、SURF或ORB算法等；

[0044] 通常对特征点进行粗匹配时仅根据特征点小邻域内的图像信息分布进行匹配，误匹配较多；

[0045] 步骤S104：将两帧图像粗匹配后的特征点在各自帧内对应两两相连，确定对应的连线长度是否相等，筛选匹配特征点；

[0046] 其中，确定对应的连线长度是否相等在拍摄清晰的情况下直接利用数学意义上的相等即可；而针对拍摄时出现的模糊、像素离散化的情况，采用判断阈值法，其推导过程如下：

[0047] 对于摄像机，拍摄到的物体距离和物体在照片中的成像位置具有如下关系式：

[0048]

[0049] 其中，dcam为距离摄像机光轴的成像位置；dobj为距离摄像机光轴的景物位置；f为摄像机焦距；L为物距；

[0050] 当景物到摄像机的距离发生改变时，成像位置位移量Δdcam与物距位移量ΔL之间的关系为：

[0051]

[0052] 公式(7)表明，要想使景物在照片中的成像位置发生Δdcam的位移改变，则景物物距需要移动ΔL，大小为

[0053] 数字摄像机的成像是由像素点构成的离散图像，在相机中，成像位置位移量Δdcam大小等于若干个照片的像素点间距，大小为像素点的个数乘以两个像素点间距，不同的相机像素点间距不同，有的相机像素点间距为1μm，对应Δdcam＝10μm；有的相机为1.4μm，对应Δdcam＝14μm，而故以像素点的个数来定义成像位置位移量Δdcam，即长度相等的误差阈值为10个像素点，其大小等于10倍的像素点间距；

[0054] 在现实环境中f＜＜L，因此对于成像位置位移量为Δdcam的摄像机来说，判断阈值法对应的物距区间如下：

[0055]

[0056] 在本实施例中，长度相等的判断阈值为：10个像素点，即误差在10个像素点长度以内视为长度相等，本实施例相机的像素点间距为1μm，则对应的成像位置位移量Δdcam为10μm；

[0057] 以10个像素点的阈值判定长度相等为例，对于焦距为8mm的摄像头，拍摄3m处的景物，只要距离天花板高度小于0.1125m范围内的特征点都可以作为有效特征点进行匹配；对于机器人常用的170°的广角镜头，焦距为1.8mm的摄像头，拍摄3m处的景物，距离天花板高度在0.5m的范围内的特征点都可以作为有效特征点进行匹配；

[0058] 以上采用对应的连线长度是否相等筛选出误匹配的特征点是基于空间几何的仿射变换不变性，其具体原理下面进行详细介绍。

[0059] 图2为根据本发明实施例依据空间几何的仿射变换不变性筛选匹配特征点的示意图，其中(a)为图像帧A的特征点连线示意图；(b)为图像帧B与图像帧A对应的特征点连线示意图，如图2所示，对于天花板上的特征点a、b，设它们在图像帧A、B中的连线距离分别为dA，ab，dB，ab，其表达式如下式所示：

[0060]

[0061]

[0062] 其中，(Xa，Ya，Za)和(Xb，Yb，Zb)是点a、b在室内的真实空间三维坐标，(xA，a，yA，a)、(xA，b，yA，b)和(xB，a，yB，a)、(xB，b，yB，b)分别是a、b点在帧A、B图像中的二维坐标，机器人在拍摄帧A、B时，(Tx，A，Ty，A)和(Tx，B，Ty，B)是机器人所在的位置；

[0063] 由公式(9)、(10)可知dA，ab＝dB，ab，即天花板上的特征点连线的长度在帧A、B中保持不变；

[0064] 如果是由相似小区域造成的误匹配特征点，则误匹配点与别的特征点构成的连线在帧A、B中不再保持相等，不具备上述的性质，因此可以通过对比两帧中特征对的连线长度是否相等来筛选出误匹配特征点；

[0065] 步骤S106：将筛选出来的匹配特征点对应在两帧图像中组成三角形，确定连线夹角是否相等，进一步剔除误匹配特征点，完成特征点匹配；

[0066] 由图2中ΔCDE所示，在图像帧A和图像帧B中属于全等三角形，其对应的夹角相等；

[0067] 对于拍摄清晰的情况下，直接利用数学意义上的相等即可；而针对拍摄时出现的模糊、像素离散化的情况，采用判断阈值法；本实施例中选用角度的判断阈值为：2°；

[0068] 以上采用对应的连线夹角是否相等筛选出误匹配的特征点也是基于空间几何的仿射变换不变性，这里不作赘述；

[0069] 图3为根据本发明实施例利用机器人视觉导航定位图像特征点的匹配方法进行特征点匹配前后的对比效果示意图，其中，(a)为图像帧A中的全部特征点；(b)为图像帧B中的全部特征点；(c)为图像帧A经过筛选匹配后的特征点；(d)为图像帧B经过筛选匹配后的特征点，从图中可以看出，经过筛选匹配后，误匹配特征点被剔除，只保留了天花板特征点，匹配效果良好。

[0070] 为了验证本发明的普适性和有益效果，根据本发明实施例所示机器人视觉导航定位图像特征点的匹配方法进行了实际场景特征点匹配测试实验。该测试实验共采集数据集十余个，分别采取四个不同场景，分别为：较高的走廊；特征丰富的实验室；正常高度的走廊；特征少、重复性高的实验室。采用的测试手段为：采集用摄像头角度为170°。

[0071] 具体的实验场景如下：

[0072] (1)在大厅中进行的实验，走廊较高，约6m～7m；

[0073] (2)实验室一中进行的实验，特征丰富，视野一侧有玻璃屋子；

[0074] (3)实验室外走廊中进行的实验，该走廊较窄，正常高度，两侧墙壁也在图像中；

[0075] (4)实验室二中进行的实验，特征少、重复性高；

[0076] 在以上场景中进行测试后的结果表明，筛选后的特征点匹配均正确，不存在误匹配。

[0077] 综上所述，本发明实施例提供了一种机器人视觉导航定位图像特征点的匹配方法，通过利用拍摄到的图像特征点在不同帧之间具有仿射变换不变性的特点，根据两帧图像中特征对的连线长度是否相等来筛选出误匹配特征点，并将筛选出来的图像特征点集合中不在同一直线的特征点三三组合，构建多个三角形，采用对应角相等进一步进行筛选，可以筛选出天花板上的特征点并实现准确匹配、剔除误匹配干扰点；另外，在对不同帧图像的特征点进行匹配时，判断长度、夹角是否相等采用阈值判定法，扩大了有效特征点的筛选范围，不局限于天花板特征点，同样适用于实际拍摄时出现的模糊、像素离散化等情景的定位。

[0078] 当然，根据实际需要，本发明提供的机器人视觉导航定位图像特征点的匹配方法，还包含其他的常用方法和步骤，由于同发明的创新之处无关，此处不再赘述。

[0079] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
一种非接触测量GIS设备位移反演应力的方法	2020-05-11	861
一种三驱动机械臂的视觉跟随系统	2020-05-11	540
一种基于多目标追踪框架的无人机视频中车速校正方法	2020-05-15	896
阴影莫尔参数标定用结构、标定方法及失调误差消除方法	2020-05-13	277
图像处理方法以及电子设备	2020-05-14	745
一种标准的虚拟正弦直线振动测量方法	2020-05-15	906
车辆拐弯轨迹双向计算方法、系统、装置	2020-05-12	962
一种基于双流卷积神经网络和SVM的抽烟动作识别方法	2020-05-12	767
基于深度图像的机器人定位与建图方法和装置	2020-05-13	367
一种用于柔性内窥镜操作机器人的运动控制方法	2020-05-15	145

机器人视觉导航定位图像特征点的匹配方法

机器人视觉导航定位图像特征点的匹配方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：