技术领域
[0001] 本
发明涉及
计算机视觉领域，特指一种基于改进的MSER图像匹配算法。
背景技术
[0002] 图像匹配不仅是
图像处理的一项关键技术之一，而且在医学影像、计算机视觉及
模式识别等领域中也是一个核心问题。
[0003] 关于图像特征提取与匹配，国内外提出了很多有效的算法。现今的特征提取算法主要有
角点特征检测、斑状特征检测和区域特征检测3大类。其中Lowe等提出的SIFT(Scale-invariant feature transform)算法，提取的特征点针对图像的平移、旋转、尺度及一定的视点变化都具有较好的
稳定性，得到了广泛的应用。但是SIFT算法的明显缺点是计算数据量大，时间复杂度太高，导致对SIFT图像特征的提取和匹配所消耗时间过长。SURF(Speeded Up Robust Features)算法是对SIFT算法的一种改进，在大大降低时间复杂度的
基础上对特征点的提取
质量也有所保证。但SURF特征对放射变换的鲁棒性不够好。在众多仿射不变特征区域中，J.Matas等人提出的MSER(Maximally Stable External Region)检测子在多数情况下具有最佳性能。
发明内容
[0004] 本发明要解决的技术问题在于：针对图像匹配这个特定问题，提出一种可以提高图像匹配的实时性和准确度的基于改进的MSER图像匹配算法。
[0005] 本发明的技术方案具体如下，包括如下步骤：
[0006] 1)分别提取两幅图像的MSER(Maximally Stable External Region)特征；
[0007] 2)分别提取两幅图像的SURF(Speeded Up Robust Features)特征；
[0008] 3)分别将两幅图像所提取的MSER特征和SURF特征融合在一起；
[0009] 4)分别用SURF特征描述子对融合的特征进行统一描述；
[0010] 5)对统一的SURF特征描述子进行特征粗匹配；
[0011] 6)对特征描述子进行H-L(Harris-Laplace)特征精匹配。
[0012] 作为本发明技术方案的进一步改进，所述步骤1)包括MSER值区域提取，提取步骤如下：
[0013] (1)
像素点排序：采用箱排序的方法将图像像素点按照灰度值大小进行排序，产生出一个序列，该序列中每个单元存放了具有相同灰度值的像素点及其坐标。
[0014] (2)极值区域的提取：当像素点全部置入序列中的单元后，就获得了该图像所对应的全部极值区域，并根据最大稳定判定条件来获取MSER区域。
[0015] 作为本发明技术方案的进一步改进，所述步骤1)中MSER最大稳定判定条件的确定：
[0016] 对于每一个连通域Ri，通过分析区域树可以得到最大稳定判定条件：
[0017]
[0018] 当 取得局部极小值时对应的区域即为最大稳定极值区域，其中||为集合的势， 为灰度
阈值t所对应的某一极值区域i，Δ为稳定范围阈值差；
[0019] 最大稳定极值区域确定之后，消除其中面积过大或者过小和面积变化率过大或过小的极值区域。
[0020] 作为本发明技术方案的进一步改进，所述步骤2)中，分别提取两幅图像的SURF特征步骤如下：
[0021] 2.1)建立Hessian矩阵，SURF的兴趣点使用Hessian矩阵行列式的局部最大值来
定位，SURF通过改变
滤波器的大小构造金字塔图层以提高计算速度；
[0022] 2.2)在SURF建立的图像尺度空间中，每4个模板为一组，第一组中，相邻的模板尺度相差6个像素，第2组中相差12个像素，第3组中相差24个像素，以此类推，每一阶的第一个模板尺寸为上一阶的第二个模板的尺寸；
[0023] 2.3)关键点定位，在计算各个尺度上Hessian矩阵的行列式极大值时，需要在3维(x,y,σ)尺度空间中，在每个3×3×3的局部区域里，进行非最大值抑制，将自身比周围26个点的响应值都大的点选为兴趣点，并利用3维2次函数拟合方法对兴趣点精确定位；
[0024] 且设定一个阈值HessianThreshold，将在确定的兴趣点Hessian矩阵的行列式大于阈值HessianThreshold的点选取为关键点。
[0025] 2.4)确定关键点主方向，其步骤如下：
[0026] 2.4.1)以某个关键点为圆心，6σ为半径的圆形邻域里，用尺寸为4σ的Haar小波模板求X轴和Y轴两个方向的Haar小波响应，其中σ为尺度；
[0027] 2.4.2)以关键点为中心进行σ为关键点所处尺度两倍的高斯加权；
[0028] 2.4.3)在以上基础上用一个圆心角为π/3扇形窗口，以关键点为中心扫描一周，计算该扇形窗口每个π/3角度包括的图像点的Haar小波响应总和；
[0029] 2.4.4)取上述计算得到的Haar小波响应中最大响应为关键点的主方向。
[0030] 作为本发明技术方案的进一步改进，所述步骤3)具体包括：
[0031] 首先将MSER区域调整为椭圆形区域，然后将该椭圆形区域转换为SURF描述子可使用的关键点，采用区域仿射不变椭圆拟合的方法计算MSER的椭圆度量区域，并将其归一化到单位圆；
[0032] 调整为椭圆形区域的协方差矩阵形式：
[0033]
[0034] 其中，D(x)、D(y)、COV(x,y)分别为该区域内所有点的横坐标方差、纵坐标方差和横、纵坐标的协方差。
[0035] 作为本发明技术方案的进一步改进，所述步骤4)包括构造一个中心点在关键点附近，带所述关键点主方向的方框，方框的边长设为20σ，其中σ为尺度；
[0036] 所述构造方法包括：关键点主方向作为关键点邻域的Y轴方向，把方框区域分成16个子域，对每个子域计算25个空间归一化的
采样点的Haar小波响应，即分别计算4个量∑dx、∑|dx|、∑dy、∑|dy|，并用一个矢量v＝(Σdx、Σ|dx|、∑dy、∑|dy|)来表示每一个子区域，将方框区域内的64个子区域组合起来就得到了一个对于该方框区域的描述矢量。
[0037] 作为本发明技术方案的进一步改进，所述步骤5)中：对提取的MSER特征区域采用椭圆SURF描述子描述，形成
特征向量，并采用欧式距离的最近邻距离与次近邻距离的比值用以确定初始匹配点对；
[0038] 配准图像间的变换关系采用仿射变换模型式表示：
[0039]
[0040] 式中：(xr,yr)是匹配点对在待配准图像中的坐标，相应的在参考图像中的坐标是(xt,yt)，(a11,a12,a21,a22)是由图像间旋转角度和缩放尺度决定的变换模型参数，(tx,ty)是图像间的平移参数。
[0041] 作为本发明技术方案的进一步改进，所述步骤6)包括选用RANSAC剔除错误的匹配点对，其具体步骤是：
[0042] 6.1)应用H-L特征的欧氏距离的最近邻与次近邻距离比值确定候选匹配点对，在候选匹配点对中任选3对匹配点对确定所述仿射变换模型式的参数；
[0043] 6.2)在余下的匹配点对中，若任选第i对候选匹配点(xli,yli)和点(xri，yri)，将点(xli,yli)通过仿射变换模型式变换得到在待匹配图像中坐标为(xi，yi)，如果|xri-xi|＜e，且|yri-yi|＜e，则认为该点对在误差e范围内满足仿射变换模型式的变换参数，如果满足这个条件，则匹配点技术cP(control Point)就增加1，继续重复该步骤，当余下的点都被取完时即进行下步操作；
[0044] 6.3)当cP＞T时，T为阈值，则当前的变换参数即作为最终仿射变换参数，此时结束运算，否则返回步骤(1)；
[0045] 6.4)在计算所有任意3点对组合后，结束运算，取cP达到最大值时的变换参数作为所述仿射变换模型式的最终仿射变换参数，并把满足最终参数的变换点对作为正确匹配点对。
[0046] 与
现有技术相比，本发明具有以下有益效果：
[0047] 1、本发明的基于改进的MSER图像匹配算法，利用将尺度不变特征子(SURF)和最大稳定极值区域特征子(MSER)相结合来进行图像特征提取和匹配的方法，以产生特征矢量，然后利用欧式距离进行图像的粗匹配，以初步校正图像的空间几何
变形。再应用H-L特征具有的尺度不变，包含大量图像结构信息的特征点都能够被检测到。该算法可以充分利用二者在图像多种变换情况下提取特征的互补性，来达到在时间条件可接受范围内，复杂环境中图像间匹配的稳健性。节约了图像匹配过程的运行时间，使图像在仿射变化下具有了良好的鲁棒性，并满足图像匹配准确度的要求。
附图说明
[0048] 图1是
实施例所述改进的MSER图像匹配算法
流程图。
[0049] 图2是实施例所述的滤波器模板图。
[0050] 图3是实施例所述的椭圆拟合图。
[0051] 图4是实施例所述的描述子图。
[0052] 图5是实施例所述匹配结果与各方法匹配结果的比较图。
具体实施方式
[0053] 现结合
说明书附图对本发明详细说明，本实施例为一种基于改进的MSER图像匹配算法，其包括以下步骤：
[0054] 第一步，分别提取两幅图像的MSER特征；
[0055] 最大稳定极值区域(Maximally Stable External Region)，简称MSER，MSER检测子在众多仿射不变特征区域中，多数情况下具有最佳性能。MSER对于它的外界来说是具有
密度极值的区域。其基本思想是：对于任意一幅灰度图片，从小到大选取中所有可能的阈值0-255。将图像中小于阈值的像素点设为0，大于阈值的像素点设为1，于是得到256幅二值图像，对于每一幅图像来说都会有许多连通区域，MSER就是这些区域中随阈值的变化其面积变化小于某个值的区域。
[0056] 1.1、值区域提取
[0057] 1、像素点排序：采用箱排序的方法将图像像素按照灰度值大小进行排序，从而产生出一个序列，序列中每个单元存放了具有相同灰度值的像素及其坐标。
[0058] 2、极值区域的提取：某一阈值图像I，对于该图像I上的任意像素点P：
[0059] (1)若它的所有邻域像素都不属于某已知的
节点，则建立一新节点，该新节点包含像素点P；
[0060] (2)若它有部分或所有邻域像素都属于某已知最上层节点，而其他不属于任何已知节点的邻域像素还没进行判定，且该像素点P灰度值等于已知最上层节点，则标定像素点P属于该已知节点。
[0061] (3)若它有部分或所有邻域像素都属于某已知最上层节点，而其他不属于任何已知节点的邻域像素还没进行判定，如果该像素点P灰度值不等于已知最上层节点，则建立一新节点并标记为已知节点的
父节点，该新节点包含像素点P；
[0062] (4)若它的部分或所有邻接像素属于几个不同已知最上层节点，而其他不属于任何已知节点的邻域像素还没进行判定，则建立一个新节点并标记为这些已知节点的父节点，该新节点包含像素点P。
[0063] 当像素点全部置入序列中的单元后，就获得了该图像I所对应的全部极值区域，最后可根据最大稳定判定条件来获取MSER区域。
[0064] 1.2最大稳定判定条件
[0065] 根据区域树的性质可知，从叶节点向其最好父节点的寻路过程是一个区域面积不断增加的过程。当某个极值区域沿着区域树中某一叶节点向根节点移动，且在2Δ的阈值范围之内改变时，该极值区域的面积在这一过程中几乎不改变，这样的极值区域就是MSER，所述Δ为稳定范围阈值差，本实施例Δ＝5。因此，对于每一个连通域Ri通过分析区域树可以得到最大稳定判定条件：
[0066]
[0067] 当 取得局部极小值时对应的区域即为最大稳定极值区域。其中||为集合的势， 为灰度阈值t所对应的某一极值区域i；Δ为稳定范围阈值差，本发明Δ＝5。最大稳定极值区域确定之后，需要消除其中面积过大或者过小和面积变化率过大或过小的极值区域。
[0068] 第二步：分别提取两幅图像的SURF特征；
[0069] 2.1Hessian矩阵
[0070] SURF的兴趣点使用Hessian矩阵行列式的局部最大值来定位。由Hessian矩阵性质可知，当Hessian矩阵行列式局部最大时，检测出的是比周围区域更亮或更暗的斑状结构。对于一幅图像I，X为其上一点，那么在X点的σ尺度上的Hessian矩阵定义为：
[0071]
[0072] 其中x,y为在X处的横纵坐标，Lxx(X,σ)表示高斯二阶偏导在X处与图像I的卷积；Lxy(X,σ)表示高斯二阶偏导在X处与图像I的卷积，先对X点的横坐标x求一次偏导，再对纵坐标y求二次偏导；Lyy(X,σ)表示高斯二阶偏导在X处与图像I的卷积，对X点的纵坐标y求二次偏导。为了提高效率同时不影响效果的基础上，直接用框状滤波器去近似高斯的二阶偏导，如图2所示。
[0073] 在上述近似模板中用Dxx，Dyy和Dxy来近似代替Hessian矩阵中的Lxx，Lyy，Lxy，于是Hessian矩阵行列式就可以近似表示为：
[0074] det(Happrox)＝DxxDyy-(wDxy)2 (3)
[0075] 其中w是权重系数，一般取0.9。用这个Hessian矩阵行列式对图像I中每一点求取响应并记录下来就得可以得到某一尺度上的响应图。
[0076] 2.2建立尺度空间
[0077] 为了提高计算速度，SURF通过改变滤波器的大小构造金字塔图层，而不是像SIFT中对图像构造金字塔图层，这样做是为了利用与积分图相关的快速计算。
[0078] 在SURF建立的尺度空间中，每4个模板为一组，第一组中，相邻的模板尺度相差6个像素，第2组中相差12个像素，第3组中相差24个像素，以此类推，模板可以看成是特征点附近的区域。每一组的第一个模板尺寸是上一组的第二个模板的尺寸。
[0079] 2.3关键点定位
[0080] 在计算各个尺度上Hessian矩阵的行列式极大值时，需要在3维(x,y,σ)尺度空间中，在每个3×3×3的局部区域里，进行非最大值抑制，比周围26个点的响应值都大的点才被选为兴趣点；然后利用3维2次函数拟合方法对兴趣点精确定位。本实施例选择HessianThreshold＝400，只有在确定的兴趣点Hessian矩阵的行列式大于HessianThreshold才被选取为关键点。
[0081] 2.4关键点主方向确定
[0082] 主方向用于保证SURF关键点的描述子具有旋转不变的性能，关键点主方向确定的步骤：
[0083] (1)以某个关键点为圆心，6σ(σ为尺度)为半径的圆形邻域里，用尺寸为4σ的Haar小波模板求X和Y两个方向的Haar小波响应。
[0084] (2)以关键点为中心进行σ为关键点所处尺度两倍的高斯加权。
[0085] (3)在以上基础上用一个圆心角为π/3扇形窗口，以关键点为中心扫描一周，计算每个π/3角度该扇形窗口内包括的图像点的Haar小波响应总和。
[0086] (4)取其中最大响应为该关键点的主方向。
[0087] 第三步，分别将两幅图像MSER特征和SURF特征融合在一起；
[0088] 首先要将MSER区域调整为椭圆形区域，然后将该椭圆区域转换为SURF描述子可使用的关键点。这里采用区域仿射不变椭圆拟合的方法计算MSER的椭圆度量区域，并将其归一化到单位圆。
[0089] 调整为椭圆形区域的协方差矩阵形式为：
[0090]
[0091] 其中，D(x)、D(y)、COV(x,y)分别为该椭圆形区域内所有点的横坐标方差、纵坐标方差和横纵坐标的协方差。该协方差矩阵为对称矩阵，根据它的特征向量和特征根，可以得到调整后椭圆的长短轴方向和幅值，a1和a2即为长短轴幅值，θ代表长轴的方向，(E(x),E(y))为关键点中心坐标，如图3所示。
[0092] 第四步，分别用SURF特征描述子对融合的特征进行统一描述；
[0093] 下面将MSER和SURF关键点统一采用SURF描述子进行描述，构造一个中心点在关键点附近，带方向(该方向是前面计算的关键点的主方向)的方框，该方框的边长设为20σ(σ为尺度)。
[0094] 具体方法：关键点主方向作为关键点邻域的Y轴方向，把该方框区域分成16(4*4)个子域，对每个子域计算25(5*5)个空间归一化的采样点的Haar小波响应，即分别计算4个量∑dx、∑|dx|、∑dy、∑|dy|，用矢量v＝(∑dx、∑|dx|、∑dy、∑|dy|)来表示每一个子区域。将方框区域内的64个子区域组合起来就得到了一个对于该方框区域的描述矢量。某一区域描述子的图形化描述，如图4所示。
[0095] 第五步，对统一的SURF特征描述子进行特征粗匹配。
[0096] 粗匹配的目的是获得配准图像间的旋转角度及缩放尺度，初步校正待配准图像的空间几何变换。匹配过程是：首先对提取的MSER特征区域采用椭圆SURF描述子描述，形成特征向量；然后采用欧式距离的最近邻距离与次近邻距离的比值来确定初始匹配点对的匹配策略，这是因为正确匹配点对总是比错误匹配点对存在明显的最近邻距离，而且用欧式距离的最近邻距离与次近邻距离的比值来确定初始匹配点对的匹配策略以牺牲正确匹配点数，来提高匹配
精度，因此运用该匹配策略可以获得稳定的初始匹配点对。
[0097] 配准图像间的变换关系采用如式(5)所示的仿射变换模型表示：
[0098]
[0099] 式中：(xr,yr)是匹配点对在待配准图像中的坐标，相应的在参考图像中的坐标是(xt,yt)，(a11,a12,a21,a22)是由图像间旋转角度和缩放尺度决定的变换模型参数，(tx,ty)是图像间的平移参数。这6个参数至少需要3对正确的匹配特征点确定。因为，在粗匹配点对中任选3对匹配点即可求取模型的变换参数。
[0100] 第六步，最后对特征描述子进行H-L(Harris-Laplace)特征精匹配。
[0101] 对经过粗匹配校正后的图像，为了能够实现图像间的高精度配准，在精匹配阶段运用H-L特征的欧氏距离进行匹配。但是受背景噪声和计算精度等影响，经欧氏距离匹配后，仍会存在大量的错误匹配，因此，本发明选用RANSAC剔除错误的匹配点对，以此达到图像的高精度配准，其具体步骤是：
[0102] (1)应用H-L特征的欧氏距离的最近邻与次近邻距离比值确定候选匹配点对，在候选匹配点对中任选3对匹配点对确定模型式(5)的参数。
[0103] (2)在余下的匹配点对中，若任选第i对候选匹配点(xli，yli)和点(xri，yri)，将点(xli，yli)通过模型式(5)变换得到在待匹配图像中坐标为(xi，yi)，如果|xri-xi|＜e，且|yri-yi|＜e，e为误差，则认为该点对在误差e范围内满足模型式(5)的变换参数，如果满足这个条件，则匹配点技术cP(control Point)就增加1，继续重复该步骤(2)，当余下的点都被取完时即进行下步操作。
[0104] (3)当cP＞T(阈值)时，则此时的变换参数即作为最终仿射变换参数，此时结束运算，否则返回步骤(1)。
[0105] (4)在计算所有任意3点对组合后，结束运算，取cP达到最大值时的变换参数作为模型式(5)的最终仿射变换参数，并把满足最终参数的变换点对作为正确匹配点对。
[0106] 在发明中，取误差e＝2，如候选匹配数为N,则阈值T可取N/4。由于错误匹配点对总是少于正确匹配点对，因此RANSAC收敛速度比较快，不需要计算所有候选匹配点的组合。
[0107]算法 匹
配对数 处理时间(秒)
改进的MSER(5a) 160 14.7478
SIFT(5b) 183 119.524
SIFT+MSER(5c) 203 205.645
[0108] 表1
[0109] 上面表1为图5中三种不同算法的匹配数据，由表1明显可见，图(5b)、(5c)算法对比图(5a)虽然匹配对数更多，但在图5中可以明显看出存在很多误匹配，且消耗时间也是难以接受。因此，本发明算法不仅在匹配对数上对传统方法所有改进，且在时间消耗上也可以接受。
[0110] 本发明中提出的方法实际上可嵌入FPGA实现，开发具有图像匹配的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。
