技术领域
[0001] 本
发明属
图像处理和
模式识别领域，具体涉及一种基于点、线双重特征的快速图像拼接方法。
背景技术
[0002] 图像特征是区分图像内部元素的最基本属性，而参与匹配的图像特征则构成特征空间。特征分为人工特征和自然特征，前者是为了进行
图像分析和处理而
指定的特征，例如图像直方图、矩不变量、图像
频谱、高层结构描述等；后者是图像固有的，比如图像的灰度、
颜色、轮廓、
角点、线交点等。图像特征的选择至关重要，它关系到搜索匹配
算法的复杂度和计算量。选择特征必须满足3点要求：1.被选特征需是所有待配准图像的共有特征；2.特征集的特征数量适中：如果特征太少则不利于配准，特征太多会带来严重的运算负担，另外还需特征在图像上分布均匀；3.特征点对旋转缩放平移等变换保持不变性，易于精确匹配。
[0003] 图像匹配方法主要有：利用图像的灰度信息进行匹配的模板匹配法、
相位相关法和基于特征的配准方法。其中基于特征的方法已逐渐成为未来的发展方向，主要原因是基于特征的方法是利用拼接图像中数量较少、特征较稳定的一些点、线或边缘等进行匹配,大大压缩了所需处理信息量,使得匹配搜索的计算量较小、速度较快，且该方法对图像灰度的变化具有鲁棒性，适合于多幅图像拼接。此方法先从两幅图像中提取了变化明显的点、线、区域等特征形成特征集，再依据两幅图像间对应的特征集中的特征点，利用特征匹配算法尽可能地将存在对应关系的特征对选择出来，然后，以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，最后完成多幅图像的快速拼接，该类方法有比较高的健壮性和鲁棒性。
[0004] 但常见的基于图像特征的匹配算法中也存在两个不足之处:
[0005] 1.基于特征的匹配算法往往只用到图像的一个特征，如点特征、线特征、灰度特征等，导致提取出来的特征不能完全的描述图像细节，因此匹配结果容易受到噪声、图像信息分布等因素的影响，匹配
精度不高、
稳定性不好。且若拼接图像中两幅图重叠区域不大，则对特征点的准确性及稳定性的依赖较高。此时非常容易出现图像匹配错误或者无法匹配。
[0006] 2.作为比较经典的角点提取算法，Harris角点提取结果受图像
质量的影响非常大，如果图像曝光不足、过度，提取出来的角点数目不足，而且错误率很高，而且当待配准的两幅图像的曝光度不同时，提取出来可以配准的角点数目很少，错误匹配率很高，直接影响图像拼接质量。
发明内容
[0007] 本发明的目的是解决图像特征匹配过程中，提取特征不能完全反映图像细节、特征点数目不足、有效待匹配点数目少的问题，提出一种基于点、线双重特征的快速图像拼接方法，可以增强图像细节，提高图像拼接质量。
[0008] 本发明采用以下技术方案实现，所述基于点、线双重特征的快速图像拼接方法，包括以下步骤：
[0009] 步骤S1：利用Canny
边缘检测算法和Harris函数的角点检测算法，提取出图像的线特征，然后在线特征的
基础上提取点特征，通过点特征和线特征两种特征的结合得到最佳特征点；
[0010] 步骤S2：利用相似测度NCC对所述最佳特征点进行粗匹配；
[0011] 步骤S3：利用RANSAC算法剔除错误匹配点提高
图像配准的精度，采用LSM方法计算变换模型参数；
[0012] 步骤S4：最后采用加权平均法对拼接后的图像进行融合并消除拼接缝隙。
[0013] 步骤S1中所述通过点特征和线特征两种特征的结合得到最佳特征点的方法如下：
[0014] 步骤S11：用高斯
滤波器平滑图像：用高斯滤波器对输入的两幅图像进行卷积滤波，滤除噪声，减小噪声对梯度计算的影响，二维高斯滤波函数G(x，y,σ)定义如下[0015]
[0016] 其中，σ表征高斯滤波平滑程度；
[0017] g(x,y)＝f(x,y)*G(x，y,σ)
[0018] f(x,y)为原始图像函数，g(x,y)为滤波平滑后的图像；
[0019] 步骤S12：使用一阶差分算子计算
水平方向和垂直方向的梯度幅值分量，从而得到图像的梯度的幅值 和梯度的方向 一阶差分卷积模板如下
[0020]
[0021]
[0022]
[0023]
[0024]
[0025] 其中， 和 分别为图像x，y方向上的偏导数,利用直角坐标到极坐标转换公式，得到图像梯度和方向角公式； 表征图像的边缘强度，使得 取得
局部最大值的方向角，反映了图像边缘的方向；
[0026] 步骤S13：非极大值抑制：遍历梯度幅值图像 上每个
像素，插值计算当前像素梯度方向上相邻两个像素的梯度幅值，如果当前像素的梯度幅值大于或等于这个两个值，则当前像素是可能的边缘点，否则该像素点为非边缘像素，将图像边缘细化为一个像素宽度，梯度幅值图像 经过非极大值抑制得到图像NMS[x，y]；
[0027] 步骤S14:
阈值化提取边缘特征：采用双阈值算法，对非极大值抑制图像作用两个阈值τ1和τ2，，从而可以得到两个阈值
边缘图像N1［x,y］和N2［x,y］；在N1［x,y］的8邻点
位置寻找可以连接到轮廓上的边缘，直到将N2［x,y］连接起来为止，初步得到图像的线特征；
[0028] 步骤S15：边缘细化，图像增强：用形态学的方法把检测到的线特征变细，然后
叠加到原图像上，得到增强后的图像J(x,y)；
[0029] 步骤S16：为了滤除图像处理过程中产生的噪声，对步骤S15增强后的图像进行高斯滤波，高斯滤波函数如下：
[0030]
[0031] I(x,y)＝J(x,y)*Gh(x,y,σh)
[0032] 其中，I（x,y）为滤波后的图像；
[0033] 步骤S17：计算I（x,y）的一阶灰度梯度，得到fx，fy，fx fy；
[0034]
[0035] 步骤S18：根据一阶灰度梯度fx,fy，fx fy和高斯滤波器G(x,y,σh)构造
自相关矩阵M[0036]
[0037] A、B、C定义如下：
[0038]
[0039] 其中，M为2×2的对称矩阵，设λ1和λ2是M的两个特征值，λ1和λ2的值的情况决定角点；
[0040] 步骤S19：计算I（x,y）上对应的每个像素点的局部区域最大值
[0041] R(x,y)=det[M(x,y)]-k*trace2[M(x,y)]，
[0042] 其中：det[M(x,y)]=λ1*λ2是矩阵M的行列式；trace[M(x,y)]=λ1+λ2是矩阵M的迹；k为经验值，为0.04～0.06；
[0043] 步骤S110：用非极抑制窗口选择局部极值点，定义阈值T，用以选取一定量的角点；设T=0.1*R（x，y）max，R（x，y）max表示R（x，y）的最大值；当R(x,y)>T,则该点为角点；
[0044] 步骤S111：通过过滤函数设定检测出角点数目，滤除多余角点，从而获得最佳特征点。
[0045] 本发明利用Canny边缘检测算法和Harris函数的角点检测算法，在基准图像和待配准图像上分别提取点特征；通过点、线双重特征确定待匹配点；然后将基准图像和待配准图像上的待匹配点进行粗匹配；然后利用RANSAC算法剔除错误匹配点提高图像配准的精度；用LSM方法计算变换模型参数，最后采用加权平均法对拼接后的图像进行融合并消除拼接缝隙。
[0046] 本发明的优点是：本发明根据点、线双重图像特征来确定待匹配点，可以增强图像细节，避免因曝光不足、过度以及摄像机抖动等造成图像匹配误差，在一定程度上提高了图像拼接质量。这种技术可以避免因相机曝光不足、过度导致采集图像的细节丢失，用于基于特征的图像配准、图像拼接，目标识别等。
附图说明
[0047] 图1是图像拼接方法示意图。
[0048] 图2是提取线特征中的四个扇区
[0049] 图3是提取最佳待匹配点方法示意图。
具体实施方式
[0050] 下面结合附图和
实施例对本发明进行进一步说明。
[0051] 本发明的匹
配对象为同一场景的两张照片，两幅图像拍摄于不同时间、不同角度，且两幅图像的曝光度不同，只有部分内容相同，图像的大小均为254*509，选取其中一张为基准图像，另一张为待配准图像。方法的仿真验证基于在matlab7.8.0仿真平台的处理。如图1所示，本发明总体包括以下步骤：
[0052] 1、在基准图像和待配准图像上提取线特征，实施例中优选Canny边缘提取方法。
[0053] 2、用提取到的线特征对基准图像和待配准图像进行叠加。
[0054] 3、从叠加过的基准图像和待配准图像上分别提取点特征，实施例中优选Harris角点检测算法。
[0055] 4、对检测到的角点进行筛选，控制待匹配点的数量和质量。
[0056] 5、基准图像和待配准图像上的待匹配点进行配对：利用相似测度NCC计算两幅图像角点邻域像素灰度值的相似性来进行匹配，双向搜寻到最大相关性的角点彼此对应时,就完成了角点的初始配对。
[0057] 6、随机
采样算法RANSAC算法剔除错误匹配点提高图像配准的精度，采用LSM方法计算变换模型参数，最后采用加权平均法对拼接后的图像进行融合并消除拼接缝隙。
[0058] 以下是一个具体实施例。
[0059] 步骤S1：利用Canny边缘检测算法和Harris函数的角点检测算法，提取出图像的线特征，然后在线特征的基础上提取点特征，通过两种特征的结合得到最佳特征点。
[0060] 提取最佳待匹配点的方法如图3所示。
[0061] 步骤S11：用高斯滤波器平滑图像，用高斯滤波器对输入的两幅图像进行卷积滤波，滤除噪声，减小噪声对梯度计算的影响，一维高斯滤波函数G(x)定义如下所示:
[0062] 其中，σ表征高斯滤波平滑程度，本发明中σ＝2.5。
[0063] g(x,y)＝f(x,y)*G(x，y,σ)
[0064] f(x,y)为原始图像函数，g(x,y)为滤波平滑后的图像。
[0065] 步骤S12：使用一阶差分算子计算水平方向和垂直方向的梯度幅值分量，从而得到图像的梯度的幅值 和梯度的方向 一阶差分卷积模板如下
[0066]
[0067]
[0068]
[0069]
[0070]
[0071] 其中， 和 分别为图像x，y方向上的偏导数,利用直角坐标到极坐标转换公式，得到图像梯度和方向角公式。 表征图像的边缘强度，使得 取得
局部最大值的方向角，反映了图像边缘的方向。
[0072] 步骤S13:非极大值抑制。仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点，而抑制非极大值。非极大值抑制，遍历梯度幅值图像上每个像素，插值计算当前像素梯度方向上相邻两个像素的梯度幅值，如果当前像素的梯度幅值大于或等于这个两个值，则当前像素是可能的边缘点，否则该像素点为非边缘像素，将图像边缘细化为一个像素宽度，梯度幅值图像 经过非极大值抑制得到图像NMS[x，y]。
[0073] 如图2所示，四个扇区的标号为0到3，对应3*3邻域的四种可能组合。在每一点上，邻域的中心像素N与沿着梯度线的两个像素相比。如果N的梯度值不沿梯度线的两个相邻像素梯度值大，则令N=0。即： ε[x,y]是像素邻域中心沿着梯度方向的扇形区域。
[0074] 步骤S14:阈值化提取边缘特征。为了减少假边缘段数量，采用双阈值算法。双阈值算法对非极大值抑制图像作用两个阈值τ1和τ2，本发明中τ1=0.04，τ2=0.1，从而可以得到两个阈值边缘图像N1［x,y］和N2［x,y］。由于N2［x，y］使用高阈值得到，因而含有很少的假边缘，但有间断(不闭合)。双阈值法要在N2［x，y］中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在N1［x,y］的8邻点位置寻找可以连接到轮廓上的边缘，这样，算法不断地在N1［x,y］中收集边缘，直到将N2［x,y］连接起来为止。
[0075] 步骤S15：边缘细化，图像增强：用形态学的方法把检测到的边缘变细，然后叠加到原图像上，得到增强后的图像J(x,y)。
[0076] 步骤S16：对叠加图像进行高斯滤波，高斯滤波函数如下：
[0077]
[0078] I(x,y)＝J(x,y)*Gh(x,y,σh)
[0079] 其中，I（x,y）为滤波后的图像,本实施例中 σh＝2。
[0080] 步骤S17：计算I（x,y）的一阶灰度梯度，得到fx,fy，fx fy；
[0081]
[0082] 步骤S18：根据一阶灰度梯度fx,fy，fx fy和高斯滤波器G(x,y,σh)构造自相关矩阵M。
[0083]
[0084] A、B、C定义如下：
[0085]
[0086] 其中，M为2×2的对称矩阵，设λ1和λ2是M的两个特征值，λ1和λ2的值的情况决定角点。
[0087] 步骤S19：计算图像上对应的每个像素点的局部区域最大值：
[0088] R(x,y)=det[M(x,y)]-k*trace2[M(x,y)]，
[0089] 其中：det[M(x,y)]=λ1*λ2是矩阵M的行列式；trace[M(x,y)]=λ1+λ2是矩阵M的迹；k为经验值，一般为0.04-0.06，本实施例中k=0.06。
[0090] 步骤S110：用非极抑制窗口选择局部极值点：定义阈值T，用以选取一定量的角点。设T=0.1*R（x，y）max，R（x，y）max表示R（x，y）的最大值；当R(x,y)>T,则该点为角点。在图像上用“+”标记出角点位置。
[0091] 步骤S111：提取出的角点会过于集中，可以通过过滤函数设定检测出角点数目，滤除多余角点，控制待匹配点的数量和质量保证达到匹配要求，本发明中设置最佳拼接特征点数为100。
[0092] 步骤S2；对基准图像和待配准图像分别进行S1操作，提取其最佳特征点，并进行初步配对，匹配过程如下：利用相似测度NCC计算两幅图像角点邻域像素灰度值的相似性来进行匹配，双向搜寻到最大相关性的角点彼此对应时,就完成了初始配对，具体操作如下：以每个特征点为中心，取一个（2N+1）*(2N+1)大小的相关窗，设参考图像第ｉ个特征点和输入图像中第ｊ个特征点对应的窗口像素的灰度值分别是I1(x,y)和I2(x,y)，则式为：
[0093]
[0094] 式中NCC的值域为[-1,1]，NCC=-1表示两个相关窗口完全不相似，NCC＝1则表示两个窗口完全相同，由此对NCC进行阈值处理，设阈值为0.8。将参考图像中的某个特征点与待拼接图像中的所有特征点经过相关性计算后，会得到一组系数，选择相关值大于阈值的特征点对作为候选配准点对。得到的配准点对中仍可能存在伪配准点对，用约束配准对算法去除伪配准对。设点A(xA,yA)和点B(xB,yB)分别是参考图像中任意的两个特征点，在待拼接图像中有两个对应的特征点分别是A′(x′A,y′A)和B′(x′B,y′B)，如果(A,A′)，(B,B′)的坐标满足如下关系：
[0095]
[0096] 这说明(A,A′)，(B,B′)是两对对应的匹配对，由此可保证从两幅图像中提取的特征点具有一致性，这样就可以从配准点对中提取出正确的配准点对。
[0097] 步骤S3：随机采样算法RANSAC算法剔除错误匹配点提高图像配准的精度，采用LSM方法计算变换模型参数。具体操作如下：（1）随机
抽取4个匹配对，以确保任意3点不共线；（2）采用LSM方法计算变换模型参数；（3）根据变换参数，通过公式：
[0098] dis＝d(X1i,X′2i)+d′(X2i,X′1i)＝||X1i-HX′2i||+||X2i-H-1X′1i||[0099] 计算每一个匹配点对的误差几何距离，其中||.||表示欧式距离，X1i和X2i是一对匹配点对，根据变换矩阵计算出在各自对应图像中的投影点为X′1i和X′2i，当距离小于经验阈值ｔh时，则判断为内点，同时记录内点的个数count；（4）重复上述步骤，当count足够大时，结束计算；（5）选择内点最多的点集，计算最终的模型参数得到变换矩阵Ｈ。
[0100] 步骤S4：最后采用加权平均法对拼接后的图像进行融合并消除拼接缝隙。设M1和M2表示待拼接图像，M表示融合后的图像，则有：
[0101]
[0102] 式中，w1和w2表示重叠区域对应像素的权值。一般取wi=1／W，W表示重叠区域的宽度，且满足条件w1+w1=1，0＜w1，w2＜1。在重叠区域，w1逐渐变至0，w2逐渐变至1，由此实现由M1到M2的平滑过度，消除缝隙，完成图像拼接。
