首页 / 专利库 / 信号处理 / 尺度图 / 用于图像拼接的多尺度不变ORB算法

用于图像拼接的多尺度不变ORB算法

阅读:909发布:2020-05-11

专利汇可以提供用于图像拼接的多尺度不变ORB算法专利检索,专利查询,专利分析的服务。并且用于图像拼接的多尺度不变ORB(Oriented FAST and Rotated BRIEF) 算法 ,主要包括以下步骤:首先,使用一种基于尺度不变的特征检测算法对图像进行特征点检测;然后用ORB描述子对检测到的特征点进行特征描述,再用ORB匹配算法进行粗匹配,并且用双向匹配法和RANSAC(随机抽样一致性)算法对匹配点对其进行精匹配和提纯,进一步提高其 精度 ;最后使用渐入渐出加权融合完成图像拼接。本 发明 的方法有效地解决ORB算法检测到的图像特征点缺少尺度不变特性,误匹配率高,造成拼接图像 质量 差等问题,对图像的不同光照条件、 角 度旋转、 分辨率 低、尺度变化等均有良好的鲁棒性和 稳定性 ,是一种耗时短、精确度高、拼接效果良好的图像拼接方法。,下面是用于图像拼接的多尺度不变ORB算法专利的具体信息内容。

1.用于图像拼接的多尺度不变ORB算法,主要包括以下步骤:
(1)使用一种基于尺度不变的特征检测算法对图像进行特征点检测,解决ORB算法缺少尺度不变的特性;
(2)用ORB描述子对检测到的特征点进行特征描述,再用ORB匹配算法进行粗匹配,并且用双向匹配法和RANSAC(随机抽样一致性)算法对匹配点对其进行精匹配和提纯,进一步提高其精度
(3)使用渐入渐出加权融合完成图像拼接。
2.如权利要求1所述的基于尺度不变ORB的图像拼接方法,按上述步骤(1):对图像构建金字塔,金字塔包含了普通层和中间层,数量各为4个。各层的缩放尺度如下式:
t(ci)=2i,t(di)=2i×1.5      (1)
其中ci代表图像的普通层,di表示图像的中间层,一共可以得到8张图,对这8张图进行FAST9-16点检测,得到具有角点信息的8张图,对原图像进行一次FAST5-8角点检测(当做d-1层-虚拟层),总共会得到9幅有角点信息的图像。对这9幅图像,进行空间上的非极大值抑制(同SIFT算法的非极大值抑制):特征点在位置空间(8邻域点)和尺度空间(上下层2x9个点),共26个邻域点的FAST的得分值要最大,否则不能当做特征点;此时得到的极值点还比较粗糙,需要进一步精确定位
过上面步骤,得到了图像特征点的位置和尺度,在极值点所在层及其上下层所对应的位置,对FAST得分值(共3个)进行二维二次函数插值(x、y方向),得到真正意义上的得分极值点及其精确的坐标位置(作为特征点位置);再对尺度方向进行一维插值,得到极值点所对应的尺度(作为特征点尺度),这就解决了尺度不变性。
3.如权利要求1所述的基于尺度不变ORB的图像拼接方法,按所述步骤(2):采用ORB自身的特征点匹配算法进行粗匹配,再采用双向交叉匹配算法,使得匹配的结果更加精确.基于双向匹配的相似性度量算法的原理:首先,以参考图像的特征点为参考点M1,遍历待配准图像中特征点,得到最近邻特征点M2j,和次最近邻特征点M2k,如果最近邻特征点M2j,,和次最近邻特征点M2k,满足式(2),则参考点M1的匹配点为最近邻特征点M2j;,遍历参考图像中所有的特征点,得到匹配点对集A。同理,以待配准图像的特征点为参考点M2,得到匹配点对集B。最后,将匹配点对集A与匹配点对集B作比较,如果两个集中图像特征点完全相同,则是有效的匹对,有效的匹配点对的集合为最终的匹配点对。
式中:D(M1,M2j),D(M1,M2k)分别是参考图像的特征点与待配准图像的征点的最近邻特征点的距离相似性度量值、次最近邻特征点的距离相似性度量值,Th是设定的阈值为0.6运用双向匹配算法便可有效地去除这样的大部分错误匹配点。
随机抽样一致性算法(RANSAC):初始最大内点(本文指精确匹配点)数max_inliner=
0,反投影误差阈值threshold的取值一般为0.001~0.01,最大循环次数max_circle=
1000,numof_inliner为当前基础矩阵F所对应的内点数,通过矩阵F所计算出来的对称变换误差为di。
4.如权利要求1所述的基于尺度不变ORB的图像拼接方法,按述步骤(3):在获得两幅图像的精确匹配特征点对后,由式(3)图像变换关系可以求解出变换矩阵H,将待配准图像通过H进行变换后与参考图像进行叠加
式中,(x,y)和(x’,y’)是待配准图像和参考图像的匹配点对。
由于输出图像存在亮度等方面的差异,在完成图像配准叠加后,在得到的拼接图像上一般会存在明显的缝合线,不利于视觉观察,本文可以采用加权平滑算法来实现两幅图像间的融合过渡[15]。融合方法如下:
式中,R1为图像1的非重合区域,R3为图像2的非重合区域,R2为两幅图像的重叠区域,a1和a2,分别为加权值,与重叠区域有关,并且a1+a2=1,0

说明书全文

用于图像拼接的多尺度不变ORB算法

技术领域

[0001] 本发明所属技术领域是数字图像处理,运用ORB算法并结合图像特征点尺度不变和双向匹配思想,提出一种新颖、快速、精度高的图像拼接方法。

背景技术

[0002] 图像拼接技术一直是计算机视觉计算机图形学和数字图像处理等领域的重点研究方向,随着计算机技术的飞速发展,数字图像处理技术也得到显著的提高,其中的图像拼接技术已经在遥感技术、虚拟现实、医学图像处理和军事等领域得到了广泛的应用。图像拼接技术是将数张有重叠部分的图像(可能是不同时间、不同视或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。图像拼接主要包括图像预处理、图像配准和图像融合。
[0003] 图像配准是图像拼接的关键。总体分为两类:基于灰度信息的配准方法和基于特征的配准方法。基于灰度的图像配准方法较为简单,直接计算图像间的灰度值关系来匹配图像,这种方法虽然简单、易实现,但其稳定性差,对光照变化敏感。相比之下,基于局部特征的方法具有良好的稳定性,在克服图像的光照、尺度、旋转等变化上比基于灰度的方法有更好的鲁棒性,是目前主流的图像配准方法。
[0004] SIFT(Scale Invariant Feature Transform)特征检测算法是Lowe于1999年提出并在2004年完善的,该算法对于尺度缩放、平移旋转、光照变化都具有良好的不变性,对于图像的仿射变换及噪声也具有一定的稳定性,但其描述算子复杂,运行时间过长,满足不了实时性要求(International Journal of Computer Vision,2004,60(2))。SURF(Speeded-Up Robust Features)是Herbert Bay于2006年提出,SURF算法的优点是速度远快于SIFT且稳定性好;在时间上,SURF运行速度大约为SIFT的3倍(IEEE International Conference on Computer Vision,2011,6-13)。ORB(ORB:An Efficient Alternative to SIFT or SURF)是Ethan Rublee于2011年提出的,其主要优点是运行速度大约是SIFT的100倍,是SURF的10倍,能满足实时性要求,但是其尺度不变性不如SIFT,误匹配率高。

发明内容

[0005] 本发明的目的是提供改进的ORB图像拼接方法,能一定程度改善传统图像拼接时间久,ORB算法匹配正确率较低,缺少尺度不变特性,图像拼接精度低等问题等。算法通过构造尺度不变特征点来弥补ORB算缺少尺度不变的缺点,同时采用双向匹配和RANSAC算法来提高匹配正确率,能够有效剔除误匹配点,提高配准的准确率和精度。该方法对图像的光照条件不同、角度旋转、分辨率低、尺度变化等均有良好的鲁棒性和稳定性,是一种耗时短、精确度高、拼接效果良好的图像拼接方法。
[0006] 本发明设计了用于图像拼接的多尺度不变ORB算法,主要包括以下步骤:
[0007] (1)特征点检测及描述
[0008] 先对图像构建金字塔,金字塔包含了普通层和中间层,数量各为4个。各层的缩放尺度如下式:
[0009] t(ci)=2i,t(di)=2i×1.5  (1)
[0010] 其中ci代表图像的普通层,di表示图像的中间层,彼此各层的变换关系如下表1:
[0011] 表1图像金字塔
[0012]
[0013] 一共可以得到8张图,普通层之间尺度(缩放因子)是2倍关系,中间层之间尺度(缩放因子)也是2倍关系。
[0014] 对这8张图进行FAST9-16角点检测,得到具有角点信息的8张图,对原图像进行一次FAST5-8角点检测(当做d-1层-虚拟层),总共会得到9幅有角点信息的图像。对这9幅图像,进行空间上的非极大值抑制(同SIFT算法的非极大值抑制):特征点在位置空间(8邻域点)和尺度空间(上下层2x9个点),共26个邻域点的FAST的得分值要最大,否则不能当做特征点;此时得到的极值点还比较粗糙,需要进一步精确定位
[0015] 经过上面步骤,得到了图像特征点的位置和尺度,在极值点所在层及其上下层所对应的位置,对FAST得分值(共3个)进行二维二次函数插值(x、y方向),得到真正意义上的得分极值点及其精确的坐标位置(作为特征点位置);再对尺度方向进行一维插值,得到极值点所对应的尺度(作为特征点尺度),这就解决了尺度不变性。
[0016] 由于FAST特征点不具有方向性,因此这里采用灰度质心法来解决这个问题。即假设特征点的灰度与质心之间存在一个偏移,这个向量可以用于表示一个方向。对于一个特征点P来说,定义P的邻域像素的矩为:
[0017]
[0018] 其中:I(x y)为点(x,y)处的灰度值,P和q决定了灰度矩的阶数,该灰度矩的质心为:
[0019]
[0020] 特征点与质心的夹角a定义为FAST特征点的方向,计算公式如下:
[0021] θ=atan2(m01,m10)  (4)
[0022] 为了提高方法的旋转不变性,需要保证x和y在半径为r的圆形区域内,即x,y∈(-r,r),r等于邻域半径。采用ORB算法中的rBRIEF(Rotated BRIEF)二进制特征点描述子对检测到的特征点进行描述。
[0023] (2)特征点匹配
[0024] 先采用ORB自身的特征点匹配算法进行粗匹配,再采用双向交叉匹配算法,使得匹配的结果更加精确.基于双向匹配的相似性度量算法的原理:首先,以参考图像的特征点为参考点M1,遍历待配准图像中特征点,得到最近邻特征点M2j,和次最近邻特征点M2k,如果最近邻特征点M2j,,和次最近邻特征点M2k,满足式(5),则参考点M1的匹配点为最近邻特征点M2j;,遍历参考图像中所有的特征点,得到匹配点对集A。同理,以待配准图像的特征点为参考点M2,得到匹配点对集B。最后,将匹配点对集A与匹配点对集B作比较,如果两个集中图像特征点完全相同,则是有效的匹对,有效的匹配点对的集合为最终的匹配点对。
[0025]
[0026] 式中:D(M1,M2j),D(M1,M2k)分别是参考图像的特征点与待配准图像的征点的最近邻特征点的距离相似性度量值、次最近邻特征点的距离相似性度量值,Th是设定的阈值为0.6运用双向匹配算法便可有效地去除这样的大部分错误匹配点。
[0027] 随机抽样一致性算法(RANSAC)是有效剔除图像误匹配的算法之一[14],因此被广泛应用。在本文中首先定义如下参数:初始最大内点(本文指精确匹配点)数max_inliner=0,反投影误差阈值threshold的取值一般为0.001~0.01,最大循环次数max_circle=
1000,numof_inliner为当前基础矩阵F所对应的内点数,通过矩阵F所计算出来的对称变换误差为di。
[0028] 假设2幅二维图像中的一对特征点Ni=(u,v,1)T和Ni’=(u’,v’,1)T,变换矩阵F满足
[0029]
[0030] 通过归一化线性变换估计出变换矩阵F,计算Ni进行变换后得到的坐标到Ni’的距离d(Ni’,FNi)2,同时对Ni’做相同的计算得到距离d(Ni,F Ni’)2。
[0031] di=d(Ni',FNi)2+d(Ni,FNi')2  (7)
[0032] 指定一个阈值threshold,当对应点的对称变换误差di小于该阈值时,认为这对点是符合模型的内点。
[0033] (3)图像拼接
[0034] 在获得两幅图像的精确匹配特征点对后,由式(8)图像变换关系可以求解出变换矩阵H,将待配准图像通过H进行变换后与参考图像进行叠加
[0035]
[0036] 式中,(x,y)和(x’,y’)是待配准图像和参考图像的匹配点对。
[0037] 由于输出图像存在亮度等方面的差异,在完成图像配准叠加后,在得到的拼接图像上一般会存在明显的缝合线,不利于视觉观察,本文可以采用加权平滑算法来实现两幅图像间的融合过渡[15]。融合方法如下:
[0038]
[0039] 式中,R1为图像1的非重合区域,R3为图像2的非重合区域,R2为两幅图像的重叠区域,a1和a2,分别为加权值,与重叠区域有关,并且a1+a2=1,0附图说明
[0040] 图1是图像拼接总流程图
[0041] 图2是两幅图像特征点匹配效果图;
[0042] 图3是图像配准实验用的图像;
[0043] 图4是图像拼接实验用的图像;
[0044] 图5是用本发明方法、ORB方法、SIFT方法进行图像拼接的结果;
[0045] 图6是各方法拼接图像的缝合处的放大部分。具体实施方式:
[0046] 图1是用于图像拼接的多尺度不变ORB算法流程图;
[0047] 图2两图像特征点匹配效果图,体现了ORB算法的尺度不变和抗旋转性;
[0048] 图3实验选取了4对旋转和缩放、模糊、光照强度、拍摄视角等情形下的图像,进行了性能测试,并且与ORB算法和SIFT算法进行对比;
[0049] 图4选取2对图像进行图像拼接实验;
[0050] 图5上述三种方法的拼接结果;
[0051] 图6拼接结果的缝合处的放大图像。
[0052] 表2正确率和时间
[0053]
[0054] 由表2比较可以看出,在图3(a)缩放与旋转的实验图片中,本发明ORB改进算法效果显著,本发明算法只是增加了少许消耗时间,但是加强了尺度缩放与旋转不变性,匹配点对数增加,准确率提高了约14%;在图3(d)角度变换方面也提升了约16%。与SIFT算法相比较,本发明算法获取的匹配特征点数略少,但消耗的时间减少了将近2个数量级,通过改进的匹配算法,使其匹配正确率也与SIFT的相差无几,在拍摄视角方面优于SIFT。
[0055] 表3各算法图像拼接时间
[0056]
[0057] 在图6(c)、6(f)中显示,ORB算法图像的拼接效果最差,错位现象严重,在图6(a)、图6(d)中显示,SIFT算法图像的拼接效果优秀,几乎没有错位,图6(b)和图6(e)可以看出,本发明算法无明显的接缝错位现象,拼接效果与ORB算法相比有显著提高,与SIFT效果一样优秀。由表3可知,拼接时间仅为SIFT的1.4%。考虑实时性和拼接效果两方面,本发明将具有更好的应用前景。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈