首页 / 专利库 / 电脑编程 / K最近邻算法 / 图像匹配方法

图像匹配方法

阅读:208发布:2021-12-10

专利汇可以提供图像匹配方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种图像匹配方法,属于图像匹配技术领域。所述方法包括:利用MSER方法检测出待匹配的图像中的同质区域;采用椭圆区域方程对检测到的每个同质区域进行拟合;采用椭圆形梯度直方图和多 尺度图 像分解 抽取 经过椭圆区域方程拟合后的同质区域所在测量区域的 特征向量 ;采用分层k均值聚类 算法 构造同质区域集合的二叉树,进行图像匹配。所述方法还包括:采用结合二叉树的渐进式方法构建感兴趣区域的分类器,进行图像匹配。本发明结合图像尺度空间和统计学习方法大大地降低了提取图像特征向量的复杂度和局部区域匹配复杂度,同时增强了图像匹配算法的 稳定性 。,下面是图像匹配方法专利的具体信息内容。

1.一种图像匹配方法,其特征在于,所述方法包括: 步骤A:利用MSER方法检测出待匹配的图像中的同质区域; 步骤B:采用椭圆区域方程对检测到的每个同质区域进行拟合; 步骤C:采用椭圆形梯度直方图抽取经过椭圆区域方程拟合后的同质区域所在测量区域的特征向量; 步骤D:采用多尺度图像分解抽取经过椭圆区域方程拟合后的同质区域所在测量区域的特征向量; 步骤E:采用分层k均值聚类算法构造同质区域集合的二叉树,进行图像匹配。
2. 如权利要求1所述的图像匹配方法,其特征在于,所述步骤B具体包括: 步骤B1:对检测出的同质区域内像素坐标的均值向量和协方差矩阵进行估算; 步骤B2:根据估算出的均值向量和协方差矩阵对椭圆区域方程的参数进行估算。
3. 如权利要求l所述的图像匹配方法,其特征在于,所述步骤C具体包括: 步骤Ch选取比所述同质区域面积大的邻域作为测量区域;步骤C2:将所述测量区域分别沿切向度和轴向按比例划分,并将划分得到的单元格内 像素的梯度按不同的方向进行等间隔量化,得到所述测量区域的特征向量。
4. 如权利要求l所述的图像匹配方法,其特征在于,所述步骤D具体包括: 步骤D1:将所述同质区域在尺度空间中进行降采样,并计算每个尺度的图像对应的梯度场;步骤D2:按照所述同质区域的椭圆区域方程,选取降采样后的椭圆短轴长度不大于预先 设定值的最大尺度;步骤D3:从选取出的尺度的图像对应的梯度场中抽取所述同质区域所在测量区域的椭圆 形梯度直方图特征向量。
5. 如权利要求4所述的图像匹配方法,其特征在于,所述步骤D3具体包括:步骤D3-1:所述同质区域内每个像素的梯度方向均以椭圆的长轴方向为基准进行旋转归 一化;步骤D3-2:提取角度为^的椭圆区域的椭圆形梯度直方图特征向量,并将所述特征向量 重新组合成角度为(^ + ;r)方向的椭圆形梯度直方图特征向量。
6. 如权利要求1所述的图像匹配方法,其特征在于,所述步骤E具体包括: 步骤E1:采用k均值聚类算法对同质区域集合进行反复的分层的划分,直到每个子集中包含一个样本为止;步骤E2:按照自顶向下和自底向上的方向搜索最近邻匹配。
7. 如权利要求1所述的图像匹配方法,其特征在于,所述方法还包括: 步骤F:采用结合二叉树的渐进式方法构建感兴趣区域的分类器,进行图像匹配。
8. 如权利要求7所述的图像匹配方法,其特征在于,所述步骤F具体包括: 步骤F1:从二叉树的根节点开始,以所有标记的样本集训练分类器;步骤F2:检査所述分类器是否符合要求,如果不符合要求,则抛弃所述分类器,并根据 所述分类器对应节点的左子节点和右子节点的最近邻距离准则,将样本分为两个子集合,重 新分别训练所述两个子集合对应节点的分类器,直至搜索完毕所有所述二叉树的节点,构建 感兴趣区域的分类器;步骤F3:按照所述二叉树的匹配算法更新每个样本的最近邻状态,并且利用所述二叉树 节点处的分类器排除被判决为负样本类别的同质区域。
9. 如权利要求8所述的图像匹配方法,其特征在于,所述步骤F2中检查所述分类器是否符合要求的步骤具体为:检査所述分类器的虚警率和漏警率是否达到预先设置的期望值,如果达到期望值,则所述分类器符合要求;或者,检査所述分类器对应节点是否为所述二叉树的叶子节点,如果是叶子节点,则所 述分类器符合要求。

说明书全文

图像匹配方法技术领域本发明涉及图像匹配技术领域,特别涉及一种图像匹配方法。 背景技术图像匹配是计算机视觉中一个非常重要的研究课题,广泛应用于图像配准、目标检测、 目标识别和图像检索等领域中。在图像采集过程中,尺度、视和光照变化,以及部分遮挡 等因素通常会造成同一场景的不同观测图像之间存在显著的差异,这就是图像匹配的困难所 在。为了解决上述难点问题,基于局部区域的图像匹配方法是一种行之有效的方法。目前, 大多数的局部区域检测方法都是根据图像局部变化是否显著进行稳定区域检测。根据变换不 变性,可以将当前的局部区域检测方法分为两类:相似变换不变和仿射变换不变。在满足相 似变换不变的局部区域检测方法中,最典型的是SIFT和基于随机树分类器的检测方法。SIFT 是Lowe提出的一种采用多尺度高斯差分图像检测关键点的方法,其中每个关键点的位置和 尺度对应于一个局部稳定区域。Lepetit与Fua提出的基于随机树分类器的方法就是为参考图 像中每个关键点训练一个随机树分类器,然后利用这组分类器检测未知图像中对应的关键点, 从而实现图像匹配或目标检测。满足仿射变换不变的局部区域检测方法较多,Mikolajczyk等 进行了相关综述,并给出了六种不同方法的性能比较。在许多场景中(例如,建筑物汽车和机场等),图像的局部区域是纹理分布比较均匀的 同质区域,此时,基于局部变化显著性进行稳定区域检测的方法很难获得较好的检测效果, 而MSER (Maximally Stable Extremal Regions,最大稳定极值区域)检测却能很好的检测局部 灰度均匀而边缘显著的稳定区域。在视角变化和光照变化比较剧烈的情况下,MSER的综合 性能较好。但是在利用MSER稳定区域进行图像匹配时,存在以下三个需要解决的问题:l)MSER 区域之间存在一定的重叠,导致不同区域之间的鉴别性不强;2)MSER区域的个数较多而且 面积较大,抽取特征的时间代价很大;3)区域匹配的时间复杂度很高(与两幅图像中稳定区 域的个数的乘积成正比)。因此,如何解决同一场景的不同观测图像之间存在显著的差异带来 的图像匹配困难(通常由于在图像采集过程中尺度、视角和光照变化,以及部分遮挡等因素

造成),提高图像匹配的稳定性,以及降低图像匹配算法的复杂度,提高匹配速度是函待解决 的问题。发明内容为了解决同一场景的不同观测图像之间存在显著的差异带来的图像匹配困难,提高图像 匹配的稳定性,以及降低图像匹配算法的复杂度,本发明提供了一种图像匹配方法,所述方 法包括:步骤A:利用MSER方法检测出待匹配的图像中的同质区域; 步骤B:采用椭圆区域方程对检测到的每个同质区域进行拟合;步骤C:采用椭圆形梯度直方图抽取经过椭圆区域方程拟合后的同质区域所在测量区域 的特征向量;步骤D:采用多尺度图像分解抽取经过椭圆区域方程拟合后的同质区域所在测量区域的 特征向量;步骤E:采用分层k均值聚类算法构造同质区域集合的二叉树,进行图像匹配。 所述步骤B具体包括:步骤B1:对检测出的同质区域内像素坐标的均值向量和协方差矩阵进行估算; 步骤B2:根据估算出的均值向量和协方差矩阵对椭圆区域方程的参数进行估算。 所述步骤C具体包括:步骤Cl:选取比所述同质区域面积大的邻域作为测量区域;步骤C2:将所述测量区域分别沿切向角度和轴向按比例划分,并将划分得到的单元格内 像素的梯度按不同的方向进行等间隔量化,得到所述测量区域的特征向量。 所述步骤D具体包括:'步骤D1:将所述同质区域在尺度空间中进行降采样,并计算每个尺度的图像对应的梯度 场;步骤D2:按照所述同质区域的椭圆区域方程,选取降采样后的椭圆短轴长度不大于预先 设定值的最大尺度;步骤D3:从选取出的尺度的图像对应的梯度场中抽取所述同质区域所在测量区域的椭圆形梯度直方图特征向量。所述步骤D3具体包括-步骤D3-1:所述同质区域内每个像素的梯度方向均以椭圆的长轴方向为基准进行旋转归

一化;步骤D3-2:提取角度为e的椭圆区域的椭圆形梯度直方图特征向量,并将所述特征向量 重新组合成角度为(e + ;r)方向的椭圆形梯度直方图特征向量。 所述步骤E具体包括:步骤E1:采用k均值聚类算法对同质区域集合进行反复的分层的划分,直到每个子集中 包含一个样本为止;步骤E2:按照自顶向下和自底向上的方向搜索最近邻匹配。 所述方法还包括:步骤F:采用结合二叉树的渐进式方法构建感兴趣区域的分类器,进行图像匹配。 所述步骤F具体包括:步骤Fh从二叉树的根节点开始,以所有标记的样本集训练分类器;步骤F2:检查所述分类器是否符合要求,如果不符合要求,则抛弃所述分类器,并根据 所述分类器对应节点的左子节点和右子节点的最近邻距离准则,将样本分为两个子集合,重 新分别训练所述两个子集合对应节点的分类器,直至搜索完毕所有所述二叉树的节点,构建 感兴趣区域的分类器;步骤F3:按照所述二叉树的匹配算法更新每个样本的最近邻状态,并且利用所述二叉树 节点处的分类器排除被判决为负样本类别的同质区域。所述步骤F2中检查所述分类器是否符合要求的步骤具体为:检查所述分类器的虚警率和漏警率是否达到预先设置的期望值,如果达到期望值,则所 述分类器符合要求;或者,检查所述分类器对应节点是否为所述二叉树的叶子节点,如果是叶子节点,则所 述分类器符合要求。本发明提供的技术方案的有益效果是:本发明结合图像尺度空间和统计学习方法大大地 降低了提取图像特征向量的复杂度和局部区域匹配复杂度,同时增强了图像匹配算法的稳定 性;在不同图像集上的实验结果表明,本发明提供的图像匹配方法的图像匹配速度比现有技 术中的穷举图像匹配方法至少提高一个数量级而且性能更加稳定。附图说明图1是本发明提供的图像匹配方法的流程图;图2是本发明用MSER方法检测出的同质区域和用椭圆方程进行拟合的示意图;

图3是本发明采用椭圆形梯度直方图和多尺度图像分解的方法抽取测量区域的特征向量 的示意图;图4是本发明提供的尺度空间中的图像金字塔示意图; 图5是本发明提供的基于HKB树的最近邻搜索示意图; 图6是本发明提供的P-Bootsing训练方法示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进 一步地详细描述。本发明提供了一种基于MSER同质区域的图像匹配方法,该方法首先提取以椭圆方程描述的同质区域的方向直方图特征向量,然后结合分层A均值聚类和统计鉴别学习进行快速而且准确的局部图像匹配。参见图l,本发明提供的图像匹配方法具体包括以下步骤:步骤101:利用MSER方法检测出待匹配的两幅图像中的同质区域;图像中的某些区域,其在整体明暗发生变化时受到的影响比较小,这些区域被称作稳定区域;由于按照MSER方法检测到的稳定区域有同质的特性,所以MSER方法检测出的MSER稳定区域就是MSER同质区域;步骤102:采用椭圆区域方程对检测到的两幅图像中的每个同质区域进行拟合; 不同视角图像中检测到的MSER同质区域之间通常存在仿射变换,为了进行准确的特征抽取,需要精确估计同质区域的方向和尺度,本发明采用椭圆区域方程化对检测出的每个同质区域进行拟合,椭圆区域方程A的数学表达式如下式所示:.其中,(A,>0, a和6分别表示椭圆的中心和两个彼此垂直的半轴长度,e是椭圆长轴 与平坐标轴的正向的夹角,由f椭圆关于其中心轴向对称,所以Pe[-;r/2,;r/2),如图2 所示;设椭圆区域内像素坐标的均值向量和协方差矩阵分别是Jl和C:对于0 = 0的椭圆区域,存在如下关系式:formula see original document page 7C^由】Kh。)2叫^ C广由lf("。)2眠4其中,lAl是区域A的面积,根据SVD (Singular Value Decomposition)奇异值分解, C = UAVT,其中对角阵A-diag(^,^);当椭圆绕其中心旋转时(6^0),并不会改变其区 域内像素坐标的均值ji;虽然协方差矩阵C会变化,但是C的特征值4和^是不变的,而且 ;^-a2/4, 4=62/4;因此,对于检测到的同质区域Q,为了估计其对应的椭圆参数 (x。,;y。,a,6,0),只需按下式估计同质区域Q内像素坐标的均值向量和协方差矩阵:其中,x是同质区域Q内的任意像素的二维坐标,lQl是该同质区域Q的面积;然后,令formula see original document page 8,其中,卜u,v^T是矩阵V的第一个列向步骤103:采用椭圆形梯度直方图和多尺度图像分解的方法抽取经过椭圆区域方程拟合 后的同质区域所在测量区域的特征向量;由于同质区域内的纹理比较平坦,而其边界的图像灰度变化较大,所以用于提取特征向 量的的测量区域通常与同质区域同中心和方向,但尺度要大若干倍;在得到测量区域后,当 前文献中通常采用区域归一化的方法将测量区域内的图像像素映射到一个指定大小的圆形或 矩形区域内;由于测量区域的数目众多且面积较大,这类方法的计算量非常大,为此,本发 明采用椭圆形梯度直方图(E-HOG)和多尺度图像分解的方法抽取测量区域的特征向量;如图3所示,给定同质区域Q,取其2.5倍尺度的邻域为测量区域,将测量E域沿切向 按角度8等分,沿轴向按1:3:5的比例划分,中心区域不在切向上划分,每个单元格中像素 的梯度均按8个方向等间隔量化;按此方法,构造出一个17x8-136的特征向量;给定输入图像,以间隔c在尺度空间中进行Z-l次降采样,得到Z层的图像金字塔,如 图4所示;计算每个尺度的图像对应的梯度场,这里Z的取值要保证金字塔中最小尺度的图 像不大于32x32;给定同质区域Q的椭圆方程(;c。,y。,fl,6,e),在图像金字塔中选取尺度为s的图像,在其对应的梯度场中抽取同质区域Q的椭圆形梯度直方图特征向量,其中,■y = min化l。g。 (6/r0)」,Z —l}为了快速且精确地提取E-HOG特征向量,通常取o" = 2和r。 = 2 ;在提取E-HOG特征向量时,测量区域内每个像素的梯度方向均以椭圆的长轴方向为基准 进行旋转归一化(减去夹角。;由于椭圆沿其中心轴向对称,每个测量区域应该以0和^ + 7提 取两个E-HOG特征向量,为了提高速度,实际中只需提取角度为e的椭圆区域的E-HOG特 征向量,然后将此特征向量重新组合成角度为(6 + ;r)方向的E-HOG特征向量; 步骤104:采用分层k均值聚类算法构造稳定区域集合的二叉树,进行图像匹配; 分层A:均值聚类算法构造稳定区域集合的二叉树的原理为:给定集合Sp利用A;均值 (it = 2)算法将S,分成两个集合;对于每个子集合,不断的进行A均值划分,直到每个子集合中只包含一个样本;分层A均值聚类构造的二叉树记为HKB树r:(node^》二,其中 node(")表示该树的第"个节点,如图5所示;如果按从上至下,从左至右的顺序存储每个节 点,那么node(l)是根节点,对于大小为^的集合A,对应的HKB树共有^ =2AA,-l个节点 (M个叶子节点和M-1个非叶子节点),其中,每个叶子节点对应一个同质区域的E-HOG 特征向量,每个非叶子节点对应于一个子集合(由该节点的所有后裔叶子节点组成)的聚类中 心,得到集合&的HKB树之后,本发明结合至顶向下和至底向上的方法在集合S,中搜索最近邻匹配,具体可以通过以下步骤实现:1) 给定集合S^^G, S2-^d和S!的HKB树r^node(")t;2) 令M^附iC其中第i个候选匹配w,:"C)表示S,中第z'样本与S2中的第/7,个样本匹配,且匹配距离为《;初始时刻,令《=+00 (1S/^M);3) 从S2中选取待匹配区域b"从7的根节点node(ra)开始搜索匹配;4) 如果node(")是非叶子节点,则计算node(")的左子节点node(&)和右子节点 node(、)到by.的距离《和《;5) 如果node")是叶子节点,则设node")对应于集合S,中的a,,并且如果《<《, 则令/7,=_/,6) 如果node(t,)是叶子节点,则设node(、)对应于集合S,中的a〃 并且如果《<《, 则令//,=_/,

7) 如果《s《,则令"-;t〃否则令"=^;8) 重复执行步骤4-7,直到node(")是叶子节点为止;9) 重复执行步骤3-8,直到S,中所有的区域匹配完毕; 上述算法的核心思想是:给定S2中的样本b,设叶子节点a,是其在HKB树中至顶向下找到的最近邻匹配,根据、到a,的距离更新候选匹配集合;然后,从叶子节点a,.,至底向上 搜索其祖先节点的所有后裔叶子节点,同时,根据、到这些叶子节点的距离,更新候选匹配 结果;设集合S,的HKB树的深度为A ,基于HKB树的匹配算法的复杂度为0(/^2;虽然HKB树通常不是满二叉树,由于不同的同质区域之间有一定的重叠,所以相应的E-HOG特征向量 之间有一定的相似性,这使得HKB树的左右子树的结构相对平衡,也就是说HKB树的深度 满足/j《W,,因此极大地提高了匹配速度;步骤105:采用结合HKB树的渐进式Boosting方法,构建感兴趣区域的分类器,进行图 像匹配;在目标检测和识别等应用中,感兴趣的目标区域往往是整幅图像的一部分,如果能够利 用背景信息,将有助于提高匹配算法的性能;假设图像I,中感兴趣区域的MSER区域集合是 S,,图像12中检测到的MSER区域集合是、,通常S2中有相当多的同质区域是与S,无关的局部图像区域,如果能够快速地剔除这些属于无关背景的同质区域,那么匹配算法的搜索代 价可以进一步降低,为此,本发明采用了一种结合HKB树的渐进式Boosting方法 (P-Boosting),构建感兴趣区域的分类器;在训练分类器时,正样本集合由感兴趣区域中的 MSER区域组成,负样本集合由感兴趣区域周围的背景区域中的MSER区域组成,首先从根 节点开始,以所有标记的样本集训练Real-Boost分类器,然后检査Real-Boost分类器的虚警 率和漏警率是否达到预先设置的期望值,如果达到期望值或者Real-Boost分类器对应节点是 HKB树的叶子节点,则Real-Boost分类器符合要求,若没有达到期望值,则抛弃Real-Boost 分类器,并根据Real-Boost分类器对应节点的左子节点和右子节点的最近邻距离准则,将样 本分为两个子集合,重新分别训练两个子集合对应节点的分类器,以如此渐进式训练的方式 直至搜索完毕所有HKB树的节点,得到P-Boosting分类器,如图6所示,具体可以通过以下 步骤实现:1)给定HKB树r-^iode("》二,训练样本集X:lx,]二及其类别标记^^,设定期望 漏警率y;和虚警率/。;2) 令0 = {0„,<5„》二,其中,《=-1表示第"个节点处不存在分类器,&=0表示该节 点处需要训练分类器,《=1表示该节点处存在分类器&,初始时刻令&=-1 (1S"^A^);3) 设x中各样本在树r中的位置标记为初始时刻,令/,=1 (1《z、AO,表示所有样本都在树r的根节点处,令《-o表示根节点处需要训练分类器;4) 设X"是X中位置标记为"的所有样本组成的子集合,利用X"为第w个节点训练 Real-Boost分类器/z„ ,得到在X„上的虚警率e。,漏警率^ ;5) 判断如果e。S/。且^《/;或node(")是叶子节点,则令《=1;6) 否则令《=-1,并根据到节点node(")的左子节点node(、)和右子节点node(t)的最 近邻距离准则,将X"中的样本分为两个子集合Z,和Z,,将Z,中样本的位置标记设置为^, Z,中样本的位置标记设置为、,令《,=《=0;7) 重复执行步骤4-6,直到没有《=0为止;采用上述方法训练得到的树状分类器中并非每个节点处都存在分类器,如图6所示;在 训练P-Boosting分类器时,实验中通常取,=/a =0;利用P-Boosting分类器,可以进一步加 速集合S^卩S,的匹配过程:对于集合S2中的任意样本b"按照基于HKB树的匹配算法更新 集合S,中每个样本的最近邻状态;在匹配过程中,如果访问到的节点node(")存在分类器, 就利用分类器^对、分类;如果b,.被识别为负样本类别,就停止对b,.的匹配搜索。本发明结合图像尺度空间和统计学习方法大大地降低了提取图像特征向量的复杂度和局 部区域匹配复杂度,同时增强了图像匹配算法的稳定性;在不同图像集上的实验结果表明, 本发明提供的图像匹配方法的图像匹配速度比现有技术中的穷举图像匹配方法至少提高一个 数量级而且性能更加稳定。本发明提供的图像匹配方法适用于光照、视角和尺度变化及部分遮挡的图像匹配,尤其 能够较好的处理纹理比较平坦的图像匹配,进一步地,本发明提供的图像匹配方法还可以直 接扩展到目标跟踪和目标识别等应用领域中。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之 内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈