首页 / 专利库 / 地球科学 / 地球科学 / 一种稳健的多模态遥感影像匹配方法和系统

一种稳健的多模态遥感影像匹配方法和系统

阅读:660发布:2020-05-11

专利汇可以提供一种稳健的多模态遥感影像匹配方法和系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种稳健的多模态遥感影像匹配方法和系统,整合各种局部特征描述符进行多模态遥感影像自动匹配。首先对影像进行密集的格网 采样 ,并提取每个格网点的局部特征描述符,形成三维稠密特征表达图,然后基于该特征表达图利用三维傅里叶变换在 频率 域建立一种快速的匹配相似性测度,最后采用模板匹配进行同名点识别。另外针对所发明的匹配方法,还提出了一种新的稠密特征表达方法梯度方向特征通道(CFOG),它在匹配性能和计算效率方面要优于基于HOG、LSS、SIFT、SURF等现有的稠密特征表达方式。本发明能有效克服可见光、红外、 激光雷达 、 合成孔径雷达 以及地图等多模态影像间的非线性 辐射 差异,在影像间快速、精确地识别出同名点,实现影像的自动匹配。,下面是一种稳健的多模态遥感影像匹配方法和系统专利的具体信息内容。

1.一种稳健的多模态遥感影像匹配方法,其特征在于包括下列步骤:
A.判断参考影像和输入影像的分辨率信息,如果两幅影像具有相同的分辨率,则进行步骤B,如果分辨率不同,则将两幅影像采样为同样的分辨率;
B.采用分的策略,在参考影像上检测出一系列分布均匀的特征点,记为P1i(i=1,2,
3,……,N),N表示特征点的总点数,以点P1i为中心选取模板区域AreaW1i;
C.根据遥感影像自身提供的地理坐标信息,预测点集P1i(i=1,2,3,….,N)在输入影像上所对应的匹配区域AreaW2i;
D.在匹配区域内构建三维稠密特征表达图;
E.在三维稠密特征表达图的基础上,建立相似性测度进行同名点匹配;
F.对于获得的同名点,对其相似性图进行局部极值拟合,求解出匹配点的亚像素位置
所述相似性图是在三维稠密特征表达图的基础上建立影像匹配的相似性测度、并进行相似性测度运算获得的图;
G..重复步骤C-F,遍历P1i(i=1,2,3,….,N)的每一个点,得到具有亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)}(i=1,2,3,….,N);
H.剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,….,N)中误差较大的同名点对,获取最终的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S),S表示剔除后的同名点对总对数;步骤D包括如下步骤:对匹配区域内的影像数据进行稠密的格网采样,计算每个格网点的局部特征描述符,将其所对应的特征向量在Z方向进行排列,形成三维稠密特征表达图;
所述步骤D中计算每个格网点的局部特征描述符为在匹配区域内构建方向梯度通道特征(channel features of orientated gradients,CFOG),具体包括以下步骤:
D1.对匹配区域内的影像数据进行密集的格网采样,计算每个格网点在各方向的梯度信息,形成三维的方向梯度图;
D2.在平X方向和垂直Y方向,利用高斯滤波器或三滤波器对三维的方向梯度图做卷积运算,得到获得特征图 再利用一维滤波器在Z方向对特征图 进行卷积运算,得到特征图
D3.对特征图 进行归一化操作,获得最终的方向梯度通道特征图。
2.如权利要求1所述的多模态遥感影像匹配方法,其特征在于,所述步骤D中当格网采样的间距为1个像素时,即进行逐像素采样,所形成的三维稠密特征表达图是三维的逐像素特征表达图。
3.如权利要求2所述的多模态遥感影像匹配方法,其特征在于,所述局部特征描述符为HOG、LSS、SURF或Scale Invariant Feature Transform(SIFT)的一种。
4.如权利要求1所述的多模态遥感影像匹配方法,其特征在于,所述一维滤波器为[1,
2,1]。
5.如权利要求4所述的多模态遥感影像匹配方法,其特征在于,所述步骤D中的构建方向梯度通道特征(CFOG),具体包括以下计算步骤:
对于区域内的所有像素,分别利用一维滤波器[-1,0,1]和[-1,0,1]T计算它们在水平X方向和垂直Y方向的梯度gx和gy;
利用gx和gy计算它们在各个方向的梯度值gθ,计算公式如下:
式中,θ表示量化的梯度方向,abs表示取绝对值, 符号表示值为正时取本身,否则取
0;
将各个方向的gθ叠置在一起,形成三维方向梯度图go,然后在X和Y方向利用标准为σ的二维高斯滤波器对go进行卷积运算获得特征图 再利用一维滤波器[1,2,1]在Z方向对进行卷积运算得到特征图
特征图 中的每一个像素在Z方向上都对应了一个特征向量fi,遍历每个像素,对其特征向量fi进行归一化操作,得到最终的方向梯度通道特征图(CFOG),归一化的计算公式如下:
式中,ε是一个避免除零的数。
6.如权利要求1所述的多模态遥感影像匹配方法,其特征在于,所述步骤E是在三维稠密特征表达图基础上,利用差平方和、欧式距离、归一化互相关、相位相关中的一种作为相似性测度进行同名点匹配,或利用一种快速的基于傅里叶变换的相似性测度进行同名点匹配。
7.如权利要求6所述的多模态遥感影像匹配方法,其特征在于,所述步骤E具体包括以下计算步骤:
经过步骤D后分别得到区域AreaW1i和AreaW2i的稠密的三维特征表达图D1和D2,将D1作为模板在D2进行滑动,利用D1和D2之间的相似性进行匹配;
所述差平方和的计算公式为:
所述欧式距离的计算公式为:
所述归一化互相关的计算公式为:
所述相位相关的计算公式为:
式(3)-(6)中,c表示三维稠密特征表达图中的坐标,v表示D1和D2之间的偏移量,Si表示D1和D2之间的相似性测度,F表示快速傅里叶正向变换,F*表示F的复数共轭;当相似性测度为差平方和或欧式距离时,当Si取得最小值时,将获得D1和D2之间的偏移量vi;当相似性测度为归一化互相关或相位相关时,当Si取得最大值时,将获得D1和D2之间的偏移量vi;
所述一种快速的基于傅里叶变换的相似性测度为当差平方和最小时,获得匹配位置vi,计算公式如下:
对公式(7)进行展开得:
在公式(8)中,由于第一项和第二项的值接近于常数,所以当第三项的值最大时,公式(7)将获得最小值,因此,相似性函数可重新定义为:
式中, 是一个卷积运算;
考虑到频率域下的点乘运算等同于空间域下的卷积运算,因此在频率域利用快速傅里叶变换来提高其计算效率,得到基于傅里叶变换的相似性测度为:
式中,F和F-1分别表示快速傅里叶正向变换和逆向变换,F*表示F的复数共轭,其中F为二维或三维傅里叶变换。
8.一种稳健的多模态遥感影像匹配系统,其特征在于包括下列单元:
预处理单元,用于判断参考影像和输入影像的分辨率信息,如果两幅影像具有相同的分辨率,则执行后续单元,如果分辨率不同,则将两幅影像采样为同样的分辨率;
模板区域选取单元,用于采用分块的策略,在参考影像上检测出一系列分布均匀的特征点,记为P1i(i=1,2,3,…,N),N表示特征点的总点数,以点P1i为中心选取模板区域AreaW1i;
匹配区域选取单元,用于根据遥感影像自身提供的地理坐标信息,预测点集P1i(i=1,
2,3,…,N)在输入影像上所对应的匹配区域AreaW2i;
特征提取单元,用于在匹配区域内构建三维稠密特征表达图;
初匹配单元,用于在三维稠密特征表达图的基础上,建立相似测度进行同名点匹配;对于获得的同名点,对其相似性图进行局部极值拟合,求解出匹配点的亚像素位置;重复上述单元的操作,遍历P1i(i=1,2,3,…,N)的每一个点,得到具有亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N);所述相似性图是在三维稠密特征表达图的基础上建立影像匹配的相似性测度、并进行相似性测度运算获得的图;
匹配点筛选单元,用于剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N)中误差较大的同名点对,获取最终的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S),S表示剔除后的同名点对总对数;
所述特征提取单元用于对匹配区域内的影像数据进行密集的格网采样,计算每个格网点的局部特征描述符,形成三维的稠密特征表达图,具体的计算每个格网点的局部特征描述符为在匹配区域内构建方向梯度通道特征(channel features of orientated gradients,CFOG),具体包括:
D1.对匹配区域内的影像数据进行密集的格网采样,计算每个格网点在各方向的梯度信息,形成三维的方向梯度图;
D2.在水平X方向和垂直Y方向,利用高斯滤波器或三角滤波器对三维的方向梯度图做卷积运算,得到获得特征图 再利用一维滤波器在Z方向对特征图 进行卷积运算,得到特征图
D3.对特征图 进行归一化操作,获得最终的方向梯度通道特征图。
9.如权利要求8所述的多模态遥感影像匹配系统,其特征在于,所述初匹配单元是在三维稠密的特征表达图基础上,建立影像匹配的相似测度进行运算获得相似性图,取相似性图极值位置为影像的匹配位置。

说明书全文

一种稳健的多模态遥感影像匹配方法和系统

技术领域

[0001] 本发明涉及卫星影像处理技术领域,尤其是一种多模态遥感影像匹配方法和系统,用于可见光、红外、激光雷达、合同孔径雷达以及地图等多模态影像的自动匹配。

背景技术

[0002] 影像匹配是在两幅或多福影像间识别同名点的过程,它是诸多遥感影像分析如影像融合,变化检测,影像镶嵌等的基本预处理步骤,其匹配精度对后续的分析工作产生重要的影响。目前遥感卫星传感器装载有全球定位系统和惯性导航系统,可对遥感影像进行直接定位和粗匹配,消除影像间明显的旋转和尺度变化,使影像间仅存在一定量(如几十个像素内)的平移差异。尽管如此,由于影像的成像机理的不同,多模态遥感影像间(可见光,红外,激光雷达和合同孔径雷达等)存在显著的非线性辐射差异,导致同名点的自动匹配仍然非常具有挑战性。
[0003] 目前多模态遥感影像的匹配方法主要可分为:特征匹配和区域匹配。特征匹配是通过影像间显著特征的相似性来实现影像的匹配。常用的特征包括了点特征的方法,线特征的方法和面特征。最近局部不变性特征如Scale Invariant Feature Transform(SIFT),shape context等在遥感影像匹配中也得到了一定的应用。但这些方法通常需要在影像间提取出具有高重复率的特征,而对于具有显著辐射差异的多模态遥感而言,特征提取的重复率往往较低,因此它们对于多模态遥感影像的自动匹配还存在一定的局限性。
[0004] 基于区域的方法主要是采用模板匹配的策略,以某种匹配相似性测度为准则,在影像间进行同名点识别。在此过程中,相似性测度的选择至关重要,直接影响到后续的匹配精度。常用的相似性测度包括了灰度差平方和、归一化相关系数和互信息等。但这些相似性测度都是利用影像间灰度的相似性进行同名点识别,而由于多模态遥感影像间的灰度信息存在较大的差异,所以它们无法较好适用于多模态遥感影像的自动匹配。相比于灰度信息,影像的结构和形状属性具有较高的相似性,而且相关研究利用梯度方向直方图(Histogram of Orientated Gradient,HOG)、局部自相似(Local Self-Similarity,LSS)等局部描述符提取影像的结构和形状特征,并在此基础上建立相似性测度进行影像匹配,提高了匹配性能。尽管如此,HOG和LSS只是利用影像的局部信息进行特征构建,或者利用所提取特征点的邻域信息计算特征,是一种稀疏的特征表达方式,难以很好地反映多模态影像间的共有属性,而且其计算效率较低。
[0005] 鉴于此,本发明构建了一种稳健的多模态遥感影像匹配方法,该方法可以整合各种局部特征描述符进行多模态遥感影像自动匹配。该方法首先对影像进行密集的格网采样,并提取每个格网点的HOG,LSS、SIFT或Speeded-Up Robust Features(SURF)等局部特征描述符,形成三维的稠密特征表达图,来反映影像间共有的结构和形状属性。然后基于该特征表达图,建立影像匹配的相似性测度,并采用模板匹配的策略进行同名点识别,另外针对所发明的方法,构建了一种基于方向梯度特征的稠密特征描述符,名为方向梯度通道特征(Channel Feature of Orientated Gradient,CFOG)。它在匹配性能和计算效率方面要优于稠密的HOG,LSS、SIFT和SURF等特征表达技术。

发明内容

[0006] 本发明的发明目的在于:克服传统匹配方法的不足,提供了一种稳健的多模态遥感影像匹配方法。该方法利用通过稠密的特征表达技术来提取影像间共有的结构和形状特征,并在其基础上建立了快速的匹配相似性测度,可在多模态遥感影像间快速、精确地获取大量分布均匀的同名点。另外针对所发明的方法,构建了一种新颖的稠密特征表达技术,名为方向梯度通道特征(Channel Feature of Orientated Gradient,CFOG)。
[0007] 一方面,本发明提供了一种稳健的多模态遥感影像匹配方法,包括下列步骤:
[0008] A.判断参考影像和输入影像的分辨率信息,如果两幅影像具有相同的分辨率,则进行后续处理,如果分辨率不同,则将两幅影像采样为同样的分辨率;
[0009] B.采用分的策略,在参考影像上检测出一系列分布均匀的特征点,记为P1i(i=1,2,3,……,N),以点P1i为中心选取模板区域AreaW1i;
[0010] C.根据遥感影像自身提供的地理坐标信息,预测点集P1i(i=1,2,3,….,N)在输入影像上所对应的匹配区域AreaW2i;
[0011] D.在匹配区域内进行密集的格网采样,并构建三维稠密特征表达图;
[0012] E.在三维稠密特征表达图的基础上,建立相似性测度进行同名点匹配;
[0013] F.对于获得的同名点,对其相似性图进行局部极值拟合,求解出匹配点的亚像素位置
[0014] G.重复步骤(C)—(F),遍历P1i(i=1,2,3,…,N)的每一个点,得到具有亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N);
[0015] H.剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N)中误差较大的同名点对,获取最终的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S)。
[0016] 其中,所述步骤D包括以下步骤:对匹配区域内的影像数据进行密集的格网采样,并计算格网点的HOG、LSS、SIFT或SURF等局部特征描述符,形成三维的稠密特征表达图。
[0017] 进一步的,所述步骤D还可以为在匹配区域内构建方向梯度通道特征(CFOG),具体包括以下步骤:
[0018] D1.对匹配区域内的影像数据进行密集的格网采样,计算每个格网点在各个方向的梯度信息,形成三维的方向梯度图;
[0019] D2.在平X方向和垂直Y方向,利用高斯滤波器或三滤波器对三维的方向梯度图做卷积运算,得到获得特征图 再利用一维滤波器[1,2,1]在Z方向对特征图 进行卷积运算,得到特征图
[0020] D3.对特征图 进行归一化操作,获得最终的方向梯度通道特征图。
[0021] 其中所述步骤D为在匹配区域内构建方向梯度通道特征(CFOG),具体计算过程包括如下步骤:
[0022] 对于区域内的所有格网点,分别利用一维滤波器[-1,0,1]和[-1,0,1]T计算它们在水平方向(X方向)和垂直方向(Y方向)的梯度gx和gy;
[0023] 利用gx和gy计算它们在各个方向的梯度值gθ,计算公式如下:
[0024]
[0025] 式中,θ表示量化的梯度方向,abs表示取绝对值, 符号表示值为正时取本身,否则取0;
[0026] 将各个方向的gθ叠置在一起,形成三维方向梯度图go,然后在X和Y方向利用标准为σ的二维高斯滤波器或三角滤波器对go进行卷积运算获得特征图 再利用一维滤波器[1,2,1]在Z方向对 进行卷积运算得到特征图
[0027] 特征图 中的每一个像素在Z方向上都对应了一个特征向量fi,遍历每个像素,对其特征向量fi进行归一化操作,得到最终的方向梯度通道特征图,归一化的计算公式如下:
[0028]
[0029] 式中,ε是一个避免除零的数。
[0030] 其中,所述梯度方向在360°的范围内均匀划分为n个等份,每个等份的角度间隔为360/n°。
[0031] 进一步的,所述步骤E为基于三维稠密特征表达图,建立相似性测度获取影像的匹配位置。
[0032] 其中所述步骤E具体包括以下计算步骤:
[0033] 经过步骤D后分别得到区域AreaW1i和AreaW2i的三维稠密特征表达图D1和D2,将D1作为模板在D2进行滑动,利用D1和D2之间的相似性进行匹配,相似性测度可为差平方和,欧式距离,归一化互相关,相位相关等。
[0034] 差平方和的计算公式为:
[0035]
[0036] 欧式距离的计算公式为:
[0037]
[0038] 归一化互相关的计算公式为:
[0039]
[0040] 相位相关的计算公式为:
[0041]
[0042] 式(3)-(6)中,c表示三维稠密特征表达图中的坐标,v表示D1和D2之间的偏移量,Si表示D1和D2之间的相似性测度,F表示快速傅里叶正向变换,F*表示F的复数共轭。对于差平方和、欧式距离,当Si取得最小值时,将获得D1和D2之间的偏移量vi。而对于归一化互相关和相位相关,当Si取得最大值时,将获得D1和D2之间的偏移量vi。
[0043] 另外,为了进行快速匹配,本发明构建一个基于快速傅里叶变换的相似性测度,该测度的发明起源于差平方和,如上所述当差平方和最小时,将获得匹配位置vi,计算公式如下
[0044]
[0045] 对公式(7)进行展开得:
[0046]
[0047] 在公式(8)中,由于第一项和第二项的值接近于常数,所以当第三项的值最大时,公式(7)将获得最小值,因此,相似性函数可重新定义为:
[0048]
[0049] 式中, 是一个卷积运算;
[0050] 考虑到频率域下的点乘运算等同于空间域下的卷积运算,因此在频率域利用快速傅里叶变换来提高其计算效率,得到基于傅里叶变换的相似性函数为:
[0051]
[0052] 式中,F和F-1分别表示快速傅里叶正向变换和逆向变换,F*表示F的复数共轭,其中F可为二维或三维傅里叶变换。
[0053] 另一方面,本发明还提供了一种稳健的多模态遥感影像匹配系统,该系统包括下列单元:
[0054] 预处理单元,用于判断参考影像和输入影像的分辨率信息,如果两幅影像具有相同的分辨率,则执行后续单元,如果分辨率不同,则将两幅影像采样为同样的分辨率;
[0055] 模板区域选取单元,用于采用分块的策略,在参考影像上检测出一系列分布均匀的特征点,记为P1i(i=1,2,3,…,N),以点P1i为中心选取模板区域AreaW1i;
[0056] 匹配区域选取单元,用于根据遥感影像自身提供的地理坐标信息,预测点集P1i(i=1,2,3,…,N)在输入影像上所对应的匹配区域AreaW2i;
[0057] 特征提取单元,用于在匹配区域内构建三维稠密特征表达图;
[0058] 初匹配单元,在三维稠密特征表达图的基础上,建立相似性测度进行同名点匹配;对于获得的同名点,对其相似性图进行局部极值拟合,求解出匹配点的亚像素位置;重复上述单元的操作,遍历P1i(i=1,2,3,…,N)的每一个点,得到具有亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N);
[0059] 匹配点筛选单元,用于剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N)中误差较大的同名点对,获取最终的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S)。
[0060] 进一步的,所述特征提取单元用于对匹配区域内的影像数据进行密集的格网采样,计算每个格网点的局部特征描述符,形成三维稠密特征表达图。
[0061] 进一步的,所述初匹配单元是在三维稠密特征表达图的基础上建立影像匹配的相似性测度,并进行运算获得相似性图,取相似性图极值位置为影像的匹配位置。
[0062] 综上所述,由于采用了上述技术方案,本发明的有益效果是:
[0063] (1)本发明构建了一种稳健的多模态遥感影像匹配方法,通过将影像进行密集的格网采样,提取每个格网点的局部特征描述符(如HOG、LSS、SIFT或者SURF等),形成三维稠密特征表达图,能较好地反映多模态遥感影像间的共有结构和形状属性,并三维稠密特征表达图上,建立了影像匹配的相似性测度。该方法可以快速精确、自动的在多模态影像间获取大量分布均匀的同名点,可有效提高匹配的实际生产效率,满足业务化运行的需求,而且它是一种通用的方法,可以整合各种局部特征描述进行影像匹配(不局限于HOG、LSS、SIFT或SURF等描述符)。
[0064] (2)在构建的方法中,三维的稠密特征表达是通过将影像进行密集的格网采样,并计算每个格网点的HOG,LSS、SIFT或SURF等局部特征描述形成的,是一种稠密的特征表达方式。这不同于传统的HOG,LSS、SIFT或SURF等描述符,它们只是利用影像局部区域信息进行特征构建,或者利用所提取特征点的邻域信息计算特征,是一种稀疏的特征表达方式。相比而言,本发明的稠密的三维特征表达技术能更好,更精确地反映多模态遥感影像间的共有结构和形状属性,匹配性能更稳健,而结合本方法提出的基于三维稠密特征表达技术的相似性测度,可实现多模态影像间的快速、精确匹配。
[0065] (3)本发明针对所构建的方法,利用影像的方向梯度信息构建了一种新颖的稠密特征描述符-方向梯度通道特征(CFOG),它在匹配效率和精度方面都优于稠密的HOG、LSS、SIFT和SURF等特征表达方式。
[0066] (4)在三维稠密特征表达基础上可利用差平方和,欧式距离,归一化互相关,相位相关等作为相似性测度(不限于这些相似性测度)进行同名点、另外本发明还建立一种快速的基于傅里叶变换的相似性测度,其计算效率更高,计算效果更优。
[0067] (5)大量的实验结果表明,对于平坦地区的影像,匹配的总体精度可达到1个像素以内,而对于山区和城区的影像,匹配的总体精度可达到2.5个像素以内。对于大尺寸的遥感影像(超过20000×20000像素),可在30秒内完成影像匹配。而且与目前流行的商业遥感影像软件(ENVI和ERDAS)相比,所发明的方法在匹配精度和计算效率都具有优势。附图说明
[0068] 图1是本发明的整体流程图
[0069] 图2是本发明的三维稠密特征表达示意图。
[0070] 图3是本发明中方向梯度通道特征(CFOG)的构建过程。

具体实施方式

[0071] 为了使本领域的人员更好地理解本发明的技术方案,下面结合本发明的附图,对本发明的技术方案进行清楚、完整的描述,基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例,都应当属于本申请保护的范围。
[0072] 如图1,为一种稳健的多模态遥感影像匹配方法,包括以下步骤:
[0073] 步骤A,根据参考影像和输入影像的分辨率信息,判断两幅影像的分辨率是否一致,一致则进行后续处理,不一致则将这两幅影像按照同样分辨率的进行采样处理。
[0074] 步骤B,采用分块的策略,利用Harris或Forstner算子,在参考影像上提取大量的分布均匀的特征点,具体包括:
[0075] 将参考影像划分为n×n个互不重叠的区域,在每区域内,计算每个像素点的Harris或Forstner特征值,并将特征值进行从大到小排序,选取特征值较大的k个像素作为特征点。这样可以在每个区域内检测出k个特征点,整幅影像上则拥有n×n×k个特征点。n和k的值可根据实际需求进行设定。记参考影像上检测的特征点集为P1i(i=1,2,3,….,N)。
[0076] 在其他实施例中也可以采用其他算子进行图像的特征提取,本发明对此不进行限定。
[0077] 步骤C,根据遥感影像自身提供的地理坐标信息,预测点集P1i(i=1,2,3,….,N)在输入影像上所对应的匹配搜索区域,具体包括以下步骤:
[0078] (1)提取P1i(i=1,2,3,….,N)的一个点P1i(x,y),x和y表示点P1i的图像坐标,以点P1i(x,y)为中心选取大小为M×M的模板区域AreaW1i,并获取该点所对应的地理坐标Geoi;
[0079] (2)根据地理坐标Geoi并结合输入影像的地理坐标信息,计算其在输入影像上所对应的图像坐标P2i(x,y),并以P2i(x,y)为中心确定一个大小为M1×M1的方形窗口作为匹配搜索区域AreaW2i。
[0080] 步骤D,在区域AreaW1i和AreaW2i内构建三维稠密特征表达图,参见图2。
[0081] 在一个实施例中,步骤D包括以下步骤:
[0082] 对区域内的像素进行密集的等间距格网采样,并计算每个格网点的HOG、LSS、SIFT或者SURF等局部特征描述符,将每个格网点所对应的特征向量在Z方向进行排列,形成三维稠密特征表达图。对于格网采样的间隔η∈[0.5,4]个像素,采样间隔越小,匹配精度越高,但计算量越大。当采样间隔为1个像素时,即逐像素采样,形成的稠密特征表达图就是逐像素特征表达图。如果采样间隔为小数时,还需要对格网点邻域内的像素值进行内插,便于计算局部特征描述符。另外对于使用何种具体的局部特征描述符,本实施例中对此不做限定。
[0083] 在另一个实施例中,步骤D为在区域AreaW1i和AreaW2i内构建方向梯度通道特征(Channel Feature of Orientated Gradient,CFOG),参见图3,具体包括以下步骤:
[0084] (1)对于区域内的所有像素,分别利用一维滤波器[-1,0,1]和[-1,0,1]T计算它们在水平方向(X方向)和垂直方向(Y方向)的梯度gx和gy.
[0085] (2)利用gx和gy计算它们在各个方向的梯度值gθ,计算公式如下:
[0086]
[0087] 式中,θ表示量化的梯度方向,这里将梯度方向在360°的范围内均匀划分为n个等份,每个等份的角度间隔为(360/n)°,abs表示取绝对值, 符号表示值为正时取本身,否则取0。
[0088] (3)将各个方向的gθ叠置在一起,形成是三维的方向梯度图go。然后在X和Y方向利用标准为σ的二维高斯滤波器或三角滤波器对go进行卷积运算获得特征图 再利用一维滤波器[1,2,1]在Z方向对 进行卷积运算得到特征图
[0089] (4)特征图 中的每一个像素在Z方向上都对应了一个特征向量fi。遍历每个像素,对其特征向量fi进行归一化操作,进一步消除光照变化的影响,得到最终的CFOG特征图。归一化的计算公式如下:
[0090]
[0091] 式中,ε是一个避免除零的数。
[0092] 步骤E,在三维稠密特征表达图的基础上,建立相似性测度进行同名点匹配,具体包括以下步骤:
[0093] (1)经过步骤D后,可以分别得到区域AreaW1i和AreaW2i对应的稠密特征表达图D1和D2,将D1作为模板在D2进行滑动,利用D1和D2之间的相似性进行匹配,相似性测度可为差平方和、欧式距离、归一化互相关、相位相关等,另外对于使用何种具体的相似性测度,本实施例中对此不做限定。
[0094] 差平方和的计算公式为:
[0095]
[0096] 欧式距离的计算公式为:
[0097]
[0098] 归一化互相关的计算公式为:
[0099]
[0100] 相位相关的计算公式为:
[0101]
[0102] 式(3)-(6)中,c表示三维稠密特征表达图中的坐标,v表示D1和D2之间的偏移量,Si*表示D1和D2之间的相似性测度,F表示快速傅里叶正向变换,F表示F的复数共轭。对于差平方和、欧式距离,当Si取得最小值时,将获得D1和D2之间的偏移量vi。而对于归一化互相关、相位相关,当Si取得最大值时,将获得D1和D2之间的偏移量vi
[0103] 另外,本发明构建一种快速的基于快速傅里叶变换的相似性测度,该测度的发明起源于差平方和,如上所述,当差平方和最小时,将获得匹配位置vi,计算公式如下[0104]
[0105] 对公式(7)进行展开得:
[0106]
[0107] 在公式(8)中,由于第一项和第二项的值接近于常数,所以当第三项的值最大时,公式(7)将获得最小值,因此,相似性函数可重新定义为:
[0108]
[0109] 式中, 是一个卷积运算;
[0110] 考虑到频率域下的点乘运算等同于空间域下的卷积运算,因此在频率域利用快速傅里叶变换来提高其计算效率,得到基于傅里叶变换的相似性测度为:
[0111]
[0112] 式中,F和F-1分别表示快速傅里叶正向变换和逆向变换,F*表示F的复数共轭,其中F可为二维或三维傅里叶变换。利用式(10)进行匹配的过程为,首先对D1进行快速傅里叶变换得到DF(D1),并对D2进行傅里叶变换并取复数共轭得到DF*(D2),然后将DF(D1)和DF*(D2)进行点乘运算,并对运算结果进行傅里叶逆变换将获得D1和D2之间的相似性图,相似性图最大值的位置则对应了D1和D2之间的偏移量vi,也就是点P1i(x,y)和点P2i(x,y)之间的偏移量。
[0113] 将根据以上测度获得的vi在X和Y方向上的偏移量记为(Δx,Δy),则与点P1i(x,y)对应的同名点为P2i(x-Δx,y-Δy),记为P*2i(x,y),获得的同名点对则为{P1i(x,y),P*2i(x,y)}。
[0114] 步骤F,对以上的同名点对{P1i(x,y),P*2i(x,y)},利用二元二次多项式进行局部插值获取亚像素精度,具体包括以下步骤:
[0115] (1)以点P*2i(x,y)为中心选取3×3像素的局部小窗口,并统计窗口内所有像素的相似性值,然后根据最小二乘的原理,采用二元二次多项式建立相似性值与像素位置的对应关系;
[0116] (2)对二元二次多项式求偏导,求解出偏导为0的位置,即获得亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)};
[0117] 重复步骤C-F,遍历P1i(i=1,2,3,….,N)中的每一个点,获得具有亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)}(i=1,2,3,….,N)。
[0118] 步骤G,剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,….,N)中误差较大的同名点对,获取最终的同名点对,具体包括以下步骤:
[0119] (1)基于最小二乘的原理,利用{PD1i(x,y),PD2i(x,y)}(i=1,2,3,….,N)的坐标建立投影变换模型。
[0120] (2)计算同名点对的均方根误差和残差,并剔除残差最大的同名点对。
[0121] (3)重复以上两个步骤,直到均方根误差小于1.5个像素,得到最终的具有亚像素精度的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S)。
[0122] 步骤H,剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,….,N)中误差较大的同名点对,获取最终的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S),并用于进行匹配。
[0123] 在另一个实施例中,本发明还提供了一种稳健的多模态遥感影像匹配系统,该系统包括下列单元:
[0124] 预处理单元,用于判断参考影像和输入影像的分辨率信息,如果两幅影像具有相同的分辨率,则执行后续单元,如果分辨率不同,则将两幅影像采样为同样的分辨率;
[0125] 模板区域选取单元,用于采用分块的策略,在参考影像上检测出一系列分布均匀的特征点,记为P1i(i=1,2,3,…,N),以点P1i为中心选取模板区域AreaW1i;
[0126] 匹配区域选取单元,用于根据遥感影像自身提供的地理坐标信息,预测点集P1i(i=1,2,3,…,N)在输入影像上所对应的匹配区域AreaW2i;
[0127] 特征提取单元,用于在匹配区域内三维稠密特征表达图;
[0128] 初匹配单元,用于在三维稠密特征表达图的基础上,建立相似性测度进行同名点匹配;对于获得的同名点,对其相似性图进行局部极值拟合,求解出匹配点的亚像素位置;重复上述单元的操作,遍历P1i(i=1,2,3,…,N)的每一个点,得到具有亚像素精度的同名点对{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N);
[0129] 匹配点筛选单元,用于剔除{PD1i(x,y),PD2i(x,y)}(i=1,2,3,…,N)中误差较大的同名点对,获取最终的同名点对{PID1i(x,y),PID2i(x,y)}(i=1,2,3,…,S)。
[0130] 进一步的,所述特征提取单元用于对匹配区域内的影像数据进行密集格网采样,计算每个格网点的局部特征描述符,形成三维稠密特征表达图。
[0131] 进一步的,所述初匹配单元是利用在三维稠密特征表达基础,建立相似性测度进行相关运算获得相似性图,取相似性图极值的位置为影像的匹配位置。
[0132] 以上为本发明具体实施方式的说明,通过本发明所构建的匹配方法,可利用各种局部特征描述符(如HOG、LSS、SIFT或SURF等)进行有效的三维稠密特征表达,从而有效地反映影像间共有结构和形状特征,并在此基础上建立影像匹配的相似性测度,相比于基于灰度信息的相似性测度如归一化相关系数和互信息等,计算效率更高。另外,本发明所构建的方向梯度通道特征(CFOG),是一种新颖的三维稠密特征表达,它在匹配效率和精度上都优于基于HOG、LSS、SIFT和SURF等描述符的稠密特征表达技术。本发明的技术方案能弥补传统匹配方法对于多模态影像间非线性辐射差异较为敏感的不足,可有效地解决了可见光、红外、激光雷达、合成孔径雷达以及地图等多模态遥感数据的匹配难题。
[0133] 本发明所提出的技术方案是一种通用的技术方法,可以整合各种局部特征描述符(不限于CFOG、HOG,LSS、SIFT和SURF等)进行三维稠密特征表达,在特征表达图上可以利用各种相似性测度(不限于差平方和,欧式距离,归一化互相关,相位相关,以及本发明构建的基于快速傅里叶变换的相似性测度等)进行影像匹配
[0134] 本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈