技术领域
[0001] 本
发明属于基于多源
传感器的多源数据层次融合与提取技术领域，具体涉及一种动目标多源探测的层次融合与提取方法。
背景技术
[0002] 随着科技的进步与发展，有效
载荷的
质量得到了显著的提升，质量的增加意味着可以搭载更多地传感器件，有效载荷的计算能
力以及信息存储能力也得到显著的提升，能够执行的计算更加复杂。在空间
飞行器的有效载荷中往往可以搭载多种探测设备，如可见光传感器、红外传感器、高
光谱传感器等，可分别获得可见光传感数据图像、红外传感数据图像、高光谱传感数据图像等。
[0003] 对于图像中目标追踪的前提是目标探测，如何建立一种快速、准确、有效的目标探测方法是关键性问题。
图像识别是
模式识别的方法和技术用在图像领域。模式识别是指对表征事物或现象的各种形式的信息进行处理和分析，对事物或现象进行描述、辨认、分类和解释的过程，即用计算机实现
鉴别和分类。将这一思想用在图像中，即实现类似智能的对
感知到的事物进行认知。图像识别的主要思想是建立事物的特征的信息库，对陌生图像进行特征采集，将采集到的特征与已知的特征信息库中的信息进行比对，对超过某一相似度
阈值的情况，既认为是发现并识别出目标。
发明内容
[0004] 本发明的目的在于提供一种动目标多源探测的层次融合与提取方法。
[0005] 本发明的目的通过如下技术方案来实现：包括以下步骤：
[0006] 步骤1：读取多源图像传感器输入的图像；
[0007] 步骤2：将可见光图像和红外光图像进行
图像配准，融合配准后的图像，得到第一层融合图像；
[0008] 步骤3：将第一层融合图像和高光谱图像进行图像配准，依地物分类区域对配准后的图像
像素进行弱化处理，得到第二层融合图像；
[0009] 步骤4：对第二层融合图像进行目标探测，得到目标在图像中的
位置信息，对目标进行感知，得到目标在真实环境中的经纬度，调整飞行器的
姿态追踪目标，实现对目标的持续探测与感知。
[0010] 本发明还可以包括：
[0011] 所述的步骤2与步骤3中图像配准方法具体为：
[0012] 步骤2.1：提取图像边缘轮廓，得到原图像的边缘轮廓图像；
[0013] 使用
相位一致性
算法对图像进行提取轮廓，相位一致性函数为：
[0014]
[0015] 其中An为尺度n上的幅值；φn(x)为x处的第n个傅里叶分量相位值； 表示当PC(x)在x处取得最大值时，傅里叶各分量局部相位
角的加权平均量；
[0016] 步骤2.2：在边缘轮廓图像中建立具有尺度、位置和方向信息的特征角点，具体方法为：
[0017] 步骤2.2.1：构造非线性尺度空间，使特征角点带有尺度信息；
[0018] 对边缘轮廓图像进行高斯滤波处理，得到图像灰度直方图与
对比度因子k；转换一组计算时间后采用加性算子分裂算法得到非线性滤波图像的所有信息层：
[0019]
[0020] 其中，Al表示图像I在不同维度上l上的传导矩阵；ti定义为计算时间，且每次只用一组计算时间来构造非线性尺度空间；E为单位阵；
[0021] 步骤2.2.2：检测特征角点，得到特征角点位置信息；
[0022] 在非线性尺度空间的边缘轮廓图像中逐点运动一个局部窗口，对窗口内的像素值进行运算来判断是否为角点；
[0023] 步骤2.2.3：计算特征角点的方向信息
[0024] 特征角点p(i)在图像中的坐标为(x(i),y(i))，在邻域内选择两个点p(i-k)、p(i+k)，使这两个点与点p(i)距离为k，T为点p(i)处的切线，特征角点p(i)的主方向为切线T与x轴正方向的夹角θ特征，计算公式如下：
[0025]
[0026] 步骤2.3：建立形状描述矩阵；
[0027] 设特征点集P{p1,p2,...pn,},pi∈R2，以某一特征点p(i)为原点，在以p(i)点为中心的r×r邻域内，建立极
坐标系，对360°进行12等份，得到12个扇区，然后按半径依次为画出五个同心圆，得到60个小区域；统计每个小区域内的特征点个数，计算pi点的形状直方图hi，每个特征点的形状直方图hi就是每个特征点的形状上下文描述子；
每个特征点的形状直方图hi的计算方法为：
[0028] hi(k)＝#{q≠pi:(q-pi)∈bin(k)}
[0029] 其中#表示统计第k(k＝1,2,...60)个区域中特征点的个数；
[0030] 步骤2.4：将两幅图像的特征角点进行匹配，完成图像配准；
[0031] 通过使用欧式距离搜索其最近邻和次近邻的特征点，欧式距离为：
[0032]
[0033] 其中，ai为参考图像任意特征点的形状上下文描述R(a0,a1,...a59)中的第i个，bi为参考图像任意特征点的形状上下文描述I(b0,b1,...b59)中的第i个；
[0034] 若p为某一幅图像中任一特征点，与p待配准的最近邻和次近邻特征点分别设为i、j，则他们与特征点p的欧式距离分别为Dip和Djp；设定运算阈值 当该阈值小于某一值时，即认为p与i是正确
配对的特征点，否则失败。
[0035] 所述的步骤2中融合配准后可见光图像和红外光图像的方法具体为：
[0036] 步骤3.1：对配准后的红外图像进行区域分割，分离出红外图像的疑似区域和背景区域；所述的疑似区域为红外
辐射大图像明亮的高亮区域；
[0037] 步骤3.2：对配准后的红外图像与可见光图像分别进行双树复
小波变换，得到图像的低频信息和高频信息，图像的基本信息对应于小波变换结果的低频信息，图像的细节信息对应于小波变换结果的高频信息；
[0038] 步骤3.3：将
图像分割的结果和小波变换的结果进行融合，分别得到低频融合图像和高频融合图像；
[0039] 步骤3.4：将低频融合图像和高频融合图像进行双树复小波逆变换，得到第一次融合图像。
[0040] 所述的步骤4中对第二层融合图像进行目标探测，得到目标在图像中的位置信息的方法具体为：
[0041] 步骤4.1：对第二层融合图像进行滤波处理；
[0042] 建立一个窗口矩阵在二维图像上逐个像素扫描，矩阵中心位置的值用窗口矩阵内各点值的平均值来替代，表示为：
[0043]
[0044] 其中：f(x,y)为待处理的第二层融合图像；g(x,y)为滤波处理后的第二层融合图像；S是以(x,y)点为中点的邻域坐标点的集合，M是集合内坐标的总数；
[0045] 步骤4.2：对滤波处理后的第二层融合图像使用移动平均的图像阈值方法进行处理，得到二值图；
[0046] Zk+1表示在扫描顺序中，在第k+1步遇到的一个点，在新点处的移动平均灰度为：
[0047]
[0048] 其中，n灰度代表计算平均灰度时使用的点数，初始值m(1)＝zi/n灰度；
[0049] 移动平均在图像中对每一点计算，所以分割用下式执行：
[0050]
[0051] 其中，K是[0,1]范围内的常数，mxy是输入图像在(x,y)处的移动平均；
[0052] 步骤4.3：在二值图像中删除面积小于目标的图像，去除无关信息的干扰；
[0053] 步骤4.4：使用图像形态学对去除无关信息的干扰后的二值图像进行处理；
[0054] 步骤4.5：建立切割函数，将目标从图像形态学处理后的全幅图像中切割出来，得到待验目标图像；
[0055] 经过图像形态学处理后的图像I中背景部分为黑色值为0，待验目标部分为白色值为1；从图像(0,0)坐标开始找起，找到第一个坐标像素值为1的点，从这个点开始找起，找到与之相连的所有像素值为1的点，将所有点命名为集合T1，在集合T1中的点的坐标中找到横坐标的最大值x1max和最小值x1min，在集合T1中的点的坐标中找到纵坐标的最大值y1max和最小值y1min，则切割得到的待验目标图像以此类推，找到所有待验目标，得
到所有待验目标图像
[0056] 步骤4.6：使用主成分分析方法找到待验目标图像主对称轴，并得到待验目标图像主对称轴与x轴夹角θ待验；
[0057] 待验目标图像信息中每个点的坐标都是二维，将这些点组成n待验行2列矩阵X待验，其中n待验为待验目标图像信息中的点数，计算出X待验的协方差矩阵C待验，并继续计算出协方差矩阵C待验的
特征向量V待验＝(xv,yv)，则待验目标图像主对称轴与x轴夹角θ待验为：
[0058]
[0059] 步骤4.7：进行图像方向归一处理，将待验目标图像旋转θ待验角，并去除新产生的黑边；
[0060] 步骤4.8：进行图像大小归一处理，将经过方向归一处理的待验目标图像图像尺寸变为模板尺寸；
[0061] 步骤4.9：将经过方向归一和大小归一处理后的待验目标图像与模板库中的图像逐一进行匹配，并设定相似阈值T，当相似程度超过这一阈值时，将此图像识别为目标。
[0062] 所述的步骤3.3中得到低频融合图像的方法为：根据红外图像分割成疑似区域和背景区域的位置信息，将可见光图像按照相同的位置信息进行分割；对于红外图像与可见光图像低频部分的疑似区域，采用如下规则：
[0063]
[0064] 其中， 为第l层的融合图形低频系数， 为第l层的红外图像低频系数， 为第l层的可见光图像低频系数；
[0065] 对于红外图像与可见光图像低频部分的背景区域，采用区域方差法，区域方差越大，表明该区域内的各个像素多对应的灰度值变化越大，相对的该区域内的像素对比度就越高，这一区域对应的信息也就越多；对区域方差值大的像素点在图像融合中增加权重，规则如下：
[0066]
[0067] 其中，ωir为红外图像权值，ωvis为可见光图像权值；红外图像权值ωir和可见光图像权值ωvis计算方法为：
[0068]
[0069] ωir＝1-ωvis；
[0070] 其中，σvis和σir分别为可见光图像与红外图像的区域方差，r为相关系数区域；可见光图像的区域方差σvis与红外图像的区域方差σir的计算方法为：
[0071]
[0072]
[0073] 相关系数r的计算方法为：
[0074]
[0075] 其中图像大小M×N， 表示可见光图像的平均灰度值， 表示红外图像的平均灰度值，Iir(i,j)代表红外图像，Ivis(i,j)代表可见光图像。
[0076] 本发明的有益效果在于：
[0077] 本发明同时应用可见光图像、红外光图像和高光谱图像，同时兼得可见光图像
分辨率高，红外光图像目标对比度高，高光谱图能够像区分人造物与自然物等各种传感器图像的优点，目标探测判定准确，有效降低地球大气活动对目标探测的影响。本发明结合多种图像源，通过图像融合能够有效结合多种图像源的
信号特征，有效去除冗余的重复数据信息，从而能够有效增加目标探测的准确率，提高探测效率。本发明可以实现对目标的追踪，以及目标航向、航速、经纬度等位置信息的预测。
附图说明
[0078] 图1是本发明的整体流程示意图。
[0079] 图2是本发明的红外图像与可见光图像配准融合流程示意图。
[0080] 图3是本发明的第一层融合图像与高光谱图像融合流程示意图。
[0081] 图4是本发明的目标探测与感知流程示意图。
具体实施方式
[0082] 下面结合附图对本发明做进一步描述。
[0083] 本发明属于基于多源传感器的多源数据层次融合与提取技术领域，在空间飞行器的有效载荷中往往可以搭载多种探测设备，如可见光传感器、红外传感器、高光谱传感器等，可分别获得可见光传感数据图像、红外传感数据图像、高光谱传感数据图像等，具体涉及多源图像的融合、对图像的识别、目标的感知等技术
[0084] 本发明中图像数据来源自多个传感器，往往同一位置目标会出现多张图像，但是来自每种传感器的图像携带的信息侧重点各不相同，且不同图像之间由于相似的背景信息造成数据冗余，所以在执行图像分割、目标探测、目标探测、目标感知等
图像处理技术之前，对图像进行融合处理，将大量信息数据进行整合筛选，从而去除冗余信息，留下不同数据源图像中的有效数据信息。图像融合技术包括图像配准技术与图像数据融合技术。
[0085] 本发明的目的是利用多源图像传感器，考虑在飞行器姿态机动、空间姿态扰动、
云台震动等因素下引起的图像失真；考虑在地球大气运动干扰、海面海况恶劣等条件下引起的图像目标遮蔽，充分运用不同传感器对信号的不同特征的敏锐性差异，通过多层的图像配准与图像融合，使图像达到图像清晰度要求，目标突出度要求，以及达到一定程度上显现被遮挡目标的要求，以融合后的图像为
基础，设计目标探测算法，达到在多范围内，多图像源的目标探测，并结合飞行器姿轨信息、飞行器姿态机动等，达到在一定时间空间内对目标的发现、追踪、以及位置预测的功能。
[0086] 本发明的目的实现方式：
[0087] 步骤1：读取多源图像传感器输入的图像；
[0088] 步骤2：将可见光图像和红外光图像进行图像配准，融合配准后的图像，得到第一层融合图像；
[0089] 步骤3：将第一层融合图像和高光谱图像进行图像配准，依地物分类区域对配准后的图像像素进行弱化处理，得到第二层融合图像；
[0090] 步骤4：对第二层融合图像进行目标探测，得到目标在图像中的位置信息，对目标进行感知，得到目标在真实环境中的经纬度，调整飞行器的姿态追踪目标，实现对目标的持续探测与感知。
[0091] 1)第一层融合：建立红外图像与可见光图像配准与融合算法，利用可见光分辨率高，但易受大气影响，红外图像目标对比度高，但环境分辨率低等特点，使融合后的图像目标突出且周围环境具有一定细节。
[0092] 2)第二层融合：建立高光谱图像与第一层融合图像的配准融合算法，达到突出目标，减弱无关信息影响的目的。
[0093] 3)对第二层融合图像进行图像识别。建立一种具有一定实际应用能力和可行性的目标探测算法。
[0094] 4)目标感知，在第3)步发现目标的基础上，结合飞行器姿轨信息、地球自转、星下点位置矢量、光轴方向矢量等信息，粗略标定目标地球经纬度，在目标轨迹基础上预测目标轨迹，加以感知发现。
[0095] 通过以上步骤，能够达到有效载荷独立自主发现、识别、追踪目标的能力。
[0096] 本发明的优点主要有两点：第一，本发明图像源来自飞行器上，具有全球、全天候，范围广，高时效性等特点。第二，本发明同时应用可见光图像、红外光图像和高光谱图像，同时兼得可见光图像分辨率高，红外光图像目标对比度高，高光谱图能够像区分人造物与自然物等各种传感器图像的优点，充分提高目标探测率与准确率。第三，本发明充分利用平台优点，可以实现对目标一定程度的追踪，以及位置的预测(航向、航速、经纬度)。
[0097] 首先，考虑由于飞行器平台震动以及调焦偏差等问题所以红外光图像与可见光图像融合前必须考虑图像配准问题。考虑红外图像与可见光图像中目标轮廓为核心，所以选用基于形状描述子的数据匹配融合方法。本发明的图像配准选用快速相似最近邻算法，考虑要已有的这种算法被广泛的用到此类状况的图像中，具有较高的
稳定性和普适性。在此基础上，为了进一步增强本发明算法的鲁棒性选用随机抽样一致性算法，对匹配的特征点进行筛选，剔除错误点，剩下最优集。
[0098] 考虑高空图像成像特点，成像易受地球大气活动影响，且考虑飞行器轨道限制，成像光轴会与铅垂线成一定夹角，造成图像扭曲等问题，本发明的图像区域分割方法是基于图像显著性考量的，图像融合算法也正是基于分割的结果。考虑红外图像的成像特点，长波红外图像是采集物体本身发散出来的长波红外线，而目标区域的红外辐射往往高于环境的，由此我们在图像处理中，考虑使用显著性增强这一图形处理方法，将红外图像目标区域增强，背景信息减弱，一定程度上起到抑制噪声的作用。结合双树复小波算法能够有效分离出图像中的高频信息和低频信息的特性，考虑红外图像和可将光图形的成像特点和图像质量，分别对高频低频采用不同的融合策略。完成第一层图像融合。
[0099] 其次，在分析地物的研究中，高光谱图像有着不可替代的优势，本发明采用
频谱相似度分类方法，以提高地物目标探测的准确定，在区分地物为非人造或人造物的基础上，再进行一层图像融合，达到减弱非人造物等干扰背景信息的目的，为最终辨别目标提供有力依据以及有效支持。完成第二层图像融合。
[0100] 最后，基于最终图像融合，考虑到图像中的冗余信息已经被有效减弱，目标凸显，本发明包含一种基于模板匹配的图像识别算法，并能够持续标记目标位置、轨迹，并在一定程度上预测目标方向(如经纬度、航向、航速等)，指导飞行器姿态变化，保证对目标自主的持续识别与追踪。
[0101] 本发明所用的异源传感数据分别来自于可见光传感器和红外传感器。这两种传感器所得图像特点如下表1所示。载荷在飞行器平台上，在获得的图像的时候，还要考虑到地球大气运动、环境反射折射散射作用；并且考虑到飞行器平台姿态调整、平台扰动震动及平台稳定性等；以及考虑到光电平台装配调试、平台性能等，多方面因素造成的图像位置、方位、尺度、形状的不同。所以本方法旨在最大程度的降低外界因素对图像的影响，且最大程度的突出两种传感器采集数据的优势。
[0102]
[0103] 表1可见光传感器与红外传感器采集图像特点
[0104] 本发明包括图像配准过程。首先使用相位一致性算法(Phase Congruency)对图像进行提取轮廓。相位一致性函数定义为：
[0105]
[0106] 其中An为尺度n上的幅值；φn(x)为x处的第n个傅里叶分量相位值； 表示当PC(x)在x处取得最大值时，傅里叶各分量局部相位角的加权平均量。得到原图像的边缘轮廓图像，应用到后续处理中。
[0107] 本发明包含建立特征点方法。非线性尺度空间构造方法如下，对于输入图像进行高斯滤波处理，然后得到图像灰度直方图，得到对比度因子k。再转换一组计算时间后采用加性算子分裂算法得到非线性滤波图像的所有信息层：
[0108]
[0109] 其中，Al表示图像I在不同维度上l上的传导矩阵。ti定义为计算时间，且每次只用一组计算时间来构造非线性尺度空间，E为单位阵。
[0110] 角点检测方法如下，在图像中逐点运动一个局部窗口，对窗口内的像素值进行运算来判断是否为角点。假设局部窗口C平移(u,v)后产生的灰度变化，即：
[0111]
[0112] 其中I(x,y)为图像在(x,y)点的灰度值，w(x,y)表示高斯加权函数。
[0113] 为了求得使E(u,v)尽可能大的值，将上式泰勒展开，得：
[0114]
[0115] 进而转为矩阵形式：
[0116]
[0117] 其中 Ix,Iy为图像灰度沿x方向和y方向的梯度分量。
[0118] 则局部自相关函数E(u,v)可以近似为椭圆函数：
[0119] E(u,v)≈Au2+2Cuv+Bv2
[0120] 该点周围的等相关点组成了椭圆曲线，椭圆上的点与中心点相关程度相同，二阶矩阵M的特征值λ1,λ2分别是椭圆的长轴和短轴，表示灰度变化的快慢的方向。所以当特征值λ1,λ2都很大且相当时，即是角点。当两个特征值一大一小时，为边缘。当两个特征值都很小的时候，即为平坦区域。为了使图像具有在角点检测时的尺度不变性，将角点检测算法带入到上文介绍的非线性尺度空间中，使特征点同时带有尺度和位置信息，得到角点响应函数为：
[0121]
[0122] 其中，σi,S为尺度因子， 分别为灰度变化在x和y方向上的二阶微分和偏导数。满足角点响应函数的点即为角点。
[0123] 为特征角点加上合适的方向信息。已知特征角点p(i)在图像中的坐标为(x(i),y(i))，在邻域内选择两个点p(i-k)、p(i+k)，使这两个点与点p(i)距离为k，T为点p(i)处的切线，特征角点p(i)的主方向为切线T与x轴正方向的夹角θ特征，计算公式如下：
[0124]
[0125] 在上文的基础上为特征角点确定主方向，这样做的好处是使其具有旋转不变性。能够很好的使用于红外图像与可见光图像之间的特征角点匹配问题，以下简称为特征点。
[0126] 本发明包括形状描述子生成算法。设特征点集P{p1,p2,...pn,},pi∈R2，以某一特征点p(i)为原点，在以p(i)点为中心的r×r邻域内，建立极坐标系，对360°进行12等份，得到12个扇区，然后按半径依次为 画出五个同心圆，，从而得到了60个小区域。统计每个小区域内的特征点个数，计算pi点的形状直方图hi，hi定义如下：
[0127] hi(k)＝#{q≠pi:(q-pi)∈bin(k)}
[0128] 其中#表示统计第k(k＝1,2,...60)个区域中特征点的个数。每个特征点的形状直方图就是每个特征点的形状上下文描述子。
[0129] 本发明包括特征点集的匹配方法。搜索最近邻和次近邻特征点，利用快速近似最近邻算法搜索每个特征点通过使用欧式距离搜索其最近邻和次近邻的特征点。欧式距离定义为：
[0130]
[0131] 其中，ai为参考图像任意特征点的形状上下文描述R(a0,a1,...a59)中的第i个，bi为参考图像任意特征点的形状上下文描述I(b0,b1,...b59)中的第i个。则算法具体操作步骤为，若p为红外图像中任一特征点，与p待配准的最近邻和次近邻特征点分别设为i、j，则他们与特征点p的欧式距离分别为Dip和Djp。设定运算阈值 当该阈值小于某一值时，即认为p与i是正确配对的特征点，否则失败。
[0132] 为了进一步增强本发明算法的鲁棒性选用随机抽样一致性算法，对匹配的特征点进行筛选，剔除错误点，剩下最优集。该算法将所有最佳匹配特征点对位置参数代入
图像空间投影变换模型，通过直接线性变换算法得到图像投影变换关系，图像的配准参数就是红外图像和可见光图像间的仿射变换关系。至此，我们完成了红外图像和可见光图像间的配准过程。
[0133] 本发明包括图像融合过程。其流程概述为先对红外图像进行区域分割，可以分离出红外图像的高亮区域和背景区域，再以红外图像区域分割的结果为依据，对可见光图像做出相对应的映射。对红外图像与可见光图像分别进行双树复小波变换，处理的结果是得到图像的低频信息和高频信息，图像的基本信息对应于小波变换结果的低频信息，图像的细节信息对应于小波变换结果的高频信息。将图像分割的结果和小波变换的结果耦合考虑。在处理低频信息时，考虑高亮区域和背景区域，所反映出来的信息的不同和任务要求的考虑，应对实际情况采用不同的融合策略。在处理高频信息时，考虑到高频信息主要反正图像的细节特征，所以根据细节信息的丰富程度不同为每个区域分配权值，根据权值设计融合策略。上述流程的具体步骤为：
[0134] 步骤3.1：对配准后的红外图像进行区域分割，分离出红外图像的疑似区域和背景区域；所述的疑似区域为红外辐射大图像明亮的高亮区域；
[0135] 步骤3.2：对配准后的红外图像与可见光图像分别进行双树复小波变换，得到图像的低频信息和高频信息，图像的基本信息对应于小波变换结果的低频信息，图像的细节信息对应于小波变换结果的高频信息；
[0136] 步骤3.3：将图像分割的结果和小波变换的结果进行融合，分别得到低频融合图像和高频融合图像。
[0137] 对红外图像的高亮区域选取，首先要对配准后的红外图像进行显著性增强的图像处理，处理后红外图像的热目标信息增强，背景信息模糊，使得整个红外图像的对比度增强。显著性增强的算法主要是基于图像的直方图。图像I中像素Ic的显著性定义为：
[0138]
[0139] 其中Dis(Ic,Ii)＝||Ic-Ii||为Ic
颜色距离，表示Ic与Ii在颜色上的差异，上式可改写为：
[0140]
[0141] 其中ac为像素Ic的灰度值，n为图像中所含灰度的总数，fj为aj在图像中出现的概率；计算图像显著度图，得到显著度图Isal；
[0142] 本发明包含区域分割算法。将图像中的每个像素点通过K个高斯混合模型混合特征表示，其中K＝k∈{1,2,…K}。图像中的像素点一种与目标高斯混合模型相对应，另一种与背景高斯混合模型相对应。由此，区域分割算法的图像Gibbs
能量函数为：
[0143] E(α,k,θ,z)＝U(α,k,θ,z)+V(α,z)
[0144] 其中z为像素值，α∈{0,1}，α为0时对应的像素点属于背景，α为1时对应的像素点属于目标，U为区域项，V为边界项，区域项U的计算方法为：
[0145]
[0146]
[0147] θ＝{π(α,k),μ(α,k),∑(α,k),α＝0,1,k＝1...K}
[0148] 区域项用来区分目标区域中的像素或者背景区域中的像素，通过学习确定参数θ后，Gibbs的区域能量项就确定下来。
[0149] 边界项V的计算方法为：
[0150]
[0151] 其中γ为经验常数，由训练得到，C表示相邻的像素点对的集合，函数[αn≠αm]取值仅为1或0，当αn≠αm时，[αn≠αm]＝1，当αn＝αm时，[αn≠αm]＝0。
[0152] β＝(2<||zm-zn||2>)-1，表示样本的数学期望。β对应于图像的对比度能够确定在对比度高或低的情况的边界项。用最大流最小割算法对图像进行分割，分割完成后，优化高斯混合模型参数，重复多次
迭代，当使能量函数最小时，完成图像分割。将此图像分割方法运用到本发明时需将上文提到的显著度图Isal作为图像分割算法的初始化值，用来标定图像的高亮区域及背景区域，根据标定好的区域，进行迭代分割，得到分割结果。
[0153] 本发明包括基于双树复小波变换(dual-tree complex wavelet transform,DTCWT)的图像融合规则,双树复小波函数定义为：
[0154] ψ(x)＝ψh(x)+jψg(x)
[0155] 其中ψh(x)和ψg(x)均为实数小波。二维DTCWT变换后，图像分解得到两个低频小波系数和六个方向(±15°，±45°，±75°)的高频系数。
[0156] 对于低频部分首先通过上文提到的区域分割方法，分别对红外图像进行分割，分割出疑似区域和除外区域，记录位置信息，将可见光图像按照相同的位置信息进行分割，若分辨率不同则，则将位置信息归一化后，作为系数进行处理。
[0157] 根据红外图像分割成疑似区域和背景区域的位置信息，将可见光图像按照相同的位置信息进行分割；对于红外图像与可见光图像低频部分的疑似区域，采用如下规则：
[0158]
[0159] 其中， 为第l层的融合图形低频系数， 为第l层的红外图像低频系数， 为第l层的可见光图像低频系数；
[0160] 对于低频部分的除外区域，采用区域方差法，区域方差越大，表明该区域内的各个像素多对应的灰度值变化越大，相对的该区域内的像素对比度就越高，我们可以认为这一区域对应的信息也就越多。根据以上分析对区域方差值大的像素点在图像融合中增加权重，规则如下：
[0161] 对于红外图像与可见光图像低频部分的背景区域，采用区域方差法，区域方差越大，表明该区域内的各个像素多对应的灰度值变化越大，相对的该区域内的像素对比度就越高，我们可以认为这一区域对应的信息也就越多。根据以上分析对区域方差值大的像素点在图像融合中增加权重，规则如下：
[0162]
[0163] 其中，ωir为红外图像权值，ωvis为可见光图像权值；红外图像权值ωir和可见光图像权值ωvis计算方法为：
[0164]
[0165] ωir＝1-ωvis；
[0166] 其中，σvis和σir分别为可见光图像与红外图像的区域方差，r为相关系数区域；可见光图像的区域方差σvis与红外图像的区域方差σir的计算方法为：
[0167]
[0168]
[0169] 相关系数r的计算方法为：
[0170]
[0171] 其中图像大小M×N， 表示可见光图像的平均灰度值， 表示红外图像的平均灰度值，Iir(i,j)代表红外图像，Ivis(i,j)代表可见光图像。
[0172] 对于高频部分通过上文图像分割方法将图像分割成为n个区域，用A＝{a1,a2...an}表示。设每个区域对应自己的区域权值 本发明给出如下加权的高频融合规则。
[0173]
[0174] 其中，设定一个数值Cl,θ＞1用来放大高频系数，目的是突出图像中细节部分的对比度。但是考虑到这样做，同样会将图像中的噪声放大，所以加入一个二值矩阵Ml,θ，当时Ml,θ＝1，并且去除数值为1但孤立的点，这样做可以只放大连成片的高频系数像素点，去除噪声； 为收缩函数，目的是降低噪声对高频信息的影响。在实际融合过程中边缘的凹凸变化可能致使融合的结果发生扭曲
变形，我们应用红外图像和可见光图像DTWCT变换得到的高频系数计算出一个单位向量，对原有的高频系数进行改进，则此时融合图像的高频系数改写为：
[0175]
[0176] 其中： 其中，融合规则f为以红外图像和可将光图像中权值 大的为基准，计算该图像的区域ri高频系数的l,θ
均值，然后以此均值为融合图像的对应高频系数。S 由高亮区域图像分割结果先膨胀运算再经过2维均值滤波而得，目的是保证融合图像每一个小区域细节信息更显著。其中区域权值
[0177]
[0178] 其中Hl,θ(x,y)高频系数，l为层数，θ为方向子带，|riθ|为区域riθ的大小。
[0179] 本发明包括高光谱图像源层次地物特征提取及图像融合入主图像方法，如附图3所示。
[0180] 首先，一般认为，高光谱遥感是指光谱分辨率在10-2λ数量级范围的遥感。高光谱图像的特征，波段多，光谱范围窄，波谱连续等特点，图像中的单个像素元蕴涵几十甚至数百个波段，每个波段的范围小于10nm的光谱。所以从光谱维度对遥感信息进行分析，分析不同地物反射光谱的特征进行标定并建立信息库，并利用目标的光谱数据在信息库里匹配识别，从而在图像目标中添加标签，以此实现对地物的识别。
[0181] 从频域角度进行地物区分，将高光谱影像每个像元对应的完整光谱作为序列信号，利用频谱相似度分类方法(FSSM方法)对试验区影像进行分类。由于高光谱数据具有离散型，所以可采用离散傅里叶变换(DFT)进行分析，DFT变换可以
压缩信号并且在很大程度上抑制噪声和Hughes现象，并得到信号频谱，这样就能够有效提取出不同地物光谱曲线不同
波长位置的主要波峰和波谷的频谱，保留光谱曲线上的有效信息。
[0182] 首先采用一维离散傅里叶变换，将光谱信号转化到频域得到频谱。将HIS图像中每个像元对应的光谱序列视为一维离散信号f(n)，DFT可定义为：
[0183]
[0184] 其中 P(k)＝R2(k)+I2(k)；
[0185] Fphase＝arctan(I(k)/R(k))；
[0186] 式中|F(k)|、P(k)、Fphase分别是像元对应的光谱序列的幅度谱值、能量谱和相位谱，R(k)、I(k)分别是F(k)的
实部和
虚部，k是DFT变换的序号，N为离散
采样数据长度，n为离散采样点即对应的高光谱数据波段号，f(n)是像元在每个波段对应的反射率值，即地面光谱反射率值。
[0187] 接下来阴用兰氏距离计算目标频谱与参考光谱频谱之间频谱之差，进而度量光谱的相似性以分类，计算公式如下：
[0188]
[0189] 式中，Ftar(i)和Fref(i)分别是目标和参考光谱曲线的频谱，Ns是参加计算的低阶谐
波数目。参考光谱可以采用实验室光谱、野外测定光谱或者图像上提取的像元光谱。使用野外测定的光谱作为参考光谱时，为了消除大气对光谱的影响，需要对遥感影像进行大气纠正。
[0190] 考虑在第一层融合时候分割出来的区域。考虑方法的简便高效性，即尽可能降低算法对
硬件计算资源、储存资源的要求。考虑人造目标的材质与自然界的
水、
岩石、
植物等的。而恰好所谓目标的背景而言，自然物恰恰都是背景。所以只需要将高光谱图像中识别出来的自然背景部分，通过加权的方法在第一层图像中进行弱化将非目标信息的影响减弱到最低。具体图像配准方法同第一层融合中的方法。
[0191] 本发明包括动目标探测与追踪算法，如附图4所示。
[0192] 目标探测函数：
[0193] 首先对最终图像进行滤波处理，目的去除噪声。均值滤波过程是建立一个窗口矩阵在二维图像上逐个像素扫描，矩阵中心位置的值用窗口矩阵内各点值的平均值来替代，可表示为
[0194]
[0195] 其中：f(x,y)为待处理的第二层融合图像；g(x,y)为滤波处理后的第二层融合图像；S是以(x,y)点为中点的邻域坐标点的集合，M是集合内坐标的总数；
[0196] 然后使用移动平均的图像阈值方法进行处理，使灰度图变成二值图。基本思想是沿着一幅图像的扫描线计算移动平均。以zigzag模式逐线执行，进而减少照明偏差。令Zk+1表示在扫描顺序中，在第k+1步遇到的一个点。在新点处的移动平均灰度由下式给出：
[0197]
[0198] 其中，n灰度代表计算平均灰度时使用的点数，初始值m(1)＝zi/n灰度；
[0199] 移动平均在图像中对每一点计算，所以分割用下式执行：
[0200]
[0201] 其中，K是[0,1]范围内的常数，mxy是输入图像在(x,y)处的移动平均；
[0202] 通常我们取n为目标宽度的5倍，K＝0.5。这种阈值选取方法能有有效避免光影分布不均对图像二值变化产生的影响，帮助提取目标图像。
[0203] 考虑硬件计算能力与允许的单幅处理时间，可以对图像进行适当的缩放以提高计算速度。此处仅考虑将篇幅较大的图像缩小处理，不涉及放大失真问题，所以在选用方法的时候只需要考虑简便性即可，故此处本发明选用最近邻差值算法
[0204] 然后删除图像中与目标无关的小区域图像，在二值图像中删除面积明显小于目标的图像，以删除图像中无关信息的干扰。
[0205] 使用图像形态学函数对图像进行处理，使图像目标被处理后得到最为本质的形状特征。首先了解两个基本的形态学运算。
腐蚀运算定义为：
[0206]
[0207] 其中A⊙S表示使用S对A进行腐蚀，具体过程为让结构元素S在A图像的平面区域移动，如果当S的原点平移至z点时S能够完全包含于A中，则所有这样的z点构成的集合记为S对A的腐蚀图像。腐蚀能够
消融物体的边界，能够使图像目标中细联通处断裂。
[0208] 膨胀运算定义为：
[0209]
[0210] 其中 表示使用S对A进行膨胀，具体过程为让结构元素S在A的整个图像平面内移动当其自身原点平移至z点时S相对于其自身原点的映射 和A有共同的交集，即 与A至少有1个像素是重叠的，则所有这样的z点构成的集合记为S对A的膨胀图像。膨胀能使物体边界扩大，能够连接断裂的缝隙。
[0211] 开运算是使用结构元素S对图像A先进行腐蚀运算后进行膨胀运算，表示为：
[0212]
[0213] 开运算能够消除小对象、在纤细点处分离物体、平滑大物体边界不改变体积。
[0214] 闭运算是使用结构元素S对图像A先进行膨胀运算后进行腐蚀运算，表示为：
[0215]
[0216] 闭运算能够填充物体内部小孔洞、连接邻近物体、不明显改变物体面积和形状的情况下平滑其边界。
[0217] 本发明可根据实际情况选用相应的形态学算法，达到最终找到疑似目标。
[0218] 建立切割函数，将目标从全幅图像切割出来，得到待验目标图像。方法是，根据前文处理的结果，图像I中背景部分为黑色值为0，待验目标部分为白色值为1。从图像(0,0)坐标开始找起，找到第一个坐标像素值为1的点，从这个点开始找起，找到与之相连的所有像素值为1的点，将所有点命名为集合T1，在集合T1中的点的坐标中找到横坐标的最大值x1max和最小值x1min，在集合T1中的点的坐标中找到纵坐标的最大值y1max和最小值y1min，则切割得到的待验目标图像 x1min＜x＜x1max,y1min＜y＜y1max。以此类推，找到所有待验目标，得到所有待验目标图像
[0219] 考虑到我们所识别的人造目标通常具有对称性，所以我们使用主成分分析方法找到待验图像主对称轴，并得到其与x轴夹角θ。主成分分析方法是在N维数据中找出它的最大分布向量和值。待验目标图像信息中每个点的坐标都是二维，将这些点组成n待验行2列矩阵X待验，其中n待验为待验目标图像信息中的点数，计算出X待验的协方差矩阵C待验，并继续计算出协方差矩阵C待验的特征向量V待验＝(xv,yv)，则待验目标图像主对称轴与x轴夹角θ待验为：
[0220]
[0221] 然后进行图像方向归一处理，将图像旋转θ待验角，并去除新产生的黑边，既再次切割。
[0222] 然后进行图像大小归一处理，将图像尺寸变为模板尺寸。建立模板库，并规定模板库中尺寸为M×N。
[0223] 建立目标判定函数：
[0224] 将处理后的待验图像与模板库中的图像逐一进行匹配.并设定某一相似阈值T。当相似程度超过这一阈值时，将此图像识别为目标。具体匹配步骤如下：
[0225] 1)设定相似度阈值T
[0226] 2)根据如下方法计算H，假设待验图像A，模板图像B。判断待验图像像素值A(x,y)与模板图像像素值B(x,y)是否相等。若相等则H＝H+1；若不相等则判断下一点，其中x∈(0,M),y∈(0,N)。得到最终的H值
[0227] 3)判断若H>T，则判断为发现目标；若H
[0228] 目标感知：
[0229] 应用目标探测函数，得到目标位置，即在图像中的坐标。
[0230] (1)根据载荷所在位置，确定目标位置经纬度。
[0231] (2)根据目标在图像中的位置坐标，确定姿态调整角度，将目标保持在图像中央区域中。
[0232] 以上两点达到目标感知目的。
[0233] 以上所述仅为本发明的优选
实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
