技术领域
[0001] 本
发明涉及一种利用互信息对图像进行处理来对无人机进行导航的方法，属于视觉导航技术领域。
背景技术
[0002] 无人机，作为空中微型移动型
机器人，目前导航主要依靠惯性
导航系统INS和全球
定位系统GPS，但是惯性器件具有误差累计的缺点，GPS对于一些特殊的环境也有限制。随着无人机在其机械设计、承重、盘旋、
电池续航和运算能
力上的提升，使得基于视觉的控制成为可能和必须。而天气和
云雾引起的光照变化、遮挡、航拍的高度和机器飞行速度等问题也对视觉伺服提出了更高的要求。
[0003] 视觉伺服是通过对摄像机拍摄到的图像进行处理和分析,将图像的特征提取出来并与已有的特征信息库进行对比匹配，从而获取伺服必要的参数,对设备进行控制。对于特征信息库建立的方法有很多种，可以采用基于
机器学习的视觉路径描述方法，视觉路径产生于实地实景拍摄。也即沿预设路线，实拍成千上万幅图像组成记忆图库，而后从中依据一定的准则，选出一系列关键图像组成导航视觉路径，是对运动环境限于视觉层面的构建和描述。该法不仅可通过密布的视觉路径解决大幅位移可能出现的局部最优问题，如果融入互信息MI这一度量，还可解决保持固定目标物一路可视的视觉伺服经典约束问题。
[0004] 基于视觉的伺服
控制器通过不断缩小视觉
传感器提供的当前图像和期望图像之间的差异，将机器人从当前
位置逐步导向其期望位置。图像之间的差异描述一般基于局部几何特征：如兴趣点(走廊轮廓边缘线交点)、线段、图像矩，或者全局特征：图像梯度、
像素亮度、直方图、互信息等。基于全局特征的伺服控制不要求特殊的图像结构，对图像的畸变具有较强的鲁棒性，可有效避开对局部几何特征的实时提取、匹配与
跟踪(视觉伺服发展的
瓶颈之一)。在直接使用整幅图像像素强度的伺服控制中，图像间的差异由平方和之差(Sum of Squared Difference,SSD)校准，该类校准法对环境变化(如光强变化和视觉遮挡)十分敏感。所以可以绕开像素强度的直接使用，转而从整幅图像中提取相关信息，基于信息熵的图像互信息(Mutual Information，MI)量不仅对光强变化和重要遮挡不敏感，还不敏感于图像模式的改变(如地图、可见光、红外模式等)和各种非线性图像变换。针对不同的图像模式，具有很高的鲁棒性。
发明内容
[0005] 为了解决无人机在拒绝GPS的环境下仅利用单目相机图像实现导航的问题，本发明公开的一种基于三色通道融合互信息的图像导航方法要解决的技术问题是：将三色通道融合互信息这一图像全局特征融入到图像
伺服控制器中，并将得到的视觉度量信息转换为空间多个维度的运动速率指导无人机的运动，实现基于三色通道融合互信息的图像导航。本发明通过基于三色通道融合互信息进行图像导航，能够有效解决视觉导航过程中的遮挡和光照变化问题，具有很强的鲁棒性。
[0006] 本发明的目的是通过下述技术方案实现的。
[0007] 本发明公开的一种基于三色通道融合互信息的图像导航方法，首先通过远程控制无人机沿着预设的路径飞行并拍摄
图像序列；然后将拍摄的图像进行三色通道融合处理，将RGB图像转换为HSV图像，利用三色通道融合互信息按照预定的准则离线筛选关键图像序列，确定视觉路径；无人机在实飞导航的时候，首先需要利用三色通道融合互信息对无人机进行初始定位，确定初始位置后，自动选取离初始位置最近的关键图像作为目标图像，设计从当前图像收敛至目标图像的视觉伺服控制器，随着无人机沿视觉路径移动，适时进行关键图像切换，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0008] 本发明公开的一种基于三色通道融合互信息的图像导航方法，包括如下步骤：
[0009] 步骤1：远程控制无人机沿预设路径飞行并拍摄图像序列In。
[0010] 制定
飞行计划路线，远程控制无人机沿着预设的路径飞行，拍摄图像序列In，n＝1,2,3…N。
[0011] 步骤2：将拍摄的图像进行三色通道融合处理，得到三色通道融合后的图像。
[0012] 将拍摄到的RGB图像转换为HSV图像，为适应色彩丰富的应用环境，忽略图像的亮度信息V值，只考虑图像的
颜色信息，所以将HSV图像的H值和S值进行相乘，得到三色通道融合后的图像。
[0013] 步骤3：利用三色通道融合互信息离线筛选关键图像序列Km，组成视觉路径。
[0014] 步骤3.1：将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1，并作为当前关键图像Know。
[0015] 步骤3.2：将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know)。
[0016]
[0017] 其中， 是图像A的信息熵，PA(i)是图像A中每个颜色级i的概率分布； 为图像A和B的联合熵，PA,B(i,j)
是图像A和B中每个组合颜色级(i,j)的联合概率分布。
[0018] 步骤3.3：从图像序列中获取下一
帧图像In+1，并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know)，带入公式(2)与当前关键图像自身的互信息进行比较，当不满足公式(2)时，获取下一帧图像In+2，直至In满足公式(2)时，将In保存为关键图像Km，并设置为当前关键图像。
[0019]
[0020] 步骤3.4：当n节点。
[0021] 根据上述三色通道融合互信息值进行关键图像的筛选，区别于以往的互信息，所述互信息是将R、G、B三色通道进行综合考虑，不仅针对二维位移，还对轴向位移，轴向旋转有好的校准
质量。由于互信息是图像的全局特征，所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征，对图像干扰不敏感，所述图像干扰包括畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡。
[0022] 步骤4：无人机视觉导航实飞状态下，利用三色通道融合互信息对无人机进行初始定位。
[0023] 将无人机实时拍摄到的图像Ia进行三色通道融合处理，然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算，选出互信息值第一和第二的关键图像，进而确定无人机位于所述两张关键图像所代表的的路径节点之间，或位于互信息第一的关键图像所代表的路径节点上，即实现利用三色通道融合互信息对无人机进行初始定位。
[0024] 上述定位方法既适用于预设的纯视觉导航模式，也适用于传统控制无人机沿预设路线飞行中途GPS
信号/
控制信号中断时，临时切入纯视觉导航模式时进行的定位。
[0025] 步骤5：无人机视觉导航实飞状态下，利用三色通道融合互信息对无人机进行视觉导航。
[0026] 自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像，设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器，随着无人机沿视觉路径移动，适时进行关键图像切换，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0027] 步骤5具体实现步骤如下：
[0028] 步骤5.1：自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像，设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。
[0029] 步骤5.2：随着无人机沿视觉路径移动，适时进行关键图像切换。
[0030] 比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息，当满足公式(3)后，需要进行目标图像的切换，将下一个关键图像Km+1作为新的目标图像。当Km已是最后一帧关键图像时，不再进行关键图像切换。
[0031] MIc(Ia,Km+1)＞MIc(Ia,Km) (3)
[0032] 当不满足公式(3)时，需要对当前图像与目标图像的互信息进行处理，将其转换为空间多个维度的运动速率指导无人机运动。
[0033] 步骤5.2：无人机运动控制，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0034] 首先，根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵。
[0035]
[0036]
[0037] 其中， 是联合概率
密度函数的雅克比矩阵， 是联合概率密度函数的黑塞矩阵， 是一个1*6的矩阵， 是一个6*6的矩阵。
[0038] 然后，根据公式(6)算出空间六
自由度的运动速率，从而指导无人机运动，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0039]
[0040] 其中，λ为设定的增益值。
[0041] 作为优选，步骤2具体实现方法如下：
[0042] 将获得的彩色图像通过三通道分别获得R、G、B值，计算得到三个值中的最大值Cmax＝max(R,G,B)和最小值Cmin＝min(R,G,B)，通过公式(7)获得彩色图像的H、S、V值。
[0043]
[0044] 其中，如果H小于0，则H＝H+360。
[0045] 为适应色彩丰富的应用环境，忽略图像的亮度信息V值，只考虑图像的颜色信息，所以将HSV图像的H值和S值进行相乘，得到三色通道融合后的图像。
[0046] 有益效果：
[0047] 1、本发明公开的一种基于三色通道融合互信息的图像导航方法，将三色通道融合互信息这一图像全局特征融入到图像伺服控制器中，并将得到的视觉度量信息转换为空间多个维度的运动速率指导无人机的运动，实现基于三色通道融合互信息的图像导航。由于基于三色通道融合互信息值进行关键图像的筛选，区别于以往的互信息，所述互信息是将R、G、B三色通道进行综合考虑，不仅针对二维位移，还对轴向位移，轴向旋转有好的校准质量。由于互信息是图像的全局特征，所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征，对图像的畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡等情况不敏感，具有很强的鲁棒性。
[0048] 2、本发明公开的一种基于三色通道融合互信息的图像导航方法，将拍摄到的RGB图像转换为HSV图像，忽略图像的亮度信息V值，只考虑图像的颜色信息，所以将HSV图像的H值和S值进行相乘，得到三色通道融合后的图像，进而能够适应色彩复杂的应用环境。
[0049] 3、本发明公开的一种基于三色通道融合互信息的图像导航方法，既适用于预设的纯视觉导航模式，也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时，临时切入纯视觉导航模式时进行的定位。
[0050] 4、本发明公开的一种基于三色通道融合互信息的图像导航方法，由于无需对三维场景进行重构，进而节省计算成本，减少运算量。
[0051] 5、本发明公开的一种基于三色通道融合互信息的图像导航方法，由于只需要一个单目相机实现无人机的导航，无需与外界建立数据连接，具有很强的抗干扰性，适用于灾区或室内等环境。
附图说明
[0052] 图1为本发明公开的一种基于三色通道融合互信息的图像导航方法，
[0054] 图3为视觉路径选取的关键图像。
[0055] 图4为灰度图像与彩色图像进行互信息匹配结果。
[0056] 图5为无人机初始定位的流程图。
[0057] 图6为选取的实时图像。
[0058] 图7为实时图像与关键图像的互信息值。
[0059] 图8为无人机单次控制的流程图。
具体实施方式
[0060] 为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
[0061] 为了验证本发明的可行性，本实例中所用无人机和相机具体参数如下：
[0062] 无人机型号：DJI-MATRICE 100，最大
起飞重量3600g，工作环境
温度：-10℃—40℃，可承受最大
风速：10m/s。相机型号：摄徒4K-F68防
水运动相机，
分辨率：1280*720，帧率：120fps,镜头：可调广
角鱼眼镜头。
[0063] 如图1所示，本
实施例公开的一种基于三色通道信息融合互信息的图像导航方法，具体实现步骤如下：
[0064] 步骤1：远程控制无人机沿预设路径飞行并拍摄图像序列In。
[0065] 制定飞行计划路线，远程控制无人机沿着预设的路径飞行，拍摄图像序列In，n＝1,2,3…N。
[0066] 步骤2：将拍摄的图像进行三色通道融合处理，得到三色通道融合后的图像。
[0067] 将拍摄到的RGB图像转换为HSV图像，为适应色彩丰富的应用环境，忽略图像的亮度信息V值，只考虑图像的颜色信息，所以将HSV图像的H值和S值进行相乘，得到三色通道融合后的图像。
[0068] 步骤3：如图2所示，利用三色通道融合互信息离线筛选关键图像序列Km，组成视觉路径。
[0069] 步骤3.1：将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1，并作为当前关键图像Know。
[0070] 步骤3.2：将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know)。
[0071]
[0072] 其中， 是图像A的信息熵，PA(i)是图像A中每个灰度值i的概率分布； 为图像A和B的联合熵，PA,B(i,j)
是图像A和B中每个组合灰度值(i,j)的联合概率分布。
[0073] 步骤3.3：从图像序列中获取下一帧图像In+1，并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know)，带入公式(2)与当前关键图像自身的互信息进行比较，将
阈值设为0.25，当不满足公式(2)时，获取下一帧图像In+2，直至In满足公式(2)时，将In保存为关键图像Km，并设置为当前关键图像。
[0074]
[0075] 步骤3.4：当n
[0076] 根据上述三色通道融合互信息值进行关键图像的筛选，区别于以往的互信息，所述互信息是将R、G、B三色通道进行综合考虑，不仅针对二维位移，还对轴向位移，轴向旋转有好的校准质量。由于互信息是图像的全局特征，所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征，对图像干扰不敏感，所述图像干扰包括畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡。利用灰度图像与彩色图像进行互信息匹配的结果如图4所示。
[0077] 步骤4：如图5所示，无人机视觉导航实飞状态下，利用三色通道融合互信息对无人机进行初始定位。
[0078] 将无人机实时拍摄到的图像Ia进行三色通道融合处理，然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算，选出互信息值第一和第二的关键图像，进而确定无人机位于所述两张关键图像所代表的的路径节点之间，或位于互信息第一的关键图像所代表的路径节点上，即实现利用三色通道融合互信息对无人机进行初始定位。
[0079] 这里选取的实时拍摄的图像如图6所示，计算得到了所有互信息值如图7所示，其中与2号关键图像的互信息值最高，为1.1037，其次是3号关键图像的互信息值为1.0832。所以，无人机位于2号关键图像所代表的路径节点上或者位于2号关键图像与3号关键图像所代表的路径节点之间。
[0080] 上述定位方法既适用于预设的纯视觉导航模式，也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时，临时切入纯视觉导航模式时进行的定位。
[0081] 步骤5：如图8所示，无人机视觉导航实飞状态下，利用三色通道融合互信息对无人机进行视觉导航。
[0082] 自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像，设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。这里将3号图像作为目标图像，随着无人机沿视觉路径移动，适时进行关键图像切换，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0083] 步骤5具体实现步骤如下：
[0084] 步骤5.1：自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像，设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。
[0085] 步骤5.2：随着无人机沿视觉路径移动，适时进行关键图像切换。
[0086] 比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息，当满足公式(3)后，需要进行目标图像的切换，将下一个关键图像Km+1作为新的目标图像。当Km已是最后一帧关键图像时，不再进行关键图像切换。
[0087] MIc(Ia,Km+1)＞MIc(Ia,Km) (3)
[0088] 当不满足公式(3)时，需要对当前图像与目标图像的互信息进行处理，将其转换为空间多个维度的运动速率指导无人机运动。
[0089] 步骤5.2：无人机运动控制，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0090] 首先，根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵。
[0091]
[0092]
[0093] 其中， 是联合概率密度函数的雅克比矩阵， 是联合概率密度函数的黑塞矩阵， 是一个1*6的矩阵， 是一个6*6的矩阵。
[0094] 然后，根据公式(6)算出空间六自由度的运动速率，从而指导无人机运动，直到视觉路径终点，即实现利用三色通道融合互信息对无人机的视觉导航。
[0095]
[0096] 其中，λ为设定的增益值。
[0097] 步骤2具体实现方法如下：
[0098] 将获得的彩色图像通过三通道分别获得R、G、B值，计算得到三个值中的最大值Cmax＝max(R,G,B)和最小值Cmin＝min(R,G,B)，通过公式(7)获得彩色图像的H、S、V值。
[0099]
[0100] 其中，如果H小于0，则H＝H+360。
[0101] 为适应色彩丰富的应用环境，忽略图像的亮度信息V值，只考虑图像的颜色信息，所以将HSV图像的H值和S值进行相乘，得到三色通道融合后的图像。
[0102] 以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
