一、技术领域
[0001] 本
发明是涉及基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法，属于
计算机视觉技术领域。二、背景技术
[0002] 无人机因其成本低、体积小、重量轻、机动性好、隐蔽性好等特点而具有越来越广泛的应用。而由于探测
传感器的能
力有限，单个无人机有很大的局限性。同时，无人机编队是克服单个无人机局限的有效手段。小型化、智能化和自主化是无人机未来的发展方向，而良好的自主
定位和自主导航的能力是实现自主化的必备条件。因此，无人机个体需要实时
感知自身的飞行状态及在编队中相对环境的状态，从而根据自身当前状态和编队需求进行下一步的自主规划和决策。
[0003] 目前最常用的
无人机导航系统主要是基于惯性导航系统(Inertial Navigation System,INS)和卫星定位系统。其中，惯性导航系统独立性好，抗干扰能力强，但存在误差累积，需要其他导航系统对其进行修正。因此在成本较低的无人机导航系统上，惯导系统很少独立应用到无人机的
位姿估计上。目前使用最为广泛的
卫星导航系统是美国的全球定位系统(Global Positioning System,GPS)，中国的北斗系统、欧盟的“伽利略”系统和俄罗斯的“格洛纳斯”系统。相比于惯性导航系统，卫星定位系统的测量
精度高，不存在误差累积问题，但是卫星
信号容易受到干扰，尤其在室内或者遮挡条件下无法使用。最常用的组合导航方式是INS/GPS组合导航方法，这种组合方法可以有效提高测量精度，消除累积误差，提高更新
频率。但由于这种组合导航方式过度依赖卫星导航系统对于惯导系统的修正作用，当
卫星信号不可用或者不可靠时测量数据会变得不再可靠。
[0004] 基于视觉的相对导航方法具有成本低、自主性强、重量轻等优点，根据任务需求的不同，可以使用不同波段的视觉传感器，且可避免外界
电磁波的干扰，非常适合于无人机编队中位姿测量的任务需求。猛禽的视觉系统在各类动物中尤为突出，有些猛禽类的视觉敏锐度甚至超过了人类视觉。仓鸮是典型的猛禽类，其视觉系统对输入的海量视觉信息并不是来者不拒的，而是会将更多的处理资源集中在潜在的重要目标上，从而滤除大部分的冗余信息，解决精度和实时性之间的矛盾。近年来在德国亚琛大学的Wolf Harmening等
生物学家对仓鸮进行了自由扫视实验，实验结果表明仓鸮具有视觉注意机制，即能够将视觉注意力
锁定在更有价值的目标区域，从而大大提高其视觉系统的
图像分析速度和目标捕获的准确度。仓鸮的视觉系统通过视觉选择性注意机制，对周围大量的环境信息做出分析，选取感兴趣的特定区域，将该区域移送至具有高
分辨率的
视网膜中央凹区，进行精细分析处理，确保视觉系统能在处理大量信息的同时对周围环境做出准确反应。研究表明仓鸮眼的离中投射可能有选择地提高视网膜对
视野中更大范围内的一些特定物体的敏感性，离中枢通路通过投射到视网膜的目标细胞上，加强视野中某个特定区域的视觉反应或者将视觉注意转移到视野中某个特定的区域。这种投射作用可以保证目标区域拥有高分辨率，即仓鸮眼中央凹能够对准目标区域。利用仿仓鸮眼视觉注意机制能够快速预定位目标，为后续处理提供指导，以提高目标的感知概率，同时减少后续计算时间。因此，本发明从仓鸮的视觉机理出发，研究仓鸮的视觉注意机制，提取可能包含无人机的区域，然后对合作标识进行进一步的识别，进而使用位姿估计
算法计算无人机之间的相对
位置及距离，为无人机编队提供相对导航信息。此外，本发明搭建了无人机空中验证平台对本发明所提出的基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法进行了验证。三、发明内容
[0005] 1、发明目的：
[0006] 本发明提出了基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法，其目的是提供一种精确的无人机编队相对导航方案，为无人机编队提供可靠的相对位置和距离测量信息，减少对卫星等外部信号的依赖，避免累积误差，提高无人机相对导航的自主性和导航精度。
[0007] 2、技术方案：
[0008] 本发明针对无人机编队中相对导航的任务需求，提出了一种不依赖外部信号，无累积误差的视觉测量方法，并设计了无人机编队空中验证平台系统，系统的构成见
附图1，每个无人机上装载红色球体作为标识，在球上贴不同
颜色的圆片以区分不同无人机。如图2所示，基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法步骤如下：
[0009] 步骤一：仿仓鸮眼显著性提取
[0010] 本发明模拟仓鸮视觉系统中外纹体和副视系统对
亮度、方向、边缘等信息处理及
模式识别等多种视觉信息的加工过程。利用图像的二维灰度直方图和二维梯度方向直方图相结合计算图像的显著图。对于一幅图像而言，假设其中所有可能出现的图像灰度值为IK＝{1,2,...,k}，对于8位整型灰度图而言，其可能出现的灰度值有256个，即k＝256。此时的二维统计直方图中的元素定义如下：
[0011] H＝[h(m,n)],m,n∈IK (1)
[0012] 其中，H是一个k×k的对称方阵，每个元素h(m,n)表示在整幅图像中灰度值m与n同时出现在一个大小为z的局部窗口中的次数。对于所有灰度值为m的
像素点，检测其附近大小为z的局部窗口中各个像素的灰度值，如果其中某一个像素的灰度值为n，则二维统计直方图中的元素h(m,n)增加1。对图像中所有的像素点进行该操作之后建立整个图像的二维灰度直方图。
[0013] 根据二维统计直方图求得任意两个灰度级同时在一个局部窗口中出现的概率，即：
[0014]
[0015] 其中P中的各个元素p(m,n)表示(m,n)在同一个局部区域中出现的概率。根据前述分析可知，在背景区域当m和n越接近时h(m,n)越大，对应p(m,n)也越大，而目标区域与背景区域有较大不同的情况下，m和n相差较大，此时的h(m,n)较小，对应p(m,n)也较小。由此可知图像中某个点的显著度与该点对应的灰度值与其周围灰度值同时出现的概率成反比。为计算显著度需要计算一个与p(m,n)变化趋势相反的概率，采用如下所述方法进行计算：
[0016]
[0017] 当图中没有在一个局部窗口中同时出现的一对灰度值时其对应的 中的元素置为0。
阈值U的计算方法如下式所示：
[0018]
[0019] 式中INZ(P)表示所有非零值的个数，即当p(m,n)＞0时INZ(P)＝1，当p(m,n)0＝时INZ(P)＝0。最终按照下式计算可得显著图：
[0020]
[0021] 式中S(i,j)表示(i,j)处的显著值，x(i,j)为点(i,j)处的灰度值，x(i',j')为(i,j)邻域窗口中的像素点。
[0022] 为了充分考虑图像的边缘信息，模拟仓鸮核团对边缘信息的处理机制，使用图像的梯度方向二维统计直方图作为另外一个通道计算图像的显著度。图像中点(i,j)处的梯度方向的计算公式如下：
[0023]
[0024] 其中，Gx(i,j)和Gy(i,j)分别表示点(i,j)处在x方向和y方向的梯度，计算公式如下：
[0025]
[0026] 在计算每个像素的梯度方向之后可以得到整幅图像的梯度方向，然后建立图像梯度方向的二维统计直方图。按照计算公式(2)～(7)计算基于二维统计直方图的图像显著度。最终将两种方法得到的显著度按照相同的权重进行合并得到最终的仿仓鸮眼显著图。
[0027] 步骤二：红色区域分割
[0028] 视觉传感器获取到包含无人机目标的图像之后，首先对图像进行Red-Green-Blue(RGB，即红-绿-蓝)颜色空间，Hue-Saturation-Intensity(HSV，即色相-
饱和度-亮度)颜色空间变换，利用H(色相)、S(饱和度)两个通道进行阈值分割之后，即可得到包含无人机红色标识球和复杂背景中的红色物体的所有区域。将分割之后的图像二值化，得到分割二值图。由于分割得到的二值图存在噪声，影响到后期的视觉处理，使用形态学的
腐蚀膨胀算子对二值图进行滤波处理，从而得到所有的红色区域。
[0029] 步骤三：感兴趣区域提取
[0030] 为了得到原图的感兴趣区域，需要对步骤二第一次红色标识球HSV阈值分割得到的二值图进行形态学操作。首先，提取每个红色区域的外部轮廓，设第i个区域的轮廓点集为 其中第i个区域的第m个轮廓点的图像坐标为然后，对每个区域轮廓点的图像坐标的两个维度进行排序计算，得到每个区域轮廓点坐标的最大值和最小值。最终，获得每个区域的外接矩形，作为ROI(Region of Interest)区域，表示为ROIi＝(ui,vi,wi,hi)，ui和vi分别表示ROI矩形区域左上
角顶点的图像坐标，wi和hi分别表示该矩形区域的宽度和高度，从而唯一确定了每个区域的外接矩形。
[0031] 步骤四：标识圆片分割
[0032] 在获取到的原图中所有红色区域的外接矩形做ROI区域之后，再对每个ROI区域内进行n-1次HSV颜色空间分割，其中n为无人机编队数量。对每种标识圆片的颜色进行分割区分，从而剔除出非目标的红色干扰物体，同时还能根据每个区域内的标识圆片，确定标识物所属无人机的编号。
[0033] 步骤五：多无人机标识重合区域分割
[0034] 根据相机的针孔成像模型，相同大小的物体的成像面积与距离平方成反比。本发明搭建的标识方案中，用于区分无人机编号的标识圆片颜色不同，但大小相同，因此可以根据不同颜色的标识圆片面积比来估计两个标识球相对视觉传感器的距离比。根据两类标识圆片中心点的坐标加权求和，估计分割线经过的关键点，其中加权权值的大小由两个球状标识物距离视觉传感器的距离估计值确定。
[0035] 为求得分割线的方程，根据一个直线经过的已知点，还需知道该直线的斜率，设分割线与两类标识圆片中心的连线相互垂直，则可得分割线方程。在得到相互遮挡区域的分割线之后，还需要对分割线两侧的区域进行标注，即确定分割线两侧的区域分别归属的无人机编号。由于在视觉位置测量阶段，用每个区域的轮廓点来描述该区域的特征点，则问题转换成了对分割线两侧区域的轮廓点进行标注。
[0036] 设一条直线l上不重合的两点为P1和P2，P3为直线外一点，判断P1P2P3为顺
时针方向还是逆时针方向。由三角形面积公式，三角形的面积S的符号由外积的方向确定，当S为正，方向为垂直纸面向外，则P1P2P3为逆时针方向，当S为负，方向为垂直纸面向里，则P1P2P3为顺时针方向。
[0037] 利用上述方法可依次判别区域重合区域的所有轮廓点在分割线的哪一侧，从而给每个轮廓点标注所属无人机的编号信息。考虑到分割线的近似性，为了保证标注结果尽可能正确，只选取离分割线一定距离(该距离可根据实际情况设置)以外的轮廓点用作后面的相对位置测量。
[0038] 步骤六：圆拟合与参考点获得
[0039] 通过基于颜色特征提取到的无人机球形标识物的轮廓，当标识物之间相互遮挡时，只能得到部分未遮挡的轮廓点，使用最小二乘法对标注好的轮廓点进行拟合，恢复图像中各标识球的圆形轮廓。建立圆形轮廓的外接矩形，并以圆心为原点建立
坐标系将外接矩形四个角的坐标作为参考点用于后续的位姿测量中。
[0040] 步骤七：无人机编队相对位姿测量
[0041] 针对无人机编队问题，本发明中将摄像机安装在无人机的顶部，并对其进行精确标定。为获得两个无人机之间的相对位置，需要利用参考点的位置信息及相机成像模型进行位姿解算。其中四个参考点的相对世界坐标可以根据球形标志的半径获得，参考点的图像坐标由上一步得到。然后，使用位姿测量算法Efficient Perspective-n-Point(EPnP)进行相对位姿测量。本发明的整体流程如附图3所示。
[0042] 3、优点及效果：
[0043] 本发明提出了一种基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法，为无人机自主编队相对导航中的无人机检测及相对位姿测量提供了一种基于仿仓鸮视觉的解决方案。本方法模拟仓鸮视觉系统的视觉注意机制，对无人机所在区域进行大致提取，并采用颜色分割进行感兴趣区域分割，进而提取标识参考点的坐标，最终通过位姿估计算法实现对无人机的相对导航。本方法自主性强，精度较高，且不利用卫星等外部信号，不存在累积误差，可大大提高无人机编队的自主性。四、附图说明
[0044] 图1无人机编队验证平台架构。
[0045] 图2基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法流程。
[0046] 图3 X轴位置测量结果。
[0047] 图4 Y轴位置测量结果。
[0048] 图5 Z轴位置测量结果。
[0049] 图6距离测量结果。
[0050] 图7重投影误差曲线。五、具体实施方式
[0051] 下面通过一个具体的空中验证平台无人机视觉测量实例来验证本发明所设计方法的有效性。本实例中使用三架无人机做测试试验，在搭建的平台中，验证平台中每架无人机的
硬件配置完全相同。验证平台主要包括旋翼
机体、飞控计算机、任务计算机、摄像头及其他感知环境信息的传感器、负责监控的地面站、机群间通信的局域网等构成。多无人机系统中的
控制器可划分为两层结构：上层为安装了Linux
操作系统的单板计算机，作为任务处理器，安装ROS(Robot Operating System)，在此架构之上进行多无人机协调算法和通信程序的编写；下层为基于Atmega2560的APM开源飞控板，负责无人机的本体控制，实现如自主
起飞、着陆、
悬停、
跟踪航路点功能。机载的各种传感器，负责感知环境信息，为无人机的控制系统提供反馈，如三轴
加速度计、MEMS
陀螺仪和磁罗盘组成的航姿参考系统，为无人机提供
姿态信息。通过地面站及通信系统，地面人员可以实时监控无人机的当前飞行状态，并可以在紧急情况下通过向无人机发送紧急操纵指令，实现应急操作。
[0052]
机架为大疆公司的S900六旋翼
飞行器。飞行控制器为3DR公司Pixhawk开源飞控器，任务计算机选用
艾讯科技公司的PICO880处理器，摄像头采用Basler的acA1920-155uc工业相机，视觉导引系统的主要硬件配置如下：
[0053] (1)机载视觉处理器：PICO880；i7 4650U处理器1.7GHz主频；8GB内存；120G固态
硬盘；尺寸为100×72×40.3mm；总重量约450g；4个USB3.0
接口。
[0054] (2)机载视觉传感器：Basler公司的acA1920-155uc彩色摄像头；USB 3.0接口；分辨率1920*1200；最大
帧率为164fps；CCD物理尺寸为1/1.2inch；像素尺寸5.86um×5.86um。
[0055] 系统
软件基于Linux操作系统Ubuntu、C语言、OpenCV函数库开发，在ROS
框架下进行程序编写。
[0056] 步骤一：仿仓鸮眼显著性提取
[0057] 本发明模拟仓鸮视觉通路对边缘及
对比度信息的处理机制建立了一种基于二维直方图的仿仓鸮眼视觉注意方法。为了模拟外纹体和副视系统对边缘信息的处理过程，本发明利用图像的二维灰度直方图和二维梯度方向直方图相结合计算图像的显著图。
[0058] 对于一幅图像而言，假设其中所有可能出现的图像灰度值为IK＝{1,2,...,k}，对于8位整型灰度图而言，其可能出现的灰度值有256个，即k＝256。此时的二维统计直方图中的元素定义如下：
[0059] H＝[h(m,n)],m,n∈IK (1)
[0060] 其中，H是一个k×k的对称方阵，每个元素h(m,n)表示在整幅图像中灰度值m与n同时出现在一个大小为z的局部窗口中的次数。对于所有灰度值为m的像素点，检测其附近大小为z的局部窗口中各个像素的灰度值，如果其中某一个像素的灰度值为n，则二维统计直方图中的元素h(m,n)增加1。对图像中所有的像素点进行该操作之后建立整个图像的二维灰度直方图。
[0061] 根据二维统计直方图求得任意两个灰度级同时在一个局部窗口中出现的概率，即：
[0062]
[0063] 其中P中的各个元素p(m,n)表示(m,n)在同一个局部区域中出现的概率。根据前述分析可知，在背景区域当m和n越接近时h(m,n)越大，对应p(m,n)也越大，而目标区域与背景区域有较大不同的情况下，m和n相差较大，此时的h(m,n)较小，对应p(m,n)也较小。由此可知图像中某个点的显著度与该点对应的灰度值与其周围灰度值同时出现的概率成反比。为计算显著度需要计算一个与p(m,n)变化趋势相反的概率，本发明采用下文所述方法进行计算：
[0064]
[0065] 当图中没有在一个局部窗口中同时出现的一对灰度值时其对应的P中的元素置为0，而当图像中某两个灰度值在一个局部窗口中出现的概率大于某一个阈值时该灰度值对应的像素点的显著性应该非常低，或者该像素点有很大可能是背景区域，因此将 中的元素置为0。阈值U的计算方法如下式所示：
[0066]
[0067] 式中INZ(P)表示所有非零值的个数，即当p(m,n)＞0时INZ(P)＝1，当p(m,n)0＝时INZ(P)＝0。最终按照下式计算可得显著图：
[0068]
[0069] 式中S(i,j)表示(i,j)处的显著值，x(i,j)为点(i,j)处的灰度值，x(i',j')为(i,j)邻域窗口中的像素点。
[0070] 为了充分考虑图像的边缘信息，本发明模拟仓鸮核团对边缘信息的处理机制，使用图像的梯度方向二维统计直方图作为另外一个通道计算图像的显著度。图像中点(i,j)处的梯度方向的计算公式如下：
[0071]
[0072] 其中，Gx(i,j)和Gy(i,j)分别表示点(i,j)处在x方向和y方向的梯度，计算公式如下：
[0073]
[0074] 在计算每个像素的梯度方向之后可以得到整幅图像的梯度方向，然后按照类似于灰度二维直方图的建立方式可以得到图像梯度方向的二维统计直方图。按照灰度二维统计图相似的步骤计算基于二维统计直方图的图像显著度。最终将两种方法得到的显著度按照相同的权重进行合并得到最终的仿仓鸮眼显著图。
[0075] 步骤二：红色区域分割
[0076] 视觉传感器获取到包含无人机目标的图像之后，首先对图像进行Red-Green-Blue(RGB)颜色空间，Hue-Saturation-Intensity(HSV)颜色空间变换，利用H、S两个通道进行阈值分割之后，即可得到包含无人机红色标识球和复杂背景中的红色物体的所有区域。将分割之后的图像二值化，得到分割二值图。由于分割得到的二值图存在噪声，影响到后期的视觉处理，使用形态学的腐蚀膨胀算子对二值图进行滤波处理，从而得到所有的红色区域。
[0077] 步骤三：感兴趣区域提取
[0078] 为了得到原图的感兴趣区域，需要对第一次红色标识球HSV阈值分割得到的二值图进行形态学操作。首先，提取每个红色区域的外部轮廓，设第i个区域的轮廓点集为其中第i个区域的第m个轮廓点的图像坐标为然后，对每个区域轮廓点的图像坐标的两个维度进行排序计算，得到每个区域轮廓点坐标的最大值和最小值。最终，获得每个区域的外接矩形，作为ROI(Region of Interest)区域，表示为ROIi＝(ui,vi,wi,hi)，ui和vi分别表示ROI矩形区域左上角顶点的图像坐标，wi和hi分别表示该矩形区域的宽度和高度，从而唯一确定了每个区域的外接矩形。
[0079] 步骤四：标识圆片分割
[0080] 在获取到的原图中所有红色区域的外接矩形做ROI区域之后，再对每个ROI区域内进行n-1次HSV颜色空间分割，其中n为无人机编队数量。对每种标识圆片的颜色进行分割区分，从而剔除出非目标的红色干扰物体，同时还能根据每个区域内的标识圆片，确定标识物所属无人机的编号。
[0081] 步骤五：多无人机标识重合区域分割
[0082] 根据相机的针孔成像模型，相同大小的物体的成像面积与距离平方成反比。本发明搭建的标识方案中，用于区分无人机编号的标识圆片颜色不同，但大小相同，因此可以根据不同颜色的标识圆片面积比来估计两个标识球相对视觉传感器的距离比。根据两类标识圆片中心点的坐标加权求和，估计分割线经过的关键点，其中加权权值的大小由两个球状标识物距离视觉传感器的距离估计值确定。
[0083] 为求得分割线的方程，根据一个直线经过的已知点，还需知道该直线的斜率，设分割线与两类标识圆片中心的连线相互垂直，则可得分割线方程。在得到相互遮挡区域的分割线之后，还需要对分割线两侧的区域进行标注，即确定分割线两侧的区域分别归属的无人机编号。由于在视觉位置测量阶段，用每个区域的轮廓点来描述该区域的特征点，则问题转换成了对分割线两侧区域的轮廓点进行标注。
[0084] 设一条直线l上不重合的两点为P1和P2，P3为直线外一点，判断P1P2P3为顺时针方向还是逆时针方向。由三角形面积公式，三角形的面积面积S的符号由外积的方向确定，当S为正，方向为垂直纸面向外，则P1P2P3为逆时针方向，当S为负，方向为垂直纸面向里，则P1P2P3为顺时针方向。
[0085] 利用上述方法可依次判别区域重合区域的所有轮廓点在分割线的哪一侧，从而给每个轮廓点标注所属无人机的编号信息。考虑到分割线的近似性，为了保证标注结果尽可能正确，只选取离分割线一定距离以外的轮廓点用作后面的相对位置测量。
[0086] 步骤六：圆拟合与参考点获得
[0087] 通过基于颜色特征提取到的无人机球形标识物的轮廓，当标识物之间相互遮挡时，只能得到部分未遮挡的轮廓点，使用最小二乘法对标注好的轮廓点进行拟合，恢复图像中各标识球的圆形轮廓。建立圆形轮廓的外接矩形，并以圆心为原点建立坐标系将外接矩形四个角的坐标作为参考点用于后续的位姿测量中。
[0088] 步骤七：无人机编队相对位姿测量
[0089] 针对无人机编队问题，本发明中将摄像机安装在无人机的特定位置，并对其进行精确标定。利用MATLAB 2015a工具箱对相机进行标定后得到相机的内参和畸变系数如下：
[0090] 相机参数：
[0091] 为获得两个无人机之间的相对位置，需要利用参考点的位置信息及相机成像模型进行位姿解算。其中四个参考点的相对世界坐标可以根据球形标志的半径获得，球半径大小均为10厘米，参考点的图像坐标由上一步得到。然后，使用高效位姿测量算法Efficient Perspective-n-Point(EPnP)进行相对位姿测量。
[0092] 对连续
图像序列中的多幅图像进行位姿求解，求解出的三个方向的位移如附图3～附图5所示，两个无人机之间的相对距离曲线如附图6所示。测试所用图像序列在地面采集得到，即对放置于地面上的无人机进行拍摄，并人为随机移动无人机，使其相对位置发生变化，因此图中测量结果曲线的变化是由于人为移动两个无人机的相对位置所引起的。根据解算的结果通过重投影反解回参考点得到的中心点像素与步骤七得到的参考点位置坐标做差，可计算得到重投影误差，误差曲线见附图7。通过试验结果可以发现，本发明能够对无人机编队中的相对位姿进行精确测量。
