技术领域
[0001] 本
发明涉及一种基于标志物多特征融合的无人机自动寻的着陆方法，属于无人机技术和
图像处理交叉领域。
背景技术
[0002] 基于视觉的无人机自动导航在过去几年已经成为热
门研究领域(S.Azrad,F.Kendoul,and K.Nonami.Visual servoing of quadrotor micro-air vehicle using color-based tracking algorithm.J.of System Design and Dynamics,4(2):255–268,2010.)。视觉图像提供了大量的、丰富的低成本信息，并且轻量级的摄像头已经能够嵌入到微型无人机中。到目前为止，无人机降落对操控人员的要求比较高，主要由无人机驾驶员操控。同时，在即将来到的无人机应用大潮中，使用驾驶员无疑会浪费大量的人
力物力。因此，利用图像处理技术，实现无人机的自动寻地降落是十分必要的。无人机自动寻的降落是无人机应用必须跨过的
门槛，本发明即是利用无人机机载摄像头和图像处理系统对降落目标进行识别。
[0003] 基于视觉的导航着陆系统只需要一个摄像头和一个机载图像处理单元，利用摄像头传回的实时视频图像来计算目标
位置，辅助机载的导航控制系统控制无人机完成自主着陆。2006年赵文彬等在论文《
角点检测综述》中描述，角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。但是，角点检测通常不大健壮，经常需要专业的管理，并且会产生大量的冗余以防止主识别任务中个别错误数据影响匹配结果。
[0004] SIFT(Scale-invariant feature transform)是最强健的局部不变特征描述方法(A.E.Abdel-Hakim,and A.A.Farag.CSIFT:A SIFT Descriptor with Color Invariant Characteristics.IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06)(Volume:2)2006),设计主要用于灰度图，但
颜色在检测特征和目标匹配任务中提供了很有价值的信息，如果没有颜色信息很多目标会被错误分类或者误匹配。
[0005] Herbert Bay,Tinne Tuytelaars,Luc Van Gool等人于2006年在ECCV大会(Computer Vision–ECCV 2006)上提出了
加速鲁棒特性(SURF,Speeded up robust features)，SURF和SIFT基于相同原理，实现步骤有细微差别，SURF使用海森矩阵的行列式值作为特征点侦测并用积分图加速运算，检测速度比SIFT提高了数倍。但是，要想在微型无人机上应用SURF
算法(A.Harsha Vardhan；Nishchal K.Verma；Rahul K.Sevakula；Al Salour.Unsupervised approach for object matching using Speeded Up Robust Features.IEEE Applied Imagery Pattern Recognition Workshop(AIPR)13-15Oct.2015)，需要牺牲一定的准确性以换取执行速度。
[0006] 2011年C′eline Teuli`ere,Laurent Eck,Eric Marchand等人在IEEE/RSJ International Conference上发表的论文提出了一种基于颜色追踪移动目标的算法，并用所提方法在微型无人机上实现了追踪系统。图像的颜色特征描述的是图像的全局特征，其对图像的局部大小、方向、形状等变化不敏感，不能很好地得到图像的局部特征，形态学轮廓容易受摄像角度影响产生形变。
[0007] 综上，角点检测速度快，但受到图像噪声、光照等的影响，它的健壮性不是很好。SIFT和SURF计算复杂，在有限的条件下实时性和准确性不能兼得，并且当视频中不存在目标图像时也能检测到特征点。图像的颜色和形态学特征受光照强弱、拍摄角度等影响，不能完全分辨目标和噪声。因此，以上方法都不可行，有必要寻找一种抗干扰能力强，实时性强的目标检测方法。
发明内容
[0008] 本发明所要解决的技术问题是提供一种基于标志物多特征融合的无人机自动寻的着陆方法，能够利用机载摄像设备实时获取的图像，采用目标模板匹配和目标颜色、形态学轮廓相结合的方式准确找出降落标志物位置。本发明利用了颜色、形态学轮廓、特征点，多种特征来完成检测。具有高抗干扰性，可以有效解决实时图像与模板图像在视角变换、几何变换、仿射变换、畸变、
亮度变换、噪声干扰等恶劣情况下的匹配问题。
[0009] 本发明为解决上述技术问题采用以下技术方案：
[0010] 本发明提供一种基于标志物多特征融合的无人机自动寻的着陆方法，所述标志物仅包括红绿蓝中的任意两种颜色，包括以下具体步骤：
[0011] 步骤1，载入标志物的基准图像，提取基准图像的特征点集合和
特征向量；
[0012] 步骤2，接入机载摄像机的实时
视频流，对视频图像进行逐
帧处理，具体为：
[0013] 201，提取场景图的最优匹配特征点集合，具体为：
[0014] 1)提取当前帧场景图的特征点集合和特征向量；
[0015] 2)将当前帧场景图的特征点集合和基准图像的特征点集合进行匹配，获得匹配特征点对集合；
[0016] 3)计算匹配特征点对集合中所有匹配特征点对的特征向量之间的欧氏距离，并对求得的欧氏距离进行排序，得到匹配特征点对的距离集合；
[0017] 4)计算匹配特征点对的距离集合中距离的均值mean(Ds)，并找出匹配特征点对的距离集合中的最短距离min(Ds)，若mean(Ds)/min(Ds)＞T，则当前帧场景图和基准图像匹配，进入5)，否则舍弃当前帧场景图，返回1)执行对下一帧场景图的操作；其中，T为第一
阈值；
[0018] 5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合，从而得到场景图的最优匹配特征点集合；
[0019] 202，获取基准图在场景图中的最优位置，具体为：
[0020] a)对当前帧场景图进行RGB三通道分离，得到R、G、B通道图像；
[0021] b)选取对应标志物所含两种颜色的当前帧场景图的两个通道图像，对所选取的两个通道图像中的每一个通道图像，计算其与R、G、B三通道图像中与之相对的另两个通道图像的
像素值的相对强度的乘积，得到两张相对像素强度的灰度图I1和I2；
[0022] c)对b)中的到的灰度图I1和I2进行阈值化，得到二值化图像 和
[0023] b)膨胀 对其中白色像素
块边缘提亮，得到图像
[0024] d)获取 中的连通域，按照边界长度对连通域进行排序，滤除边界长度不在有效边界长度范围内的连通域；
[0025] e)获取d)中剩余连通域的外接矩形，滤除外接矩形长宽比不在有效比值范围内的连通域；
[0026] f)将e)中剩余连通域映射到 和 上，所得到的区域作为兴趣区；对兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，滤除该比值小于第二阈值的连通域；
[0027] g)将f)中剩余连通域中对应的一对兴趣区的像素和的比值最大的连通域，作为基准图在场景图中的最优位置；
[0028] 步骤3，获取201中得到的最优匹配特征点集合中落入基准图在场景图中的最优位置中的特征点，这些特征点的像素中心即为标志物的位置。
[0029] 作为本发明的进一步优化方案，步骤201中5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合，具体为：
[0030] 首先，利用当前帧场景图的匹配特征点对集合中的特征点，根据最大期望EM算法在RKHS空间域内估计出其最优矢量场；然后，利用最优矢量场对匹配特征点对集合中的误匹配特征点对进行剔除，从而得到最优匹配特征点对集合。
[0031] 作为本发明的进一步优化方案，步骤201中2)使用快速最近邻算法FLANN对基准图像特征点集和当前帧场景图特征点集进行匹配。
[0032] 作为本发明的进一步优化方案，步骤201中1)使用SURF算法提取当前帧场景图的特征点集和特征向量。
[0033] 作为本发明的进一步优化方案，步骤1中使用SURF算法提取基准图像的特征点集和特征向量。
[0034] 作为本发明的进一步优化方案，步骤201中1)提取当前帧场景图的特征点集合和特征向量前，还包括对当前帧场景图进行缩放，以满足实际需求。
[0035] 作为本发明的进一步优化方案，步骤202中a)对当前帧场景图进行RGB三通道分离，得到R、G、B通道图像后，还包括将R、G、B通道图像从8为无符号型转换成32为浮点型，以便于后续计算。
[0036] 作为本发明的进一步优化方案，步骤202中d)或e)或f)中剩余连通域数量为0，则舍弃当前帧场景图，返回步骤201，执行对下一帧场景图的操作。
[0037] 本发明采用以上技术方案与
现有技术相比，具有以下技术效果：本发明是一种基于标志物颜色、形态学轮廓以及特征点，多种特征的无人机自动寻的着陆方法，以机载摄像机实时采集到的视频图像为对象，自动地较准确地检测目标在图像中的位置。该方法以标志物图形的颜色特征、轮廓的形态特征和特征点作为判断依据，能够适应低空无人机航空序列图像的视角变换、几何变换、放射变换、畸变、亮度变换、噪声干扰等恶劣情况下的匹配问题，可以实时地对基准图形进行检测，进而实时计算标志物的坐标，检测结果准确率高，对无人机自动寻地着陆具有重要的应用价值。
附图说明
[0039] 图2是提取场景图的最优匹配特征点集合的流程图。
[0040] 图3是获取基准图在场景图中的最优位置的流程图。
[0041] 图4是基准图像。
[0042] 图5是基准图像的特征点。
[0043] 图6是本实例中的场景图。
[0044] 图7是场景图检测到的特征点。
[0045] 图8是场景图匹配特征点。
[0046] 图9是 的显示效果。
[0047] 图10是 的显示效果。
[0048] 图11是场景图 检测到的连通域。
[0049] 图12是连通域按边界长度去噪后的结果。
[0050] 图13是连通域按外接矩形长宽比去噪后的结果。
[0051] 图14是连通域按兴趣区内像素和比值去噪后的结果。
[0052] 图15是最终在场景图找到最优特征点。
具体实施方式
[0053] 下面结合附图以及具体
实施例对本发明的技术方案做进一步的详细说明：
[0054] 本发明是一种基于标志物颜色、轮廓及特征点检测的无人机自动寻的着陆方法，如图1至3所示，具体内容这里不再赘述。
[0055] 本实例中，视频采集于离目标1-4米的相机，拍摄角度相机镜头和目标法线最大偏角60度，帧大小1920*1080，
帧速率29f/s。标志物(基准图)图像如图4所示，基准图像包括红蓝两种颜色，图片大小1681*1651像素。检测目标区域，通过对着陆标志物的颜色、形态学轮廓和特征点来检测出标志物在场景图像中的区域，具体步骤如下：
[0056] 1、载入基准图像It，如图4所示，其中基准图中间的“停”是红色的，此时确保基准图像颜色空间是RGB，采取通道分离提取红色通道图 该通道每个像素值的范围在0～255。使用SURF(Speed-up robust features，快速鲁棒特征)算法提取基准图像红色通道图的特征点集合 和特征向量discrptorT，为兼顾匹配点的准确率和处理速度Hessian矩阵阈值设置为1200，检测到87个特征点，如图5所示，记为
[0057]
[0058] 其中，Nt为基准图像的特征点数，n＝(1,2,…,Nt)，dn(xn,yn)为基准图像的第n个特征点，(xn,yn)为第n个特征点在基准图像中的坐标。
[0059] 2、接入机载摄像机实时视频流，载入当前帧场景图，当前帧场景图大小为1920*1080像素。考虑到大尺寸的图形对图像处理单元负载较大，因此调整当前帧场景图到合适的尺寸380*220，记为 如图6所示，其中，i为当前帧场景图的帧序号。
[0060] 同样对当前帧场景图 进行通道分离，获取R通道的图像 使用SURF算法提取的特征点集合 和特征向量discrptorS，检测到172个特征点，如图7所示，记为[0061]
[0062] 其中， 为当前帧场景图的特征点数，dj(xj,yj)为当前帧场景图的第j个特征点，(xj,yj)为第j个特征点在当前帧场景图中的坐标。
[0063] 3、使用快速最近邻算法(Fast Library for Approximate Nearest Neighbors，简称FLANN)对基准图像的特征点集合 和当前帧场景图的特征点集合 进行匹配，得到匹配特征点对集合p，其中有87个匹配特征点对，记为
[0064]
[0065] 其中，N为匹配特征点对的数量， 为匹配特征点对集合p中第k个基准图像的特征点，(xk,yk)为匹配特征点对集合p中第k个基准图像的特征点在基准图像中的坐标，为匹配特征点对集合p中第k个当前帧场景图的特征点，(x′k,y′k)为匹配特征点对集合p中第k个当前帧场景图的特征点在当前帧场景图中的坐标。
[0066] 4、计算所有匹配特征点对的特征向量之间的欧氏距离为：
[0067]
[0068] 其中，Ds为匹配特征点对的距离集合。
[0069] 以及，对计算得到的匹配特征点对的距离集合求均值，均值mean(Ds)＝0.369205。
[0070] 对匹配特征点对的距离进行快速排序并保存，在已排序的距离中使用二分法搜索返回其中的最短距离min(Ds)＝0.185192。计算得mean(Ds)/min(Ds)＝1.99363，阈值T预先设置为10倍min(Ds)，条件
[0071] mean(Ds)/min(Ds)＞T (5)
[0072] 成立，则当前帧场景图和基准图像匹配，进入步骤5。
[0073] 5、利用矢量场一致(Vector Field Consensus，简称VFC)算法和最大期望(Expectation Maximization，简称EM)算法获取匹配特征点对的集合中的最优匹配特征点对集合，从而得到场景图的最优匹配特征点集合。
[0074] VFC算法的核心思想在于正确匹配点对在再生核希尔伯特空间(Reproducing Kernel Hilbert Space，RKHS)空间域内保持着低频光滑特性，因此，可用SURF算法提取到的匹配特征点在RKHS空间域内估计出匹配特征点的最优矢量场f。反过来，可再用最优矢量场f对误匹配特征点对进行剔除(
马佳义.基于非参数模型的点集匹配算法研究[D].华中科技大学,2014.)。进一步具体有：
[0075] VFC算法中，假设正确匹配点为各向同性的高斯白噪声，且误匹配点对服从均匀分布。对每对 我们与之关联一个隐变量zk∈{0,1}，其中zk＝1代表样本点为正确匹配点对，zk＝0代表样本点为误匹配点对。令矩阵X和Y分别表示输入和输出数据，其第k行分别为 与 于是我们得到一个匹配点对所对应的混合模型的似然函数(马佳义.基于非参数模型的点集匹配算法研究[D].华中科技大学,2014.)：
[0076]
[0077] 其中θ＝{f,σ2,γ}，包含所有未知参数集， 代表在参数θ下xk与yk的匹配概率。
[0078] 根据文献(J.Ma,J.Zhao,J.Tian,A.L.Yuille and Z.Tu.Robust Point Matching Via Vector Field Consensus.IEEE Transactions on Image Processing,23(4):1706-1721,2014.)，求解最优矢量场f可进一步转化为最小化以下
能量函数ε(f)：
[0079]
[0080] 上式中的f指当前估计出的矢量场，λ为归一化参数， 表示RKHS空间。其中，pk＝P(zk＝1|zk,yk,θ)表示第k个样本与当前估计出的矢量场f的吻合程度，γ表示正确匹配点对的比率，zk取1表示第k个匹配点对标记为正确匹配点(内点)。
[0081] 利用最大期望Expectation Maximization(EM)算法对公式(6)进行
迭代，最终可以得到最优矢量场f，并对误匹配特征点对进行剔除，得到最优匹配特征点对集合p'，其中最优匹配特征点对35个，如图8所示，记为 其中，N'为最优匹配特征点对的个数， 为最优匹配特征点对集合p'中的第m个基准图像的特征点，(xm,ym)为最优匹配特征点对集合p'中的第m个基准图像的特征点在基准图像中的坐标， 为最优匹配特征点对集合p'中的第m个当前帧场景图的特征点，(xm',ym')为最优匹配特征点对集合p'中的第m个当前帧场景图的特征点在当前帧场景图中的坐标。
[0082] 6、获得当前帧场景图的最优匹配特征点集合 即为
[0083] 7、获取当前帧场景图 的三个通道图像IB,IG,IR，并将三个通道图像从8位无符号型转换成32位浮点型，以便于后续计算。
[0084] 8、根据公式(8)
[0085]
[0086] 分别计算IB和IR相对于另外两个通道图像像素强度的乘积，得到两张灰度图I1和I2。
[0087] 9、阈值化I1和I2：对图像中的像素强度做出决策，将I1中像素值大于0.1的置为1，否则置为0，将I2中像素值大于0.3的置为1，否则置为0，得到二值化图像 和 分别如图9和图10所示。
[0088] 10、膨胀 对白色像素块边缘提亮，解决粘连，得到图像 检测到 中的连通域有4个，连通域集合记为 如图11所示，其中，l代表连通域的边界长度。
[0089] 11、按连通域的边界长度对连通域进行过滤，(此时注意，在过滤过程中，对剩余连通域的数量S1进行限定，如果连通域数量大于6个，则阈值S1设置为6，否则阈值S1设置为3)，本实例中S1设置为3，则最多保留S1个边界长度最大的连通域，并且剔除长度小于40的连通域，本实例剔除长度为31的连通域，刚好剩下3个连通域，如图12所示，将剩下的连通域集合记为
[0090] 12、对连通域集合 中的3个连通域求其外接矩形，得外接矩形集合 计算3个外接矩形的长宽比，结果如表1所示：
[0091] 表1连通域外接矩形参数
[0092]W(width) H(height) Min(W,H)/Max(W,H)
5 46 0.108696
23 12 0.521739
73 74 0.986486
[0093] 对每个外接矩形的长宽比做出决策，将连通域外接矩形长宽比排序，(此时注意，在过滤过程中，对剩余连通域的数量S2进行限定，如果连通域数量大于6个，则阈值S2设置为6，否则阈值S2设置为3)本实例中设置为3，最多保存S2个外接矩形长宽比最大连通域，剔除长宽比低于0.5的外接矩形和对应的连通域。本实例中，剔除长宽比为0.108696的连通域，剩下2个连通域，如图13所示，将剩下的连通域集合记为
[0094] 13、将 中的连通域映射到 和 上，所得到的区域作为兴趣区，共有2对兴趣区，得到兴趣区对的集合 其中，Aq为基准图像上的第q个兴趣区，Aq'为当前帧场景图上的第q个兴趣区。对每个兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，如表2所示，得到比值的集合R：
[0095]
[0096] 表2兴趣区内的像素和
[0097]sum(Ai) sum(Ai') R
42 0 0
4528 1153 0.254632
[0098] 在剩下的连通域中剔除比值低于阈值0.03的连通域(兴趣区对)，筛选出最符合条件的连通域C，如图14所示。
[0099] 使用步骤13得到的连通域C规范步骤6得到的当前帧场景图的最优匹配特征点集合 得到落入区域C中的当前帧场景图特征点集合。本实例中，落入区域C中的当前帧场景图特征点的数量为16，这些特征点即为所求最优特征点，找到这些特征点的中心，即可知标志物在场景中的位置，如图15所示。
[0100] 以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以
权利要求书的保护范围为准。
