首页 / 专利库 / 工业自动化和数控机床 / 横滚 / 一种基于单目视觉定位的旋翼无人机姿态估计方法

一种基于单目视觉定位的旋翼无人机姿态估计方法

阅读:929发布:2022-03-12

专利汇可以提供一种基于单目视觉定位的旋翼无人机姿态估计方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于单目视觉 定位 的旋翼无人机 姿态 估计方法,首先对由机载摄像头捕获到的包含视觉标志在内的图像进行预处理,消除图像噪声并突出视觉标志;然后根据视觉标志的几何特征,通过五步法提取出“H”形标志和圆环组成的视觉标志;之后,采用距离三点法检测“H”形标志的12个 角 点并与预设参考图像中的对应角点进行匹配;最后,根据匹配的角点对计算单应矩阵,并采用直接线性变换DLT方法分解单应矩阵解算出无人机相对视觉标志的姿态角,并依据相机成像的相似三角形原理计算出无人机相对视觉标志的 位置 数据。该方法计算速度更快,有较好的实用价值。,下面是一种基于单目视觉定位的旋翼无人机姿态估计方法专利的具体信息内容。

1.一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:首先对由机载摄像头捕获到的包含视觉标志在内的图像进行预处理,消除图像噪声并突出视觉标志;然后根据视觉标志的几何特征,通过五步法提取出“H”形标志和圆环组成的视觉标志;之后,采用距离三点法检测“H”形标志的12个点并与预设参考图像中的对应角点进行匹配;最后,根据匹配的角点对计算单应矩阵,并采用直接线性变换DLT方法分解单应矩阵解算出无人机相对视觉标志的姿态角,并依据相机成像的相似三角形原理计算出无人机相对视觉标志的位置数据;
本方法共包括5个阶段,分别为A图像预处理;B标志提取;C角点检测;D角点匹配;E姿态估计。
2.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
A.图像预处理阶段
图像预处理是提高图像质量的一个重要步骤,减少噪声的影响并突出图像细节;
1)图像灰度化:将机载摄像头采集到的彩色图像转换为灰度图像,以消除算法对图像色彩的依赖,减少计算量并消除色调饱和度信息而只保留亮度信息,提高标志提取的准确度,转换过程如式(1)所示:
Y=0.299×R+0.596×G+0.211×B             (1)
式中:Y为转换后的灰度图像,R、G、B分别为彩色图像中的红色、绿色和蓝色分量值;
2)基于维纳滤波的图像模糊消除:考虑到无人机的振动或外界天气条件的影响,由机载摄像头采集到的图像会变模糊,因此,采用维纳滤波器对灰度图进行去模糊处理,消除图像模糊;维纳滤波器计算式如下所示:
式中:F(u,v)为去模糊后图像的傅里叶变换,H(u,v)为退化函数,H*(u,v)为退化函数的复数共轭,且|H(u,v)|2=H*(u,v)H(u,v),Sη(u,v)为噪声功率谱,Sf(u,v)为信号功率谱;
3)自适应阈值化图像增强:由于视觉标志中背景和标志具有较大的亮度差,为了明显区分高亮度的视觉标志和低亮度的背景,对维纳滤波后的图像需进行自适应阈值化处理,得到黑色背景和白色标志,实现图像增强;
4)极值中值滤波器EM消除噪声:在对图像进行阈值化处理的过程中,会引入脉冲噪声和椒盐噪声;采用极值中值滤波器EM对阈值化结果做进一步处理,由于EM滤波器只对噪声点进行中值处理而信号点保留原像素值,有效去除图像脉冲噪声和椒盐噪声,同时保留图像的边缘信息,EM计算式如下所示;
式中:yij为输出图像,i,j表示各像素点的位置;med(W[xij])为对窗口W[xij]内的所有点取中值,min(W[xij])为对窗口W[xij]内的所有点取最小值,max(W[xij])为对窗口W[xij]内的所有点取最大值,xij为输入图像。
3.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:B.标志提取阶段
标志提取分为连通域检测、连通域剔除、连通域分类、连通域匹配以及视觉标志判定五个环节,称为五步法;
1)连通域检测:对二值图像进行连通域检测,得到包含视觉标志的所有连通域Blobs[i]及其几何特征,即质心坐标、面积以及周长特征,i=1…n,n为连通域数量;
2)连通域剔除:连通域剔除主要删除连通域检测过程中得到的一些小面积区域,这些小面积区域为干扰项,是由于环境的光照、阴影因素形成;具体方法:如果第i个连通域的面积Blobs[i].Area小于阈值threshArea,那么从候选连通域删除该连通域,更新候选连通域;
3)连通域分类:连通域分类根据“H”形标志和圆环的几何特征对更新后的候选连通域进行分类,分为H形连通域和圆环连通域;根据“H”形标志和圆环自身面积-周长比的尺度不变性和旋转不变性,对候选连通域进行分类;
如果第i个连通域的面积-周长比与H形连通域的面积-周长比的期望值相差很小,即满足下式:
则将该连通域标记为H形候选连通域BlobsH[j],j=1…m1,m1为H形候选连通域的数量;
式中:Blobs[i].Area为第i个连通域的面积,Blobs[i].Perimeter为第i个连通域的周长,RatioHA-P为H形连通域面积-周长比的期望值,εA-P为连通域面积-周长比阈值;
如果第i个连通域的面积-周长比与圆环连通域的面积-周长比的期望值相差很小,即满足下式:
则将该连通域标记为圆环候选连通域BlobsCir[k],k=1…m2,m2为圆环候选连通域的数量;否则,直接从候选连通域中删除;式中:RatioCIRA-P为圆环连通域面积-周长比的期望值;
4)连通域匹配:连通域匹配根据H形连通域与圆环连通域质心位置重合的关系,通过计算两类连通域的质心间欧氏距离,对H形候选连通域BlobsH[j]和圆环候选连通域BlobsCir[k]进行匹配,进而得到候选视觉标志VMarks[i],i=1…N,N为候选视觉标志的数量,即H形标连通域与圆环连通域的对应表;
如果第i个H形连通域与第j个圆环连通域的质心间欧氏距离小于设定阈值εDis,则将对应H形和圆环连通域标记为视觉标志VMarks[i],即更新对应表,判定条件如式(6)所示;
EuclideanDist(BlobsH[i].Centroid,BlobsCir[j].Centroid)≤εDis          (6)式中:BlobsH[i].Centroid为第i个H形连通域的质心坐标,BlobsCir[j].Centroid为第j个圆环连通域的质心坐标,εDis为质心欧氏距离阈值;
5)视觉标志判定:
视觉标志判定利用H形连通域和圆环连通域的面积比和周长比,对连通域匹配得到的候选视觉标志做进一步的判定和确认;
如果第i个视觉标志中对应的H形连通域与圆环连通域的面积比和周长比与期望的面积比和周长比相差很小,则标记为最终的视觉标志;否则将该视觉标志从候选视觉标志中删除,判定条件如式(7)所示;
式中:VMarks[i].H.Area为第i个视觉标志中H形连通域的面积,VMarks[i].Cir.Area为第i个视觉标志中圆环连通域的面积,VMarks[i].H.Perimeter为第i个视觉标志中H形连通域的周长,VMarks[i].Cir.Perimeter为第i个视觉标志中圆环连通域的周长,RatioH-CirArea为H形连通域和圆环连通域面积比的期望值,RatioH-CirPerimeter为H形连通域和圆环连通域周长比的期望值,εArea为面积比阈值,εPerimeter为周长比阈值。
4.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:C.角点检测阶段
角点检测的目标是找到“H”形标志的12个角点位置,目前存在许多角点检测算法,分为基于灰度图像的角点检测、基于二值图像的角点检测和基于轮廓曲线的角点检测;但都会出现错检或漏检情况,并且计算量很大,不能满足无人机姿态估计的实时性要求;提出一种基于距离三点法的几何方法来检测角点:
1)距离三点法进行角点检测:依据标志提取得到的H形连通域轮廓,对目标轮廓的每一个像素点进行检测;假设点S是一个待检测的像素种子点,根据一定的步长stepLength沿H形轮廓在种子点S的左右两侧分别取P1、P2两个相邻点,并得到通过P1、P2点的直线方程,从而计算种子点S到直线的距离Dis,一个理想的角点对应一个较大的距离值,而距离值越小表示种子点与相邻点越接近一条直线,当距离值为0时,三点共线;利用这一关系,通过判断种子点S对应的距离值Dis的大小,就检测到所有可能的候选角点,判断公式如下;
式中:f(s)表示种子点的检测结果,为1表示可能的候选角点,为0表示非角点,threshDis为根据步长得到的距离阈值;
在角点检测过程中,种子点S沿H形轮廓遍历每一个像素点,步长stepLength根据H形轮廓的边长值确定,边长越长,步长越大,边长越小,步长越小,相关关系如公式(9)所示;由无人机高度的不同而引起的H形轮廓边长的变化不会对角点检测的准确性产生影响,使得角点检测算法的鲁棒更好;
stepLength=α×l                    (9)
式中:α为小于1的步长因子,l为H形轮廓最短边的长度;
2)删除离群角点:为了排除得到的H形轮廓所有候选角点中的离群点,即假角点,利用H形标志的尺寸关系对所有候选角点进行筛选;具体步骤如下:
a)确定所采用的H形标志的尺寸关系;H形标志的12个角点到其质心OH的距离只有三种情况,分别为到最外侧4个角点的最大距离:Dismax=5l,到最内侧4个角点的最小距离:
以及到中间4个角点的中间距离: 并且H形标志轮廓的周长为:
PerimeterH=40l;由此可知,通过标志提取得到的H形标志轮廓的周长,就计算出H形轮廓的最短边长l,从而在H形轮廓大小不同的情况下,都能够得到12个角点到其质心的三个期望距离值Dismax、Dismin、Dismid;
b)计算所有候选角点到H形标志质心的欧氏距离,并与三个期望的距离值进行比较,如果与三个期望距离值的任意一个的差值小于阈值δCornerDet,则标记为候选角点,否则认为是离群点,从候选角点中删除,其中δCornerDet根据H形轮廓的最短边计算得到,计算方法如下式所示:
δcornerDet=β×l    (10)
式中:β为小于1的比例因子;接下来,具体的筛选判定条件如式(11)所示;
式中: 为H形轮廓角点到其质心的实际距离值;
2)计算角点群质心:经过角点检测,得到12个角点群;通过计算一个小邻域内角点群的质心,得到12个角点群的质心,将作为最终检测到的H形标志角点位置。
5.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:D.角点匹配阶段:
角点匹配是无人机姿态估计的另一个关键环节,只有将当前图像中的角点与参考图像中的角点正确匹配,才能准确的估计出无人机的姿态信息;角点匹配步骤如下:
1)根据上一步角点检测得到的H形标志12个角点,首先确定H形标志的主方向;由于H形标志的轮廓坐标按顺序排列进行存储,因此,由角点检测方法得到的12个角点同样沿H形轮廓顺序存储;通过顺序计算相邻两个角点的距离,可以得到角点间的12个距离值,即H形标志的12条边长;
2)比较得到的12个距离值,取最大的距离值所对应的两个角点所在的直线斜率作为H形标志的主方向,即H形标志的垂直方向;与主方向垂直的方向定义为H形标志的平方向;
这样,H形标志被划分为四个象限,分别为第Ⅰ、第Ⅱ、第Ⅲ和第Ⅳ象限;
3)根据角点到质心欧氏距离的三种情况,将每个象限中的三个角点分类并编号,分为外点、中点和内点;这样,就与参考图像中定义的角点进行角点匹配,从而得到12个匹配的角点对,作为无人机姿态估计的输入参数。
6.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:E.姿态估计阶段
根据得到的12个匹配的角点对,估计出无人机相对于视觉标志的三维姿态;为消除摄像头畸变对无人机姿态估计精度的影响,首先对摄像头进行标定,从而获得摄像头的内参矩阵;
二维像素坐标与三维世界坐标的对应关系如下式所示:
式中:s为尺度因子,(u,v,1)为像素坐标系中的齐次坐标,K为相机内参矩阵,[R|t]为相机外参矩阵,其中R表示相机旋转矩阵,t表示相机平移向量,(X,Y,Z,1)为世界坐标系中的齐次坐标;
其次,利用匹配的12个角点对,根据直接线性变换DLT计算出相应的单应矩阵,利用非奇异值分解SVD对单应矩阵进行分解,就得到旋转矩阵R和平移向量t,从而根据旋转矩阵解算出无人机的姿态角,如式(14)所示:
式中:θx为无人机绕x轴旋转角度,即横滚角,θy为无人机绕y轴旋转角度,即俯仰角,θz为无人机绕z轴旋转角度,即偏航角;
在位置估计中,由于单目相机在三维重建过程中存在尺度不确定的问题,提出利用相机成像原理,通过三角形相似关系对当前图像中H形标志质心的深度进行估计;相机成像原理描述如下:空间中任意一点在相机坐标系下的坐标
M(X,Y,Z)与成像后图像中对应坐标m(x,y)的关系根据三角形相似性得出,即:
式中:f为相机焦距;
按照上述相似三角形原理,分别通过面积和周长对图像深度进行了估计,取其平均值做为最终图像深度值,并由此计算出H形标志质心相对于相机光心的x坐标和y坐标,实验结果表明,该方法较精确的估计出图像质心深度;
式中:Spixel为H形标志的像素面积,d为相机的像元尺寸,Sactual为H形标志的真实面积,DArea为由面积相似求得的标志质心深度;
式中:Ppixel为H形标志的像素周长,Pactual为H形标志的真实周长,Dperimeter为由周长相似求得的标志质心深度;
最终得到H形标志质心相对于相机光心的姿态坐标为(xH,yH,zH):
式中:xerror、yerror分别为图像中H形标志质心与图像中心在x方向和y方向的像素偏差。
7.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
①连通域检测;对二值图像进行连通域检测,得到包含视觉标志的所有候选连通域;
②连通域剔除;根据视觉标志的面积大小,将候选连通域中的小面积区域删除,减少候选连通域数量,加快算法执行;
③连通域分类;根据“H”形标志和圆环的几何特征对更新后的候选连通域进行分类,分为H形连通域和圆环连通域;根据“H”形标志和圆环自身的面积-周长比的尺度不变性和旋转不变性,对候选连通域进行分类;
④连通域匹配;根据H形连通域与圆环连通域质心位置重合的关系,将质心靠近的H形连通域和圆环连通域匹配为候选视觉标志,将其余连通域直接删除;
⑤视觉标志判定;利用H形连通域与圆环连通域的面积比和周长比的不变性,对候选视觉标志判定,最终得到唯一的由圆环连通域和H形连通域组成的视觉标志。
8.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
①假设点S是H形轮廓上一个待检测的像素种子点,根据一定的步长stepLength沿H形轮廓在种子点S的左右两侧分别取P1、P2两个相邻点,并得到通过点P1、P2的直线方程,从而可以计算种子点S到直线的距离Dis;遍历H形轮廓的每一个像素点,得到每个像素点对应的距离值;一个理想的角点对应一个较大的距离值,而距离值越小表示种子点与相邻点越接近一条直线,当距离值为0时,三点共线;利用这一关系,通过判断种子点S对应的距离值Dis的大小,检测出所有可能的候选角点;
②根据H形标志12个角点到其质心距离的三种情况,将候选角点到质心的距离与三种期望距离相差较大的离群角点删除,得到正确的12个角点群;计算12个角点群的质心作为最终H形标志的12个角点位置,完成角点检测。
9.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
①确定主方向;通过顺序计算12个角点中相邻角点间的距离,得到12个距离值,取最大距离值对应的两个角点所在的直线斜率作为H形标志的主方向,称为垂直方向,主方向的垂直方向作为水平方向;
②划分象限;由通过H形标志质心的垂直方向和水平方向将H形标志分为四个象限,按平面坐标系顺序将其定义为第Ⅰ象限、第Ⅱ象限、第Ⅲ象限和第Ⅳ象限,每一个象限内包含3个角点;
③角点分类、编号;根据角点到质心欧氏距离的三种情况,将每个象限中的三个角点分类并进行编号,分为外点、中点和内点,与参考图像中定义的对应角点完成匹配,得到12个匹配的角点对,作为无人机姿态估计的输入参数。

说明书全文

一种基于单目视觉定位的旋翼无人机姿态估计方法

技术领域

[0001] 本发明是一种应用于电巡检、医疗救援、环境监控、灾情监测和农业感 知等领域,在这些应用中,关键的技术就是无人机的自主着陆,要实现无人机的 自主着陆,首要解决的就是无人机姿态的精确估计,而本发明正是基于此给出了 一种精确地无人机姿态估计方法;本发明属于机器学习图像处理技术领域。

背景技术

[0002] 随着智能技术、微电子技术、数字通信技术、传感技术和虚拟现实技术等 的蓬勃发展,四旋翼无人机在军事上和民用领域都得到大力发展。四旋翼无人机 涉及到导航、计算机视觉、控制理论、嵌入式电子等多方面的知识,具有体积小、 成本低、机动性灵活、可垂直起降等特点,不仅被应用于医疗救援、环境监控、 灾情监测、远程遥感等领域,而且也越来越多地应用于农业感知和电力检修等特 殊领域。而在无人机的应用中最具挑战的任务之一就是无人机的自主飞行,要实 现自主飞行就要实现无人机的精确自主着陆。传统的无人机自主着陆导航方法主 要有惯性导航、GPS导航和INS/GPS组合导航等方式。惯性导航由于要进行积 分运算,随着运行时间的增加,其累积误差越来越大,甚至发散,而民用领域的 GPS精度有限且高精度GPS成本较高,因此,传统的导航方法很难实现无人机 的精确降落。
[0003] 随着计算机视觉(CV)技术的大力发展,利用视觉获得的图像信息实现无人 机的姿态估计被广泛应用于无人机自主控制。
[0004] 无人机的视觉定位与导航技术是一种多学科交叉发展而兴起的前沿方式,通 过摄像机等成像装置获取图像,对得到的图像进行处理分析,从而获取运动目标 位置和姿态信息。视觉定位与导航方法无需依靠地面和空中导航设备,能够通过 摄像机实时获取的图像提取丰富的信息,使无人机具有较好的自主运动性能。视 觉定位与导航在无人机上的应用前景十分广阔,也是未来无人机自主控制领域研 究的重要方向,因此,开展对视觉定位的系统关键技术研究意义重大。
[0005] 1、视觉定位具有以下技术特点和优势:(1)自成体系,无需地面和空中导 航设备辅助;(2)成本低、功耗小、抗干扰能力强。主要依靠机载相机获取信息, 不受电磁等影响;(3)交互能力强,与周围环境信息相互补充、协调;(4)实现 自主定位与跟踪,通过计算相邻影像位置关系来得到载体的位姿、运动速度等 导航参数,实现载体的避障、路径规划与场景的实时三维重构等任务,进而实现 定位的自主性以及目标跟踪。
[0006] 2、目前无人机视觉定位主要存在问题:
[0007] (1)无人机视觉定位的实时性有待进一步提高
[0008] 无人机精确定位时对算法的实时性要求很高,视觉定位中主要涉及到图像的 获取、识别与处理,位姿的解算等内容,由于算法处理方面的不足以及硬件处理 设备的限制,导致图像处理时间损耗较大,对于无人机实现实时精确定位十分不 利。因此在算法优化等方面需要做大量的研究工作。
[0009] (2)基于视觉的无人机定位的位姿解算精度有待提高
[0010] 受限于像机设备的客观不足、图像特征提取精度的不高以及外部环境的复杂 性,在位姿解算中需要的图像特征信息不能够很好的被利用,造成位姿解算结果 有一定的局限性。另外在不同时刻、不同天气状况下飞机处于不同高度的状态时, 拍摄的图像质量都对位姿解算结果影响较大,因此还需要对此类问题进行深入的 分析研究。

发明内容

[0011] 本发明提出一种仅由单目视觉实现无人机姿态精确估计的方法,旨在保证准 确性的前提下满足嵌入式移植的快速性和实时性要求。
[0012] 本发明采用的技术方案为一种基于单目视觉定位的旋翼无人机姿态估计方 法,首先对由机载摄像头捕获到的包含视觉标志在内的图像进行预处理,消除图 像噪声并突出视觉标志;然后根据视觉标志的几何特征,通过五步法提取出“H” 形标志和圆环组成的视觉标志;之后,采用距离三点法检测“H”形标志的12个 点并与预设参考图像中的对应角点进行匹配;最后,根据匹配的角点对计算单应 矩阵,并采用直接线性变换DLT方法分解单应矩阵解算出无人机相对视觉标志 的姿态角,并依据相机成像的相似三角形原理计算出无人机相对视觉标志的位置 数据。该方法计算速度更快,有较好的实用价值。
[0013] 本方法共包括5个阶段,分别为A图像预处理;B标志提取;C角点检测; D角点匹配;E姿态估计。具体实现步骤如下:
[0014] A.图像预处理阶段
[0015] 图像预处理是提高图像质量的一个重要步骤,减少噪声的影响并突出图像细 节。
[0016] 1)图像灰度化:将机载摄像头采集到的彩色图像转换为灰度图像,以消除算 法对图像色彩的依赖,减少计算量并消除色调饱和度信息而只保留亮度信息, 提高标志提取的准确度,转换过程如式(1)所示:
[0017] Y=0.299×R+0.596×G+0.211×B   (1)
[0018] 式中:Y为转换后的灰度图像,R、G、B分别为彩色图像中的红色、绿色和蓝 色分量值;
[0019] 2)基于维纳滤波的图像模糊消除:考虑到无人机的振动或外界天气条件的影 响,由机载摄像头采集到的图像会变模糊,因此,采用维纳滤波器对灰度图进行 去模糊处理,消除图像模糊。维纳滤波器计算式如下所示:
[0020]
[0021] 式中:F(u,v)为去模糊后图像的傅里叶变换,H(u,v)为退化函数,H*(u,v)为退化 函数的复数共轭,且|H(u,v)|2=H*(u,v)H(u,v),Sη(u,v)为噪声功率谱,Sf(u,v)为信 号功率谱。
[0022] 3)自适应阈值化图像增强:由于视觉标志中背景和标志具有较大的亮度差, 为了明显区分高亮度的视觉标志和低亮度的背景,对维纳滤波后的图像需进行自 适应阈值化处理,得到黑色背景和白色标志,实现图像增强。
[0023] 4)极值中值滤波器EM消除噪声:在对图像进行阈值化处理的过程中,会 引入脉冲噪声和椒盐噪声。采用极值中值滤波器EM对阈值化结果做进一步处 理,由于EM滤波器只对噪声点进行中值处理而信号点保留原像素值,有效去除 图像脉冲噪声和椒盐噪声,同时保留图像的边缘信息,EM计算式如下所示。
[0024]
[0025] 式中:yij为输出图像,i,j表示各像素点的位置;med(W[xij])为对窗口W[xij]内 的所有点取中值,min(W[xij])为对窗口W[xij]内的所有点取最小值,max(W[xij])为 对窗口W[xij]内的所有点取最大值,xij为输入图像。
[0026] B.标志提取阶段
[0027] 标志提取分为连通域检测、连通域剔除、连通域分类、连通域匹配以及视觉 标志判定五个环节,称为五步法。
[0028] 1)连通域检测:对二值图像进行连通域检测,得到包含视觉标志的所有连 通域Blobs[i]及其几何特征,即质心坐标、面积以及周长等特征,i=1…n,n为 连通域数量。
[0029] 2)连通域剔除:连通域剔除主要删除连通域检测过程中得到的一些小面积 区域,这些小面积区域为干扰项,是由于环境的光照、阴影因素形成。具体方法: 如果第i个连通域的面积Blobs[i].Area小于阈值threshArea,那么从候选连通域 删除该连通域,更新候选连通域。
[0030] 3)连通域分类:连通域分类根据“H”形标志和圆环的几何特征对更新后的候 选连通域进行分类,分为H形连通域和圆环连通域。根据“H”形标志和圆环自身 面积-周长比的尺度不变性和旋转不变性,对候选连通域进行分类。具体方法:
[0031] 如果第i个连通域的面积-周长比与H形连通域的面积-周长比的期望值相差 很小,即满足下式:
[0032]
[0033] 则将该连通域标记为H形候选连通域BlobsH[j],j=1…m1,m1为H形候选连通 域的数量。式中:Blobs[i].Area为第i个连通域的面积,Blobs[i].Perimeter为第i 个连通域的周长,RatioHA-P为H形连通域面积-周长比的期望值,εA-P为连通域面 积-周长比阈值。
[0034] 如果第i个连通域的面积-周长比与圆环连通域的面积-周长比的期望值相差 很小,即满足下式:
[0035]
[0036] 则将该连通域标记为圆环候选连通域BlobsCir[k],k=1…m2,m2为圆环候选连通 域的数量;否则,直接从候选连通域中删除。式中:RatioCIR A-P为圆环连通域面积 -周长比的期望值。
[0037] 4)连通域匹配:连通域匹配根据H形连通域与圆环连通域质心位置重合的 关系,通过计算两类连通域的质心间欧氏距离,对H形候选连通域BlobsH[j]和 圆环候选连通域BlobsCir[k]进行匹配,进而得到候选视觉标志VMarks[i], i=1…N,N为候选视觉标志的数量,即H形标连通域与圆环连通域的对应表。
[0038] 如果第i个H形连通域与第j个圆环连通域的质心间欧氏距离小于设定阈值 εDis,则将对应H形和圆环连通域标记为视觉标志VMarks[i],即更新对应表,判 定条件如式(6)所示。
[0039] EuclideanDist(BlobsH[i].Centroid,BlobsCir[j].Centroid)≤εDis   (6)[0040] 式中:BlobsH[i].Centroid为第i个H形连通域的质心坐标,BlobsCir[j].Centroid 为第j个圆环连通域的质心坐标,εDis为质心欧氏距离阈值。
[0041] 5)视觉标志判定:
[0042] 视觉标志判定利用H形连通域和圆环连通域的面积比和周长比,对连通域 匹配得到的候选视觉标志做进一步的判定和确认。
[0043] 如果第i个视觉标志中对应的H形连通域与圆环连通域的面积比和周长比与 期望的面积比和周长比相差很小,则标记为最终的视觉标志;否则将该视觉标志 从候选视觉标志中删除,判定条件如式(7)所示。
[0044]
[0045] 式中:VMarks[i].H.Area为第i个视觉标志中H形连通域的面积, VMarks[i].Cir.Area为第i个视觉标志中圆环连通域的面积,VMarks[i].H.Perimeter 为第i个视觉标志中H形连通域的周长,VMarks[i].Cir.Perimeter为第i个视觉标 志中圆环连通域的周长,RatioH-Cir Area为H形连通域和圆环连通域面积比的期望值, RatioH-Cir Perimeter为H形连通域和圆环连通域周长比的期望值,εArea为面积比阈值, εPerimeter为周长比阈值。
[0046] C.角点检测阶段
[0047] 角点检测的目标是找到“H”形标志的12个角点位置,目前存在许多角点检测 算法,分为基于灰度图像的角点检测、基于二值图像的角点检测和基于轮廓曲线 的角点检测。但都会出现错检或漏检情况,并且计算量很大,不能满足无人机姿 态估计的实时性要求。因此,提出一种基于距离三点法的几何方法来检测角点, 有效提升运算速度。
[0048] 1)距离三点法进行角点检测:依据标志提取得到的H形连通域轮廓,对目标 轮廓的每一个像素点进行检测。假设点S是一个待检测的像素种子点,根据一定 的步长stepLength沿H形轮廓在种子点S的左右两侧分别取P1、P2两 个相邻点,并得到通过P1、P2点的直线方程,从而计算种子点S到直线 的距离Dis,如图1所示。从图1中可以看到,一个理想的角点对应一个较大的 距离值,而距离值越小表示种子点与相邻点越接近一条直线,当距离值为0时, 三点共线。利用这一关系,通过判断种子点S对应的距离值Dis的大小,就检测 到所有可能的候选角点,判断公式如下。
[0049]
[0050] 式中:f(s)表示种子点的检测结果,为1表示可能的候选角点,为0表示非角点, threshDis为根据步长得到的距离阈值。
[0051] 在角点检测过程中,种子点S沿H形轮廓遍历每一个像素点,步长stepLength 根据H形轮廓的边长值确定,边长越长,步长越大,边长越小,步长越小,相 关关系如公式(9)所示。这样,由无人机高度的不同而引起的H形轮廓边长的变 化不会对角点检测的准确性产生影响,使得角点检测算法的鲁棒更好。
[0052] stepLength=α×l   (9)
[0053] 式中:α为小于1的步长因子,l为H形轮廓最短边的长度。
[0054] 2)删除离群角点:为了排除得到的H形轮廓所有候选角点中的离群点,即 假角点,利用H形标志的尺寸关系对所有候选角点进行筛选。具体步骤如下:
[0055] a)确定所采用的H形标志的尺寸关系。从图2中可以看到,H形标志的12 个角点到其质心OH的距离只有三种情况,分别为到最外侧4个角点的最大距离: Dismax=5l,到最内侧4个角点的最小距离: 以及到中间4个角点 的中间距离: 并且H形标志轮廓的周长为:PerimeterH=40l。由 此可知,通过标志提取得到的H形标志轮廓的周长,就计算出H形轮廓的最短 边长l,从而在H形轮廓大小不同的情况下,都能够得到12个角点到其质心的 三个期望距离值Dismax、Dismin、Dismid。
[0056] b)计算所有候选角点到H形标志质心的欧氏距离,并与三个期望的距离值 进行比较,如果与三个期望距离值的任意一个的差值小于阈值δCornerDet,则标记 为候选角点,否则认为是离群点,从候选角点中删除,其中δCornerDet根据H形轮 廓的最短边计算得到,计算方法如下式所示:
[0057] δcornerDet=β×l   (10)
[0058] 式中:β为小于1的比例因子。接下来,具体的筛选判定条件如式(11)所示。
[0059]
[0060] 式中: 为H形轮廓角点到其质心的实际距离值。
[0061] 2)计算角点群质心:经过角点检测,得到12个角点群。通过计算一个小邻 域内角点群的质心,可以得到12个角点群的质心,将作为最终检测到的H形标 志角点位置。
[0062] D.角点匹配阶段:
[0063] 角点匹配是无人机姿态估计的另一个关键环节,只有将当前图像中的角点与 参考图像中的角点正确匹配,才能准确的估计出无人机的姿态信息。角点匹配步 骤如下:
[0064] 1)根据上一步角点检测得到的H形标志12个角点,首先确定H形标志的 主方向。由于H形标志的轮廓坐标按顺序排列进行存储,因此,由角点检测方 法得到的12个角点同样沿H形轮廓顺序存储。通过顺序计算相邻两个角点的距 离,可以得到角点间的12个距离值,即H形标志的12条边长。
[0065] 2)比较得到的12个距离值,取最大的距离值所对应的两个角点所在的直线 斜率作为H形标志的主方向,即H形标志的垂直方向。与主方向垂直的方向定 义为H形标志的平方向。这样,H形标志被划分为四个象限,分别为第Ⅰ、 第Ⅱ、第Ⅲ和第Ⅳ象限。
[0066] 3)根据角点到质心欧氏距离的三种情况,将每个象限中的三个角点分类并 编号,分为外点、中点和内点。这样,就与参考图像中定义的角点进行角点匹配, 从而得到12个匹配的角点对,作为无人机姿态估计的输入参数。
[0067] E.姿态估计阶段
[0068] 根据得到的12个匹配的角点对,估计出无人机相对于视觉标志的三维姿态。 为消除摄像头畸变对无人机姿态估计精度的影响,首先对摄像头进行标定,从而 获得摄像头的内参矩阵。
[0069] 二维像素坐标与三维世界坐标的对应关系如下式所示:
[0070]
[0071] 式中:s为尺度因子,(u,v,1)为像素坐标系中的齐次坐标,K为相机内参矩阵,[R|t] 为相机外参矩阵,其中R表示相机旋转矩阵,t表示相机平移向量,(X,Y,Z,1)为 世界坐标系中的齐次坐标。
[0072] 其次,利用匹配的12个角点对,根据直接线性变换DLT计算出相应的单应 矩阵,利用非奇异值分解SVD对单应矩阵进行分解,就得到旋转矩阵R和平移 向量t,从而根据旋转矩阵解算出无人机的姿态角,如式(14)所示:
[0073]
[0074] 式中:θx为无人机绕x轴旋转角度,即横滚角,θy为无人机绕y轴旋转角度,即 俯仰角,θz为无人机绕z轴旋转角度,即偏航角。
[0075] 在位置估计中,由于单目相机在三维重建过程中存在尺度不确定的问题,提 出利用相机成像原理,通过三角形相似关系对当前图像中H形标志质心的深度 进行估计。相机成像原理描述如下:空间中任意一点在相机坐标系下的坐标 M(X,Y,Z)与成像后图像中对应坐标m(x,y)的关系根据三角形相似性得 出,即:
[0076]
[0077] 式中:f为相机焦距。
[0078] 按照上述相似三角形原理,分别通过面积和周长对图像深度进行了估计,取 其平均值做为最终图像深度值,并由此计算出H形标志质心相对于相机光心的x 坐标和y坐标,实验结果表明,该方法较精确的估计出图像质心深度。
[0079]
[0080] 式中:Spixel为H形标志的像素面积,d为相机的像元尺寸,Sactual为H形标志的 真实面积,DArea为由面积相似求得的标志质心深度。
[0081]
[0082] 式中:Ppixel为H形标志的像素周长,Pactual为H形标志的真实周长,Dperimeter为 由周长相似求得的标志质心深度。
[0083] 最终得到H形标志质心相对于相机光心的姿态坐标为(xH,yH,zH):
[0084]
[0085] 式中:xerror、yerror分别为图像中H形标志质心与图像中心在x方向和y方向的像 素偏差。
[0086] 一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
[0087] ①连通域检测。对二值图像进行连通域检测,得到包含视觉标志的所有候选 连通域。
[0088] ②连通域剔除。根据视觉标志的面积大小,将候选连通域中的小面积区域删 除,减少候选连通域数量,加快算法执行。
[0089] ③连通域分类。根据“H”形标志和圆环的几何特征对更新后的候选连通域进 行分类,分为H形连通域和圆环连通域。根据“H”形标志和圆环自身的面积-周 长比的尺度不变性和旋转不变性,对候选连通域进行分类。
[0090] ④连通域匹配。根据H形连通域与圆环连通域质心位置重合的关系,将质 心靠近的H形连通域和圆环连通域匹配为候选视觉标志,将其余连通域直接删 除。
[0091] ⑤视觉标志判定。利用H形连通域与圆环连通域的面积比和周长比的不变 性,对候选视觉标志判定,最终得到唯一的由圆环连通域和H形连通域组成的 视觉标志。
[0092] 一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
[0093] ①假设点S是H形轮廓上一个待检测的像素种子点,根据一定的步长 stepLength沿H形轮廓在种子点S的左右两侧分别取P1、P2两个相邻点,并得 到通过点P1、P2的直线方程,从而可以计算种子点S到直线的距离Dis。遍历 H形轮廓的每一个像素点,得到每个像素点对应的距离值。一个理想的角点对应 一个较大的距离值,而距离值越小表示种子点与相邻点越接近一条直线,当距离 值为0时,三点共线。利用这一关系,通过判断种子点S对应的距离值Dis的大 小,检测出所有可能的候选角点。
[0094] ②根据H形标志12个角点到其质心距离的三种情况,将候选角点到质心的 距离与三种期望距离相差较大的离群角点删除,得到正确的12个角点群。计算 12个角点群的质心作为最终H形标志的12个角点位置,完成角点检测。
[0095] 一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
[0096] ①确定主方向。通过顺序计算12个角点中相邻角点间的距离,得到12个距 离值,取最大距离值对应的两个角点所在的直线斜率作为H形标志的主方向, 称为垂直方向,主方向的垂直方向作为水平方向。
[0097] ②划分象限。由通过H形标志质心的垂直方向和水平方向将H形标志分为 四个象限,按平面坐标系顺序将其定义为第Ⅰ象限、第Ⅱ象限、第Ⅲ象限和第Ⅳ 象限,每一个象限内包含3个角点。
[0098] ③角点分类、编号。根据角点到质心欧氏距离的三种情况,将每个象限中的 三个角点分类并进行编号,分为外点、中点和内点,与参考图像中定义的对应角 点完成匹配,得到12个匹配的角点对,作为无人机姿态估计的输入参数。
[0099] 与现有技术相比,本发明提出一种基于单目视觉定位的旋翼无人机姿态估计 方法,该方法充分利用图像几何特征易于快速提取的优势进行姿态估计,寻找估 计的准确性和算法的快速性之间的折衷方案,以克服传统技术不能同时满足准确 性和快速性的问题。最终,通过实验验证表明了算法在精确性和快速性上均能满 足无人机自主着陆的要求。
附图说明
[0100] 图1为点到距离三点法原理示意图;
[0101] 图2为H形标志的尺寸关系示意图;
[0102] 图3(a)为视觉实验平台及其平移运动单元;
[0103] 图3(b)为视觉实验平台的旋转运动单元;
[0104] 图4(a)为模糊图像灰度化处理后图像;
[0105] 图4(b)为维纳滤波器处理后图像;
[0106] 图4(c)为自适应阈值化后的二值图像;
[0107] 图4(d)为EM滤波器处理后的图像;
[0108] 图5(a)为标志图像连通域检测后结果图像;
[0109] 图5(b)为标志图像连通域剔除后结果图像;
[0110] 图5(c)为标志图像连通域分类后结果图像;
[0111] 图5(d)为标志图像连通域匹配结果图像;
[0112] 图5(e)为标志图像视觉标志判定后结果图像;
[0113] 图5(f)为最后获得的H形连通域轮廓图像;
[0114] 图6为干扰情况下的连通域分类结果;
[0115] 图7为干扰情况下的连通域匹配与视觉标志判定结果;
[0116] 图8(a)为角点检测后的角点群图像;
[0117] 图8(b)为角点检测后获得的12个角点质心图像;
[0118] 图9为H形标志象限划分及角点编号;
[0119] 图10为当前帧与参考图像角点匹配结果(左为参考图像,右为当前帧图像);
[0120] 图11(a)为平移运动条件下的角点匹配;
[0121] 图11(b)为旋转运动条件下的角点匹配;
[0122] 图11(c)为极端情况下的角点匹配;
[0123] 图12(a)为室外环境距离高度为7米条件下,标志提取与角点检测结果图(无 人机拍摄);
[0124] 图12(b)为室外环境距离高度为5米条件下,标志提取与角点检测结果图(无 人机拍摄);
[0125] 图12(c)为室外环境距离高度为3米条件下,标志提取与角点检测结果图(无 人机拍摄);
[0126] 图12(d)为室外环境距离高度为1.8米条件下,标志提取与角点检测结果图 (无人机拍摄);图13为本发明实施的流程图

具体实施方式

[0127] 为了实现旋翼无人机快速、精确的自主降落到地面着陆平台,本发明公开了 一种基于单目视觉定位的旋翼无人机姿态估计新方法。本发明充分利用图像几何 特征易于快速提取的优势进行姿态估计,旨在保证估计准确性的前提下满足无人 机控制系统的快速性和计算量的要求,克服传统姿态估计方法不能同时满足既要 准确性高,又要计算量小的问题。为了更好的证明本发明的有效性和准确性,并 考虑到直接通过无人机采集图像难以准确获得图像对应的无人机姿态信息,不利 于算法的验证。因此,采用实验室的无人机视觉平台来模拟无人机的运动并获取 图像数据,本将本发明的方法嵌入到平台的实时处理器中,通过比较输出的估计 值和测量真实值之间的误差对算法有效性进行验证,并测算本发明算法的时间性 能和准确性。以下无人机视觉实验平台进行介绍:
[0128] 1、视觉平台测试
[0129] 视觉实验平台如图3所示,分别由沿x、y、z三个方向的平移运动单元和绕 x、y、z轴旋转的旋转单元组成,以模拟无人机飞行过程中的6个自由度
[0130] 通过3组电动丝杠模拟无人机沿x、y、z三个方向的平移运动,其中y方向 移动单元安装在x方向移动单元上,如图3(a)所示;3个旋转台用于模拟无人机 绕x、y、z轴的旋转运动,如图3(b)所示,其中横滚和俯仰旋转台安装在y方向 移动单元上,并且在俯仰旋转台上方固定有视觉标志,偏航旋转台通过一个连杆 安装在z方向移动单元上,偏航旋转台下方安装有一个垂直向下的摄像头,用于 获取包含视觉标志的图像。通过调节平移运动单元和旋转运动单元,就可以模拟 无人机相对于视觉标志的位置和姿态角。
[0131] 视觉实验平台使用的摄像头是一台分辨率为640*480的单目摄像头,视觉标 志检测及姿态估计算法运行在嵌入式系统(树莓派)中,硬件配置为64位四核处 理器BCM2837@1.4GHz,1.0GB RAM,安装Ubuntu操作系统
[0132] 实验验证中,本发明方法涉及的具体参数选择如表1所示。
[0133] 表1本发明验证中所涉及的具体参数
[0134]
[0135] A.图像预处理阶段
[0136] 首先,将机载摄像头采集到的彩色图像转换为灰度图像,以消除算法对图像 色彩的依赖,提高标志提取的准确度,按照公式(1)进行灰度化,灰度转换结果 如图4(a)所示。接下来,考虑到无人机的振动或外界天气条件的影响,由机载摄 像头采集到的图像会变模糊,因此采用维纳滤波器,按照公式(2)对灰度图进行 去模糊处理,消除图像模糊的对比结果如图4(b)所示。之后,由于视觉标志中背 景和标志具有较大的亮度差,为了明显区分高亮度的视觉标志和低亮度的背景, 对维纳滤波后的图像进行自适应阈值化处理,得到黑色背景和白色标志,如图 4(c)所示。最后,由于阈值化处理的过程中,会引入脉冲噪声和椒盐噪声,因此 用极值中值滤波器(EM),即按照公式(3)对阈值化结果做进一步的滤波,滤波结 果如图4(d)所示。
[0137] B.标志提取阶段
[0138] (1)连通域检测:对上一步中获得的图像进行连通域检测,得到包含视觉标 志的所有连通域Blobs[i](i=1…9,9为连通域数量)及其几何特征,如图5(a)所示, 共获得9个连通域。可以看出,其中包含一些面积很小的区域,即像素很少的连 通域。
[0139] (2)连通域剔除:判断第i个连通域的面积Blobs[i].Area小于阈值 threshArea=300,如果小于,那么从候选连通域删除该连通域,更新候选连通域, 如图5(b)所示。可以看到,经连通域剔除后,面积较小的连通域5、6、8被删除, 减少了候选连通域的数量。
[0140] (3)连通域分类:按照公式(4)和(5)进行连通域的分类计算,连通域分类结果 如图5(c)所示,可以看出,H形候选连通域有2个,对应连通域3、9,圆环候选 连通域有1个,对应连通域2。
[0141] (4)连通域匹配:根据H形连通域与圆环连通域质心位置重合的关系,通过 计算两类连通域的质心间欧氏距离,对上一步获得的H形候选连通域和圆环候 选连通域进行匹配,按照公式(6)进行判别,得到连通域匹配结果如图5(d)所示, 可以看出,实验图像中只得到一个匹配的视觉标志,即期望的H形标志和圆环。
[0142] (5)视觉标志判定:视觉标志判定利用H形连通域和圆环连通域的面积比 和周长比,对连通域匹配得到的候选视觉标志做进一步的确认。这是因为上一步 连通域匹配中可能会发生匹配到不止一个视觉标志,因此必须要进行最终判定和 确认。按照公式(7)进行标志判定,最终得到唯一视觉标志的边缘轮廓,如图5(e) 所示。接下来在角点检测、角点匹配及无人机姿态估计过程中,只需要“H”形标 志的12个角点信息,而不需要圆环的相关信息。因此,我们将主要提取H形连 通域的轮廓,如图5(f)所示。
[0143] 此外,图6和图7中给出了标志提取过程可能存在的两种干扰情况。图6 给出由于标志表面杂质或光线反射的影响,在H形和圆环连通域之间出现面积 较大的白色斑点,本发明提出方法仍可准确的完成两类标志的分类;图7给出在 连通域匹配过程中得到两个候选视觉标志,通过视觉标志判定最终得到了期望的 视觉标志。可见本发明方法具有一定的鲁棒性。
[0144] C.角点检测阶段
[0145] 采用本发明提出的距离三点法的角点检测方法,并通过假角点筛选,最终 获得12个角点群,如图8(a)所示。通过计算一个小邻域内角点群的质心,可以 得到12个角点群的质心,将其作为最终检测到的H形标志角点位置,如图8(b) 所示。
[0146] D.角点匹配阶段
[0147] 根据上一步节角点检测得到的H形标志12个角点,通过顺序计算相邻两 个角点的距离,可以得到角点间的12个距离值,即H形标志的12条边长。比 较得到的12个距离值,取最大的距离值所对应的两个角点所在的直线斜率作为H形标志的主方向,即H形标志的垂直方向。与主方向垂直的方向定义为H形 标志的水平方向。这样,H形标志被划分为四个象限,分别为第Ⅰ象限、第Ⅱ象 限、第Ⅲ象限和第Ⅳ象限,如图9中所示。根据角点到质心欧氏距离的三种情况, 将每个象限中的三个角点分类并进行编号,分为外点、中点和内点,如图9所示。 这样,就可以与参考图像中定义的角点完成匹配,如图10所示,从而得到12 个匹配的角点对,将其作为无人机姿态估计的输入参数。
[0148] 根据上述角点匹配算法,分别对不同位移和旋转情况下所得到的图像与参 考图像进行角点匹配测试,测试结果如图11所示。从图中可以看出,该算法对 无人机的位移(图11(a)所示)、旋转(图11(b)所示)甚至无人机产生剧烈倾斜的极端 情况(图11(c)所示)都能精确的实现匹配。
[0149] E.姿态估计阶段
[0150] 首先,对每一个旋转单元以4°的步长进行旋转,定其他平移运动单元和旋 转单元以获得不同姿态角下的图像数据,采用本发明算法,分别对视觉标志的横 滚角、俯仰角和偏航角进行估计,并计算了估计值与真实值之间的绝对误差和相 对误差,实验结果如表2所示。
[0151] 表2姿态角估计
[0152]
[0153]
[0154]
[0155] 从表2中可以看到,横滚角和俯仰角的最大绝对误差在0.5°左右,分别为 0.5047°和0.5885°,最大相对误差为2.76%和2.50%,而偏航角的最大绝对误差为 0.2077°,最大相对误差为1.44%,要小于横滚角和俯仰角的误差。实验中得到较 小的均方根误差可以表明本发明对姿态角估计的准确性和有效性。从表2中可以 得出,本发明对姿态角估计的平均均方根误差为0.223°。可见,本发明具有更精 确的姿态角估计。
[0156] 其次,用相同的实验方法对算法的位置估计进行验证。分别将x、y、z三个 平移单元以0.05m的步长移动,对视觉标志与摄像头的相对位置进行估计,实验 结果如表3所示。
[0157] 表3位置估计
[0158]
[0159]
[0160]
[0161] 从表3可以看出,在视觉标志与摄像头成像平面平行的情况下,位置估计的 精度较高,x、y、z三个方向的最大绝对误差分别为0.0033m、0.0037m和0.0159m, 最大相对误差分别为1.40%、1.40%和1.06%。可以看到,x、y方向的最大相对 误差和均方根误差基本相同,因为z方向(即视觉标志与摄像头之间的距离)估计 的误差会由位置估计算法等量的引入x方向和y方向。可见,本发明具有更精确 的位置估计。
[0162] F.运算时间性能和实时性验证
[0163] 对本算法的时间性能进行测试。为了充分说明本发明算法的时间性能,分别 在2种不同测试平台上运行算法,测试平台一是嵌入式系统(树莓派)中,硬件配 置为64位四核处理器BCM2837@1.4GHz,1.0GB RAM;测试平台二是专用的 板载处理器,硬件配置为Intel Core i5处理器,主频2.40GHz,4.0GB内存,安 装64位Ubuntu 16.04 LTS操作系统。时间性能测试结果如表4所示。
[0164] 表4算法时间性能
[0165]
[0166] 从表4中可以看出,本文算法在测试平台2上的时间性更好,平均标志检测 时间为89.7ms,平均姿态估计时间为217.5ms,整个基于视觉的无人机姿态估计 算法运行时间为
307.2ms,要优于平台1上的性能。这是由于平台2拥有更好的 配置,因此,算法在平台1上的时间性能要低于平台2。但不论是平台1还是平 台2均能满足无人机自主降落到地面平台的实时计算要求,且硬件系统符合无人 机控制系统的配置。本发明具有较小的计算量,满足实时性要求。
[0167] 2、无人机平台测试
[0168] 进一步采用四旋翼无人机室外拍摄测试图像进行标志提取和角点检测算法 测试,测试结果如图12所示。从图12中可以看出,当无人机高度小于5.0m时, 可以准确提取出视觉标志并完成角点检测,但随着无人机飞行高度的继续上升, 图像中的视觉标志变小,标志提取和角点检测会出现错误。当高度大于5.0m时, 角点检测出现漏检现象,如图12(a)所示,当高度等于7.0m时,已经开始出现偏 差。但是,无人机飞行高度在0~5.0m,本发明算法可以精确地提取出视觉标志 并得到12个角点位置,可以满足无人机自主降落的要求。
[0169] 此外,由于天气情况的影响,无人机会发生小幅度的抖动,所拍摄的图像中 存在一定的模糊,如图12(d)所示。如果不采用维纳滤波器,会出现标志提取错 误的情况,实际上,丢失了重要标志H形字符,如图12(d)第三个图像中左下角 红色方框内的图像;而经过维纳滤波、极值中值滤波等图像预处理后,可以得到 较好的二值图像,并可以提取出正确的视觉标志,完成角点检测,如图12(b)、 12(c)、12(d)所示。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈