专利汇可以提供一种基于单目视觉定位的旋翼无人机姿态估计方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于单目视觉 定位 的旋翼无人机 姿态 估计方法,首先对由机载摄像头捕获到的包含视觉标志在内的图像进行预处理,消除图像噪声并突出视觉标志;然后根据视觉标志的几何特征,通过五步法提取出“H”形标志和圆环组成的视觉标志;之后,采用距离三点法检测“H”形标志的12个 角 点并与预设参考图像中的对应角点进行匹配;最后,根据匹配的角点对计算单应矩阵,并采用直接线性变换DLT方法分解单应矩阵解算出无人机相对视觉标志的姿态角,并依据相机成像的相似三角形原理计算出无人机相对视觉标志的 位置 数据。该方法计算速度更快,有较好的实用价值。,下面是一种基于单目视觉定位的旋翼无人机姿态估计方法专利的具体信息内容。
1.一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:首先对由机载摄像头捕获到的包含视觉标志在内的图像进行预处理,消除图像噪声并突出视觉标志;然后根据视觉标志的几何特征,通过五步法提取出“H”形标志和圆环组成的视觉标志;之后,采用距离三点法检测“H”形标志的12个角点并与预设参考图像中的对应角点进行匹配;最后,根据匹配的角点对计算单应矩阵,并采用直接线性变换DLT方法分解单应矩阵解算出无人机相对视觉标志的姿态角,并依据相机成像的相似三角形原理计算出无人机相对视觉标志的位置数据;
本方法共包括5个阶段,分别为A图像预处理;B标志提取;C角点检测;D角点匹配;E姿态估计。
2.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
A.图像预处理阶段
图像预处理是提高图像质量的一个重要步骤,减少噪声的影响并突出图像细节;
1)图像灰度化:将机载摄像头采集到的彩色图像转换为灰度图像,以消除算法对图像色彩的依赖,减少计算量并消除色调和饱和度信息而只保留亮度信息,提高标志提取的准确度,转换过程如式(1)所示:
Y=0.299×R+0.596×G+0.211×B (1)
式中:Y为转换后的灰度图像,R、G、B分别为彩色图像中的红色、绿色和蓝色分量值;
2)基于维纳滤波的图像模糊消除:考虑到无人机的振动或外界天气条件的影响,由机载摄像头采集到的图像会变模糊,因此,采用维纳滤波器对灰度图进行去模糊处理,消除图像模糊;维纳滤波器计算式如下所示:
式中:F(u,v)为去模糊后图像的傅里叶变换,H(u,v)为退化函数,H*(u,v)为退化函数的复数共轭,且|H(u,v)|2=H*(u,v)H(u,v),Sη(u,v)为噪声功率谱,Sf(u,v)为信号功率谱;
3)自适应阈值化图像增强:由于视觉标志中背景和标志具有较大的亮度差,为了明显区分高亮度的视觉标志和低亮度的背景,对维纳滤波后的图像需进行自适应阈值化处理,得到黑色背景和白色标志,实现图像增强;
4)极值中值滤波器EM消除噪声:在对图像进行阈值化处理的过程中,会引入脉冲噪声和椒盐噪声;采用极值中值滤波器EM对阈值化结果做进一步处理,由于EM滤波器只对噪声点进行中值处理而信号点保留原像素值,有效去除图像脉冲噪声和椒盐噪声,同时保留图像的边缘信息,EM计算式如下所示;
式中:yij为输出图像,i,j表示各像素点的位置;med(W[xij])为对窗口W[xij]内的所有点取中值,min(W[xij])为对窗口W[xij]内的所有点取最小值,max(W[xij])为对窗口W[xij]内的所有点取最大值,xij为输入图像。
3.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:B.标志提取阶段
标志提取分为连通域检测、连通域剔除、连通域分类、连通域匹配以及视觉标志判定五个环节,称为五步法;
1)连通域检测:对二值图像进行连通域检测,得到包含视觉标志的所有连通域Blobs[i]及其几何特征,即质心坐标、面积以及周长特征,i=1…n,n为连通域数量;
2)连通域剔除:连通域剔除主要删除连通域检测过程中得到的一些小面积区域,这些小面积区域为干扰项,是由于环境的光照、阴影因素形成;具体方法:如果第i个连通域的面积Blobs[i].Area小于阈值threshArea,那么从候选连通域删除该连通域,更新候选连通域;
3)连通域分类:连通域分类根据“H”形标志和圆环的几何特征对更新后的候选连通域进行分类,分为H形连通域和圆环连通域;根据“H”形标志和圆环自身面积-周长比的尺度不变性和旋转不变性,对候选连通域进行分类;
如果第i个连通域的面积-周长比与H形连通域的面积-周长比的期望值相差很小,即满足下式:
则将该连通域标记为H形候选连通域BlobsH[j],j=1…m1,m1为H形候选连通域的数量;
式中:Blobs[i].Area为第i个连通域的面积,Blobs[i].Perimeter为第i个连通域的周长,RatioHA-P为H形连通域面积-周长比的期望值,εA-P为连通域面积-周长比阈值;
如果第i个连通域的面积-周长比与圆环连通域的面积-周长比的期望值相差很小,即满足下式:
则将该连通域标记为圆环候选连通域BlobsCir[k],k=1…m2,m2为圆环候选连通域的数量;否则,直接从候选连通域中删除;式中:RatioCIRA-P为圆环连通域面积-周长比的期望值;
4)连通域匹配:连通域匹配根据H形连通域与圆环连通域质心位置重合的关系,通过计算两类连通域的质心间欧氏距离,对H形候选连通域BlobsH[j]和圆环候选连通域BlobsCir[k]进行匹配,进而得到候选视觉标志VMarks[i],i=1…N,N为候选视觉标志的数量,即H形标连通域与圆环连通域的对应表;
如果第i个H形连通域与第j个圆环连通域的质心间欧氏距离小于设定阈值εDis,则将对应H形和圆环连通域标记为视觉标志VMarks[i],即更新对应表,判定条件如式(6)所示;
EuclideanDist(BlobsH[i].Centroid,BlobsCir[j].Centroid)≤εDis (6)式中:BlobsH[i].Centroid为第i个H形连通域的质心坐标,BlobsCir[j].Centroid为第j个圆环连通域的质心坐标,εDis为质心欧氏距离阈值;
5)视觉标志判定:
视觉标志判定利用H形连通域和圆环连通域的面积比和周长比,对连通域匹配得到的候选视觉标志做进一步的判定和确认;
如果第i个视觉标志中对应的H形连通域与圆环连通域的面积比和周长比与期望的面积比和周长比相差很小,则标记为最终的视觉标志;否则将该视觉标志从候选视觉标志中删除,判定条件如式(7)所示;
式中:VMarks[i].H.Area为第i个视觉标志中H形连通域的面积,VMarks[i].Cir.Area为第i个视觉标志中圆环连通域的面积,VMarks[i].H.Perimeter为第i个视觉标志中H形连通域的周长,VMarks[i].Cir.Perimeter为第i个视觉标志中圆环连通域的周长,RatioH-CirArea为H形连通域和圆环连通域面积比的期望值,RatioH-CirPerimeter为H形连通域和圆环连通域周长比的期望值,εArea为面积比阈值,εPerimeter为周长比阈值。
4.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:C.角点检测阶段
角点检测的目标是找到“H”形标志的12个角点位置,目前存在许多角点检测算法,分为基于灰度图像的角点检测、基于二值图像的角点检测和基于轮廓曲线的角点检测;但都会出现错检或漏检情况,并且计算量很大,不能满足无人机姿态估计的实时性要求;提出一种基于距离三点法的几何方法来检测角点:
1)距离三点法进行角点检测:依据标志提取得到的H形连通域轮廓,对目标轮廓的每一个像素点进行检测;假设点S是一个待检测的像素种子点,根据一定的步长stepLength沿H形轮廓在种子点S的左右两侧分别取P1、P2两个相邻点,并得到通过P1、P2点的直线方程,从而计算种子点S到直线的距离Dis,一个理想的角点对应一个较大的距离值,而距离值越小表示种子点与相邻点越接近一条直线,当距离值为0时,三点共线;利用这一关系,通过判断种子点S对应的距离值Dis的大小,就检测到所有可能的候选角点,判断公式如下;
式中:f(s)表示种子点的检测结果,为1表示可能的候选角点,为0表示非角点,threshDis为根据步长得到的距离阈值;
在角点检测过程中,种子点S沿H形轮廓遍历每一个像素点,步长stepLength根据H形轮廓的边长值确定,边长越长,步长越大,边长越小,步长越小,相关关系如公式(9)所示;由无人机高度的不同而引起的H形轮廓边长的变化不会对角点检测的准确性产生影响,使得角点检测算法的鲁棒更好;
stepLength=α×l (9)
式中:α为小于1的步长因子,l为H形轮廓最短边的长度;
2)删除离群角点:为了排除得到的H形轮廓所有候选角点中的离群点,即假角点,利用H形标志的尺寸关系对所有候选角点进行筛选;具体步骤如下:
a)确定所采用的H形标志的尺寸关系;H形标志的12个角点到其质心OH的距离只有三种情况,分别为到最外侧4个角点的最大距离:Dismax=5l,到最内侧4个角点的最小距离:
以及到中间4个角点的中间距离: 并且H形标志轮廓的周长为:
PerimeterH=40l;由此可知,通过标志提取得到的H形标志轮廓的周长,就计算出H形轮廓的最短边长l,从而在H形轮廓大小不同的情况下,都能够得到12个角点到其质心的三个期望距离值Dismax、Dismin、Dismid;
b)计算所有候选角点到H形标志质心的欧氏距离,并与三个期望的距离值进行比较,如果与三个期望距离值的任意一个的差值小于阈值δCornerDet,则标记为候选角点,否则认为是离群点,从候选角点中删除,其中δCornerDet根据H形轮廓的最短边计算得到,计算方法如下式所示:
δcornerDet=β×l (10)
式中:β为小于1的比例因子;接下来,具体的筛选判定条件如式(11)所示;
式中: 为H形轮廓角点到其质心的实际距离值;
2)计算角点群质心:经过角点检测,得到12个角点群;通过计算一个小邻域内角点群的质心,得到12个角点群的质心,将作为最终检测到的H形标志角点位置。
5.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:D.角点匹配阶段:
角点匹配是无人机姿态估计的另一个关键环节,只有将当前图像中的角点与参考图像中的角点正确匹配,才能准确的估计出无人机的姿态信息;角点匹配步骤如下:
1)根据上一步角点检测得到的H形标志12个角点,首先确定H形标志的主方向;由于H形标志的轮廓坐标按顺序排列进行存储,因此,由角点检测方法得到的12个角点同样沿H形轮廓顺序存储;通过顺序计算相邻两个角点的距离,可以得到角点间的12个距离值,即H形标志的12条边长;
2)比较得到的12个距离值,取最大的距离值所对应的两个角点所在的直线斜率作为H形标志的主方向,即H形标志的垂直方向;与主方向垂直的方向定义为H形标志的水平方向;
这样,H形标志被划分为四个象限,分别为第Ⅰ、第Ⅱ、第Ⅲ和第Ⅳ象限;
3)根据角点到质心欧氏距离的三种情况,将每个象限中的三个角点分类并编号,分为外点、中点和内点;这样,就与参考图像中定义的角点进行角点匹配,从而得到12个匹配的角点对,作为无人机姿态估计的输入参数。
6.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:E.姿态估计阶段
根据得到的12个匹配的角点对,估计出无人机相对于视觉标志的三维姿态;为消除摄像头畸变对无人机姿态估计精度的影响,首先对摄像头进行标定,从而获得摄像头的内参矩阵;
二维像素坐标与三维世界坐标的对应关系如下式所示:
式中:s为尺度因子,(u,v,1)为像素坐标系中的齐次坐标,K为相机内参矩阵,[R|t]为相机外参矩阵,其中R表示相机旋转矩阵,t表示相机平移向量,(X,Y,Z,1)为世界坐标系中的齐次坐标;
其次,利用匹配的12个角点对,根据直接线性变换DLT计算出相应的单应矩阵,利用非奇异值分解SVD对单应矩阵进行分解,就得到旋转矩阵R和平移向量t,从而根据旋转矩阵解算出无人机的姿态角,如式(14)所示:
式中:θx为无人机绕x轴旋转角度,即横滚角,θy为无人机绕y轴旋转角度,即俯仰角,θz为无人机绕z轴旋转角度,即偏航角;
在位置估计中,由于单目相机在三维重建过程中存在尺度不确定的问题,提出利用相机成像原理,通过三角形相似关系对当前图像中H形标志质心的深度进行估计;相机成像原理描述如下:空间中任意一点在相机坐标系下的坐标
M(X,Y,Z)与成像后图像中对应坐标m(x,y)的关系根据三角形相似性得出,即:
式中:f为相机焦距;
按照上述相似三角形原理,分别通过面积和周长对图像深度进行了估计,取其平均值做为最终图像深度值,并由此计算出H形标志质心相对于相机光心的x坐标和y坐标,实验结果表明,该方法较精确的估计出图像质心深度;
式中:Spixel为H形标志的像素面积,d为相机的像元尺寸,Sactual为H形标志的真实面积,DArea为由面积相似求得的标志质心深度;
式中:Ppixel为H形标志的像素周长,Pactual为H形标志的真实周长,Dperimeter为由周长相似求得的标志质心深度;
最终得到H形标志质心相对于相机光心的姿态坐标为(xH,yH,zH):
式中:xerror、yerror分别为图像中H形标志质心与图像中心在x方向和y方向的像素偏差。
7.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
①连通域检测;对二值图像进行连通域检测,得到包含视觉标志的所有候选连通域;
②连通域剔除;根据视觉标志的面积大小,将候选连通域中的小面积区域删除,减少候选连通域数量,加快算法执行;
③连通域分类;根据“H”形标志和圆环的几何特征对更新后的候选连通域进行分类,分为H形连通域和圆环连通域;根据“H”形标志和圆环自身的面积-周长比的尺度不变性和旋转不变性,对候选连通域进行分类;
④连通域匹配;根据H形连通域与圆环连通域质心位置重合的关系,将质心靠近的H形连通域和圆环连通域匹配为候选视觉标志,将其余连通域直接删除;
⑤视觉标志判定;利用H形连通域与圆环连通域的面积比和周长比的不变性,对候选视觉标志判定,最终得到唯一的由圆环连通域和H形连通域组成的视觉标志。
8.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
①假设点S是H形轮廓上一个待检测的像素种子点,根据一定的步长stepLength沿H形轮廓在种子点S的左右两侧分别取P1、P2两个相邻点,并得到通过点P1、P2的直线方程,从而可以计算种子点S到直线的距离Dis;遍历H形轮廓的每一个像素点,得到每个像素点对应的距离值;一个理想的角点对应一个较大的距离值,而距离值越小表示种子点与相邻点越接近一条直线,当距离值为0时,三点共线;利用这一关系,通过判断种子点S对应的距离值Dis的大小,检测出所有可能的候选角点;
②根据H形标志12个角点到其质心距离的三种情况,将候选角点到质心的距离与三种期望距离相差较大的离群角点删除,得到正确的12个角点群;计算12个角点群的质心作为最终H形标志的12个角点位置,完成角点检测。
9.根据权利要求1所述的一种基于单目视觉定位的旋翼无人机姿态估计方法,其特征在于:
①确定主方向;通过顺序计算12个角点中相邻角点间的距离,得到12个距离值,取最大距离值对应的两个角点所在的直线斜率作为H形标志的主方向,称为垂直方向,主方向的垂直方向作为水平方向;
②划分象限;由通过H形标志质心的垂直方向和水平方向将H形标志分为四个象限,按平面坐标系顺序将其定义为第Ⅰ象限、第Ⅱ象限、第Ⅲ象限和第Ⅳ象限,每一个象限内包含3个角点;
③角点分类、编号;根据角点到质心欧氏距离的三种情况,将每个象限中的三个角点分类并进行编号,分为外点、中点和内点,与参考图像中定义的对应角点完成匹配,得到12个匹配的角点对,作为无人机姿态估计的输入参数。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
基于力矩模型辅助的四旋翼横滚角、俯仰角容错估计方法 | 2020-05-12 | 577 |
耦合横滚调节和浮力调节的滑翔器调节装置 | 2020-05-12 | 320 |
一种基于MEMS加速度计的载体姿态横滚角获取方法 | 2020-05-12 | 426 |
对称风叶翻风叶横滚轴风车 | 2020-05-11 | 873 |
用于旋转弹的横滚角的计算方法 | 2020-05-11 | 356 |
横滚侧翻任意倒置液位测量装置 | 2020-05-11 | 357 |
基于横滚/偏摆结构的两轴捷联平台光轴超半球稳定方法 | 2020-05-13 | 169 |
一种基于姿态参数求导的弹射座椅俯仰横滚姿态控制方法 | 2020-05-12 | 189 |
横滚轴组件及其使用的云台 | 2020-05-11 | 51 |
一种卫星天线横滚角自稳态调节装置 | 2020-05-13 | 982 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。