首页 / 专利库 / 人工智能 / 位姿 / 基于深度视觉的多旋翼无人机自主定位方法

基于深度视觉的多旋翼无人机自主定位方法

阅读:451发布:2024-01-29

专利汇可以提供基于深度视觉的多旋翼无人机自主定位方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及无人机 定位 控制,为提高无人机在复杂环境下的自主定位导航能 力 ,完成无人机的高 精度 控制与复杂飞行任务。本发明采用的技术方案是,基于深度视觉的多旋翼无人机自主定位方法,首先搭建多旋翼无人机系统的 硬件 平台,包括:多旋翼无人机的本体、深度摄像头、SLAM 算法 执行机载处理器和定位 跟踪 机载处理器;深度 传感器 包括彩色摄像头和深度摄像头, SLAM算法 执行机载处理器进行运算和 图像处理 ,定位跟踪机载处理器集成有三轴 加速 度计 、三轴 陀螺仪 、三轴磁力计和气压计微传感器,用于实现定位 悬停 、轨迹跟踪飞行任务,所述处理器通过数据 接口 连接实现与地面实时通信。本发明主要应用于多旋翼无人机自主定位场合。,下面是基于深度视觉的多旋翼无人机自主定位方法专利的具体信息内容。

1.一种基于深度视觉的多旋翼无人机自主定位方法,其特征是,首先搭建多旋翼无人机系统的硬件平台,包括:多旋翼无人机的本体、深度摄像头、SLAM算法执行机载处理器和定位跟踪机载处理器;深度传感器包括彩色摄像头和深度摄像头,SLAM算法执行机载处理器进行运算和图像处理,定位跟踪机载处理器集成有三轴加速度计、三轴陀螺仪、三轴磁计和气压计微传感器,用于实现定位悬停、轨迹跟踪飞行任务,所述处理器通过数据接口连接实现与地面实时通信;
进一步的,基于深度视觉的多旋翼无人机自主定位算法由视觉里程计、自主定位导航和建图部分组成,首先,运用SLAM算法执行机载处理器利用视觉里程计仅通过深度传感器获取的信息,采用基于特征点的解算方法,计算相邻两幅图像之间的相对运动,特征点法是通过提取图片中辨识度高的局部特征点,然后依据特征点的描述子来匹配相邻两幅图片中相同的特征点,再由特征点的深度信息解算出相对位移,得到无人机的位置姿态
考虑到深度摄像头的曝光不稳定性,视觉里程计选用提取ORB类型特征点;然后,将视觉里程计得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器,定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息,完成自主无人机闭环定位飞行控制;最后,SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站,由地面站使用PCL点库实现3D环境重建,以便展示无人机所处的周围环境。
2.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法,其特征是,ORB(Oriented FAST and Rotated BRIEF)特征点的计算分为两个部分,分别是FAST(Features Fromaccelerated Segment Test)特征点提取和BRIEF(Binary Robust Independent Elementary Features)特征点描述,特征提取是由FAST算法发展而来,特征点描述是根据BRIEF特征算法改进的,ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来。
3.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法,其特征是,FAST特征点检测指的是,某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较,如果差异明显,则为特征点,具体使用Harris点检测器对特征点进行筛选,要求数量为N的特征点,首先需要设定一个足够的低的阈值去得到多于N的特征点,然后根据Harris角点检测器对其进行排序,选取出前N个较好的角点作为特征点,通过图像尺度金字塔,在不同尺度下提取特征点,达到满足尺度变化的要求,对于特征点没有方向的缺点,考虑采用灰度质心法提取特征点的方向,以特征点与灰度质心之间存在的偏移量来表示特征点的方向,首先定义一个区域内的矩:
通过这些矩,求出区域的中心:
该特征点与其领域质心的夹角θ表示特征点的方向
θ=a tan 2(m01,m10)
ORB中特征点的描述采用的是BRIEF描述子描述的,BRIEF算法属于二进制算法,利用一系列的0和1来描述特征,对于平滑图像p,二值测试τ被这样定义
其中p(x)是图像在点x处的灰度值,其特征用n维二进制向量进行描述:
公式中的n取为256,在进行测试前,需要对图像进行平滑处理;
对于n个二进制特征,得到一个2n矩阵S:
利用此区域的方向角θ和对应的旋转矩阵Rθ,对S进行变换:
Sθ=RθS
其中
经过校正后的BRIEF描述符用如下公式表示:
gn(p,θ):=fn(p)|(xi,yi)∈Sθ
将360°圆周平均分为30份,同时构造一个预计算BRIEF模式的查找表,只要特征点的方向角θ与某个视野范围的角度一致,则用相应的Sθ去计算响应的描述矩阵,通过提取图像中的特征点,并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对,进而估计无人机的运动情况。
4.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法,其特征是,在对特征点进行检测匹配时,RANSAC(RANdom SAmple Consensus)方法消除匹配误差,在匹配的特征点之间决定刚性变换,进而获取正确的运动估计参数。
5.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法,其特征是,得到特征点的匹配对具体是使用暴力匹配算法:ORB算法提取出的特征描述子是char类型的数据,根据特征点之间描述子的汉明距离,使用暴力匹配的方法找出距离最近的匹配对,然后根据描述子的汉明距离大小将匹配对排序,筛选出一定比例的匹配对用于位姿解算。
6.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法,其特征是,解算无人机移动的位姿值是依据特征点的深度信息进行解算:通过提取图像中的特征点,并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对,进而估计相机的运动情况,PnP(Perspective-n-Point)是求解3D到2D点对运动的方法,通过最小化重投影误差计算位姿变换,寻找使得下式取值达到最小的Rk和tk
其中p(k,i)是第i个特征点在第k图像中的位置;p(k-1,i)是第i个特征点,在第k-1帧图像中推算的三维坐标,经过估计的变换矩阵Tk重投影到第k帧图像中的位置。

说明书全文

基于深度视觉的多旋翼无人机自主定位方法

技术领域

[0001] 本发明涉及一种基于深度视觉的定位控制方法,主要是涉及一种应用于多旋翼无人机自主定位与三维环境重建的感知方法。具体讲,涉及基于深度视觉的多旋翼无人机自主定位方法。

背景技术

[0002] 近年来,基于计算机视觉的定位导航技术(Simultaneous Localization and Mapping,SLAM)在机器人领域快速发展。机器人要实现自主运动导航的关键是要解决实时定位与地图构建,也就是需要同时估计机器人自身的位置和构建周围环境的模型。实现对周围环境信息的获取与感知,需要相应的传感器提供有效的环境信息。深度相机依据红外结构光原理,通过向物体发射光并接受返回的光,测量物体与相机之间的距离恢复三维环境结构,进而实现无人机自主定位导航飞行。
[0003] 德国慕尼黑工业大学应用单目视觉SLAM实现四旋翼无人机,在未知且无GPS(Global Positioning System)信号的环境下的自主定位与导航。其使用四旋翼无人机作为硬件飞行平台,整个控制系统主要包括三个部分:单目摄像头用于视觉SLAM,扩展卡尔曼滤波用于数据融合和状态估计,PID(Proportion Integration Differentiation)控制器来产生控制命令。悬停和轨迹跟踪实验表明,视觉定位算法能够实现精确、鲁棒、长期无漂移的稳定飞行。(会议:International Conference on Intelligent Robots and Systems;著者:Engel J,Sturm J,Cremers D;出版年月:2012;文章题目:Camera-based navigation of a low-cost quadrocopter,页码:2815-2821)
[0004] 美国麻省理工大学的研究人员使用深摄像机用于无GPS环境下的视觉里程计并构建周围环境的地图信息,最后将其应用于四旋翼无人机的自主飞行控制中。实验过程中,其所有的视觉其控制算法均运行在机载处理器及控制器中,避免的无线数据传输引起的干扰,成功实现基于视觉的无人机避障飞行。(期刊:International Journal of Robotics Research;著者:Bachrach Abraham,Prentice Samuel,He Ruijie;出版年月:2012;文章题目:Estimation,planning,and mapping for autonomous flight using an RGB-D camera in GPS-denied environments,页码:1320-1343)。

发明内容

[0005] 为克服现有技术的不足,本发明旨在提出一种基于深度视觉的多旋翼无人机SLAM方案,提高无人机在复杂环境下的自主定位导航能,完成无人机的高精度控制与复杂飞行任务。本发明采用的技术方案是基于深度视觉的多旋翼无人机自主定位方法,首先搭建多旋翼无人机系统的硬件平台,包括:多旋翼无人机的本体、深度摄像头、SLAM算法执行机载处理器和定位跟踪机载处理器;深度传感器包括彩色摄像头和深度摄像头,SLAM算法执行机载处理器进行运算和图像处理,定位跟踪机载处理器集成有三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器,用于实现定位悬停、轨迹跟踪飞行任务,所述处理器通过数据接口连接实现与地面实时通信;
[0006] 进一步的,基于深度视觉的多旋翼无人机自主定位算法由视觉里程计、自主定位导航和建图部分组成,首先,运用SLAM算法执行机载处理器利用视觉里程计仅通过深度传感器获取的信息,采用基于特征点的解算方法,计算相邻两幅图像之间的相对运动,特征点法是通过提取图片中辨识度高的局部特征点,然后依据特征点的描述子来匹配相邻两幅图片中相同的特征点,再由特征点的深度信息解算出相对位移,得到无人机的位置和姿态;考虑到深度摄像头的曝光不稳定性,视觉里程计选用提取ORB类型特征点;然后,将视觉里程计得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器,定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息,完成自主无人机闭环定位飞行控制;最后,SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站,由地面站使用PCL点库实现3D环境重建,以便展示无人机所处的周围环境。
[0007] ORB(Oriented FAST and Rotated BRIEF)特征点的计算分为两个部分,分别是FAST(Features Fromaccelerated Segment Test)特征点提取和BRIEF(Binary Robust Independent Elementary Features)特征点描述,特征提取是由FAST算法发展而来,特征点描述是根据BRIEF特征算法改进的,ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来。
[0008] FAST特征点检测指的是,某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较,如果差异明显,则为特征点,具体使用Harris点检测器对特征点进行筛选,要求数量为N的特征点,首先需要设定一个足够的低的阈值去得到多于N的特征点,然后根据Harris角点检测器对其进行排序,选取出前N个较好的角点作为特征点,通过图像尺度金字塔,在不同尺度下提取特征点,达到满足尺度变化的要求,对于特征点没有方向的缺点,考虑采用灰度质心法提取特征点的方向,以特征点与灰度质心之间存在的偏移量来表示特征点的方向,首先定义一个区域内的矩:
[0009]
[0010] 通过这些矩,求出区域的中心:
[0011]
[0012] 该特征点与其领域质心的夹角θ表示特征点的方向
[0013] θ=a tan2(m01,m10)
[0014] ORB中特征点的描述采用的是BRIEF描述子描述的,BRIEF算法属于二进制算法,利用一系列的0和1来描述特征,对于平滑图像p,二值测试τ被这样定义
[0015]
[0016] 其中p(x)是图像在点x处的灰度值,其特征用n维二进制向量进行描述:
[0017]
[0018] 公式中的n取为256,在进行测试前,需要对图像进行平滑处理;
[0019] 对于n个二进制特征,得到一个2n矩阵S:
[0020]
[0021] 利用此区域的方向角θ和对应的旋转矩阵Rθ,对S进行变换:
[0022] Sθ=RθS
[0023] 其中
[0024]
[0025] 经过校正后的BRIEF描述符用如下公式表示:
[0026] gn(p,θ):=fn(p)|(xi,yi)∈Sθ
[0027] 将360°圆周平均分为30份,同时构造一个预计算BRIEF模式的查找表,只要特征点的方向角θ与某个视野范围的角度一致,则用相应的Sθ去计算响应的描述矩阵,[0028] 通过提取图像中的特征点,并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对,进而估计无人机的运动情况。
[0029] 在对特征点进行检测匹配时,RANSAC(RANdom SAmple Consensus)方法消除匹配误差,在匹配的特征点之间决定刚性变换,进而获取正确的运动估计参数。
[0030] 得到特征点的匹配对具体是使用暴力匹配算法:ORB算法提取出的特征描述子是char类型的数据,根据特征点之间描述子的汉明距离,使用暴力匹配的方法找出距离最近的匹配对,然后根据描述子的汉明距离大小将匹配对排序,筛选出一定比例的匹配对用于位姿解算。
[0031] 解算无人机移动的位姿值是依据特征点的深度信息进行解算:通过提取图像中的特征点,并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对,进而估计相机的运动情况,PnP(Perspective-n-Point)是求解3D到2D点对运动的方法,通过最小化重投影误差计算位姿变换,寻找使得下式取值达到最小的Rk和tk
[0032]
[0033] 其中p(k,i)是第i个特征点在第k图像中的位置;p(k-1,i)是第i个特征点,在第k-1帧图像中推算的三维坐标,经过估计的变换矩阵Tk重投影到第k帧图像中的位置。
[0034] 本发明的特点及有益效果是:
[0035] 本发明采用基于深度视觉的自主定位导航算法,实现多旋翼无人机的自主定位飞行与三维环境重建。相比于激光雷达定位算法,视觉能够获取较为完整的环境信息,为无人机在复杂环境下的自主避障飞行提供有效的信息支撑,提高了无人机的自主飞行能力。附图说明:
[0036] 图1是本发明的实验平台。
[0037] 图2是本发明在实验过程中的实时建图结果。
[0038] 图中,a三维点云重建过程一帧关键帧;b三维点云重建过程二帧关键帧;c三维点云重建过程三帧关键帧;d三维点云重建过程暨四帧关键帧;e三维点云重建过程暨最终重建效果图。
[0039] 图3是本发明的程序原理流程图

具体实施方式

[0040] 为克服现有技术的不足,本发明旨在提出一种基于深度视觉的多旋翼无人机SLAM方案,提高无人机在复杂环境下的自主定位导航能力,完成无人机的高精度控制与复杂飞行任务。本发明采用的技术方案是:搭建基于NVIDIA TK1机载微处理器(ARM Cortex-A15,CUDA),并结合Pixhawk开源机载微控制器的深度视觉定位系统,将视觉定位算法运行于机载微处理器上,确保算法的实时性,同时将底层飞行控制算法运行于机载微控制器上,确保无人机飞行的可靠性。通过无线数据通信,实现机载数据信息与地面站之间的传递,实现对三维环境的感知重建。
[0041] 所述的搭建多旋翼无人机自主定位系统的具体步骤是:
[0042] 首先搭建多旋翼无人机系统的硬件平台,包括:多旋翼无人机的本体、深度摄像头、NVIDIA TK1机载处理器和Pixhawk机载处理器。多旋翼无人机机体为小型电动六旋翼飞行器机体,其直径为500mm,使用纤维材料加工制成,可搭载6组直流无刷电机、电调及旋翼。使用Devention遥控器及2.4GHz接收机实现对六旋翼无人机的手动飞行。深度传感器包括彩色摄像头和深度摄像头支持640*480分辨率的成像,平成像角度为57°,垂直成像角度为43°,深度值有效范围0.8-6.0m,偏差2-30mm,拍摄帧率为30fps。NVIDIA TK1包含四颗ARM Cortex A15内核,主频高达2.2GHz,同时芯片集成有192个性能强劲的NVIDIA GeForce Kepler移动图像处理单元(GPU)。使得该模能够以较低的功耗提供强大的运算性能和高级图像处理能力。Pixhawk搭载了NuttX实时操作系统,该处理器集成有三轴加速度计、三轴陀螺仪、三轴磁力计和气压计等微传感器,可实现定位悬停、轨迹跟踪等飞行任务。将各个微电子模块安装于无人机平台上,并通过数据接口连接实现实时通信。
[0043] 进一步的,基于深度视觉的多旋翼无人机自主定位算法由视觉里程计、自主定位导航和建图部分组成。首先,视觉里程计是仅通过深度传感器获取的信息,运用SLAM算法执行机载处理器计算相邻两幅图像之间的相对运动,采用基于特征点的解算方法。特征点法是通过提取图片中辨识度高的局部特征点,然后依据特征点的描述子来匹配相邻两幅图片中相同的特征点,再由特征点的深度信息解算出相对位移,得到无人机的位置和姿态。考虑到深度摄像头的曝光不稳定性,视觉里程计选用提取ORB类型特征点,兼顾实时性与准确性。然后,将视觉里程计得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器,定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息,完成自主无人机闭环定位飞行控制。最后,SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站,由地面站使用PCL点云库实现3D环境重建,以便展示无人机所处的周围环境。
[0044] ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法,该算法分为两个部分,分别是FAST特征点提取和BRIEF特征点描述。特征提取是由FAST算法发展而来,特征点描述是根据BRIEF特征算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来,并作出一定的改进与优化,既具有良好的快速性,又能够保证特征点的旋转不变形
[0045] FAST特征点检测指的是,某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较,如果差异明显,则为特征点。在工程实践中,圆形区域的半径r一般选取为9,FAST-9具有较好的检测效果。传统的FAST检测具有边缘效应明显、特征点不满足尺度变化和特征点没有方向等缺点。为了降低边缘响应的影响,使用Harris角点检测器对特征点进行筛选。要求数量为N的特征点,首先需要设定一个足够的低的阈值去得到多于N的特征点,然后根据Harris角点检测器对其进行排序,选取出前N个较好的角点作为特征点。通过图像尺度金字塔,在不同尺度下提取特征点,达到满足尺度变化的要求。对于特征点没有方向的缺点,考虑采用灰度质心法提取特征点的方向,以特征点与灰度质心之间存在的偏移量来表示特征点的方向。首先定义一个区域内的矩:
[0046]
[0047] 通过这些矩,可以求出区域的中心:
[0048]
[0049] 该特征点与其领域质心的夹角θ表示特征点的方向
[0050] θ=a tan2(m01,m10)
[0051] ORB中特征点的描述采用的是BRIEF描述子描述的,BRIEF算法属于二进制算法,利用一系列的0和1来描述特征。对于平滑图像p,二值测试τ被这样定义
[0052]
[0053] 其中p(x)是图像在点x处的灰度值,其特征可以用n维二进制向量进行描述:
[0054]
[0055] 公式中的n一般取为256,在进行测试前,需要对图像进行平滑处理,图像中存在的噪声会严重影响特征点的检测结果。
[0056] 由于BRIEF描述子不具有旋转不变性,因此对其进行了改进,成为了Rotated BRIEF,简称rBRIEF。对于n个二进制特征,可以得到一个2n矩阵S:
[0057]
[0058] 利用此区域的方向角θ和对应的旋转矩阵Rθ,可以对S进行变换:
[0059] Sθ=RθS
[0060] 其中
[0061]
[0062] 经过校正后的BRIEF描述符可用如下公式表示:
[0063] gn(p,θ):=fn(p)|(xi,yi)∈Sθ
[0064] 将360°圆周平均分为30份,同时构造一个预计算BRIEF模式的查找表。只要特征点的方向角θ与某个视野范围的角度一致,则用相应的Sθ去计算响应的描述矩阵。
[0065] 通过提取图像中的特征点,并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对,进而估计相机的运动情况。PnP(Perspective-n-Point)是求解3D到2D点对运动的方法,通过最小化重投影误差计算位姿变换,寻找使得下式取值达到最小的Rk和tk[0066]
[0067] 其中p(k,i)是第i个特征点在第k帧图像中的位置;p(k-1,i)是第i个特征点,在第k-1帧图像中推算的三维坐标,经过估计的变换矩阵Tk重投影到第k帧图像中的位置。在对特征点进行检测匹配时,可能会出现错误的匹配关系,这些错误的匹配对称作外点。当外点参于位姿解算时会对结果的精度产生一定影响,使得构建的的地图出现偏差如图RANSAC,所以需要剔除外点。在计算机视觉领域中常用的消除匹配误差的方法就是RANSAC方法,该方法一般用来在匹配的特征点之间决定刚性变换,进而获取正确的运动估计参数。
[0068] 软件框架可以分为两个部分:机载微处理器软件系统和机载控制器软件系统,主要是运行自主定位算法和实现数据传输通信。系统中不同软件模块的运行频率存在差异,各模块之间需要相互配合,同步数据交换。该软件架构的特点是将对实时性要求高的定位导航算法运行于机载设备上,相比较于将传感器信息传回地面站进行解算的传统方法,降低了因为无线网络传输的不稳定性和时延性导致的无人机失控险,提高了无人机对环境感知的可靠性以及飞行的稳定性,具有更好的应用前景。
[0069] 本发明所要解决的技术问题是:提出一种基于深度视觉的多旋翼无人机自主定位算法,实现无人机在无GPS信号的复杂环境下,完成自主定位导航飞行,执行既定的飞行目标任务。
[0070] 本发明采用的技术方案是:首先,提取图片中的ORB类型特征点,并计算特征点的特征描述子;使用暴力匹配算法得到特征点的匹配对;依据特征点的深度信息进而解算无人机移动的位姿值。然后,将得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器,定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息,完成自主无人机闭环定位飞行控制。最后,SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站,由地面站使用PCL点云库实现3D环境重建,以便展示无人机所处的周围环境。
[0071] 所述的提取图片中的ORB类型特征点,并计算特征点的特征描述子:
[0072] FAST特征点检测指的是,某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较,如果差异明显,则为特征点。在工程实践中,圆形区域的半径r一般选取为9,FAST-9具有较好的检测效果。传统的FAST检测具有边缘效应明显、特征点不满足尺度变化和特征点没有方向等缺点。为了降低边缘响应的影响,使用Harris角点检测器对特征点进行筛选。要求数量为N的特征点,首先需要设定一个足够的低的阈值去得到多于N的特征点,然后根据Harris角点检测器对其进行排序,选取出前N个较好的角点作为特征点。通过图像尺度金字塔,在不同尺度下提取特征点,达到满足尺度变化的要求。对于特征点没有方向的缺点,考虑采用灰度质心法提取特征点的方向,以特征点与灰度质心之间存在的偏移量来表示特征点的方向。首先定义一个区域内的矩:
[0073]
[0074] 通过这些矩,可以求出区域的中心:
[0075]
[0076] 该特征点与其领域质心的夹角θ表示特征点的方向
[0077] θ=a tan2(m01,m10)
[0078] ORB中特征点的描述采用的是BRIEF描述子描述的,BRIEF算法属于二进制算法,利用一系列的0和1来描述特征。对于平滑图像p,二值测试τ被这样定义
[0079]
[0080] 其中p(x)是图像在点x处的灰度值,其特征可以用n维二进制向量进行描述:
[0081]
[0082] 公式中的n一般取为256,在进行测试前,需要对图像进行平滑处理,图像中存在的噪声会严重影响特征点的检测结果。
[0083] 由于BRIEF描述子不具有旋转不变性,因此对其进行了改进,成为了Rotated BRIEF,简称rBRIEF。对于n个二进制特征,可以得到一个2n矩阵S:
[0084]
[0085] 利用此区域的方向角θ和对应的旋转矩阵Rθ,可以对S进行变换:
[0086] Sθ=RθS
[0087] 其中
[0088]
[0089] 经过校正后的BRIEF描述符可用如下公式表示:
[0090] gn(p,θ):=fn(p)|(xi,yi)∈Sθ
[0091] 将360°圆周平均分为30份,同时构造一个预计算BRIEF模式的查找表。只要特征点的方向角θ与某个视野范围的角度一致,则用相应的Sθ去计算响应的描述矩阵。
[0092] 所述的使用暴力匹配算法得到特征点的匹配对是:
[0093] 所使用的特征点检测与匹配算法的精度与速度会影响整个SLAM系统的性能。特征检测过程中很重要的问题是解决尺度不变特征,即两幅图片中不同尺度的同一物体点,计算得到的两个尺度因子之间的比率应该等于图像尺度的比率。ORB算法提取出的特征描述子是char类型的数据,根据特征点之间描述子的汉明距离,使用暴力匹配的方法找出距离最近的匹配对,然后根据描述子的汉明距离大小将匹配对排序,筛选出一定比例的匹配对用于位姿解算。
[0094] 所述的依据特征点的深度信息进而解算无人机移动的位姿值是:
[0095] 通过提取图像中的特征点,并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对,进而估计相机的运动情况。PnP(Perspective-n-Point)是求解3D到2D点对运动的方法,通过最小化重投影误差计算位姿变换,寻找使得下式取值达到最小的Rk和tk[0096]
[0097] 其中p(k,i)是第i个特征点在第k帧图像中的位置;p(k-1,i)是第i个特征点,在第k-1帧图像中推算的三维坐标,经过估计的变换矩阵Tk重投影到第k帧图像中的位置。在对特征点进行检测匹配时,可能会出现错误的匹配关系,这些错误的匹配对称作外点。当外点参于位姿解算时会对结果的精度产生一定影响,使得构建的的地图出现偏差如图RANSAC,所以需要剔除外点。在计算机视觉领域中常用的消除匹配误差的方法就是RANSAC方法,该方法一般用来在匹配的特征点之间决定刚性变换,进而获取正确的运动估计参数。
[0098] 下面结合具体实例和附图对本发明基于深度视觉的自主定位算法,实现无人机自主定位与三维环境重建做出详细说明。
[0099] 考虑到在无GPS信号的复杂环境下,无人机自主定位的能力直接影响到无人机能否完成既定的飞行任务,本发明采用深度视觉传感器实现无人机的自主定位飞行,在实现定位的同时,完成对周围环境的三维点云重建,为无人机自主飞行避障提供可靠的环境信息支撑。
[0100] 本发明搭建基于深度视觉的多旋翼无人机系统,包括以下步骤:
[0101] 1)搭建多旋翼无人机硬件系统平台:
[0102] 将飞行控制模块安装到机体各固定位置,实现无人机的手动遥控飞行。安装机载微处理器与深度视觉传感器,采用USB通信方法将传感器采集的图像和深度数据传输到微处理器,经解算得到位姿数据后,通过串口将位置信息发送到微控制器,实现无人机闭环定位飞行控制。
[0103] 2)依据自主定位算法,实时计算无人机移动的位姿信息:
[0104] 基于深度视觉的SLAM算法由传感器信息读取、视觉里程计和建图等部分组成。视觉里程计主要是计算相邻两幅图片之间的相对运动,采用基于特征点的解算方法。特征点法是通过提取图片中辨识度高的局部特征点,然后依据特征点的描述子,匹配相邻两幅图片中相同的特征点,再由特征点的深度信息解算出相对位移。考虑到深度摄像头的曝光不稳定性,视觉里程计选用提取ORB类型特征点,兼顾实时性与准确性。建图由地面站完成,使用PCL点云库实现3D环境重建。
[0105] 3)软件系统采用多线程编写的方式实现定位算法与数据通信
[0106] 机载微处理器运行的软件程序主要分为四个线程:摄像头数据读取线程,在机载Ubuntu操作系统中使用OpenNI+SensorKinect的软件包驱动组合,使用openni_node类定义的数据对象,通过深度相机获取其彩色摄像头捕获的图像信息和深度相机获取的深度图像信息。将图片数据保存为OpenCV中的Mat数据类型,方便使用OpenCV对图像数据进行处理。图片特征匹配及位姿解算线程,该线程主要负责处理图像数据和深度数据。提取图像中的特征点信息,并匹配相邻两幅图之间相同的特征点,依据相机的小孔成像原理和特征点的深度值,解算无人机发生的位姿变化。串口通讯线程,该线程主要完成微处理器NVIDIA TK1与机载微控制器Pixhawk之间的双向数据传输。一方面需要利用串口阻塞的方式,微处理器接收微控制器传来的姿态角信息,另一方面需要将解算得到的位姿数据以GPS信号的格式发送给微控制器,实现定位控制。无线通信线程,利用无线路由器扩展WIFI局域网,机载微处理器和地面站同时接入局域网络。借助UDP网络通信协议,将摄像头采集的彩色图片数据、深度数据和无人机位姿数据传输到地面站。从而能够在地面站上实现周围环境的3D点云重建。
[0107] 下面给出具体的实例:
[0108] 一、系统硬件连接及配置
[0109] 本发明搭建基于深度视觉的多旋翼无人机自主定位系统,硬件系统包括:多旋翼无人机的本体、深度摄像头、NVIDIA TK1机载微处理器和Pixhawk机载微控制器。其中多旋翼无人机机体为小型电动六旋翼飞行器,可搭载6组直流无刷电机、电调及旋翼,使用遥控器可实现对其手动飞行。机载微处理器接收深度摄像头采集的图像和深度数据,运行定位算法求解无人机的位姿信息,将位置数据发送到机载微控制器,实现无人机闭环飞行控制,并同时将环境数据通过无线通信传输到地面站,用于对三维环境的实时重建。
[0110] 二、多旋翼无人机自主定位与三维建图的飞行实验结果
[0111] 本实验采用上述搭建的多旋翼无人机自主定位系统,由遥控器发送飞行指令控制无人机的飞行轨迹,无人机基于机载设备与定位算法实时计算飞行位置。地面站接收机载设备传输的数据信息,使用点云完成对环境信息的三维重建。实验结果较为准确地重构了无人机飞行经过的环境场景,说明本发明设计的实验平台具有一定的实际应用效果。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈