一种基于双目视觉的无人机自主障碍物检测系统、方法及无
人机
技术领域
[0001] 本
发明属于无人机技术领域，尤其是一种基于双目视觉的无人机自主障碍物检测系统及方法及无人机。
背景技术
[0002] 随着
飞行器相关技术的不断发展及其应用场景的复杂化，对其环境
感知能
力提出了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，此外其具有对飞行环境变化捕捉迅速、反应敏锐等特点，因此在飞行器导引导航研究中得到了越来越多的关注。
[0003] 基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，更为重要的是可降低在某些特定环境(如战场)使用时被发现的概率，具有较强的隐蔽性。
[0004] 基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉可获得较单目视觉更高的
精度，而应用较为广泛。单目视觉使用一台机载摄像机获取飞行图像，然而飞行环境的三维信息会在图像投影过程中丢失，虽可利用多
帧图像或离线训练的方法还原环境的深度信息，但处理过程复杂，导致机载嵌入式处理器难以实现实时处理，目前只能做到将图像传回地面站解算后再返回无人机的方式进行障碍物规避控制。而双目视觉基于
视差原理，其产生的
立体视觉信息可以直接恢复目标环境的三维坐标，进而可获得环境的深度信息，对于未知飞行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。
[0005] 双目视觉是
计算机视觉的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、工业自动化生产、智能安防系统等领域得到了广泛的应用。但是，现有的基于视觉的障碍物感知方法存在的诸多问题，计算机视觉方法在飞行器中的应用主要集中于自主着陆、景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别，需要建立景象匹配的机载
数据库以查找已知目标信息并采用视觉方法得到目标的相对
位置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人工设置参考信息，另一方面存在潜在的实时性
缺陷，无法满足飞行器执行任务时所处自然环境中的导航应用需求。
[0006] 众所周知，视觉
图像处理需要在单位时间内处理大量数据，需要快速的数据运算能力，然而数据运算过程却相对简单。目前可用于视觉图像处理的计算平台主要有CPU、GPU、ASIC、DSP、FPGA等。
[0007] 嵌入式CPU的计算能力有限，对于一些计算复杂度很高的视觉
算法，其处理速度常常难以满足系统的实时性需要。
[0008] GPU具有高度的并行计算能力，可以较好地解决计算速度的问题，然而，基于GPU的计算机视觉系统存在着功耗较高、体积较大的缺点，难以满足依靠自身所带
电池供电并长时间工作的无人机系统的需要。
[0009] 利用专用集成
电路ASIC实现视觉处理算法，可以解决视觉系统性能和体积、功耗之间的矛盾，是高性能嵌入式视觉系统的一种有效的解决方案。然而，ASIC开发周期长，
修改性及通用性较差。
[0010] FPGA可以通过编程方便地修改其内部的逻辑功能，从而实现高速的
硬件计算和并行运算，是高性能嵌入式视觉系统的一种更加方便的解决方案。基于FPGA的嵌入式视觉系统的功耗远远低于基于CPU和GPU的视觉系统，FPGA的功耗通常不到1W，而高性能CPU和GPU的功耗通常都在100W以上。随着技术的不断进步，FPGA的集成度越来越高，可以实现的设计规模越来越大，而功耗则越来越低。因此，基于FPGA的嵌入式视觉系统成为计算机视觉系统的重要发展方向。
[0011] 可编程片上系统技术在单个芯片上集成包括处理器核心和主要外设在内的逻辑功能，这些逻辑功能可以随着应用目的的改变而重新配置，这使得系统可以随时减裁、扩充或升级，使得FPGA可以在片内配置嵌入式处理器的
内核，使得FPGA也可具有片内高速的存储单元，丰富的IP核资源和足够的片上逻辑资源。
[0012] 与通用计算机相比，
嵌入式系统在功耗、体积和成本上有着不可比拟的优势。基于ARM的嵌入式系统因此被广泛应用于工业、民用甚至军事等领域。Linux
操作系统具有很高的性能，在计算相同的数据量时，对嵌入式系统的功率索取量极小，这也使得Linux得以在嵌入式领域有很强的竞争力。
[0013] 综上所述，虽然国内外无人机领域的许多学者针对无人机避障系统开展了大量研究，针对环境信息完全机载处理，且在保证测量精度的前提下，目前的避障系统还无法达到小体积、低功率及低重量的需求，进而实现无人机完全本地自主飞行的功能。
发明内容
[0014] 本发明的目的在于克服
现有技术的不足，提供一种基于双目视觉的无人机自主障碍物检测系统及方法，该检测系统能够在满足无人机对功耗及载重的需求前提下，获得实时的较高精度的飞行环境三维信息，该检测方法能够实现基于嵌入式实时双目视觉的无人机避障系统的三维环境信息重建算法，使得算法具有较高精度及实时性能。
[0015] 本发明解决其技术问题是采取以下技术方案实现的：
[0016] 一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，在无人机上装载有双目视觉系统、其他
传感器模
块及
飞行控制系统；
[0017] 所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程
门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与
现场可编程门阵列FPGA模块通过AXI
接口进行信息交互,ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；还包括与嵌入式处理器ARM模块连接的在线自标定模块，其在作业过程中根据环境调整摄像机的焦距或基线利用消失点几何特性对双目视觉系统重新进行标定；
[0018] 所述其他传感器模块包含惯性测量单元IMU、全球
定位系统GPS、磁罗盘及气压计；
[0019] 所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
[0020] 所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。
[0021] 所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输。
[0022] 所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。
[0023] 所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
[0024] 一种所述无人机自主障碍物检测系统的检测方法，包括以下步骤：
[0025] 步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
[0026] 步骤2、其他传感器单元获取无人机的状态信息；
[0027] 步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
[0028] 步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；
[0029] 其中，所述步骤1的具体实现方法为：
[0030] 步骤⑴、两台机载摄像机获取无人机的视觉信息；
[0031] 步骤⑵、视觉采集处理单元的ARM模块(101)获取两路同步图像；
[0032] 步骤⑶、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；步骤⑷、视觉采集处理单元的FPGA(202)对立体矫正后的图像处理获取视差图像；其中，对两路图像信息进行校正的具体方法为：ARM(101)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息
三维重建(405)及规避决策(407)；嵌入式处理器ARM模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果传递给现场可编程门阵列FPGA模块；
[0033] 步骤⑸、视觉采集处理单元的FPGA(202)利用视差图进行环境信息的三维重建，从而获得障碍物信息。
[0034] 所述步骤⑵视觉采集处理单元获取同步图像的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步
信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析。7、根据
权利要求6所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤⑷视觉采集处理单元处理获取视差图像的具体方法为：现场可编程门阵列FPGA模块利用并行处理技术，首先利用均值漂移算法对图像进行分割处理,然后计算
像素间的匹配代价,再结合
图像分割信息构造新的全局
能量函数,之后在多方向上进行匹配代价的聚合,最后选取使得全局能量函数最小的视差图为视差图像；
[0035] 所述步骤⑸视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息的具体方法为：结合图像特征与视差图像通过兴趣点匹配及对应兴趣点距离解算、3D特征点重建、图像关联、野点检测、相对
位姿解算及位姿误差估计以及基于最小误差的运动决策，从而获得障碍物信息。
[0036] 所述步骤3飞行控制系统建立飞行路径及飞行控制指令的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据其他
传感器数据和新的飞行路径生成飞行控制指令。
[0037] 所述双目视觉系统获得的障碍物信息包括：障碍物与无人机之间的相对位姿、障碍物的种类、尺寸、形状及运动状态信息；所述其他传感器单元获取所述无人机的状态信息包括：飞行高度、飞行航向、飞行速度、飞行
姿态信息。
[0038] 所述的摄像机内参数为，
[0039]
[0040] 其中，
[0041]
[0042]
[0043]
[0044] kx和ky分别为归一化的焦距，ks为失真参数；K11＝1/kx，K12＝-ks/(kxky)，K13＝ksv0/(kxky)-u0/kx，K22＝1/ky及K23＝-v0/ky。
[0045] 一种具有所述的基于双目视觉的无人机自主障碍物检测系统的无人机。本发明的优点和积极效果是：
[0046] 1、本发明利用所述双目视觉系统实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本发明可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪声的影响，进而准确获取障碍物的种类、尺寸、形状及运动状态等信息，实现无人机对障碍物的有效避障功能。
[0047] 2、本发明将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。
[0048] 3、本发明的视觉采集处理单元采用FPGA与ARM相结合设计方案，具有处理速度快、低功耗、小体积及低重量的特点，因此能够适用于无人机领域。
[0049] 4、本发明的飞行控制系统、遥控器、地面站及无人机之间采用无线链路的方式进行无线通信，实现了更方便的控制功能。
附图说明
[0050] 图1是本发明的无人机自主障碍物检测系统的结构示意图；
[0051] 图2是本发明的基于FPGA及ARM的嵌入式系统架构图；
[0052] 图3是本发明的双目视觉系统架构图；
[0053] 图4是本发明的实时双目视觉系统的障碍物检测过程算法流程示意图；
[0054] 图5是本发明的半全局立体匹配算法流程示意图；
[0055] 图6是本发明的消失点形成示意图。
具体实施方式
[0056] 以下结合附图对本发明
实施例做进一步详述：
[0057] 一种基于双目视觉的无人机自主障碍物检测系统，如图1所示，包括：
[0058] 双目视觉系统(101)：包括两台机载摄像机(1011)和视觉采集处理单元(1012)，所述两台机载摄像机(1011)获得无人机(106)的环境视觉信息，并将该数据传送到视觉采集处理单元(1012)，所述视觉采集处理单元(1012)对视觉信息进行理解分析，最终获得环境信息，同时判断并给出障碍物信息，所述障碍物信息通过CAN总线(107)发送给飞行控制系统(103)。
[0059] 其他传感器单元(102)：包括惯性测量单元IMU(1021)、全球定位系统GPS(1022)、磁罗盘(1023)及气压计(1024)，用于获取无人机(106)的飞行高度、飞行航向、飞行速度、飞行姿态等飞行状态信息；其他传感器单元(102)所获得的传感器信息通过CAN总线(107)发送给飞行控制系统(103)。
[0060] 飞行控制系统(103)：飞行控制系统(103)通过CAN总线(107)接收来自于双目视觉系统(101)及其他传感器单元(102)的视觉感知信息和无人机飞行状态数据，通过融合后，将结果发送至飞行
控制器(1032)，以根据视觉感知信息得到无人机(106)所在的飞行环境中的障碍物信息，以及根据障碍物信息和无人机状态信息规划无人机(106)的飞行路径，并根据飞行路径生成飞行控制指令，用于控制无人机(106)的障碍物规避飞行。所述飞行控制系统(103)通过控制无人机(106)机载
舵机组实现对无人机运动的控制功能。所述的障碍物信息包括但不限于：障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。
[0061] 飞行控制系统(103)包括数据融合模块(1031)和飞行控制器(1032)及数据传输模块(未在示例图中标注)。所述飞行控制系统(103)中具有可拓展的模块化数据融合处理功能，即利用无人机机载双目视觉系统(101)进行视觉感知，同时通过无人机机载其他传感器模块(102)中IMU单元(1021)获取惯导数据，通过三轴磁罗盘单元(1022)获取航向
角信息，通过GPS单元(1023)获取飞行位置、速度、航向及高度数据，通过气压计单元(1024)获取无人机高度数据，并在飞行控制系统中利用融合模块(1031)将各传感器数据与视觉感知相融合处理，以便向无人机发送飞行路径控制和路径规划指令以对障碍物进行规避。
[0062] 飞行控制系统(103)还用于根据视觉感知信息判断障碍物是否位于无人机(106)的原飞行路径上，且在判断障碍物位于无人机(106)的原飞行路径上时根据障碍物信息和无人机状态信息建立新的飞行路径，并根据新的飞行路径生成飞行控制指令。
[0063] 遥控器(104)：通过无线链路(108)直接控制无人机(106)运行，或者通过无线链路(108)经飞行控制系统(103)对无人机(106)进行控制。
[0064] 地面站(105)：通过无线链路(108)经飞行控制系统(103)对无人机(106)进行控制，并可以接收无人机(106)的飞行状态信息。
[0065] 无人机(106)：通过双目视觉系统(101)获取无人机的视觉信息，并根据飞行控制系统(103)的飞行控制指令进行飞行，实现对障碍物的规避。
[0066] 在本实施例中，飞行控制系统(103)、遥控器(104)、地面站(105)及无人机(106)之间以无线链路(108)的方式进行无线通信。具体地，将无人机(106)的数据通过无线链路传递给地面站进行显示，同时当设定为手动或远程控制时，遥控器(104)及地面站(105)通过无线链路(108)将控制指令发送给飞行控制器(103)及无人机(106)。
[0067] 需要说明的是，无人机不同于其他地面
机器人系统，其需要考虑飞行过程中的载重及供电等约束，因此，本发明将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避。可以解决无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力，可行性好、载重小，同时功耗较低。
[0068] 双目视觉系统(101)内部的视觉采集处理单元(1012)采用FPGA(202)与ARM(201)相结合设计，由完成图像的并行算法的现场可编程门阵列FPGA模块(202)和完成图像的串行算法以及结果的发布的嵌入式处理器ARM模块(201)构成。图2给出了FPGA及ARM的嵌入式系统架构图。其中，ARM嵌入式系统通过AMBA(2012)与外部IO单元(205)进行连接，包括SPI(2051)、IIC(2052)、CAN(2053)、UART(2054)、GPIO(2055)、SDIO(2056)、USB(2057)及GigE(2058)接口，同时可通过AMBA(2012)实现对静态内存单元(203)的控制，支持多种接口的能力使本发明的嵌入式系统可以扩展连接多种机载摄像机设备。FPGA(202)模块内含有标准IO接口(2021)，与外部设备进行，可以实现本发明机载摄像机(1011)的同步控制，通过GigE模块(2022)，也可实现GigE摄像机的视频采集，并通过PCIe接口(2025)进行内部数据传输。本实施例中，ARM(201)与FPGA(202)通过AXI接口(2011)进行信息交互，通过AXI接口(2011)，ARM(201)可将
视频流快速的传输给FPGA(202)模块进行处理。
[0069] 需要说明的是，在对图像数据的操作中，单位时间内数据量很大，要求数据运算速度快，且为了获得较快的处理速度，需采用并行的方式对双目摄像机获取的图像进行分析理解，因此，本实施例中ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理。
[0070] 图3给出了双目视觉系统(101)的
框架图。本发明的ARM模块(201)通过USB接口采集两路机载摄像机(302)的图像数据，通过AXI接口(2011)高速的将视频流传输给FPGA模块(202)，进行两路视觉信息的并行处理，并将处理结果反馈给ARM模块(201)，进行后续处理，处理结果通过CAN总线等传输接口发送给飞行控制系统(103)。需要说明的是，两路机载摄像机(302)的同步
控制信号，由FPGA控制同步触发单元(301)产生。
[0071] 一种基于双目视觉的无人机自主障碍物检测方法，包括以下步骤：
[0072] 步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
[0073] 步骤2、其他传感器单元获取无人机的状态信息；
[0074] 步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
[0075] 步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。
[0076] 在上述步骤中，步骤1双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息是本发明的关键。如图4所示，ARM(201)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)；FPGA(202)模块对立体矫正后的图像进行立体匹配生成差视图。具体包括以下步骤：
[0077] 步骤⑴，视觉采集处理单元(1012)获取同步图像。具体方法为：视觉采集处理单元(1012)中的FPGA(202)模块通过控制同步触发单元(301)产生
同步信号，控制机载摄像机(302)同步采集图像，并通过USB接口将图像传输给视觉采集处理单元(1012)的ARM(201)模块，同时利用时间戳标识图像，用于后续处理分析。
[0078] 步骤⑵，视觉采集处理单元(1012)对两路图像信息进行校正。具体方法为：视觉采集处理单元(1012)的ARM(201)模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果通过AXI接口(2011)传递给FPGA(202)模块。
[0079] 步骤⑶，视觉采集处理单元(1012)处理获取视差图像。具体方法为：视觉采集处理单元(1012)中的FPGA(202)模块，利用并行处理技术，分别对矫正后的图像进行半全域演算分析，并生成视差图。
[0080] 步骤⑷，利用视差图进行环境信息的三维重建。具体方法为：结合图像特征(4051)与视差图像进行3D特征点重建，根据特征算子关联两路图像，并利用RANSAC方法去除野点，利用计算机视觉模型解算相对位姿并进行在线优化，获得更接近真值的相对位姿结果，从而获得障碍物信息。进一步地，障碍物信息包括但不限于：所述障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。
[0081] 在上述步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送。在本步骤中，飞行控制系统根据障碍物信息和无人机位置信息规划无人机的飞行路径，并根据其他传感器数据和飞行路径生成飞行控制指令。更具体的，飞行控制系统首先根据所述视觉信息判断所述无人机的原飞行路径上是否存在所述障碍物；进而根据所述障碍物信息和所述无人机状态信息生成新的飞行路径；和根据所述其他传感器数据和新的飞行路径生成飞行控制指令。
[0082] 本实施例中，所述的图像获取(401)模块，包含从机载摄像机(302)获取的两路视频信息，同时利用时间戳(402)对视频信息进行标记。
[0083] 本实施例中，所述的图像矫正(401)模块，包含对两路视频信息进行消除畸变、双目校正及图像裁剪，校正后左右视图的边角区域往往是不规则的，且对应的视差无效，这样会对立体匹配求取视差产生影响，所以需要在校正后对图像进行裁剪。一旦双目摄像机的结构确定后，该映射表也就固定了，不需要实时计算。因此在线处理双目图像时只需调用映射函数校正图像，即可进行后续立体匹配，减少后续处理的计算量。
[0084] 本实施例中，所述的立体视差图产生模块(404)模块，包含从图像矫正模块(403)获取校正后图像，利用半全局立体匹配法生成视差图。通过平等地对待多个一维路径,然后将各个一维路径的结果合并(505),来近似二维的情况，在半全局立体匹配算法的全局能量函数(504)中,通过对深度的不同变化加以不同惩罚保证了平滑性约束,在算法的后处理部分中,利用了左右一致性校验来检测遮挡点和误匹配点,保证了唯一性约束。算法对光照变化的影响不敏感,对噪声有较强的鲁棒性。具体过程如下：先利用均值漂移算法对图像进行分割处理(503),然后计算像素间的匹配代价(502),再结合图像分割信息构造新的全局能量函数(504),之后在多方向上进行匹配代价的聚合(505),最后选取使得全局能量函数最小的视差图为匹配视差结果。
[0085] 图5给出了半全局立体匹配算法流程，在产生立体视差图过程中，定义某一方向的代价函数为：
[0086]
[0087] 则半全局立体匹配算法要求要求得的是各个方向代价聚合的最小值：即的最小值，这其中有一个聚合的过程。半全局匹配算法能够获得与其他算法相媲美的匹配结果,优势在于有很高的效率。
[0088] 本实施例中，所述的环境信息三维重建(405)模块，包含通过兴趣点匹配及对应兴趣点距离解算(4051)、3D特征点重建(4052)、图像关联(4054)、野点检测(4055)、相对位姿解算及位姿误差估计(4056)及基于最小误差的运动决策(4057)。
[0089] 所述的兴趣点匹配(4051)过程为：线程3中利用线程2中获取的
深度图像来计算用于避障用的三维几何信息。首先，左图中的兴趣点有Harris角点检测器检测给出，然后在建立19×19的兴趣描述子之前，利用窗口大小为15×15的排序
滤波器对角点进行滤波，以去除一些高频噪声及失真。本实施例中不采用传统的SIFT或SURF特征算子的原因，以上两种特征算子对处理器的计算能力要求较高。
[0090] 所述的3D特征点重建(4052)过程为：根据已获取的深度图像，可以完成在摄像机
坐标系下对角点信息的三维重建。理论上利用连续图像中三个相关点的信息便可以计算空间六个
自由度的运动。
[0091] 所述的图像关联(4054)过程为：图像的关联原则是当前图像的所有兴趣点与之前图像中兴趣点能够全部匹配上。在此
基础上通过检测图像在各个方向上的关联性作为关联图像的一致性检测。这样可以应对
图像空间中特征的剧烈变化，及实际使用中摄像机需要快速移动或旋转的情形。
[0092] 所述的野点检测(4055)过程为：野点的检测过程利用静态场景中两个视点中摄像机坐标系下两个三维坐标点之间的距离固定的原则进行检测。
[0093] 所述的相对位姿解算及位姿误差估计(4056)及优化部分的过程为：当野点被去除后，三维点
云之间的相对关系可通过奇异值分解获得，进一步的可通过最小化椭圆误差进行优化。
[0094] 本实施例中，所述的规避决策(407)模块，包含对双目处理结果进行障碍物与无人机之间相对位姿的坐标变换(4071)、并通过结合无人机的当前状态(4072)及飞行模型(4073)生成规避轨迹(4074)。
[0095] 特别需要说明的是，图4中在线自标定模块(408)，在无人机的飞行过程中，由于作业的过程中会根据环境调整摄像机的焦距或基线，而需要重新进行标定，而繁琐的标定过程，严重限制了视觉系统在无人机领域中的应用，本发明的在线自标定模块(408)可以实现双目视觉系统的快速标定。标定方法利用消失点几何特性对双目视觉系统进行标定，图6为消失点的形成过程，标定的具体过程如下：
[0096] 定义摄像机满足针孔模型：
[0097]
[0098] 其中，(u,v)为摄像机坐标系C下点(xc,yc,zc)在图像坐标系I下的坐标，(u0,v0)为摄像机主点在图像坐标系下的坐标，kx和ky分别为归一化的焦距，ks为失真参数。
[0099] 两组平行线在图像中会交于两个消失点，消失点在摄像机坐标系C中的坐标是相互
正交的，如下式所示：
[0100]
[0101] 其中，xvh＝[xvh yvh 1]T及xvv＝[xvv yvv 1]T分别为两消失点在摄像机坐标系C下的表达，由此xvi,i＝h,v也可写作：
[0102]
[0103] 其中，(uh,vh)及(uv,vv)分别为两个消失点在图像坐标系I下的坐标，K11＝1/kx，K12＝-ks/(kxky)，K13＝ksv0/(kxky)-u0/kx，K22＝1/ky及K23＝-v0/ky。进一步可以得到：
[0104]
[0105] 其中，
[0106]
[0107] 定义h1＝H1/2H，11h1＝H13/H11，h1＝H22/H11，h1＝H23/H11及h1＝H33/H11，可得：
[0108]
[0109] 其中，h＝[h1 h2 h3 h4 h5]T及
[0110] 设计卡尔曼滤波器对h进行估计，考虑h为常矢量，系统的动力学模型为：
[0111] h(k+1)＝h(k)+η(k)，
[0112] 及输出方程为：
[0113] yc(k)＝Cc(k)h+υ(k)，
[0114] 其中，η(k)和υ(k)分别为符合高斯分布的状态变量和输出的噪声。
[0115] 定义：
[0116]
[0117] 当可获得n≥2个消失点后。系统第k拍的测量值为：
[0118] z(k)＝[-uh1hv1 -uh2hv2 L -uhnhvn]T
[0119] 由此利用卡尔曼滤波可以获得摄像机参数的优化结果，进一步可得具体内参数的结果为：
[0120]
[0121] 其中，
[0122]
[0123]
[0124]
[0125] 在实现单个摄像机在线自标定结果后，再根据标定的结果确定两个摄像机的相对位置即可完成双目摄像机的整体标定。
[0126] 需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
