技术领域
[0001] 本
发明涉及桥梁检测、无人机导航定位技术领域，特别涉及一种非卫星导航定位环境的 桥梁检测无人机系统。
背景技术
[0002] 近年来，我国交通建设发展迅速，大规模桥梁相继完工。全球大跨度桥梁，我国占比已 超过50％。桥梁的健康检测关系着交通运输的安全和人民的生命财产安全。当前常用的检测 手段为人工目测或使用桥梁检测车，均有一定局限性：人工目测会存在检测盲区和监测效率 低等问题，而使用桥梁检测车
费用高、机动性差、影响桥梁使用。
[0003] 目前，无人机技术不断发展，检测应用前景良好。针对传统桥梁检测手段的局限性，国 内已提出多种用于桥梁检测的无人机。针对桥梁的
钢索、桥墩、桥墩支座、桥塔、桥腹等部 位部件损伤及结构变化的检测，无人机具备诸多的优势，如低成本、机动性、便携性、实时 性等。现有的用于桥梁检测的无人机平台也不可避免地有一些局限，关键问题是解决无人机 在桥梁复杂环境下的高
精度定位和自主避障。无人机主要依靠GNSS技术获取全域绝对
位置信 息。在桥梁环境的卫星
信号较少情况下，低成本GNSS定位收敛时间长，在无人机高速运动时 导航定位信息滞后情况非常明显；尤其在桥梁的非空旷环境下，
卫星信号会受到桥梁结构或 障碍物的严重遮挡，致使定位精度下降甚至不能定位。避障技术是增加无人机安全飞行的保 障，在桥梁环境下尤为需要；消费级无人机和航测无人机以正射影像拍摄为主，基本只基于 GNSS控制航迹，不能满足无人机桥梁复杂环境下的极高避障要求。
发明内容
[0004] 针对现有的无人机平台在桥梁监测环境存在导航定位和自主避障的局限性，本发明提供 一种桥梁检测无人机系统，设计桥下非GNSS环境的局域组合导航定位和避障方案。
[0005] 为了实现上述目的，本发明所采用的技术方案为：
[0006] 一种非卫星导航定位环境的桥梁检测无人机系统，包括无人机飞行平台、机载组合定位 模
块、机载监测模块和地面站控制系统，所述无人机飞行平台包括无人机本体、电源、动
力 模块、飞行
控制器和机载无线通信终端，所述机载监测模块得到的信息通过机载无线通信终 端实时传输至地面站控制系统；其特征在于：所述机载组合定位模块包括超宽带导航定位模 块、微惯性
导航系统、气压高度计和光流避障模块，所述机载监测模块包括机载环境监测传 感器、视觉监测
传感器和雷达建模传感器，所述飞行控制器分别与机载组合定位模块、机载 监测模块和机载无线通信终端连接；所述机载无线通信终端包括机载数据传输模块、机载图 像传输模块、遥控器接收器及UWB标签；所述微惯性导航系统用于获得无人机的
角度和角速 度；所述光流避障模块用于
感知无人机与桥底面的相对运动速度、运动方向和距离；所述超 宽带导航定位模块用于桥梁非GNSS空间的三维实时快速位置坐标解算；所述气压高度计用于 高程位置的平滑滤波估计；
[0007] 所述飞行控制器，基于组合
位姿信息实现无人机三级闭环控制，第一级为
姿态控制，第 二级为位置控制，第三级为机载传感器监测任务控制；所述姿态控制通过所连接的微惯性导 航系统，基于姿态
扩展卡尔曼滤波获得无人机的角度、
角速度；所述位置控制通过所连接的 超宽带导航定位模块、微惯性导航系统、气压计和光流避障模块组合，基于组合位置互补滤 波估计无人机的位置和速度；所述传感器监测任务控制，基于地面站控制系统传输的计划任 务、实时规划任务和设备遥控管理指令，实现包括机载环境监测传感器、视觉监测传感器和 雷达建模传感器的计划与在线监测任务控制功能。
[0008] 所述地面站控制系统包括地面无线
基础设施和地面站规划控
制模块；所述地面无线基础 设施包括对应机载无线通信终端的地面数据传输模块、地面图像传输模块、遥控发射器和UWB 基站；所述地面站规划
控制模块，通过连接对应的机载无线通信终端以及地面无线基础设施， 集中采集机载
传感器数据，以及基于控制律解算地面站任务的控制要求，形成控制指令和参 数，将控制指令和控制参数传输到无人机飞行控制器，从而执行动作、标定航迹及向操作员 提供规划辅助；所述地面站任务包括飞行模式、航线规划、感知控制。
[0009] 所述光流避障模块安装在无人机顶部，进行无人机顶部到桥梁底部的短距离测距和特征 获取；利用
图像序列中
像素的时域变化以及相邻
帧的差分，来测量其在桥梁底部成像平面上 像素小运动的瞬时差异，从而估计平面方向的位移变化量、变化率和方向，实现无人机在桥 梁下方的
悬停自稳、定向飞行及定速飞行。
[0010] 所述环境监测传感器包括
空速计、温湿计和
气体传感器，所述视觉监测传感器包括高清 摄像机或红外摄像机，所述雷达建模传感器包括
合成孔径雷达、高
光谱成像仪和
微波雷达。
[0011] 所述UWB基站共有四个，分别采用
碳纤杆固定在桥两侧，使得UWB基站信号和桥下机载 接收机是直射视距路径或绕射路径。
[0012] 本发明的有益效果有：提供一种桥梁检测系统，由无人机飞行平台、机载组合定位模块、 机载监测模块、地面站控制系统组成，针对现有的无人机桥梁检测系统中存在的非GNSS环境 定位和避障问题，提出了由超宽带、微惯性组合定位和光流避障的方法，有效解决传统桥梁 检测手段具有的受限性，如减少桥梁检测中的盲区和对交通的影响。
附图说明
[0013] 图1是本发明系统原理图；
[0015] 图3是桥梁监测无人机三级控制
算法流程图；
[0016] 图4是第二级互补滤波采集与参数模型；
[0017] 图5是桥梁监测无人机模型图。
具体实施方式
[0018] 下面结合附图，对本发明作详细说明：
[0019] 如图1所示，本发明一种非全球卫星导航定位(GNSS)环境的桥梁检测无人机系统，包 括：无人机飞行平台、机载组合定位模块、机载监测模块、地面站控制系统；
[0020] 所述无人机飞行平台包括无人机本体、电源、动力模块、飞行控制器、机载无线通信终 端；
[0021] 所述机载组合定位模块包括超宽带(UWB)导航定位模块、微惯性元件(MIMU)、气压高 度计(BAR)、光流(OF)避障模块；
[0022] 所述机载监测模块包括机载环境监测传感器、视觉监测传感器和雷达建模传感器；
[0023] 所述地面站控制系统包括地面无线基础设施和地面站规划控制模块；
[0024] 所述飞行控制器由ARM处理器组成，内置SD卡，可存储信息，分别与机载组合定位模块、 机载监测模块和机载无线通信终端连接。
[0025] UWB组合定位方法
[0026] 所述机载组合导航定位模块，采用基于UWB定位模块、微惯性元件(MIMU)和气压高度 计(BAR)的组合技术，UWB标签和UWB基站(已知坐标)保持高频脉冲通信链路和量测飞行 时间(TOF，Time of Flight)数据；九轴MIMU测量
加速度、角速度和方向角信息；BAR获 取气压高度信息；从而，进一步实现无人机在桥梁非GNSS环境下自主导航定位。
[0027] 1)利用MIMU数据解算无人机在三维(3D)空间的相对位置(x、y、z绝对坐标)和运 动信息(速度、加速度、角速度)推算位移和转向角；
[0028] 2)利用UWB估计轨迹，利用位移和转向角修正UWB轨迹，利用UWB数据修正IMU误差；
[0029] 3)利用MIMU实时估计姿态(
滚转、
俯仰、
偏航角度)，进行INS导航误差，利用UWB 数据修正INS误差。
[0030] 相比于独立改进UWB、MIMU、激光的软/
硬件技术，融合GNSS/MIMU/激光组合导航定位算 法能更好互补误差。由于松耦合在实际工程应用中的简单可行，且具有很强的适用性，本发 明采用GNSS/MIMU松耦合方式，用扩展卡尔曼滤波对参数进行估计，在保证高效率的同时实 现对非线性非正态分布系统的最优估计。由于小型无人机的高机动性和不
稳定性，对融合定 位轨迹进一步进行贝叶斯非线性平滑算法，从而提高对非线性/非高斯序贯轨迹点的拟合和平 滑。
[0031] 所述的UWB基站共有四个或以上，全部用碳纤杆固定在桥两侧，使得信号和机载接收机 是直射视距路径或绕射路径。为了在三维空间中获取无人机的位置信息，需要事先预置四个 以上UWB基站，UWB基站需放置尽量避免共面，并保证无人机在四个定位基站的范围内飞行。
[0032] 由于在桥梁检测中，桥梁结构等障碍会带来多径(Multipath)、非视距(Non-Line of Sight， NLOS)和干扰误差，因此，将UWB和MIMU进行组合，规避多径和NLOS带来的定位误差， 二者以深组合的方式协同定位；同时鉴于UWB高程精度较低的缺点(UWB基站高程分布差 异小)，本发明用机载气压计所得的绝对高度和
超声波相对变化估计高度。
[0033] 设UWB-TOF多边测距解算的无人机初始位置为(x0，y0，z0)，以下为深组合扩展卡尔曼滤 波算法的过程：
[0035] 状态方程为：
[0036]
[0037] 式中， 为状态向量； 为四个UWB基站的位置坐标 向量，Mi为第i个基站的坐标，i＝1，2，3，4； 为k时刻15
维微惯导 解算误差向量，fk为姿态误差向量， 为速度误差向量， 为位置误差向量，为
加速度计 误差向量， 为
陀螺仪误差向量，且这5个误差向量均含有3个元素。
ωk为k时刻 的系统噪声，其协方差矩阵为Qk； 为微惯导解算误差的状态转移矩阵；O为零矩阵，I为单位 矩阵。
[0038]
[0039]
[0040] 其中， 为k时刻导航
坐标系下东、北、天方向的比力值；T为
采样周期；为载体 坐标系到导航坐标系的坐标转换矩阵。
[0041] 观测方程为：
[0042]
[0043] 式中， 为速度误差的观测向量； 为UWB的观测向 量，为标签与各基站的距离测量值； 为系统
的观测噪 声矩阵，其协方差矩阵为Rk。
[0044] 使用深组合扩展卡尔曼滤波对实验数据进行融合处理，得到坐标的最优期望值。
[0045] 根据以上组合定位算法可得到的UWB定位标签的位置。
[0046] 所述UWB定位基站在系统工作前预置在不同平面，并保证无人机在四个UWB定位基站 的范围内飞行。同时确定UWB基站坐标系的z轴与气压计所得高度与初始标定坐高程z0之间 的关系Δh(在can-bus总线的数据输出
频率可调节，数据输出频率典型值为1Hz)：
[0047] zk＝hk+Δh
[0048] 其中Δh为此UWB坐标系的z轴与气压计所得高度之间的相差，为固定值。所述无人机的 位置可以通过以上组合定位算法得到，经过大地坐标系Obxeyeze转换后为(xk，yk，zk)。
[0049] 基于光流避障
[0050] 当光流传感器安装于四旋翼无人机顶部朝上面向桥底面时，可以感知无人机与桥底面的 相对运动速度、运动方向和距离。假设摄像机坐标系与
机体坐标系重合，用Obxbybzb表示， 地面为大地坐标系Oexeyeze且近似为平面，地面点p的高度记为 dsonar表示测距仪测 量的摄像机中心距离地面点p的距离， 为大地坐标系原点到机体系原点距离向量在大地坐 标系下的表示。地面点p的归一化图像坐标表示为
[0051]
[0052] p点位置的变化率为
[0053]
[0054] 地面点p在大地坐标系(pe)和机体坐标系(pb)中的关系如下
[0055]
[0056] 因为
[0057]
[0058] ωb为机体旋转角速度，ve为
飞行器在大地坐标系下的飞行速度，当地面点p静止时，有
[0059]
[0060] 由上式可知
[0061]
[0062] 即
[0063]
[0064] 最终写成如下形式
[0065]
[0066] 综上所述，对于地面点p，图像点为 光流 可以通过以上算法解算获得，而ωb可以通 过三轴陀螺仪测量得到， 为p点在机体系z轴的投影，可以通过下列方程得出[0067]
[0068] 为 在大地坐标系z轴的投影，由此可得深度为
[0069]
[0070] 将上式写为
[0071]
[0072] 如果有M个可求光流的图像点，有
[0073]
[0074] 令 那么vb的估计可 以采用下式得到
[0075]
[0076] 式中， ωb为陀螺仪测量值， 为陀螺仪偏移估计值，因此 即消除偏 移后的测量角速度。
[0077] 因此，基于光流传感器的测速模型可以表示为：
[0078]
[0079] 式中ncam为摄像头的测量噪声。基于运动模型 (速度、方向)和
超声波测距，可以控 制无人机的运动和避障。
[0080] 无人机三级控制过程
[0081] 所述飞行控制器基于组合位姿信息，实现无人机三级闭环控制，第一级为姿态控制(转向 方式)，第二级为位置控制(升降方式)，第三级为传感器控制(监测任务)。
[0082] 基于地面站传输的计划任务、实时规划任何和设备遥控管理指令，实现机载测控设备的 状态监测调整、遥测数据收集控制以及飞行性能管理等监测控制功能。
[0083] 第一级：飞行控制器所连接的微惯性导航系统，基于姿态扩展卡尔曼滤波对加速度计进 行非
重力加速度分离，然后对加速度计进行一次和二次积分获取含有误差的角度、角速度， 同时加速度/磁力计对俯仰角、滚动角和偏航角进行矫正。
[0084] 第二级：飞行控制器所连接的气压计、光流传感器、UWB定位标签，基于组合位置深组 合改进滤波算法，修正由加速度计积分带来的速度、位置估计误差，获得无人机的三维坐标、 角度和速度。
[0085] 第三级：飞行控制器通过所连的无线通信终端接受地面站传输的计划任务，和姿态控制 器通过控制分配器控制
电机和无人机的飞行状态，调整机载监测传感器任务流程。
[0086] 所述OF避障模块安装在无人机顶部，进行无人机顶部到桥梁底部的短距离测距和特征获 取，在桥梁下方探测到障碍物后，使无人机采取规避动作(定点控制、上升下降、地下跟随方 式)，从而实现无人机在桥梁下方的防碰撞(避障)功能；所述OF模块利用图像序列中像素 的时域变化以及相邻帧的差分，来测量其在桥梁底部成像平面上像素小运动的瞬时差异，从 而估计平面方向的位移变化量、变化率和方向，实现无人机在桥梁下方的悬停自稳、定向飞 行、定速飞行等。
[0087] 所述的机载监测模块，与无人机飞行控制器连接，包括机载环境监测传感器、视觉监测 传感器和雷达建模传感器。所述的环境监测传感器包括但不限于空速计、温湿计和气体传感 器，所述的视觉监测传感器包括高清摄像机或红外摄像机，所述的雷达建模传感器包括合成 孔径雷达(InSAR)、高光谱成像仪、微波雷达；所述的机载监测模块得到的信息通过机载无 线通信终端实时传输至地面站控制系统。
[0088] 飞行控制器所连接的微惯性导航系统，基于姿态扩展卡尔曼滤波获得无人机的角度、角 速度，加速度/磁力计同时对俯仰角、滚动角和偏航角进行矫正。根据已知的机载雷达的测距 结果d0(无论正负)和桥梁的3D模型，可以得到雷达与病害位置连线与竖直方向的夹角为θ0， 连线在Oexeyeze
水平平面投影与x轴夹角θ1。
[0089] 即得到病害坐标为：(xe+d0sinθ0cosθ1，ye+d0sinθ0sinθ1，ze+Δh+d0cosθ0)。
[0090] 机载无线通信终端包括数据传输模块、图像传输模块、遥控器接收器和UWB标签地面无 线基础设施包括对应机载通信模块的数据传输模块、图像传输模块、遥控发射器和UWB基站。 数据传输模块将无人机的实时状态数据传输至地面站控制系统，也可将地面站的操作指令实 时发送到无人机端。图像传输模块可以传输图像或视频，为避开干扰，工作频率选择5.8GHz， 并搭载高增益三叶草天线，其具有圆极化特点，以保证无人机在不同的姿态下实现稳定发射 信号。地面端使用两轴(俯仰轴、水平轴)伺服驱动的高增益定向
跟踪天线，无人机实时传回 地面的水平、垂直位置信息与地面段所在的位置信息进行地理几何运算，得到地面端天线指 向无人机所需的俯仰角与水平角，通过USB数据口驱动伺服装置，实现天线实时对准无人机， 进而达到远距离实时视频传输的效果。数据和图像的传输通过对应的发射/接收机与地面站建 立链路，地面站再接入网络通信；从而实现数据的机载、地面站、
服务器的多层次分布式/ 集中式数据传输和计算。
[0091] 地面站规划控制系统通过连接对应的机载无线通信终端以及地面无线基础设施，可以集 中采集的机载传感器数据，以及基于控制律解算地面站任务(飞行模式、航线规划、感知控 制)的控制要求，形成控制指令和参数，将控制指令和控制参数传输到无人机飞行控制器， 从而执行动作、标定航迹及向操作员提供规划辅助；地面站控制系统基于服务器端多源监测
数据处理可实现不同监测应用，如基于图像的桥梁裂缝特征识别和受力模式分析、基于序列 影像数据的桥梁
可视化、基于空速计和温湿度计的桥梁环境分析、基于雷达的桥梁
三维建模。
[0092] 本项目无人机地面站系统主要分两种模式：(1)基于PC端地面站开发，无人机飞行控 制信息与
监控系统信息都呈现在地面站监测平台里；(2)基于移动终端的地面站；移动端的 APP中(手机或其他移动终端)完成主要数据监测功能，移动端APP支持Andriod4.2.2+和 IOS 8.0+两种平台。地面站
软件可以根据实际项目任务规划无人机的
飞行计划，在飞行过程 中可以实时显示无人机的状态，包括姿态、方位、速度、电量、任务等信息，如图5。
[0093]
实施例1：检测桥梁底部裂缝和
螺栓脱落点
[0094] 下面结合附图对本发明作更进一步的说明。系统依次按照以下步骤检测桥梁底部螺栓状 况：
[0095] 步骤1，把四个UWB基站用碳纤杆固定在桥两侧，并保证无人机在四个定位
锚点的范围 内飞行。在地面站软件中预设四个基站的位置坐标。
[0096] 步骤2，根据光线明暗判断，选择在无人机上放置高清摄像机。为检测桥梁底部螺栓状 况，选择把高清摄像机和雷达上置。
[0097] 步骤3，检查无人机飞行平台各模块工作状态。检查无误后，试飞开始实验。
[0098] 步骤4，试飞实验无人机起降、悬停等基本功能，无误后通过地面站软件为无人机规划 路线。
[0099] 步骤5，无人机按照既定路线航行，通过雷达测距使无人机与桥梁底部保持相同距离航 行。
[0100] 步骤6，远程控制无人机对桥梁底部进行拍照或录像，并实时把图像信息传输回地面控 制平台。
[0101] 步骤7，基于形态学进行图像或视频处理，结合已知的桥梁模型，判断有无裂缝存在。 具体过程：
[0102] (1)多结构中值滤波将形态学中的结构元素引入到中值滤波中来，采用4种形状的 3X3结构元素对原始灰度图像进行依次滤波处理。由于采用了多种结构元素，因而可以对多 种噪声进行有效地滤除。
[0103] (2)形态学
边缘检测算法与
空域梯度算子相比较，用对称结构元素得到的
形态学梯度受 边缘方向的影响最小，因此将形态学梯度边缘检测算法应用到桥梁裂缝检测当中，能得到理 想的裂缝边缘特性。
[0104] (3)裂缝计算对裂缝的长度和宽度的计算，先需要对裂缝进行细化，得到裂缝的骨架， 并求出各段骨架的斜率，再通过计数的方式便可得到裂缝的长度和宽度，进一步评估裂缝对 整个桥梁结构造成的病害。
[0105] (4)结合桥梁结构和螺栓特征，采用原始图像数据发现对应的螺栓脱落点，对脱落点进 行识别记录并形成最终报告。
[0106] 步骤8，数据处理软件结合拍摄包含裂缝和脱落螺栓的视频或图像及无人机的位置、姿 态等信息，按照图4所示的坐标转换图，计算裂缝的具体位置。
