一种面向电力巡检任务的无人机双目视觉障碍物感知方法
专利汇可以提供一种面向电力巡检任务的无人机双目视觉障碍物感知方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种面向电 力 巡检任务的无人机 双目视觉 障碍物 感知 方法，属于 机器视觉 技术领域。本发明包括：设计双模板Ratio检测算子从双目航空图像中提取电力线 像素 并基于直线拟合假设结合 霍夫变换 进行直线检测；基于对极几何约束原理在电力线上构建两对同名点，进而得到拟合直线方程，计算出无人机与电力线的最短距离；针对其他典型障碍物，并行完成全局三维重构，构建无人机飞行安全通道，采用特定策略提取障碍物；最后输出障碍物相对无人机的方位与物理尺寸信息。本发明方法囊括无人机电力巡检走廊环境内所有静态威胁信息，计算量小，感知结果较为精确，满足障碍物感知实时性要求。，下面是一种面向电力巡检任务的无人机双目视觉障碍物感知方法专利的具体信息内容。
1.一种面向电力巡检任务的无人机双目视觉障碍物感知方法，包括以下几个步骤：
步骤一：从双目航空图像中提取电力线像素并检测直线；
设计双模板Ratio检测算子从双目航空图像中提取电力线像素，通过霍夫变换将提取的电力线像素拼接为直线；
Ratio检测算子的双模板为：均为5X5像素，区域R1有5个像素，区域R2和R3各有10个像素，模板的方向分别为90度垂直方向和45度方向，获取模板响应函数F90和F45，取两者中的较大值为线特征响应函数Fm，如果Fm＞FTH，FTH为阈值，则这个模板的中心像素x0即为电力线像素；
步骤二：构建两对同名点并计算最短距离；
基于步骤一的电力线拟合直线假设和对极几何约束原理，在右图的直线上任意选择两点pr(u2，v2)和qr(u′2，v′2)，计算两点对应的极线方程，两条极线与左图直线将分别相交于pl(u1，ν1)和ql(u′1，v＇1)两点，即pl，pr和ql，qr是两对构造的同名点，根据双目立体视觉和解析几何原理计算无人机与电力线的最短距离；
具体为：
在双目右图像中任意选择一点Xr，在左图像中对应的同名点必在一条直线上，该直线称为极线，设极线方程为：
au+bv+c＝0 (6)
系数a，b，c通过双目摄像头基础矩阵F得到：
FXr＝[a b c]T (7)
其中，u，v是图像像素坐标轴，Xr是在右图像指定的一点坐标；
在右图直线上任意选择两点pr(u2，v2)和qr(u′2，v′2)，计算两点对应的极线方程，两条极线与左图直线将分别相交于pl(u1，ν1)和ql(u′1，v＇1)两点，即pl，pr和ql，qr是两对构造的同名点，得到同名点图像像素坐标后，根据双目立体视觉原理，计算上述选择两点的空间相对坐标：
假设C1和C2摄像机的焦距相等，内外参数相同，光轴平行且x轴重合y轴平行，即两坐标系在x轴方向上移动距离b即重合，b称为基线距离；P为空间中一点，面PO1O2与面I1和I2交线分别为E1和E2，E1和E2称为极线；E1和E2为同一直线且与x轴平行，P1和P2分别为O1P与I1和O2P与I2的交点，则P1和P2分别落在E1和E2上；根据中心投影的比例关系，得：
其中u0，v0，αx，αy是通过标定得到的摄像机内参数，u0，v0为光心坐标，αx，αy为摄像机焦距，(u1，v1)和(u2，v2)分别为p1和p2的图像坐标，即空间点的三维相对坐标通过一对同名点的图像坐标以及摄像机内参数得到；
根据式8，计算出构建两点同名点的三维相对坐标：
其中p(xp，yp，zp)和q(xq，yq，zq)即为电力线上两点的空间相对坐标，则拟合为直线的电力线方程表示为：
最后，电力线与无人机左摄像头的最短距离被定义为：
步骤三：全局三维重构并构建飞行安全通道；
针对障碍物，并行对双目航空图像进行全局三维重构，得到整图像素对应的三维相对坐标，从中提取障碍物信息，建立无人机电力巡检飞行安全通道；
步骤四：提取障碍物并输出相对方位与物理尺寸信息；
基于步骤三构建的飞行安全通道，在飞行安全通道内采用障碍物提取策略搜索障碍物，进而用矩形框将障碍物像素连通域框出，框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。
2.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的线特征响应函数Fm的获取方法为：
一块区域Ri包含ni个像素，中心点像素为x0，每一个像素的灰度值为Vk，其平均灰度值Ai定义为：
区域R1与R2以及区域R1与R3的边缘检测响应函数f12和f13分别定义为：
线特征响应函数F取边缘检测响应函数f12和f13的较小者：
F＝min(f12，f13) (3)
分别得到双检测模板响应函数F90和F45，最终的线特征响应函数Fm取两者中的较大值：
Fm＝max(F90，F45) (4)。
3.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的霍夫变换H(ρq，θp)为：
其中A(xi，yj)是每一个被提取的电力线像素的灰度值，Q是ρ的采样值的总数，P是θ离散值的总数，图像的尺寸为N*N，ρq、θp表示参数空间下的坐标。
4.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的步骤三中，飞行安全通道为：以无人机当前位置为中心，向四周拉伸安全距离R的圆柱体飞行通道。
5.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的步骤四中，障碍物提取策略为，将飞行安全通道内每个像素对应的深度值出现的次数从大至小排序，选取出现次数前N大的对应深度值AMax1，AMax2，…AMaxN，将这些深度值分别前后膨胀阈值ATH得到障碍物初提取深度值集合A：
A＝{AMax1-ATH，…，AMax1+ATH，AMax2-ATH，…，AMax2+ATH，AMax3-ATH，…，AMax3+ATH} (12)找到集合A各深度值对应的像素集合，计算各像素连通域轮廓面积，连通域轮廓面积大于设定阈值的被筛选出，轮廓内像素集合作为最终被提取的障碍物像素。
一种面向电力巡检任务的无人机双目视觉障碍物感知方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于虚拟现实与手势识别的远程呈现交互方法和系统 | 2020-05-14 | 254 |
| 工件内外表面缺陷检测方法 | 2020-05-08 | 843 |
| 一种基于视觉与激光slam的机器人室内建图方法及系统 | 2020-05-08 | 682 |
| 一种巡检机器人及其防坠落方法和装置 | 2020-05-11 | 646 |
| 一种用于虚拟定位的方法及设备 | 2020-05-13 | 532 |
| 一种基于深度感知的虚拟现实系统空间定位方法 | 2020-05-13 | 841 |
| 一种基于人工智能的服务器巡检方法及系统 | 2020-05-08 | 97 |
| 一种基于双目视觉的智能化无人水上救援装置及使用方法 | 2020-05-11 | 617 |
| 一种无人机视觉-惯性融合室内定位方法 | 2020-05-12 | 51 |
| 一种具有人脸识别功能的显示终端 | 2020-05-11 | 208 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
