技术领域
[0001] 本
发明属于无人机技术领域，具体涉及一种基于主观与客观结合的无人机视觉防撞方法。
背景技术
[0002] 防撞系统是无人机在执行飞行任务时重要的安全保障，防撞系统的可靠性在很大程度上反映了无人机的智能
水平。对于无人机防撞系统来说，无人机在飞行过程中需要不断的实时监控周围环境，及时发现障碍物，并根据与障碍区之间的深度信息重新规划其飞行路线，从而自动完成飞行任务。因此无人机自主防撞最核心的问题是解决对障碍物距离的
感知。
[0003] 现在无人机防撞系统主要分三类：1)主动式防撞系统，这类防撞系统一般会主动向障碍物投射波束，通过接收波束的反馈信息从而得到障碍物的距离信息。主动式防撞系统通常使用红外线、雷达、
超声波等对障碍物进行距离感知与防障。红外测距系统其测量范围有限。
超声波防撞系统容易受到外界环境的影响。雷达测距系统其自身
质量偏大，额定功率高和成本较高；2)被动式防撞系统，这类防撞系统直接采集场景的信息，然后对采集的图像进行处理并经过复杂的计算从而得到场景的深度信息。被动式防撞系统最典型的代表是视觉防撞系统，视觉防撞系统模拟人的视觉系统，使用视觉
传感器获取图像数据，通过对图像进行处理和计算获取外界的场景深度信息，使用场景的深度信息实现防撞，但由于
图像处理算法的局限性，在某些情况下单凭视觉系统还不能达到要求；3)复合式防撞系统，这类防撞系统结合了主动式和被动式避障的特点，其系统需要多种传感器，通常包括激光测距、双目
立体视觉系统、IMU等，多种传感器提高了成本，增大了体积和质量，难以满足轻小型无人机的要求。
发明内容
[0004] 有鉴于此，本发明的目的是提供一种基于主观与客观结合的无人机视觉防撞方法，可以提高无人机防撞系统的可靠性。
[0005] 一种基于主观与客观结合的无人机视觉防撞方法，包括：在无人机上搭载双目相机，对获得的双目图像进行处理，得到双目成像的三维图像；
[0006] 根据所述双目图像获得无人机与障碍物的距离，并将距离信息传输给无人机的飞控系统，由无人机飞控系统自主避障；
[0007] 将障碍物距离信息加载在所述三维图像上，将三维图像进行视频压缩，将压缩后的视频码流通过无线数据链传输，地面实时接收压缩的视频码流并解压缩，将解压缩的图像数据传输给VR眼镜实现三维显示，由人眼观察实时三维图像及
叠加的距离值，在紧急情况下由人工操控无人机实现基于主观的防撞；
[0008] 其中，获得所述双目图像后，当障碍物为电
力线时，按照如下方法测距：
[0009] 分别检测双目图像中的电力线；针对双目图像中的一幅图像，在电力线上选择一点P1，根据核线法，确定点P1在双目图像中的另一幅图像中对应的同名点P2；再根据点P1和P2之间的
视差，确定电力线与无人机之间的距离；
[0010] 当障碍物为非电力线时：采用基于sift算法的特征点测距法确定障碍物与无人机之间的距离，具体为：
[0011] A、对双目图像进行高斯滤波和降
采样处理，得到高斯金字塔，进而得到差分金字塔；
[0012] B、针对差分金字塔的每幅图像，获得每个
像素点的水平梯度Dxx和垂直梯度Dyy；将水平梯度Dxx与垂直梯度Dyy的乘积小于或等于设定
阈值的像素点剔除，完成极值点粗筛选；
[0013] C、对于完成极值点粗筛选的差分金字塔，进行特征点提取，获得双目图像的特征点；
[0014] D、针对双目图像中其中一幅，利用分水岭算法对不同目标进行分割；
[0015] E、将步骤C得到的特征点按照其所属的目标分配给各个目标；
[0016] F、针对每一个目标，选取部分特征点，并对特征点进行匹配，得到匹配特征点对；利用每对匹配特征点的视差，计算障碍物距离；
[0017] G、对于每个目标对应的多个障碍物距离进行聚类，得到该目标的距离；将所有目标的最小距离作为最终的障碍物距离，最终发送给飞控系统并在VR眼镜上显示。
[0018] 较佳的，当检测到多条电力线时，分别计算每条电力线的障碍物距离，将最小距离发送给所述飞控系统和VR眼镜。
[0019] 较佳的，当检测到多条电力线时，对电力线间距离小于设定值多条电力线作为一条电力线，完成电力线聚类；分别计算每条电力线的障碍物距离，将最小距离发送给所述飞控系统和VR眼镜。
[0020] 本发明具有如下有益效果：
[0021] 1)、本发明提供的一种基于主观与客观结合的无人机视觉防撞方法，采用视觉测距的方法，即直接通过高清相机采集图像，实时进行目标检测、特征点匹配等算法运算，从而实时得到距离数据，能够指导无人机实时做出飞行处理，与目标保持一定安全距离，规避障碍物，从而安全完成任务；同时，以
虚拟现实眼镜为终端，实时监测机载双目系统获取的图像数据，通过三维显示让操作人员真实感知周围场景，必要时通过无人机平台控制组件及时干预飞行路径，进一步提高安全性。
[0022] 2)、利用无人机的特定的飞行场景，采用电力线测距方法，即通过检测双目图像中的电力线，通过核线法在双目图像中找到同名点，并确定两点的视差，由此实现测距，本发明利用无人机的特殊飞行环境，创新性的将核线法结合到障碍物测距上，不但为无人机开拓了新的测距方法，还减少了同名特征点进行匹配等计算，减少计算量，提高实时性；在无电力线的情形下，本发明基于sift匹配算法采用特征点测距法，但在极值点计算之前添加新的粗筛选算法，去除了大量非极值点，从而减少了计算量，进一步提高了实时性。
[0023] 3)、本发明使用分水岭算法对图像进行处理，将整幅
图像分割成不同的目标，对同一目标的所有特征点，选取部分特征点计算距离，从而避免了大量同一目标特征点的重复计算，对同一目标计算的所有距离进行聚类得到该目标的距离，最后找到所有目标距离的最小的值并显示，提高了实时性。
附图说明
[0024] 图1为本发明的方法所基于的防撞系统示意图。
[0026] 图3为本发明电力线测距流程图。
[0027] 图4为本发明特征点测距流程图。
具体实施方式
[0028] 下面结合附图并举
实施例，对本发明进行详细描述。
[0029] 本发明的一种基于主观与客观结合的无人机视觉防撞方法，技术方案是：在无人机上搭载嵌入式平台实现双目图像的实时获取，对获取的双目图像进行三维成像和视觉双目测距，将获取的最小距离信息一方面直接传输给无人机的飞控系统，由无人机飞控系统自主避障，另一方面将障碍物距离值叠加在在三维图像上，将此时的图像进行H.265视频压缩，将压缩后的视频码流通过无线数据链传输，地面实时接收压缩的视频码流并解压缩显示，将解压缩显示的图像数据传输给VR眼镜实现三维显示，由人眼观察实时三维图像及叠加的距离值，在紧急情况下可由人工操控实现基于主观的防撞。
[0030] 参照图1，本发明的方法使用的基于主观和客观的防撞系统包括双目相机模
块、嵌入式处理平台模块、无线发送模块、无线接收模块、解压缩显示模块和虚拟现实眼镜。其中嵌入式处理平台主要是包括图像的采集、图像压缩、目标测距等图像处理；无线发送模块是将压缩的视频图像进行网络传输；无线接收模块是实时接收压缩的视频码流数据；解压缩模块是将收到的视频码流进行解压缩显示；虚拟现实眼镜主要是对解压缩的视频图像进行三维显示。
[0031] 参照图2，主要是嵌入式处理平台上的视频图像处理，其步骤如下。
[0032] 步骤一、三维成像。
[0033] (1a)对双路COMS芯片IMX222进行配置，获取CMOS输出的bayer视频数据。
[0034] (1b)把CMOS输出的bayer视频数据转成RGB格式。
[0035] (1c)对两路视频的RGB分量进行3D校正。
[0036] (1d)把校正后的RGB转成YCbCr422图像格式；
[0037] (1e)把每一路的1920*1080视频缩小成960*1080的图像，并把这两路缩小后的图像拼接成一路1920*1080视频。
[0038] (1f)把拼接后的1920*1080视频通过PCIE
接口发送给ARM处理平台。
[0039] 步骤二、当障碍物为电力线时，利用电力线测距，即分别检测双目图像中的电力线；针对双目图像中的一幅图像，在电力线上选择一点P1，根据核线法，确定点P1在双目图像中的另一幅图像中对应的同名点P2；再根据点P1和P2之间的视差，确定电力线与无人机之间的距离Z；电力线测距模块的实现，参照图3，具体为：
[0040] (2a)当ARM处理平台收到图像数据以后，读入图像并将其载入GPU显存中，通过在GPU上运行Ratio
边缘检测对双目电力线图像进行边缘检测，使用大小为9*9的Ratio模板卷积得到包含边缘信息的二值化图像。
[0041] (2b)在二值化图像的
基础上进行
霍夫变换，将空间域信息转换到参数域并进行投票。在投票后的筛选阶段有两点假设性约束：
[0042] (2b1)假设电力线以长直线的形式存在而贯穿整个图片，这是由于实验中的
双目视觉系统拥有较小的视场
角。
[0043] (2b2)单走廊高压电力线间除防
雷击地线外，其余几乎为平行走向。因此大部分电力线具有角度一致性。
[0044] 根据上述两条约束条件，本发明使用霍夫变换直线检测算法在实验场景中将背景干扰直线予以良好剔除，最终可以检测出电力线。
[0045] (2c)对电力线间距离小于设定值多条电力线作为一条电力线，完成电力线聚类；
[0046] (2d)针对双目图像中的一幅图像，在电力线上选择一点P1，根据核线法，确定点P1在双目图像中的另一幅图像中对应的同名点P2；再根据点P1和P2之间的视差，确定电力线与无人机之间的距离Z；
[0047]
[0048] 其中f表示双目相机焦距；B表示双目相机
光心之间的距离；dx是每像素的宽在物理上对应的距离，u1和u2分别为同名点P1和P2沿u轴的坐标值，Z是障碍物距离。
[0049] 步骤三、当障碍物为非高压电力线时，采用特征点测距法测距，参照图4，具体为：
[0050] (3a)针对特征点测距设计了一种基于CUDA的改进SIFT特征点提取算法，CPU接收收入的图像，一方面将图像保存CPU的内存上，另一方面将图像保存在GPU的纹理内存上。
[0051] (3b)在GPU上，对双目图像进行高斯滤波和降采样处理，得到高斯金字塔，再进而得到差分金字塔；
[0052] 常规的方法是后面再对差分金字塔进行极值点筛选，本发明中，在进行极值点检测之前进行粗筛选，即：针对差分金字塔的每幅图像，获取每个像素点的水平梯度Dxx＝|f(x+1)-f(x-1)|和垂直梯度Dyy＝|f(y+1)-f(y-1)|；
[0053] 极值点为图像中像素变化较大的点，而DOG算子会产生较强的边缘效应，为了保留图像中的极值点减少计算量，同时抑制不稳定的边缘点避免干扰，对高斯差分图像进行极值点筛选设计。当该点为极值点时Dxx，Dyy都比较大，所以Dxx*Dyy会得到一个比较大的值，若是不稳定边缘点则Dxx，Dyy只有一个比较大而另一个比较小，Dxx*Dyy会得到一个比较小的值，若既不是极值点也不是不稳定边缘点，Dxx，Dyy都比较小，Dxx*Dyy会得到一个比较小的值。因此，将水平梯度Dxx与垂直梯度Dyy的乘积小于或等于设定阈值的像素点剔除，经过阈值T的筛选，完成极值点粗筛选；其中T为经验阈值。
[0054] 对极值点的粗筛选，去除了大量非极值点，避免大量非极值点的计算，从而减少了计算量，提高了实时性。
[0055] 对于完成极值点粗筛选的差分金字塔，进行极值点计算并精确
定位。
[0056] (3c)对得到的极值点进行主方向辅方向计算，将得到的特征点主辅方向一方面保存在CPU上，另一方面将其保存在GPU上。
[0057] (3d)在GPU上根据特征点的主辅方向生成
特征向量。
[0058] 步骤四、使用分水岭算法分割图像。
[0059] (4a)将保存在CPU上的双目图像中的一幅转化为灰度图像。
[0060] (4b)运用Sobel算子获得梯度幅值图像，Sobel算子是一种包含两组3*3矩阵算子，计算公式如下，其中A代表原始图像，Dx和Dy分别代表边缘检测的图像，[0061]
[0062] 计算出的每一个像素的横向和纵向梯度近似值，通过以下公式来计算梯度大小，计算公式如下：
[0063]
[0064] 因此梯度方向为：
[0065] (4c)前景标记对象和计算，本发明采用分别对前景对象和背景对象进行标记，对图像进行开操作。
[0066] (4d)移除较暗的斑点和枝干标记。
[0067] (4e)对图像进行求补，对重建的图像进行求补。
[0068] (4f)叠加前景标记到原图上。
[0069] (4g)计算背景标记，通过阈值的方法对图像进行分割，通过计算距离变换来实现分水岭变换脊线。
[0070] (4h)分水岭变换的分割函数计算，可以使图像在特定
位置有局部最小值，同时
修改梯度幅值图像，使得在前景和后景标记像素有局部极小值；完成图像中的目标分割；
[0071] (4f)将步骤三得到的特征点按照其位置分配给各个目标；
[0072] (4g)针对每一个目标，选取部分特征点，根据(3d)中计算的特征点向量对特征点进行匹配，得到匹配特征点对；利用每对匹配特征点的视差，计算障碍物距离；每对匹配特征点都得到一个障碍物距离，由此得到多个距离；
[0073] (4h)对于每个目标对应的多个障碍物距离进行聚类，得到该目标的距离；将所有目标距离中的最小距离作为最终的障碍物距离，最终发送给飞控系统并在VR眼镜上显示。
[0074] 采用
分水岭分割目标的方法，增强了无人机观察能力，通过图像可以很直观的反映特定目标的距离信息；由于场景中会检测出来大量特征点，当一些特征点属于同一个目标时，只选取部分特征点测距即可，不需要把一个目标的所有特征点都进行测距运算，减少了计算量，提高了实时性。
[0075] 步骤五、H.265视频压缩与传输：
[0076] 在保证相同图像质量的情况下，H.265比H.264视频传输带宽减少一半。在ARM上使用GStreamer将处理后的视频图像进行H.265压缩，其码率为4Mbps，将压缩的视频码流通过无线传输模块进行网络传输。
[0077] 步骤六、三维显示：
[0078] 在地面站通过无线接收模块接收压缩的视频码流，并将视频码流通过地面
软件解压缩显示通过HDMI接口传给VR虚拟现实眼镜，从而可以直观的观察到距离值并由人工控制防止无人机防撞。另一方面可以将最小的距离值发送给无人机飞控系统，由飞控系统控制无人机从而实现无人机防撞。
[0079] 综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
