综合H图案识别和AprilTag二维码识别的无人机精准降落
方法
技术领域
[0001] 本公开涉及无人机精准降落技术领域，特别是涉及一种
综合H图案识别和AprilTag二维码识别的无人机精准降落方法。
背景技术
[0002] 本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
[0003] 随着无人机技术的发展和普及，无人机的自主降落技术是无人机实现自动化的重要一环，而精准降落技术又是降落技术中对精准度要求很高的技术，所以相应的难度也就更大。
[0004] 在基于
深度学习的
图像识别之前，常规的降落方法是依靠GPS
定位来辅助降落，而民用级别的GPS定位
精度能达到10m左右，误差较大，而且GPS
信号在遮挡物较多的区域，比如
建筑物密集或森林，会造成误差增大甚至信号丢失，甚至会受到恶意的卫星定位信号干扰而降落到错误地点；专业级高精度GPS设备成本昂贵，不具有经济实用性。
[0005] 而仅采用深度学习的图像识别，又会出现无人机受
风扰的问题无法解决，AprilTags是一种视觉基准系统，适用于各种任务，包括
增强现实、
机器人和相机校准，AprilTags检测
软件计算标签相对于摄像机的精确3D
位置、方向和标识。在无人机不具备较好的抗风性能时，AprilTags标签识别可以对无人机根据风向的影响进行微调，保证飞机能够正常
悬停。
发明内容
[0006] 为了解决上述问题，本公开提出了一种综合H图案识别和AprilTag二维码识别的无人机精准降落方法，结合深度学习的图像识别和AprilTags标签的无人机精准降落，减少无人机降落在使用民用GPS定位带来的误差，减轻移动设备在实时处理图像时的负担，结合AprilTags提高降落的精度，并且在恶劣环境下，解决无人机降落时的风扰问题来提高精准降落的
稳定性和可靠性。
[0007] 为了实现上述目的，本公开采用如下技术方案：
[0008] 第一方面，本公开提供一种综合H图案识别和AprilTag二维码识别的无人机精准降落方法，包括：
[0009] 制作目标识别图像，将其设置于目标降落点，所述目标识别图像包括二维码标签和目标图形；
[0010] 控制无人机停至目标降落点的上空，将摄像头调整至向下垂直方向，使得目标识别图像出现在摄像头
视野范围内；
[0011] 在无人机降落到
指定高度之前和降落到指定高度之后，分别识别无人机相对于目标图形和二维码标签的偏移量，并判断该偏移量是否满足预设的误差范围值，调整
水平距离和正方向
角度，执行降落至目标降落点。
[0012] 作为可能的一些实现方式，所述目标图形包括“H”标签、三角形标签以及圆圈标签，所述目标识别图形为矩形，包括设置于矩形四角和矩形中心的五个二维码标签、设置于矩形中心的“H”标签，设置于“H”标志上方为三角形标签，以及最外层的圆圈标签，所述圆圈标签内不包含矩形四角上的二维码标签，并且标签
颜色与背景色颜色不同。
[0013] 作为可能的一些实现方式，在无人机降落到指定高度之前，对目标图形进行图像识别，判断无人机相对于目标图形的水平距离偏移值与正方向角度偏移值是否满足预设的第一误差范围值，调整水平距离和正方向角度，执行降落至指定高度；
[0014] 在无人机降落到指定高度之后，对二维码标签进行图像识别，计算无人机相对二维码标签的偏移量，并判断该偏移量是否超过预设的第二误差范围值，调整水平距离和正方向角度，直至无人机移动到目标识别图像的中心点，执行降落至目标降落点。
[0015] 作为可能的一些实现方式，所述对目标图形进行图像识别包括，
[0016] 预设水平距离误差值和正方向偏移误差值，根据无人机当前位置拍摄的图像返回水平距离偏移值，以及通过识别出的三角形图案与“H”图案的坐标计算正方向角度偏移值，将水平距离偏移值和正方向角度偏移值分别与预设的水平距离误差值和正方向偏移误差值进行比较，若满足误差范围，执行降落操作；若不满足误差范围，采用PID
算法进行水平方向的位置调整，直到满足误差范围，执行降落操作。
[0017] 作为可能的一些实现方式，所述对二维码标签进行图像识别包括，[0018] 采用棋盘格法对摄像头参数进行校准，获取摄像头参数；
[0019] 识别摄像头拍摄的图像中的二维码标签；
[0020] 根据获取相机参数和二维码标签进行目标降落点的相对定位，根据二维码标签
位姿结合矩阵运算库计算出相机的旋转角度。
[0021] 作为可能的一些实现方式，无人机在识别目标图形阶段，将垂直距离分为多个区间范围，所述多个区间范围内无人机下降速度保证一致；
[0022] 无人机在识别二维码标签阶段，将垂直距离分为多个区间范围，在该多个区间范围内随着高度的降低，下降速度变小。
[0023] 第二方面，本公开提供一种综合H图案识别和AprilTag二维码识别的无人机精准降落系统，包括，
[0024] 图像绘
制模块，其用于制作目标识别图像，所述目标识别图像包括二维码标签和目标图形；
[0025]
控制模块，其用于控制无人机停至目标降落点的上空，将摄像头调整至向下垂直方向，使得目标识别图像出现在摄像头视野范围内；
[0026] 识别与调整模块，其用于在无人机降落到指定高度之前和降落到指定高度之后，分别识别无人机相对于目标图形和二维码标签的偏移量，并判断该偏移量是否满足预设的误差范围值，调整水平距离和正方向角度，执行降落至目标降落点。
[0027] 与
现有技术相比，本公开的有益效果为：
[0028] 本公开提供的一种综合H图案识别和AprilTag二维码识别的无人机精准降落方法，保证图像识别时的性能平衡，在降落时解决风扰的问题，保证了整个降落过程高精度、稳定性和可靠性。
[0029] 把整个降落分为多个区间，在每个区间误差和降落速度设置不同的值，随着高度的下降，精度逐渐提高；
[0030] 同时，结合基于深度学习的图像识别和AprilTags二维码标签的优点，提高降落的精度，减轻移动设备在实时处理图像时的负担，最终达到无人机厘米级精准降落。
附图说明
[0031] 构成本公开的一部分的
说明书附图用来提供对本公开的进一步理解，本公开的示意性
实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0033] 图2为停机坪目标识别图像示意图；
[0034] 图3为精准降落的控制流程示意图；
[0035] 图4为拆分出来的部分停机坪图案；
[0036] 图5为AprilTags二维码示意图。具体实施方式：
[0037] 下面结合附图与实施例对本公开做进一步说明。
[0038] 应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
[0039] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0040] 实施例1
[0041] 如图1所示，本公开提供一种综合H图案识别和AprilTag二维码识别的无人机精准降落方法，包括：
[0042] 步骤一：制作目标识别图像，将其设置于目标降落点，即停机坪内；所述目标识别图像包括二维码标签和目标图形；
[0043] 所述的目标识别图像为最外层的圆圈、三角形、“H”以及五个二维码标签组成。图案是黑色，背景为亮黄色；
[0044] 其中，使“H”标志位于图像正中心，“H”标志上方为三角形，标有三角形的一侧对应无人机的前方，另一侧对应无人机的后方，“H”字的两条边对应无人机的降落腿两条边；停机坪的颜色不唯一，尽量选择
对比度较强的颜色，比如本实施中停机坪采用亮黄色，“H”字标识、三角形以及圆圈的目标识别图像采用黑色，增强无人机在空中通过摄像器件对停机箱定位槽的检测辨识度，，在特殊情况下，无人机必须手动降落时，显眼的停机坪设计可以更好的辅助飞手；
[0045] 五个二维码标签中其中一个设置于图形正中间，其余四个分别设置在图形的四个角上，且四角上的标签尺寸小于中间的标签尺寸，二维码标签可采用AprilTags标签。停机坪正中间的AprilTags标签是主要的识别标签，四角上的标签较中间的标签要小原因有二：一是在解决风扰时提供无人机的水平偏移量，二是随着无人机高度的下降，摄像头视野范围缩小，小面积的标签可以完整的出现在视野里。
[0046] 步骤二：控制无人机停至目标降落点的上空，将摄像头调整至向下垂直方向，使得目标识别图像出现在摄像头视野范围内；
[0047] 步骤三：在无人机降落到指定高度之前和降落到指定高度之后，分别识别无人机相对于目标图形和二维码标签的偏移量，并判断该偏移量是否满足预设的误差范围值，调整水平距离和正方向角度，执行降落至目标降落点。
[0048] 根据拍摄的图像对目标识别图像进行两阶段的识别操作，第一阶段，对目标图形进行图像识别，判断无人机相对于目标图形的水平距离偏移值与正方向角度偏移值是否满足预设的第一误差范围值，调整水平距离和正方向角度，执行降落至指定高度；
[0049] 设定第一识别阶段无人机识别垂直距离的最大值和最小值，并将该识别垂直距离的范围分为第一区间范围、第二区间范围和第三区间范围；所述第一区间范围的上限值为识别垂直距离的最大值，第三区间范围的下限值为识别垂直距离的最小值；其次，第一区间范围的下限值为第二区间范围的上限值，第二区间范围的下限值为第三区间范围的上限制。
[0050] 预设水平距离误差值，当无人机处于第一区间范围和第二区间范围时，根据无人机当前位置拍摄的图像返回水平距离偏移值，通过与预设的水平距离误差值进行比较，若满足误差范围，执行降落操作；若不满足误差范围，采用PID算法进行水平方向的位置调整，直到返回的水平距离偏移值满足误差范围。保证无人机在当前的垂直高度上，与目标识别图像在水平方向上的偏移距离满足误差值。
[0051] 预设正方向偏移误差值，当无人机处于第三区间范围时，通过识别出的三角形图案与“H”图案的坐标计算正方向角度偏移值，通过与预设正方向偏移误差值进行比较，若满足误差范围，执行降落操作；若不满误差范围，则调整水平距离和正方向角度，直到满足误差范围，执行降落操作。
[0052] 所述第一识别阶段无人机下降速度保证一致。
[0053] 本实施例中，第一识别阶段是基于深度学习的图像识别，具体描述为识别圆圈、三角形、“H”，如果无人机高度大于3m小于20m，无人机识别图3所示图案，同时把这一部分的高度分为20m-8m、8m-5m、5m-3m三个区域，以
分辨率为2560*1080的华为平板为例，这三个区域的误差都为30px，这三个区间内的偏移范围较大，但是随着高度的下降逐渐缩小，因为高度不同，成像坐标也不同，所以相同的误差值代表的是不同的实际误差范围，而下降速度保持在0.5m/s左右。
[0054] 当开始返回识别结果时，无人机悬停在当前高度，比较结果和预设水平距离误差值，通过PID算法进行水平方向的位置调整，直到满足误差范围。在5m-3m这个区域时，无人机开始识别三角形图案，通过识别三角形和“H”时返回的坐标计算出角度，进行正方向角度的调整，正方向角度最小误差为10°-30°，比较当前图像识别获取的水平距离和正方向角度是否满足误差范围，若满足误差范围设定值，执行降落操作；若不满足，悬停在当前位置，调整水平距离和正方向角度，直到满足误差范围。
[0055] 第二阶段，无人机执行降落至指定高度后，计算无人机相对二维码标签的偏移量，并判断该偏移量是否超过预设的第二误差范围值，调整水平距离和正方向角度，直至无人机移动到目标识别图像的中心点，执行降落至目标降落点。
[0056] 设定第二识别阶段无人机识别垂直距离的最大值和最小值，将该阶段无人机的垂直距离小于第一识别阶段识别垂直距离最小值时的距离范围设为第四区间范围；
[0057] (1)采用棋盘格法对摄像头参数进行校准，获取摄像头参数；所述参数包括焦距、畸变参数等；
[0058] (2)获取摄像头拍摄的含有二维码标签的识别图像，利用
图像处理算法检测识别图像中的二维码标签；
[0059] (3)根据获取的摄像头参数和二维码标签进行目标降落点的相对定位，根据二维码标签位姿结合Eigen矩阵运算库计算出相机的旋转角度；
[0060] 所述采用棋盘格法对摄像头参数进行校准，对识别图像进行预处理；所述预处理包括对彩色图像进行滤波、去噪的操作；
[0061] 对预处理后的图像进行
像素梯度的聚类操作，提取边缘和拟合边缘线；
[0062] 对边缘线添加从暗区指向明区的向量，对边缘线进行连接得到quad回路，判断quad回路并解码，获取相机参数；
[0063] 所述位姿，识别二维码标签以及二维码标签的的旋转角度，构建
姿态数据方程，求解得到二维码
坐标系在成像平面坐标系的位姿。
[0064] 所述第四区间范围可以根据实际需要分为多个下降区域，但随着高度的降低，下降速度变小。两个识别阶段中预设的误差范围值根据高度的不同而设为不同的误差值。
[0065] 在本实施例中，无人机落到3m以下时开始识别AprilTags标签，把这一部分的高度分为3m-2m、2m-1m、1m-0.5m，下降速度分别为0.2m/s、0.2m/s、0.1m/s。在这之前需要使用棋盘格法对高清相机进行校准，获取包括相机的焦距、畸变参数在内的内参；通过无人机
云台获取
视频流，利用图像处理算法检测识别图像中的AprilTags标志；利用校准好的相机参数，结合AprilTags标志进行停机坪的相对定位，根据返回的位姿结合Eigen库计算出相对于相机的旋转角度。
[0066] 误差范围设置在12cm内，正方向角度最小误差为10°-30°，比较当前获取的水平距离和正方向角度是否满足误差范围，若满足设定值，执行降落操作；若不满足，悬停在当前位置，调整距离和角度，直到满足误差范围。
[0067] 步骤四：无人机执行降落操作到设定高度后，计算无人机相对目标识别图像中心点的偏移量，并判断该偏移量是否超过预设的误差范围值，调整水平距离和正方向角度，直至无人机移动到中心点；
[0068] 根据拍摄的目标图像，通过识别出四角的二维码标签计算出无人机的相对中心点的偏移量，判断所述偏移量是否超过预设的误差范围值，如果超过，则通过PID算法进行水平位置的调整，直到把无人机移动到中心点，执行降落。
[0069] 在本实施例中，假设无人机高度在2m以下，如果是在适宜的条件下进行飞机微调，那么不会处理停机坪四角的AprilTags标签所返回的水平位移和位姿；理论上无人机通过识别返回的结果从高空开始降落时，无人机相对于停机坪的偏差值是在一个可预测的一定范围内的，如果风影响了无人机微调，五个AprilTags标签在无人机坐标中产生了超过预设的偏差值，我们可以认为无人机受到了风等因素的干扰，为了解决风扰问题，在无人机偏离停机坪中间部分时，只要摄像头视野内还能看见停机坪四角的AprilTags标签，就能计算出无人机的偏移量，然后控制无人机在水平位置上进行调整。
[0070] 根据视野范围内的标签的坐标与屏幕中心坐标的差值，重新计算PID；特别是摄像头视野范围内没有了停机坪中间的AprilTags标签，出现了四角上的某个标签，无人机将悬停，获取当前的水平位移，通过PID算法进行水平方向的位置调整，直到把无人机移动到停机坪中间的AprilTags标签的附近，接下来的操作同上直至无人机完成降落。
[0071] 步骤五：通过上述步骤，不断调整水平位移和正方向角度，根据高度使用不同的垂直速度，实现无人机的精准降落。
[0072] 实施例2
[0073] 本公开提供一种综合H图案识别和AprilTag二维码识别的无人机精准降落系统，包括，
[0074] 图像绘制模块，其用于制作目标识别图像，所述目标识别图像包括二维码标签和目标图形；
[0075] 控制模块，其用于控制无人机停至目标降落点的上空，将摄像头调整至向下垂直方向，使得目标识别图像出现在摄像头视野范围内；
[0076] 识别与调整模块，其用于在无人机降落到指定高度之前和降落到指定高度之后，分别识别无人机相对于目标图形和二维码标签的偏移量，并判断该偏移量是否满足预设的误差范围值，调整水平距离和正方向角度，执行降落至目标降落点。
[0077] 以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本公开的保护范围之内。
[0078] 上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的
基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或
变形仍在本公开的保护范围以内。
