一种全天候未知环境无人自主工作平台
阅读：887发布：2020-05-13
专利汇可以提供一种全天候未知环境无人自主工作平台专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于全天候未知环境无人自主工作平台，属于 人工智能 和视觉导航领域；包括 立体视觉 定位 、红外可见光融合、 图像识别 、地图构建和回环与返程检测五个模 块 ，视觉定位与图像识别模块共用图 卷积神经网络 框架 ，视觉定位选取关键 帧 进行特征匹配与视觉定位，图像识别针对点 云 局部地图进行语义分类，地图构建模块进行点云拼接形成全局深度稠密语义地图。本发明引入 深度神经网络 提高特征提取效果节省提取时间；采用单目视觉测距，节省多目 视差 配准时间；进行多 光谱 融合关键帧图像，实现全天候高效工作，提高被遮目标检出率。，下面是一种全天候未知环境无人自主工作平台专利的具体信息内容。
1.一种全天候未知环境无人自主工作平台，其特征在于，包括视觉定位模块、多光谱图像融合模块、图像识别模块、地图构建模块和回环与返程检测模块；所述视觉定位模块利用图卷积神经网络在视频流中选取关键帧，生成二进制特征描述符并进行位姿计算；所述地图绘制模块接收来自视觉定位模块稀疏特征点云数据并进行局部地图绘制；所述多光谱图像融合模块对关键帧进行图像融合传送给图像识别模块，所述的图像识别模块对多光谱融合图像进行分类，寻找目标对象并进行语义地图构建；找到目标对象后，所述图像识别模块发送信息给视觉定位模块，对目标对象周边环境进行多目立体视觉测距和更稠密的点云地图绘制；所述地图构建模块不断进行点云拼接，并将地图进行反向回环推算；所述回环与返程检测模块保证无人机按原路返程。
2.如权利要求1所述的一种全天候未知环境无人自主工作平台，其特征在于，所述多光谱图像融合模块中采用基于仿生学原理的多孔径镜头，包括：可见光主镜头，用于日间单目视觉定位；近红外主镜头，用于夜间单目视觉定位和日间寻找被遮盖目标；可见光副镜头，用于日间扩展可见光主镜头视场；近红外副镜头，用于夜间扩展近红外主镜头视场信息；远红外镜头，用于探测热源中心和寻找被遮盖目标。
3.如权利要求1所述的一种全天候未知环境无人自主工作平台，其特征在于，所述视觉定位模块，基于V-SLAM框架，其前端部分由图卷积神经网络进行图像序列关键帧的选择和标记；
所述图卷积神经网络含有全卷积神经网络和一个双向卷积网络；
图卷积神经网络采用自适应阈值方法将图卷积神经网络每个特征映射构建为二进制数据，关键帧选取可以看作二进制分类问题，所述自适应阈值Tre的取值公式为：
上述公式中阈值记作Tre，s为映射个数，f(x)为二维点坐标x＝(u,v)在卷积层的特征映射，Fs(x)是s个坐标映射值的总和，t为自定参数；
关键帧首先用于位姿结算，其次输入图像深度神经网络用于恢复单目视觉深度，构造深度稠密局部点云地图。
4.如权利要求2所述的一种全天候未知环境无人自主工作平台，其特征在于，所述视觉定位模块，针对普通环境仅使用第一图卷积通道；针对有遮盖物环境，设置孪生卷积神经网络：第一通道为普通可见光或普通红外通道，日间只接受来自可见光主镜头、夜间只接收近红外主镜头的信息，进行单目立体视觉位姿推算并构建全卷积神经网络，获取单目深度恢复图像；同时第二通道接受来自图像融合模块传递的多光谱图像无视遮盖物影响，寻找目标物体；所述多光谱图像日间为可见光副镜头、远红外镜头、近红外主镜头的融合图像，夜间为远红外镜头、近红外主镜头、近红外副镜头的融合图像，且第二通道在发现目标物体前不用于定位、不设置depth神经网络进行单目图像深度恢复，只进行图像识别以寻找被遮盖目标；发现被遮盖目标后，第一通道关闭，开启第二通道，利用多光谱图像进行多目视觉位姿计算，无人平台停止探测围绕目标四周进行运动，提高该关键区域地图稠密程度；所述视觉定位模块开始工作后，回环检测即开始路径闭环推算。
5.如权利要求1所述的一种全天候未知环境无人自主工作平台，其特征在于，所述地图构建模块接收来自视觉定位模块的特征点云，利用点云拼接技术构建稠密点云地图并利用束调整最小化重投影误差；所述图像识别模块接收局部稠密点云地图，利用半监督式图卷积神经网络进行周围环境的多目标聚类分析，进行语义分割并构造稠密深度语义地图，并从当前位姿结合稠密地图反向推算验证回环闭合性。
6.如权利要求5所述的一种全天候未知环境无人自主工作平台，其特征在于，所述地图构建模块采用分层抽取特征的方法进行点云拼接，抽取结构分为三部分：采样层、分组层、特征提取层；
采样层采用最远点采样法：先在点云数据流中抽取N个随机点云，接着在其中任意选取一点Ni，将该点作为起点，寻找其最远点Ni+1，依次进行迭代；按遗传算法将迭代进行变异处理；
分组层在采样层提取出的中心点的自定范围内寻找最近个S近邻点组成补丁；
特征提取层将这S个点通过小型点云卷积网络进行卷积和池化得到的特征作为此中心点的特征，再送入下一个分层继续。
7.如权利要求1所述的一种全天候未知环境无人自主工作平台，其特征在于，所述回环与返程检测模块将地图提取描述符按时间戳与当前环境进行相似性计算；保证未知环境下无人平台完成巡航任务后快速原路返程。
一种全天候未知环境无人自主工作平台
技术领域
背景技术
[0002] 针对震后灾区、火灾现场等地理环境短时间内发生极大变化的复杂未知环境，目前并没有高效的搜救和地图构建设备。
[0003] 针对上述情形，当前地图构建工作主要采用直升机和卫星定位系统协调进行。其中，直升机方案机动性较差、搜索成本高，并且需要地面基站实时规划路径；而卫星建图方式数据量庞大，计算成本高，更适合灾后重建工作。因此，地图未完善前往往需要人力操控无人机进行地形测绘，而人力操控方式受限于于自主性水平和反应速度，只能低空飞行；另外人工操控需要投入大量人力资源，难以满足应急需求。
[0004] 除建图问题外，受灾群众及重要物资搜救工作也很难有效开展。直升机受外形限制和未知环境复杂度影响，很难在震区及火灾现场发挥有效的搜救作用；而卫星地图有效分辨距离在5米左右，无法定位较小目标。现有无人机设备很难实现有效避障和实时路径规划，只能在中低空巡航测绘，难以实现搜救功能。
[0006] 一类是纯立体视觉方案，前端用视觉传感器结合IMU惯性导航单元进行位置和姿态推算，后端利用“加强卡尔曼滤波器”等非线性优化公式或G2O等图优化方式进行位姿推算结果优化。视觉方案依据图像传感器数目又可分为单目立体视觉、双目立体视觉和多目立体视觉方案；
[0007] 另一类是通过立体视觉获取纹理、轮廓图像和深度估计，激光传感器获得图像更精确深度信息，将两者结合得到深度视觉图像，建立3D环境模型实现路径规划与地图构建。
[0008] 上述两种方案均利用视觉传感器进行信息位置与姿态(以下称“位姿”)计算，后端进行位姿信息的非线性优化或图优化；方案优点在于用简单的结构达到较好功能值得肯定，缺点在于：纯视觉方案中单目视觉往往丢失深度信息，双目及多目视觉方案花费过多时间和计算成本在镜头配准；而激光方案成本过高，很难实现设备小型化；同时现存方案在夜间及大雾、烟幕下成像质量差，环境适应能力低下。最重要的是，现有产品无法实现机器学习与场景记忆，每次工作过程需要大量重复的位姿解算步骤，且不具备物体识别与语义地图构建功能。
发明内容
[0009] 本发明为解决上述背景技术中，未知环境探测和灾区搜救工具存在精度差、自主性不足、环境适应性差这些缺陷，提供一种基于V-SLAM技术与多光谱图像融合技术的全天候未知环境无人自主工作平台，具体形式可以为无人机、无人探测车或探测机器人。
[0010] 一种全天候未知环境无人自主工作平台，包括视觉定位模块、多光谱图像融模块、图像识别模块、地图构建模块和回环与返程检测模块；所述视觉定位模块利用图卷积神经网络在视频流中选取关键帧，生成二进制特征描述符并进行位姿计算；所述地图绘制模块接收来自视觉定位模块稀疏特征点云数据并进行局部地图绘制；所述多光谱图像对关键帧进行图像融合传送给图像识别模块，所述的图像识别模块对多光谱融合图像进行分类，寻找目标对象并进行语义地图构建；找到目标对象后，所述图像识别模块发送信息给视觉定位模块，对目标对象周边环境进行多目立体视觉测距和更稠密的点云地图绘制；所述地图构建模块不断进行点云拼接，并将地图进行反向回环推算；所述回环与返程检测模块保证无人机按原路返程。
[0011] 进一步地，所述多光谱图像融合模块中采用基于仿生学原理的多孔径镜头，包括：可见光主镜头，用于日间单目视觉定位；近红外主镜头，用于夜间单目视觉定位和日间寻找被遮盖目标；可见光副镜头，用于日间扩展可见光主镜头视场；近红外副镜头，用于夜间扩展近红外主镜头视场信息；远红外镜头，用于探测热源中心和寻找被遮盖目标。
[0013] 所述图卷积神经网络含有全卷积神经网络和一个双向卷积网络；
[0014] 图卷积神经网络采用自适应阈值方法将图卷积神经网络每个特征映射构建为二进制数据，关键帧选取可以看作二进制分类问题，所述自适应阈值Tre的取值公式为：
[0015]
[0016] 上述公式中阈值记作Tre，s为映射个数，f(x)为二维点坐标x＝(u,v)在卷积层的特征映射，Fs(x)是s个坐标映射值的总和，t为自定参数；
[0018] 进一步地，所述视觉定位模块针对普通环境仅使用第一图卷积通道；针对有遮盖物环境，设置孪生卷积神经网络：第一通道为普通可见光或普通红外通道，日间只接受来自可见光主镜头、夜间只接收近红外主镜头的信息，进行单目立体视觉位姿推算并构建全卷积神经网络，获取单目深度恢复图像；同时第二通道接受来自图像融合模块传递的多光谱图像无视遮盖物影响，寻找目标物体；所述多光谱图像日间为可见光副镜头、远红外镜头、近红外主镜头的融合图像，夜间为远红外镜头、近红外主镜头、近红外副镜头的融合图像，且第二通道在发现目标物体前不用于定位、不设置depth神经网络进行单目图像深度恢复，只进行图像识别以寻找被遮盖目标；发现被遮盖目标后，第一通道关闭，开启第二通道，利用多光谱图像进行多目视觉位姿计算，无人平台停止探测围绕目标四周进行运动，提高该关键区域地图稠密程度；所述视觉定位模块开始工作后，回环检测即开始路径闭环推算。
[0019] 进一步地，所述地图构建模块接收来自视觉定位模块的特征点云，利用点云拼接技术构建稠密点云地图并利用束调整实现重投影误差最小化；所述图像识别模块接收局部稠密点云地图，利用半监督式图卷积神经网络进行周围环境的多目标聚类分析，进一步进行语义分割并构造稠密深度语义地图，并从当前位姿结合稠密地图反向推算验证回环闭合性。
[0022] 分组层在采样层提取出的中心点的自定范围内寻找最近个S近邻点组成补丁；
[0023] 特征提取层将这S个点通过小型点云卷积网络进行卷积和池化得到的特征作为此中心点的特征，再送入下一个分层继续。
[0024] 进一步地，所述回环与返程检测模块将地图提取描述符按时间戳与当前环境进行相似性计算；保证未知环境下无人平台完成巡航任务后快速原路返程。
[0025] 进一步地，所述多光谱图像融合模块应用于日间无遮挡、日间有遮挡及夜间环境，机动采取不同融合方式。基于Resnet-50模型设计深度卷积神经网络进行多光谱图像融合。同时训练人类与动物体温数据集和目标设备温度峰值数据集，通过多光谱图像建立温度映射，计算当前目标的温度信息，判断是否值得营救。
[0026] 本发明的有益效果：
[0027] 本发明通过改进图卷积神经网络结构生成视频流中关键帧的特征描述符，将描述符取自适应阈值进行二值化处理，加快特征提取速度并改善提取质量，有效提高了无人平台自避障精度和路径规划速度；
[0028] 本发明采用仿生的理念，使用多孔径镜头对普通未知环境和搜索目标周边环境；并分别采用单目或多目视觉方式进行测距、3D模型推导和地图构建；未发现人类、重要设备等搜救目标时只利用单目视觉测算位置与姿态，避免多目视差计算与镜头基线长度限制；
在目标对象周围构建则利用多目立体视觉和多光谱图像融合建立更详细地图，以便有效找到被粉尘、浓雾、墙体等掩盖的目标；
在目标对象周围构建则利用多目立体视觉和多光谱图像融合建立更详细地图，以便有效找到被粉尘、浓雾、墙体等掩盖的目标；
[0029] 本发明采用半监督式深度学习，节省目标识别计算时间，通过迁移学习对未设标签的图像进行聚类分析，相较于传统的全监督方式分类精确度更高、聚类效果更好；
[0030] 本发明构建深度点云拼接神经网络，将特征点云拼接成更适合无人平台自主路径规划的稠密点云图像，提高无人平台避障精度。将稠密点云数据传输与时间戳信息上传到地面站云服务器并在返程时将地图与实际地形进行比对，起到回环检测效果并可实时更新多变未知环境的当前实际地图。附图说明
[0031] 图1为本发明系统结构示意图；
[0032] 图2为视觉定位模块结构示意图；
[0033] 图3为单目深度恢复神经网络结构示例；
[0034] 图4为NYU数据集单目深度恢复结果示例；其中，(a)为可见光图像，(b)为ground truth图像，(c)为深度估计图；
[0035] 图5为点云拼接流程图；
[0036] 图6为改进相邻图优化示意图；
[0037] 图7为回环检测流程图；
[0038] 图8为图像分类识别模块示意图；
[0039] 图9为多孔径镜头方案示意图；图中：1-主可见光镜头，2-可见光副镜头，3-远红外镜头，4-近红外主镜头，5-近红外副镜头；
[0040] 图10为多光谱图像融合示例；其中，(a)为可见光图像，(b)为远红外图像，(c)为近红外图像，(d)为多光谱融合图像；
[0041] 图11为语义分割示例。
具体实施方式
[0042] 以下结合附图详细介绍本发明的技术方案：
[0043] 一种全天候未知环境无人自主工作平台，包括：视觉定位模块、多光谱图像融合模块、图像识别模块、地图构建模块和回环与返程检测模块。所述的视觉定位模块利用GCN(图卷积神经网络)在视频流中选取关键帧，生成二进制特征点描述符并进行位姿解算；所述地图绘制模块接收来自定位模块稀疏特征点云数据并进行局部地图绘制；所述的多光谱图像融合模块对关键帧进行图像融合传送给图像识别模块，所述的图像识别模块对多光谱融合图像进行分类，寻找目标对象并进行语义地图构建；找到目标对象后，所述图像识别模块发送信息给视觉定位模块，对目标对象周边环境进行多目立体视觉测距和更稠密的点云地图绘制。所述的地图构建模块不断进行点云拼接，并实时将地图进行反向回环推算。所述的回环与返程检测模块保证无人机基本按原路返程。
[0044] 如图9所示，所述多光谱图像融合模块采用基于仿生学原理的多孔径镜头：包括可见光主镜头1，用于日间单目视觉定位；近红外主镜头4，用于夜间单目视觉定位和日间寻找被遮盖目标；可见光副镜头2，用于日间扩展可见光主镜头1视场；近红外副镜头5，用于夜间扩展近红外主镜头4视场信息；远红外镜头3，用于探测热源中心和寻找被遮盖目标。
[0045] 所述视觉定位模块，基于V-SLAM框架，其中前端部分由GCN(图卷积神经网络)替代一般SLAM技术方案的描述子和检测子，进行图像序列关键帧的选择和标记；并利用自适应阈值的方法提高端对端式SLAM技术对关键帧处理的效率。关键帧首先用于位姿结算，其次输入图像深度神经网络用于恢复单目视觉深度，构造深度稠密局部点云地图。
[0046] 所述地图构建模块，接收来自视觉定位模块的特征点云，利用点云拼接技术构建稠密点云地图并利用改进的束调整技术(Bundle Adjustment)最小化重投影误差。
[0047] 所述图像识别模块接收局部稠密点云地图，利用半监督式图卷积神经网络构造稠密深度语义地图，并从当前位姿结合稠密地图反向推算验证回环闭合性。
[0048] 所述多光谱图像融合模块应用于日间无遮挡、日间有遮挡及夜间环境，机动采取不同融合方式。基于Resnet-50模型设计深度卷积神经网络进行多光谱图像融合。同时训练人类与动物体温数据集和目标设备温度峰值数据集，通过多光谱图像得到当前目标温度信息判断是否值得营救。
[0049] 所述回环与返程检测模块，将上述地图提取描述符按时间戳与当前环境进行相似性计算；保证未知环境下无人平台完成巡航任务后快速原路返程。
[0050] 下面结合附图对本发明进行详细说明：
[0051] 如图2所述，视觉定位模块，图卷积神经网络含有Resnet-50经典卷积层结构的FCN网络和一个双向卷积网络，预测原始图像中每个8×8像素大小的网格单元。采用自适应阈值方法将GCN网络每个特征映射构建为二进制数据，并以该描述子替代传统SLAM方案，如：ORB-SLAM2的二进制描述子。所述的自适应阈值取值公式为：
[0052]
[0053] 上述公式中阈值记作Tre，s为映射个数，f(x)为二维点坐标x＝(u,v)在卷积层的特征映射,Fs(x)是s个坐标映射值的总和，t为自定参数；而经实验验证：s为图像宽度值的八分之一，t取8时有最好效果。为防止某个特征响应的梯度值大于1，设置反向传播函数：
[0054]
[0055] 设置1|f|≤1相当于把反向传播过程也作了二值化处理。另外，根据GCN网络特性，关键点选取可以看作二进制分类问题，定义关键点概率映射为函数O(x)，则概率映射模型由二进制掩码构成——1代表该像素点即关键点，0则代表不是。关键点检测的损失函数用两个连续帧进行计算，因此可以将交叉熵函数用作训练的目标函数，具体设置如下：
[0056]
[0057]
[0058] xi,+＝π-1(Rgtπ(xi,zi+Tgt) (3)
[0059] 上式中，Lmask为训练GCN关键点检测子的损失函数，Lce为概率映射函数的损失函数，系数α1与α2用于排除非关键点对于损失函数的干扰，Rgt为训练所用数据集的真实旋转矩阵，Tgt为数据集的真实平移矩阵，z为图像的真实深度值。在具体实例中可以设置自适应阈值取得的二值化特征向量为256维以替代ORB-SLAM等方案中ORB算子的检测子和描述子功能。
[0060] 所诉的视觉定位，如图1所示，针对普通环境仅使用第一图卷积通道，即采用单目视觉进行检测子和二值化描述子生成，利用卷积神经网络进行单目深度恢复，恢复基于物体图像灰度值随距离变化产生相应变化，实际应用中可以：通过构建全卷积深度网络提取深度特征，然后可通过CRF(条件随机场)进行深度信息优化。所述的视觉定位模块针对火灾现场的烟雾、植被、粉尘，地震、泥石流灾区的山体、建筑这些遮盖物环境，设置孪生卷积神经网络：第一通道为普通可见光(日间)或普通红外(夜间)通道，日间只接受来自可见光主镜头、夜间只接收近红外主镜头的信息，进行单目立体视觉位姿推算，并如图3所示，构建FCN(全卷积神经网络)，获取单目深度恢复图像；同时第二通道接受来自图像融合模块传递的多光谱图像无视遮盖物影响，寻找目标物体；所述多光谱图像日间为可见光副镜头、远红外镜头、近红外主镜头的融合图像，夜间为远红外镜头、近红外主镜头、近红外副镜头的融合图像，且第二通道在发现目标物体前不用于定位、不设置depth神经网络进行单目图像深度恢复，只进行图像识别以寻找被遮盖目标。发现被遮盖目标后，第一通道关闭，开启第二通道利用多光谱图像进行多目视觉位姿计算，无人平台停止探测围绕目标四周运动，提高地图稠密程度。所述视觉定位模块开始工作后，回环检测即开始路径闭环推算。
[0061] 针对上述点云信息引入改进的束调整(Bundle Adjustment)优化，最小化重投影误差。利用NYU数据集得到恢复示例图像，如图4所示。
[0062] 所述改进的束调整优化，如图6改进的图优化模型，其节点由相机Pi和三维空间点Xj构成，把Xj投影到相机Pi图像上并把两节连接起来降低重投影误差；定义Xj在连续两个相机Pi和Pi-1上的图像归一化坐标处理为：
[0063]
[0064]
[0065] 其中 用来消除因相机内参k和k'，将齐次坐标转化为非齐次坐标。
[0066] 综上可以得到相邻点Xj和Xj-1的复合重投影误差：
[0067] Eij＝ln||ui-1,j-vi-1,j||+ln||ui,j-vi,j|| (6)
[0068] 点优化公式定义为：
[0069]
[0070] Xj在Pi中有投影时使δij＝1，否则取值为0。使用LM算法优化求最优解。
[0071] 每次迭代中的增量求解为：
[0072]
[0073] 上式中δX表示迭代步长，J(X)表示雅可比矩阵， 表示期望值，D(X)为方差。
[0074] 所述地图构建模块，接收来自视觉定位模块的特征点云，利用点云拼接技术构建稠密点云地图并利用改进的束调整技术最小化重投影误差。所述的点云拼接技术，如图5所示步骤S131采用分层抽取特征的方法，抽取结构分为三部分：采样层、分组层、特征提取层。采样层是为了从稠密的点云中抽取出一些相对较为重要的中心点，采用如5所示S1311步骤改进的最远点采样法：先在点云数据流中抽取N个随机点云，接着在其中任意选取一点Ni，将该点作为起点，进行图5中S1313步骤寻找其最远点Ni+1，依次进行迭代；进行S1314步骤按遗传算法将迭代进行变异处理：设置迭代次数为N/100次，而每迭代N/1000次将相邻五组迭代进行乱序交换；再次迭代直到N/100次结束迭代。
[0075] 分组层在采样层提取出的中心点的自定范围内寻找最近个S近邻点组成补丁；特征提取层是将这S个点通过小型点云卷积网络进行卷积和池化得到的特征作为此中心点的特征，再送入下一个分层继续。这样每一层得到的中心点都是上一层中心点的子集，并且随着层数加深，中心点的个数越来越少；但是每一个中心点包含的信息越来越多，从而实现各局部点云地图全局拼接。
[0076] 回环检测步骤如图7所示：从当前位姿结合稠密地图反向推算位姿，能回到初始位置则称为回环检测结果为闭环，未闭环则进行位姿修正，从而消除漂移误差。如图7所示S161步骤先利用ORB算法生成检测子，输入GCN网络；S161步骤设置二值化响应层，利用自适应阈值方法输出二值化的描述符；接着进行度量学习，以近邻方式训练描述子。设置二进制特征描述子训练中三元组的损失函数为：
[0077]
[0078]
[0079] xi,+＝π-1(rgt·π(xi,di)+tgt) (9)
[0080] 所述公式(9)中Lmetricc表示度量学习损失函数，m为截断的距离余量，dis等价于对32字节(256位)描述子的汉明距离，tgt表示位姿真值(Ground Truth)的旋转矩阵信息，rgt为位姿真值的平移向量矩阵信息。
[0081] 进行S163步骤，利用K-means算法对二进制描述符进行聚类处理；将描述符转化为图像“字典”的单词之后，可以采用多种组织方式来存储单词，如图7中S164步骤：采用k-d树来存储单词。举k-d树为例，可以采用变异系数法确定不同单词的区分度即权重，进而得到所述地图关键帧的单词向量，然后每隔视频流的十帧进行数据库暴力匹配，验证回环检测是否闭环。变异系数法公式如下：
[0082]
[0083] 其中 表示单词特征值的平均值，σi表示标准差,Wi表示权重取值。
[0084] 所述图像识别模块接收局部稠密点云地图，该模块利用半监督式图卷积神经网络进行位置环境聚类分析，进行语义分割并构造稠密深度语义地图。如图8所示：S151步骤进行图像特征学习，实验使用正反两个ResNet50神经网络结构框架(conv1—conv2_x—conv3_x—conv4_x)；利用全局最大池化(General MaxPooling简称GMP)方式获取图像层面特征f，f的获取公式表示为：
[0085]
[0086] 提取输入图像I的特征时，每个GCN卷积层和最大化池化层的作用等价于非线性函数fcnn()和fGMP,具体函数可采用现有模型如：Alexnet模型；特征提取结果用f表示；上式中表示空间域全集，D表示每个标签单词语义向量的维数，再将损失函数由分类交叉熵替换为二元交叉熵。具体方法可以为：计算一份样本各标签的损失(输出层采用sigmoid函数)，然后取平均值，把多标签问题转化为每个标签上的二分类问题，在此不作限定。
[0087] 进行S152步骤——GCN语义信息获取，GCN语义分类器采用预训练的BagNet模型,使用视觉局部特征袋(bag-of-local-features)进行训练。将每个GCN网络池化层得到的层面特征f输入下一层。完成学习的分类器应用于图像特征，得到类别语义特征：
[0088]
[0089] BagNet模型可以把单词向量转换成语义向量，并经过卷积层操作(fcov)生成语义特征，规定某张图像的实际语义特征是fsem， 为估计值且 K即标签个数；⊙表示卷积操作。
[0090] S153步骤设置多标签分类训练的损失函数为:
[0091]
[0092] 上式σ表示激励函数，多标签分类一般使用sigmoid函数。
[0093] 无人机于未知环境工作时将面对极其复杂的工作环境，对所有待分类对象设置标签并不现实，在多标签分类的损失函数中可以加入基于图的正则化计算：
[0094] L＝L1+λLreg
[0095]
[0096]
[0097] 上式中X表示图卷积网络中“图”的有标签节点对应的节点矩阵，A表示有标签节点的邻接节点矩阵，通过加入有标签节点矩阵和其邻接矩阵的正则化计算Lreg，可以对未设定标签的节点也进行聚类分析，从而对未设标签的物体也进行分类识别。无人平台进行未知环境探测时无法对所有物体实现进行标签设置，加入上述邻接矩阵正则化计算后，可以实现半监督式深度学习，对数据集中未设标签的物体进行详细地聚类分析，较之全监督方式节省巨量标签设置时间；较之无监督学习方式，又可以充分利用已有标签，对未知物体进行相似性比较，例如：图像中发现类似大象的物体，又无象牙、长鼻与象趾这些特征；可归为类似的河马与犀牛。大象即有标签节点，河马与犀牛即有标签或无标签的节点，接着进行正则化运算可以推出是河马、犀牛，如都不符合则接着向别的无标签节点聚类。
[0098] S154步骤将上述图像特征和语义特征输入到反卷积结构，通过双线性池化将多标签图像进行语义与图像特征融合。进行S154步骤时，在反卷积网络中还可以取消相应的池化层，换成稀疏卷积核(Dilated Convolutions)模型，在损失函数上加入稀疏约束，可简化神经网络结构并实现同样效果。所述语义分割神经网络搭建如下：
[0099] Layer name:conv1_1
[0100] Layer shape:(3,3,3,64)
[0101] Layer name:conv1_2
[0102] Layer shape:(3,3,64,64)
[0103] Layer name:conv2_1
[0104] Layer shape:(3,3,64,128)
[0105] Layer name:conv2_2
[0106] Layer shape:(3,3,128,128)
[0107] Layer name:conv3_1
[0108] Layer shape:(3,3,128,256)
[0109] Layer name:conv3_2
[0110] Layer shape:(3,3,256,256)
[0111] Layer name:conv3_3
[0112] Layer shape:(3,3,256,256)
[0113] Layer name:conv4_1
[0114] Layer shape:(3,3,256,512)
[0115] Layer name:conv4_2
[0116] Layer shape:(3,3,512,512)
[0117] Layer name:conv4_3
[0118] Layer shape:(3,3,512,512)
[0119] Layer name:conv5_1
[0120] Layer shape:(3,3,512,512)
[0121] Layer name:conv5_2
[0122] Layer shape:(3,3,512,512)
[0123] Layer name:conv5_3
[0124] Layer shape:(3,3,512,512)
[0125] Layer name:fc6
[0126] Layer shape:[7,7,512,4096]
[0127] Layer name:fc7
[0128] Layer shape:[1,1,4096,4096]
[0129] Layer name:fc8
[0130] Layer shape:[1,1,4096,1000]
[0131] Finished building Network.
[0132] Running the Network
[0133] 示例中的全卷积网络用ResNet框架进行搭建，进行实验后结果如图10所示。
[0134] 所述的多光谱图像融合模块应用于日间无遮挡、日间有遮挡及夜间环境，机动采取不同融合方式。包括：可见光主镜头1，用于日间单目视觉定位；近红外主镜头4，用于夜间单目视觉定位和日间寻找被遮盖目标；可见光副镜头2，用于日间扩展可见光主镜头1视场；近红外副镜头5，用于夜间扩展近红外主镜头4视场信息；远红外镜头3，用于探测热源中心和寻找被遮盖目标。针对上述镜头排布，可有以下组合情况：(1)日间打开可见光主镜头1进行单目深度估计，可见光副镜头2、远红外镜头3、近红外主镜头4打开与镜头1进行多光谱融合用于图像识别寻找目标物体，红外副镜头5关闭；(2)无人机镜头能见度低于5m(速度低于
10米每秒)或如情形(1)能见度高且成功找到目标物则关闭镜头2，使用可见光主镜头1、远红外镜头3与近红外主镜头4进行多目视觉定位与建图；(3)夜间关闭可见光主镜头1、可见光副镜头2，打开远红外镜头3用于红外单目视觉深度估计，打开近红外主镜头4、红外副镜头5，将远、近红外图像进行融合用于寻找目标物体。所述多光谱融合可以使用基于Resnet-
50结构搭建的深度卷积神经网络。多光谱融合过程如下：第一步先将红外和可见光图像进行双三次插值，一维插值基函数为：
10米每秒)或如情形(1)能见度高且成功找到目标物则关闭镜头2，使用可见光主镜头1、远红外镜头3与近红外主镜头4进行多目视觉定位与建图；(3)夜间关闭可见光主镜头1、可见光副镜头2，打开远红外镜头3用于红外单目视觉深度估计，打开近红外主镜头4、红外副镜头5，将远、近红外图像进行融合用于寻找目标物体。所述多光谱融合可以使用基于Resnet-
50结构搭建的深度卷积神经网络。多光谱融合过程如下：第一步先将红外和可见光图像进行双三次插值，一维插值基函数为：
[0135]
[0136] 处理二维像素点(X,Y)则利用公式：
[0137]
[0138] 上式中a和aij均为插值系数，B即Bilinear，表示双三次插值结果。第二步利用FAST检测子生成特征点并用BRIEF描述子生成二进制描述符，进行配准后输入卷积神经网络。第三步，依次进行下采样和上采样，利用按像素级别进行融合。可见光图像主要纹理和轮廓特征，红外图像补充轮廓信息。每个卷积层操作等价于以下公式：
[0139] Fi(Y)＝max(0,Wi*Y+Bi)(i＝1,...) (17)
[0140] 其中Y表示表示上一层的输入；*表示卷积运算；Wi为卷积核；Bi为神经元偏置向量。卷积得到的特征图再经过激活函数ELU(Exponential Linear Units)进行非线性激励。损失函数示例为：
[0141]
[0142] 上述公式中n为训练集数目，Γ为损失参数，多光谱融合结果如图7所示。
[0143] 所述多光谱图像融合模块还可训练人类与动物安全体温数据集和目标设备温度峰值数据集，通过多光谱图像得到当前目标温度信息判断是否值得营救。
[0144] 所述的返程检测模块保证未知环境下无人平台完成巡航任务后快速原路返程；图1中S160步骤，将上述地图按时间戳与当前环境进行最小距离计算，距离公式可以采用曼哈顿距离、欧氏距离等，这里举闵可夫斯基距离为例，当相似度低于0.95，对路径进行微调；接着设置相似度升高方向为高权重；当相似度超过0.9返回来程对应轨迹。快速实现无人平台原路返回。计算公式为：
[0145]
[0146]
[0147] 其中||z||p称为x和y点坐标距离参数z的p范数，取p≥0，并规定范数值越小，其相似度越低。
[0148] 以上所述实例仅代表本发明的具体实现方式之一，但并不能因此而理解为对本发明专利的范围的限制。应申明的是，对同行业的技术人员来说，在不脱离本发明构思的前提下，还可以做出细节调整和改进，这些均属于本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种防腐防垢涂层的制备方法 | 2020-05-13 | 929 |
| 一种用于智能网联车测试的测试车控制方法 | 2020-05-11 | 239 |
| 一种仿生学重型卡车气动减阻装置 | 2020-05-13 | 95 |
| 一种基于MEMS传感器的榫卯式心音探头 | 2020-05-15 | 745 |
| 带有仿生波状结构前缘的跨音速压气机平面叶栅 | 2020-05-08 | 871 |
| 一种利用半仿生学原理提取黄芪多糖的制备方法 | 2020-05-12 | 763 |
| 一种仿生马 | 2020-05-14 | 408 |
| 基于停电信息大数据分析的线路拓扑核查方法及系统 | 2020-05-11 | 535 |
| 一种全天候未知环境无人自主工作平台 | 2020-05-13 | 887 |
| 一种阴道凝胶推进器 | 2020-05-15 | 160 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
仿生学热门专利
QQ群二维码
意见反馈
意见反馈