专利汇可以提供一种基于生成对抗网络的轨迹回环检测优化方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种基于生成对抗网络的轨迹回环检测优化方法,包括: 数据采集 装置获取多目标信息,输出目标坐标 位置 、态姿、轨迹及高低 分辨率 图像集合;构建生成对抗网络重建生产仿真目标,包括第一生成器和第二生成器,三个局部 鉴别 器和一个全局鉴别器,输出仿真目标坐标位置、态姿、轨迹及真实目标的仿真高低分辨率图像集合;回环检测修正目标轨迹:检测关键 帧 ,计算特征重复率,对同一目标基于二维高低分辨率图像集合、低分辨率图像集合以及三维RGB点 云 ,构建字典判断回环;基于回环帧对目标轨迹进行优化,输出优化轨迹。本发明在实时更新轨迹的同时寻找到最优轨迹,为无人控制、目标探测与识别、可行区域检测、路径规划等提供精准的信息。,下面是一种基于生成对抗网络的轨迹回环检测优化方法专利的具体信息内容。
1.一种基于生成对抗网络的轨迹回环检测优化方法,其特征在于,主要包括:
(一)利用数据采集装置获取多目标信息;所述目标,为真实目标,包括目标点云、位置坐标、态姿、轨迹以及输出高低分辨率图像集合;
(二)构建生成对抗网络重建目标;所述目标,为仿真目标,包括仿真目标的坐标位置、态姿、轨迹以及真实目标的仿真高低分辨率图像集合;仿真低分辨率图像集合与低分辨率图像集合产生的差值将作为弥补生成对抗网络的损失值;
(三)检测目标关键帧,判断回环帧,基于回环帧对目标轨迹进行优化,获取优化轨迹。
2.基于权利要求1所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述(一)利用数据采集装置获取多目标信息,具体包括如下步骤:
步骤1,对目标进行检测,获取包含深度信息的深度图像、RGB彩色信息的彩色图像、RGB-D数据、三维RGB型点云数据;
通过激光雷达传感器获取目标位置、目标三维点云及点云坐标;通过双目立体视觉相机获取目标三维轮廓;通过RGB-D相机获取目标当前彩色信息和深度信息;
步骤2,对激光雷达传感器获取的点云数据进行预处理,基于双边滤波对点云进行降噪处理,同时对目标进行提取,将待配准目标从全局场景中分离;
步骤3,获取完整目标点云轮廓:通过基于点云的深度信息,利用NARF关键点提取算法对点云进行边缘检测,获得表面稳定而邻域变化大的边缘点,得到点云轮廓;将所述点云轮廓与所述由双目立体视觉相机获取的三维点云轮廓进行配准,生成完整的目标轮廓;
步骤4,关键点提取,由所述RGB-D相机获取的彩色信息,基于彩色信息对点云进行描述,通过点云RGB描述算子检测RGB关键点,对所述点云数据建立kd-tree以检测目标关键点,首先将目标的所有候选点按照方差进行排序,然后取方差最大的前10%的点构成目标候选关键点集合,对目标候选关键点集合中的点,在以阈值R为半径的区域进行搜索,保留区域中方差最大的点为关键点,直至提取出目标所有关键点;
步骤5,对目标点云进行粗配准和精配准,直至获取完整的目标信息;用标签对目标进行标记,添加时间戳,以获取时间同步的被标记的多个目标的数据序列。
3.基于权利要求2所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述数据采集装置,包括使用双目立体视觉相机、激光雷达传感器和RGB-D相机,在不同距离阶段使用不同设备获取目标;
当目标距离较远,利用双目立体视觉相机和RGB-D相机捕获目标,通过图像处理算法获得目标的方位角信息,接着根据方位角信息引导激光雷达传感器对目标进行定位扫描测距,获得目标的相对距离信息;由于距离较远,测距信息以激光测量信息为准,该阶段得到目标相对距离和方位信息,能够为下一阶段的位姿获取和目标跟踪做准备;
对于近距离阶段,利用激光雷达传感器、双目立体视觉相机和RGB-D相机实现目标的相对位姿测量,为导航实现必要的相对位姿;当光照条件不能满足视觉测量要求,利用激光雷达传感器对目标进行位姿测量;当光照条件满足视觉要求时,利用视觉和激光融合的方式进行位姿测量。
4.基于权利要求2所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述点云的深度信息,对于同一目标,计算前后帧的相对位移和角度,以角度垂直方向作为点云的投影方向,获取点云深度信息,与所述RGB-D相机获取的点云深度信息进行加权处理,输出当前目标的点云深度信息;
所述获取目标,还包括对于同一目标的RGB图像进行处理,得到包含目标的高分辨率图像数据集和对应的包含目标低分辨率图像数据集。
5.基于权利要求1所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述(二)构建生成对抗网络重建目标,具体包括:由于场景中可能出现多个目标的情况,而多个目标之间可能会发生遮挡,造成识别不清晰,因此利用生成对抗网络,将包含目标的连续多帧图像输入到生成对抗网络,获取仿真目标;所述仿真目标,还包括目标的坐标位置、态姿、轨迹以及包含目标的高低分辨率图像;
生成对抗网络中包含生成器和鉴别器,交替优化,使目标函数达到最优,在鉴别器网络、生成器网络中均使用Adam作为优化器,选择循环次数20000,批处理大小为32。
6.基于权利要求5所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述生成器,包括第一生成器网络和第二生成器网络,
所述第一生成器网络,将包含由所述数据采集装置获取的真实目标的外部三维轮廓、内部三维点云、深度信息和彩色信息作为输入,经过3层卷积层、4层扩张卷积层、3层反卷积层以及最后卷积层,输出仿真目标;
所述第二生成器网络,将包含由所述数据采集装置获取的真实目标及所述真实目标彩色信息的高分辨图像和低分辨率图像作为输入,经过3层卷积层、6层残差层、3层反卷积层和最后卷积层,输出包含所述真实目标的仿真高分辨率图像集合和仿真低分辨率图像集合;
计算生成器损失:
其中,α、β和γ表示平衡因子,用于控制及平衡各项损失函数,
表示感知损失,LKJ表示三维点云坐标在卷积神经网络中的映射值,I′i表示第i幅图像重建值, 表示目标重建时在训练过程中权值;F(·)表示学习映射函数;
表示分辨率损失,仿真低分辨率图像集合与低分辨率图像集合产生
的差值将作为弥补生成对抗网络的损失值; 表示轮廓边缘损失,yi
和fi表示第i幅低分辨率图像和第i幅高分辨率图像;Lei和Hei分别表示第i幅低分辨率图像对应的边缘和第i幅高分辨率图像对应的边缘。
7.基于权利要求6所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述第一生成器网络,结构为3层卷积层、4层扩张卷积、3层反卷积以及最后卷积层;
其中,所述3层卷积层的卷积核大小分别为7×7、5×5、3×3,步长为2,特征图数量分别为64、128、256;所述4层扩张卷积的卷积核大小分别为3×3、膨胀因子分别为2、4、8、16,步长为1,特征图数量分别为256、256、256、256;所述3层反卷积层的卷积核3×3,步长为2,特征图数量分别为128、64、32,经过3层反卷积层进行填充;所述最后卷积层的卷积核大小为3×3、卷积步长为1,特征图数量为3;在每层卷积层输出加入BN层和lReLu层,最后一层卷积的输出采用Tanh函数激活,形成仿真目标数据;
所述第二生成器网络,结构为3层卷积层、6层残差层、3层反卷积层和最后卷积层;
其中,所述3层卷积层的卷积核大小分别为7×7、5×5、3×3,特征图数量分别为64、
128、256;所述6层残差层中的每个残差层包括两个卷积层和残差连接,卷积核大小均为3×
3,特征图数量均为256;所述3层反卷积层的卷积核大小均为3×3,特征图数量分别为256、
128、64;所述最后卷积层的卷积核大小为3×3,步长为2,特征图数量为3;第二生成器网络的每个卷积层随后也包含一个BN层和lReLu激活层,最后一层为Tanh函数激活函数。
8.基于权利要求5所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述鉴别器,包括局部鉴别器和全局鉴别器,
所述全局鉴别器,用于对包含所述真实目标的仿真高分辨率图像、低分辨率图像、包含所述仿真目标及所述仿真目标的轨迹的整体质量进行全局判断;
所述局部鉴别器,包括3个鉴别器网络,即第一鉴别器网络、第二鉴别器网络、第三鉴别器网络;
所述第一鉴别器网络,用于鉴别由所述数据采集装置获取的真实目标以及由所述第一生成器网络输出的仿真目标;所述仿真目标,包括目标的坐标位置、姿态形状;
所述第二鉴别器网络,用于鉴别包含所述真实目标的高分辨率图像集及其对应的低分辨率图像集,与由所述第二生成器输出的包含所述真实目标的仿真高分辨率图像集合及对应的低分辨率图像集合;
所述第三鉴别器网络,用于鉴别包含所述真实目标的高分辨率图像、对应的低分辨率图像以及真实目标融合后的目标数据,与包含目标的第二高分辨率图像、对应的第二低分辨率图像以及仿真目标融合后的仿真目标数据;
计算鉴别器损失:
LD=λ1L1+λ2L2+λ3L3+λ4L4 (2)
其中,λ1、λ2、λ3和λ4分别表示为与局部鉴别器损失L1、L2和L3以及全局鉴别器损失L4对应的权重,用于平衡不同损失对损失函数的影响;
在鉴别器网络的每个卷积层后增加dropout,dropout层将dropout率设为梯度更新的学习率,当生成器输出值损失大于预设阈值时,为保证模型在稳定的情况下保留原始信息的传递,丰富图像细节,设置梯度更新的学习率,公式如下:
其中,f(x)表示dropout的比例,n表示循环次数,b表示调节参数,当n=0时b=0,其余情况自行设定。
9.基于权利要求8所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述全局鉴别器,采用5层卷积大小为5x5,步长为2的卷积层,输出通道数分别为64,128,256,
512,512;所述局部鉴别器,采用6层卷积大小为5x5,步长为2的卷积层,输出通道数分别为
64,128,256,512,512,512;通过全连接层将局部鉴别器和全局鉴别器的输出结果进行融合,作为最终的输出结果;在鉴别器的最后一层卷积层中,使用Sigmoid函数作为卷积层的激活函数,其余卷积层使用LRelu作为激活函数,卷积层后接BN操作,使用批量规范处理。
10.基于权利要求1所述的基于生成对抗网络的轨迹回环检测优化方法,其特征在于,所述(三)检测目标关键帧,判断回环帧,基于回环帧对目标轨迹进行优化,获取优化轨迹,具体包括:目标可能在相同帧时刻出现多个目标,如第t-1帧出现n个目标,而第t帧时刻出现n-1个目标,因此为获取同一目标的运动轨迹,首先检测出包含同一个目标的所有帧时刻,然后检测关键帧;而对于仅出现单个目标,目标发生旋转、静止;或出现多个目标,多目标之间相对静止、旋转的情况,仅根据相邻帧数据的误差信息无法消除目标在运动过程中的出现的累计误差,因此利用回环检测定义额外的间隔更长的约束关系,所以检测回环帧,步骤具体如下:
步骤1,以当前帧时刻t为基础,在第1至t时刻获取目标的完整信息数据,包括目标三维点云及轮廓特征、彩色特征以及目标态姿、位置,对于同一目标保留其所有帧,组成关键帧参考集合;
步骤2,将第一帧预设关键帧,计算第2至t-1帧的包含目标的周围环境特征信息的特征重复率,若特征重复率不小于特征重复率预设值,保留符合要求的帧图像,构成候选关键帧集合,否则不作为候选关键帧集合;
从关键帧参考集合中选择任意一帧与当前帧进行比较,特征重复率阈值为当特征重复率大于25%且跟踪到20个点以上时,或当目标短时间旋转角度超过15°时,或当目标静止时每5秒产生一个关键帧,将生成一个候选关键帧;
同一目标的位移和旋转角度满足预设值,则将当前帧作为关键帧,存入候选关键帧集合,运动预设值为0.2-0.5之间,若满足运动预设值,则当前帧为新的关键帧:
其中,E表示运动值,ω1、ω2、ω3表示目标运动过程距离、方位角和俯仰角的平衡权重,表示测量过程中对各测量值的信任程度;d表示距离变化量,θ表示方位角变化量,表示俯仰角变化量,与平移和旋转角有关;
步骤3,从候选关键帧中选择帧,基于二维高分辨率图像、低分辨率图像以及三维RGB目标点云,通过kd-tree表达字典,构建点云区域块、高分辨率字典块、低分辨率字典块,计算相似性,构成关键帧集合:
基于二维,包含所述真实目标的高分辨率图像集合和对应的低分辨率图像集合,以及将包含所述真实目标的仿真高分辨率图像集合和对应的低分辨率图像集合,构成分辨率图像集合P,按照像素之间的颜色相似性进行组成图像块,将高分辨率图像块和低分辨率图像块分别进行训练,获取高分辨率字典和低分辨率字典,通过kd-tree表达字典,作为获取关键帧的重要判断因素之一,加强回环帧的检测;
高分辨率图像块组成高分辨率字典Dh,低分辨率图像块组成低分辨率字典Dl,由于由于高分辨率图像块在高分辨率字典Dh下,和低分辨率图像块在低分辨率字典Dl下存在相同的稀疏向量,通过联合训练,优化高分辨率字典和低分辨率字典:
其中,ε表示为了平衡稀疏度和图像块的精度,ε=0.1,x表示高分辨率图像块,y表示低分辨率图像块,N和M分别表示在高分辨率和低分辨率图像矢量下的维度,P表示图像块的个数,p表示第p个图像块;
基于三维,对所述目标的XYZ-RGB点云数据建立kd-tree,XYZRGB点云数据由RGB-D数据经过转换后获得,以彩色特征计算像素之间是否相似,根据彩色相似性组成点云区域块,其中,S表示(i,j,k)位置点云中心像素点与近邻位置(r,o,c)点云的相似性,IM表示目标;B(i,j,k)、G(i,j,k)、R(i,j,k)表示提取以(i,j,k)为中心的目标三维点云块的彩色特征,Z是归一化因子;
步骤4,以第一个关键帧的坐标作为初始坐标,计算随后新增的关键帧相对于初始关键帧的位姿变换矩阵;当前帧为关键帧时,将当前帧与之前关键帧集合中的关键帧进行匹配,若当前关键帧已存在于关键帧集合中,则当前关键帧为回环帧,计算此时的位姿矩阵;
步骤5,根据回环帧对相应的位姿变换矩阵进行优化更新,调整当前关键帧,得到更新位姿变换矩阵;所述根据所述位姿变换矩阵确定每个目标对应的三维坐标,通过连续多个回环帧更新目标位姿,完成目标的轨迹优化。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
基于WSN及无人机的地空协同全域建筑健康监测方法 | 2020-05-14 | 492 |
胃行为的仿真方法和系统 | 2020-05-14 | 114 |
一种基于多目标追踪框架的无人机视频中车速校正方法 | 2020-05-15 | 896 |
多源目标的空间直方图表示与跟踪方法 | 2020-05-16 | 829 |
手持式飞机油箱快速三维地图重建装置及重建方法 | 2020-05-11 | 115 |
输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | 2020-05-13 | 62 |
一种基于深度学习的无人机航拍视频轨迹高精度提取方法 | 2020-05-15 | 190 |
基于深度学习和视惯融合的室内机器人运动估计方法 | 2020-05-16 | 361 |
一种铸锭过程动态除渣的机器人轨迹规划方法 | 2020-05-11 | 144 |
一种用于柔性内窥镜操作机器人的运动控制方法 | 2020-05-15 | 145 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。