专利汇可以提供基于深度学习和注意力机制的单目视觉里程计算方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 深度学习 和注意 力 机制的单目视觉 里程计 算方法,具体步骤包括:先采集原始单目彩色图像,并将图像尺寸裁剪为统一大小;将裁剪过后的第i张图像和第i+1张图片输入PWCnet光流计算模 块 ,获取光流向量场,并将光流向量场按照4个象限等分为4个光流子向量场;将4个光流子向量场输入 卷积神经网络 ,分别获取4个子 特征向量 ;将4个子特征向量合并为一个总特征向量,然后将总特征向量输入全连接网络,获取估计 位姿 向量;实时采集图片,并依次送入卷积神经网络,得到若干连续的估计位姿向量,通过若干连续的估计位姿向量获取估计里程。本发明拥有很好的视觉里程计算 精度 和计算速度。,下面是基于深度学习和注意力机制的单目视觉里程计算方法专利的具体信息内容。
1.一种基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,包括以下步骤:
S1、采用注意力机制构造注意力机制模块,并在注意力机制模块的基础上构建卷积神经网络;
S2、采集原始单目彩色图像,并将原始单目彩色图像尺寸裁剪为统一大小;
S3、将裁剪过后的第i张图像和第i+1张图片输入PWCnet光流计算模块,获取光流向量场,并将光流向量场按照4个象限等分为4个光流子向量场;
S4、将4个光流子向量场输入卷积神经网络,分别获取4个子特征向量;
S5、将4个子特征向量合并为一个总特征向量,然后将总特征向量输入全连接网络,获取估计位姿向量;
S6、以减少估计位姿误差为目标,对卷积神经网络进行训练;
S7、实时采集图片,并依次送入训练完成的卷积神经网络,得到若干连续的估计位姿向量,通过若干连续的估计位姿向量获取估计里程。
2.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述卷积神经网络包括4条通道,所述4条通道的结构相同,均包括依次连接的第一卷积层、第一注意力机制模块、第二卷积层、第二注意力机制模块和第一特征向量合并模块,所述第一注意力机制模块还与第一特征向量合并模块的输入端连接,所述第一特征向量合并模块用于将第一注意力机制模块的输出数据和第二注意力机制模块输出数据组合;
所述第一卷积层为卷积核大小为9×9且卷积核数量为64的卷积层,所述第二卷积层为卷积核大小为3×3且卷积核数量为20的卷积层。
3.根据权利要求2所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述第一注意力机制模块和第二注意力机制模块结构相同,均包括通道注意力模块和空间注意力模块;
所述通道注意力模块包括第一最大池化层、第一平均池化层、多层感知机、第一加法器和第一sigmoid激励函数单元,所述第一最大池化层的输入端为注意力机制模块的第一输入端,所述第一平均池化层的输入端为注意力机制模块的第二输入端,所述第一最大池化层的输出端和第一平均池化层的输出端分别与多层感知机的输入端连接,所述多层感知机的输出端与第一加法器的输入端连接,所述第一加法器的输出端与第一sigmoid激励函数单元的输入端连接;
所述空间注意力模块包括第二最大池化层、第二平均池化层、第二加法器、上卷积层和第二sigmoid激励函数单元,所述第二最大池化层的输入端和第二平均池化层的输入端分别与第一sigmoid激励函数单元的输出端连接,所述第二最大池化层的输出端和第二平均池化层的输出端分别与第二加法器的输入端连接,所述第二加法器的输出端与上卷积层的输入端连接,所述上卷积层的输出端与第二sigmoid激励函数单元的输入端连接,所述第二sigmoid激励函数单元的输出端为注意力机制模块的输出端。
4.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述步骤S2中将原始单目彩色图像尺寸裁剪为1226×370×3,其中1226为图片宽度,370为图片高度,3为通道数。
5.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述步骤S3中光流向量场数据格式为1226×370×2,其中1226为图片宽度,370为图片高度,2为通道数;4个光流子向量场数据格式均为613×185×2,其中613为图片宽度,
185为图片高度,2为通道数。
6.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述步骤S4中将4个光流子向量场输入卷积神经网络具体为:将第一象限的光流子向量场输入卷积神经网络的第一通道,将第二象限的光流子向量场输入卷积神经网络的第二通道,将第三象限的光流子向量场输入卷积神经网络的第三通道,将第四象限的光流子向量场输入卷积神经网络的第四通道;
所述4个光流子向量场在与其对应的通道中均经过以下步骤:
A1、通过第一卷积层提取数据维度为6×20×64的第一特征向量;
A2、将第一特征向量传递给第一注意力机制模块进行优化,获得数据维度为6×20×64的第二特征向量;
A3、将第二特征向量传输给第二卷积层,通过第二卷积层获取数据维度为2×5×20的第三特征向量;
A4、将第三特征向量传递给第二注意力机制模块进行优化,获得数据维度为2×5×20的第四特征向量;
A5、将数据维度为6×20×64的第二特征向量拉直成长度为7680的第五特征向量,将数据维度为2×5×20的第四特征向量拉直成长度为200的第六特征向量;
A6、通过第一特征向量合并模块将第一特征向量和第二特征向量合并为长度为7880的第七特征向量;
将4个光流子向量场对应4个第七特征向量作为4个子特征向量。
7.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述步骤S5包括以下分步骤:
S5.1、通过第二特征向量合并模块将卷积神经网络4个通道输出的特征向量合并为长度为31520的第八特征向量,并将第八特征向量作为总特征向量;
S5.2、将第八特征向量传输给全连接网络中节点数为1024的第一全连接层处理后,经过一个elu激励函数,获取激励结果;
S5.3、将激励结果传递给第二全连接层,获取6自由度的估计位姿向量。
8.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述步骤S6中对卷积神经网络进行训练的过程为:通过估计位姿向量获取估计位姿向量误差,根据深度学习理论,使用ADAM优化器对卷积神经网络进行训练,使估计位姿向量误差下降至0.1时训练完成。
9.根据权利要求8所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述估计位姿向量误差loss为:
loss=||tpred-ttruth||2+β||rpred-rtruth||2 (1)对卷积神经网络的训练时,将初始学习率设置为1×10-4,将训练过程每次传入神经网络的光流向量场个数设置为32,将训练的轮数设置为100,前70轮训练保持学习率保持不变,后30轮训练将学习率衰减至1×10-5;
其中,rpred为预测的旋转向量,rtruth为实际的旋转向量,tpred为预测位移向量,ttruth表示实际的位移向量,β表示平衡系数。
10.根据权利要求1所述的基于深度学习和注意力机制的单目视觉里程计算方法,其特征在于,所述估计里程s为:
s=[s0,s1,s2,...,sn-1,sn] (2)
其中,si表示第i次运动的估计位资向量,i=1,2,...n,xi表示第i次运动x轴的分量,yi表示第i次运动y轴的分量,zi表示第i次运动z轴的分量,φi表示旋转向量ri的在xy平面的欧拉角分量,θi表示旋转向量ri的在yz平面的欧拉角分量, 表示旋转向量ri的在zx平面的欧拉角分量,dxi、dyi、dzi、dφi、dθi和 分别表示xi、yi、zi、φi、θi和 的变化量。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种电动车定位方法及定位服务器 | 2020-05-08 | 489 |
车辆信息预估方法、系统、终端及可读存储介质 | 2020-05-08 | 693 |
一种轨道交通的自动检票系统与方法 | 2020-05-11 | 0 |
一种考虑收费路径的高速公路计费费率准确性评测方法 | 2020-05-08 | 418 |
一种钢轨表面伤损漏磁检测装置及方法 | 2020-05-11 | 983 |
行李车收集方法及行李车收集设备 | 2020-05-08 | 389 |
一种轨道交通信号系统自动化辅助设计的实现方法及系统 | 2020-05-11 | 570 |
面向车间托盘搬运的多移动机器人编队协作定位方法 | 2020-05-08 | 20 |
基于深度学习的单目视觉里程计方法及系统 | 2020-05-08 | 960 |
一种金属管道检测装置 | 2020-05-11 | 363 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。