首页 / 专利库 / 电脑零配件 / 计算机系统 / 软件 / 软件包 / 软件组件 / 一种基于LIFT的视觉定位和惯性导航组合的定位方法

一种基于LIFT的视觉定位和惯性导航组合的定位方法

阅读:1021发布:2020-06-22

专利汇可以提供一种基于LIFT的视觉定位和惯性导航组合的定位方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于LIFT的视觉 定位 和惯性导航组合的定位方法,该方法先使用Kinect摄像头完成图像的信息采集,从而获得图像的周围场景信息,然后使用LIFT深度网络架构处理完成后获得相关参数同时实现视觉定位,与此同时还需要安在运动载体上的 陀螺仪 和 加速 度计 测量 角 速度 、加速度、三轴速度、空间 位置 和三个 姿态 角,进而实现惯性导航相关定位;最后是将基于LIFT深度网络架构所测得的数据和惯导所测的数据进行融合校准,最终实现基于LIFT视觉定位和惯性导航的组合定位,取得最优的 位姿 轨迹结果;LIFT是一个新的深度网络架构,它可以同时将图像的特征检测、方向估计和特征描述这三个步骤集合在一起,使用统一的方式完成这三个问题,同时保持了端到端的可微性。,下面是一种基于LIFT的视觉定位和惯性导航组合的定位方法专利的具体信息内容。

1.一种基于LIFT的视觉定位和惯性导航组合的定位方法,其特征在于,包括如下步骤:
1)基于LIFT的视觉定位:Kinect传感器对待定位的场地进行采集图像数据,获取环境的场景信息,对采集到的图像数据采用基于LIFT的方法进行图像特征点提取和处理,完成独立定位的参数估计;
2)惯性导航定位:惯性传感器对通过安装在运动载体上的陀螺仪加速度计对待定位的场地进行数据采集,得到速度和加速度数据,采用粗对准和精对准方法进行数据对准,对测得的角速度和加速度数据采用欧拉角法进行姿态解算,并根据初始位置求出当前位置,完成运动估计
3)基于LIFT的视觉定位和惯性导航的动态组合定位:对Kinect传感器和惯性传感器的数据估计结果进行数据关联处理,采用组合策略进行动态组合定位,得到视觉定位轨迹估计结果。
2.根据权利要求1所述的一种基于LIFT的视觉定位和惯性导航组合的定位方法,其特征在于,步骤1)中,所述的基于LIFT的视觉定位,具体步骤如下:
1-1)利用Kinect传感器采集的待定位的地方采集图像数据,并获取环境的场景信息;
1-2)利用LIFT方法对彩色图像进行识别和匹配,进而提取图像特征点,构建孪生网络,并使用结构-运动(SFM)算法生成的特征点对场景进行训练,得到图像的位置和方向;所述孪生网络,具体是创建四支孪生网络架构,每个分支包含三个不同的卷积神经网络:检测器、方向估计器和描述符;还包括四组图像补丁:P1、P2、P3和P4,P1和P2分别对应同一3D点的不同视图,P3包含不同3D点的投影,P4不包含任何特征点,在训练时,每四胞胎的第i个补丁Pi都要经过i个分支;为了实现端到端的可微性,将每个分支的组件连接如下:
①给定一个输入图像补丁P,检测器提供一个得分图S;
②在得分图S上执行一个软argmax函数,并返回单个潜在特征点的位置x;
③提取一个以x为中心的小块p,用空间变压器层裁剪,将其作为方向估计器的输入;
④方向估计器预测一个补丁取向θ;
⑤根据方向旋转p使用第二个空间变压器层,在图3中标记为红,产生Pθ;
⑥Pθ连接到描述网络,并计算特征向量d;
1-3)对彩色图像和深度图像进行内配准,得到二维特征点集坐标,用两个三维点集来估计两个三维坐标系之间的变换关系,进而估计得到相应的运动参数。
3.根据权利要求1所述的一种基于LIFT的视觉定位和惯性导航组合的定位方法,其特征在于,步骤2)中,所述的惯性导航定位,是采用捷联惯导进行定位,包括对捷联惯导进行初始校准、对捷联惯导的姿态解算、捷联惯导速度和位置解算,具体步骤如下:
2-1)惯导的初始对准,获得初始速度和初始位置,初始对准包括两个过程:粗对准过程和精对准过程;粗对准过程通常采用解析法,主要是利用惯性器件的测量值来计算初始的姿态矩阵;精对准过程是在粗对准的基础采用滤波方法或者罗经对准法;
2-1-1)粗对准
粗对准主要结合惯性器件测量值,利用加速度和地球自转角速度在较短时间内计算初始姿态矩阵,以及三个姿态角,若取地理坐标系东北天为导航坐标系,将其投影到导航坐标系下表示为:
gn=[0 0 -g]T       (1)
公式(1)中,gn为g投影到导航坐标系下的矩阵表示,g为当地重力加速度,T为矩阵转置的符号,地球自转角速度在导航坐标系下的投影为:
公式(2)中,L为当地纬度,ωie表示转化成导航坐标系下的角速度, 表示导航坐标系下的矩阵表示;
定义上述gn、 两个矢量的正交矢量为:
m=g×ωie=[gωie cosL 0 0]T     (3)
利用加速度计输出的加速度gb和陀螺仪输出的角速度 惯性坐标系—b系与导航坐标系—n系的关系计算gn和 具体如下:
同样,也有
则对(4)和(5)两个式子写成矩阵形式如下所示:
将公式(6)进行转置,并代入公式(1)、(2)和(3)中,则有:
求出姿态矩阵 则求出初始姿态角;
2-1-2)精对准
精对准是对姿态矩阵进行修正并估计失准角,采用卡尔曼滤波进行初始对准,将平台误差角估计出来,计算姿态矩阵,同时把惯性仪表的误差估计出来;
加速度计的输出中包含有随机干扰和零偏,陀螺仪输出中也包含干扰和
漂移,考虑到对陀螺漂移和加速度零偏的估计,将其扩充到滤波状态中,取状态为φx,φy和φz分别为三个方向的失准
角,εx,εy和εz分别为陀螺仪三个轴的漂移, 和 为加速度计的零偏,δvx和δvy为速度误差,取δvx和δvy为观测量,建立观测方程Z(t)如下:
其中ηx和ηy表示观测噪声,将方程进行离散化,利用卡尔曼递推估计平台误差角,并进行校正,实现初始对准;
2-2)捷联惯导的姿态解算,是对惯性导航所用到的坐标系完成变换,MEMS陀螺仪和MEMS加速度计与载体固连,其测量的加速度和角速度数据是在载体坐标系下的,需要转换到导航坐标系下,然后计算载体的姿态、速度以及位置信息,姿态更新算法采用欧拉角法;
欧拉角法,通过欧拉角微分方程来计算运动载体的偏航角、俯仰角和翻滚角,其表示载体坐标系b系相对于导航坐标系n系的角位置关系,设b系相对于n系的角速度矢量为 其表达式为:
其中, 分别为载体坐标系b系相对于导航坐标系n系的三个坐标轴的角
速度,建立欧拉角的微分方程如下式(11)所示,通过求解微分方程可得到运动载体的三个姿态角,
2-3)捷联惯导的速度和位置解算,捷联惯导的位置更新利用加速度计来实现的,首先将加速度计测量的加速度数据转换到导航坐标系,由于受重力加速度的影响,需要先进行补偿,然后进行积分运算求得速度,进一步积分得到位移信息,假设加速度计输出的三轴加速度为:
其中,abx,aby,abs分别为惯导在k时刻测得三个坐标轴x,y,z上的加速度,需要将在惯性坐标系测得的加速度值转换到导航坐标系中,即:
其写为矩阵形式为:
上述公式(13)中, 表示k时刻惯性坐标系到导航坐标系的旋转矩阵,由陀螺仪的数据进行姿态的解算更新;
为了消除地球重力加速度的影响,在进行积分运算时需要减去重力加速度分量,然后进行积分计算速度和位移信息,用ag(k)表示除去加速度分量之后的速度值,公式如下:
首先对加速度ag(k)积分可得载体在导航坐标系中的速度,△t为很小的时间段,此处求速度和距离都采用物理学公式,即:
vn(k+1)=vn(k)+ag(k)×Δt         (15)
上述公式(15)中,Δt=t(k+1)-t(k),再次积分可得运动载体在导航坐标系中的位置S(k+1),即:
三个轴分解的位移计算公式为:
通过上述步骤,计算当前时刻位移和姿态角,结合初始位置,依次按时间顺序进行迭代可得到整个运动过程的轨迹。
4.根据权利要求1所述的一种基于LIFT的视觉定位和惯性导航组合的定位方法,其特征在于,步骤3)中,所述的基于LIFT的视觉定位和惯性导航的动态组合定位,包括数据对准和数据融合,具体步骤如下:
3-1)基于Kinect和惯导的数据对准,包括时间对准和空间对准:
3-1-1)时间对准
时间对准是将Kinect传感器和惯性传感器的不同步的数据同步到统一基准时标下,在组合定位系统中,导致数据不同步原因包括两个传感器的采样周期不同和两个传感器的统一基准时间不一致,对于硬件而言,采用CPLD或者借助于FPGA芯片实现时间同步;对于软件而言,利用上位机的软件程序算法进行时间同步,使用最小二乘法进行时间同步,最小二乘法是假设两类传感器的采样周期之比为一个整数n,将高频传感器的n次测量值融合成第k时刻的虚拟测量值,再与低频传感器的测量值在第k时刻进行融合,最后实现时间同步;
3-1-2)空间对准
空间对准是坐标系的统一,即将各传感器坐标系中的信息变换到统一的导航坐标系中,空间对准首先建立组合坐标系,当Kinect传感器平安装,镜头向外指向前进方向,此时的三个坐标轴分别为向前为Z轴正方向,向下为Y轴正方向,向左为X轴正方向;对于捷联惯导系统,其空间坐标系主要是建立载体坐标系,一般简称为b系,其原点为惯性导航模块三轴的中心位置,X轴指向载体的右方,Y轴指向载体的前方,满足右手定则,此处是将惯性模块固连在视觉传感器上,再与载体相固连,形成组合系统的坐标系之间的对应关系。
在组合定位前,对两个传感器的位置进行初始对准,实现对惯性坐标系和Kinect视觉坐标系的统一,然后利用惯性坐标系与导航坐标系的关系可转换到同一个坐标系,完成空间上的统一,此处采用时域约束估计方法对组合系统中两个传感器的相对位姿进行估计;
对准过程包括两个步骤:
①建立惯导和Kinect的对准模型,根据摄像机定结果确定惯导的初始位姿估计值,进而确定滤波器状态初始值;
②根据建立的滤波方程对图像序列和惯导的输出进行滤波估计,确定惯导和Kinect的相对位姿;
具体的惯导和视觉定位的对准过程如下所示:
记惯性坐标系为B系,Kinect视觉坐标系为A系,图像坐标系为W系,选取状态量为:
其中, 为W系与B系坐标原点之间的
位移, 为A系与B系坐标原点之间的位移, 置为B系到W系的旋转四元数, 为A系到B系的旋转四元数, 为B系到W系的速度,g为重力加速度,ωB为B系的角速度, 为W系相对于B系的加速度,各状态变化过程为:
其中,Ω(ω)为四元数动力学方程,其形式为:
假设加速度值和角速度值均为常值,表示为:ωB=nω, 观测值可以由惯导和Kinect得到,对于惯导而言,能够测得自身坐标系下的角速度和加速度;
mωB=ωB+ωcmd+bg
对于Kinect而言,可以得到和特征点像素坐标相关的观测方程为:
其中,K表示相机内参,vi表示特征点像素坐标观测噪声,其观测量可以写为:
对于不同时刻,系统的状态量和观测量之间存在一定的约束关系;
3-2)基于Kinect和惯导的数据融合
融合估计可分为线性估计和非线性估计,与之对应的有线性卡尔曼滤波和非线性扩展卡尔曼滤波,卡尔曼滤波器是用递归的思想解决滤波估计问题,用最小误差进行递推,是对前一采样时刻的预测值与当前时刻的测量值进行状态估计,扩展卡尔曼滤波器也是利用预测值和测量值对状态进行估计,其适用于非线性系统;基于扩展卡尔曼滤波的融合算法设计主要步骤如下:
3-2-1)建立过程模型
状态方程是建立相邻时刻状态变量之间的关系,需要估计的状态向量为:Xk=(Pk,ψk,T T
Vk,δk,εk) ,状态变量Xk中,Pk=(xk,yk,zk) 表示k时刻的位置,xk,yk,zk分别表示三个坐标;
表示k时刻的姿态角, αk,βk分别为偏航角、俯仰角和翻滚角;Vk=(vx,
vy,vz)T表示k时刻的速度向量,vx,vy,vz为三个坐标轴上的速度值;δk=(δx,δy,δz)T表示k时刻的加速度误差,εk=(εx,εy,εz)T表示k时刻角速度的误差,以惯性导航的测量值构建过程模型,将加速度测量值ab和陀螺仪测量值 作为过程模型的输入变量,用uk表示:
加速度计和陀螺仪在测量时会受环境和自身测量因素影响,有偏差和噪声,则有:
其中,ag表示导航坐标系的加速度值, 是姿态矩阵,表示从惯性坐标系到导航坐标系的转换关系,可由陀螺仪的测量值进行姿态解算求得,减去重力加速度的影响,则式将惯导的测量值作为过程模型的输入变量,建立扩展卡尔曼滤波
的状态模型为:
δk=δk-1
εk=εk-1
其中Δt为采样时间间隔, 表示惯性坐标系到导航坐标系的变换矩阵, 表示惯性坐标系到导航坐标系的旋转率变换矩阵,滤波状态方程为:
Xk=f(Xk-1,Uk-1,Wk-1)
3-2-2)建立观测模型
观测模型表达观测量和状态变量之间的关系,对于基于Kinect传感器的测量,通过两个相邻时刻的图像可计算求得相对位姿,也就是求取下式的最优值,
由上式得两个相邻时刻的相对位姿,包括旋转矩阵R和平移向量T,进而求得当前时刻的位置和姿态,对位移向量T除以相邻时刻的时间差,可得到相对的线速度,用Vvo表示,因此,将旋转矩阵R、平移向量T为量测值,建立扩展卡尔曼滤波观测模型:
Tk=VkΔt+ag(Δt)2/2+vt,k
滤波观测方程为:
Vk为高斯白噪声,满足Vk~N(0,R),噪声协方差R的值取决于Kinect视觉定位的可信度,该可信度由正确匹配的特征点数以及深度误差决定,可信度越小,噪声的协方差值越大,建立观测模型后经过各个公式的推算可获得两个相邻时刻的相对位姿,依次循环执行步骤可得到优化后的组合定位运动位姿估计轨迹。

说明书全文

一种基于LIFT的视觉定位和惯性导航组合的定位方法

技术领域

[0001] 本发明涉及定位技术领域,具体是一种基于LIFT的视觉定位和惯性导航组合的定位方法。

背景技术

[0002] 随着中国经济的发展,城市的高楼大厦越来越多。据调查,人们90%的时间在室内,因此室内生活的安全很重要。例如发生火灾时,消防员进入高层建筑救援,在其身上安装定位传感器,当遇到突发状况时,指挥员便可以知道其在现场位置,然后采取正确的措施救援。
[0003] 惯性导航定位是基于惯性器件进行测量,主要通过安在运动载体上的陀螺仪加速度计测量速度和加速度。由不同时刻的测量数据来计算出载体的三轴速度,空间位置和三个姿态角。惯性导航定位的优点是具有独立自主性,不受外界因素的影响地预测运动轨迹,缺点是随着运动时间的变化会产生一定的累计误差。
[0004] 视觉定位是基于图像序列实现定位,对采集到的图像序列进行特征点的提取和匹配,有匹配后的特征点集求解不同图像的变换关系,进而估计出来运动参数。相比于其他传感器,视觉传感器的优点是能够获得运行环境的场景信息,可以更好的用于导航,缺点是容易受到外界环境和自身因素的影响,一旦采集的图像出现模糊或者测量误差,会引起定位误差。但是使用基于学习不变特征变换(Learning  Invariant  Feature Transformation,LIFT)的一种新的深度网络结构,该网络结构包括检测器,方向估计器和描述符。其中检测器的进行特征点的检测时可以很好的融合各个好的方法。例如可采用快速使用机器学习技术寻找拐角过程,使用SIFT进行检测尺度空间中的斑点,使用SURF时采用Haar过滤器进行加快处理速度;SFOP使用节点和边缘角点使用边缘来增强对光照变化的鲁棒性。

发明内容

[0005] 本发明提供一种基于LIFT的视觉定位和惯性导航组合的定位方法,该方法采用LIFT的深度网络架构进行视觉定位,并将其跟惯导定位所取得的相应运动参数使用扩展卡尔曼滤波进行组合优化,进而取得最优的位姿轨迹结果;该方法中LIFT是一个新的深度网络架构,它可以同时将图像的特征检测、方向估计和特征描述这三个步骤集合在一起,使用统一的方式完成了这三个问题,与此同时保持了端到端的可微性。
[0006] 实现本发明目的的技术方案是:
[0007] 一种基于LIFT的视觉定位和惯性导航组合的定位方法,包括如下步骤:
[0008] 1)基于LIFT的视觉定位:Kinect传感器对待定位的场地进行采集图像数据,获取环境的场景信息,对采集到的图像数据采用基于LIFT的方法进行图像特征点提取和处理,完成独立定位的参数估计;
[0009] 2)惯性导航定位:惯性传感器对通过安装在运动载体上的陀螺仪和加速度计对待定位的场地进行数据采集,得到角速度和加速度数据,采用粗对准和精对准方法进行数据对准,对测得的角速度和加速度数据采用欧拉角法进行姿态解算,并根据初始位置求出当前位置,完成运动估计
[0010] 3)基于LIFT的视觉定位和惯性导航的动态组合定位:对Kinect传感器和惯性传感器的数据估计结果进行数据关联处理,采用组合策略进行动态组合定位,得到视觉定位轨迹估计结果。
[0011] 步骤1中,所述的基于LIFT的视觉定位,具体步骤如下:
[0012] 1-1)利用Kinect传感器采集的待定位的地方采集图像数据,并获取环境的场景信息;
[0013] 1-2)利用LIFT方法对彩色图像进行识别和匹配,进而提取图像特征点,构建孪生网络,并使用结构-运动(SFM)算法生成的特征点对场景进行训练,得到图像的位置和方向;所述孪生网络,具体是创建四支孪生网络架构,每个分支包含三个不同的卷积神经网络:检测器、方向估计器和描述符;还包括四组图像补丁:P1、P2、P3和P4,P1和P2分别对应同一3D点的不同视图,P3包含不同3D点的投影,P4不包含任何特征点,在训练时,每四胞胎的第i个补丁Pi都要经过i个分支;为了实现端到端的可微性,将每个分支的组件连接如下:
[0014] ①给定一个输入图像补丁P,检测器提供一个得分图S;
[0015] ②在得分图S上执行一个软argmax函数,并返回单个潜在特征点的位置x;
[0016] ③提取一个以x为中心的小块p,用空间变压器层裁剪,将其作为方向估计器的输入;
[0017] ④方向估计器预测一个补丁取向θ;
[0018] ⑤根据方向旋转p使用第二个空间变压器层,在图3中标记为红,产生Pθ;
[0019] ⑥Pθ连接到描述网络,并计算特征向量d;
[0020] 1-3)对彩色图像和深度图像进行帧内配准,得到二维特征点集坐标,用两个三维点集来估计两个三维坐标系之间的变换关系,进而估计得到相应的运动参数。
[0021] 步骤2)中,所述的惯性导航定位,是采用捷联惯导进行定位,包括对捷联惯导进行初始校准、对捷联惯导的姿态解算、捷联惯导速度和位置解算,具体步骤如下:
[0022] 2-1)惯导的初始对准,获得初始速度和初始位置,初始对准包括两个过程:粗对准过程和精对准过程;粗对准过程通常采用解析法,主要是利用惯性器件的测量值来计算初始的姿态矩阵;精对准过程是在粗对准的基础采用滤波方法或者罗经对准法;
[0023] 2-1-1)粗对准
[0024] 粗对准主要结合惯性器件测量值,利用加速度和地球自转角速度在较短时间内计算初始姿态矩阵,以及三个姿态角,若取地理坐标系东北天为导航坐标系,将其投影到导航坐标系下表示为:
[0025] gn=[0 0 -g]T   (1)
[0026] 公式(1)中,g为当地重力加速度,gn为g投影到导航坐标系下的矩阵表示T为矩阵转置的符号(下同)。地球自转角速度在导航坐标系下的投影为:
[0027]
[0028] 公式(2)中,L为当地纬度,ωie表示转化成导航坐标系下的角速度, 表示导航坐标系下的矩阵表示;
[0029] 定义上述gn、 两个矢量的正交矢量为:
[0030] m=g×ωie=[gωie cosL 0 0]T   (3)
[0031] 利用加速度计输出的加速度gb和陀螺仪输出的角速度 惯性坐标系—b系与导航坐标系—n系的关系计算gn和 具体如下:
[0032]
[0033] 同样,也有
[0034]
[0035] 则对(4)和(5)两个式子写成矩阵形式如下所示:
[0036]
[0037] 将公式(6)进行转置,并代入公式(1)、(2)和(3)中,则有:
[0038]
[0039] 求出姿态矩阵 则求出初始姿态角;
[0040] 2-1-2)精对准
[0041] 精对准是对姿态矩阵进行修正并估计失准角,采用卡尔曼滤波进行初始对准,将平台误差角估计出来,计算姿态矩阵,同时把惯性仪表的误差估计出来;
[0042] 加速度计的输出中包含有随机干扰和零偏,陀螺仪输出中也包含干扰和漂移,考虑到对陀螺漂移和加速度零偏的估计,将其扩充到滤波状态中,取状态为φx,φy和φz分别为三个方向的失准
角,εx,εy和εz分别为陀螺仪三个轴的漂移, 和 为加速度计的零偏,δvx和δvy为速度误差,取δvx和δvy为观测量,建立观测方程Z(t)如下:
[0043]
[0044] 其中ηx和ηy表示观测噪声,将方程进行离散化,利用卡尔曼递推估计平台误差角,并进行校正,实现初始对准;
[0045] 2-2)捷联惯导的姿态解算,是对惯性导航所用到的坐标系完成变换,MEMS陀螺仪和MEMS加速度计与载体固连,其测量的加速度和角速度数据是在载体坐标系下的,需要转换到导航坐标系下,然后计算载体的姿态、速度以及位置信息,姿态更新算法采用欧拉角法;
[0046] 欧拉角法,通过欧拉角微分方程来计算运动载体的偏航角、俯仰角和翻滚角,其表示载体坐标系b系相对于导航坐标系n系的角位置关系,设b系相对于n系的角速度矢量为其表达式为:
[0047]
[0048] 其中, 分别为载体坐标系b系相对于导航坐标系n系的三个坐标轴的角速度,建立欧拉角的微分方程如下式(11)所示,通过求解微分方程可得到运动载体的三个姿态角,
[0049]
[0050] 2-3)捷联惯导的速度和位置解算,捷联惯导的位置更新利用加速度计来实现的,首先将加速度计测量的加速度数据转换到导航坐标系,由于受重力加速度的影响,需要先进行补偿,然后进行积分运算求得速度,进一步积分得到位移信息,假设加速度计输出的三轴加速度为:
[0051]
[0052] 其中,abx,aby,abs分别为惯导在k时刻测得三个坐标轴x,y,z上的加速度,需要将在惯性坐标系测得的加速度值转换到导航坐标系中,即:
[0053]
[0054] 其写为矩阵形式为:
[0055]
[0056]
[0057] 上述公式(13)中, 表示k时刻惯性坐标系到导航坐标系的旋转矩阵,由陀螺仪的数据进行姿态的解算更新;
[0058] 为了消除地球重力加速度的影响,在进行积分运算时需要减去重力加速度分量,然后进行积分计算速度和位移信息,用ag(k)表示除去加速度分量之后的速度值,公式如下:
[0059]
[0060] 首先对加速度ag(k)积分可得载体在导航坐标系中的速度,△t为很小的时间段,此处求速度和距离都是采用物理学公式,即:
[0061] vn(k+1)=vn(k)+ag(k)·Δt   (15)
[0062] 上述公式(15)中,Δt=t(k+1)-t(k),再次积分可得运动载体在导航坐标系中的位置S(k+1),即:
[0063]
[0064] 三个轴分解的位移计算公式为:
[0065]
[0066]
[0067]
[0068] 通过上述步骤,计算当前时刻位移和姿态角,结合初始位置,依次按时间顺序进行迭代可得到整个运动过程的轨迹。
[0069] 步骤3)中,所述的基于LIFT的视觉定位和惯性导航的动态组合定位,包括数据对准和数据融合,具体步骤如下:
[0070] 3-1)基于Kinect和惯导的数据对准,包括时间对准和空间对准:
[0071] 3-1-1)时间对准
[0072] 时间对准是将Kinect传感器和惯性传感器的不同步的数据同步到统一基准时标下,在组合定位系统中,导致数据不同步原因包括两个传感器的采样周期不同和两个传感器的统一基准时间不一致,对于硬件而言,采用CPLD或者借助于FPGA芯片实现时间同步;对于软件而言,利用上位机的软件程序算法进行时间同步,使用最小二乘法进行时间同步,最小二乘法是假设两类传感器的采样周期之比为一个整数n,将高频传感器的n次测量值融合成第k时刻的虚拟测量值,再与低频传感器的测量值在第k时刻进行融合,最后实现时间同步;
[0073] 3-1-2)空间对准
[0074] 空间对准是坐标系的统一,即将各传感器坐标系中的信息变换到统一的导航坐标系中,空间对准首先建立组合坐标系,当Kinect传感器平安装,镜头向外指向前进方向,此时的三个坐标轴分别为向前为Z轴正方向,向下为Y轴正方向,向左为X轴正方向;对于捷联惯导系统,其空间坐标系主要是建立载体坐标系,一般简称为b系,其原点为惯性导航模块三轴的中心位置,X轴指向载体的右方,Y轴指向载体的前方,满足右手定则,此处是将惯性模块固连在视觉传感器上,再与载体相固连,形成组合系统的坐标系之间的对应关系,[0075] 在组合定位前,对两个传感器的位置进行初始对准,实现对惯性坐标系和Kinect视觉坐标系的统一,然后利用惯性坐标系与导航坐标系的关系可转换到同一个坐标系,完成空间上的统一,此处采用时域约束估计方法对组合系统中两个传感器的相对位姿进行估计;
[0076] 对准过程包括两个步骤:
[0077] ①建立惯导和Kinect的对准模型,根据摄像机定结果确定惯导的初始位姿估计值,进而确定滤波器状态初始值;
[0078] ②根据建立的滤波方程对图像序列和惯导的输出进行滤波估计,确定惯导和Kinect的相对位姿。
[0079] 具体的惯导和视觉定位的对准过程如下所示;
[0080] 记惯性坐标系为B系,Kinect视觉坐标系为A系,图像坐标系为W系。选取状态量为:其中, 为W系与B系坐标原点之间的
位移, 为A系与B系坐标原点之间的位移, 置为B系到W系的旋转四元数, 为A系到B系的旋转四元数, 为B系到W系的速度,g为重力加速度,ωB为B系的角速度, 为W系相对于B系的加速度,各状态变化过程为:
[0081]
[0082]
[0083] 其中,Ω(ω)为四元数动力学方程,其形式为:
[0084] 假设加速度值和角速度值均为常值,表示为:ωB=nω, 观测值可以由惯导和Kinect得到,对于惯导而言,能够测得自身坐标系下的角速度和加速度。
[0085] mωB=ωB+ωcmd+bg
[0086]
[0087] 对于Kinect而言,可以得到和特征点像素坐标相关的观测方程为:
[0088]
[0089]
[0090] 其中,K表示相机内参,vi表示特征点像素坐标观测噪声。其观测量可以写为:
[0091]
[0092] 对于不同时刻,系统的状态量和观测量之间存在一定的约束关系;
[0093] 3-2)基于Kinect和惯导的数据融合
[0094] 融合估计可分为线性估计和非线性估计,与之对应的有线性卡尔曼滤波和非线性扩展卡尔曼滤波,卡尔曼滤波器是用递归的思想解决滤波估计问题,用最小误差进行递推,是对前一采样时刻的预测值与当前时刻的测量值进行状态估计。扩展卡尔曼滤波器也是利用预测值和测量值对状态进行估计,其适用于非线性系统;基于扩展卡尔曼滤波的融合算法设计主要步骤如下:
[0095] 3-2-1)建立过程模型
[0096] 状态方程是建立相邻时刻状态变量之间的关系,需要估计的状态向量为:Xk=(Pk,ψk,Vk,δk,εk)T,状态变量Xk中,Pk=(xk,yk,zk)T表示k时刻的位置,xk,yk,zk分别表示三个坐标; 表示k时刻的姿态角, 分别为偏航角、俯仰角和翻滚角;Vk=(vx,vy,vz)T表示k时刻的速度向量,vx,vy,vz
[0097] 为三个坐标轴上的速度值;δk=(δx,δy,δz)T表示k时刻的加速度误差,εk=(εx,εy,εz)T表示k时刻角速度的误差。以惯性导航的测量值构建过程模型,将加速度测量值ab和陀螺仪测量值 作为过程模型的输入变量,用uk表示:
[0098]
[0099] 加速度计和陀螺仪在测量时会受环境和自身测量因素影响,有偏差和噪声,则有:
[0100]
[0101]
[0102] 其中,ag表示导航坐标系的加速度值, 是姿态矩阵,表示从惯性坐标系到导航坐标系的转换关系,可由陀螺仪的测量值进行姿态解算求得。减去重力加速度的影响,则式将惯导的测量值作为过程模型的输入变量,建立扩展卡尔曼滤波的状态模型为:
[0103]
[0104]
[0105]
[0106] δk=δk-1
[0107] εk=εk-1
[0108] 其中Δt为采样时间间隔, 表示惯性坐标系到导航坐标系的变换矩阵, 表示惯性坐标系到导航坐标系的旋转率变换矩阵,滤波状态方程为:
[0109] Xk=f(Xk-1,Uk-1,Wk-1)
[0110] 3-2-2)建立观测模型
[0111] 观测模型表达观测量和状态变量之间的关系,对于基于Kinect传感器的测量,通过两个相邻时刻的图像可计算求得相对位姿,也就是求取下式的最优值,
[0112]
[0113] 由上式得两个相邻时刻的相对位姿,包括旋转矩阵R和平移向量T,进而求得当前时刻的位置和姿态,对位移向量T除以相邻时刻的时间差,可得到相对的线速度,用Vvo表示,因此,将旋转矩阵R、平移向量T为量测值,建立扩展卡尔曼滤波观测模型:
[0114]
[0115] Tk=VkΔt+ag(Δt)2/2+vt,k
[0116] 滤波观测方程为:
[0117] 通常认为Vk为高斯白噪声,满足Vk~N(0,R),噪声协方差R的值取决于Kinect视觉定位的可信度,该可信度由正确匹配的特征点数以及深度误差决定,可信度越小,噪声的协方差值越大。建立观测模型后经过各个公式的推算可获得两个相邻时刻的相对位姿,依次循环执行步骤可得到优化后的组合定位运动位姿估计轨迹。
[0118] 本发明提供的一种基于LIFT的视觉定位和惯性导航组合的定位方法,该方法,该方法采用LIFT的深度网络架构进行视觉定位,并将其跟惯导定位所取得的相应运动参数使用扩展卡尔曼滤波进行组合优化,进而取得最优的位姿轨迹结果;该方法中LIFT是一个新的深度网络架构,它可以同时将图像的特征检测、方向估计和特征描述这三个步骤集合在一起,使用统一的方式完成了这三个问题,与此同时保持了端到端的可微性。附图说明
[0119] 图1为一种基于LIFT的视觉定位和惯性导航组合的定位方法的流程图
[0120] 图2为基于LIFT的框架处理流程图;
[0121] 图3为训练孪生网络的流程图;
[0122] 图4为捷联惯导精对准原理图;
[0123] 图5为捷联惯导位姿求解算法图;
[0124] 图6为航位推算原理图;
[0125] 图7为视觉和惯导组合定位方法流程图;
[0126] 图8为组合定位系统坐标关系图;
[0127] 图9为Kinect传感器和惯导传感器位姿关系图。

具体实施方式

[0128] 下面结合附图和实施例第本发明做进一步阐述,但不是对本发明的限定。
[0129] 实施例:
[0130] 如图1所示,一种基于LIFT的视觉定位和惯性导航组合的定位方法,包括如下步骤:
[0131] 1)基于LIFT的视觉定位:Kinect传感器对待定位的场地进行采集图像数据,获取环境的场景信息,对采集到的图像数据采用基于LIFT的方法进行图像特征点提取和处理,完成独立定位的参数估计;
[0132] 2)惯性导航定位:惯性传感器对通过安装在运动载体上的陀螺仪和加速度计对待定位的场地进行数据采集,得到角速度和加速度数据,采用粗对准和精对准方法进行数据对准,对测得的角速度和加速度数据采用欧拉角法进行姿态解算,并根据初始位置求出当前位置,完成运动估计;
[0133] 3)基于LIFT的视觉定位和惯性导航的动态组合定位:对Kinect传感器和惯性传感器的数据估计结果进行数据关联处理,采用组合策略进行动态组合定位,得到视觉定位轨迹估计结果。
[0134] 步骤1中,所述的基于LIFT的视觉定位,具体步骤如下:
[0135] 1-1)利用Kinect传感器采集的待定位的地方采集图像数据,并获取环境的场景信息;
[0136] 1-2)利用LIFT方法对彩色图像进行识别和匹配,进而提取图像特征点,构建孪生网络,并使用结构-运动(SFM)算法生成的特征点对场景进行训练,得到图像块的位置和方向,基于LIFT的框架处理流程图如图2所示,所述孪生网络,具体是创建四支孪生网络架构,每个分支包含三个不同的卷积神经网络:检测器、方向估计器和描述符;还包括四组图像补丁:P1、P2、P3和P4,P1和P2分别对应同一3D点的不同视图,P3包含不同3D点的投影,P4不包含任何特征点,在训练时,每四胞胎的第i个补丁Pi都要经过i个分支,训练孪生网络的流程图如图3所示;为了实现端到端的可微性,将每个分支的组件连接如下:
[0137] ①给定一个输入图像补丁P,检测器提供一个得分图S;
[0138] ②在得分图S上执行一个软argmax函数,并返回单个潜在特征点的位置x;
[0139] ③提取一个以x为中心的小块p,用空间变压器层裁剪,将其作为方向估计器的输入;
[0140] ④方向估计器预测一个补丁取向θ;
[0141] ⑤根据方向旋转p使用第二个空间变压器层,在图3中标记为红,产生Pθ;
[0142] ⑥Pθ连接到描述网络,并计算特征向量d;
[0143] 1-3)对彩色图像和深度图像进行帧内配准,得到二维特征点集坐标,用两个三维点集来估计两个三维坐标系之间的变换关系,进而估计得到相应的运动参数。
[0144] 步骤2)中,所述的惯性导航定位,是采用捷联惯导进行定位,包括对捷联惯导进行初始校准、对捷联惯导的姿态解算、捷联惯导速度和位置解算,具体步骤如下:
[0145] 2-1)惯导的初始对准,获得初始速度和初始位置,由于惯导属于相对定位,初始条件会影响到后面的姿态求解和导航精度的计算,故惯导的初始对准很重要。初始对准包括两个过程:粗对准过程和精对准过程;粗对准过程通常采用解析法,主要是利用惯性器件(陀螺仪和加速度计)的测量值来计算初始的姿态矩阵;精对准过程是在粗对准的基础采用滤波方法或者罗经对准法;
[0146] 2-1-1)粗对准
[0147] 粗对准主要结合惯性器件测量值,利用重力加速度和地球自转角速度在较短时间内计算初始姿态矩阵,以及三个姿态角,若取地理坐标系东北天为导航坐标系,将其投影到导航坐标系下表示为:
[0148] gn=[0 0 -g]T   (1)
[0149] 公式(1)中,g为当地重力加速度,gn为g投影到导航坐标系下的矩阵表示,T为矩阵转置的符号(下同)。地球自转角速度在导航坐标系下的投影为:
[0150]
[0151] 公式(2)中,L为当地纬度,ωie表示转化成导航坐标系下的角速度, 表示导航坐标系下的矩阵表示;
[0152] 定义上述gn、 两个矢量的正交矢量为:
[0153] m=g×ωie=[gωie cosL 0 0]T   (3)
[0154] 利用加速度计输出的加速度gb和陀螺仪输出的角速度 惯性坐标系—b系与导航坐标系—n系的关系计算gn和 具体如下:
[0155]
[0156] 同样,也有
[0157]
[0158] 则对(4)和(5)两个式子写成矩阵形式如下所示:
[0159]
[0160] 将公式(6)进行转置,并代入公式(1)、(2)和(3)中,则有:
[0161]
[0162] 求出姿态矩阵 则求出初始姿态角;
[0163] 2-1-2)精对准
[0164] 精对准是对姿态矩阵进行修正并估计失准角,采用卡尔曼滤波进行初始对准,将平台误差角估计出来,计算姿态矩阵,同时把惯性仪表的误差估计出来,其对准原理框图如图4所示,
[0165] 加速度计的输出中包含有随机干扰和零偏,陀螺仪输出中也包含干扰和漂移,考虑到对陀螺漂移和加速度零偏的估计,将其扩充到滤波状态中,取状态为φx,φy和φz分别为三个方向的失准角,εx,εy和εz分别为陀螺仪三个轴的漂移, 和 为加速度计的零偏,δvx和δvy为速度误差,取δvx和δvy为观测量,建立观测方程Z(t)如下:
[0166]
[0167] 其中ηx和ηy表示观测噪声,将方程进行离散化,利用卡尔曼递推估计平台误差角,并进行校正,实现初始对准。
[0168] 2-2)捷联惯导的姿态解算,是对惯性导航所用到的坐标系完成变换,MEMS陀螺仪和MEMS加速度计与载体固连,其测量的加速度和角速度数据是在载体坐标系下的,需要转换到导航坐标系下,然后计算载体的姿态、速度以及位置信息,姿态更新算法采用欧拉角法,其计算原理及过程如图5所示;
[0169] 欧拉角法,通过欧拉角微分方程来计算运动载体的偏航角、俯仰角和翻滚角,其表示载体坐标系b系相对于导航坐标系n系的角位置关系,设b系相对于n系的角速度矢量为其表达式为:
[0170]
[0171] 其中, 分别为载体坐标系b系相对于导航坐标系n系的三个坐标轴的角速度,建立欧拉角的微分方程如下式(11)所示,通过求解微分方程可得到运动载体的三个姿态角,
[0172]
[0173] 2-3)捷联惯导的速度和位置解算,捷联惯导的位置更新利用加速度计来实现的,首先将加速度计测量的加速度数据转换到导航坐标系,由于受重力加速度的影响,需要先进行补偿,然后进行积分运算求得速度,进一步积分得到位移信息,假设加速度计输出的三轴加速度为:
[0174]
[0175] 其中,abx,aby,abs分别为惯导在k时刻测得三个坐标轴x,y,z上的加速度,需要将在惯性坐标系测得的加速度值转换到导航坐标系中,即:
[0176]
[0177] 其写为矩阵形式为:
[0178]
[0179]
[0180] 上述公式(13)中, 表示k时刻惯性坐标系到导航坐标系的旋转矩阵,由陀螺仪的数据进行姿态的解算更新;
[0181] 为了消除地球重力加速度的影响,在进行积分运算时需要减去重力加速度分量,然后进行积分计算速度和位移信息。用ag(k)表示除去加速度分量之后的速度值,公式如下:
[0182]
[0183] 首先对加速度ag(k)积分可得载体在导航坐标系中的速度,△t为很小的时间段,此处求速度和距离使用的都是物理学公式,即:
[0184] vn(k+1)=vn(k)+ag(k)·Δt   (15)
[0185] 上述公式(15)中,Δt=t(k+1)-t(k),再次积分可得运动载体在导航坐标系中的位置S(k+1),即:
[0186]
[0187] 三个轴分解的位移计算公式为:
[0188]
[0189]
[0190]
[0191] 通过上述步骤,计算当前时刻位移和姿态角,结合初始位置,依次按时间顺序进行迭代可得到整个运动过程的轨迹。
[0192] 以二维平面的运动为例,假设载体在二维平面运动,以载体运动的正前方为x轴方向,向左为v轴方向,通过惯导数据进行航位推算,具体原理如下图6所示;
[0193] 图6中,假设己知在t0时刻的起始位置为P0(x0,y0),在下一个t1时刻的位置为P1(x1,y1)依次类推tj时刻的位置为Pi(xj,yi),从位置P0到位置P1的航向角θ0由姿态解算可得,位移Δs0由加速度积分求得,则t1时刻的位置P1计算式为:
[0194]
[0195] 则在t2时刻的位置P2为:
[0196]
[0197] 以此类推,tj时刻的位置为Pi(xi,yi)为:
[0198]
[0199] 以上是二维平面的位置计算,可以根据初始位置和方向角去连续的计算下一时刻的位置。对于三维空间的运动,可以由当前时刻解算的姿态矩阵以及积分所求的位移,结合初始位置和初始姿态角进行航位推算,得到当前时刻的位置和姿态角。
[0200] 步骤3)中,所述的基于LIFT的视觉定位和惯性导航的动态组合定位,步骤1)和2)分别单独实现了视觉和惯导自主定位,并得到了相应的运动位姿轨迹,在此基于视觉定位和惯导组合定位中,先把基于LIFT的视觉定位和惯导定位的参数集合起来,在融合时,需要对各自运动估计的数据进行对准统一,然后进入到融合中心,进而得到最优的运动位姿轨迹结果。具体的数据融合结构如图7所示,包括数据对准和数据融合,具体步骤如下:
[0201] 3-1)基于Kinect和惯导的数据对准,由于基于LIFT的视觉定位是先用Kinect采集数据,然后采用LIFT深度网络框架进行特征点的提取,最后使用Kinect传感器对彩色图像和深度图像进行帧内配准,得到二维特征点集坐标,用两个三维点集来估计两个三维坐标系之间的变换关系,进而估计运动参数,开始和最后都用到Kinect传感器,因此此处说是基于Kinect和惯导的数据对准。包括时间对准和空间对准:
[0202] 3-1-1)时间对准
[0203] 时间对准是将Kinect传感器和惯性传感器的不同步的数据同步到统一基准时标下,在组合定位系统中,导致数据不同步原因包括两个传感器的采样周期不同和两个传感器的统一基准时间不一致,对于硬件而言,采用CPLD或者借助于FPGA芯片实现时间同步;对于软件而言,利用上位机的软件程序算法进行时间同步,使用最小二乘法进行时间同步,最小二乘法是假设两类传感器的采样周期之比为一个整数n,将高频传感器的n次测量值融合成第k时刻的虚拟测量值,再与低频传感器的测量值在第k时刻进行融合,最后实现时间同步;
[0204] 3-1-2)空间对准
[0205] 空间对准是坐标系的统一,即将各传感器坐标系中的信息变换到统一的导航坐标系中,空间对准首先建立组合坐标系,当Kinect传感器水平安装,镜头向外指向前进方向,此时的三个坐标轴分别为向前为Z轴正方向,向下为Y轴正方向,向左为X轴正方向;对于捷联惯导系统,其空间坐标系主要是建立载体坐标系,一般简称为b系,其原点为惯性导航模块三轴的中心位置,X轴指向载体的右方,Y轴指向载体的前方,满足右手定则,此处是将惯性模块固连在视觉传感器上,再与载体相固连,形成组合系统的坐标系之间的对应关系,组合系统的坐标系之间的对应关系如图8所示。
[0206] 在组合定位前,要对两个传感器的位置进行初始对准,实现对惯性坐标系和Kinect视觉坐标系的统一,然后利用惯性坐标系与导航坐标系的关系可转换到同一个坐标系,完成空间上的统一,此处采用时域约束估计方法对组合系统中两个传感器的相对位姿进行估计;
[0207] 对准过程包括两个步骤:
[0208] ①建立惯导和Kinect的对准模型,根据摄像机定结果确定惯导的初始位姿估计值,进而确定滤波器状态初始值;
[0209] ②根据建立的滤波方程对图像序列和惯导的输出进行滤波估计,确定惯导和Kinect的相对位姿。
[0210] 具体的惯导和视觉定位的对准过程如下所示;
[0211] 记惯性坐标系为B系,Kinect视觉坐标系为A系,图像坐标系为W系。选取状态量为:其中, 为W系与B系坐标原点之间的
位移, 为A系与B系坐标原点之间的位移, 置为B系到W系的旋转四元数, 为A系到B系的旋转四元数, 为B系到W系的速度,g为重力加速度,ωB为B系的角速度, 为W系相对于B系的加速度,各状态变化过程为:
[0212]
[0213]
[0214] 其中,Ω(ω)为四元数动力学方程,其形式为:
[0215] 假设加速度值和角速度值均为常值,表示为:ωB=nω, 观测值可以由惯导和Kinect得到,对于惯导而言,能够测得自身坐标系下的角速度和加速度。
[0216] mωB=ωB+ωcmd+bg
[0217]
[0218] 对于Kinect而言,可以得到和特征点像素坐标相关的观测方程为:
[0219]
[0220]
[0221] 其中,K表示相机内参,vi表示特征点像素坐标观测噪声。其观测量可以写为:
[0222]
[0223] 对于不同时刻,系统的状态量和观测量之间存在一定的约束关系;如图9所示,为相邻时刻Kinect传感器和惯性传感器的位姿关系;
[0224] 图9中,小矩形表示惯性传感器,固连在Kinect传感器上,因为惯导和Kinect是刚性连接,因此,惯导和Kinect具有相同的自旋角速度,相邻时刻摄像机的姿态约束为:
[0225] 式中 表示从方向余弦矩阵转换到姿态角,Δt表示相邻时刻的时间差。对于相邻时刻摄像机的平移向量 满足约束:
[0226]
[0227] 因为惯导和Kinect是刚性连接,则有:
[0228]
[0229] 将其转化为:
[0230]
[0231] 观测量h0,h1和h2共同组成了观测方程,根据滤波方程对Kinect采集的图像序列和惯导器件的输出进行滤波估计,求解惯导和Kinect的相对位姿,实现空间坐标系的统一。
[0232] 3-2)基于Kinect和惯导的数据融合
[0233] 融合估计可分为线性估计和非线性估计,与之对应的有线性卡尔曼滤波和非线性扩展卡尔曼滤波。卡尔曼滤波器是用递归的思想解决滤波估计问题,用最小误差进行递推,是对前一采样时刻的预测值与当前时刻的测量值进行状态估计。扩展卡尔曼滤波器也是利用预测值和测量值对状态进行估计,其适用于非线性系统;基于扩展卡尔曼滤波的融合算法设计主要步骤如下:
[0234] 3-2-1)建立过程模型
[0235] 状态方程是建立相邻时刻状态变量之间的关系,需要估计的状态向量为:Xk=(Pk,ψk,Vk,δk,εk)T,状态变量Xk中,Pk=(xk,yk,zk)T表示k时刻的位置,xk,yk,zk分别表示三个坐标; 表示k时刻的姿态角, 分别为偏航角、俯仰角和翻滚角;Vk=(vx,vy,vz)T表示k时刻的速度向量,vx,vy,vz
[0236] 为三个坐标轴上的速度值;δk=(δx,δy,δz)T表示k时刻的加速度误差,εk=(εx,εy,εz)T表示k时刻角速度的误差。以惯性导航的测量值构建过程模型,将加速度测量值ab和陀螺仪测量值 作为过程模型的输入变量,用uk表示:
[0237]
[0238] 加速度计和陀螺仪在测量时会受环境和自身测量因素影响,有偏差和噪声,则有:
[0239]
[0240]
[0241] 其中,ag表示导航坐标系的加速度值, 是姿态矩阵,表示从惯性坐标系到导航坐标系的转换关系,可由陀螺仪的测量值进行姿态解算求得。减去重力加速度的影响,则式将惯导的测量值作为过程模型的输入变量,建立扩展卡尔曼滤波的状态模型为:
[0242]
[0243]
[0244]
[0245] δk=δk-1
[0246] εk=εk-1
[0247] 其中Δt为采样时间间隔, 表示惯性坐标系到导航坐标系的变换矩阵, 表示惯性坐标系到导航坐标系的旋转率变换矩阵,滤波状态方程为:
[0248] Xk=f(Xk-1,Uk-1,Wk-1)
[0249] 3-2-2)建立观测模型
[0250] 观测模型表达观测量和状态变量之间的关系,对于基于Kinect传感器的测量,通过两个相邻时刻的图像可计算求得相对位姿,也就是求取下式的最优值。
[0251]
[0252] 由上式得两个相邻时刻的相对位姿,包括旋转矩阵R和平移向量T,进而求得当前时刻的位置和姿态,对位移向量T除以相邻时刻的时间差,可得到相对的线速度,用Vvo表示,因此,将旋转矩阵R、平移向量T为量测值,建立扩展卡尔曼滤波观测模型:
[0253]
[0254] Tk=VkΔt+ag(Δt)2/2+vt,k
[0255] 滤波观测方程为:
[0256] 通常认为Vk为高斯白噪声,满足Vk~N(0,R),噪声协方差R的值取决于Kinect视觉定位的可信度,该可信度由正确匹配的特征点数以及深度误差决定,可信度越小,噪声的协方差值越大。建立观测模型后经过各个公式的推算可获得两个相邻时刻的相对位姿,依次循环执行步骤可得到优化后的组合定位运动位姿估计轨迹。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈