技术领域
[0001] 本
发明实施例涉及
计算机视觉技术领域，特别涉及一种定位方法、定位装置、终端及存储介质。
背景技术
[0002] 传统的视觉定位方法一般分为视觉
即时定位与地图构建(vSLAM，Visual Simultaneous Localization And Mapping)和交换结构模
块(switch fabric module，SFM)等定位方法，但这些传统的定位方法存在的主要问题是无法适应弱纹理和光照等变化场景。针对这个问题，人们逐渐研发出了基于
深度学习的定位方法，基于深度学习的定位方法通常分为绝对定位和相对定位两种方式。
[0003]
发明人发现
现有技术中至少存在如下问题：基于深度学习的绝对定位方法往往利用一
帧图像进行定位，因此难以得到
精度较高的
位置信息，而深度学习中的相对定位方法仅仅利用多帧之间的位置变化进行定位，因此在长距离定位中累计误差会较大，因此现有技术中的基于深度学习的定位方法，依然无法满足人们对定位精度的要求。
发明内容
[0004] 本
申请实施方式的目的在于提供一种定位方法、定位装置、终端及存储介质，使得能够基于深度学习，获得准确的定位结果。
[0005] 为解决上述技术问题，本申请实施方式提供了一种定位方法，包括以下步骤：将第一帧图像和第二帧图像输入已知结构的网络模型，其中，第一帧图像为当前时刻所获得的图像，第二帧图像为当前时刻之前预设时间范围内所获得的图像，其中，终端在预设时间范围内位于同一场景中；通过网络模型对第一帧图像和第二帧图像进行相对位置定位，获得相对
位姿信息；通过网络模型对第一帧图像进行绝对位置定位，获得绝对位姿信息；根据相对位姿信息和绝对位姿信息获得当前时刻的位置信息。
[0006] 本申请实施方式还提供了一种定位装置，包括：输入模块，用于将第一帧图像和第二帧图像输入已知结构的网络模型，其中，第一帧图像为当前时刻所获得的图像，第二帧图像为当前时刻之前预设时间范围内所获得的图像，其中，终端在预设时间范围内在同一场景中运动；第一获取模块，用于通过网络模型对第一帧图像和第二帧图像进行相对位置定位，获得相对位姿信息；第二获取模块，用于通过网络模型对第一帧图像进行绝对位置定位，获得绝对位姿信息；第三获取模块，用于根据相对位姿信息和绝对位姿信息获得当前时刻的位置信息。
[0007] 本申请实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的
存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意方法实施例中涉及的定位方法。
[0008] 本申请实施方式还提供了一种计算机可读存储介质，存储有
计算机程序，计算机程序被处理器执行时实现本申请任意方法实施例中涉及的定位方法。
[0009] 本申请实施方式相对于现有技术而言，通过网络模型获得当前时刻所获得的图像相对于同一场景中历史时刻所获得图像的相对位姿信息，以及当前时刻所获的图像的绝对位姿信息，从而结合相对位姿信息以及绝对位姿信息实现对终端当前时刻位置的准确定位。
[0010] 另外，网络模型包括相对网络结构和绝对网络结构；其中，相对网络结构包括
卷积神经网络结构和第一递归卷积神经网络结构，绝对网络结构包括卷积神经网络结构和第二递归卷积神经网络结构。
[0011] 另外，将第一帧图像和第二帧图像输入已知结构的网络模型之前，还包括：通过样本图像对网络模型进行训练，确定出网络模型。该实现中，在通过网络结构确定终端当前的位置信息之前，首先对网络模型进行训练，从而使通过训练后的网络模型所确定的位置信息更加准确。
[0012] 另外，通过样本图像对网络模型进行训练，确定出网络模型，具体包括：通过样本图像对相对网络结构进行训练，获得相对网络结构的参数；通过样本图像对绝对网络结构进行训练，获得绝对网络结构的路标描述信息，其中，路标描述信息用于表示不同场景下的样本图像的位置描述信息；根据相对网络结构的参数和绝对网络的路标描述信息确定出网络模型；其中，样本图像的个数至少为两个，并且每一个样本图像的位置信息，以及任意两个样本相对位置信息都是已知的。该实现中，在通过样本图像对网络模型进行训练时，既包括对相对网络结构的训练过程，同时也包括对绝对网络结构的训练过程，从而使训练所获得的网络模型在相对信息确定和绝对信息确定方面都能够获得准确的定位结果。
[0013] 另外，通过样本图像对相对网络结构进行训练，获得相对网络结构的参数，具体包括：通过样本图像对相对网络结构进行训练，获得任意两个样本图像的预测相对位置；计算任意两个样本图像的相对位置信息与预测相对位置信息差值的绝对值，获得任意两个样本图像的相对位姿约束值；将样本图像中任意两个样本图像的相对位姿约束值相加求误差最小值，获得相对网络结构的参数。
[0014] 另外，通过样本图像对绝对网络结构进行训练，获得绝对网络结构的路标描述信息，具体包括：通过输入样本图像对绝对网络结构进行训练，获得每一个样本图像的预测位置信息；计算每一个样本图像的位置信息与预测位置信息差值的绝对值，获得每一个样本图像的位姿约束值；将样本图像中每一个样本图像的位姿约束值相加求误差最小值，获得绝对网络结构的路标描述信息。
[0015] 另外，通过网络模型对第一帧图像和第二帧图像进行相对位置定位，获得相对位姿信息，具体包括：通过参数已知的相对网络模型分别提取第一帧图像的特征信息和第二帧图像的特征信息；根据第一帧图像的特征信息和第二帧图像的特征信息获得差异特征信息；根据差异特征信息和已知的运动
阈值，获得相对位姿信息，其中，相对位姿信息用于表示终端的运动趋势。该实现中，将训练所获得的参数已知的相对网络模型，分别提取出第一帧图像和第二帧图像的特征信息，从而确定出与历史运动轨迹有关的相对位姿信息，在进行当前时刻的位置信息确定时，将历史运动信息考虑进去，从而使最终的定位结果更加准确。
[0016] 另外，通过网络模型对第一帧图像进行绝对位置定位，获得绝对位姿信息，具体包括：将第一帧图像的特征信息与路标描述信息进行匹配，确定出匹配度最高的路标描述信息，并确定出与匹配度最高的路标描述信息对应的路标；根据路标确定绝对位姿信息。该实现中，将第一帧图像的特征信息与绝对网络结构中的路标描述信息的匹配结果，确定出对应的路标描述信息，从而确定出当前时刻终端所对应的路标，根据路标可以确定出终端大体所处场景中的位置信息即绝对位置信息。
[0017] 另外，根据相对位姿信息和绝对位姿信息获得当前时刻的位置信息，具体包括：将相对位姿信息与绝对位姿信息进行求和处理，并根据求和结果获得当前时刻的位置信息。
附图说明
[0018] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0019] 图1是本申请第一实施例中定位方法的
流程图；
[0020] 图2是本申请第一实施例中网络模型的结构图；
[0021] 图3是本申请第二实施例中定位方法的流程图；
[0022] 图4是本申请第二实施例中一个具体实现中任意两个样本图像的预测相对位置示意图；
[0023] 图5是本申请第二实施例中另一个具体实现中绝对网络训练的示意图；
[0024] 图6是本申请第三实施例中定位装置的方框示意图；
[0025] 图7是本申请第四实施例中定位装置的方框示意图；
[0026] 图8是本申请第五实施例中终端的结构示意图。
具体实施方式
[0027] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和
修改，也可以实现本申请所要求保护的技术方案。
[0028] 本申请的第一实施方式涉及一种定位方法，应用于终端或
云端。终端可以是导盲头盔、智能
机器人、无人驾驶车辆等设备。云端与终端通信连接，为终端提供用于定位的地图或直接为终端提供定位结果。本实施方式以终端为例说明定位方法的执行过程，云端执行该定位方法的过程可以参考本申请实施例的内容。该定位方法的具体流程如图1所示，包括以下步骤：
[0029] 步骤101，将第一帧图像和第二帧图像输入已知结构的网络模型。
[0030] 具体的说，在本实施例中，第一帧图像为当前时刻所获得的图像，第二帧图像为当前时刻之前预设范围内所获得的图像，并且，终端在预设时间范围内位于同一场景中。
[0031] 其中，本实施方式中的网络模型的结构如图2所示，本实施方式的网络模型采用的是深度残差网络(Deep residual network，ResNet)，如图中虚线框所示，网络模型包括相对网络结构和绝对网络结构，其中，相对网络结构包括卷积神经网络(Convolutional Neural Networks，CNN)结构和第一递归卷积神经网络结构(Recurrent Convolutional Neural Network，RCNN)1，绝对网络结构包括CNN和第二递归卷积神经网络结构RCNN2。并且，CNN由ResNet的第1至第3层网络构成，RCNN1由ResNet的第4至第5层网络以及两个长短期记忆网络(Long Short-Term Memory，LSTM)构成，并与
输出层fc1全连接，RCNN2由ResNet的第4至第5层网络构成以及一个LSTM构成，并与输出层fc2全连接。图2中所示的fc3层分别与输出层fc1和输出层fc2连接用于输出位置信息，fc3层再分离出fc4层和fc5层，并通过fc4层和fc5层获取位置信息中更详细的平移信息以及四元素信息，平移信息即从位置信息中所提取出的
水平面上移动的信息，四元素信息即立体空间中上下旋转和左右旋转的信息。
[0032] 需要说明的是，本实施方式中的第一帧图像和第二图像是终端在移动过程中通过摄像装置所实时拍摄的图像，并且当终端在长时间移动的过程中可能会处于不同的场景中，并且会拍摄到不同场景中的多帧图像，而为了实现对终端的准确定位，本实施方式中所获取的第一帧图像和第二帧图像的间隔时间比较短，所以可以认为终端所获取的第一帧图像和第二帧图像是同一场景中的图像，例如，位于同一路段中的图像或位于同一房间中的图像等。
[0033] 步骤102，通过网络模型对第一帧图像和第二帧图像进行相对位置定位，获得相对位姿信息。
[0034] 具体的说，在本实施方式中，通过参数已知的相对网络模型分别提取第一帧图像的特征信息和第二帧图像的特征信息；根据第一帧图像的特征信息和第二帧图像的特征信息获得差异特征信息；根据差异特征信息和已知的运动阈值，获得相对位姿信息，其中，相对位姿信息用于表示终端的运动趋势。
[0035] 在一个具体实现中，在相对网络模型的参数已知的情况下，当输入第一帧图像和第二帧图像时，可以首先通过相对网络模型中的CNN部分分别提取出第一帧图像和第二帧图像的特征信息，例如，当相对网络模型的参数为θ，并且相对网络模型确定的提取特征的函数为y＝θx，则当x1为第一帧图像时，则提取的第一帧图像的特征信息为y1；当x2为第二帧图像时，则提取的第二帧图像的特征信息为y2。通过相对网络模型中的RCNN1部分根据第一帧图像的特征信息y1以及第二帧图像的特征信息y2获得差异特征信息Y＝|y1-y2|，然后根据Y和已知的运动阈值，通过差异特征信息与运动阈值的对应关系，获得相对位姿信息W。例如，差异信息差异特征信息可以包括水平方向上的差异特征信息Y1和竖直方向上的差异特征信息Y2，而运动阈值可以包括第一运动阈值和第二运动阈值，当确定Y1大于第一运动阈值时，则说明终端水平向左运动，获得水平相对位姿信息Wx；当确定Y2大于第二运动阈值时，则说明终端竖直方向想下运动，获得竖直相对位姿信息Wy，从而获得最终的相对位姿信息W＝(Wx Wy)。因为，当前时刻的位姿信息是与历史运动轨迹有关的，所以相对位姿信息可以准确的表示出在同一场景中终端的运动趋势，即相对于前一时刻或前多个时刻的运动偏差。
[0036] 步骤103，通过网络模型对第一帧图像进行绝对位置定位，获得绝对位姿信息。
[0037] 具体的说，在本实施方式中，将第一帧图像的特征信息与路标描述信息进行匹配，确定出匹配度最高的路标描述信息，并确定出与匹配度最高的路标描述信息对应的路标；根据路标确定所述绝对位姿信息。
[0038] 其中，在确定当前时刻的绝对位姿信息时，是根据当前时刻所获取的图像直接获得的，并没有参考相邻时刻的图像信息，因此，通过绝对位置定位主要确定的终端所处的场景的位置信息。并且路标描述信息是绝对网络结构中所确定的，不同的图像对应着不同的路标描述信息，而路标描述信息可以用于表示不同场景下的图像的位置描述信息。
[0039] 在一个具体实现中，通过绝对网络模型中的CNN部分已经提取出第一帧图像的特征信息y1，通过绝对网络模型中的RCNN2部分将第一帧图像的特征信息y1与已经确定的路标描述信息进行匹配，确定出匹配度最高的路标描述信息S1，从而可以进一步确定出与匹配度最高的路标描述信息对应的路标s1，根据该路标所确定的位置就可以直接确定出绝对位姿信息V。
[0040] 步骤104，根据相对位姿信息和绝对位姿信息获得当前时刻的位置信息。
[0041] 具体的说，在本实施方式中，将相对位姿信息与绝对位姿信息进行求和处理，并根据求和结果获得当前时刻的位置信息。
[0042] 在一个具体实现中，相对位姿信息W表示的是终端当前时刻相对于历史运动轨迹的运动偏差，而绝对位姿信息V表示的是仅根据当前时刻采集的图像所获取的所在场景中的位姿，因此所确定的当前时刻的位置信息Q＝W+V，既考虑了自身的运动情况，同时又参考了历史运动轨迹信息，从而使最终所确定的当前时刻的位置信息更加准确。
[0043] 与现有技术相比，本实施方式提供的定位方法，通过网络模型获得当前时刻所获得的图像相对于同一场景中历史时刻所获得图像的相对位姿信息，以及当前时刻所获的图像的绝对位姿信息，从而结合相对位姿信息以及绝对位姿信息实现对终端当前时刻位置的准确定位。
[0044] 本申请的第二实施方式涉及一种定位方法。本实施例在第一实施例的
基础上做了进一步改进，具体改进之处为：在将第一帧图像和第二帧图像输入已知结构的网络模型之前，增加了通过样本图像对网络模型进行训练，确定出网络模型的步骤。本实施例中的定位方法的流程如图3所示。具体的说，在本实施例中，包括步骤201至步骤205，其中步骤202至步骤205与第一实施方式中的步骤101至步骤104大致相同，此处不再赘述，下面主要介绍不同之处，未在本实施方式中详尽描述的技术细节，可参见第一实施例所提供的定位方法，此处不再赘述。
[0045] 步骤201，通过样本图像对网络模型进行训练，确定出网络模型。
[0046] 具体的说，在本实施方式中，样本图像的个数至少为两个，并且每一个样本图像的位置信息，以及任意两个样本相对位置信息都是已知的。并且，通过样本图像对网络模型进行训练，具体包括两个子步骤：
[0047] 子步骤2011，通过所述样本图像对相对网络结构进行训练，获得相对网络结构的参数。
[0048] 具体的说，在本实施方式中，通过样本图像对相对网络结构进行训练，获得任意两个样本图像的预测相对位置信息；计算任意两个样本图像的相对位置信息与预测相对位置信息差值的绝对值，获得任意两个样本图像的相对位姿约束值；将样本图像中任意两个样本图像的相对位姿约束值相加求误差最小值，获得相对网络结构的参数。
[0049] 在一个具体实现中，如图4所示，以5帧相邻的样本图像为例进行说明，标示出了任意两个样本图像的预测相对位置示意图，Pij表示表示的是第i帧和第j帧之间的预测相对位置，其中i与j的取值范围分别是0至4，而 表示第i帧和第j帧之间的相对位置信息，并且相对位置信息是已知的，可以获得任意两个样本图像的相对位姿约束值分别是：从而可以获得相对网络结构的参数： 其中，θ表示
网络结构的参数，N表示样本图像的数量，i表示每一个样本图像的帧序号，k表示相对位姿约束值的序列号。
[0050] 子步骤2012，通过样本图像对绝对网络结构进行训练，获得绝对网络结构的路标描述信息。
[0051] 具体的说，在本实施方式中，通过输入样本图像对绝对网络结构进行训练，获得每一个样本图像的预测位置信息；计算每一个样本图像的位置信息与预测位置信息差值的绝对值，获得每一个样本图像的位姿约束值；将样本图像中每一个样本图像的位姿约束值相加求误差最小值，获得绝对网络结构的路标描述信息。
[0052] 在另一个具体实现中，如图5所示，为绝对网络训练的示意图，以n个场景的样本图像为例分别输入绝对网络结构中，因此输入的不同场景q＝[1,n]，其中，q表示每一个场景的序列号，并且每一个场景中的样本图像的个数至少包括两个。以第q个场景的路标描述信息计算方式为例进行说明：假设第q个场景中有M个样本，则通过输入样本样本图像对绝对网络结构进行训练，获得每一个样本图像的预测位置信息，例如Pl表示第l帧样本图像的预测位置信息，而 表示第l帧样本图像的位置信息，该值为已知量，可以得到第l帧样本图像的位姿约束值 从而可以得到第q个场景的路标描述信息为并且通过输入不同场景中的样本图像，可以分别得到如图5所示
的S1至Sn。
[0053] 通过子步骤2011获得的相对网络结构的参数以及子步骤2012所获得的绝对网络的路标描述信息就可以确定出网络模型，从而完成对网络模型的训练过程。
[0054] 在步骤201之后，执行步骤202至步骤205。
[0055] 与现有技术相比，本实施方式提供的本实施方式提供的定位方法，通过网络模型获得当前时刻所获得的图像相对于同一场景中历史时刻所获得图像的相对位姿信息，以及当前时刻所获的图像的绝对位姿信息，从而结合相对位姿信息以及绝对位姿信息实现对终端当前时刻位置的准确定位。并且在通过样本图像对网络模型进行训练时，既包括对相对网络结构的训练过程，同时也包括对绝对网络结构的训练过程，从而使训练所获得的网络模型在相对信息确定和绝对信息确定方面都能够获得准确的定位结果。
[0056] 上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本
专利的保护范围内；对
算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0057] 本申请第三实施方式涉及一种定位装置，具体结构如如图6所示。
[0058] 如图6所示，定位装置装置包括：输入模块301、第一获取模块302、第二获取模块303和第三获取模块304。
[0059] 其中，输入模块301，用于将第一帧图像和第二帧图像输入已知结构的网络模型。
[0060] 第一获取模块302，用于通过网络模型对第一帧图像和第二帧图像进行相对位置定位，获得相对位姿信息。
[0061] 第二获取模块303，用于通过网络模型对第一帧图像进行绝对位置定位，获得绝对位姿信息。
[0062] 第三获取模块304，用于根据相对位姿信息和绝对位姿信息获得当前时刻的位置信息。
[0063] 不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0064] 本申请第四实施方式涉及一种定位装置。该实施方式与第三实施方式大致相同，具体结构如图7所示。其中，主要改进之处在于：第四实施方式在第三实施方式中的基础上增加了训练模块300。
[0065] 其中，训练模块300，用于通过样本图像对网络模型进行训练，确定出网络模型。
[0066] 输入模块301，用于将第一帧图像和第二帧图像输入已知结构的网络模型。
[0067] 第一获取模块302，用于通过网络模型对第一帧图像和第二帧图像进行相对位置定位，获得相对位姿信息。
[0068] 第二获取模块303，用于通过网络模型对第一帧图像进行绝对位置定位，获得绝对位姿信息。
[0069] 第三获取模块304，用于根据相对位姿信息和绝对位姿信息获得当前时刻的位置信息。
[0070] 不难发现，本实施方式为与第二实施方式相对应的装置实施例，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
[0071] 值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施方式中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
[0072] 本申请第五实施方式涉及一种终端，如图8所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述实施例中的定位方法。
[0073] 本实施例中，处理器501以
中央处理器(Central Processing Unit，CPU)为例，存储器502以可读写存储器(Random Access Memory，RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接，图8中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性
软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现定位方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及
数据处理，即实现上述定位方法。
[0074] 存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速
随机存取存储器，还可以包括
非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0075] 一个或者多个程序模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施例中的定位方法。
[0076] 上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
[0077] 本申请的第六实施方式涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的定位方法。
[0078] 本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是
单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、
只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0079] 本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
