位姿确定方法及装置、增强现实设备和可读存储介质专利检索-深度相机视听技术与设备专利检索查询-专利查询网

位姿确定方法及装置、增强现实设备和可读存储介质

阅读：1043发布：2020-05-08

专利汇可以提供位姿确定方法及装置、增强现实设备和可读存储介质专利检索，专利查询，专利分析的服务。并且本公开提供了一种位姿确定方法，包括：获得双目相机中左相机得到的第一图像和右相机得到的第二图像；根据第一图像和第二图像，得到至少一组匹配特征点；根据至少一组匹配特征点，确定双目相机所在物理空间的深度值及深度值的误差值；以及根据深度值及深度值的误差值，确定双目相机的位姿。本公开还提供了一种位姿确定装置、一种增强现实设备及一种计算机可读存储介质。，下面是位姿确定方法及装置、增强现实设备和可读存储介质专利的具体信息内容。

权利要求

1.一种位姿确定方法，包括：
获得双目相机中左相机得到的第一图像和右相机得到的第二图像；
根据所述第一图像和所述第二图像，得到至少一组匹配特征点；
根据所述至少一组匹配特征点，确定所述双目相机所在物理空间的深度值及所述深度值的误差值；以及
根据所述深度值及所述深度值的误差值，确定所述双目相机的位姿。
2.根据权利要求1所述的方法，其中，得到所述至少一组匹配特征点包括：
识别所述第一图像和所述第二图像，得到针对所述第一图像的第一特征点组和针对所述第二图像的第二特征点组；以及
根据所述第一特征点组和所述第二特征点组，确定匹配的第一特征点和第二特征点，以得到所述至少一组匹配特征点，
其中，每组匹配特征点包括相互匹配的一个第一特征点和一个第二特征点。
3.根据权利要求1所述的方法，还包括在确定所述双目相机所在物理空间的深度值及所述深度值的误差值之前：
标定所述双目相机，得到所述双目相机的左右目外参；以及
根据所述左右目外参，确定所述双目相机的基线长度。
4.根据权利要求3所述的方法，其中，确定所述双目相机所在物理空间的深度值及所述深度值的误差值包括：
确定所述至少一组匹配特征点各自对应所述物理空间中目标位置的深度值，得到针对所述至少一组匹配特征点的至少一个深度值；以及
根据所述至少一个深度值、所述基线长度及目标误差模型，确定所述至少一个深度值各自的误差值。
5.根据权利要求3所述的方法，其中，所述确定所述双目相机的位姿包括：
根据所述至少一组匹配特征点及所述左右目外参，确定所述双目相机的预估位姿；
根据所述深度值和所述深度值的误差值，调整目标优化模型，得到调整后的优化模型；
以及
根据所述调整后的优化模型优化所述预估位姿，得到所述双目相机的位姿。
6.根据权利要求5所述的方法，其中，所述深度值包括针对所述至少一组匹配特征点的至少一个深度值；所述深度值的误差值包括针对所述至少一个深度值各自的误差值；所述调整目标优化模型，得到调整后的优化模型包括：
根据所述至少一个深度值及所述至少一个深度值各自的误差值，确定针对所述双目相机的深度残差；以及
根据所述深度残差调整所述目标优化模型，得到所述调整后的优化模型。
7.一种位姿确定装置，包括：
图像获得模块，用于获得双目相机中左相机得到的第一图像和右相机得到的第二图像；
匹配特征点得到模块，用于根据所述第一图像和所述第二图像，得到至少一组匹配特征点；
数值确定模块，用于根据所述至少一组匹配特征点，确定所述双目相机所在物理空间的深度值及所述深度值的误差值；以及
位姿确定模块，用于根据所述深度值及所述深度值的误差值，确定所述双目相机的位姿。
8.根据权利要求7所述的装置，其中，所述匹配特征点得到模块包括：
特征点得到子模块，用于识别所述第一图像和所述第二图像，得到针对所述第一图像的第一特征点组和针对所述第二图像的第二特征点组；以及
特征点匹配子模块，用于根据所述第一特征点组和所述第二特征点组，确定匹配的第一特征点和第二特征点，以得到所述至少一组匹配特征点，
其中，每组匹配特征点包括相互匹配的一个第一特征点和一个第二特征点。
9.一种增强现实设备，包括：
双目相机，包括左相机和右相机，所述左相机用于拍摄所述双目相机所在物理空间的第一图像；所述右相机用于拍摄所述双目相机所在物理空间的第二图像，所述第一图像与所述第二图像为所述物理空间的两个不同角度的图像；
一个或多个处理器，与所述双目相机连接，用于获取所述第一图像和所述第二图像；以及
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1～6中任一项所述的位姿确定方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行权利要求1～6中任一项所述的位姿确定方法。

说明书全文

位姿确定方法及装置、增强现实设备和可读存储介质

技术领域

[0001] 本公开涉及一种位姿确定方法及装置、增强现实设备和可读存储介质。

背景技术

[0002] 随着科技的快速发展，将真实世界信息和虚拟世界信息“无缝”集成的新技术-增强现实有望能够应用于更多场景中，以丰富现实世界，构建更加丰富和美好的世界。

[0003] 相关技术中，主流的增强现实设备的定位方法中，关键步骤是获取周围环境的深度信息。为了获取深度信息，可以采用双目相机预先标定的左右目外参得到该深度信息。但双目相机计算得到的深度往往因各种因素而存在很大的不确定性，这无疑会影响增强现实设备最终的定位精度。发明内容

[0004] 本公开的一个方面提供了一种位姿确定方法，该方法包括：获得双目相机中左相机得到的第一图像和右相机得到的第二图像；根据第一图像和第二图像，得到至少一组匹配特征点；根据至少一组匹配特征点，确定双目相机所在物理空间的深度值及深度值的误差值；以及根据深度值及深度值的误差值，确定双目相机的位姿。

[0005] 可选地，上述得到至少一组匹配特征点包括：识别第一图像和第二图像，得到针对第一图像的第一特征点组和针对第二图像的第二特征点组；以及根据第一特征点组和第二特征点组，确定匹配的第一特征点和第二特征点，以得到至少一组匹配特征点。其中，每组匹配特征点包括相互匹配的一个第一特征点和一个第二特征点。

[0006] 可选地，上述位姿确定方法还包括在确定双目相机所在物理空间的深度值及深度值的误差值之前：标定双目相机，得到双目相机的左右目外参；以及根据左右目外参，确定双目相机的基线长度。

[0007] 可选地，上述确定双目相机所在物理空间的深度值及深度值的误差值包括：确定至少一组匹配特征点各自对应物理空间中目标位置的深度值，得到针对至少一组匹配特征点的至少一个深度值；以及根据至少一个深度值、基线长度及目标误差模型，确定至少一个深度值各自的误差值。

[0008] 可选地，上述确定双目相机的位姿包括：根据至少一组匹配特征点及左右目外参，确定双目相机的预估位姿；根据深度值和深度值的误差值，调整目标优化模型，得到调整后的优化模型；以及根据调整后的优化模型优化预估位姿，得到双目相机的位姿。

[0009] 可选地，上述深度值包括针对至少一组匹配特征点的至少一个深度值；深度值的误差值包括针对至少一个深度值各自的误差值；调整目标优化模型，得到调整后的优化模型包括：根据至少一个深度值及至少一个深度值各自的误差值，确定针对双目相机的深度残差；以及根据深度残差调整目标优化模型，得到调整后的优化模型。

[0010] 本公开的另一方面提供一种位姿确定装置，该装置包括：图像获得模块，用于获得双目相机中左相机得到的第一图像和右相机得到的第二图像；匹配特征点得到模块，用于根据第一图像和第二图像，得到至少一组匹配特征点；数值确定模块，用于根据至少一组匹配特征点，确定双目相机所在物理空间的深度值及深度值的误差值；以及位姿确定模块，用于根据深度值及深度值的误差值，确定双目相机的位姿。

[0011] 可选地，上述匹配特征点得到模块包括：特征点得到子模块，用于识别第一图像和第二图像，得到针对第一图像的第一特征点组和针对第二图像的第二特征点组；以及特征点匹配子模块，用于根据第一特征点组和第二特征点组，确定匹配的第一特征点和第二特征点，以得到至少一组匹配特征点。其中，每组匹配特征点包括相互匹配的一个第一特征点和一个第二特征点。

[0012] 本公开的另一方面提供了一种增强现实设备，该设备包括：双目相机，包括左相机和右相机，左相机用于拍摄双目相机所在物理空间的第一图像；右相机用于拍摄双目相机所在物理空间的第二图像，第一图像与第二图像为物理空间的两个不同角度的图像。一个或多个处理器，与双目相机连接，用于获取所述第一图像和所述第二图像；以及存储装置，用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的位姿确定方法。

[0013] 本公开还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的位姿确定方法。附图说明

[0014] 为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

[0015] 图1示意性示出了根据本公开实施例的位姿确定方法及装置、增强现实设备和可读存储介质的应用场景图；

[0016] 图2示意性示出了根据本公开示例性实施例一的位姿确定方法的流程图；

[0017] 图3示意性示出了根据本公开实施例的得到至少一组匹配特征点的流程图；

[0018] 图4示意性示出了根据本公开示例性实施例二的位姿确定方法的流程图；

[0019] 图5示意性示出了根据本公开实施例的确定双目相机所在物理空间的深度值及深度值的误差值的流程图；

[0020] 图6示意性示出了根据本公开实施例的确定双目相机的位姿的流程图；

[0021] 图7示意性示出了根据本公开实施例的得到调整后的优化模型的流程图；

[0022] 图8示意性示出了根据本公开实施例的位姿确定装置的结构框图；以及[0023] 图9示意性示出了根据本公开实施例的增强现实设备的结构框图。

具体实施方式

[0024] 以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

[0025] 在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

[0026] 在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

[0027] 在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

[0028] 附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

[0029] 本公开实施例提供了一种位姿确定方法，该方法包括：获得双目相机中左相机得到的第一图像和右相机得到的第二图像；根据第一图像和所述第二图像，得到至少一组匹配特征点；根据至少一组匹配特征点，确定双目相机所在物理空间的深度值及深度值的误差值；以及根据深度值及深度值的误差值，确定双目相机的位姿。

[0030] 本公开实施例的位姿确定方法，在确定双目相机的位姿时，通过引入深度值的误差值，可以至少部分地提高确定的相机位姿的准确性。以该准确性高的相机位姿可以构建得到更为准确的三维结构信息，从而提高增强现实设备渲染的虚拟图像与真实环境的融合度，提高用户体验。

[0031] 图1示意性示出了根据本公开实施例的位姿确定方法及装置、增强现实设备和可读存储介质的应用场景图。

[0032] 如图1所示，该应用场景100中包括增强现实设备110，该增强现实设备110设置有双目相机111。该双目相机111例如可以包括左相机和右相机，左相机和右相机均可对视觉范围内的环境进行图像采集，且左相机和右相机采集的图像为同一物理空间中不同角度的图像。

[0033] 其中，增强现实设备110例如还可以包括有显示系统，该显示系统例如可以为显示屏和棱镜、光波导等光学元件的组合，通过该显示系统可以显示用户所在物理空间的环境图像。

[0034] 根据本公开的实施例，为了便于在实际的环境图像中渲染虚拟图像，需要对增强现实设备所在空间的三维结构信息进行精准构建，例如可以采用视觉SLAM(Simultaneous localization and mapping)技术来构建三维结构信息。其中，SLAM中的一个关键问题之一就是求解双目相机的位姿。

[0035] 其中，双目相机一般先标定左右目外参，然后根据左右目外参计算物理空间中目标位置的绝对深度值。但该深度值具有一定的误差，该误差与目标位置与双目相机的距离、双目相机本身的性能等相关。这会使得算出的绝对深度值有较大的不确定性。为了避免该深度的误差给SLAM系统求解双目相机的位姿带来的影响，可以考虑使用别的传感器信息(例如惯性传感单元)来减小该深度误差对双目相机的位姿带来的影响。但该方法会带来额外的软硬件开销，同时最终会使得定位得到的双目相机的位姿因深度误差的影响产生尺寸漂移。

[0036] 考虑到SLAM技术定位相机的位姿时，一般采用最小化误差函数的方法来确定位姿，因此，可以考虑在最小化误差函数时，将深度误差作为误差函数的误差项之一进行最小化计算，以此来提高确定的位姿的准确性。

[0037] 需要说明的是，本公开实施例的位姿确定方法例如可以由增强现实设备110执行。相应地，本公开实施例的位姿确定装置例如可以设置于增强现实设备110中。可以理解的是，图1中的增强现实设备的结构仅作为示例以利于理解本公开，本公开对此不作限定。

[0038] 以下将结合图2～图7对本公开提供的位姿确定方法进行详细描述。

[0039] 图2示意性示出了根据本公开示例性实施例一的位姿确定方法的流程图。

[0040] 如图2所示，该实施例的位姿确定方法例如可以包括操作S210～操作S240。

[0041] 在操作S210，获得双目相机中左相机得到的第一图像和右相机得到的第二图像。其中，第一图像例如可以是左相机拍摄得到的视觉范围内的图像，第二图像为右相机拍摄得到的视觉范围内的图像。该第一图像和第二图像为同一时刻拍摄的、在同一物理空间中不同角度的图像。

[0042] 在操作S220，根据第一图像和第二图像，得到至少一组匹配特征点。该操作S220例如可以包括：先对第一图像和第二图像进行比对，确定第一图像和第二图像中的相同物体；然后对该两个图像中的相同物体进行特征提取，以相同物体在两个图像中的特征作为一组匹配特征点。或者，该操作S220例如也可以通过图3描述的流程来实现，在此不再详述。

[0043] 在操作S230，根据至少一组匹配特征点，确定双目相机所在物理空间的深度值及深度值的误差值。

[0044] 根据本公开的实施例，该操作S230例如可以采用三角测量法来确定每组匹配特征点所表征的物体相对于双目相机的深度值。其中，考虑到通过匹配特征点确定的物体的深度值会有一定误差，该误差深度值、双目相机的基线长度、物体与双目相机的角度等有关。因此，操作S230例如可以根据深度值与该些参数来确定深度值的误差值。具体地，该操作S230例如可以通过图5描述的流程来确定深度值和深度值的误差值，在此不再详述。

[0045] 在操作S240，根据深度值及深度值的误差值，确定双目相机的位姿。

[0046] 根据本公开的实施例，该操作S240例如可以包括：先根据操作S220确定的至少一组匹配特征点中每组匹配特征点在图像中的坐标值，来确定双目相机的预估位姿，然后以深度值及深度值的误差值作为预定优化模型的约束条件，对预估位姿进行优化，得到优化后的位姿。最后以优化后的位姿作为确定的双目相机的位姿。该双目相机的位姿的确定例如可以通过图6描述的流程来确定，在此不再详述。

[0047] 综上可知，该实施例的位姿确定方法，在确定双目相机的位姿时，通过引入深度值的误差值，可以至少部分地提高确定的相机位姿的准确性。以该准确性高的相机位姿可以构建得到更为准确的三维结构信息，从而提高增强现实设备渲染的虚拟图像与真实环境的融合度，提高用户体验。

[0048] 图3示意性示出了根据本公开实施例的得到至少一组匹配特征点的流程图。

[0049] 如图3所示，得到至少一组匹配特征点的操作S220例如可以包括操作S321～操作S322。

[0050] 在操作S321，识别第一图像和第二图像，得到针对第一图像的第一特征点组和针对第二图像的第二特征点组。

[0051] 根据本公开的实施例，例如可以采用SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征提取算法、HOG特征提取方法或预训练得到的神经网络识别第一图像和第二图像，以提取得到第一特征点组和第二特征点组。

[0052] 其中，第一特征点组包括从第一图像中提取得到的多个第一特征点，第二特征点组包括从第一图像中提取得到的多个第二特征点。特征点例如可以包括物体的边缘点或者物体的角点等。

[0053] 在操作S322，根据第一特征点组和第二特征点组，确定匹配的第一特征点和第二特征点，以得到至少一组匹配特征点。

[0054] 根据本公开的实施例，该操作S322例如可以包括：将第一特征点组包括的每个第一特征点与第二特征点组包括的多个第二特征点进行一一比对，确定与该每个第一特征点的相似度高于预定相似度(例如50％)的第二特征点。将高于预定相似度的第一特征点和第二特征点确定为匹配的第一特征点和第二特征点，该匹配的第一特征点与第二特征点组成为一组匹配特征点。其中，所述相似度例如可以指颜色相似度、大小相似度和/或边缘相似度等，且上述预定相似度仅作为示例以利于理解本公开，本公开对此不作限定。

[0055] 根据本公开的实施例，为了便于确定深度值和深度值的误差值，应预先对双目相机进行标定，得到双目相机的左右目外参等。

[0056] 图4示意性示出了根据本公开示例性实施例二的位姿确定方法的流程图。

[0057] 如图4所示，该实施例的位姿确定方法除了操作S210～操作S240外，还可以包括操作S450～操作S460，该操作S450～操作S460例如可以在操作S230之前执行。

[0058] 在操作S450，标定双目相机，得到双目相机的左右目外参。

[0059] 根据本公开的实施例，该左右目外参可以表征左相机和右相机的位姿关系，具体可以为基于左相机建立的三维坐标系与基于右相机建立的三维坐标系之间的变换关系。对于基于左相机建立的三维坐标系中的点，通过旋转矩阵R和平移向量T可以变换得到该点在基于右相机建立的三维坐标系中的坐标值。其中，旋转向量R和平移向量T即为标定得到的左右目外参。

[0060] 在操作S460，根据左右目外参，确定双目相机的基线长度。

[0061] 根据本公开的实施例，双目相机的基线指：左相机的光心与右相机的光心之间的连线，该基线长度指该连线的长度。该基线长度例如可以为平移向量T中的第一个元素的值。

[0062] 图5示意性示出了根据本公开实施例的确定双目相机所在物理空间的深度值及深度值的误差值的流程图。

[0063] 如图5所示，确定双目相机所在物理空间的深度值及深度值的误差值的操作S230例如可以包括操作S531～操作S532。

[0064] 在操作S531，确定至少一组匹配特征点各自对应物理空间中目标位置的深度值，得到针对至少一组匹配特征点的至少一个深度值。

[0065] 根据本公开的实施例，假设左相机和右相机位于同一平面，即光轴平行，且两个相机的参数(例如焦距f)一致，则可以根据三角形相似原理确定每组匹配特征点对应的目标位置离相机的深度z＝f*b/a。其中，f为两个相机的焦距，b为两个相机的左右相机基线。a为左相机拍摄得到的第一图像的每个像素点与右相机拍摄得到的第二图像中对应像素点之间的关系，其可以根据一组匹配特征点中第一特征点的坐标值和第二特征点的坐标值来确定。其中，第一特征点的坐标值指第一特征点在基于第一图像建立的二维坐标系中的坐标值，第二特征点的坐标值指第二特征点在基于第二图像建立的二维坐标系中的坐标值。

[0066] 操作S531例如可以包括：对于每一组匹配特征点，采用上述的方法得到每一组匹配特征点对应的物理空间中的点相较于双目相机的基线的垂直距离，作为针对每一组匹配特征点的深度值，总共得到与至少一组匹配特征点一一对应的至少一个深度值。

[0067] 在操作S532，根据至少一个深度值、所述基线长度及目标误差模型，确定至少一个深度值各自的误差值。

[0068] 根据本公开的实施例，目标误差模型例如可以包括根据三角测量法和小孔成像模型推导得到的简约模型。该简约模型例如可以采用以下公式来表示：

[0069]

[0070] 其中，Error为深度值的误差值；K为根据多次确定的深度值的真实值与测量值之间的差距来确定的常数；d为深度值；b为双目相机的基线长度，θ为深度值对应的目标位置和基线中心点之间的连线与基线的垂直线之间的夹角。对于操作S531中计算得到的针对至少一组匹配特征点的至少一个深度值，均可以通过上述公式计算得到至少一个深度值各自的误差值。可以理解的是，上述简约模型仅作为示例以利于理解本公开，本公开对此不作限定。该简约模型具体可以根据影响深度值的各参数与深度值的关系来进行确定。

[0071] 图6示意性示出了根据本公开实施例的确定双目相机的位姿的流程图。

[0072] 如图6所示，确定双目相机的位姿的操作S240例如可以包括操作S641～操作S643。

[0073] 在操作S641，根据至少一组匹配特征点及左右目外参，确定双目相机的预估位姿。

[0074] 根据本公开的实施例，该操作S641例如可以包括：先根据每组匹配特征点中第一特征点在基于第一图像建立的二维坐标系中的第一坐标值、第二特征点在基于第二图像建立的二维坐标系中的第二坐标值及左右目外参，确定该每组匹配特征点对应的物理空间中的目标位置在相机坐标系中的坐标值。然后根据相机坐标系与世界坐标系之间的转换关系，确定目标位置在世界坐标系下的坐标值。最后根据目标位置在世界坐标系下的坐标值与目标位置在相机坐标系中的坐标值，来计算得到相机的预估位姿。该操作S641例如可以采用PnP(Perspective-n-Points)算法计算得到相机的初始位姿。

[0075] 在操作S642，根据深度值和深度值的误差值，调整目标优化模型，得到调整后的优化模型。

[0076] 根据本公开的实施例，为了计算双目相机的位姿，例如可以采用以相机位姿为变量的误差函数(例如光度误差、重投影残差、3D几何误差等)，以该误差函数对应的误差取最小值时双目相机的位姿为准确的相机位姿。因此，目标优化模型可以为最小化前述误差的模型。

[0077] 根据本公开的实施例，目标优化模型例如可以包括BA(Bundle adjustment)模型。该BA模型的本质是在最小化重投影残差的同时优化位姿。其中，重投影残差是指物理空间中的目标位置在图像平面上的投影(左相机或右相机采集得到的图像上的像素点)和重投影(计算得到的虚拟的像素点)的差值。其中，重投影指：先进行第一次投影，即相机在拍摄的时候将物理空间中的点投影到拍摄的图像上，然后利用拍摄的图像对一些特征点进行三角定位，利用几何信息构建三角形来确定物理空间中的点的位置。最后利用确定的物理空间中的点的位置和初始相机位姿进行第二次投影，得到虚拟的像素点。该初始相机位姿例如可以为前述的预估位姿。

[0078] 该操作S642对目标优化模型的调整例如可以为在重投影残差的基础上加入针对深度值的误差值的残差项。该操作S642例如可以通过图7描述的流程来实现，在此不再详述。

[0079] 在操作S643，根据调整后的优化模型优化预估位姿，得到双目相机的位姿。

[0080] 该操作S643例如可以包括：通过梯度下降法、牛顿法、高斯-牛顿法和列文伯格-马夸尔特法(Levenberg-Marquardt)等方法，以预估位姿为初始值，通过迭代计算得到使调整后的优化模型取最小值时的相机位姿，并将该取最小值时的相机位姿作为最终确定的双目相机的位姿。

[0081] 图7示意性示出了根据本公开实施例的得到调整后的优化模型的流程图。

[0082] 如图7所示，得到调整后的优化模型的操作S642例如可以包括操作S7421～操作S7422。

[0083] 在操作S7421，根据至少一个深度值及至少一个深度值各自的误差值，确定针对双目相机的深度残差。根据本公开的实施例，该操作S7421例如可以包括：先计算每个深度值的误差值的平方值，得到至少一个平方值。然后对该至少一个平方值求和，得到针对双目相机的深度残差。

[0084] 在操作S7422，根据深度残差调整目标优化模型，得到调整后的优化模型。根据本公开的实施例，该操作S7422例如可以包括：将深度残差作为目标优化模型中求和项中的一项，得到调整后的优化模型。

[0085] 图8示意性示出了根据本公开实施例的位姿确定装置的结构框图。

[0086] 如图8所示，该位姿确定装置800例如可以包括图像获得模块810、匹配特征点得到模块820、数值确定模块830和位姿确定模块840。

[0087] 图像获得模块810用于获得双目相机中左相机得到的第一图像和右相机得到的第二图像(操作S210)。

[0088] 匹配特征点得到模块820用于根据第一图像和第二图像，得到至少一组匹配特征点(操作S220)。

[0089] 数值确定模块830用于根据至少一组匹配特征点，确定双目相机所在物理空间的深度值及深度值的误差值(操作S230)。

[0090] 位姿确定模块840用于根据深度值及深度值的误差值，确定双目相机的位姿(操作S240)。

[0091] 根据本公开的实施例，如图8所示，匹配特征点得到模块820例如可以包括特征点得到子模块821和特征点匹配子模块822。特征点得到子模块821用于识别第一图像和第二图像，得到针对第一图像的第一特征点组和针对第二图像的第二特征点组(操作S321)。特征点匹配子模块822用于根据第一特征点组和第二特征点组，确定匹配的第一特征点和第二特征点，以得到至少一组匹配特征点(操作S322)。其中，每组匹配特征点包括相互匹配的一个第一特征点和一个第二特征点。

[0092] 根据本公开的实施例，如图8所示，上述位姿确定装置800例如还可以包括相机标定模块850和基线长度确定模块860。相机标定模块850用于在数值确定模块830确定双目相机所在物理空间的深度值及深度值的误差值之前，标定双目相机，得到双目相机的左右目外参(操作S450)。基线长度确定模块860用于根据左右目外参，确定双目相机的基线长度(操作S550)。

[0093] 根据本公开的实施例，如图8所示，数值确定模块830例如可以包括深度值确定子模块831和误差值确定子模块832。深度值确定子模块831用于确定至少一组匹配特征点各自对应物理空间中目标位置的深度值，得到针对至少一组匹配特征点的至少一个深度值(操作S531)。误差值确定子模块832用于根据至少一个深度值、基线长度及目标误差模型，确定至少一个深度值各自的误差值(操作S532)。

[0094] 根据本公开的实施例，如图8所示，位姿确定模块840例如可以包括预估子模块841、模型调整子模块842和位姿确定子模块843。预估子模块841用于根据至少一组匹配特征点及左右目外参，确定双目相机的预估位姿(操作S641)。模型调整子模块842用于根据深度值和深度值的误差值，调整目标优化模型，得到调整后的优化模型(操作S642)。位姿确定子模块843用于根据调整后的优化模型优化预估位姿，得到双目相机的位姿(操作S643)。

[0095] 根据本公开的实施例，深度值包括针对至少一组匹配特征点的至少一个深度值；深度值的误差值包括针对至少一个深度值各自的误差值。上述模型调整子模块842具体例如可以用于执行以下操作：根据至少一个深度值及至少一个深度值各自的误差值，确定针对双目相机的深度残差(操作S7421)；以及根据深度残差调整目标优化模型，得到调整后的优化模型(操作S7422)。

[0096] 根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

[0097] 图9示意性示出了根据本公开实施例的增强现实设备的结构框图。

[0098] 如图9所示，增强现实设备900包括处理器910、计算机可读存储介质920和双目相机930。该增强现实设备900例如可以为图1描述的增强现实设备110，可以执行根据本公开实施例的信息处理方法。

[0099] 具体地，处理器910例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器910还可以包括用于缓存用途的板载存储器。处理器910可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

[0100] 计算机可读存储介质920，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

[0101] 计算机可读存储介质920可以包括计算机程序921，该计算机程序921可以包括代码/计算机可执行指令，其在由处理器910执行时使得处理器910执行根据本公开实施例的方法或其任何变形。

[0102] 计算机程序921可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序921中的代码可以包括一个或多个程序模块，例如包括921A、模块921B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器910执行时，使得处理器910可以执行根据本公开实施例的方法或其任何变形。

[0103] 根据本发明的实施例，双目相机930例如可以包括左相机和右相机，该双目相机930例如可以为图1描述的双目相机111。增强现实设备900例如可以根据双目相机930的两个相机拍摄的两个图像来执行位姿确定方法。

[0104] 本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

[0105] 根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

[0106] 附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0107] 本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

[0108] 尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

标题	发布/更新时间	阅读量
一种双目内窥镜软组织图像的在线三维重建方法	2020-05-08	975
基于深度摄像和身高阈值像素标定的自动身高检测方法	2020-05-11	106
一种玉米对靶变量施肥方法、装置及应用	2020-05-11	844
铁路货车小部件轴承挡键螺母松动和丢失故障检测方法	2020-05-08	299
铁路货车滚轴承甩油故障检测方法	2020-05-11	86
一种烟叶等级自动识别分拣方法	2020-05-11	550
一种基于虚拟训练的机器人智能抓取方法	2020-05-11	523
一种伤口测量的方法及装置、存储介质	2020-05-11	977
一种室内场景三维重建的RGB-D相机位姿估计方法	2020-05-08	898
一种抗遮挡目标跟踪方法	2020-05-08	106

位姿确定方法及装置、增强现实设备和可读存储介质

位姿确定方法及装置、增强现实设备和可读存储介质

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：