多模态AR处理方法、装置、设备和可读存储介质
阅读：362发布：2020-05-19
专利汇可以提供多模态AR处理方法、装置、设备和可读存储介质专利检索，专利查询，专利分析的服务。并且本 发明 提供一种多模态AR处理方法、装置、设备和可读存储介质，通过根据用户 请求 信息，获取 视频 帧 图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用 跟踪 处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。，下面是多模态AR处理方法、装置、设备和可读存储介质专利的具体信息内容。
1.一种多模态AR处理方法，其特征在于，包括：
根据用户请求信息，获取视频帧图像和AR任务属性；
根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型，包括：
获取用于处理所述AR任务属性的校正方法类型、地图方法类型；
在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型之前，还包括：
创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型；
创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型；
创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型；
获取多个处理模型组合，其中，所述处理模型组合包括：
预设的共用跟踪处理模型，
所述2D校正处理模型和所述3D校正处理模型之一，
以及所述2D地图处理模型、所述3D地图处理模型和所述融合地图处理模型之一。
4.根据权利要求3所述的方法，其特征在于，所述任务属性包括2D类AR任务；
与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型；
与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。
5.根据权利要求3所述的方法，其特征在于，所述任务属性包括3D类AR任务；
与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型；
与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。
6.根据权利要求3所述的方法，其特征在于，所述任务属性包括融合类AR任务；
与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。
7.根据权利要求1至6任一所述的方法，其特征在于，所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程；其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型；
所述在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，包括：
以跟踪线程获取所述视频帧图像，并将所述视频帧图像同步给所述校正线程；
以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像，得到具有尺度信息的绝对位置地图和相机姿态信息，并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程；
以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息，对所述视频帧图像进行AR初始定位，获取所述视频帧图像的物体姿态，并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程；
以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态，创建或更新局部地图，并将所述局部地图同步给所述跟踪线程；
以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
8.根据权利要求1至6任一所述的方法，其特征在于，所述用户请求信息包括所述视频帧图像；
所述根据用户请求信息，获取视频帧图像和AR任务属性，包括：
获取用户请求信息中的视频帧图像；
对所述视频帧图像识别获取待跟踪对象；
根据所述待跟踪对象的形状特征，确定AR任务属性，其中所述形状特征包括2D物体特征和/或3D物体特征。
9.一种多模态AR处理装置，其特征在于，包括：
获取模块，用于根据用户请求信息，获取视频帧图像和AR任务属性；
组合模块，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
处理模块，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
10.一种设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1至8任一所述多模态AR处理方法。
11.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至8任一所述多模态AR处理方法。
多模态AR处理方法、装置、设备和可读存储介质
技术领域
背景技术
[0002] 增强现实(Augmented Reality，简称：AR)是一种将真实场景同虚拟信息融合的技术，它的目的是通过计算机图形、图像处理技术实现实景(显示环境或用户影像)与虚景(计算机生成的虚拟环境或虚拟物体)的合成。随着AR技术的发展和用户需求的增加，已对各种AR应用场景发展出越来越多的AR算法，例如并发建图与定位(simultaneous localization and mapping，简称：SLAM)、2D跟踪和3D跟踪等。如何在复杂多变的应用环境下实现实时可靠的AR处理，一直是AR技术的目标之一。
[0003] 现有的AR处理方法，通常在同一个应用程序中集成多种AR功能模块，各AR功能模块之间相互独立运行以而提供不同的AR功能。例如，一个AR应用程序中包括SLAM模块、2D跟踪模块和3D跟踪模块，假如需要对手机拍摄环境中的平面图案跟踪，则仅调用2D跟踪模块；假如需要不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置，则需要调用SLAM模块和2D跟踪模块这两个模块。
[0004] 然而，不同的AR功能模块均是作为独立的算法被整体进行调用，存在重复、冗余的计算量。可见，现有的AR处理方法的处理效率和灵活性不够高。
发明内容
[0005] 本发明实施例提供一种多模态AR处理方法、装置、设备和可读存储介质，提高了AR处理的效率和灵活性。
[0006] 本发明实施例的第一方面，提供一种多模态AR处理方法，包括：
[0008] 根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
[0009] 在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
[0010] 本发明实施例的第二方面，提供一种多模态AR处理装置，包括：
[0011] 获取模块，用于根据用户请求信息，获取视频帧图像和AR任务属性；
[0012] 组合模块，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
[0013] 处理模块，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
[0014] 本发明实施例的第三方面，提供一种终端，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述多模态AR处理方法。
[0015] 本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述多模态AR处理方法。
[0016] 本发明提供的一种多模态AR处理方法、装置、设备和可读存储介质，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。附图说明
[0017] 图1是本发明实施例提供的一种应用场景示意图；
[0018] 图2是本发明实施例提供的一种多模态AR处理方法流程示意图；
[0019] 图3是本发明实施例提供的一种多模态AR处理装置结构示意图；
[0020] 图4是本发明实施例提供的另一种多模态AR处理装置结构示意图；
[0021] 图5是本发明实施例提供的一种多模态AR处理装置结构示意图。
具体实施方式
[0022] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023] 本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0024] 应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0025] 应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0026] 应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
[0027] 应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的校正，是A与B的相似度大于或等于预设的阈值。
[0028] 下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0029] 在现有的AR处理方法中，通常包含有多种AR处理方法以实现不同的计算需求。例如视觉定位(Visual Positioning System，简称VPS)方法、并发建图与定位(simultaneous localization and mapping，简称：SLAM)方法、二维2D跟踪方法、三维3D跟踪方法等。在实际产品中，每个AR处理方法是以单独的AR功能模块实现的，通常在同一个应用程序中集成多种AR功能模块，各AR功能模块之间相互独立运行以而提供不同的AR功能。例如，一个AR应用程序中包括SLAM模块、2D跟踪模块和3D跟踪模块，假如需要对手机拍摄环境中的平面图案跟踪，则仅调用2D跟踪模块。假如不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置，则需要同时调用SLAM模块和2D跟踪模块这两个模块。可见，现有的AR产品把多个独立的算法(例如SLAM、2D跟踪、3D跟踪等)直接封装到一个应用里，然后根据不同的应用需求调起不同的算法。由于各种AR算法通常有各自不同的实现原理和方法，比如SLAM算法有ORB-SLAM、LSD-SLAM等，3D跟踪算法有PWP3D和一些基于边缘的追踪算法等。这些算法实现原理和方法差别很大，只能当做一个个独立的算法模块。
[0030] 然而，由于各AR功能模块均是作为独立的算法被整体调用，由于模块封装、以及算法原理差异等原因，两个独立的模块无法共享算法内部的一些底层数据，导致进行重复计算产生冗余数据的问题。例如在不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置的应用场景中，需要同时调用SLAM模块和2D跟踪模块，但SLAM模块和2D跟踪模块都会对用户周围局部地图数据进行生成的更新，导致了地图数据的重复计算。
而这些重复计算导致了功耗的提高以及计算资源的占用，还可能降低计算速度和处理效率。可见，现有的AR处理方法的处理效率和灵活性不够高。
而这些重复计算导致了功耗的提高以及计算资源的占用，还可能降低计算速度和处理效率。可见，现有的AR处理方法的处理效率和灵活性不够高。
[0031] 为了解决现有技术中存在的问题，本发明实施例提供了一种多模态AR处理方法，通过对现有的多个AR算法进行拆解和多种组合，得到多个处理模型组合，这些处理模型组合可以根据各种应用需求而单独调用，且每个处理模型组合中包括了AR功能所需的跟踪算法、校正算法以及地图更新算法，由此实现可适应多种场景下的多模态AR处理，提高了AR处理的处理效率和灵活性。
[0032] 参见图1，是本发明实施例提供的一种应用场景示意图。在图1所示的应用场景中，用户通过用户终端1中安装的AR应用程序拍摄周围环境的视频，用户终端1根据实时拍摄的视频向服务器2发出携带视频帧图像的用户请求信息。例如，该AR应用程序是用于对特定建筑物进行AR效果叠加的娱乐类应用程序，那么服务器2在接收到视频帧图像后，为其分配对应任务属性的模型组合，对用户拍摄视频中教学大楼进行跟踪，并在教学大楼的上空位置AR叠加显示“XX学校欢迎您”的欢迎条幅。
[0034] S101，根据用户请求信息，获取视频帧图像和AR任务属性。
[0035] 例如，用户请求信息本身中可以携带有视频帧图像和AR任务属性，以便服务器直接读取。又例如，用户终端仅能请求固定的AR任务属性(例如功能单一的AR应用程序)，那么服务器获取到视频帧图像时，还获取到该用户终端对应的AR任务属性。
[0036] 在另一些实施例中，用户请求信息可以包括所述视频帧图像。服务器获取用户请求信息中的视频帧图像，并对所述视频帧图像识别获取待跟踪对象。例如根据预设的多个可进行AR处理的物体信息，在视频帧图像中进行目标检测，若检测到目标对象，则作为待跟踪对象。通常，待跟踪对象可以分为2D物体和3D物体，服务器可以根据所述待跟踪对象的形状特征，确定AR任务属性，其中所述形状特征包括2D物体特征和/或3D物体特征。例如，若待跟踪对象为2D物体，例如特定图案，则AR任务属性为2D类AR任务，即进行2D跟踪。假如在视频帧图像中检测不到目标对象，则可以暂时不做跟踪，或者可以仅根据视频帧图像生成并更新周围环境局部地图。
[0037] S102，根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型。
[0038] 例如，服务器预设的处理模型组合有多种，每个处理模型组合都包含有相同的共用跟踪处理模型，以及各自不同的校正处理模型和地图处理模型。而正是由于校正处理模型和地图处理模型的不同，而使得各处理模型组合适用不同的AR处理，即对应不同的AR任务属性。
[0039] 在一些应用场景中，本实施例中服务器可以向多款AR应用提供服务，只需要根据其任务属性的不同，而选择相应的目标模型组合。当然，服务器也可以向单一的一款AR应用提供服务，则只需要选择固定的目标模型组合即可。
[0040] 在步骤S102之前，还可以先对多个处理模型组合进行预设。处理模型组合的预设过程，可以理解为是对现有的多种AR算法的拆解和重新组合的过程。例如，考虑到AR处理主要是对2D类物体和/或3D类物体进行跟踪定位，而各种AR算法中的跟踪方法部分是可以通用的，因此预设一共用跟踪处理模型作为各个模型组合中通用的跟踪处理模型。而对于不同的AR应用，其适用的姿态匹配校正方法和地图更新优化方法具有较大差异，因此各服务器预设的各处理模型组合中校正处理模型或者地图处理模型是互不相同的。本实施例中每个模型都可以理解为方法，线程通过访问这些方法和必要的数据而执行模型对应的算法步骤。
[0041] 例如，服务器根据用户输入，创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型。例如，2D校正方法类型可以是2D校正处理模型的标签信息，同样的，2D地图方法类型也可以是2D地图处理模型的标签信息，都是用于指示模型的算法功能。
[0042] 例如，服务器根据用户输入，创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型。例如，3D校正方法类型可以是3D校正处理模型的标签信息，同样的，3D地图方法类型也可以是3D地图处理模型的标签信息，都是用于指示模型的算法功能。
[0043] 例如，服务器根据用户输入，创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型。例如，2D和3D地图方法类型也可以是融合地图处理模型的标签信息，是用于指示模型的算法功能，例如，融合地图处理模型的算法是将2D地图更新算法与3D地图更新算法相互融合后得到的，以实现在进行3D地图更新优化的同时向进行2D跟踪的共用跟踪处理模型同步2D的局部地图。
[0044] 上述各种校正处理模型和地图处理模型的创建和存储，可以是同时进行的，也可以是以任意顺序先后执行的，本实施例不做限定。
[0045] 在建立了上述各种模型的基础上，服务器通过对各种模型的选择和组合，获取多个处理模型组合，其中，每个处理模型组合由3个模型组成。第一个模型是预设的共用跟踪处理模型，每个处理模型组合具有相同的共用跟踪处理模型。第二个模型是上述2D校正处理模型和3D校正处理模型之一，即从上述2D校正处理模型和3D校正处理模型选择一个。第三个模型是上述2D地图处理模型、3D地图处理模型和融合地图处理模型之一，同样是在上述2D地图处理模型、3D地图处理模型和融合地图处理模型选择一个。由于每个处理模型组合中包括的组合不同，因此各处理模型组合适用的任务属性也就不同。例如，处理模型组合A包括：共用跟踪处理模型、3D校正处理模型、3D地图处理模型。那么处理模型组合A对应3D校正方法类型和3D地图方法类型，即，可以处理3D跟踪、3D局部地图更新优化等3D类AR任务任务。处理模型组合B包括：共用跟踪处理模型、2D校正处理模型、融合地图处理模型。那么处理模型组合B对应2D校正方法类型、2D和3D地图方法类型，即，可以处理2D跟踪、2D和3D局部地图更新优化等融合类AR任务任务。
[0046] 上述步骤S102(根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型)的一种可选的实施例可以是：服务器获取用于处理所述AR任务属性的校正方法类型、地图方法类型。例如对融合类AR任务任务，获取到2D校正方法类型、2D和3D地图方法类型。然后，服务器在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。例如将与2D校正方法类型、2D和3D地图方法类型对应的处理模型组合B，作为目标模型组合。
[0047] 在上述实施例中，任务属性可以有多种，例如可以包括2D类AR任务、3D类AR任务以及融合类AR任务中的至少一种。下面对三种任务属性及其对应的校正处理模型和地图处理模型进行举例。
[0048] 在一些实施例中，任务属性例如可以包括2D类AR任务。与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型。可以理解为，2D校正处理模型对应的算法是2D跟踪特有的校正算法，比如基于ORB特征的平面匹配算法或者是基于SURF特征的平面匹配算法等。与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。可以理解为，2D地图处理模型对应的算法是2D特有的地图更新优化算法，比如用共用跟踪处理模型获得的位姿、待处理帧图像和平面方程计算新增的地图点的深度。
[0049] 在另一些实施例中，任务属性例如可以包括3D类AR任务。与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型。可以理解为，3D校正处理模型对应的算法是3D跟踪特有的校正算法，比如基于PWP3D或者基于边缘的匹配算法等。与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。可以理解为，3D地图处理模型对应的算法是
3D特有的地图更新优化算法，比如用共用跟踪处理模型获得的位姿、待处理帧图像来渲染
3D模型，获取3D模型中每个点的深度，由此增加新的地图点。
3D特有的地图更新优化算法，比如用共用跟踪处理模型获得的位姿、待处理帧图像来渲染
3D模型，获取3D模型中每个点的深度，由此增加新的地图点。
[0050] 在再一些实施例中，任务属性例如可以包括融合类AR任务。与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。例如2D扩展算法中以2D图像进行初始化，并实时对用户在周围环境中进行定位。
[0051] 通过上述对校正处理模型和地图处理模型的多种组合，结合共用跟踪处理模型，可以灵活地实现各种类型的AR功能的组合，由此适应多种应用需求，降低重复计算。
[0052] S103，在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
[0053] 三线程架构例如是TMC三线程的架构，其中TMC是指三个不同功能的线程。可以理解为，T(Tracking)是指用于对实时序列帧的姿态估计的跟踪线程；M(Mapping)是指用于对局部地图优化更新的地图线程；C(Calibration)是指用于针对全局地图、刚性物体的绝对匹配计算的校正线程。
[0054] 通过三线程架构执行目标模型组合，可以实现目标模型组合中各模型之间的地层数据共享，从而将跟踪处理模型、校正处理模型和地图处理模型统一起来进行组合调用。
[0055] 可以理解为，三线程架构包括数据共享的跟踪线程、校正线程和地图线程。其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。例如，跟踪线程用于访问目标模型组合的跟踪处理模型对应的方法，校正线程用于访问目标模型组合的校正处理模型对应的方法，地图线程用于访问目标模型组合的地图处理模型对应的方法。
[0056] 在三线程架构的基础上，在确定了目标模型组合之后，步骤S103的一种具体实现方式可以为：
[0057] 服务器首先以跟踪线程获取所述视频帧图像，并将所述视频帧图像同步给所述校正线程。
[0058] 服务器然后以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像，得到具有尺度信息的绝对位置地图和相机姿态信息，并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程。
[0059] 服务器接着以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息，对所述视频帧图像进行AR初始定位，获取所述视频帧图像的物体姿态，并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程。
[0060] 服务器继而以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态，创建或更新局部地图，并将所述局部地图同步给所述跟踪线程。
[0061] 服务器最后以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
[0062] 本实施例提供一种多模态AR处理方法，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。
[0063] 参见图3，是本发明实施例提供的一种多模态AR处理装置结构示意图，图3所示的多模态AR处理装置30包括：
[0064] 获取模块31，用于根据用户请求信息，获取视频帧图像和AR任务属性；
[0065] 组合模块32，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
[0066] 处理模块33，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
[0067] 本实施例提供一种多模态AR处理装置，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。
[0068] 可选地，组合模块32，用于获取用于处理所述AR任务属性的校正方法类型、地图方法类型；在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。
[0069] 参见图4，是本发明实施例提供的另一种多模态AR处理装置结构示意图，图4所示的多模态AR处理装置30还包括：预建模块34。
[0070] 在所述组合模块32根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型之前，预建模块34，用于创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型；创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型；创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型；获取多个处理模型组合，其中，所述处理模型组合包括：
[0071] 预设的共用跟踪处理模型，
[0072] 所述2D校正处理模型和所述3D校正处理模型之一，
[0073] 以及所述2D地图处理模型、所述3D地图处理模型和所述融合地图处理模型之一。
[0074] 可选地，所述任务属性包括2D类AR任务。
[0075] 与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型。
[0076] 与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。
[0077] 可选地，所述任务属性包括3D类AR任务。
[0078] 与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型。
[0079] 与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。
[0080] 可选地，所述任务属性包括融合类AR任务。
[0081] 与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。
[0082] 可选地，所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程；其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。
[0083] 相应地，处理模块33，用于以跟踪线程获取所述视频帧图像，并将所述视频帧图像同步给所述校正线程；以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像，得到具有尺度信息的绝对位置地图和相机姿态信息，并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程；以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息，对所述视频帧图像进行AR初始定位，获取所述视频帧图像的物体姿态，并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程；以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态，创建或更新局部地图，并将所述局部地图同步给所述跟踪线程；以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
[0084] 可选地，所述用户请求信息包括所述视频帧图像。
[0085] 相应地，获取模块31，用于获取用户请求信息中的视频帧图像；对所述视频帧图像识别获取待跟踪对象；根据所述待跟踪对象的形状特征，确定AR任务属性，其中所述形状特征包括2D物体特征和/或3D物体特征。
[0086] 参见图5，是本发明实施例提供的一种设备的硬件结构示意图，该设备50包括：处理器51、存储器52和计算机程序；其中，
[0087] 存储器52，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
[0088] 处理器51，用于执行所述存储器存储的计算机程序，以实现上述多模态AR处理方法中服务器执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
[0089] 可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。
[0090] 当所述存储器52是独立于处理器51之外的器件时，所述设备还可以包括：
[0091] 总线53，用于连接所述存储器52和处理器51。
[0092] 本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的多模态AR处理方法。
[0093] 其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
[0094] 本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的多模态AR处理方法。
[0095] 在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0096] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于粒子滤波的移动机器人定位加速方法 | 2020-05-25 | 187 |
| 机器人自主探索建图的方法、设备及存储介质 | 2020-05-13 | 186 |
| 基于视觉的无人驾驶汽车的同时定位与地图创建方法 | 2020-05-25 | 781 |
| 一种智能化工程运维监管方法 | 2020-05-20 | 741 |
| 具有自主绕障行走功能的变电站巡检机器人 | 2020-05-25 | 311 |
| 一种改进的非线性优化单目惯导SLAM的方法 | 2020-05-14 | 281 |
| 基于多源信息融合的室内定位方法及定位装置 | 2020-05-21 | 977 |
| 一种无人车辆多传感器信息融合体系架构 | 2020-05-18 | 529 |
| 一种环境信标支持下的GNSS/SINS/视觉紧组合方法 | 2020-05-18 | 734 |
| 一种应用于车辆定位的定位初始化方法及车载终端 | 2020-05-13 | 592 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈