映射摘要和本地化专利检索-摘要国际申请申请专利权专利检索查询-专利查询网

映射 摘要和本地化

阅读：770发布：2020-05-11

专利汇可以提供映射摘要和本地化专利检索，专利查询，专利分析的服务。并且一种电子设备[100]在估计所述电子设备的当前姿态 [275]时基于表示具有高效用[245]以便识别场景的对象的数据生成所述场景的摘要映射[265]并且相对于所述摘要映射来本地化所估计的当前姿态。所述电子设备随时间的推移基于按照一致配置一起出现的对象组[215]识别场景，并且识别在场景中出现的对象的效用权重，其中，所述效用权重指示该对应对象在所述环境中随时间推移能持久地被所述电子设备识别的预测可能性并且至少部分地基于由一个或多个移动设备进行的验证。所述电子设备基于表示具有高于阈值的效用权重的对象的数据生成每个场景的摘要映射。，下面是映射摘要和本地化专利的具体信息内容。

权利要求

1.一种方法，包括：
在电子设备[100]处生成表示在所述电子设备的环境中的一个或多个对象的第一数据集[215]，其中，所述第一数据集基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据[205]；
识别所述一个或多个对象中的每一个对象的用于识别所述电子设备的环境的效用权重[245]，所述效用权重指示在所述环境中该对应对象随时间推移能持久地被所述电子设备识别的预测可能性，并且所述效用权重至少部分地基于由一个或多个移动设备进行的验证；
基于所述第一数据集的子集生成所述电子设备的所述环境的三维表示[265]，所述第一数据集的所述子集表示所述环境中的所述一个或多个对象的子集，其中，所述一个或多个对象的所述子集包括具有高于阈值的效用权重的对象；以及
在所述电子设备处基于所述环境的所述三维表示本地化所述电子设备的估计的当前姿态[275]。
2.根据权利要求1所述的方法，还包括基于在所述电子设备处生成表示第一对象的附加数据来更新被包括在所述子集中的所述第一对象的效用权重。
3.根据权利要求1或权利要求2所述的方法，还包括将所述三维表示所基于的数据的所述子集限制到阈值量的数据。
4.根据任一前述权利要求所述的方法，还包括：
从一个或多个移动设备的集接收表示在所述电子设备的所述环境中的一个或多个对象的第二数据集；
识别由所述第二数据集表示的所述一个或多个对象中的每一个的效用权重；以及更新所述电子设备的所述环境的三维表示，其中，所述更新包括向所述三维表示添加表示由所述第二数据集表示的所述一个或多个对象的子集的数据，其中，所述子集包括具有高于所述阈值的效用权重的对象。
5.根据权利要求4所述的方法，还包括基于在所述计算系统处接收到表示第一对象的附加数据来更新被包括在所述子集中的所述第一对象的效用权重。
6.根据任一前述权利要求所述的方法，其中，所述效用权重基于所述对象针对对所述环境的若干访问的持久性。
7.根据任一前述权利要求所述的方法，其中，所述效用权重基于表示所述对象的数据被生成的新近程度。
8.根据任一前述权利要求所述的方法，其中，所述效用权重基于所述对象的外观随时间的推移的一致性。
9.一种方法，包括：
在电子设备[100]处生成表示在所述电子设备的环境中的一个或多个对象的第一数据[215]，其中，所述第一数据基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据[205]；
识别一个或多个对象组的第一集[215]，其中，每个组包括按照配置出现的对象；
基于所述配置出现的一致性高于第一阈值，识别包括一个或多个对象组的所述第一集的第一场景[235]；
基于所述第一数据生成所述第一场景的参考映射[265]；以及
在所述电子设备处，基于所述第一场景的所述参考映射，本地化所述电子设备的估计的当前姿态[275]。
10.根据权利要求9所述的方法，还包括：
在电子设备处生成表示在所述电子设备的环境中的一个或多个对象的第二数据，其中，所述第二数据基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据；
将由所述第二数据表示的所述一个或多个对象与包括含有所述第一场景的所述一个或多个对象组的对象相比较；以及
响应于识别由在所述电子设备处生成的所述第二数据表示的对象与包括在所述第一场景中低于第二阈值的所述一个或多个对象组的对象具有相关性，识别由所述第二数据表示的一个或多个对象组的第二集，其中，每个组包括按照配置出现的对象；
基于所述配置出现的一致性高于所述第一阈值，识别包括一个或多个对象组的所述第二集的第二场景；
基于所述第二数据生成所述第二场景的参考映射；以及
在所述电子设备处，基于所述第二场景的所述参考映射，本地化所述电子设备的估计的当前姿态。
11.根据权利要求9或权利要求10所述的方法，还包括：
在所述电子设备处识别所述一个或多个对象中的每一个对象的用于识别场景的效用权重，所述效用权重指示在所述环境中该对应对象随时间推移能持久地被所述电子设备识别的预测可能性并且至少部分地基于由一个或多个移动设备进行的验证；以及其中，生成所述参考映射包括将所述参考映射基于表示所述环境中的所述一个或多个对象的子集的所述第一数据的子集，其中，所述一个或多个对象的所述子集包括具有高于第三阈值的效用权重的对象。
12.根据权利要求11所述的方法，还包括：
从一个或多个移动设备的集接收表示在所述电子设备的所述环境中的一个或多个对象的第三数据；
将由所述第三数据表示的所述一个或多个对象与包括含有所述第一场景的所述一个或多个对象组的对象相比较；
识别由所述第三数据表示的所述一个或多个对象中的每一个对象的效用权重，所述效用权重指示在所述环境中该对应对象随时间推移能持久地被所述电子设备识别的预测可能性并且至少部分地基于由一个或多个移动设备进行的验证；以及
更新所述第一场景的所述参考映射，其中，更新包括向所述参考映射添加表示由所述第三数据表示的所述一个或多个对象的子集的数据，其中，所述子集包括具有高于所述阈值的效用权重的对象。
13.根据权利要求12所述的方法，还包括将所述参考映射所基于的数据的所述子集限制到阈值量的数据。
14.根据权利要求12或权利要求13所述的方法，其中，所述效用权重基于所述对象针对对所述环境的若干访问的持久性。
15.根据权利要求12至14中的任一项所述的方法，其中，所述效用权重基于表示所述对象的数据被生成的新近程度。
16.根据权利要求12至15中的任一项所述的方法，其中，所述效用权重基于所述对象的外观随时间的推移的一致性。
17.一种电子设备，所述电子设备被配置成执行根据任一前述权利要求所述的方法。

说明书全文

映射摘要和本地化

[0001] 相关申请的交叉引用

[0002] 本申请涉及并要求以下共同未决申请的优先权，其全体通过引用并入在本文中：2016年11月1日提交的标题为“Methods and Systems for VR/AR Functionality in a Portable Device”的美国临时专利申请序号62/416,078(代理人档案号1500-G16026-PR)。

技术领域

[0003] 本公开一般地涉及图像捕获和处理，并且更具体地涉及使用捕获的影像的机器视觉。

背景技术

[0004] 用于增强现实(AR)和虚拟现实(VR)应用的机器视觉和显示技术诸如同步本地化和映射(SLAM)、运动结构(SFM)、视觉惯性测距(VIO)和视觉惯性映射常常依靠通过分析由设备所捕获的本地环境的影像来识别设备的本地环境内的对象。为了支持这些技术，设备在同时地构造环境的映射(3D视觉表示)或者增强环境的一个或多个现有映射的同时导航环境。设备还可以将基于由其它设备所捕获的影像的数据并入到3D视觉表示中。然而，随着捕获的影像数据的量随时间的推移累积，3D视觉表示可能变得对资源受约束移动设备的计算预算来说太大。发明内容

[0005] 根据本发明的第一方面，提供了一种方法，包括：(a)在电子设备处生成表示在所述电子设备的环境中的一个或多个对象的第一数据集，其中，所述第一数据集基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据；(b)识别用于识别所述电子设备的环境的所述一个或多个对象中的每一个对象的效用权重，所述效用权重指示在所述环境中该对应对象随时间推移能持久地被所述电子设备识别的预测可能性并且所述效用权重至少部分地基于由一个或多个移动设备进行的验证；(c)基于所述第一数据集的子集生成所述电子设备的环境的三维表示，所述第一数据集的子集表示所述环境中的所述一个或多个对象的子集，其中，所述一个或多个对象的子集包括具有高于阈值的效用权重的对象；以及(d)在所述电子设备处基于所述环境的三维表示本地化(localize)所述电子设备的估计的当前姿态。

[0006] 根据本发明的第二方面，提供了一种方法，包括：(a)在电子设备处生成表示在所述电子设备的环境中的一个或多个对象的第一数据，其中，所述第一数据基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据；(b)识别一个或多个对象组的第一集，其中，每个组包括按照配置出现的对象；(c)基于所述配置出现的一致性高于第一阈值识别包括一个或多个对象组的所述第一集的第一场景；(d)基于所述第一数据生成所述第一场景的参考映射；以及(e)在所述电子设备处基于所述第一场景的参考映射本地化所述电子设备的估计的当前姿态。

[0007] 根据本发明的第三方面，提供了一种电子设备，所述电子设备被配置成执行根据第一方面或第二方面所述的方法。例如，描述了一种包括运动跟踪模块、对象分组、场景模块、评分模块、映射模块和本地化模块的电子设备。运动跟踪模块被配置成生成表示电子设备的环境中的一个或多个对象的第一数据集。第一数据集基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据。对象分组模块被配置成识别一个或多个对象组的第一集，其中，每个组包括按照配置出现的对象。场景模块被配置成基于配置出现的一致性高于第一阈值识别包括一个或多个对象组的第一集的第一场景。评分模块被配置成识别用于包括第一场景的一个或多个对象中的每一个的效用权重。效用权重指示随时间的推移在所述环境中所述电子设备将持久地可识别该对应对象的预测可能性并且至少部分地基于由一个或多个移动设备进行的验证。映射模块被配置成基于第一数据集的子集生成第一场景的参考映射。第一数据集的子集表示包括第一场景的一个或多个对象的子集。一个或多个对象的子集包括具有高于阈值的效用权重的对象。本地化模块被配置成基于第一场景的参考映射本地化电子设备的估计的当前姿态。

[0008] 在所附权利要求中陈述本发明的其它优选特征。附图说明

[0009] 通过参考附图，可以更好地理解本公开，并且其许多特征和优点对于本领域的技术人员而言变得显而易见。在不同的附图中使用相同的附图标记指示类似或相同的项。

[0010] 图1是图示根据本公开的至少一个实施例的电子设备的图，所述电子设备被配置成基于从场景中的场景外观和几何形状导出的视觉锚的估计效用(在本文中被称为“对象的效用”)生成场景的摘要映射。

[0011] 图2是图示根据本公开的至少一个实施例的图1的电子设备的映射摘要模块的图，所述映射摘要模块被配置成基于场景中的对象的估计效用生成场景的摘要映射。

[0012] 图3是图示根据本公开的至少一个实施例的图1的电子设备的具有多个对象的场景的图，所述多个对象具有变化效用以便识别场景。

[0013] 图4是图示根据本公开的至少一个实施例的图2的映射摘要模块的运动跟踪模块的图，所述运动跟踪模块被配置成跟踪图1的电子设备100的运动并且基于捕获的传感器数据生成包括特征描述符的对象数据。

[0014] 图5是图示根据本公开的至少一个实施例的图2的映射摘要模块的场景模块的图，所述场景模块被配置成基于对象组识别图1的电子设备的场景。

[0015] 图6是图示根据本公开的至少一个实施例的图2的映射摘要模块的评分模块的图，所述评分模块被配置成识别对象的效用权重，该效用权重指示对应对象在环境中随时间推移能持久地被电子设备识别的预测可能性。

[0016] 图7是图示根据本公开的至少一个实施例的图2的映射摘要模块的摘要映射生成器的图，所述摘要映射生成器被配置成基于场景中的对象的估计效用生成场景的摘要映射。

[0017] 图8是图示根据本公开的至少一个实施例的图2的映射摘要模块的本地化模块的图，所述本地化模块被配置成生成电子设备的本地化姿态。

[0018] 图9是图示根据本公开的至少一个实施例的电子设备基于对象的估计效用生成场景的摘要映射并且相对于该摘要映射本地化所估计的当前姿态的操作的流程图。

具体实施方式

[0019] 以下描述旨在通过提供许多具体实施例和细节来传达对本公开的彻底理解，所述许多具体实施例和细节涉及基于场景中的对象的估计效用在电子设备的本地环境中生成场景的摘要映射。然而，应理解的是，本公开不限于仅作为示例的这些具体实施例和细节，并且本公开的范围因此旨在仅由以下权利要求及其等同物限定。还应理解的是，取决于具体设计和其它需要，本领域的普通技术人员鉴于已知系统和方法会领会本公开在任何数量的替代实施例中针对其预定目的和益处的用途。

[0020] 图1-9图示用于在估计电子设备的当前姿态时基于表示具有用于识别场景的高效用的对象的数据生成场景的摘要映射并且相对于该摘要映射本地化所估计的当前姿态的技术。术语“姿态”在本文中用于指代位置(也被称为定位)和定向(也被称为视点)中的任何一个或两个。跟踪模块从视觉、惯性和深度传感器接收传感器数据并且跟踪可由应用编程接口(API)使用的电子设备的运动(即，随时间的推移估计姿态)。运动跟踪模块基于与环境中的对象的空间特征的视觉外观相对应的语义数据、像素数据和/或特征描述符(被称为对象数据)随时间的推移估计姿态，并且估计空间特征的三维位置和定向(被称为3D点姿态)。

[0021] 在至少一个实施例中，运动跟踪模块还将所捕获的对象数据提供给场景模块和评分模块。场景模块随时间的推移执行学习并且通过机器学习基于数据适应其行为。在一些实施例中，场景模块被配置成基于从运动跟踪模块接收的所捕获的对象数据以及从先前运动跟踪会话接收的和/或由其它电子设备在先前或并发运动跟踪会话中捕获的存储的对象数据来识别随时间的推移或针对多个运动跟踪会话按照一致配置一起出现的对象组。

[0022] 场景模块将经识别的场景提供给评分模块，所述评分模块被配置成识别由对象数据表示的对象的效用权重以用于识别对象出现在其中的场景。评分模块使用许多度量来识别对象的效用权重，所述度量诸如例如场景中的对象随时间的推移或针对对场景的若干个访问的持久性、对象出现在场景中的新近程度、对象在场景中的外观随时间的推移或针对对场景的若干个访问的一致性以及已由电子设备或者由其它电子设备捕获的对象的视点的数量。评分模块过滤对象数据以识别具有高于阈值的效用权重的那些对象(被称为高效用权重对象)，并且将表示高效用权重对象的数据提供给映射模块。

[0023] 摘要映射生成器被配置成基于存储的高效用权重对象数据存储多个映射，并且随着其在电子设备移动通过环境的同时由运动跟踪模块生成，而从评分模块接收附加高效用对象数据。摘要映射生成器基于对应场景的高效用权重对象数据针对每个识别的场景生成摘要映射。响应于接收到场景的附加高效用权重对象数据，摘要映射生成器识别场景的更新的效用权重阈值，并且缓冲或者丢弃场景的具有低于场景的更新阈值的效用权重的任何对象数据。在一些实施例中，经缓冲的对象数据被存储以供由电子设备以后处理。在一些实施例中，经缓冲的对象数据被提供给服务器以供离线处理。摘要映射生成器基于具有处于或高于场景的更新阈值的效用权重的高效用权重对象数据来生成场景的更新的摘要映射。

[0024] 摘要映射生成器将场景的摘要映射提供给本地化模块，所述本地化模块将从视觉和深度数据导出的线索与来自所存储的多个映射的存储的线索相比较，并且识别存储的线索与观察到的线索之间的对应。在一些实施例中，线索包括特征描述符。本地化模块通过使匹配线索之间的差异最小化来执行环闭合以计算本地化姿态。本地化姿态校正由运动跟踪模块所生成的估计姿态中的漂移，并且被周期性地发送到运动跟踪模块以用于输出到API。

[0025] 通过基于高效用权重对象数据生成场景的摘要映射(也被称为场景参考映射)并且缓冲或者丢弃具有较低效用权重的对象数据，电子设备可使用针对对相同场景的多个访问改进的较少量的较高质量数据来生成和维护具有受约束或恒定大小的场景参考映射。在对相同场景的后续访问时，电子设备可相对于场景的存储的摘要映射在场景内本地化其估计姿态。为了图示，在至少一个实施例中映射摘要模块基于由视觉传感器和非视觉传感器所捕获的视觉传感器数据和惯性传感器数据生成表示对象的对象数据并且识别一起出现的对象组。映射摘要模块基于出现在一致配置中的对象组识别场景并且识别在场景中出现的对象的效用权重，其中，效用权重指示对应对象随时间推移将存留于环境中并且它可被可靠地重新检测和识别的预测可能性。响应于识别基于捕获的视觉传感器数据和惯性传感器数据的对象数据与最近访问的场景不匹配，映射摘要模块将当前场景存储在第一场景文件中以供以后使用并且在第二场景文件中累积新场景的对象数据。映射摘要模块基于具有高于阈值的效用权重的对象数据来生成和更新每个场景的摘要映射，使得每个摘要映射的大小受到约束。在一些实施例中，映射摘要模块选择性地合并并联合地压缩多个场景文件。映射摘要模块相对于与估计姿态的场景匹配的场景的摘要映射来本地化电子设备的估计姿态。

[0026] 图1图示根据本公开的至少一个实施例的电子设备100，所述电子设备100被配置成使用图像传感器数据和非视觉传感器数据来支持将SLAM用于AR/VR应用的基于本地化的功能性。电子设备100可包括用户便携式移动设备，诸如平板计算机、支持计算的蜂窝电话(例如，“智能电话”)、头戴式显示器(HMD)、笔记本计算机、个人数字助理(PDA)、游戏系统遥控器、电视遥控器、具有或没有屏幕的相机附件等。在其它实施例中，电子设备100可包括另一类型的移动设备，诸如汽车、机器人、遥控无人机或其它机载设备等。为了易于图示，一般地在本文中在移动设备诸如平板计算机或智能电话的示例上下文中描述电子设备100；然而，电子设备100不限于这些示例实施方式。

[0027] 在所描绘的示例中，电子设备100包括具有与另一表面106相反的表面104的外壳102。在所描绘的示例薄矩形块形状因子中，表面104和106基本上平行并且外壳102还包括表面104与表面106之间的四个侧表面(顶侧、底侧、左侧和右侧)。可以以许多其它形状因子实现外壳102，并且表面104和106可以具有非平行定向。对于所图示的平板实施方式，电子设备100包括设置在表面104处以用于向用户110呈现视觉信息的显示器108。因此，为了易于参考，作为电子设备100相对于用户110的此示例定向的反映，表面106在本文中被称为“面向前方的”表面并且表面104在本文中被称为“面向用户”表面，但是这些表面的定向不受这些关系指定限制。

[0028] 电子设备100包括多个传感器以获得有关电子设备100的本地环境112的信息。电子设备100经由设置在面向前方的表面106处的成像传感器114和116及深度传感器120以及设置在面向用户表面104处的成像传感器118来获得本地环境112的视觉信息(影像)。在一个实施例中，成像传感器114被实现为具有鱼眼透镜或其它广角透镜以提供面向表面106的本地环境112的较宽角度视图的广角成像传感器。成像传感器116被实现为具有典型视角透镜以提供面向表面106的本地环境112的较窄角度视图的窄角成像传感器。因此，成像传感器114和成像传感器116分别在本文中也被称为“广角成像传感器114”和“窄角成像传感器116”。如在下面更详细地描述的，广角成像传感器114和窄角成像传感器116可被定位和定向在面前向表面106上，使得它们的视场在距电子设备的指定距离处开始重叠，从而经由图像分析实现对在本地环境112中被定位在重叠视场的区域中的对象的深度感测。成像传感器118可用于捕获面向表面104的本地环境112的图像数据。另外，在一些实施例中，成像传感器118被配置用于跟踪头部122的移动或者用于面部辨识，并且因此提供可以用于调整经由显示器108呈现的影像的视图视角的头部跟踪信息。

[0029] 在一个实施例中，深度传感器120使用调制光投影器119来将调制光图案从面向前方的表面106投影到本地环境中，并且使用成像传感器114和116中的一个或两个来捕获调制光图案随着它们从本地环境112中的对象反射回来的反射。这些调制光图案可以是空间调制光图案或时间调制光图案。所捕获的调制光图案的反射在本文中被称为“深度影像”。深度传感器120然后可以基于对深度影像的分析计算对象的深度，即对象距电子设备100的距离。从深度传感器120获得的结果得到的深度数据可以用于校准或者以其它方式扩增从对由成像传感器114和116所捕获的图像数据的图像分析(例如，立体分析)获得的深度信息。可替选地，可以使用来自深度传感器120的深度数据代替从图像分析获得的深度信息。

[0030] 电子设备100还可以依靠非视觉姿态信息用于姿态检测。这种非视觉姿态信息可由电子设备100经由一个或多个非视觉传感器(在图1中未示出)诸如包括一个或多个陀螺仪、磁力计和加速度计的IMU获得。在至少一个实施例中，可采用IMU来沿着多个运动轴生成姿态信息，所述多个运动轴包括被表达为用于电子设备100的参考系的X、Y和Z轴的平移轴以及被表达为用于电子设备100的参考系的横摇、俯仰和偏航轴的旋转轴。非视觉传感器还可包括环境光传感器和定位传感器，诸如GPS传感器，或可用于识别电子设备100诸如一个或多个无线电设备、蜂窝无线电设备等的定位的其它传感器。

[0031] 为了方便场景内的本地化，电子设备100包括映射摘要模块150以在估计电子设备100的当前姿态时基于表示具有用于识别场景的高效用的对象的基于图像传感器数据134、
136和非图像传感器数据142的数据来生成场景的摘要映射，并且相对于该摘要映射本地化所估计的当前姿态。映射摘要模块150识别场景内的对象的效用权重，其中，效用权重指示随时间的推移在所述环境中所述电子设备将持久地可识别该对应对象的可能性。效用权重基于对象的特性，诸如场景中的对象随时间的推移或针对对场景的若干个访问的持久性(其可以至少部分地基于由第三方电子设备所捕获的数据)、对象出现在场景中的新近程度、对象在场景中的外观随时间的推移或针对对场景的若干个访问的一致性以及已由电子设备或者由其它电子设备捕获的对象的视点的数量。映射摘要模块150基于表示在场景内具有高于阈值的效用权重的对象的数据集生成场景的摘要映射。通过仅包括高效用权重数据，映射摘要模块150可限制摘要映射的大小，同时改进摘要映射所基于的数据的预测质量。映射摘要模块150存储场景的摘要映射并且相对于与从视觉传感器和惯性传感器接收到的图像传感器数据和非视觉传感器数据匹配的场景的摘要映射来本地化电子设备100的估计姿态。

[0032] 在操作中，电子设备100使用图像传感器数据和非视觉传感器数据来跟踪电子设备100的运动(估计电子设备100的姿态)。在至少一个实施例中，在重置之后电子设备100基于如在下面进一步描述的地理定位数据、其它非视觉传感器数据、视觉传感器数据或其组合确定初始估计姿态。随着电子设备100的姿态改变，非视觉传感器以相对高的速率生成反映设备姿态变化的非视觉姿态信息。同时，视觉传感器捕获也反映设备姿态变化的图像。基于此非视觉和视觉姿态信息，电子设备100更新初始估计姿态以反映设备的当前估计姿态或跟踪的运动。

[0033] 电子设备100基于对由成像传感器114、116和118中的一个或多个所捕获的图像数据中的空间特征的检测来生成视觉姿态信息。为了图示，在所描绘的图1的示例中本地环境112包括办公楼的走廊，其包括三个拐角124、126和128、踢脚板130和电源插座132。用户110已定位并定向了电子设备100，使得面向前方的成像传感器114和116分别捕获包括走廊的这些空间特征的广角成像传感器图像数据134和窄角成像传感器图像数据136。在此示例中，深度传感器120还捕获反映这些空间特征相对于电子设备100的当前姿态的相对距离的深度数据138。另外，面向用户成像传感器118捕获表示用户110的头部122的当前姿态的头部跟踪数据140的图像数据。非视觉传感器数据142(诸如来自IMU的读数)也由电子设备100在其当前姿态下收集。

[0034] 根据此输入数据，电子设备100可确定其相对姿态或跟踪的运动的估计，而无需来自外部源的显式绝对本地化信息。为了图示，电子设备100可执行广角成像传感器图像数据134和窄角成像传感器图像数据136的分析以确定电子设备100与拐角124、126、128之间的距离。可替选地，从深度传感器120获得的深度数据138可用于确定空间特征的距离。根据这些距离电子设备100可三角测量或者以其它方式推理其在由本地环境112表示的办公室中的相对位置。又如，电子设备100可识别存在于图像数据134和136的一个捕获图像集中的空间特征，确定到这些空间特征的初始距离，然后在后续捕获的影像中跟踪这些空间特征的位置和距离变化以确定电子设备100在自由参考系中的姿态变化。在此方法中，某些非视觉传感器数据诸如陀螺仪数据或加速度计数据可用于使在一个图像中观察到的空间特征与在后续图像中观察到的空间特征相关联。

[0035] 在至少一个实施例中，电子设备100使用图像数据和非视觉数据来生成线索，诸如用于在所捕获的影像中识别的对象的空间特征的特征描述符。所生成的特征描述符中的每一个均描述经识别的空间特征中的一个或多个的定向、重力方向、比例和其它方面。所生成的特征描述符被与本地环境112的多个存储的映射的存储的描述符的集(出于描述的目的被称为“已知特征描述符”)相比较，所述存储的描述符各自识别先前识别的空间特征及其对应的姿态。在至少一个实施例中，已知特征描述符中的每一个均是先前已由电子设备100或另一电子设备生成并且其姿态被确定地确立的描述符。所估计的设备姿态、3D点位置和已知特征描述符可被存储在电子设备100、远程服务器(其可组合来自多个电子设备的数据)或其它存储设备或其组合处。因此，可在电子设备100、在远程服务器或其它设备或者在其组合处执行所生成的特征描述符的比较。

[0036] 在至少一个实施例中，通过将所生成的特征描述符的每个方面(例如，对应特征的定向、比例、幅度、强度和/或描述性等)与已知特征描述符的对应方面相比较并且确定指示被比较特征之间的变动的误差值来将生成的特征描述符与已知特征描述符进行比较。因此，例如，如果通过矢量A识别所生成的特征描述符中的特征的定向，并且通过矢量B识别已知特征描述符中的特征的定向，则电子设备100可通过计算矢量A和B之间的差来识别特征描述符的定向方面的误差值。可根据指定统计技术诸如最小二乘技术来组合误差值，以识别被比较的每个已知特征描述符的组合误差值，并且匹配已知特征描述符识别为具有最小组合误差值的已知特征描述符。

[0037] 已知特征描述符中的每一个均包括识别对应空间特征的点位置以及从其看到对应空间特征的相机姿态的一个或多个字段。因此，已知特征描述符可包括指示空间特征在指定分辨率(例如，1cm)内在指定坐标系(例如，表示地球的地理坐标系)内的定位、空间特征的视点的定向、视点距特征的距离等的姿态信息。所观察到的特征描述符与存储在映射中的特征描述符相比较以识别多个匹配的已知特征描述符。已匹配的已知特征描述符然后与非视觉姿态数据一起被存储为本地化数据，所述本地化数据既可用于校正电子设备100的跟踪的运动(或估计姿态)中的漂移，又可用于为电子设备100扩增本地环境的多个存储的映射。

[0038] 在一些场景中，匹配过程将识别与对应的生成的特征描述符匹配的多个已知特征描述符，从而指示在电子设备100的本地环境中存在先前已被识别的多个特征。匹配已知特征描述符的对应姿态可以变化，指示电子设备100不处于由匹配已知特征描述符指示的姿态中的特定一个姿态下。因此，电子设备100可以通过使用常规内插技术在由匹配已知特征描述符指示的姿态之间内插其姿态来细化其估计姿态。在一些场景中，如果匹配已知特征描述符之间的变动高于阈值，则电子设备100可以将其估计姿态捕捉到通过已知特征描述符所指示的姿态。

[0039] 在至少一个实施例中，映射摘要模块150基于图像传感器数据134、136和非图像传感器数据142生成电子设备100的估计姿态(即，跟踪电子设备100的运动)以用于输出到API。映射摘要模块150还基于图像传感器数据和非视觉传感器数据生成对象数据并且基于该对象数据识别由出现在相对静态配置中的对象组组成的场景。映射摘要模块150识别出现在每个场景中的对象的效用权重，其中，效用权重指示对应对象将随时间的推移由电子设备在环境中持久地可识别的可能性。例如，映射摘要模块150可基于对象的一个或多个特性计算对象的效用权重，所述特性诸如针对对该场景的若干访问在场景中检测到对象的次数、对象在场景中被检测到的新近程度、对象在场景中的外观随时间的推移的一致性、已在场景中检测到对象的视点的数量、对象在场景中的外观是否已被其它电子设备验证、或其组合。在一些实施例中，映射摘要模块150通过为对象的每次看见指派诸如1的值、为检测到对象的每个视点指派0.5的值，并且针对最后十分钟内的对象的每次看见加上0.5的值，来计算对象的效用权重。

[0040] 映射摘要模块150将场景内的对象的效用权重与阈值相比较，并且生成包括具有高于阈值的效用权重的对象的场景的摘要映射。在一些实施例中，映射摘要模块150丢弃或者缓冲与在场景内具有低于阈值的效用权重的对象相对应的对象数据。随着映射摘要模块150随时间的推移识别和更新对象的效用权重，其周期性地更新场景的摘要映射，并且可以调整阈值，使得用于包括在摘要映射中的效用权重判据随时间的推移增加并且被包括在摘要映射中的数据量受到约束。在一些实施例中，映射摘要模块150确保环境112的不同的区域被基本上同等地表示，使得电子设备100可独立于具体区域中的对象的效用权重在多个可能的视点下本地化。

[0041] 在一些实施例中，用于映射摘要的软件代码部分地或完全地在电子设备100或远程服务器(未示出)上运行，从而允许优化计算、网络带宽和存储资源。例如，在一些实施例中电子设备100的映射摘要模块150选择高效用权重数据以提供给远程服务器，所述远程服务器进而执行随时间的推移从多个电子设备或用户接收到的高效用权重数据的全局汇总。

[0042] 图2图示图1的电子设备100的映射摘要模块250的组件。映射摘要模块250包括运动跟踪模块210、场景模块230、评分模块240、映射模块260和本地化模块270。在一些实施例中，运动跟踪模块210和/或本地化模块270可以远离场景模块230、评分模块240和映射模块260定位。这些模块中的每一个均表示被配置成执行如本文中所描述的操作的硬件、软件或其组合。映射摘要模块250被配置成向API模块(未示出)输出本地化姿态。映射摘要模块250被配置成跟踪运动以估计电子设备的当前姿态并且生成环境的场景的摘要映射以本地化所估计的当前姿态。

[0043] 运动跟踪模块210被配置成从图1的成像相机114和116、深度传感器120及非图像传感器(未示出)接收视觉和惯性传感器数据205。运动跟踪模块210从所接收到的传感器数据205生成对象数据215，所述对象数据包括本地环境112中的对象的空间特征的特征描述符。在一些实施例中，运动跟踪模块210存储跟踪的运动的有限历史(例如，单个在先会话或单个在先时间段)。在一些实施例中，运动跟踪模块210通过基于所生成的特征描述符生成线性化点并且基于这些线性化点以及基于跟踪的运动的存储的有限历史的先前生成的线性化点求解空间特征的非线性估计来估计电子设备100的当前姿态。在一些实施例中，出于求解空间特征的非线性估计的目的，前端运动跟踪模块将3D点位置的任何先前生成的估计视为固定值的集。因为先前生成的线性化点被视为非变量，所以求解空间特征的非线性估计的计算负担低于在先前生成的线性化点被视为变量情况下的计算负担。然而，可能无法通过非线性估计的解来校正先前生成的线性化点中的任何误差。因此，所估计的当前姿态可以与电子设备100的实际的当前位置和定向不同。

[0044] 运动跟踪模块210将对象数据215提供给场景模块230和评分模块240两者。场景模块230被配置成基于对象数据215识别按照稳定配置一起出现的对象组。在一些实施例中，场景模块230基于由电子设备100先前捕获的和/或由其它电子设备捕获的视觉和惯性传感器数据205存储对象数据。场景模块230基于对象数据215识别对象并且将经识别的对象与在所存储的对象数据中识别的对象相比较以识别随时间的推移按照稳定配置一起出现的两个或更多个对象组。

[0045] 在一些实施例中，场景模块230被配置成识别从运动跟踪模块210接收到的对象数据215中的指示电子设备100已退出第一场景并进入第二场景的变化。例如，如果电子设备100穿过图1中描绘的走廊，则由运动跟踪模块210所生成的对象数据215可以包括表示三个拐角124、126和128、踢脚板130及电源插座130的数据。基于这些对象数据215，场景模块230可以识别表示为“走廊”的场景。如果电子设备100然后进入具有桌子、椅子、窗户和艺术品的会议室(未示出)，则场景模块230识别电子设备已退出走廊场景并进入表示为“会议室”的不同的场景。在识别电子设备100已退出第一场景并进入第二场景时，场景模块230将对象数据215分割成对应场景文件。例如，在一些实施例中，场景模块230将表示被识别为属于第一场景的对象的数据存储在场景文件235中，其被场景模块230提供给评分模块240，并且场景模块230将表示被识别为属于第二场景的对象的数据存储在第二场景文件(未示出)中，其被场景模块230提供给评分模块240或者存储以供以后使用。在一些实施例中，场景模块230将表示被识别为属于第一场景和第二场景两者的对象的数据存储在单个场景文件
235中，其中场景标识符指示数据对应于哪一个场景。在一些实施例中，场景模块230针对大型场地场景在地理上将单个场景文件235分成多个场景文件。

[0046] 评分模块240被配置成接收来自运动跟踪模块210的对象数据215和来自场景模块230的场景文件235。评分模块240识别在场景中出现的对象的效用权重，其中，效用权重指示随时间的推移对象将由电子设备100在场景中持久地可识别的可能性，使得具有较高效用权重的对象是对于识别场景更有用的对象。为了图示，场景内的一些对象是短暂的，诸如可以在短时间段内被从一个定位移动到另一定位的人、动物和便携式对象。此类对象对于识别场景具有有限的有用性，因为它们在对场景的后续访问时可能不存在。其它对象诸如房间的拐角、窗户、门和重型家具更可能随时间的推移并针对对场景的后续访问存留于其在场景内的本地化中。此类对象对于识别场景更有用，因为它们更可能随时间的推移保留在其定位。在一些实施例中，当匹配对象数据被其它电子设备验证时评分模块240识别对象数据的较高效用权重，这可涉及语义和场景理解技术。在一些实施例中，评分模块240被配置成利用在映射摘要模块250的先前执行期间生成的数据(被称为历史数据)来识别用于对象数据的效用权重。在一些实施例中，评分模块240利用利用这种历史数据的机器学习算法。评分模块240被配置成识别场景内的对象的效用权重并且将效用权重与阈值相比较。评分模块240将具有高于阈值的效用权重的对象数据(高效用权重对象数据)245提供给映射模块260。

[0047] 摘要映射生成器260被配置成接收每个场景文件235的高效用权重对象数据245并且基于与场景相关联的高效用权重对象数据245生成每个场景的场景摘要映射265。在一些实施例中，摘要映射生成器260被配置成存储包括高效用权重对象数据的多个场景摘要映射(未示出)并且从评分模块240接收更新的高效用权重对象数据245。所存储的多个场景摘要映射形成由电子设备100且由与电子设备100共享数据的其它电子设备先前遍历的场景的压缩历史。摘要映射生成器260被配置成更新所存储的多个场景摘要映射以并入从评分模块240接收到的高效用权重对象数据245。在一些实施例中，摘要映射生成器260周期性地(例如，每五秒)从评分模块240接收高效用权重对象数据245。在一些实施例中，在运动跟踪模块210已接收到阈值量的传感器数据之后摘要映射生成器260从评分模块240接收高效用权重对象数据245。在一些实施例中，在场景模块230识别电子设备100已退出场景之后摘要映射生成器260从评分模块240接收高效用权重对象数据245。

[0048] 摘要映射生成器260基于所存储的多个场景摘要映射的高效用权重对象数据和从评分模块240接收到的高效用权重对象数据245来构建场景的场景摘要映射265。摘要映射生成器260使由高效用权重数据245表示的对象的一个或多个空间特征与由多个存储的场景摘要映射表示的对象的空间特征相匹配以生成电子设备100的场景的更新的场景摘要映射。在一些实施例中，摘要映射生成器260搜索高效用对象数据245的每个批次以确定所存储的多个映射的任何匹配已知特征描述符。摘要映射生成器260将场景的场景摘要映射265提供给本地化模块270。

[0049] 本地化模块270被配置成诸如通过应用环闭合算法来使估计姿态214与所存储的多个映射对齐。因此，本地化模块270可使用匹配的特征描述符来估计针对所存储的多个映射中的一个或多个的变换，由此本地化模块270将与具有匹配描述符的估计姿态214的生成的特征描述符相关联的几何数据变换成与具有对应匹配描述符的存储的映射相关联的几何数据对齐。当本地化模块270从所生成的特征描述符215和存储的映射中找到足够数量的匹配特征描述符以确认所生成的特征描述符215和所存储的映射包含公共视觉地标的描述时，本地化模块270计算所生成的特征描述符215与匹配已知特征描述符之间的变换，从而使匹配特征描述符的几何数据对齐。此后，本地化模块270可应用协同优化算法来细化电子设备100的估计姿态214的姿态和场景的对齐以生成本地化姿态275。

[0050] 图3图示包括包含统称为对象的拐角302、306、312、316、边缘304、314、窗户308、310、桌子318和椅子320、322、324、326的会议室的视图的场景300。场景300内的对象具有随时间的推移在场景300中持久的变化的可能性。例如，拐角302、306、312、316、边缘304、314和窗户308、310具有随时间的推移存留的高可能性，因为其定位和外观不太可能改变。对比起来，桌子318具有比拐角302、306、312、316、边缘304、314和窗户308、310低的在场景300中持久的可能性，因为桌子318能在场景300内被重新定向或者从场景300中移除。椅子320、
322、324、326具有比桌子318低的在场景300中持久的可能性，因为椅子320、322、324、326更可能被移动、重新定向或者从场景300中移除。尽管在图3中未图示，然而应理解的是，人们可能具有甚至更低的在场景300中持久的可能性，因为其是移动的并且可预期相对频繁地移动、重新定向并从场景300中移除其本身。因此，在图1的电子设备100遇到场景300时，图2的映射摘要模块250的评分模块240对拐角302、306、312、316、边缘304、314和窗户308、310识别相对高的效用权重，对桌子318识别中间效用权重，而对椅子320、322、324、326识别相对低的效用权重。

[0051] 图4是图示根据本公开的至少一个实施例的图2的映射摘要模块的运动跟踪模块的图，所述运动跟踪模块被配置成跟踪图1的电子设备100的运动并且基于捕获的传感器生成包括语义数据、像素数据和/或特征描述符的对象数据。运动跟踪模块410包括特征识别模块412和环境映射器420。这些模块中的每一个均表示被配置成执行如本文中所描述的操作的硬件、软件或其组合。特别地，特征识别模块412被配置成接收表示由成像传感器114、116、118所捕获的图像的影像405和非视觉传感器数据142。基于此接收到的数据，特征识别模块412通过像上面关于图2所描述的那样生成对象215的特征描述符(被称为对象数据)并且将对象数据215与来自所存储的跟踪的运动的有限历史的已知对象数据相比较来识别影像405中的对象的特征。特征识别模块412将所生成的对象数据215提供给场景模块230。特征识别模块412附加地将对象数据215以及任何关联的非视觉数据存储为本地化数据417。
在至少一个实施例中，本地化数据417可由电子设备100使用来估计电子设备100的随着它在其本地环境中通过不同的本地化和定向被移动时的一个或多个姿态。可与先前生成和存储的映射信息相结合地使用这些估计姿态以用于本地环境支持或者增强电子设备100的基于定位的服务。

[0052] 环境映射器420被配置成基于本地化数据417生成或者修改电子设备100的本地准确的估计姿态214。特别地，环境映射器420分析本地化数据417中的特征描述符以识别特征在用于电子设备100的参考系中的本地化。例如，每个特征描述符可包括指示来自电子设备100的对应特征的相对位置的本地化数据。在一些实施例中，环境映射器420基于本地化数据417生成线性化点并且基于这些线性化点以及基于来自所存储的跟踪的运动的有限历史的所存储的特征描述符的先前生成的线性化点来求解环境的非线性估计诸如最小二乘。环境映射器420估计设备姿态随时间的推移的演变以及3D点在环境112中的位置。为了基于传感器数据找到用于这些值的匹配值，环境映射器420求解非线性优化问题。在一些实施例中，环境映射器420通过使问题线性化并应用用于求解线性方程组的标准技术来求解非线性优化问题。在一些实施例中，环境映射器420为了求解环境的非线性估计将先前生成的线性化点视为固定的。环境映射器420可协调不同的特征的相对位置以识别每个特征在参考系中的本地化，并且将这些本地化存储在本地准确的估计姿态214中。运动跟踪模块410将估计姿态214提供并更新到电子设备100的API模块240以例如生成本地环境的虚拟现实显示。

[0053] 环境映射器420还被配置成周期性地向本地化模块270查询更新的本地化姿态275。当更新的本地化姿态275可用时，本地化模块270将经更新的本地化姿态275提供给环境映射器420。环境映射器420将经更新的本地化姿态275提供给API模块230。

[0054] 图5是图示根据本公开的至少一个实施例的图2的映射摘要模块250的场景模块530的图，所述场景模块530被配置成基于包括生成的特征描述符的捕获且存储的对象数据识别对象的稳定配置的场景。场景模块530包括对象组识别模块532、存储模块534和场景识别模块536。

[0055] 对象组识别模块532被配置成从图2的运动跟踪模块210接收对象数据215并且基于对象数据215随时间的推移的一致性和配置识别环境112内的对象组523。对象组识别模块532将经识别的对象组533提供给包括切割模块538的场景识别模块536。

[0056] 存储模块534被配置成存储表示在电子设备100的环境中感知到的对象的多个对象数据集517。在一些实施例中，对象数据集517可以包括由电子设备100在在先映射会话期间先前生成的对象数据集。在一些实施例中，对象数据集517还可以包括包含在电子设备100的物理环境中未找到的特征的VR或AR映射。对象数据集517包括环境中的对象的空间特征的存储的(已知)特征描述符，其可共同地用于生成环境中对象的三维表示。

[0057] 场景识别模块536被配置成从对象组识别模块532接收识别的对象组533。场景识别模块536将经识别的对象组533与所存储的对象517相比较。场景识别模块536基于所存储的对象数据517以及从对象组识别模块532接收到的经识别的对象组533识别随时间的推移按照稳定配置一起出现在环境中的对象组。如果场景识别模块536识别按照具有高于第一阈值的稳定性的配置一起出现的一个或多个对象组，则场景识别模块536生成包括表示场景的对象数据的场景文件235。

[0058] 在一些实施例中，如果场景识别模块536识别从对象组识别模块532接收到的对象组533包括少于与在最近时间段期间接收到的对象组匹配的阈值数量的对象，则场景识别模块536识别电子设备100已退出第一场景并进入第二场景。例如，如果电子设备100已在图3的会议室场景300中，然后退出会议室场景300以进入图1的走廊场景，则场景识别模块536识别通过在电子设备100处于走廊场景中的时间段中捕获的传感器数据所表示的对象组与在通过在电子设备100处于会议室场景中的时间段中捕获的传感器数据所表示的对象组不匹配。响应于识别电子设备100已退出第一场景并进入第二场景，场景识别模块536的切割模块538将从对象组识别模块532接收到的对象组533分割成单独的场景文件235、237。场景模块230将场景文件235、237提供给图2的映射摘要模块250的评分模块240。

[0059] 图6是图示根据本公开的至少一个实施例的图2的映射摘要模块250的评分模块640的图，所述评分模块640被配置成识别对象的效用权重，所述对象的效用权重指示对应对象将可由图1的电子设备100随时间的推移在环境中持久地识别的预测可能性。评分模块
640包括效用权重识别器642、阈值644和比较器646。

[0060] 效用权重识别器642被配置成接收来自运动跟踪模块210的对象数据215、来自服务器650的第三方对象数据655和来自场景模块230的场景文件235。效用权重识别器642识别由对象数据215表示的对象的效用权重645。效用权重645指示对应对象将随时间的推移在环境中可持久地识别的预测可能性。效用权重基于诸如针对对该场景的若干访问在场景中检测到对象的次数、对象在场景中被检测到的新近程度、对象在场景中的外观随时间的推移的一致性、已在场景中检测到对象的视点的数量以及对象在场景中的外观是否已通过由也已遍历场景的其它电子设备所捕获的第三方对象数据655验证的度量。

[0061] 效用权重识别器642将与场景文件235中表示的对象相对应的经识别的效用权重提供给比较器646。比较器646被配置成将从效用权重识别器642接收到的经识别的对象效用权重645与阈值644相比较。如果对象效用权重645高于阈值644，则比较器646将具有超过阈值644的效用权重的对象数据提供给图2的摘要映射生成器260。如果对象效用权重645处于或低于阈值644，则比较器646丢弃或者缓冲具有处于或低于阈值644的效用权重的对象数据。

[0062] 图7是图示根据本公开的至少一个实施例的图2的映射摘要模块250的摘要映射生成器760的图，所述摘要映射生成器760被配置成基于表示被识别为具有用于识别场景的高效用245的对象的数据生成场景265的摘要映射。摘要映射生成器760包括特征描述符匹配模块725和存储模块715。

[0063] 存储模块715被配置成存储电子设备100的环境的场景的多个场景摘要映射717。在一些实施例中，多个映射717可以包括由电子设备100在在先映射会话期间先前生成的映射。在一些实施例中，多个场景摘要映射717还可以包括包含在电子设备100的物理环境中未找到的特征的VR或AR映射。多个场景摘要映射717包括表示在场景中被识别为很可能随时间的推移存留的对象的空间特征的存储的(已知)高效用权重对象数据722，其可共同地用于生成被称为场景的场景摘要映射265的压缩三维表示。

[0064] 特征描述符匹配模块725被配置成从评分模块240高效用权重对象数据245。特征描述符匹配模块725将高效用权重对象数据245的特征描述符与所存储的高效用权重对象数据722的特征描述符相比较。特征描述符匹配模块725基于所存储的多个映射717的已知特征描述符722和从评分模块240接收到的高效用权重对象数据245来构建电子设备100的场景的场景摘要映射265。

[0065] 在一些实施例中，特征描述符匹配模块725通过基于所生成的对象数据的特征描述符生成线性化点并且基于这些线性化点以及基于已知特征描述符722的先前生成的线性化点求解三维表示的非线性估计来添加从评分模块240接收到的高效用权重对象数据245。在一些实施例中，先前生成的线性化点被认为是出于求解三维表示的非线性估计的目的的变量。特征描述符匹配模块4725将场景摘要映射265提供给本地化模块270。

[0066] 图8是图示根据本公开的至少一个实施例的图2的映射摘要模块250的本地化模块870的图，所述本地化模块870被配置成生成电子设备100的本地化姿态275。本地化模块870包括特征描述符差异检测器815和环闭合模块825。

[0067] 特征描述符差异检测器815被配置成从映射摘要模块250的摘要映射生成器260接收场景的场景摘要映射265。特征描述符差异检测器815分析场景摘要映射265的已匹配的特征描述符并且识别匹配的特征描述符之间的差异。特征描述符差异检测器815变换与所生成的具有匹配描述符的估计姿态214的特征描述符相关联的几何数据以与和具有对应匹配描述符的存储的场景摘要映射相关联的几何数据对齐。当本地化模块870从所生成的特征描述符215和存储的场景摘要映射中找到足够数量的匹配特征描述符以确认所生成的特征描述符215和所存储的场景摘要映射包含公共视觉地标的描述时，本地化模块870计算所生成的特征描述符215与匹配已知特征描述符之间的变换，从而使匹配特征描述符的几何数据对齐。

[0068] 环闭合模块825被配置成通过求解协同优化算法以细化匹配特征描述符的对齐来考虑环境中的3D位置点及其在当前图像中的观察结果找到设备的匹配姿态。可以通过高斯-牛顿(Gauss-Newton)或莱文贝格-马夸特(Levenberg-Marquardt)算法或用于优化变换以生成电子设备100的本地化姿态275的另一算法来解决协同优化问题。在一些实施例中，环闭合模块825将已知特征描述符视为变量。环闭合模块825因此生成校正估计姿态214中的漂移的本地化姿态275，并且将本地化姿态235发送到运动跟踪模块210。可将本地化姿态275馈送到在电子设备100处执行的应用以通过允许电子设备100更高效地且准确地识别它先前已遍历的场景来使得能实现增强现实或其它基于本地化的功能性。

[0069] 图9是图示根据本公开的至少一个实施例的电子设备在估计电子设备的当前姿态时基于表示具有用于识别场景的高效用的对象的数据生成场景的摘要映射并且相对于该摘要映射本地化所估计的当前姿态的操作的流程图。方法900在电子设备100随着它由用户在本地环境中通过不同的姿态来移动时捕获影像和非视觉数据的块902处发起。在块904处，运动跟踪模块210基于影像305和非图像传感器数据142识别本地环境的特征，并且生成包括用于针对场景模块230所识别的特征的特征描述符215和本地化数据417的对象数据。在块906处，运动跟踪模块210使用本地化数据417来估计电子设备100在本地环境112中的当前姿态214。估计姿态214可用于为电子设备100支持基于本地化的功能性。例如，估计姿态214可用于将电子设备100的用户定向于在电子设备100处执行的虚拟现实或增强现实应用中。

[0070] 在块908处，场景模块230识别包括由对象数据215表示的对象的稳定配置的场景。在块910处，评分模块240识别用于出现在经识别的场景中的对象的效用权重，其中，效用权重指示随时间的推移对应对象将可由电子设备100在场景中持久地识别的预测可能性。在块912处，摘要映射生成器260构建和/或更新电子设备的环境中的场景的三维压缩表示、称为场景摘要映射265，电子设备将所述三维压缩表示265提供给本地化模块270。在块914处，本地化模块270识别匹配特征描述符之间的差异并且执行环闭合以使估计姿态214与场景摘要映射265对齐。在块916处，本地化模块270本地化电子设备的当前姿态，并且映射摘要模块250将本地化姿态提供给API模块230。

[0071] 在一些实施例中，上述的技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。软件包括存储或者以其它方式有形地具体实现在非暂时性计算机可读存储介质上的一组或多组可执行指令。软件可包括指令和某些数据，所述指令和某些数据当由一个或多个处理器执行时，操纵一个或多个处理器以执行上述的技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备、诸如闪速存储器的固态存储设备、高速缓存、随机存取存储器(RAM)或一个或多个其它非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以采用源代码、汇编语言代码、目标代码格式，或由一个或多个处理器解释或者可以其它方式执行的其它指令格式。

[0072] 计算机可读存储介质可以包括可由计算机系统在使用期间访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。此类存储介质可包括但不限于光学介质(例如，紧致盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪速存储器)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以被嵌入在计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁硬盘驱动器)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪速存储器)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

[0073] 注意的是，并不需要上面在一般描述中描述的所有活动或元素，可以不需要具体活动或设备的一部分，并且可以执行一个或多个另外的活动，或者包括除所描述的那些元素之外的元素。再另外，活动被列举的顺序不一定是它们被执行的顺序。另外，已参考具体实施例描述了构思。然而，本领域的普通技术人员领会的是，在不脱离如在下面的权利要求中所阐述的本公开的范围的情况下，可做出各种修改和变化。因此，本说明书和附图将在说明性而非限制性意义上考虑，并且所有此类修改旨在被包括在本公开的范围内。

[0074] 已经在上面针对具体实施例描述了益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可以使任何益处、优点或解决方案发生或者变得更明显的任何特征不应被解释为任何或所有权利要求的关键、必需或必要的特征。此外，上面公开的特定实施例仅是说明性的，因为可以以对受益于本文教导的本领域的技术人员而言显而易见的不同但等效的方式修改和实践所公开的主题。除如在下面的权利要求中所描述的以外，对本文中示出的构造或设计的细节没有限制。因此显然的是，可以更改或者修改上面公开的特定实施例，并且所有此类变化都被认为在所公开的主题的范围内。因此，本文寻求的保护如在下面的权利要求中所阐述的那样。

标题	发布/更新时间	阅读量
摘要生成方法及装置	2020-05-11	531
映射摘要和本地化	2020-05-11	770
平板扫描电子摘要本	2020-05-12	159
单文档摘要生成方法	2020-05-12	526
视频摘要提取	2020-05-11	588
摘要提取方法以及摘要提取模块	2020-05-11	357
中文文件自动摘要方法	2020-05-13	896
一种自动文本摘要方法	2020-05-13	741
一种文本摘要生成方法	2020-05-12	731
多功能摘要书籍	2020-05-11	250

映射摘要和本地化

映射摘要和本地化

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：