视觉辐辏确定专利检索-视觉渲染渲染电脑图像专利检索查询-专利查询网

视觉辐辏确定

阅读：853发布：2020-05-13

专利汇可以提供视觉辐辏确定专利检索，专利查询，专利分析的服务。并且本发明公开了视觉辐辏确定。在一个实施例中，人工现实系统确定眼睛跟踪系统的性能度量低于第一性能阈值。眼睛跟踪系统与用户佩戴的头戴式显示器相关联。人工现实系统接收与用户身体相关联的第一输入，并基于接收到的第一输入，来确定用户正在头戴式显示器的视场内看的区域。系统至少基于与用户身体相关联的第一输入、用户正在看的区域以及由头戴式显示器显示的场景中的一个或多个对象的位置，来确定用户的视觉辅辏距离。系统基于所确定的用户视觉辅辏距离，来调整头戴式显示器的一个或多个配置。，下面是视觉辐辏确定专利的具体信息内容。

权利要求

1.一种方法，包括：
由计算系统确定眼睛跟踪系统的性能度量低于第一性能阈值，其中，所述眼睛跟踪系统与用户佩戴的头戴式显示器相关联；
由所述计算系统接收与所述用户的身体相关联的一个或多个第一输入；
由所述计算系统基于接收到的与所述用户的身体相关联的一个或多个所述第一输入，估计所述用户正在看所述头戴式显示器的视场内的区域；
由所述计算系统至少基于与所述用户的身体相关联的一个或多个所述第一输入、所估计的所述用户正在看的区域、以及所述头戴式显示器显示的场景中的一个或多个对象的位置，确定所述用户的视觉辅辏距离；并且
由所述计算系统基于所确定的所述用户的视觉辅辏距离，调整所述头戴式显示器的一个或多个配置。
2.根据权利要求1所述的方法，其中，所述头戴式显示器的一个或多个配置包括以下各项中的一项或多项：
渲染图像；
显示屏幕的位置；或
光学块的位置。
3.根据权利要求2所述的方法，进一步包括：
确定所述眼睛跟踪系统的性能度量高于第二性能阈值；
从所述眼睛跟踪系统接收眼睛跟踪数据；并且
基于所述眼睛跟踪数据以及与所述用户的身体相关联的一个或多个第一输入，确定所述用户的视觉辅辏距离。
4.根据权利要求3所述的方法，进一步包括：
接收与所述头戴式显示器显示的场景中的一个或多个显示元素相关联的一个或多个第二输入；并且
至少基于所述眼睛跟踪数据、与所述用户的身体相关联的一个或多个第一输入、以及与所述场景的一个或多个所述显示元素相关联的一个或多个第二输入，确定所述用户的所述视觉辅辏距离。
5.根据权利要求4所述的方法，进一步包括：
将与所述用户的身体相关联的一个或多个第一输入馈送给融合算法，其中，所述融合算法将加权得分分配给一个或多个所述第一输入的每个输入；并且
基于与所述用户的身体相关联的一个或多个所述第一输入，确定置信度得分和所述显示屏幕的Z深度。
6.根据权利要求5所述的方法，进一步包括：
将所述置信度得分与置信度阈值进行比较；
当所述置信度得分低于所述置信度阈值时，将与所述场景的一个或多个所述显示元素相关联的一个或多个所述第二输入馈送给所述融合算法；并且
基于与所述用户的身体相关联的一个或多个第一输入以及与所述场景的一个或多个所述显示元素相关联的一个或多个所述第二输入，使用所述融合算法确定所述显示屏幕的所述Z深度。
7.根据权利要求6所述的方法，进一步比较：
通过所述融合算法，比较基于多个输入组合所确定的置信度得分；并且通过所述融合算法，基于具有最高置信度得分的输入的组合，确定所述显示屏幕的所述Z深度。
8.根据权利要求5所述的方法，其中，由所述融合算法使用一个或多个所述第一输入与一个或多个所述第二输入的分段比较来确定所述Z深度和所述置信度得分。
9.根据权利要求5所述的方法，其中，基于一个或多个所述第一输入的两个或更多个输入与一个或多个所述第二输入之间的相关性，确定所述Z深度和所述置信度得分。
10.根据权利要求5所述的方法，其中，所述融合算法包括机器学习(ML)算法，其中，所述机器学习(ML)算法确定输入组合。
11.根据权利要求4所述的方法，其中，与所述用户的身体相关联的一个或多个所述第一输入包括以下各项中的一项或多项：
手的位置；
手的方向；
手运动；
手势；
头部位置；
头部方向；
头部运动；
头部姿势；
身体姿势；
身体姿态；
身体运动；
所述用户的行为；或者
一个或多个相关参数的加权组合。
12.根据权利要求11所述的方法，其中，从以下各项中的一项或多项接收与所述用户的身体相关联的一个或多个所述第一输入：
控制器；
传感器；
相机；
麦克风；
加速度计；
所述用户佩戴的头盔；或
移动装置。
13.根据权利要求4所述的方法，其中，与一个或多个显示元素相关联的一个或多个所述第二输入包括以下各项中的一项或多项：
与显示元素相关联的Z缓冲值；
由开发者标记的显示元素；
图像分析结果；
显示元素的形状；
人脸识别结果；
对象识别结果；
在显示内容中识别的人；
在显示内容中识别的对象；
两个或更多个显示元素的相关性；或者
一个或多个所述第二输入的加权组合。
14.根据权利要求1所述的方法，进一步包括：
确定所述眼睛跟踪系统的性能度量低于第二性能阈值；
接收与所述头戴式显示器显示的场景中的一个或多个显示元素相关联的一个或多个第二输入；并且
至少基于与所述用户的身体相关联的一个或多个所述第一输入以及与一个或多个所述显示元素相关联的一个或多个所述第二输入，确定所述用户的视觉辅辏距离。
15.根据权利要求14所述的方法，其中，确定所述眼睛跟踪系统的性能度量低于所述第二性能阈值，包括：确定所述眼睛跟踪系统不存在眼睛跟踪数据或所述眼睛跟踪系统不能提供眼睛跟踪数据。
16.根据权利要求1所述的方法，其中，所述眼睛跟踪系统的性能度量包括以下各项中的一项或多项：
来自所述眼睛跟踪系统的参数的准确性；
来自所述眼睛跟踪系统的参数的精度；
来自所述眼睛跟踪系统的参数值；
瞳孔的可检测性；
基于与所述用户相关联的一个或多个参数的度量；
参数变化；
参数变化趋势；
数据可用性；或者
一个或多个性能相关的参数的加权组合。
17.根据权利要求16所述的方法，其中，与所述用户相关联的一个或多个参数包括以下各项中的一项或多项：
所述用户的眼睛距离；
瞳孔位置；
瞳孔状态；
所述用户的两个瞳孔的相关性；
所述用户的头部尺寸；
所述用户佩戴头盔的位置；
所述用户佩戴所述头盔的角度；
所述用户佩戴所述头盔的方向；
所述用户的眼睛的对准；或者
与所述用户相关联的一个或多个相关参数的加权组合。
18.根据权利要求1所述的方法，其中，所述第一性能阈值包括以下各项中的一项或多项：
预定值；
预定范围；
数据的状态；
数据的变化速度；或者
数据变化的趋势。
19.一种或多种包含软件的非暂时性计算机可读存储介质，当由服务器计算装置执行时，所述软件能够操作，以：
确定眼睛跟踪系统的性能度量低于第一性能阈值，其中，所述眼睛跟踪系统与用户佩戴的头戴式显示器相关联；
接收与所述用户的身体相关联的一个或多个第一输入；
基于接收到的与所述用户的身体相关联的一个或多个所述第一输入，估计所述用户正在看所述头戴式显示器的视场内的区域；
至少基于与所述用户的身体相关联的一个或多个所述第一输入、所估计的所述用户正在看的区域、以及所述头戴式显示器显示的场景中的一个或多个对象的位置，确定所述用户的视觉辅辏距离；并且
基于所确定的所述用户的视觉辅辏距离，调整所述头戴式显示器的一个或多个配置。
20.一种系统，包括：
一个或多个传感器；
头戴式显示器；
一种或多种包含指令的非暂时性计算机可读存储介质；
一个或多个处理器，耦接到所述存储介质并能够操作以执行所述指令，以：
确定眼睛跟踪系统的性能度量低于第一性能阈值，其中，所述眼睛跟踪系统与用户佩戴的所述头戴式显示器相关联；
接收与所述用户的身体相关联的一个或多个第一输入；
基于接收到的与所述用户的身体相关联的一个或多个所述第一输入，估计所述用户正在看所述头戴式显示器的视场内的区域；
至少基于与所述用户的身体相关联的一个或多个所述第一输入、所估计的所述用户正在看的区域、以及所述头戴式显示器显示的场景中的一个或多个对象的位置，确定所述用户的视觉辅辏距离；并且
基于所确定的所述用户的视觉辅辏距离，调整所述头戴式显示器的一个或多个配置。

说明书全文

视觉辐辏确定

技术领域

[0001] 本公开总体上涉及人工现实，例如，虚拟现实和增强现实。

背景技术

[0002] 人工现实是在呈现给用户之前已经以某种方式调整过的现实形式，可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕捉的内容(例如，现实世界照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个都可以在单个渠道或多个渠道中呈现(例如，向观看者产生三维效果的立体视频)。人工现实可以与应用程序、产品、附件、服务或其某种组合相关联，这些应用程序、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或用于人工现实中(例如，在其中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式显示器(HMD)、独立HMD、移动装置或计算系统或者能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。
发明内容

[0003] 在本文中描述的具体实施例涉及一种使用基于眼睛跟踪的方法(例如，3D眼睛跟踪、基于机器学习的眼睛跟踪)、基于身体的方法(例如，头部位置/运动、手位置/运动、身体位置/运动)和基于内容的方法(例如，Z缓冲区、面部检测、应用程序开发者提供的信息)的组合来确定用户的视觉辐辏的方法。具体实施例检测眼睛跟踪系统的故障(例如，数据超出范围或者根本没有来自眼睛跟踪系统的数据)，并且在检测到故障时，使用这些方法的组合来近似用户视觉辐辏。在具体实施例中，融合算法对来自所有这些方法的输入进行加权，并确定用户可能正在看的位置(例如，使用分段比较)。例如，当头盔检测到用户的手已经拿起虚拟对象并且正朝着他的脸移动时，融合算法可以推断用户正在看他手中的虚拟对象。在将虚拟对象识别为用户注视的可能对象时，系统可以确定用于显示屏幕的适当Z深度，并相应地调整人工现实系统的配置(例如，改变渲染图像、移动显示屏幕、移动光学块)，以消除或改善由视觉辐辏调节冲突(vergence accommodation conflict)引起的负面影响。

[0004] 在本文中公开的实施例仅仅是示例，并且本公开的范围不限于这些实施例。具体实施例可以包括上面公开的实施例的所有、一些或不包括组件、元件、特征、功能、操作或步骤。在所附权利要求中特别公开根据本发明的实施例，涉及一种方法、存储介质、系统和计算机程序产品，其中，一个权利要求类别(例如，方法)中提到的任何特征也可以在另一权利要求类别(例如，系统)中要求保护。仅出于形式原因而选择所附权利要求中的从属关系或引用。然而，也可以要求保护由对任何先前权利要求(特别是多个从属关系)的有意引用而产生的任何主题，从而公开权利要求及其特征的任何组合，并且可以要求保护，而与所附权利要求中选择的从属关系无关。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中的特征的任何其他组合，其中，权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合结合。此外，在本文中描述或描绘的任何实施例和特征可以在单独的权利要求中和/或与在本文中描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中要求保护。附图说明

[0005] 图1示出了与社交网络系统相关联的示例网络环境

[0006] 图2示出了示例人工现实系统。

[0007] 图3示出了头戴式显示器中的视觉辐辏调节冲突的示例情况。

[0008] 图4示出了示例3D眼睛跟踪系统。

[0009] 图5示出了具有可调显示屏幕的示例头戴式显示器。

[0010] 图6示出了不同的基于身体和基于内容的输入组合的示例性能评估图表。

[0011] 图7示出了佩戴人工现实头盔的用户视场中的示例场景。

[0012] 图8A示出了用于确定显示屏幕Z深度和置信度得分的示例融合算法。

[0013] 图8B示出了使用对输入的分段比较的示例融合算法。

[0014] 图9示出了用于基于输入组合确定用户的视觉辅辏距离(vergence distance)的示例方法。

[0015] 图10示出了示例计算机系统。

具体实施方式

[0016] 图1示出了与社交网络系统相关联的一个示例网络环境100。网络环境100包括通过网络110彼此连接的用户101、客户端系统130、社交网络系统160以及第三方系统170。虽然1示出了用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110的特定设置，但是本公开设想用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110具有任何合适的设置。作为一个实例，并非通过限制的方式，客户端系统130、社交网络系统160以及第三方系统170中的两个或更多个彼此直接连接，绕过网络110。作为另一个实例，客户端系统130、社交网络系统160以及第三方系统170中的两个或更多个在物理上或逻辑上彼此完全或部分共置。而且，虽然图1示出了特定数量的用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110，但是本公开设想用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110具有任何合适的数量。作为一个实例，并非通过限制的方式，网络环境100可以包括多个用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110。

[0017] 在具体实施例中，用户101可以是与社交网络系统160交互或通信或者通过社交网络系统160交互或通信的个人(个人用户)、实体(例如，企业、商业或第三方应用程序)或群组(例如，个人或实体的群组)。在具体实施例中，社交网络系统160可以是托管在线社交网络的网络可寻址计算系统。社交网络系统160可以生成、存储、接收和发送社交网络数据，例如，用户简档数据、概念简档数据、社交图谱信息或与在线社交网络相关的其他合适数据。社交网络系统160可由网络环境100的其他组件直接访问或经由网络110访问。在具体实施例中，社交网络系统160可以包括授权服务器(或其他合适的组件)，该授权服务器允许用户
101选择加入或退出社交网络系统160记录其动作或与其他系统(例如，第三方系统170)共享其动作，例如，通过设置合适的隐私设置。用户的隐私设置可以确定可以记录与用户相关联的哪些信息，可以如何记录与用户相关联的信息，何时可以记录与用户相关联的信息，何人可以记录与用户相关联的信息，可以与谁共享与用户相关联的信息，以及可以出于什么目的来记录或共享与用户相关联的信息。授权服务器可用于通过阻断、数据散列、匿名化或其他适当的技术来强制社交网络系统30的用户的一个或多个隐私设置。在具体实施例中，第三方系统170可以是网络可寻址计算系统。第三方系统170可由网络环境100的其他组件直接或经由网络110访问。在具体实施例中，一个或多个用户101可以使用一个或多个客户端系统130来访问社交网络系统160或第三方系统170，向社交网络系统160或第三方系统
170发送数据以及从社交网络系统160或第三方系统170接收数据。客户端系统130可以直接、经由网络110或经由第三方系统访问社交网络系统160或第三方系统170。作为一个示例，并非通过限制的方式，客户端系统130可以经由社交网络系统160访问第三方系统170。
客户端系统130可以是任何合适的计算装置，例如，个人计算机、膝上型计算机、蜂窝电话、智能手机、平板计算机或增强/虚拟现实装置。

[0018] 本公开设想任何合适的网络110。作为一个示例，并非通过限制的方式，网络110的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、一部分互联网、一部分公共交换电话网(PSTN)、蜂窝电话网络、或其两个或更多个的组合。网络110可以包括一个或多个网络110。

[0019] 链路150可以使客户端系统130、社交网络系统160以及第三方系统170连接至通信网络110或者彼此连接。本公开设想任何合适的链路150。在具体实施例中，一个或多个链路150包括一个或多个有线(例如，数字用户线路(DSL)或线缆数据服务接口规范(DOCSIS))、无线(例如，Wi-Fi或全球微波接入互操作性(WiMAX))、或光学(例如，同步光纤网络(SONET)或同步数字系列(SDH))链路。在具体实施例中，一个或多个链路150均包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、一部分互联网、一部分PSTN、基于蜂窝技术的网络、基于卫星通信技术的网络、另一个链路150或两个或更多个这种链路150的组合。在整个网络设备100中，链路150不必相同。一个或多个第一链路150可以在一个或多个方面与一个或多个第二链路150不同。

[0020] 图2示出了示例人工现实系统200。在具体实施例中，人工现实系统200可以包括头盔204(例如，头戴式显示器(HMD))、控制器206和计算系统208。用户202可以佩戴头盔204，头盔204可以向用户202显示视觉人工现实内容。头盔204可以包括可以向用户202提供音频人工现实内容的音频装置。头盔204可以包括一个或多个相机，所述相机可以捕捉环境的图像和视频。头盔204可以包括眼睛跟踪系统，以确定用户202的视觉辐辏。头盔204可以包括一个或多个显示屏幕，用于渲染人工现实内容。控制器206可以包括触控板和一个或多个按钮。控制器206可以接收来自用户202的输入并将该输入中继到计算系统208。控制器206还可以向用户202提供触觉反馈。计算系统208可以通过线缆或无线连接而连接到头盔204和控制器206。计算系统208可以控制头盔204和控制器206向用户202提供人工现实内容并从用户202接收输入。计算系统208可以是独立的主计算机系统、与头盔204集成的机载计算机系统、移动装置或能够向用户202提供人工现实内容并从用户202接收输入的任何其他硬件平台。在本公开中，术语“头盔”和“头戴式显示器”可以互换使用，以表示用于人工现实系统的头戴式装置。

[0021] 视觉辅辏距离可以是从用户眼睛到用户眼睛会聚的对象(例如，现实世界对象或虚拟空间中的虚拟对象)的距离。焦距可以是从用户眼睛到用户眼睛所适应的对象的距离。在现实世界中，当用户的两只眼睛注视着现实对象时，两只眼睛都会会聚并调节这个对象。
两只眼睛的视觉辅辏距离和焦距相互匹配。在人工现实中，用户可以注视在头戴式显示器上呈现的虚拟对象。用户的两只眼睛可以会聚到虚拟对象上，虚拟对象可以在虚拟空间中相对远离用户，同时被调节在相对靠近用户眼睛的头戴式显示器上。视觉辐辏和用户眼睛调节之间的不匹配可能导致视觉辐辏调节冲突，这可能会对人工现实体验产生负面影响。
例如，视觉辐辏调节冲突可能会随着时间的推移导致用户眼疲劳或VR恶心的发作。

[0022] 图3示出了头戴式显示器300中视觉辐辏调节冲突的示例情况。头戴式显示器300可以具有用于向用户的眼睛302和304显示内容的显示屏幕320。显示器320可以向用户呈现虚拟对象322。用户的两只眼睛302和304可以注视虚拟对象322。在这种情况下，用户的两只眼睛的视觉辅辏距离342或注视深度对应于眼睛(302、304)和虚拟对象322之间的虚拟距离。然而，两只眼睛302和304可以具有焦距340，因为被调节至显示屏幕320，显示屏幕320是这个虚拟对象322的实际光源。焦距340和视觉辅辏距离342之间的不匹配导致视觉辐辏调节冲突，这可能对头戴式显示器300提供的人工现实体验产生负面影响。具体实施例解决了视觉辐辏调节冲突问题，并改善了人工现实的用户体验。

[0023] 在具体实施例中，人工现实头盔系统可以包括用于实时跟踪用户眼睛的眼睛跟踪系统。眼睛跟踪系统可以是跟踪用户的眼睛运动(例如，注视方向、注视角度、注视深度、会聚)并确定用户正在看的位置(例如，视觉辅辏距离或注视点)的3D眼睛跟踪系统。图4示出了示例3D眼睛跟踪系统400。3D眼睛跟踪系统400可以跟踪三维眼睛运动，以确定用户的视觉辅辏距离或注视点。眼睛跟踪系统400可以包括透镜410、多个红外光源(例如，412A至412H)、热反射镜420和红外相机440。光源412A至412H可以是安装在透镜410上的红外LED。
热反射镜420可以是二向色滤光器，该二向色滤光器反射红外光，同时允许可见光通过。由一个或多个光源412A至412H发射的红外光(例如，414)可以到达眼睛450并从眼睛450反射离开。反射光416可被热反射镜420进一步反射并到达红外相机440。相机440可以是红外相机，其使用反射红外光捕捉眼睛450的图像。眼睛跟踪系统400可以捕获用户双眼(例如，瞳孔)的图像，并使用计算机视觉技术处理图像。眼睛跟踪系统400可以测量两只眼睛的角度，并使用几何关系来确定用户的视觉辅辏距离和注视点。3D眼睛跟踪系统400可以以例如1o的精度测量用户的眼睛角度。来自显示屏幕430的可见光432可以通过热反射镜420和透镜
410到达眼睛450，允许用户看到显示屏幕430呈现的内容。

[0024] 在具体实施例中，头盔系统可以使用基于机器学习(ML)的方法进行眼睛跟踪。头盔系统可以拍摄佩戴头盔的用户眼睛的图像序列(例如，使用3D眼睛跟踪系统)，并使用机器学习(ML)算法来处理图像并输出视觉辅辏信息。例如，机器学习(ML)算法可以包括推理模型，以确定用户的视觉辅辏距离和注视点。在具体实施例中，头盔系统可以包括组合3D眼睛跟踪和基于ML的眼睛跟踪的混合方法。

[0025] 然而，跟踪系统可能不会一直在最佳状态下工作。例如，如果用户不正确佩戴头盔，眼睛跟踪系统可能无法检测瞳孔。作为另一示例，由于故障或用户错误，眼睛跟踪系统可能具有更低的准确度和精确度。作为另一示例，眼睛跟踪数据可能超出范围，或者根本没有来自眼睛跟踪系统的数据。此外，一些人工现实头盔系统甚至可能不包括任何眼睛跟踪系统。如果没有可靠的眼睛跟踪信息，人工现实头盔系统改善视觉辐辏调节冲突的能力将会受损。

[0026] 在具体实施例中，头盔系统可以检测眼睛跟踪系统的故障。一旦检测到故障，头盔系统可以切换状态，以接收一个或多个输入，并使用这些输入的组合来确定用户的视觉辅辏距离或注视点。这些输入可以基于不同的方法，包括例如但不限于基于眼睛跟踪的方法(例如，3D眼睛跟踪、基于ML的眼睛跟踪)、基于身体的方法(例如，头部位置/运动、手位置/运动、身体位置/运动)和基于内容的方法(例如，Z缓冲区、面部/对象识别、开发者提供的信息)。具体实施例可以使用各种方法的组合来提供更鲁棒的眼睛跟踪。融合算法可以基于所有这些方法对输入进行加权，并确定用户可能看的位置、显示屏幕的Z深度和置信度得分。在具体实施例中，融合算法可以确定一个或多个输入之间的相关性，并基于输入的相关性确定用户可能正在看的位置。例如，当头盔系统检测到用户的手已经拿起虚拟对象并且正朝着他的脸移动时，融合算法可以推断，用户正在看他手中的虚拟对象。在将虚拟对象识别为用户注视的可能对象时，头盔系统可以确定显示屏幕的适当Z深度。然后，头盔系统可以物理地将与变焦系统相关联的显示屏幕移动到对应于Z深度的位置，以解决视觉辐辏调节冲突。

[0027] 图5示出了具有可调显示屏幕502的示例头戴式显示器500。头戴式显示器500可以具有显示屏幕502和透镜504。在具体实施例中，显示屏幕502可以在位置512和514之间的可移动范围520(例如，1cm)内沿着轴线506朝向透镜504移动或远离透镜504移动。头戴式显示器500和透镜504可以具有可以称为Z距离或Z深度530的距离。Z深度530可以影响用户眼睛的焦距。显示屏幕502的位置512可以对应于用户正在以25cm的视觉辅辏距离看虚拟对象的情况。位置514可以对应于用户正在以无穷大的视觉辅辏距离看虚拟对象的情况。当调整显示屏幕502时，透镜504或头戴式显示器500的其他部分可以用作参考。在具体实施例中，可调显示屏幕可以与头戴式显示器500的变焦系统相关联。变焦系统可以使用显示屏幕的Z深度530来协调用户的焦距和视觉辅辏距离，以改善视觉辐辏调节冲突。在具体实施例中，头戴式显示器500可以移动与透镜504相关联的光学块，以调整Z深度530，从而改善视觉辐辏调节冲突。在具体实施例中，头戴式显示器500可以移动显示屏幕502和与透镜504相关联的光学块，以调整Z深度530，从而改善视觉辐辏调节冲突。在具体实施例中，头盔可以基于用户的视觉辅辏距离或注视点向用户呈现不同的图像，以消除或改善视觉辐辏调节冲突。

[0028] 在具体实施例中，头盔系统可以确定一个或多个性能度量，并将该性能度量与一个或多个性能阈值进行比较，以评估眼睛跟踪系统性能，并相应地确定各种方法的组合。图6示出了具有基于眼睛跟踪的输入、基于身体的输入和基于内容的输入的不同组合的示例性能评估图。水平轴602可以对应于眼睛跟踪系统的性能度量水平。垂直轴604可以对应于不同性能条件下的不同输入和/或方法。可以将性能度量与第一阈值610和第二阈值620进行比较。当性能度量高于第一阈值610时，眼睛跟踪系统可以在很好的条件下按预期执行，并且该性能可以被识别为很好的性能。在这种情况下，头盔系统可以继续使用来自眼睛跟踪系统的眼睛跟踪数据来确定用户的视觉辅辏距离和注视点，并且不需要其他数据或输入。

[0029] 当性能度量低于第一阈值610并且高于第二阈值620时，性能可以被识别为不佳。在这种情况下，眼睛跟踪系统部分地工作，但是具有一些对眼睛跟踪系统的性能产生负面影响(例如，降低置信度得分，降低视觉辅辏距离和Z深度确定的准确度或/和精确度)的故障。当眼睛跟踪系统性能不佳时，头盔系统可以确定输入的组合，以质量和置信度得分改善地确定用户的视觉辅辏距离和注视点。该组合可以包括眼睛跟踪数据、基于身体的输入或基于内容的输入。例如，该组合可以包括基于身体的输入中的一个或多个输入。作为另一示例，该组合可以包括基于内容的输入中的一个或多个输入。作为另一示例，该组合可以包括基于身体的输入和基于内容的输入中的一个或多个输入以及眼睛跟踪数据。

[0030] 当性能度量低于第二阈值620时，眼睛跟踪系统可以被识别为无功能的。在这种情况下，头盔系统可能没有可用的眼睛跟踪数据，因为头盔系统没有眼睛跟踪系统或者眼睛跟踪系统无法工作。当眼睛跟踪系统性能不佳时，头盔系统可以使用输入的组合来确定用户的可能视觉辅辏距离和注视点。该组合可以包括基于身体的输入或基于内容的输入中的一个或多个输入。

[0031] 在具体实施例中，性能度量可以包括例如但不限于眼睛跟踪系统的参数精度、眼睛跟踪系统的参数精度、眼睛跟踪系统的参数值、瞳孔的可检测性、基于与用户相关联的一个或多个参数的度量、参数变化、参数变化趋势、数据可用性、一个或多个性能度量或相关参数的加权组合等。性能度量的阈值可以包括例如但不限于预定值、预定范围、数据状态、数据变化速度、数据变化趋势等。在具体实施例中，阈值可以由开发者预先确定。在具体实施例中，阈值可以由来自使用头盔的用户的输入来确定，或者可以使用机器学习或深度学习算法来自适应地确定，该算法使用头盔的当前或历史数据。在具体实施例中，头盔系统可以使用性能度量来检测眼睛跟踪系统的一个或多个故障。在具体实施例中，头盔系统可以通过比较眼睛跟踪数据的两个或更多个参数(例如，来自不同感测通道的信息)并确定这些参数是否彼此一致来检测眼睛跟踪系统的故障。

[0032] 作为示例而非通过限制的方式，头盔系统可以将眼睛跟踪数据的参数值(例如，Z深度)与预定值或范围(例如，头盔的规范或手册中指定的Z深度范围)进行比较，并确定参数值是否在预定范围内。当参数值超出范围时，眼睛跟踪系统可能被识别为故障。作为另一示例，头盔系统可以确定眼睛跟踪数据的参数的变化趋势，并且确定参数值正在漂移并且偏差超出可接受的范围。作为另一示例，头盔系统不能从眼睛跟踪系统接收数据，并且可以确定头盔不包括眼睛跟踪系统或者眼睛跟踪系统不能工作。作为另一示例，当用户眨眼或被其他方式遮挡时，眼睛跟踪系统可能无法检测到用户的瞳孔。作为另一示例，头盔系统可以检测到用户的眼睛有一些问题(例如，眼睛流变性或两只眼睛不会聚)，这些问题妨碍了眼睛跟踪系统的正常工作。

[0033] 在具体实施例中，头盔系统可以确定与佩戴头盔的用户相关的一个或多个参数，并且确定眼睛跟踪系统性能可能受到负面影响。用户相关参数可以包括例如但不限于用户的两只眼睛(例如，瞳孔)之间的距离、瞳孔位置、瞳孔状态、用户的两只瞳孔的相关性、用户的头部尺寸、用户佩戴头盔的位置、用户佩戴头盔的角度、用户佩戴头盔的方向、用户眼睛的对准、头盔与用户眼睛的对准、与用户相关联的一个或多个相关参数的加权组合等。头盔可以将用户相关参数与一个或多个标准进行比较，这些标准可以由开发者预先确定，或者可以由用户或算法自适应地确定。当用户相关参数不符合标准时，头盔系统可以确定眼睛跟踪系统在这些情况下不能很好地工作或不能工作。作为示例而非通过限制的方式，头盔系统可以检测到用户不正确地佩戴头盔(例如，不正确的方向、姿势或对准)，并且眼睛跟踪数据不可用或不准确。作为另一示例，头盔系统可能无法检测用户瞳孔，并确定眼睛跟踪系统无法跟踪当前用户的眼睛。作为另一示例，头盔系统可能无法正确检测或跟踪用户的眼睛，因为用户佩戴的验光镜片或隐形眼镜超出了头盔系统的支持范围。作为另一示例，头盔系统可以确定用户具有比头盔系统设计的更大的瞳孔距离或更大的头部尺寸。在这种情况下，眼睛跟踪系统可能无法检测瞳孔，或者可能无法正确跟踪用户注视。

[0034] 在具体实施例中，头盔系统可以为所确定的用户视觉辅辏距离或注视点以及显示屏幕的Z深度确定置信度得分。头盔系统可以将置信度得分与置信度阈值进行比较，以确定所确定的视觉辅辏距离或注视点是否满足预定要求(例如，精度、准确度、更新率、稳定性)。在具体实施例中，头盔系统可以使用置信度得分持续评估所确定的视觉辅辏距离或注视点的质量，以确定是否需要进一步的数据来提高确定质量。例如，头盔系统可以根据基于身体的输入和置信度得分高于置信度阈值来确定视觉辅辏距离和注视点。在这种情况下，除了基于身体的输入，不需要其他数据。作为另一示例，头盔系统可以确定所确定的视觉辅辏距离或注视点的置信度得分不满足预定要求，并且头盔系统需要进一步的数据(例如，更多基于身体的输入、眼睛跟踪数据或基于内容的输入)来提高确定质量和置信度得分。

[0035] 当性能度量低于第一阈值时，眼睛跟踪系统的性能可能不佳或无法工作。头盔系统可以接收与佩戴头盔的用户的身体相关联的一个或多个第一输入。头盔系统可以确定用户正在用户佩戴的头盔的头戴式显示器的视场内看的区域。用户正在看的区域可以基于接收到的与用户身体相关联的一个或多个第一输入来确定。头盔系统可以将用户正在看的区域与头戴式显示器上显示的场景中的一个或多个对象的位置进行比较，以确定场景中的哪些对象落在该区域内。然后，头盔系统可以基于与用户身体相关联的一个或多个第一输入、用户正在看的区域、和/或落在该区域中的场景中的显示对象来确定用户的可能视觉辅辏距离或注视点。视觉辅辏距离可以是从用户的眼睛到虚拟对象的距离，假设用户正在看虚拟对象。注视点可以是用户正在注视的虚拟空间中的点。头盔系统可以基于所确定的用户视觉辅辏距离来调整头戴式显示器的显示屏幕的位置。在具体实施例中，头盔系统可以基于除了基于身体的输入之外的一个或多个基于内容的输入来确定视觉辅辏距离或注视点。在具体实施例中，头盔系统可以根据基于身体的输入和基于内容的输入来确定视觉辅辏距离或注视点。在具体实施例中，头盔系统可以基于眼睛跟踪数据、基于身体的输入和基于内容的输入来确定视觉辅辏距离或注视点。在具体实施例中，头盔系统可以基于所确定的用户视觉辅辏距离或注视点来调整头戴式显示器的一个或多个配置，以消除或改善视觉辐辏调节冲突。头盔系统可以通过基于所确定的用户视觉辅辏距离或注视点向用户呈现不同的图像、调整显示屏幕的位置或调整光学块来配置头戴式显示器。

[0036] 在具体实施例中，与用户身体相关联的第一输入可以包括例如但不限于手位置、手方向、手运动、手势、头部位置、头部注视、头部方向、头部运动、头部姿势、身体姿势、身体姿态、身体运动、用户行为、或一个或多个相关参数的加权组合。在具体实施例中，基于身体的输入可以包括除眼睛之外的用户的任何其他身体部位的位置、运动或状态。在具体实施例中，头盔系统可以包括一个或多个用户输入装置或感测装置，包括但不限于控制器、一个或多个传感器、相机、麦克风、加速度计、移动装置或其他用户输入装置。用户输入装置或感测装置可以与佩戴头盔的用户相关联，并且可以通过无线或有线连接与头盔系统通信。用户输入装置或感测装置可以跟踪用户的运动或状态，并向头盔系统发送数据。头盔系统可以从一个或多个用户输入装置或感测装置接收与用户相关联的一个或多个第一输入。用户输入装置或感测装置可以是与头盔分离的装置，或者可以集成到头盔。

[0037] 作为示例而非通过限制的方式，佩戴头盔的用户可以用一只或两只手握持控制器。用户可以使用控制器来选择头盔的头戴式显示器的视场中的一个或多个对象或与该一个或多个对象交互。这些对象可以是由头戴式头盔呈现的虚拟对象、由一个或多个相机捕捉并在头戴式显示器上显示的现实世界对象、或者用户透过增强现实头盔看到的现实世界对象。用户和对象之间的交互可以由控制器跟踪并发送到头盔系统。作为另一示例，握持控制器的用户的手可以在三维空间中移动，并且控制器可以跟踪运动(例如，速度、方向、加速度、轨迹、图案、角度、手势、位置、两只手的相关性或协调)。作为另一示例，头盔可以包括一个或多个传感器，以测量头部方向、注视角度、头部运动、头部姿势等。作为另一示例，头盔系统可以包括安装在用户身体上的一个或多个传感器，并且该传感器可以测量用户的身体运动(例如，速度、方向、加速度、轨迹、图案、角度、姿势、位置、身体多个部分或多个用户之间的相关性或协调)、身体姿势或身体位置。作为另一示例，头盔系统可以包括监视用户行为和动作的相机。相机可以集成到头盔，或者可以安装在用户所处的环境中，通过无线或有线连接与头盔通信。

[0038] 在具体实施例中，当头盔系统识别眼睛跟踪系统性能不佳(即，部分工作但处于非完美状态)时，头盔系统可以继续从眼睛跟踪系统接收眼睛跟踪数据。该系统可以基于来自眼睛跟踪系统的数据来确定用户的视觉辅辏距离或注视点。头盔系统可以接收与用户身体相关联的一个或多个第一输入。头盔系统可以基于眼睛跟踪数据和与用户身体相关联的一个或多个第一输入来确定用户的视觉辅辏距离和注视点。在具体实施例中，头盔系统可以首先使用眼睛跟踪数据确定视觉辐辏或注视点，并且确定置信度得分低于置信度阈值。然后，头盔系统可以使用基于身体的输入来提高所确定的视觉辅辏距离和注视点的质量(例如，准确性)，并提高确定的置信度。

[0039] 在具体实施例中，当眼睛跟踪系统的性能被识别为不佳时，头盔系统可以继续从眼睛跟踪系统接收眼睛跟踪数据，并基于眼睛跟踪数据确定视觉辅辏距离和注视点。头盔系统还可以接收与用户身体相关联的一个或多个第一输入以及与头戴式显示器呈现的场景的显示内容中的一个或多个显示元素相关联的一个或多个第二输入。头盔系统可以基于眼睛跟踪数据、与用户身体相关联的一个或多个第一输入、或者与显示内容相关联的一个或多个第二输入的组合来确定用户的视觉辅辏距离和注视点。

[0040] 在具体实施例中，与场景的显示内容中的一个或多个显示元素相关联的一个或多个第二输入可以包括例如但不限于：与显示元素相关联的Z缓冲值、由开发者标记的显示元素、图像分析结果、显示元素的形状、面部识别结果、对象识别结果、在显示内容中识别的人、在显示内容中识别的对象、两个或更多个显示元素的相关性、或者一个或多个基于内容的输入的加权组合。在具体实施例中，基于内容的输入可以包括由计算机视觉算法生成的一个或多个参数，包括例如但不限于面部识别、对象识别、机器学习、深度学习、背景-前景分析、图像分析、其他计算机视觉算法等。在具体实施例中，与基于内容的输入相关联的显示元素可以与通过头戴式显示器在虚拟空间中呈现的虚拟对象或佩戴增强现实头盔的用户的视场中的现实世界对象相关联。显示元素可以包括例如但不限于：对象(例如，树、建筑物)、计算机生成的内容(例如，文本、图标、图形、插图)、人或背景视图。

[0041] 图7示出了佩戴人工现实头盔的用户的视场中的示例场景700。场景700可以包括人702、房屋704和背景山706。在具体实施例中，场景700可以是由头盔在虚拟空间中和佩戴头盔的用户的视场中呈现的虚拟现实场景。在具体实施例中，场景700可以是佩戴增强现实头盔的用户的视场中的现实世界场景。在具体实施例中，头盔系统可以基于与场景的显示内容(例如，人702、房屋704、山706)相关联的一个或多个第二输入，确定具有一置信度得分(例如，高于预定阈值)的、用户的视觉辅辏距离或注视点。作为示例而非通过限制的方式，头盔系统可以确定人702已经被显示内容(例如，虚拟现实游戏或应用程序)的开发者标记为此时的场景700的焦点(或者通过使人702出现在焦点上而使场景的其余部分不在焦点上来隐含地标记为焦点)。头盔系统可以基于与人702的一个或多个像素相关的Z缓冲值来确定显示屏幕的Z深度，并且基于所确定的允许人702被聚焦的Z深度来调整显示屏幕。作为另一示例，游戏开发者可以直接编程头盔系统，以移动显示屏幕，从而通过使场景的一部分比场景的其他部分更对焦来迫使用户看场景的该部分。作为另一示例，头盔系统可以使用面部识别来检测人702，并且使用一系列场景上的运动检测来确定人702在这个运动中正在向用户移动。头盔可以推断，人702应该是用户在该场景中的焦点，并且基于与人702的像素相关的Z缓冲值来确定屏幕的Z深度，并且相应地移动显示屏幕。作为另一示例，头盔系统可以基于头部注视信息，来确定用户正在看人702，并使用与人702的像素相关的Z缓冲区来确定显示屏幕的Z深度。作为另一示例，头盔系统可以确定(例如，使用对象识别)场景中有两个对象，并且确定用户可能正在看视觉空间中更靠近用户的对象。作为另一示例，头盔系统可以确定用户已经在前面的场景中追击虚拟对象(例如，在游戏中)，并且确定用户可能仍然在当前场景中看该虚拟对象。作为另一示例，头盔系统可以基于先前场景中的用户注视点的跟踪移动方向和速度来预测用户注视点的弹道，并确定用户正在看的对象。

[0042] 在具体实施例中，头盔系统可以基于与多个显示内容(例如，人702、房屋704、山706)的像素相关的Z缓冲值的加权平均值来确定显示屏幕的Z深度，并相应地移动显示屏幕，以允许用户对场景700整体有更好的视场。作为示例而非通过限制的方式，头盔系统可以使用来自场景的81个点(例如，9×9网格)的Z缓冲值的加权组合或平均值来确定显示屏幕Z深度，这允许与这些点相关的区域成为用户的焦点。头盔系统可以基于场景中相应区域的相对重要性，为不同的点分配不同的加权得分。

[0043] 在具体实施例，头盔系统可以(例如，根据基于身体的输入或眼睛跟踪数据)确定用户正在看场景的特定区域，并且使用计算机视觉算法(例如，面部识别、对象识别、背景-前景分割)来确定该区域中显示的对象，并且进一步基于与该区域中被识别对象的像素相关的Z缓冲值来确定显示屏幕的Z深度。作为示例而非通过限制的方式，头盔系统可以使用基于身体的输入来确定用户正在看场景700的中间部分。头盔系统可以使用对象识别来检测房屋704在场景700的中间部分，并且使用与房屋704的像素相关的Z缓冲值来确定显示屏幕的Z深度，并且相应地移动显示屏幕。

[0044] 在具体实施例中，当眼睛跟踪系统的性能被识别为无功能时，头盔系统可以接收与用户身体相关联的一个或多个第一输入和与头戴式显示器呈现的场景的显示内容中的一个或多个显示元素相关联的一个或多个第二输入。头盔系统可以至少基于与用户身体相关联的一个或多个第一输入和与显示内容相关联的一个或多个第二输入的组合来确定用户的视觉辅辏距离和注视点。

[0045] 图8A示出了用于确定显示屏幕Z深度和置信度得分的示例融合算法800A。融合算法800A的输入可以例如包括但不限于:3D眼睛跟踪数据802、基于ML的眼睛跟踪数据804、头部位置806、手位置808、注视角度810、Z缓冲区812、开发者提供的信息等。融合算法800A可以对融合算法的所有输入进行加权，并确定显示屏幕的适当Z深度830和置信度得分832。融合算法800A可以持续监视所有或部分输入，并基于该输入的质量(例如，准确性、精度、可用性、数据率)或重要性，为每个输入分配加权得分。在具体实施例中，当特定输入具有比其他输入更高的质量时，融合算法可以为该特定输入分配更高的加权得分。例如，当3D眼睛跟踪数据可用且相对准确时，融合算法可以为眼睛跟踪数据分配比其他输入更高的加权得分。作为另一示例，当3D眼睛跟踪系统的性能不佳时，融合算法可以增加其他输入的加权得分，并降低3D眼睛跟踪数据的加权得分。

[0046] 图8B示出了对输入使用分段比较的示例融合算法800B。为了描述简单，图8B中仅示出了融合算法800B的四个输入。然而，融合算法800B可以包括眼睛跟踪数据的所有可能输入(例如，3D眼睛跟踪、基于ML的眼睛跟踪)、基于身体的输入(例如，头部位置、手位置、注视角度)和基于内容的输入(例如，Z缓冲区、面部/对象识别、开发者提供的信息)。在具体实施例中，融合算法800B可以使用分段比较(例如，840、841、842、843、844、845)来比较和分析每对输入，以确定输入之间的校正。在具体实施例中，融合算法可以比较多个输入，以确定它们之间的相关性。在具体实施例中，融合算法可以使用多级比较和分析来确定输入的相关性。融合算法800B可以基于输入的相关性，并因此基于显示屏幕的Z深度和置信度得分，确定用户正在看的位置。

[0047] 作为示例而非通过限制的方式，融合算法可以确定用户的手正朝着用户的头部移动，同时手中握着虚拟对象。融合算法可以确定用户可能正在看他手中的虚拟对象。融合算法可以基于用户手中的虚拟对象以0.6的置信度得分(例如，60％置信度)来确定显示屏幕的Z深度。融合算法可以进一步分析用户的头部注视方向和注视角度，并确定用户正在注视移动的手区域。融合算法可以确定以0.9的置信度得分(即，90％的置信度)用户正看手中的虚拟对象。用户的手位置可以由用户持有的控制器跟踪。头盔系统可以基于用户的头部-手位置动态地致动变焦系统，以保持虚拟对象对于用户在焦点内。

[0048] 作为另一示例，融合算法可以识别用户视场中的人，并且这个人正以一定速度向用户移动。融合算法可以确定以0.8的置信度得分(即，80％的置信度)用户正看场景中的移动的人。融合算法可以使用用户在先前场景中一直看着移动的人的信息，来进一步将置信度得分提高到0.9(即，90％置信度)。融合算法可以基于移动的人来确定Z距离。作为另一示例，融合算法可以确定用户的头部移动，对应于虚拟对象的运动(例如，头部移动，以与虚拟对象的运动同步地向上和向下或向左和向右看)。融合算法可以确定以0.9的置信度得分(即，90％的置信度)用户正看移动虚拟对象。

[0049] 在具体实施例中，融合算法可以使用输入的特定组合来确定Z深度和置信度得分。融合算法可以将该确定的置信度得分与置信度得分阈值进行比较，以确定该组合是否提供满足质量要求的结果。当置信度得分高于阈值时，融合算法可以接受该Z深度结果。当置信度得分低于阈值时，融合算法可以搜索并尝试输入的其他组合。在具体实施例中，融合算法可以使用输入的不同组合来确定Z深度和置信度得分。融合算法可以基于确定的置信度得分对组合进行排名，并选择具有最高置信度得分的组合。融合算法可以构建N维矩阵，用于所有输入的穷举分段比较，并确定导致Z深度结果的最高置信度得分的相关性。

[0050] 在具体实施例中，融合算法可以包括机器学习或深度学习算法，以确定输入的组合。机器学习模型可以使用不同输入的数据来训练，并确定哪个输入组合导致Z深度确定的最高置信度得分。在具体实施例中，机器学习算法可以进一步基于所选择的输入组合来确定Z深度和置信度得分。在具体实施例中，融合算法可以并行评估每个输入，以加速计算过程。

[0051] 图9示出了用于基于输入组合来确定用户的视觉辅辏距离的示例方法900。在步骤910，头盔系统可以使用3D眼睛跟踪系统来跟踪用户视觉辐辏。在步骤920，当跟踪用户视觉辐辏时，头盔系统可以评估眼睛跟踪系统的性能(例如，好、差、无功能)。在具体实施例中，头盔系统可以以预定或自适应确定的频率持续评估眼睛跟踪系统性能。头盔系统可以基于来自眼睛跟踪系统的数据来计算一个或多个性能度量(例如，准确度、精确度、数据可用性)。在具体实施例中，头盔系统可以使用特定性能度量、多个性能度量或多个性能度量的加权组合来评估眼睛跟踪系统的性能。在步骤930，头盔系统可以将性能度量与第一阈值进行比较。当性能度量高于第一阈值时，眼睛跟踪系统的性能可以被认为很好。头盔系统可以继续使用眼睛跟踪系统以非常高的准确度和精确度跟踪用户视觉辐辏，并且不需要其他数据。当性能度量低于第一阈值时，眼睛跟踪系统性能可以不佳或无功能。在步骤940，头盔系统可以将性能度量与第二阈值进行比较。

[0052] 当性能度量高于第二阈值并且低于第一阈值时，眼睛跟踪系统的性能可能被认为不佳。在这种情况下，眼睛跟踪系统可能部分地工作，但有一些故障。在步骤950，头盔系统可以接收眼睛跟踪数据、基于身体的输入或基于内容的输入，并使用融合算法确定输入的组合(例如，基于输入的可用性和质量或得到的置信度得分)。在步骤952，头盔系统可以基于输入的组合来估计用户正在看的头戴式显示器的视场内的区域。在步骤954，融合算法可以对所有输入进行加权，并至少基于接收到的输入、用户正在看的估计区域以及头戴式显示器上显示的场景中的一个或多个对象的位置的组合来确定用户的视觉辅辏距离或注视点。头盔系统可以使用融合算法基于用户的视觉辅辏距离或注视点来确定显示屏幕的Z深度(以及置信度得分)。在具体实施例中，输入的组合可以包括一个或多个基于身体的输入。在具体实施例中，输入的组合可以包括一个或多个基于内容的输入。在具体实施例中，输入的组合可以包括眼睛跟踪数据的一个或多个输入、基于身体的输入和基于内容的输入。

[0053] 当性能度量低于第二阈值时，眼睛跟踪系统无功能，眼睛跟踪数据不可用。在步骤960，头盔系统可以接收基于身体的输入或基于内容的输入，并使用融合算法确定输入的组合。在步骤962，头盔系统可以基于输入的组合来估计用户正在看的头戴式显示器的视场内的区域。在步骤964，融合算法可以对所有输入进行加权，并至少基于接收到的输入、用户正在看的估计区域以及头戴式显示器上显示的场景中的一个或多个对象的位置的组合来确定用户的视觉辅辏距离或注视点。头盔系统可以使用融合算法基于用户的视觉辅辏距离或注视点来确定显示屏幕的Z深度(以及置信度得分)。在具体实施例中，输入的组合可以包括一个或多个基于身体的输入。在具体实施例中，输入的组合可以包括一个或多个基于内容的输入。在具体实施例中，输入的组合可以包括基于身体的输入和基于内容的输入中的一个或多个输入。

[0054] 在步骤970，头盔系统可以基于所确定的用户视觉辅辏距离或注视点重新配置头戴式显示器，以消除或改善视觉辐辏调节冲突。头盔系统可以通过基于所确定的用户视觉辅辏距离或注视点向用户呈现不同的图像、调整显示屏幕的位置、或调整光学块的位置(例如，位置)来调整头戴式显示器的配置。在适当的情况下，具体实施例可以重复图9的方法的一个或多个步骤。尽管本公开将图9的方法的特定步骤描述和示出为以特定顺序发生，但是本公开设想了以任何适当顺序发生的图9的方法的任何适当步骤。此外，尽管本公开描述并示出了用于基于包括图9的方法的特定步骤的输入的组合来确定用户的视觉辅辏距离的示例方法，但是本公开设想了用于基于包括任何合适步骤的输入的组合来确定用户的视觉辅辏距离的任何适当方法，在适当的情况下，这些步骤可以包括图9的方法的所有步骤、一些步骤或者不包括步骤。此外，尽管本公开描述并示出了执行图9的方法的特定步骤的特定组件、装置或系统，但是本公开设想了执行图9的方法的任何适当步骤的任何适当组件、装置或系统的任何适当组合。

[0055] 图10示出了示例计算机系统1000。在具体实施例中，一个或多个计算机系统1000执行在本文中描述或显示的一个或多个方法的一个或多个步骤。在具体实施例中，一个或多个计算机系统1000提供在本文中描述或显示的功能。在具体实施例中，在一个或多个计算机系统1000上运行的软件执行在本文中描述或显示的一个或多个方法的一个或多个步骤，或者提供在本文中描述或显示的功能。具体实施例包括一个或多个计算机系统1000的一个或多个部分。在本文中，在适当的情况下，计算机系统的引用可以包括计算装置，反之亦然。而且，在适当的情况下，计算机系统的引用可以包括一个或多个计算机系统。

[0056] 本公开设想具有任何适当数量的计算机系统1000。本公开设想具有采用任何合适的物理形式的计算机系统1000。作为示例，并非通过限制的方式，计算机系统1000可为嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(例如，计算机模块(COM)或系统模块(SOM))、台式电脑系统、膝上型或笔记本式电脑系统、交互式自助服务机、主机、计算机系统的网格、移动电话、个人数字助理(PDA)、服务器、平板电脑系统、增强/虚拟现实装置或其中，的两个或更多个的组合。在适当的情况下，计算机系统1000可包括一个或多个计算机系统1000；可为单一式或分布式；跨过多个位置；跨过多台机器；或者位于云中，其在一个或多个网络中可包括一个或多个云元件。在适当的情况下，一个或多个计算机系统1000可执行在本文中描述或显示的一个或多个方法的一个或多个步骤，无需大量空间或时间限制。作为示例，并非通过限制的方式，一个或多个计算机系统1000可实时或以成批的方式执行在本文中描述或显示的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统1000可在不同的时间或者在不同的位置执行在本文中描述或显示的一个或多个方法的一个或多个步骤。

[0057] 在具体实施例中，计算机系统1000包括处理器1002、存储器1004、储存器1006、输入/输出(I/O)接口1008、通信接口1010以及总线1012。虽然本公开描述和显示了在特定的设置中具有特定数量的特定元件的特定计算机系统，但是本公开设想在任何合适的设置中具有任何合适的数量的任何合适的元件的任何合适的计算机系统。

[0058] 在具体实施例中，处理器1002包括用于执行指令的硬件，例如，构成计算机程序的那些指令。作为示例，并非通过限制的方式，为了执行指令，处理器1002可从内部寄存器、内部高速缓存、存储器1004或储存器1006中检索(或提取)指令；将这些指令解码并且执行这些指令；然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器1004或储存器1006中。在具体实施例中，处理器1002可以包括用于数据、指令或地址的一个或多个内部高速缓存。本公开设想处理器1002在适当的情况下包括任何合适数量的任何合适的内部高速缓存。作为示例，并非通过限制的方式，处理器1002可以包括一个或多个指令高速缓存、一个或多个数据高速缓存、以及一个或多个转译后备缓冲器(TLB)。在指令高速缓存内的指令可以是在存储器1004或储存器1006内的指令的副本，并且指令高速缓存可以加速由处理器1002检索那些指令。在数据高速缓存内的数据可以是在存储器1004或储存器1006内的数据的副本，用于要起作用的在处理器1002上执行的指令；在处理器1002上执行的先前指令的结果由在处理器1002上执行的后续指令访问或者写入存储器1004或储存器1006内；或者其他合适的数据。数据高速缓存可以加速处理器1002的读取或写入操作。TLB可以加速处理器
1002的虚拟地址转译。在具体实施例中，处理器1002可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开设想处理器1002包括任何合适数量的任何合适的内部寄存器。在适当的情况下，处理器1002可以包括一个或多个算术逻辑单元(ALU)；
是多核处理器；或者包括一个或多个处理器1002。虽然本公开描述和显示了特定的处理器，但是本公开设想任何合适的处理器。

[0059] 在具体实施例中，存储器1004包括主存储器，用于储存要执行的处理器1002的指令或者要起作用的处理器1002的数据。作为示例，并非通过限制的方式，计算机系统1000可将指令从储存器1006或另一个源(例如，另一个计算机系统1000)中装载到存储器1004中。然后，处理器1002可将指令从存储器1004中装载到内部寄存器或内部高速缓存中。为了执行这些指令，处理器1002可从内部寄存器或内部高速缓存中检索指令，并且将这些指令解码。在执行指令期间或之后，处理器1002可将一个或多个结果(这些结果可为中间或最终结果)写入内部寄存器或内部高速缓存中。然后，处理器1002可将这些结果中的一个或多个写入存储器1004中。在具体实施例中，存储器1004仅仅执行在一个或多个内部寄存器或内部高速缓存内或者在存储器1004内(与储存器1006相反或者在别处)的指令，并且仅仅操作在一个或多个内部寄存器或内部高速缓存内或者在存储器1004内(与储存器1006相反或者在别处)的数据。一个或多个内存总线(这些总线均可包括地址总线和数据总线)可使处理器
1002与存储器1004耦合。如下所述，总线1012可包括一个或多个内存总线。在具体实施例中，一个或多个内存管理单元(MMU)位于处理器1002与存储器1004之间，并且有助于访问由处理器1002 请求的存储器1004。在具体实施例中，存储器1004包括随机存取存储器(RAM)。
在适当的情况下，该RAM可为易失性存储器。在适当的情况下，该RAM可为动态RAM(DRAM)或静态RAM(SRAM)。而且，在适当的情况下，该RAM可为单端口或多端口RAM。本公开设想任何合适的RAM。在适当的情况下，存储器1004可以包括一个或多个存储器1004。虽然本公开描述和显示了特定的存储器，但是本公开设想任何合适的存储器。

[0060] 在具体实施例中，储存器1006包括用于数据或指令的大容量存储器。作为示例，并非通过限制的方式，储存器1006可包括HDD、软盘驱动器、闪速存储器、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或其中，的两个或更多个的组合。在适当的情况下，储存器1006可包括可移动或固定的(或固定的)介质。在适当的情况下，储存器1006可位于计算机系统1000的内部或外部。在具体实施例中，储存器1006是非易失性固态存储器。在具体实施例中，储存器1006包括只读存储器(ROM)。在适当的情况下，该ROM可为掩膜编程的ROM、可编程的ROM(PROM)、可擦PROM(EPROM)、电可擦PROM(EEPROM)、电可改写ROM(EAROM)、或闪速存储器或其中，的两个或更多个的组合。本公开设想采用任何合适的物理形式的大容量储存器
1006。在适当的情况下，储存器1006可以包括促进在处理器1002与储存器1006之间通信的一个或多个储存控制单元。在适当的情况下，储存器1006可以包括一个或多个储存器1006。
虽然本公开描述和显示了特定的储存器，但是本公开设想任何合适的储存器。

[0061] 在具体实施例中，I/O接口1008包括硬件和/或软件，其提供一个或多个接口，用于在计算机系统1000与一个或多个I/O装置之间进行通信。在适当的情况下，计算机系统1000可包括这些I/O装置中的一个或多个。这些I/O装置中的一个或多个能够在个人与计算机系统1000之间进行通信。作为示例，并非通过限制的方式，I/O装置可包括键盘、按键、麦克风、显示器、鼠标、打印机、扫描仪、扬声器、静物相机、唱针、平板电脑、触摸式屏幕、轨迹球、摄影机、另一个合适的I/O装置或其中，的两个或更多个的组合。I/O装置可包括一个或多个传感器。本公开设想具有任何合适的I/O装置以及用于这些I/O装置的任何合适的I/O接口1008。在适当的情况下，I/O接口1008可包括一个或多个装置或软件驱动器，其能够允许处理器1002驱动这些I/O装置中的一个或多个。在适当的情况下，I/O接口1008可包括一个或多个I/O接口1008。虽然本公开描述和显示了特定的I/O接口，但是本公开设想具有任何合适的I/O接口。

[0062] 在具体实施例中，通信接口1010包括硬件和/或软件，其提供一个或多个接口，用于在计算机系统1000与一个或多个其他计算机系统1000或一个或多个网络之间进行通信(例如，基于分组的通信)。作为示例，并非通过限制的方式，通信接口1010可包括网络接口控制器(NIC)、或用于与以太网或其他有线网络或无线NIC(WNIC)进行通信的网络适配器、或用于与无线网络(例如，WI-FI网络)进行通信的网络适配器。本公开设想具有任何合适的网络以及用于该网络的任何合适的通信接口1010。作为示例，并非通过限制的方式，计算机系统1000可与自组织网络、个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或互联网的一个或多个部分或其中，的两个或更多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可为有线或无线部分。作为一个示例，计算机系统1000可与无线PAN(WPAN)(例如，BLUETOOTH WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如，全球移动通讯系统(GSM)网络)、或其他合适的无线网络或其中，的两个或更多个的组合进行通信。在适当的情况下，计算机系统1000可以包括用于这些网络中的任一个的任何合适的通信接口1010。在适当的情况下，通信接口1010可以包括一个或多个通信接口1010。虽然本公开描述和显示了特定的通信接口，但是本公开设想具有任何合适的通信接口。

[0063] 在具体实施例中，总线1012包括硬件和/或软件，其使计算机系统1000的元件彼此耦合。作为示例，并非通过限制的方式，总线1012可包括加速图形端口(AGP)或其他图形总线、增强型工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准结构(ISA)总线、无限带宽互连、低脚位(LPC)总线、内存总线、微通道结构(MCA)总线、外围组件互连(PCI)总线、PCI高速(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或另一个合适的总线或其中，的两个或更多个的组合。在适当的情况下，总线1012可包括一个或多个总线1012。虽然本公开描述和显示了特定的总线，但是本公开设想具有任何合适的总线或互连。

[0064] 在本文中，在适当的情况下，计算机可读永久性储存介质的引用可包括基于半导体的或者其他集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器HDD、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡、安全数字卡或驱动器、另一个合适的计算机可读永久性储存介质、或者其中，的一个合适的组合。在适当的情况下，计算机可读永久性储存介质可为易失性、非易失性或者易失性和非易失性的组合。

[0065] 在本文中，除非另有明确规定或者在上下文中另有明确规定，否则“或”具有包括而非排除的意思。因此，在本文中，除非另有明确规定或者在上下文中另有明确规定，否则“A或B”表示“A和/或B”。而且，除非另有明确规定或者在上下文中另有明确规定，否则“和”具有共同和单独的意思。因此，在本文中，除非另有明确规定或者在上下文中另有明确规定，否则“A和B”表示“共同或单独的A和B”。

[0066] 本公开的范围包括本领域的技术人员会理解的在本文中描述或显示的示例实施例的所有变化、替换、变动、变更以及修改。本公开的范围不限于在本文中描述或显示的示例实施例。而且，虽然本公开描述和显示了在本文中相应的实施例包括特定的元件、部件、特征、功能、操作或步骤，但是这些实施例中的任一个可以包括本领域的技术人员会理解的在本文中的任何地方描述或显示的任何元件、部件、特征、功能、操作或步骤的任何组合或排列。而且，只要适合于、被设置为、能够、配置为、启用、可用于或者有效地执行一个特定的功能的设备、系统、或设备或系统的元件这样适合、设置、能干、配置、启用、可用或者有效，就无论是否激活、打开或开启该设备、系统、元件或该特定的功能，在所附权利要求中引用该设备、或系统、或元件都包括该设备、系统、元件。此外，尽管本公开将具体实施例描述或示出为提供特定优点，但是具体实施例可以不提供这些优点，提供某些或全部这些优点。

标题	发布/更新时间	阅读量
一种三维数字化图像采集方法	2020-05-12	373
文稿编辑工具中元素层级的管理方法及装置	2020-05-12	268
对注视点渲染系统中的粒子和模拟模型的优化的延迟照明和中心凹调适	2020-05-13	444
一种基于多层关联网络的时空数据沉浸式可视分析方法	2020-05-12	221
追踪数据上的光谱响应合成	2020-05-12	842
一种沉浸式cave影像制作方法	2020-05-13	949
浅景深渲染中语义分割的稳健用途	2020-05-14	874
眼睛跟踪校准技术	2020-05-12	25
视觉辐辏确定	2020-05-13	853
在地面操作期间用于情境警报的系统和方法	2020-05-13	579

视觉辐辏确定

视觉辐辏确定

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：