技术领域
[0001] 本披露内容总体上涉及确定用于
虚拟现实(VR)、
增强现实(AR)、
混合现实(MR)或其他扩展现实(XR)的头戴式装置在用户上的位置。本披露内容还涉及相应的系统和存储介质。
背景技术
[0002] 如果头戴式装置(例如，虚拟现实(VR)头戴式装置、增强现实(AR)头戴式装置、混合现实(MR)头戴式装置或其他版本的扩展现实(XR)头戴式装置)未正确安装在用户头部，则头戴式装置的性能可能会受到负面影响。此外，即使头戴式装置最初已经被正确
定位，头戴式装置在使用期间也可能例如由于用户的头部移动或旋转时的滑移而被重新定位。
[0003] 因为头戴式装置的透镜或其他光学设备通常针对相对于用户眼睛的特定位置进行优化，所以未正确佩戴头戴式装置的用户可能会经历导致较差视觉体验的问题。例如，如果头戴式装置被适配成向用户提供三维(3D)体验，则在头戴式装置未正确定位在用户头部上时，这种3D体验可能会失真。由头戴式装置提供的VR或MR体验可能例如变得不太逼真，或者由AR或MR头戴式装置显示的虚拟对象可能无法像它们本来能够的那样适应真实的环境。在头戴式装置的屏幕上向用户显示的任何图像可能进一步被体验为模糊的。
[0004] 如果头戴式装置配备有眼睛
跟踪或注视跟踪功能，则在头戴式装置未正确定位在用户头部上时，这种功能的性能也可能受到负面影响，因为眼睛跟踪器或注视跟踪器将不能看到/检测用户的眼睛，并且因此任何跟踪
信号的
质量都将较差。
[0005] 需要为已确定问题中的一个或多个提供解决方案。
发明内容
[0006] 提供了具有在独立
权利要求中定义的特征的方法、系统和计算机可读存储介质，用于解决或至少改善认定的问题中的一个或多个问题。
从属权利要求中定义了优选
实施例。
[0007] 具体而言，本文呈现的实施例旨在为用户实现优化的视觉体验，并且旨在能够实现眼睛跟踪或注视跟踪的执行的最佳可能先决条件。
[0008] 这些目的是通过提供用于识别头戴式装置是否正确定位在用户头部的解决方案来实现的。根据一些实施例，如果头戴式装置未正确定位，则本文提供的解决方案甚至更进一步通过以下操作来对此进行一些处理：例如让用户和/或系统知道该问题；指导用户如何重新定位头戴式装置；和/或提供自动重新定位。
[0009] 在第一方面，提供了一种用于确定用于扩展现实(XR)的头戴式装置是否正确定位在用户上的方法的实施例，该方法包括使用处理
电路系统通过以下操作来执行眼睛跟踪：基于该用户的第一眼睛的第一图像来估计该第一眼睛的瞳孔的位置。该方法进一步包括使用该处理电路系统通过确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内来确定该头戴式装置是否正确定位在该用户上。如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域内，则该方法包括断定该头戴式装置正确定位在该用户上。或者，如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域之外，则该方法包括断定该头戴式装置未正确定位在该用户上。
[0010] 根据第二方面，提供了一种用于确定用于扩展现实(XR)的头戴式装置是否未正确定位在用户上的系统的实施例，该系统包括处理电路系统，该处理电路系统被配置成通过基于该用户的第一眼睛的第一图像估计该第一眼睛的瞳孔的位置来执行眼睛跟踪。该处理电路系统进一步被配置成通过确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内来确定该头戴式装置是否正确定位在该用户上。如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域内，则该处理电路系统被配置成断定该头戴式装置正确定位在该用户上。如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域之外，则该处理电路系统被配置成断定该头戴式装置未正确定位在该用户上。
[0011] 在第三方面，提供了一种存储指令的非暂态计算机可读存储介质，该指令在由系统的处理电路系统执行时，使该系统：通过基于该用户的第一眼睛的图像估计该第一眼睛的瞳孔的位置来执行眼睛跟踪；并且通过以下操作确定该头戴式装置是否正确定位在该用户上：确定该第一眼睛的瞳孔的该估计位置是否在该第一图像中的预定容许区域内；以及如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域内，则断定该头戴式装置正确定位在该用户上；或者如果该第一眼睛的瞳孔的所确定的位置在该第一图像的该预定容许区域之外，则断定该头戴式装置未正确定位在该用户上。
[0012] 在本披露内容中针对根据第一方面的方法的实施例呈现的效果和/或优点也可以应用于根据第三方面的非暂态计算机可读存储介质的相应实施例。
[0013] 应注意，本披露内容中的实施例涉及权利要求中记载的特征的所有可能的组合。
附图说明
[0014] 在下文中，将参考附图更详细地描述示例实施例，在附图中：
[0015] 图1a是眼睛的正视图；
[0016] 图1b示出了图1a的眼睛的图像；
[0017] 图1c示出了图1a的眼睛的图像；
[0018] 图2是根据一个或多个实施例的系统的示意性概览图；
[0019] 图3a是根据一个或多个实施例的用于确定用于扩展现实(XR)的头戴式装置是否正确定位在用户上的方法的
流程图；
[0020] 图3b至图3e是示出图3a的方法的实施例的流程图；
[0021] 图4是从眼睛一侧观察图1a中的眼睛而得到的截面视图；
[0022] 图5示出了图1a的眼睛的第一图像和第二眼睛的第二图像；
[0023] 图6示出了头戴式装置的用户的一对眼睛和头戴式装置的示意图；
[0024] 图7a示出了根据一个或多个实施例的眼睛和头戴式装置的示意图；以及[0025] 图7b示出了眼睛和眼睛注视所指向的图像的示意图。
[0026] 所有附图都是示意性的，不一定按比例绘制，并且通常仅示出为了阐明各个实施例所必需的部分，而其他部分可以被省略或仅被提出。除非另有指示，否则出现在多个附图中的任何附图标记在所有附图中指代相同的对象或特征。
具体实施方式
[0027] 引言
[0028] 本披露内容的实施例旨在确定用户是否正确佩戴了头戴式装置。本文的一些实施例进一步包括在确定头戴式装置未正确定位在用户上后，执行位置校正过程。该位置校正过程可以包括向用户或系统或两者通知所确定的头戴式装置的不正确定位，和/或在适用的情况下执行自动位置校正。
[0029] 所谓头戴式装置在用户上的正确位置，是指头戴式装置定位于用户的头部上，使得被布置成使用户能够体验VR、AR、MR或其他XR内容以及使得用户能够看到周围事物的任何图像和/或看到真实世界周围事物的头戴式装置的光学器件相对于用户
视野被最佳定位。当然，最佳定位应理解为处于最佳位置，或者处于不是最佳位置而是在最佳位置的可容许公差内的位置。这导致用户的注视指向由头戴式装置呈现的图像的中心，或者可容许地接近中心的位置。
[0030] 为了获得头戴式装置在用户上的正确位置，考虑了两个不同的方面。
[0031] 1.用户的眼睛之间的距离与头戴式装置的透镜杯之间的距离的差是否很大？换言之，透镜杯距离是否需要调整？
[0032] 以及
[0033] 2.用户的视野(FOV)是否未与头戴式装置的光学器件对准？如果对于用户的一只或两只眼睛，这些问题中的一个或两个的答案为是，则可以断定头戴式装置未正确定位在用户上。
[0034] 本文中结合附图描述的实施例给出了关于如何找到上述问题中的一个或两个问题的可靠答案的解决方案。具体而言，结合图3d和图3e呈现的方法(以及相应的系统和非暂态计算机可读介质)的实施例旨在找到问题1的可靠答案，而结合图3b和图3c呈现的方法(以及相应的系统和非暂态计算机可读介质)的实施例旨在找到问题2的可靠答案。如本文所解释的，可以设想到方法实施例的组合。该组合可能意味着更好地解决这些问题中的一个问题或者解决两个问题的可能性，从而实现对头戴式装置是否正确定位在用户上的问题的改进的答案。
[0035] 通过确保头戴式装置正确定位在用户上，我们确保向用户显示的任何图像内容都将具有最高可能的质量。同时，在头戴式装置中或者在根据本文呈现的实施例的系统中具有眼睛跟踪功能的任何相机
传感器也将能够获得用户眼睛的优化图像，因为对于每只眼睛，当用户“直视”时，用户的注视将指向或者充分靠近描绘眼睛的图像的中心。换言之，用户的FOV将与头戴式装置的光学器件的最佳位置(即“最有效点”)对准。
[0036] 本文的实施例涉及用于虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其他扩展现实(XR)应用的头戴式装置。换言之，在本披露内容中，至少称为VR、AR和MR的技术被包括在概念XR中。
[0037] 贯穿本披露内容，术语头戴式装置是指适配成佩戴在用户头部的装置。头戴式装置可以包括显示光学器件。显示光学器件应被理解为包括适合于生成和/或显示可以呈现给头戴式装置的用户/佩戴者以传达VR、AR、MR或其他XR体验的2D图像数据、3D图像数据、图形数据、全息数据或其他内容的任何光学器件。除了实际的显示光学器件之外，头戴式装置通常还包括其他部件。这种其他部件可以例如包括用于给头戴式装置供电的电路、用于检测头戴式装置的运动的传感器、眼睛或注视跟踪设备、或者用于保护头戴式装置的部件的
外壳。换言之，术语头戴式装置可以但不一定被解释为仅指代旨在布置在用户的一只眼睛前方或用户双眼前方的实际显示光学器件。
[0038] 本文使用的术语眼睛跟踪可以被理解为包括：在现实世界中、在眼睛的3D模型中、在描绘眼睛的2D图像中跟踪或观察眼睛的实际部分；或者确定眼睛正在跟踪或注视的对象。确定眼睛正在跟踪或注视的对象也可以称为注视跟踪。
[0039] 本文关于用户的一只眼睛(例如第一眼睛)描述的任何实施例当然同样适用于用户的任何一只眼睛，并且也可以对用户的双眼并行地或连续地执行。
[0040] 贯穿本披露内容，术语获取信息可以被理解为以推送方式接收信息和/或以拉取方式检索信息。
[0041] 下文将参考图1a至图7b描述头戴式装置位置确定方法、头戴式装置位置确定系统和相关联的存储介质。首先，将参考图1a和图4描述眼睛的某些特征。
[0042] 图1a是眼睛100的正视图。图4是从眼睛100一侧看而获取的眼睛100的截面视图。虽然图4或多或少示出了整个眼睛100，但是图1a中呈现的正视图仅示出了眼睛100的通常在人的面部的前方的位置处可见的那些部分。眼睛100具有
角膜101和瞳孔102，该瞳孔具有瞳孔中心103和瞳孔边缘104。
[0043] 系统架构
[0044] 图2是根据一个或多个实施例的系统200的示意性概览图，该系统用于确定用于扩展现实(XR)的头戴式装置260是否未正确定位在用户270上。系统200包括处理电路系统210，该处理电路系统210被配置成执行眼睛跟踪以估计用户270的第一眼睛100的一部分的位置，并且被配置成基于第一眼睛100的该一部分的估计位置来确定头戴式装置260是否正确地定位在用户270上。系统200可以进一步包括或通信地连接至显示器720。
[0045] 在一些非限制性实施例中，处理电路系统210可以包括或通信地连接至眼睛跟踪设备220，该眼睛跟踪设备220例如以在眼睛100看/注视显示器720时用于照亮用户270的眼睛100的一个或多个照明器和用于捕捉眼睛100的图像的一个或多个相机为形式，或者是本领域已知的任何其他合适的眼睛跟踪设备。处理电路系统210可以例如经由有线或无线连接而通信地连接至眼睛跟踪设备220。照明器可以例如为红外或
近红外照明器，例如以发光
二极管(LED)为形式。然而，也可以设想其他类型的照明器。相机可以例如为电荷耦合装置(CCD)相机或互补金属
氧化物
半导体(CMOS)相机。然而，也可以设想其他类型的相机。
[0046] 显示器720可以例如是
液晶显示器(LCD)或LED显示器。然而，也可以设想其他类型的显示器。显示器可以例如是平的或弯曲的。显示器720可以例如放置在用户的一只眼睛前方。不同的显示器720可以用于左眼和右眼。不同的眼睛跟踪设备220(如照明器和相机)可以例如用于左眼和右眼。
[0047] 处理电路系统210可以用于双眼的眼睛跟踪，或者可以存在用于左眼和右眼的不同的处理电路系统210。系统200可以例如执行眼睛跟踪以针对左眼和右眼分别估计眼睛的一部分的位置，并且然后可以基于双眼的该部分的估计位置来确定头戴式装置260是否正确定位在用户270上。在非限制性示例中，如果处理电路系统210已经确定头戴式装置260对于用户的至少一只眼睛未正确定位在用户270上，则处理电路系统210可以被配置成确定头戴式装置260未正确定位在用户270上。
[0048] 处理电路系统210可以例如包括一个或多个处理器。(一个或多个)处理器可以例如是被配置成执行特定眼睛跟踪和位置确定方法的
专用集成电路(ASIC)。替代性地，(一个或多个)处理器可以被配置成执行存储在一个或多个
存储器240中的指令(例如，以
计算机程序为形式)。这种存储器240可以例如包括在系统200中，或者可以处于系统200的外部(例如，远离该系统200)。存储器240可以存储用于使系统200执行根据结合图3a至图3e呈现的实施例中的任意实施例的方法的指令。
[0049] 在一个或多个实施例中，处理电路系统210可以被配置成执行结合图3a至图3e描述的方法实施例中的任意或所有方法实施例。
[0050] 应当理解，上面参考图2描述的系统200被提供为示例，并且可以设想许多其他系统。例如，系统200可以仅由处理电路系统210组成。显示器720可以例如包括在系统200中，或者可以被视为与系统200分离。
[0051] 由如图2中的系统200等系统执行的眼睛跟踪通常采用眼睛模型。该眼睛模型根据单个用户的眼睛的特性来校准。
[0052] 在图2中，佩戴头戴式装置260的用户270示意性地展示在系统200旁边。根据本文呈现的任何实施例的系统200可以被并入或通信地连接至这种头戴式装置260。
[0053] 方法实施例
[0054] 在下文中，将结合图3a至图7b描述方法实施例。
[0055] 图3a示出了用于确定用于扩展现实(XR)的头戴式装置260是否正确定位在用户270上的方法的实施例，该方法包括：
[0056] 在步骤310中：使用处理电路系统210执行眼睛跟踪，以估计用户270的第一眼睛100的一部分的位置。
[0057] 在步骤320中：使用处理电路系统210基于第一眼睛100的一部分的估计位置确定头戴式装置260是否正确定位在用户270上。
[0058] 在可选步骤330中：如果确定头戴式装置260未正确定位在用户270上，则执行位置校正过程。
[0059] 在本披露内容中，执行位置校正过程可以包括以下各项的任一项或全部：
[0060] -如果已经确定透镜杯距离d透镜_杯太小或太大，则执行透镜杯距离d透镜_杯的机动位置校正；
[0061] -向系统200或用户270通知头戴式装置260的所确定的不正确定位；或
[0062] -激活定位引导，该定位引导提供关于手动校正该头戴式装置260的位置所要采取的步骤的引导。
[0063] 激活定位引导可以包括向用户270显示、呈现或以其他方式传达重新定位信息或要采取的步骤。重新定位信息或要采取的步骤被配置成引导并由此使用户270能够改善头戴式装置260的位置。
[0064] 现在将结合图3b至图3e呈现图3a中所示方法的不同实施例。
[0065] 在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310和/或使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以包括图3b中结合图1b和图1c示出的子步骤。在这些实施例中，该方法包括：
[0066] 在步骤311中：基于用户270的第一眼睛100的第一图像110，估计第一眼睛100的瞳孔102在二维中的位置。
[0067] 瞳孔102的位置可以被定义为根据任何合适的
坐标系描述的二维(2D)或三维(3D)坐标。出于步骤310的目的，第一图像110通常为2D图像，由此瞳孔102的位置被定义在2D中。例如，瞳孔102的位置可以根据相对于第一图像110和/或用于捕捉第一图像110的相机定义的坐标系(例如图5中展示的坐标系530)被定义为2D坐标。替代性地，瞳孔102的位置可以被定义为包括在如第一图像110中描绘的瞳孔的区域内的两个或更多个2D坐标的组。
[0068] 在一些实施例中，该方法可以包括通过从并入系统200中或在该系统200外部的存储器或相机(图中未示出)接收或检索第一图像110来获得图像110。
[0069] 在一些实施例中，在步骤310中，瞳孔102的位置可以近似为瞳孔中心103的位置。在一些实施例中，在步骤310的中，瞳孔102的位置可以从位于瞳孔边缘104上的一个或多个坐标导出。在一些实施例中，在步骤310中，瞳孔102的位置可以近似为虹膜(图中未示出)的中心的位置。
[0070] 在步骤321中：确定第一眼睛100的瞳孔102的估计位置是否在第一图像110中的预定容许区域120内。
[0071] 如图1b和图1c中所展示的，与第一图像110相比，预定容许区域120通常至少在x方向或y方向上较小。
[0072] 如果第一眼睛100的瞳孔102的所确定的位置在第一图像110的预定容许区域120内，则该方法在步骤322中继续。
[0073] 如果第一眼睛100的瞳孔102的所确定的位置在第一图像110的预定容许区域120之外，则该方法在步骤323中继续。
[0074] 如果第一眼睛100的瞳孔102的所确定的位置被定义为单个2D坐标，则第一眼睛100的瞳孔102的位置位于第一图像110的预定容许区域120之外将被理解为该坐标位于区域120之外。
[0075] 如果第一眼睛100的瞳孔102的所确定的位置被定义为包括在如第一图像110中所描绘的瞳孔102的区域内的一组两个或更多个2D坐标，则第一眼睛100的瞳孔102的位置在第一图像110的预定容许区域120之外将被理解为该组坐标的一部分或全部位于区域120之外。
[0076] 在步骤322中：断定头戴式装置260正确定位在用户270上。
[0077] 在步骤323中：断定头戴式装置260未正确定位在用户270上。
[0078] 可选地，根据一个或多个实施例，重复执行图3的方法，当步骤320完成时，则从步骤310再次开始。此选项由图3中的虚线箭头展示。根据一个或多个其他实施例，图3的方法也可以仅执行一次、以特定的预设时间间隔执行、或者根据系统设置中
指定的其他规则执行。
[0079] 在一些实施例中，使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以进一步包括以下子步骤：获得第一眼睛100的注视角β，并将获得的注视角β与预设注视角
阈值TGA进行比较。如果获得的注视角β低于预设注视角阈值TGA，则该方法继续进行执行眼睛跟踪和确定头戴式装置260是否正确定位在用户270上的步骤310和步骤320。如果获得的注视角β不低于预设注视角阈值TGA，则该方法可以通过重复以下子步骤来继续：获得第一眼睛100的注视角β，并将获得的注视角β与预设注视角阈值TGA进行比较。
可以为用户270的第一眼睛100和第二眼睛600分别执行获得注视角β。
[0080] 现在参考图7a和图7b，注视角β可以被定义为头戴式装置260的光学轴线710与用户270的第一眼睛100的注视方向130之间的角度，其中，头戴式装置260的光学轴线710被定义为穿过第一眼睛100的焦点740和头戴式装置260的内部坐标系630中的坐标原点的向量，并且其中，用户270的第一眼睛100的注视方向130被定义为穿过第一眼睛100的焦点740和第一眼睛100在显示器720处的注视点750的向量。焦点740也可以被称为注视原点，并且通常是指眼睛100的中心、眼睛100的眼球中心或眼睛100的角膜101的中心。内部坐标系例如可以是坐标系630，其在图6、图7a和图7b中以不同视角展示。
[0081] 换言之，该方法可以包括一次地或反复地获得用户的眼睛的注视角β，并将其与预设阈值进行比较。如果注视角β低于预设注视角阈值TGA，则这意味着用户270的注视，或者具体地说，用户270的第一眼睛100的注视，指向头戴式装置260的显示器720上显示的图像的中心730，或者指向图像中离中心730在预设容许公差内的点。相反地，如果注视角β不低于预设注视角阈值TGA，则用户270的注视，或者具体地说，用户270的第一眼睛100的注视，指向离图像的中心730太远的点。如果是这种情况，例如，如果用户270正看着显示器720的右上角而不是直视前方(直视前方也可以被称为直视或向前看)，则不需要执行步骤310和步骤320，因为如果用户270没有沿头戴式装置260的光学轴线710的方向直视前方，或者至少注视方向没有靠近该方向，则结果将是不可靠的。如图7a所示，头戴式装置260的光学轴线710可以沿着头戴式装置260的内部坐标系630的z轴线延伸，由此在注视头戴式装置260的显示器720的用户看来，光学轴线710总是向前延伸。因此，检查注视角β并将其与预设注视角阈值TGA进行比较可以进一步提高本文呈现的一个或多个实施例的性能和可靠性。在一些实施例中，可以为用户270的每眼睛定义光学轴线710，因此也可以定义内部坐标系630，其中每个光学轴线710从一只眼睛延伸向布置成由所述眼睛观看的显示器720。例如，第一
头戴式显示器和第二头戴式显示器可分别布置在包括于头戴式装置260中的第一透镜杯610和第二透镜杯620中，或连接到该第一透镜杯610和该第二透镜杯620。图6中示意性地展示了包括在头戴式装置260中的这种透镜杯610、620的示例。
[0082] 根据结合步骤310和步骤320描述的任何实施例的方法(可选地包括一个或多个子步骤)可以分别针对用户270的第一眼睛100和第二眼睛600执行，并且如果对于第一眼睛和第二眼睛中的至少一只眼睛来说头戴式装置260未正确定位在用户270上，则可以断定头戴式装置260未正确定位在用户270上。
[0083] 在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310可以包括图3c中所示的子步骤。在这些实施例中，该方法包括：
[0084] 在步骤312中：获得第一眼睛100的眼睛旋转中心105，其中，该眼睛旋转中心105定义第一眼睛100的所有注视方向在第一眼睛100的角膜101后面会聚的点。
[0085] 在一些实施例中，获得第一眼睛100的眼睛旋转中心105可能意味着从存储器240检索或接收先前确定的眼睛旋转中心。
[0086] 在其他实施例中，获得第一眼睛100的眼睛旋转中心105可以理解为由系统200的处理电路系统210通过以下方式确定眼睛旋转中心105：对于用户270的第一眼睛100的一组多个图像中的每个图像，估计角膜101的位置或角膜101的中心的位置，以及第一眼睛100的注视方向130；以及将眼睛旋转中心105估计为所有注视方向130在第一眼睛100的角膜101后面会聚的点。
[0087] 在一个或多个实施例中，估计角膜101的位置或角膜101的中心的位置、确定注视方向130和估计眼睛旋转中心105可分别针对用户270的第一眼睛100和第二眼睛600两者执行。
[0088] 可以使用本领域已知的任何合适的眼睛跟踪方法来执行眼睛旋转中心105的确定，例如，瞳孔中心角膜反射(PCCR)、眼角到瞳孔、
机器学习模型等。
[0089] 在步骤313中：对于给定的注视方向130，基于获得的眼睛旋转中心105估计第一眼睛100的瞳孔102在三维中的位置。
[0090] 在步骤314中：基于第一眼睛100的瞳孔102在三维中的估计位置，估计第一眼睛100的瞳孔102在二维中的位置。
[0091] 在图3c的方法的一个或多个实施例中，步骤314的估计第一眼睛100的瞳孔102在二维中的位置是仅基于第一眼睛100的瞳孔102在三维中的估计位置的。替代性地，步骤314的估计第一眼睛100的瞳孔102在二维中的位置进一步基于第一眼睛100的瞳孔102在三维中的估计位置。换言之，可以组合图3b和图3c中所示的方法实施例。在一些实施例中，该方法可以包括基于眼睛旋转中心105的已估计半径来确定在注视方向130是正前方，或者换言之，与头戴式装置260的光学轴线710对准时，第一眼睛100的瞳孔102将被定位的位置。因此，对于任何已知的注视角β，包括在本文中被认为是非常大的注视角β，我们可以调整2D图像中由于注视角β而产生的瞳孔移动。换言之，该方法可以包括基于眼睛旋转中心105和获得的注视角β来调整描绘第一眼睛100的2D图像中的瞳孔移动。进一步地，由于我们始终可以估计在注视方向130是正前方或者与头戴式装置260的光学轴线710对准时瞳孔102将被定位的位置，因此我们可以针对正前方的注视方向的估计而减小预定容许区域120。换言之，该方法可以包括在注视方向130与头戴式装置260的光学轴线710对准或在其预设容许公差范围内时减小预定容许区域120。
[0092] 结合图3c呈现的方法步骤310的实施例可以与本文呈现的方法步骤320的实施例中的任意或所有实施例组合。
[0093] 在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310和/或使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以包括图3d中所示的子步骤。在这些实施例中，该方法包括：
[0094] 在步骤315中：通过基于用户270的第二眼睛的第二图像510估计第二眼睛的瞳孔602在2D中的位置来执行眼睛跟踪。
[0095] 图5示出了这种第二图像510的示例，其至少以第二眼睛的瞳孔602的正视图示出了瞳孔中心603和瞳孔边缘604。
[0096] 在一个或多个实施例中，根据公共坐标系来分别定义第一眼睛和第二眼睛的瞳孔102、602的位置的每一个。图5展示了2D中这种公共坐标系530的非限制性示例，其相对于第一图像110和/或第二图像510和/或相对于用于捕获第一图像110和/或第二图像510的相机定义。瞳孔602的位置可以根据公共坐标系定义为2D坐标。替代性地，可以将瞳孔602的位置定义为包括在如第二图像510中描绘的瞳孔602的区域内的两个或更多个2D坐标的组。
[0097] 在一些实施例中，步骤315可以包括通过从并入系统200或在该系统200外部的存储器240或相机(图中未示出)接收或检索第二图像510来获得第二图像510。
[0098] 在一些实施例中，第一眼睛的瞳孔102和第二眼睛的瞳孔602的位置可以分别近似为第一瞳孔102的中心103和第二瞳孔602的中心603的位置。在其他实施例中，第一眼睛的瞳孔102和第二眼睛的瞳孔602的位置可以分别从位于第一瞳孔102的瞳孔边缘104和第二瞳孔602的瞳孔边缘604上的一个或多个坐标得出。在一些实施例中，第一眼睛100的瞳孔102和第二眼睛600的瞳孔602的位置可以分别近似为第一瞳孔102的虹膜的中心和第二瞳孔602的虹膜的中心的位置。
[0099] 在步骤316中：将眼间距d眼睛确定为第一眼睛100的瞳孔102的位置与第二眼睛的瞳孔602的位置之间的差。
[0100] 在步骤324中：确定所确定的眼间距d眼睛的绝对值是否高于预设眼间隔阈值T眼睛。
[0101] 如果所确定的眼间距d眼睛的绝对值高于预设眼间隔阈值T眼睛，则该方法在步骤325中继续。
[0102] 如果所确定的眼间距d眼睛的绝对值不高于预设眼间隔阈值T眼睛，则该方法在步骤326中继续。
[0103] 在一些实施例中，可以在一维中将眼间距d眼睛确定为例如示例坐标系530的x方向上的距离。在其他实施例中，可以在二维中将眼间距d眼睛确定为例如示例坐标系530的x方向和y方向上的距离。
[0104] 在步骤325中：断定头戴式装置260未正确定位在用户270上。
[0105] 换言之，步骤325断定用户270的眼睛之间的距离与透镜杯610、620之间的距离之间的差超过预设阈值T眼睛，其中，T眼睛定义当该差太大而使得系统200无法为用户270提供可接受的视觉体验的极限。换言之，如果超过T眼睛，则需要调整透镜杯距离d透镜_杯，因为透镜杯610、620不与用户的眼睛和FOV对准。
[0106] 在步骤326中：断定头戴式装置260正确定位在用户270上。
[0107] 结合图3d描述的实施例步骤315、316和324到326可以与本文呈现的方法步骤310和/或320的任意或所有其他实施例组合。因此，可以获得确定头戴式装置260是否正确定位在用户270上的替代的且可能的进一步改进的方式。
[0108] 在一些实施例中，使用处理电路系统210执行眼睛跟踪的步骤310和/或使用处理电路系统210确定头戴式装置260是否正确定位在用户270上的步骤320可以包括图3e中所示的子步骤。在这些实施例中，该方法包括：
[0109] 在步骤317中：在3D中将透镜杯间距d透镜_杯估计为头戴式装置260的第一透镜杯610的中心611的位置与头戴式装置260的第二透镜杯620的中心621的位置之间的差。
[0110] 头戴式装置260的第一透镜杯610的中心611的位置和头戴式装置260的第二透镜杯620的中心621的位置可以以任何合适的方式获得，例如通过从存储器240或其他处理电路系统210接收或检索，或在使用头戴式装置260期间计算。
[0111] 在步骤318中：通过在3D中将眼间距d眼睛估计为用户270的第一眼睛100的瞳孔102的位置与用户270的第二眼睛600的瞳孔602的位置之间的差来执行眼睛跟踪。
[0112] 第一透镜杯610的中心611和第二透镜杯620的中心621的位置以及用户270的第一眼睛100的瞳孔102和第二眼睛600的瞳孔602中的每个瞳孔的位置中的每个位置可以分别根据公共坐标系(例如，坐标系630)来定义。
[0113] 替代性地，代替使用瞳孔位置，步骤318可以包括分别使
用例如第一眼睛和第二眼睛的瞳孔中心103、瞳孔中心603、角膜中心、虹膜中心或眼球中心来估计眼睛间隔。
[0114] 应当理解，步骤317和步骤318可以以任何顺序、相继或并行地执行。
[0115] 在步骤319中：计算透镜杯间距d透镜_杯与眼间距d眼睛之间的差d差。
[0116] 在一个或多个实施例中，差d差在3D中定义和计算。
[0117] 在步骤327中：确定透镜杯间距d透镜_杯与眼间距d眼睛之间的所计算的差d差是否高于预设差阈值T差。
[0118] 如果所确定的眼间距d眼睛的绝对值高于预设眼间隔阈值T眼睛，则该方法在步骤328中继续。
[0119] 如果所确定的眼间距d眼睛的绝对值不高于预设眼间隔阈值T眼睛，则该方法在步骤329中继续。
[0120] 在步骤328中：断定头戴式装置260未正确定位在用户270上。
[0121] 换言之，步骤328包括断定用户270的眼睛之间的距离与透镜杯610、620之间的距离之间的差超过预设阈值T眼睛，其中，T眼睛定义当该差太大而使得系统200无法为用户270提供可接受的视觉体验的极限。换言之，如果超过T眼睛，则需要调整透镜杯距离d透镜_杯，因为透镜杯610、620不与用户的眼睛和FOV对准。
[0122] 在步骤329中：断定头戴式装置260正确定位在用户270上。
[0123] 结合图3e描述的实施例步骤317-319和327-329可以与本文呈现的方法步骤310和/或320的任意或所有其他实施例组合。因此，可以获得确定头戴式装置260是否正确定位在用户270上的替代的且可能的进一步改进的方式。
[0124] 进一步实施例
[0125] 在一个或多个实施例中，提供了一种存储指令的非暂态计算机可读存储介质，该指令在由系统200的处理电路系统210执行时，使系统200执行本文所述的任意实施例的方法。该非暂态计算机可读存储介质可以存储指令，该指令在由系统200的处理电路系统210执行时，使系统200通过以下操作执行眼睛跟踪：基于用户的第一眼睛100的图像估计第一眼睛100的瞳孔102的位置；并且通过以下方式确定头戴式装置260是否正确地定位在用户270上：确定第一眼睛100的瞳孔102的估计位置是否在第一图像110中的预定容许区域120内；并且如果第一眼睛100的瞳孔102的所确定的位置在第一图像110的预定容许区域120内：则断定头戴式装置260正确定位在用户上，或者如果第一眼睛100的瞳孔102的所确定的位置在该第一图像110的预定容许区域120之外：则断定头戴式装置260未正确定位在用户
270上。在一些实施例中，非暂态计算机可读存储介质可以进一步存储指令，该指令在由系统200的处理电路系统210执行时，使系统200在确定头戴式装置260未正确定位在用户270上时执行位置校正过程。
[0126] 在一些实施例中，非暂态计算机可读存储介质可以存储指令，该指令在由系统200的处理电路系统210执行时，使系统200执行如本文(换言之，在权利要求、发明内容或具体实施方式中)披露的方法中的任何方法定义的方法。
[0127] 例如，可以在计算机程序产品中提供该非暂态计算机可读存储介质。换言之，计算机程序产品可以例如包括存储指令的非暂态计算机可读存储介质，该指令在由系统200的处理电路系统210执行时，使系统200执行如任何方法实施例中所定义的方法。
[0128] 如在上文参照图2所述的，存储介质不必一定包括在系统200中。
[0129] 本领域技术人员应认识到，本发明决不限于上述优选实施例。相反，在所附权利要求的范围内可以进行许多
修改和变化。例如，如本文所解释的，上文中参考图3a至图7b描述的实施例可以组合以形成进一步实施例。此外，应当理解，图2中所示的系统200仅仅旨作为示例，并且其他系统也可以执行上文中参照图3a至图3e描述的方法。
[0130] 应当理解，处理电路系统210(或处理器)可以包括以下各项中的一个或多个的组合：
微处理器、
控制器、
微控制器、中央处理单元、
数字信号处理器、专用集成电路、现场可编程
门阵列、或任何其他合适的计算装置、资源、或可操作用于单独地或与其他计算机部件(如存储器或存储介质)结合地提供计算机功能的
硬件、
软件和/或编码逻辑的组合。
[0131] 还应理解，存储器或存储介质(或计算机可读介质)可以包括任何形式的易失性或非易失性计算机可读存储器，包括但不限于持久存储器、固态存储器、远程安装存储器、
磁性介质、光学介质、
随机存取存储器(RAM)、
只读存储器(ROM)、
大容量存储介质(例如，
硬盘)、可移除存储介质(例如，闪存
驱动器、致密盘(CD)或数字视频磁盘(DVD))和/或任何其他易失性或非易失性、非暂态装置可读和/或计算机可执行存储装置，这些存储装置存储处理器或处理电路系统能够使用的信息、数据和/或指令。
[0132] 另外地，在实践所要求保护的发明时，本领域的技术人员可以通过研究附图、披露内容以及所附权利要求书来理解和实现所披露实施例的变体。在权利要求中，词语“包括”不排除其他要素或步骤，并且不定冠词“一个”或“一种”(“a”或“an”)并不排除多个。在权利要求中，词语“或者(or)”不应解释为异或性(有时被称为“XOR”)。相反，“A或B”等表达涵盖了所有情况“A而非B”、“B而非A”以及“A和B”，除非另有说明。在彼此不同的从属权利要求中记载的某些措施/方法的事实并不表明这些措施/方法的组合不能被有利地使用。权利要求中的任何附图标记不应被理解为对范围进行限制。
