头戴式系统以及使用头戴式系统计算和渲染数字图像流的
方法
技术领域
[0001] 本
发明涉及一种包括双眼追踪系统的头戴式系统，该双眼追踪系统包括设置为用于捕获使用者的左眼的至少一个第一
照相机、设置为用于捕获使用者的右眼的第二照相机。该头戴式系统还包括
头戴式显示器，该头戴式显示器包括用于给使用者的左眼展示图像的第一显示装置和用于给使用者的右眼展示图像的第二显示装置。该头戴式系统还包括处理单元，该处理单元被设计为处理来自眼睛追踪系统的图像并且至少计算左眼和右眼的3D
位置和左眼和右眼的定向向量。处理单元还被设计为计算和渲染将通过头戴式显示器方式被投影至使用者的左眼和右眼上的数字图像流。本发明还涉及一种使用这样的头戴式系统计算和渲染数字图像流的方法。
背景技术
[0002] 这样的头戴式系统被用于作眼睛追踪、眼睛运动学、
生物统计学以及位置和运动测量，以在自由范围的运动设置中尽可能完全地测量和分类人类行为。
[0003] US 2012/0179369描述了一种使用头戴式装置(HMD)并且包括处理器的个人导航装置。其使用头部方向和便携式坐标
定位传感器(GPS)。US 8,004,765描述了一种光学装置，该光学装置具有第一光线传输基片、具有至少两个主表面的透明层，在该主表面处，光波通过全内反射传输。US 7,672,055描述了一种光学装置，该光学装置包括光线传输基片，该光学传输基片具有彼此平行且平行于边缘的至少两个主表面、用于耦合通过内反射位于进入所述基片的视场中的光波的第一光学元件、和用于耦合在所述基片外的所述被捕获的光波的第二光学元件，其中所述主表面的至少一个涂覆有
角度敏感涂层。从US2010/0171680已知两个单元的光电系统，包括HMD和分离控制单元，其通过窄频带无线信道通信。US 8,189,263描述了一种用于HMD的光学设备，包括
波导、耦合输入镜的一维数组和耦合输出镜的二维数字。US 6,433,760描述了整合头戴式显示器和眼睛追踪装置的装置。它提出了一种非常具体的眼睛追踪技术，该眼睛追踪技术使用四个
光源以产生四个闪光、眼睛追踪器和通过使用分光器共享相同的光路的HMD投影机构。US 4,958,925教导了使用一对
正交的光线发射元件和光线检测元件的眼睛
运动检测。US 5,331,149描述了显示器与光电探测器阵列的组合。光线发射和光线检测元件位于同一位置并且朝眼睛发射以及从眼睛反射的光线共享相同的光路。该显示器可被头盔式地安装。US 7,783,077教导了用于追踪操作者的眼睛的运动的方法，包括视线记录仪、处理装置、定
制模板，该定制模板与包括形状、尺寸和照度的所述眼睛的至少一部分类似。WO 2011/156195涉及包括被构造为将被穿戴在使用者头上的项目的头戴式显示单元的语音产生装置，该头戴式显示单元包括用于在使用者的视场内显示一个或多个图像的显示装置、用于产生音频输出的扬声器、和通信地连接至头戴式显示单元和扬声器的处理单元。眼睛追踪是可选的并且可仅用作控制语音产生的
光标。US 7,522,344教导了具有眼睛追踪的基于投影的头戴式显示装置。它使用多个光源以照亮眼睛并且产生多边形的多个闪光、明暗的瞳孔交替、镜片以为头戴式显示器路径和眼睛追踪器路径提供光路、定位在眼睛追踪器路径中以反射红外光并且经由
接口传输可见光至外部
控制器的第一和第二热镜。它涉及一个特定的技术方案，在该技术方案中，HMD和眼睛追踪(ET)装置共享相同的光路，用于将图像朝向眼睛投影并且观察眼睛以作眼睛追踪。这个技术使用热镜并且交替离轴(off-axis)/同轴(on-axis)照明以实现明暗瞳孔效果，以便检测。从US 8,235,529已知用于组合HMD和ET的另一种装置。它描述了通过显示平滑移动的对象并且追踪眼睛路径而在“激活的”大功率运行模式与“
锁定的”低功率状态之间切换装置的方法，所述眼睛路径必须大体上跟随移动的对象以“解锁”装置并且切换模式。该匹配通过确定偏移、缩放比例和旋转调整还被用来校正由眼睛追踪器计算的视轨迹的转变。EP 2 499 962 A1涉及一种
护目镜形式的头戴式眼睛追踪装置。它不包括HMD。
[0004] US 8,130,260 B2公开了一种用于3D显示的系统，其包括具有第一和第二接目镜套筒的至少一个接目镜(eye piece)，具有包含在与第一眼睛关联的所述第一接目镜套筒中的第一显示器、被安装以使得第一视线记录仪(eye camera)追踪所述第一眼睛的眼睛参考点和第二视线记录仪追踪第二眼睛的参考点的两个视线记录仪、用于提供所述至少一个接目镜的总体控制的处理器、第二显示器、和主处理器。
信号在所述主处理器和所述至少一个接目镜之间传递，其中所述两个视线记录仪追踪所述参考点，所述接目镜收发器通过所述主收发器传送所述参考点至主处理器。所述主处理器基于所述参考点产生图像数据并且传送所述图像数据至所述显示器以产生3D图像。这个文件已经被用来构成本
申请的独立
权利要求的前序部分。
[0005] US 2010/0322479 A1涉及用于3D目标定位的系统和方法。由此，使用两个或多个摄像机在三维空间中对目标成像。使用立体显示将与两个或多个摄像机中的两个摄像机组合的3D
图像空间显示给使用者。随着使用者在立体视频显示中观察到目标，使用者的右眼和左眼被成像，右眼的右视线和左眼的左视线在3D图像空间中被计算，并且使用双眼追踪器将3D图像空间的注视点计算为右视线和左视线的交叉点。通过使用处理器将3D图像空间中的注视点从两个摄像机的定位和位置转换为3D真实空间中的真实目标定位，确定真实的目标定位。从US 2009/0189974 A1中已知使用眼戴式显示器的系统。该文件教导了安装在眼睛上和/或安装在眼睛内的显示装置。该眼戴式显示器包含多个子显示器，每一个子显示器投影光线至位于与所述子显示器对应的
视网膜的一部分内的不同视网膜位置。投影的光线穿过瞳孔传播但不充满整个瞳孔。以此方式，多个子显示器可以投影它们的光线至视网膜的相关部分上。从瞳孔移动至
角膜，瞳孔在角膜上的投影被称为角膜孔。投影的光线通过小于全部的角膜孔传播。子显示器在角膜表面处使用空间多路法。各种
电子装置接口连接至眼戴式显示器。US 2012/0200676 A1涉及一种混合立体图像/运动
视差系统，该系统使用用于给观察者的每一个眼睛展示不同图像的立体3D视觉技术结合运动视差技术，来调整用于观察者的眼睛的位置的每一个图像。以此方式，随着
视野移动同时观察3D场景，观察者接收立体提示(cue)和视差提示(cue)，其易于对观察者带来更大的视觉舒适性/更小的疲劳。还描述了用于追踪观察者位置的护目镜的使用，其包括训练
计算机视觉算法以识别护目镜而不是仅为头/眼睛。
[0006] 另外的相关
现有技术从下面的出版物中被已知：出版在Proceedings of the SIGCHI conference on Human Factors in Computing Systems in 2000中的、Vildan Tanriverdi 和 Robert J.K.Jacob 的“Interacting with eye movements in virtual environments”，出版在ETRA’00Proceedings of the 2000symposium on Eye tracking research&applications in 2000中的、Andrew T.Duchowsky，Vinay Shivashankaraiah和 Tim Rawls 的“Binocular eye tracking in virtual reality for inspection training”。the Maersk McKinney Moiler Institute of University of Southern Denmark of June 1，2012的Morten Lidegaard的题为“Development of a head mounted device for point-of-gaze estimation in three dimensions”的硕士论文以及出版在Virtual Environments and Advanced Interface Design in 1995中的Robert J.K.Jacob的题为“Eye tracking in advanced interface design”的文章。
发明内容
[0007] 本发明的目的是进一步增强权利要求1的前序部分中所述的头戴式系统的性能。以此相同的方式，本发明的进一步的目的是提供改进的方法，以使用头戴式系统计算和渲染数字图像流。
[0008] 通过具有权利要求1的特征的头戴式系统和具有权利要求27的特征的计算和渲染数字图像流的方法来实现这些目的。
[0009] 本发明基于发现已知的头戴式系统假设人眼睛的标准固定位置以渲染这个标准的人将会看见的图像。然而，眼内距离和眼睛相对于鼻子的位置存在明显的个体差异。一些现有系统试图使用一些类型的手动校正程序对其进行改进，然而其既不准确又耗时。基于此，在根据本发明的头戴式系统中，处理单元被进一步设计为在计算和渲染数字图像流时考虑左眼和右眼的3D位置以及左眼和右眼的方向。这个信息由双眼追踪系统提供。这样做了后，处理单元提供的数字图像可以准确地适应个人的眼内距离和眼睛相对于鼻子的位置地被计算和渲染。结果，用于
虚拟现实3D场景的左/右图像渲染的虚拟视点的3D位置与双眼追踪系统测量的使用者眼睛的准确位置(代替现有装置中的标准的固定的或手动校正的眼内距离)相匹配。这减小了压
力和头晕并且改进了深度知觉。
[0010] 在优选的
实施例中，头戴式系统包括穿戴装置，并且处理单元机械地连接至所述穿戴装置上。当穿戴装置进一步设置有例如
电池或
蓄电池的
能量存储器时，对于使用者而言实现了非常高的
自由度。
[0011] 代替地，头戴式系统可以包括穿戴装置和机械地连接至所述穿戴装置上的数据接口，处理单元与数据接口连接，特别是有线地或无线地连接。以此方式，根据本发明的头戴式系统可以使用或进入大型计算单元，其相应地提供了大型计算能力并且还被如此设计以使得被使用者简单地穿戴并且没有损伤。通过与大型处理单元连接，本发明需要的计算可以以特定的速度和
精度被执行。
[0012] 特别优选的实施例的特征在于头戴式系统包括光导装置，该光导装置用于将图像投影至所述使用者的眼睛上，与所述眼睛追踪系统使用的光路相比，其沿着基本上分开的光路。基于不同的光路，特别是与深瞳技术联系起来，实现了一个优点：不需要分束器，并且增强了光线传输，在图像中实现了更好的
信噪比。
[0013] 当处理单元被设计为使用左眼和右眼的3D眼睛位置以及左眼和右眼的定向向量计算使用者正固着的注视点的3D位置，特别是注视点的3D位置和至每一个眼睛的距离时，已经证明是有利的。这使得能够确定场景的哪个部分必须被渲染为聚焦(焦点对准)以及哪个部分被渲染为未聚焦(焦点未对准)。而且，其为下面将进一步详细描述的GUI激活机制的一部分。基于此，因为本发明准确地适应每一个个体，所以它可以提供增强的景深感觉。
[0014] 有利地，处理装置被设计为将注视点的3D位置估计为由左眼和右眼的被计算的3D位置和定向向量限定的左向和右向光线之间的最近点。通过已知注视点，本系统可以适应每一个个人。就这一点而言，当处理单元被设计为通过映射函数、尤其是通过施加偏移量、线性变换或非线性变换来过滤左眼和右眼方向的光线是有利的。
[0015] 当映射函数是为特定使用者校正头戴式系统的校正程序的结果时，已经证明是特别有利的。就这一点而言，处理单元可以被设计为，通过借助所述头戴式显示器向使用者显示将被固着的虚拟刺激源，特别是虚拟目标，并且通过确定在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面所述虚拟刺激源的位置之间的差异，实施所述校正程序。
[0016] 在这一点上，处理单元可以被设计为使所述虚拟目标(和/或刺激源)沿预定的或随机的路径移动。或者，处理单元可以被设计为，通过随着时间连续地计算在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面投影在所述头戴式显示器上的图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异，实施所述校正程序。通过最后提及的变型，校正程序可以在头戴式系统正常使用期间发生，其中由于连续的计算，可以实现在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面在图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异逐渐减小。
[0017] 处理单元可以被进一步设计为计算眼内距离，并且可以被进一步设计为基于所述眼内距离以及左眼和右眼的3D位置计算虚拟的视野点，并且被设计为在渲染用于左眼和右眼的一对图像以便模拟3D虚拟场景时使用所述虚拟的视野点。这导致了以下优点，使用者将会从他自己的眼睛的视角、而不是从一些标准的总体平均值或不精确的手动校正估计的视角看见虚拟场景。当他注视真实场景(非模拟的)时，这将会更加紧密地匹配他看见的场景，因此，使用者的大脑将发现更紧密地匹配他的期望并且场景将会变得更“真实”且涉及更少的压力和头晕。
[0018] 在优选的实施例中，处理单元被设计为基于注视点的距离确定被渲染的虚拟图像中将被聚焦地显示的区域，其中所述处理单元进一步被设计为相应地渲染所述虚拟图像，以模拟人眼在它正观看位于与真实场景中所述注视点相同的3D坐标处的真实对象时将会观察到的整个图像的景深。通过借助聚散度计算聚焦距离(借助眼睛追踪器)，可以真实地模拟使用者进行的聚焦调节。而且，可以进行根据在虚拟场景中使用者正实际所看的地方的景深模拟，而不用预定义聚焦距离，因此模拟了使用者自己的焦距调节。
[0019] 在这一点上，处理单元可以被设计为，一方面基于左眼和右眼的3D位置以及另一方面基于至所述注视点的距离，渲染与穿戴所述头戴式系统的使用者所看见的场景融入的至少一个增强的现实元素。在这一点上，可以使用安装在穿戴装置上的场景摄像机，其提供在使用者前面的场景的图像。就这一点而言，场景摄像机可以被用来执行对象检测和识别。然后一些环境特定信息可以混合进正使用的
增强现实中，以给使用者显示混合进使用者所看见的东西中的这样的信息。例如，使用者可能正在看外文的文字或路标：场景摄像机可以捕获文本的图像，其被处理单元OCR，然后被
机器翻译，并且翻译的文本以虚拟接近原文的方式被显示在增强现实中。或者使用者可能正在看城市中的纪念碑，该纪念碑被处理单元上的
软件识别，并且可以从
数据库中获取有关所述文档(历史、艺术
风格等)的信息，并且以靠近对象的气球窗的形式显示在增强现实中。
[0020] 根据特别优选的实施例，处理单元被设计为渲染将被显示在投影至使用者的眼睛上的图像中、特别是场景的图像中的至少一个虚拟激活元素，所述处理单元进一步被设计为在预定激活条件得到满足时激活与所述虚拟激活元素相关联的预定功能。
[0021] 尽管现有技术已知的HMD通常使用触摸或按钮界面以控制功能，但是在本发明中，提供3D图形
用户界面(GUI)，其中眼睛追踪和深度估计被用来激活所述3D GUI中的元素。
[0022] 在这一点上，当处理单元被设计为渲染所述至少一个虚拟激活元素为有限的、多边形的3D或2D形状且该3D或2D形状在场景中在一定的时间内以预定的3D定向定位在预定位置处，已经证明是有利的。所述处理单元可以被设计为以预定的
颜色和/或以本身包含文本和/或图像的试和/或以在不透明与完全透明之间改变透明度的方式渲染所述至少一个虚拟激活元素。变化的透明度用来突出显示或淡出可能堆叠在距离使用者不同虚拟距离处的激活元素。因此例如，当使用者使其视线朝向短距离激活元素聚焦时，这些元素将被变成更不透明；然后当他朝向远距离激活元素聚焦时，前面的元素将会变成半透明或甚至完全透明，从而不会挡住清楚地看见使用者目前正聚焦的激活元素。
[0023] 关于激活元素的激活，可以设计所述处理单元，以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域的情况。可选地或另外地，可以设计所述处理单元，以使得激活条件包括3D注视点停留在由所述激活元素限定的虚拟空间区域中达预定量的时间的情况。另外，可以设计所述处理单元，以使得激活条件包括3D注视点在预定量的时间内进入和离开由所述激活元素限定的虚拟空间区域的情况。
[0024] 还可以设计所述处理单元，以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域并且随后眼睛追踪系统在预定的
时间窗口内检测到眨眼的情况。还可以设计所述处理单元，以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域并且随后来自外部接口的触发事件被激活的情况。就这一点而言，来自外部接口的所述触发事件可以是下述事件中的一个：推动机械触发器、按钮或触摸敏感表面；检测到连接至使用者的身体的
肌电图接口中的变化；发出语音命令；生物监控函数达到
阈值水平，该生物监控函数尤其包含
脉搏率/心率、血压、EEG接口中的信道；和/或姿势传感器检测的
手指、手或手臂姿势。外部激活信号的使用在有效时可以在一些环境中更容易地渲染激活，例如点击按钮可以比让注视点停留在激活元素内达一定的时间更快。生物信号的使用可使得结合一些预定的情绪、精神或身体状态而仅激活某些元素。
[0025] 有利地，所述处理单元被设计成基于从左眼、右眼和注视点的3D位置计算的图像不均等性和模拟景深突出显示和/或预激活位于相同的虚拟距离处的一组激活元素。通过突出显示或预激活一组激活元素，可以通过共同的上下文对动作分组，例如一组可以与电子邮件相关(例如打开、撰写、回复、回复全部等)。与被限定在另一上下文(组)中的功能相比，预激活机制使得激活某一上下文中的功能的渲染更容易，因此防止了意外的激活。而且预激活使一组中的全部元素比其它组中的元素更“可见”(例如通过使预激活元素不透明以及非预激活元素透明)，并且这又有助于其激活并且防止在其它组中的元素的意外误激活。
[0026] 使用本发明，处理单元被设计成通过基本上聚焦某一组激活元素中的全部元素来突出显示该组激活元素，同时其它组中的全部其它激活元素都被渲染成是未聚焦的。此外地或可选地，可以设计所述处理单元，以进一步将其它组中的全部其它激活元素都渲染为部分或完全透明。这种方式对使用者激活涉及相关的主题的期望组的激活元素是特别有利的。
[0027] 所述的关于根据本发明的头戴式系统的优选实施例及其优点相应地应用到根据本发明的方法中，其中特别地，处理单元的实施例构成了根据本发明的方法的优选实施例的步骤。
附图说明
[0028] 下文中，参照附图更详细地描述本发明的有利的实施例。
[0029] 它们显示在：
[0030] 图1a是根据本发明的头戴式系统的第一实施例的示意图；
[0031] 图1b是远程设置的处理单元的实施例的设计的示意图；
[0032] 图2是根据本发明的如何基于注视点确定每一个眼睛的聚焦距离的示意图；
[0033] 图3是根据本发明的估计注视点的示意图；
[0034] 图4是示出基于注视点确定的对焦区域内的对象聚焦、而对焦区域之外的对象未聚焦的示意图；
[0035] 图5是示出注视点的3D位置与校正的刺激的3D位置之间的差异的示意图；以及[0036] 图6是如何可以借助根据本发明的头戴式系统预选第一组激活元素的示意图。
具体实施方式
[0037] 图1示出了根据本发明的头戴式系统10的第一实施例的示意图。它包括穿戴装置12，即将头戴式系统安装在使用者头上的机构，其为(但不限于)眼镜框或头盔或鼻夹或
耳机的形式。它还包括双眼追踪系统，该双眼追踪系统包括设置为捕获使用者的左眼16a的第一摄像机14a和设置为捕获使用者的右眼16b的至少第二摄像机14b。在本发明中使用的术语“摄像机”之下，允许捕捉使用者眼睛的图像的全部种类的图像传感器都被包括。而且，头戴式系统能够可选地包括一个或多个例如LED的照明器，其朝向使用者的眼睛发射例如红外
光谱中的不可见光，其中摄像机14a、14b然后被调整以适应该光谱。头戴式系统
10还包括头戴式显示器，该头戴式显示器包括第一发光阵列18a和用于投影图像至使用者的左眼16a上的第一投影装置20a以及第二发光阵列18b和用于投影图像至使用者的右眼
16b上的第二投影装置20b。各个光导22a和22b用于将与将被显示的信息有关的各个信息从投影装置20a、20b朝向发光阵列18a、18b引导的目的。发光阵列18a、18b可以是不透明的或透明的或部分透明的。它们可以被实现为屏幕，例如LCD或AMOLED屏幕，即能够给使用者的眼睛展示图像的任何种类的显示装置都可以被本发明使用。
[0038] 头戴式系统10还包括分别用于左眼16a和右眼16b的处理单元24a、24b。处理单元24a、24b被设计为处理来自相应的摄像机14a、14b的图像并且至少计算左眼16a和右眼16b的3D位置以及左眼16a和右眼16b的定向向量。处理单元24a、24a还被设计为计算和渲染将通过头戴式显示器投影到使用者的左眼16a和右眼16b上的数字图像流。
[0039] 尽管在图1a中示出的实施例中，处理单元24a、24b被安装至穿戴装置12上，但是图1b示出了一个实施例，在该实施例中，头戴式系统10包括机械地连接至所述穿戴装置12上的未示出的数据接口，同时单一的处理单元24以有线或无线的方式与所述数据接口连接。
[0040] 一般地，处理单元24、24a、24b优选包括CPU和存储器，以及可选地包括协同处理器以提高例如GPU、DSP、FPGA或专用ASIC的某些计算的速度。所述的处理单元24a、24b可以整合到头戴式装置10中，或像处理单元24那样，可以通过
电缆物理地从头戴式装置10拆卸并且与它连接或可以经由例如WIFI(802.11)、蓝牙、诸如GSM、CDMA、LTE等蜂窝网络的无线连接物理地从头戴式装置10拆卸并且与它通信。
[0041] 此外，处理单元24、24a、24b优选包括接收和处理外部数据信号的接口，这样的数据信号包括机械触发、按钮或触摸表面、连接至使用者身体的肌电图接口、麦克风和语音检测软件、例如脉搏/心率、血压和EEG接口中的一个或多个信道的生物信号。
[0042] 眼睛追踪系统使用标准的现有技术。在优选实施例中，为了确保最大精确度，一个或多个光源发射被引导向每一个眼睛16a、16b的红外光，这样的光源在角膜上产生反射，被称为闪烁，其可以被用作参考点以确定眼睛相对于各个摄像机14a、14b的位置以及被检测的瞳孔轮廓和中心、眼睛定向。
[0043] 另外也可以在不使用闪烁和1R照明器的情况下确定眼睛位置和定向：例如，可以从瞳孔轮廓或角膜缘轮廓的透视
变形推断出眼睛定向；可以从不动态变化的眼睛特征的图像的尺寸计算出至各个眼睛16a、16b的距离，该不动态变化的眼睛特征例如为角膜缘的长轴和短轴、或眼球半径。
[0044] 头戴式显示器为通常嵌入护目镜或头盔
框架的装置，其投影一对虚拟图像至使用者的眼睛16a、16b上。根据装置是否被设计为防止使用者的眼睛16a、16b看见周围环境，这样的虚拟图像可用来产生沉浸入模拟环境(“虚拟现实”)中的体验或在自然环境中混合模拟的虚拟元件(“增强现实”)。
[0045] 传统的头戴式系统仅仅是投影机构或“屏幕”，本质上是一种便携式个人电脑显示器或电视机。示出的图像可以是预录的视频(例如电影或3D电影)，或被电脑实时产生。不管正被显示的图像内容是预录的还是实时产生的视频，在图像正被产生的时候，在现有技术情况下，有关观察者的眼睛的重要信息是未知的，即
[0046] a)各个眼睛相对于屏幕的位置，和一个眼睛相对于另一个眼睛的位置(“眼内距离”)；以及
[0047] b)各个眼睛正聚焦其注意力的距离和位置。
[0048] 出于感觉自然、放松和逼真的视觉体验并且不产生
张力和头晕的目的，上述的眼睛信息的认识是相当重要的，因为
[0049] a)场景的视角随着观察者的各个眼睛16a、16b的位置相对于场景变化而变化；以及
[0050] b)人的眼睛根据距离而改变光功率，即在眼睛目前正在看的对象上维持完美聚焦的眼睛的屈光力。该过程被称为调节。在不同距离处的其它对象和区域变得模糊不清或代替地未聚焦。
[0051] 在已知的系统中，使用用于眼睛距离和眼内距离的标准的总体平均值来固定观察者的眼睛相对示出在头戴式系统上的场景的位置。考虑某一使用者，他体验的
质量或他将体验到的张力和头晕取决于他的眼睛的位置偏离预定参数或总体平均值多远。
[0052] 在一些已知的装置中，还可以进行头戴式系统的人工校正，其中使用者自己人工地调整眼内距离。然而，该方法是相当粗糙的，并且使用者通常不可能调整几度旋转角度的改变或一毫米的平移。
[0053] 在关于对象聚焦的已知系统中，聚焦点根据剧情或艺术目的由视频创作者确定，或者使用其中场景中的所有对象都显得非常锐利并且聚焦的扩大的景深。然而，看见场景中的所有对象都同时聚焦是不自然的，给人单调的
印象并且去除了3D幻觉。在真实的世界中，当场景中的所有对象都同时呈现聚焦时，通常意味着使用者正在看2D的图片或图画。
[0054] 相反，在仅一个对象为聚焦的情况下，但是如同在电影中那样，聚焦点已经由视频创作者确定，当使用者正看别处并且仅看见模糊强度时，他将会被迷惑或者无论如何3D幻觉将会被破坏掉。
[0055] 在根据本发明的头戴式系统中，使用能够确定使用者的眼睛16a、16b中的每一个相对于头戴式系统10的3D位置的所述的眼睛追踪系统。然后该信息被渲染虚拟现实或增强现实图像的处理单元24、24a、24b使用。
[0056] 根据本发明的头戴式系统10可以被设计为执行自动使用者校正，该自动使用者校正然后被用来增强使用者体验的增强/虚拟现实的现实感。处理单元24、24a、24b渲染的每一个图像表示每一个使用者的眼睛16a、16b应该看见的场景，然后被渲染用作
虚拟摄像机协调已经由眼睛追踪系统确定的使用者的眼睛16a、16b的精确坐标。
[0057] 该方法的优点是被显示给使用者的左眼和右眼16a、16b的场景不是从其中眼内距离是基于总体统计值的固定的标准视角渲染的，而是为每一个观察者定制的并且优化的，完全匹配使用者的大脑期望看见的场景。
[0058] 可选的场景摄像机26可以被用来提供使用者正在看的场景的图像并且在增强现实的情况下使用那些图像，如下文中进一步所述。
[0059] 此外，使用根据本发明的头戴式系统10，可以确定使用者的眼睛16a、16b正在聚集的注视点POR，其可以被用来确定每一个眼睛16a、16b的聚集距离，关于这一点参见图2。
[0060] 确定这样的注视点POR的第一种方式是找出起源于由眼睛追踪系统确定的使用者的眼睛的位置中的多个光线的交叉点，每一个光线根据由所述的眼睛追踪系统确定的眼睛定向而被引导。然而，参见图3，在实践中，在一些情况下，这样的光线可能不会在3D空间中交叉，即所述光线是不共面的。根据本发明，表示所述光线之间的最小距离的线段被确定，并且所述线段上的中点的3D位置被视为注视点POR。
[0061] 对于仅具有一个功能眼睛或具有强烈的斜视的使用者，即大脑有效地忽略了从一个眼睛摄取的视觉摄取，通过找出起源于功能眼睛的光线与场景中的第一个对象交叉的点，仍能确定虚拟场景中的3D注视点。
[0062] 当已知3D注视点时，参见图4，可以将聚焦区域限定为矩形，在该矩形中，对象显示为聚焦的，而在该区域之外的对象显示为未聚焦。当对象随着其与注视点的距离增加而被渐进地显示为未聚焦时，获得了特别真实的图像。
[0063] 而且，本领域技术人员已知，在一方面所谓的“视线”或视轴(即连接视网膜中央凹(即最尖锐的视觉点)与注视点的假想线)与另一方面穿过瞳孔中心的轴线(在眼睛追踪文献中已知为瞳孔轴线或光轴)之间存在偏移。
[0064] 尽管由于视网膜中央凹负责视觉摄入，所以视轴(visual axis)实际上代表注视点的方向，但是因为眼睛追踪器不能看见该视网膜中央凹，因此眼睛追踪器仅可以测量光轴。
[0065] 为了补偿视轴与光轴之间的偏移，该偏移因人而异并且对于相同的人也根据瞳孔放大、情绪状态和其它因素而改变，眼睛追踪系统可以通过校正程序而被改进，以从一组样本中学习校正模型的一个或多个参数。
[0066] 本发明的优选实施例中使用的校正程序还提供用来补偿其它误差来源或不确定性的信息，例如系统本身、其光学部件和其构造(即例如摄像机、摄像机镜片等光学部件的位置、方向和特性)中的误差，眼睛追踪算法中和图像中的误差，使用者的眼睛16a、16b的参数的知识包括但不限于眼睛聚散度
缺陷(斜视、弱视)，前和后表面的
曲率半径，散光，瞳孔孔径，角膜缘的长轴和短轴，角膜表面的折射率，眼房水(填充角膜与晶状体之间的腔室的
流体)的折射率，晶状体前和后表面的半径，玻璃状液(填充眼后房的液体)的折射率。
[0067] 将是校正程序的目标的前述参数的集合或子集在下文中将被称为校正参数集。
[0068] 关于图5，实现这样的校正程序的一种方式是通过头戴式系统10给使用者显示专用的视觉校正刺激28，使用者需要固着(fixate)该专用的视觉校正刺激28。例如，这样的刺激28可以是一个点或圆或十字或被设计为吸引使用者注意力的任何其它图像。该刺激28对应于单个使用者的真实注视点。然而图5中示出的注视点POR对应于眼睛追踪系统假定的注视点。
[0069] 该视觉校正刺激能够在一组离散位置S＝{s1，s2，…sm}处被示出，但是它在一个特定的时间间隔中仅在一个特定的位置(从所述组中选取)中示出，以避免迷惑使用者。这些位置还可以是如此地空间分布并且所述时间间隔是这样短暂地分布，以给出所述视觉校正刺激平滑运动的幻觉，但是这全部都是可选的。
[0070] 考虑到视觉刺激的一组已知位置、相关联的时间间隔和其中视觉校正刺激28被示出的虚拟空间中的使用者的注视点的第一次不准确的估计，通过为校正参数集确定最小化已知的视觉刺激位置28与由于使用校正参数集而导致的注视点POR之间的偏差的最优值，眼睛追踪系统被校正。
[0071] 更正式地讲，考虑到将被校正的一组参数p1，..pn，这限定了用于例如前五段所述的校正程序χ＝(p1，p2，…pn)的
状态空间。
[0072] 校正程序从代表目标用户群的平均值和用于眼睛追踪系统的几何和光学设置的期望值的标准集合的校正参数的状态空间中的点χ0开始。然后，应用现有技术的优化和回归(regression)技术，例如
梯度下降法、高斯-
牛顿法、Levenberg-Marquardt法、模拟
退火法、进化策略等，以在状态空间中找出最小化适应度函数F(χi，S)的位置，所述适应度函数F(χi，S)将使用一组参数χi计算的一组刺激位置和测量的注视点PORj(χi)作为参数，并且是所谓的PORs与参考S＝{s1，s2，…sm}的偏差或误差的测量值。
[0073] 作为一个示例，一个可能的这样的函数是均方误差
[0074]
[0075] 在一些情况下，由于n≠m，可能发生不可能准确匹配集合S＝{s1，s2，…sm}与POR位置集合POR＝{POR1，POR2，…PORn}的情况。在此情况下，可能重新
采样并且使用更小的样本数插值数据集以匹配另一集合，并且在一组样本与另一组样本之间找出最好和最可能的匹配。
[0076] 在任何情况下，对于本领域技术人员而言，依赖于其实际的应用环境使用选择性的适应度函数和校正策略将是不重要的。
[0077] 并不总是必须在预定的时间间隔处执行显示离散的校正刺激图像的明确的校正。通过随着时间比较其中未校正的注视点已经固着的一组位置与所述固着位置(fixations)之间采取的路径，一般还可以进行隐含的校正，并且在相同的时间段内将它们与显示给使用者的场景内容比较。这允许确定一方面的被期望吸引使用者的聚焦的场景中的对象和路径与另一方面的实际注视点路径之间的对应性。
[0078] 例如，当正在统一的背景上显示文本给使用者时，使用者将会开始阅读文本，产生特有的注视点路径，该特有的注视点路径将以代表使用者正在阅读的文本行的平行线的方式被组织。然后可能以最大化期望的可能性的方式匹配注视点路径与实际文本，例如使用期望最大算法，然后应用前述的方法以使用匹配的数据点用于校正。
[0079] 关于本发明的另一方面，公开了用于头戴式显示器的3D
图形用户界面(GUI)，其使用眼睛追踪系统而被控制。就这一点而言，3D虚拟激活元素被限定为在使用者的眼睛16a、16b前面的虚拟空间中在某时刻以某一3D方向定位在某一3D位置处的有限的、多边形的、2D或3D形状，被处理单元24、24a、24b渲染并且被头戴式显示器显示。
[0080] 关于图6，3D虚拟激活元素30被示出，其可以改变颜色，它们本身可包含文本或图像并且可具有变化的透明度。它们可以是完全不透明的并且阻挡观察在其后面的场景元素，或者它们可以是完全透明的(因此是不可见的)，或者可以具有在二者之间的任意透明度。
[0081] 3D虚拟激活元素30与用户界面中的一个或多个功能的激活相关联，例如应用程序的激活(开始网络浏览器或电子邮件客户端等)、或代表与该头戴式系统连接的电脑的文件系统中的(数据)文件(例如，视频或声音文件)。
[0082] 当满足某一激活条件或事件可以与多个虚拟激活元素30的顺序的激活相关联时，这样的3D虚拟激活元素30可以与事件相关联或触发处理单元24、24a、24b上的某一功能或方法的使用：例如，一个可能性将会是第一次激活视频元件，接着激活视频播放器元件，以触发被激活的视频重播。
[0083] 该激活条件本身可以以多个可能的方式被执行：
[0084] 在一个可能的实施例中，当使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间时，如从图6中关于激活元素30c可见的，触发所述激活。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且停留在所述空间中达预定量的时间时发生。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且停留在所述空间中达预定的
停留时间并且然后再预定的离开时间内离开所述空间时发生。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且随后使用者有意地眨眼睛以触发激活时发生。
[0085] 因为眨眼在其他方面是自然发生的事件并且大多数人不能保持长时间不眨眼，所以可以限定时间窗(最小值，最大值)，在该时间窗内，允许发生有意的激活眨眼，在该时间窗之外的眨眼将被简单地忽略。
[0086] 还可能包括外部触发信号，该外部触发信号不是起源于眼睛追踪系统本身，而是与眼睛追踪系统一起工作以激活某一功能。这样的外部信号可以是(但不限于)：
[0087] -推动机械触发器或按钮(例如如同在
键盘上或
鼠标或通过电缆或无线地整合或连接至头戴式系统10的机械按钮)或触摸触摸感应界面(例如
电阻或电容
触摸板或数位板)；
[0088] -由连接至使用者身体的肌电图接口(EMG)测量的信号的变化，其匹配某一模式；肌电图接口测量肌肉的电活动并且是运动神经元激活的结果；表面-肌电图可被任何人使用，例如穿戴在臂上，但是这类接口可以具有与残疾人和截肢者特定的相关性，仍然以使用
电极的肌肉内的肌电图接口的形式；可以通过训练
机器学习分类器进行激活模式的识别，例如使用
人工神经网络或
支持向量机；使用这个接口，然后通过收缩或放松例如臂的身体中的肌肉，可能激活GUI中的3D虚拟激活元素30，并且其具有不需要使用者的双手的优点；
[0089] -语音命令，例如命令“播放(play)”或“开始(start)”，由使用者发出，并且使用
语音识别软件和麦克风由系统识别；
[0090] -手指、手或手臂姿势，由动作感应装置(体感，体感控制等)识别，例如通过滑动手或用手指捏等来执行激活；
[0091] -一个或多个生物监测功能达到阈值水平，这样的生物学水平可以代表某一物理状态(疲劳、休息等)或情绪状态(觉醒、放松、压力、幸福、害怕等)；这样的生物监测功能可以是来自监测大脑电活动的
脑电图(EEG)的信号；监测心脏电活动的
心电图(EKG)；心率；血压；瞳孔扩张；这样，例如，将可能通过集中并且“思考”它以激活功能，或者具有另一功能，在该另一功能中，根据使用者的心境而播放不同的音乐和视频，或者可以给予使用者
视觉反馈，如果检测到过度疲劳，则建议在慢跑时慢下来。
[0092] 通过进一步参考图6，3D虚拟激活元素30可以设置为组的形式，其中一组中的多个元件可以执行密切相关的功能(例如，打开电子邮件，写电子邮件，删除电子邮件)并且位于彼此接近的虚拟空间中和位于离眼睛狭窄的距离范围内。关于图6，第一组由激活元素30a-30d形成，同时第二组激活元素由激活元素30i-2，30i-1和30i形成。然后可以通过将所有的3D虚拟激活元素30a至30d渲染在“聚焦”中而突出显示特定的组，同时另一组的元件30i-2，30i-1和30i将会是“未聚焦”的并且能够可选地渐增地变成半透明的(部分或完全透明的)以不会挡住、分散或干涉突出显示的组的观察。
[0093] 可以预选一组激活元素30a至30d的这种方式，例如当使用者聚焦在其中的一个30c上并且被检测的注视点位于其边界之内时。然后属于相同的组的所有其它的元件30a、
30b、30d都可以被预激活(放入“聚焦”，并且可选地愿意启动相关联的事件)。
[0094] 以此方式，可以将3D GUI组织成分层界面，其中每一层都包含一组或多组激活元素30，并且使用者能够简单地通过将他的注视聚焦于不同的距离处而在不同的层中导航。
[0095] 作为此处描述的方法的特例，还可以将激活元素30表示为全部处于3D场景中的相同的虚拟平面上的简单的2D平面对象。该方式有效地实现了用于3D虚拟/增强现实系统的2D用户界面。3D用户界面具有在功率和灵活性方面具有明显的优势，但是在一些应用中，2D界面由于其简易性可能是更好的。
[0096] 为了改进已知的头戴式系统，本发明特别在一方面考虑到了虚拟摄像机的最优位置以及虚拟摄像机的最优的、现实的聚焦。在前一种情况下，考虑到了图像看起来像什么取决于看所述场景的眼睛的3D位置，反之在后一种情况下，焦点被围绕眼睛所看的点实际地调整。
