虚拟/增强现实系统中的偏振保持光纤
阅读：1038发布：2020-06-28
专利汇可以提供虚拟/增强现实系统中的偏振保持光纤专利检索，专利查询，专利分析的服务。并且一种用于由终端用户使用的虚拟图像生成系统的显示子系统包括：显示器；光纤，其具有偏振保持(PM)传输光纤部和非PM扫描光纤部； 光源 ，其被配置为将线性偏振光束注入所述传输光纤部中，使得所述线性偏振光束从所述扫描光纤部发射；机械扫描驱动组件，所述扫描光纤部被固定在该机械扫描驱动组件中，其中所述机械扫描驱动组件被配置为使所述扫描光纤部移位以扫描所发射的光束；以及显示器，其被配置为接收所扫描的光束并为所述终端用户生成图像。，下面是虚拟/增强现实系统中的偏振保持光纤专利的具体信息内容。
1.一种用于由终端用户使用的虚拟图像生成系统的显示子系统，包括：
显示器；
光纤，其具有偏振保持(PM)传输光纤部和非PM扫描光纤部；
光源，其被配置为将线性偏振光束注入所述传输光纤部中，使得所述线性偏振光束从所述扫描光纤部发射；
机械扫描驱动组件，所述扫描光纤部被固定在该机械扫描驱动组件中，其中所述机械扫描驱动组件被配置为使所述扫描光纤部移位以扫描所发射的光束；以及显示器，其被配置为接收所扫描的光束并为所述终端用户生成图像。
2.根据权利要求1所述的显示子系统，其中所述显示器包括平面波导装置。
3.根据权利要求1所述的显示子系统，其中所述传输光纤部包括具有圆形不对称横截面的包层。
4.根据权利要求1所述的显示子系统，其中所述传输光纤部包括圆形对称的包层、以及被配置为在所述包层中引发应变的至少一个附加的元件。
5.根据权利要求1所述的显示子系统，其中所述机械扫描驱动组件和所述显示器被集成到头戴式单元中，并且所述光源被包含在远程控制单元中，所述远程控制单元被配置为由所述终端用户穿戴且远离所述头戴式单元。
6.根据权利要求5所述的显示子系统，其中所述控制单元被配置为被穿戴在所述终端用户的躯干上。
7.根据权利要求5所述的显示子系统，其中所述控制单元被配置为被穿戴在所述终端用户的腰部上。
8.根据权利要求5所述的显示子系统，其中所述扫描光纤部在所述远程控制单元与所述头戴式单元之间路由。
9.根据权利要求1所述的显示子系统，其中所述扫描光纤部的近端被完全固定在所述机械扫描驱动组件内。
10.根据权利要求1所述的显示子系统，其中所述机械扫描驱动组件包括压电元件，所述扫描光纤部被安装在该压电元件中。
11.根据权利要求1所述的显示子系统，其中所述显示器被配置为定位在所述终端用户的眼睛的前方。
12.根据权利要求11所述的显示子系统，其中所述显示器具有部分透明的显示表面，所述部分透明的显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场中。
13.根据权利要求1所述的显示子系统，进一步包括被配置为由所述终端用户穿戴的框架结构，所述框架结构承载所述显示器和所述机械扫描驱动组件。
14.一种由终端用户使用的虚拟图像生成系统，包括：
存储器，其存储三维场景；
控制子系统，其被配置为渲染所述三维场景的多个合成图像帧；以及
根据权利要求1所述的显示子系统，所述显示子系统被配置为顺序地向所述终端用户显示所述多个图像帧。
15.根据权利要求14所述的虚拟图像生成系统，其中所述控制子系统包括图形处理单元(GPU)。
虚拟/增强现实系统中的偏振保持光纤
技术领域
[0001] 本发明一般地涉及被配置为便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
背景技术
[0002] 现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现作为对终端用户周围的实际世界的可视化的增强。
[0003] 例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设置6。除了这些项目之外，AR技术的终端用户同样感知到他“看到”站在真实世界平台8上的机器人雕像10，以及飞过的卡通式化身角色12，该化身角色看起来是大黄蜂的化身，即使这些元素10、12在真实世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，并且产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。
[0004] VR和AR系统通常利用至少松散地耦接到用户头部的头戴式显示器(或头盔式显示器或智能眼镜)，并且因此在终端用户的头部移动时移动。如果显示子系统检测到终端用户的头部运动，则可以更新正显示的数据，以考虑头部姿态(即用户头部的取向和/或位置)的变化。
[0005] 作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象可以对于每一个视点被重新渲染，给终端用户他或她在占据真实空间的对象周围走动的感觉。如果头戴式显示器被用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则头部姿态的测量可用于重新渲染场景以匹配终端用户的动态变化的头部位置和取向并提供增强的在虚拟空间中的沉浸感。
[0006] 使能AR(即，现实和虚拟元素的同时观看)的头戴式显示器可以具有几种不同类型的配置。在通常被称为“视频透视”显示器的一个这种配置中，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示子系统中的透明(或半透明)元素以直接观看来自环境中真实对象的光。通常被称为“合成器”的透明元素将来自显示器的光叠加在终端用户对真实世界的视图之上。
[0007] VR和AR系统通常利用具有投影子系统和位于终端用户的视场前方的显示表面的显示子系统，投影子系统顺序地将图像帧投影在该显示表面上。在真实的三维系统中，显示表面的深度可以以帧率或子帧率控制。投影子系统可以包括：一个或多个光纤，来自一个或多个光源的光以限定的图案发射不同颜色的光到该一个或多个光纤中；以及扫描设备，其以预定图案扫描光纤以创建顺序地向终端用户显示的图像帧。
[0008] 在典型的头戴式VR/AR系统中，理想地将显示子系统设计为尽可能轻，以最大化用户的舒适度。为此，VR/AR系统的各种组件可以物理地包含在分布式系统中，该分布式系统包括显示子系统本身以及可从用户头部远程定位的控制子系统。例如，控制子系统可以被包含在腰包徽章中，该腰包徽章可被固定到用户腰部。由于重量、热量和形状因素考虑，理想地使光源位于远离用户头部的位置(例如，在腰包徽章中)，因此必须在控制子系统远离显示器的情况下设置光源的位置。
[0009] 因此，必须将光纤从远程光源路由(route)到位于用户头部上的显示子系统的一部分。例如，参考图2，使用单模光纤20，通过将光从远程光源22传播(传输功能)到扫描设备24来既执行传输功能也执行扫描功能，其中单模光纤20被操纵，由此以预定的扫描图案扫描光(扫描功能)。
[0010] 为了防止显示给用户的图像出现颜色失真(在偏振激光传播通过具有高度偏振敏感性的显示器的衍射光学系统之后)，必须在整个光纤中保持从光源注入光纤的光的偏振。在普通光纤中，由于光纤的圆对称性，两种偏振模式(例如，垂直和水平偏振)具有相同的标称相速度。然而，这种光纤中的微量的随机双折射或光纤中的弯曲将导致从垂直偏振模式到水平偏振模式的微量串扰。并且，由于可应用微小耦合系数的即使较短部分的光纤具有数千波长的长度，因此即使相干地应用的两种偏振模式之间的小耦合也会导致向水平模式的大功率传输，从而完全改变波的净偏振状态。由于耦合系数是非故意的并且是施加到光纤上的任意应力或弯曲的结果，因此偏振的输出状态本身将是随机的，并且随着这些应力或弯曲的变化而变化。
[0011] 因此，由于光纤必须在远程光源与头戴式显示器子系统之间路由的曲折路径(当它跨越人体颈部和躯干时，可能相当长)，光纤可能发生不同的弯曲(由于用户的身体运动等)并因此发生应变，从而显著地改变行进通过光纤的光的偏振。
[0012] 已知使用偏振保持光纤(PM光纤)，该PM光纤是单模光纤，其中线性偏振光(如果适当地发射到光纤中)在传播期间保持线性偏振，以特定的线性偏振态离开光纤。PM光纤在传播过程中通过有意地在光纤中引入系统线性双折射来保持线性偏振，因此存在两种界限清楚的偏振模式，这两种偏振模式以极为不同的相速度沿着光纤传播。可以使用多种不同的PM光纤设计以在光纤中产生双折射。例如，光纤可以是几何不对称的，或具有不对称的折射率分布，诸如使用椭圆形包层的设计、在包层内使用另一材料的棒的设计，或使用结构化芯光纤(例如，光子带隙光纤)以永久地在光纤中诱发应力的设计。
[0013] 虽然投影子系统可以在考虑PM光纤的情况下设计，但是预先存在的扫描设备被设计为与非PM光纤一起操作，非PM光纤呈现出不同于PM光纤的机械特性。在这种情况下，当非PM光纤被偏振保持光纤代替时，扫描设备将不会以相同的方式操作。特别地，具有高度不对称弯曲刚度的PM光纤将具有与具有对称弯曲刚度的非PM光纤非常不同的动态特性。因此，PM光纤将不会实现作为用于显示设备的默认扫描模式的共振螺旋扫描。此外，光纤的远端通常是锥形的，以提高工作频率并因此提高分辨率，从而产生更好的性能。然而，在PM光纤利用应力诱发元件的情况下，这些附加元件将影响扫描设备的扫描场。因此，必须重新设计扫描设备以适应PM光纤的替代使用，这将导致VR/AR系统的额外成本。
[0014] 因此，需要一种低成本解决方案，其在连接在远程光源与头戴式显示器子系统之间的光纤中保持线性偏振，而不必重新设计显示子系统中的扫描设备。
发明内容
[0015] 本发明的实施例涉及便于用于一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。
[0016] 根据本发明的第一方面，一种用于由终端用户使用的虚拟图像生成系统的显示子系统包括显示器(例如平面波导装置)。在一个实施例中，所述显示器可以被配置为定位在所述终端用户的眼睛的前方。在这种情况下，所述显示器可以具有部分透明的显示表面，该显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场中。
[0017] 所述显示子系统进一步包括光纤，所述光纤具有偏振保持(PM)传输光纤部和非PM扫描光纤部。在一个实施例中，所述传输光纤部包括具有圆形不对称横截面的包层。在另一实施例中，所述传输光纤部包括圆形对称包层以及被配置为在所述包层中引发应变的至少一个附加元件。
[0018] 所述显示子系统进一步包括：光源，其被配置为将线性偏振光束注入所述传输光纤部中，使得所述线性偏振光束从所述扫描光纤部发射；机械扫描驱动组件，所述扫描光纤部被固定在该机械扫描驱动组件中，其中所述机械扫描驱动组件被配置为使所述扫描光纤部移位以扫描所发射的光束；以及显示器，其被配置为接收所扫描的光束并为所述终端用户生成图像。在一个实施例中，所述扫描光纤部的近端被完全固定在所述机械扫描驱动组件内。在另一实施例中，所述机械扫描驱动组件可以包括其中安装有所述扫描光纤部的压电元件。
[0019] 在一个实施例中，所述机械扫描驱动组件和所述显示器被集成到头戴式单元中，并且所述光源被包含在远程控制单元中，所述远程控制单元被配置为由所述终端用户穿戴且远离所述头戴式单元。所述控制单元可以例如被穿戴在所述终端用户的躯干或腰部上。所述扫描光纤部可以在所述远程控制单元与所述头戴式单元之间路由。
[0020] 根据本发明的第二方面，一种由终端用户使用的虚拟图像生成系统包括：存储器，其存储三维场景；控制子系统(例如，包括图形处理单元(GPU)的控制子系统)，其被配置为渲染所述三维场景的多个合成图像帧；以及上述显示子系统。所述显示子系统被配置为顺序地向所述终端用户显示所述多个图像帧。
附图说明
[0022] 附图示出了本发明的优选实施例的设计和利用，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本发明的上述和其它优点和目的，将通过参考在附图中示出的本发明的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，在附图中：
[0023] 图1是可以由现有技术增强现实生成设备向终端用户显示的三维增强现实场景的图片；
[0024] 图2是用于将光源光学耦合到扫描设备的现有技术单模光纤的平面图；
[0025] 图3是根据本发明的一个实施例构造的虚拟图像生成系统的框图；
[0026] 图4是用于图3的虚拟图像生成系统的显示子系统的一个实施例的平面图；
[0027] 图5是用于图3的虚拟图像生成系统的显示子系统的一个实施例的透视图；
[0028] 图6是用于在图3的虚拟图像生成系统中将光源光学耦合到扫描设备的复合光纤的平面图；
[0029] 图7a是图6的复合光纤的非偏振保持扫描光纤部的一个实施例的横截面图；
[0030] 图7b是图6的复合光纤的偏振保持传输光纤部的一个实施例的横截面图；
[0031] 图8是由图3的虚拟图像生成系统生成的示例性帧的平面图；
[0032] 图9a是可用于穿戴图3的虚拟图像生成系统的一种技术的平面图；
[0033] 图9b是可用于穿戴图3的虚拟图像生成系统的另一技术的平面图；
[0034] 图9c是可用于穿戴图3的虚拟图像生成系统的又一技术的平面图；以及[0035] 图9d是可用于穿戴图3的虚拟图像生成系统的再一技术的平面图。
具体实施方式
[0036] 下面的描述涉及在虚拟现实和/或增强现实系统中使用的显示子系统和方法。然而，应该理解，虽然本发明使得其很好地适用于虚拟或增强现实系统中的应用，但是本发明在其最广泛的方面可以不受如此限制。
[0037] 参考图3，现在将描述根据本发明构造的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可以作为增强现实子系统操作，提供与在终端用户50的视场中的物理对象相互混合的虚拟对象的图像。当操作虚拟图像生成系统100时，存在两种基本方法。第一种方法利用一个或多个成像器(例如相机)来捕捉周围环境的图像。虚拟图像生成系统100将虚拟图像相互混合成表示周围环境的图像的数据。第二种方法利用一个或多个至少部分透明的表面，通过该一个或多个至少部分透明的表面可以看到周围环境，并且在该一个或多个至少部分透明的表面上虚拟图像生成系统100产生虚拟对象的图像。
[0038] 虚拟图像生成系统100以及在此教导的各种技术可以用于增强现实和虚拟现实子系统以外的应用中。例如，各种技术可以应用于任何投影或显示子系统，或者可以应用于可由终端用户的手而不是头部进行移动的微型投影仪。因此，虽然在此经常在增强现实子系统或虚拟现实子系统方面描述，但是教导不应限于这些用途的这些子系统。
[0039] 至少对于增强现实应用来说，可能期望相对于终端用户50的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象(在此也被称为虚拟标签或标签或标出(call out))可以采取多种形式中的任何一种，基本上是能够被表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性例子可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。
[0040] 为此，虚拟图像生成系统100包括：由终端用户50穿戴的框架结构102；显示子系统104，该显示子系统104的至少一部分由框架结构102承载，使得显示子系统104被定位在终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106被定位在终端用户50的耳道附近(可选地，另一扬声器(未示出)被定位在终端用户50的另一个耳道附近以提供立体声/可塑形声音控制)。显示子系统104被设计成向终端用户50的眼睛52呈现基于照片的辐射图案，所述辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，以及能够呈现二维内容。显示子系统104以提供对单个相干场景的感知的高频率呈现一系列合成图像帧。
[0041] 显示子系统104包括投影子系统108和部分透明的显示屏110，投影子系统108将图像投影在显示屏110上。显示屏110被定位在终端用户50的眼睛52与周围环境之间的终端用户50的视场中。
[0042] 在所示例的实施例中，投影子系统108采用基于光纤扫描的投影设备的形式，并且显示屏110采用基于波导的显示器的形式，来自投影子系统108的扫描光被注入该基于波导的显示器中以产生例如位于比无限远更近的单个光学观看距离(例如手臂长度)处的图像、位于多个离散光学观看距离或焦平面处的图像，和/或在多个观看距离或焦平面处堆叠以表示立体3D对象的图像层。光场中的这些层可以足够紧密地堆叠在一起，以对人类视觉子系统看起来连续(即，一层位于相邻层的混淆锥内)。附加地或替代地，图片元素可以跨两个或更多个层混合，以增加光场中的层之间的过渡的所感知的连续性，即使这些层以较稀疏的方式堆叠(即，一个层在相邻层的混淆锥外)。显示子系统104可以是单目的或双目的。
[0043] 参考图4和图5，投影子系统108包括扫描组件112和光学耦合子系统114，扫描组件112响应于控制信号而产生光束并以预定的扫描图案扫描光束，光学耦合子系统114将来自扫描组件114的光束耦合到显示屏110。
[0044] 扫描组件112包括产生光束(例如，以限定的图案发射不同颜色的光)的一个或多个光源116(为了简洁仅示出一个)。光源116可以采用多种形式中的任何一种，例如，一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据像素信息或数据的相应帧中指定的已限定的像素图案来分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度且是高能效的。
[0045] 扫描组件112进一步包括一个或多个光纤118(为了简洁仅示出了一个)，每个光纤具有近端118a和远端118b，从光源116接收光束到该近端118a中，从该远端118b将光束提供给部分透明的显示屏110。扫描组件112进一步包括机械驱动组件120，光纤118被安装到该机械驱动组件120上。驱动组件120被配置为使光纤118的远端118b移位，并且在所示例的实施例中，驱动组件120包括压电元件122，光纤118被安装到该压电元件122上。
[0046] 扫描组件112进一步包括驱动电子器件124，驱动电子器件124被配置为将电信号传送到压电元件122，从而使光纤118的远端118b根据扫描图案振动。因此，光源116和驱动电子器件124的操作以产生这样的图像数据的方式协调进行：该图像数据以在空间和/或时间上变化的光的形式被编码。
[0047] 在所示例的实施例中，压电元件122采取中空管的形式，在这种情况下，光纤118的远端118b穿过压电管122或通过压电管122被接收。光纤118的远端118b作为不固定的柔性悬臂从压电管122突出。压电管122与四个象限电极(未示出)相关联。这些电极例如可以被镀在压电管122的外部、外表面或外周或外径上。芯电极(未示出)也位于管122的核心、中心、内周或内径处。
[0048] 驱动电子器件124经由导线126被电耦合以驱动相对的电极对(未示出)，从而独立地在两个轴上弯曲压电管122。光纤118的突出远端118b具有机械共振模式。共振频率取决于光纤118的直径、长度和材料特性。通过使压电管122在第一机械共振模式附近振动，导致光纤远端118b振动，并且光纤远端118b可以绕支点扫过较大的偏转。或者，可以使压电管122在更高阶的机械共振模式(例如，二阶模式)附近振动，使得光纤远端118b绕支点扫过较小的偏转。
[0049] 通过在两个轴上激励共振，光纤远端118在填充2D扫描的区域中被双轴扫描。通过与光纤远端118b的扫描同步地调制光源116的强度，从光纤118出射的光束形成图像。在序列号为13/915,530、名称为“Multiple Depth Plane Three-Dimensional Display Using A Wave Guide Reflector Array Projector(使用波导反射器阵列投影仪的多深度平面三维显示器)”的美国专利申请中提供了此类设置的描述，该美国专利申请通过引用明确地并入本文中。
[0050] 光学耦合子系统116包括光波导输入装置128，例如一个或多个反射表面、衍射光栅、反射镜、二向色镜、或棱镜，以将光光学耦合到显示屏110的端部。光学耦合子系统116进一步包括使来自光纤118的光准直的准直元件130。可选地，光学耦合子系统116包括光学调制装置(未示出)，该光学调制装置被配置为将来自准直元件130的光会聚到位于光波导输入装置128中心的焦点，从而允许光波导输入装置128的尺寸最小化，如在序列号为62/277,865、名称为“Virtual/Augmented Reality System Having Reverse Angle Diffraction Grating(具有反角度衍射光栅的虚拟/增强现实系统)”的美国临时专利申请中更详细讨论的，该美国临时专利申请通过引用明确地并入本文中。
[0051] 现在参考图6，每个光纤118将偏振保持(PM)光纤的优点与非PM光纤的优点组合起来，以确保保持通过相应光纤118传播的光束的线性偏振，同时保持与扫描设备114相关联的光纤118的部分的机械特性。为此，光纤118包括非PM光纤扫描部132和PM传输光纤部134。传输光纤部132和扫描光纤部134中的每一者通常包括透明芯和围绕该芯的透明包层材料，透明包层材料具有较低的折射率，通过全内反射现象将光保持在芯中，从而使光纤充当波导。
[0052] 在所示例的实施例中，扫描光纤部132包括透明芯136和围绕透明芯136的圆柱形包层138a。包层138a具有圆形对称的折射率，使得光束传播通过扫描光纤部132，而在存在外部应力的情况下不保持光束的线性偏振(参见图7a)。在一个实施例中，除了传输光纤部134包括包层138b之外，传输光纤部134类似于扫描光纤部132，该包层138b具有几何不对称的横截面(例如，在这种情况下是椭圆形)，或者具有圆形不对称的折射率以在光纤中诱发双折射，从而即使在存在外部应力的情况下也能保持传播光束的线性偏振(参见图7b)。在另一实施例中，除了传输光纤部134还包括附加元件140之外，传输光纤部134类似于扫描光纤部132，所述附加元件140由与包层136a不同的材料构成，从而永久地在光纤中引发应力(参见图7c)。
[0053] 在所示例的实施例中，扫描光纤部132相对较短并且固定在扫描设备114内，而传输光纤部134相对较长并且从相应的光源112被路由到扫描设备114。因此，传输光纤部134被光学耦合到相应的光源112，并且扫描光纤部132被耦合到扫描设备114的驱动组件120。扫描光纤部132和传输光纤部134以使得包层激光传输模式最小化的任何适当的方式拼接在一起。
[0054] 由于扫描光纤部132被固定在例如扫描设备114的压电管122内，因此防止了扫描光纤部132上的应力，从而保持通过扫描光纤部132传播的光束的线性偏振。同样地，尽管弯曲力被施加到传输光纤部134，通过传输光纤部134传播的光束的线性偏振仍被保持。
[0055] 因此，显示子系统104产生像素信息的一系列合成图像帧，这些图像帧向用户呈现一个或多个虚拟对象的未失真图像。例如，参考图8，示意性地示出了合成图像帧200，其中单元202a至202m被分成水平行或线204a至204n。帧200的每个单元202可以为单元202所对应的相应像素指定用于多个颜色中的每一个的值和/或指定强度。例如，帧200可以为每个像素指定用于红色206a的一个或多个值，用于绿色206b的一个或多个值以及用于蓝色206c的一个或多个值。值206可以被指定为用于每种颜色的二进制表示，例如，用于每种颜色的相应4位数。帧200的每个单元202可以另外包括指定幅度的值206d。
[0056] 帧200可以包括一个或多个字段(field)，统称为208。帧200可以由单个字段组成。或者，帧200可以包括两个或甚至更多个字段208a至208b。帧200的完整第一字段208a的像素信息可以在完整第二字段208b的像素信息之前被指定，例如，在阵列、有序列表或其它数据结构(例如，记录、链表)中出现在第二字段208b的像素信息之前。假设呈现子系统被配置为处理多于两个字段208a至208b，则第三字段甚至第四字段可以在第二字段208b之后。
[0057] 在序列号为14/212,961、名称为“Display Subsystem and Method(显示子系统和方法)”的美国专利申请以及序列号为14/696,347、名称为“Primary Waveguide Apparatus With Diffraction Element(s)and Subsystem Employing Same(具有衍射元件的主波导装置以及采用该装置的子系统)”的美国专利申请中提供了描述显示子系统的进一步细节，这两个美国专利申请通过引用明确地并入本文中。
[0058] 返回参考图2，虚拟图像生成系统100进一步包括被安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和运动和/或终端用户50的眼睛位置和眼间距离。此类传感器可以包括图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪。
[0059] 例如，在一个实施例中，虚拟图像生成系统100包括头戴式换能器子系统142，该换能器子系统142包括一个或多个惯性换能器以捕捉指示终端用户50的头部54的运动的惯性测量。可以使用这样的装置感测、测量或收集关于终端用户50的头部运动的信息。例如，可以使用这样的装置检测终端用户50的头部54的测量运动、速度、加速度和/或位置。
[0060] 虚拟图像生成系统100进一步包括一个或多个前向相机144，前向相机144可用于捕捉关于终端用户50所处的环境的信息。前向相机144可用于捕捉指示终端用户50相对于该环境和该环境中的特定对象的距离和取向的信息。当戴在头部时，前向相机144特别适合于捕捉指示终端用户50的头部54相对于终端用户50所在的环境和该环境中的特定对象的距离和取向的信息。前向相机144例如可用于检测头部运动、头部运动的速度和/或加速度。例如，前向相机144可用于例如至少部分地基于终端用户50的头部54的取向来检测或推断终端用户50的注意力中心。可以检测到任何方向上的取向(例如，相对于终端用户50的参考帧的上/下、左、右)。
[0061] 虚拟图像生成系统100进一步包括后向相机146的对以跟踪终端用户50的眼睛52的移动、闪烁和焦深。例如，可通过将光投射到终端用户的眼睛并检测至少一些所投射的光的返回或反射来辨别这样的眼睛跟踪信息。在序列号为14/212,961且名称为“Display System and Method(显示系统和方法)”的美国专利申请、序列号为14/726,429且名称为“Methods and Subsystem for Creating Focal Planes in Virtual and Augmented Reality(用于在虚拟和增强现实中产生焦平面的方法和子系统)”的美国专利申请、以及序列号为14/205,126且名称为“System and Method for Augmented and Virtual Reality(用于增强和虚拟现实的系统和方法)”的美国专利申请中提供了讨论跟踪设备的进一步的细节，这些专利申请通过引用被明确地并入本文中。
[0062] 虚拟图像生成系统100进一步包括用户取向检测模块148。用户取向模块148检测终端用户50的头部54的瞬时位置，并且可以基于从传感器接收到的位置数据预测终端用户50的头部54的位置。用户取向模块148还基于从传感器接收到的跟踪数据来跟踪终端用户
50的眼睛52。
50的眼睛52。
[0063] 虚拟图像生成系统100进一步包括可采取多种形式中的任一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器，诸如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))和/或可编程逻辑控制器(PLU)。
[0064] 在所示例的实施例中，虚拟图像生成系统100包括中央处理单元(CPU)150、图形处理单元(GPU)152、以及一个或多个帧缓冲器154。CPU 150控制整体操作，而GPU 152渲染帧(即，将三维场景转换为二维图像)，并将这些帧存储在帧缓冲器154中。尽管未示出，但一个或多个另外的集成电路可以控制将帧读入帧缓冲器154和/或从帧缓冲器154读出帧，以及控制显示子系统104的扫描设备的操作。读入帧缓冲器154和/或从帧缓冲器154中读出例如可以在过度渲染帧的情况下采用动态寻址。虚拟图像生成系统100进一步包括只读存储器(ROM)156和随机存取存储器(RAM)158。虚拟图像生成系统100进一步包括三维数据库160，GPU 152可以从该三维数据库160存取用于渲染帧的一个或多个场景的三维数据。
[0065] 虚拟图像生成系统100的各种处理部件可以物理地被包含在分布式子系统中。例如，如图9a至9d所示，虚拟图像生成系统100包括本地处理和数据模块170，该本地处理和数据模块170诸如通过有线引线或无线连接172可操作地耦接到显示子系统104(包括显示屏110和机械驱动组件120)的一部分和传感器。光源116和驱动电子器件124被包含在本地处理和数据模块170中，在这种情况下，连接172将包括光纤118。本地处理和数据模块172可以以各种配置被安装，诸如固定地附接到框架结构102(图9a)、固定地附接到头盔或帽子56(图9b)、嵌入耳机中、可移除地附接到终端用户50的躯干58(图9c)、或者以腰带耦接式配置可移除地附接到终端用户50的髋部60(图9d)。虚拟图像生成系统100进一步包括远程处理模块174和远程数据储存库176，远程处理模块174和远程数据储存库176例如通过有线引线或无线连接178、180可操作地耦接到本地处理和数据模块170，使得这些远程模块174、176可操作地彼此耦接并且作为资源可用于本地处理和数据模块170。
[0066] 本地处理和数据模块170可以包括高功效处理器或控制器，以及诸如闪速存储器的数字存储器，二者都可用于协助处理、高速缓存和存储从传感器捕捉的数据，和/或使用远程处理模块174和/或远程数据储存库176获取和/或处理的数据，可能在这样的处理或检索之后传递给显示子系统104。远程处理模块174可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。远程数据储存库176可以包括相对大规模的数字数据存储设施，其可以通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块170中存储全部数据并执行全部计算，从而允许从任何远程模块的完全自主的使用。
[0067] 上述各种部件之间的耦接172、178、180可以包括用于提供有线通信或光通信的一个或多个有线接口或端口，或者诸如经由RF、微波和IR用于提供无线通信的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实施方式中，所有通信可以是无线的，光纤118除外。在进一步另外的实施方式中，有线和无线通信的选择可以不同于图9a至9d所示的选择。因此，有线或无线通信的该特定选择不应被视为限制。
[0068] 在所示例的实施例中，显示子系统104的光源116和驱动电子器件104被包含在本地处理和数据模块170中，在这种情况下，连接175将包括光纤118，光纤118用于将这些部件连接到与显示屏110密切关联地定位的机械驱动组件120。用户取向模块148被包含在本地处理和数据模块170中，而CPU 150和GPU 152被包含在远程处理模块174中，但是在替代实施例中，CPU 150、GPU 124或其部分可以被包含在本地处理和数据模块170中。三维数据库160可以与远程数据储存库176相关联。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 投影物镜及波导显示设备 | 2020-05-08 | 460 |
| OCT引导的青光眼手术的方法和系统 | 2020-05-11 | 920 |
| 基于新型偏振体全息光栅的近眼光场显示器 | 2020-05-11 | 223 |
| 一种基于正离焦的近眼显示系统 | 2020-05-11 | 451 |
| 一种近眼显示光学系统及头戴式显示器 | 2020-05-12 | 952 |
| 一种用于飞机训练的头盔显示器 | 2020-05-11 | 519 |
| 用于使用视差信息的3D媒体数据产生、编码、解码和显示的方法和装置 | 2020-05-11 | 706 |
| 一种装沙箱体深水围堰系统 | 2020-05-08 | 701 |
| 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置 | 2020-05-08 | 509 |
| 一种眼部运动装置 | 2020-05-11 | 259 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈