虚拟现实环境内基于注视的对象放置专利检索-交互式应用程序应用软件软件计算机系统电脑零配件专利检索查询-专利查询网

虚拟现实环境内基于注视的对象放置

阅读：267发布：2020-05-11

专利汇可以提供虚拟现实环境内基于注视的对象放置专利检索，专利查询，专利分析的服务。并且一种在现实世界物理环境中操作的头戴式显示器 (HMD)设备被配置有传感器封装，以实现对设备用户的所投影注视与虚拟现实环境中的一位置的相交点的确定，以使得虚拟对象可以以高精度被置于该环境中。可以使用来自传感器封装的数据来应用物理环境的表面重构以确定虚拟世界中用户的查看位置。源自查看位置的注视光线向外被投影，并且光标或类似指示符被呈现在HMD显示器上的光线与虚拟世界最近相交点(诸如虚拟对象、地板/地面)处。响应于用户输入(诸如姿势、语音交互或控件的操纵)，虚拟对象被置于所投影注视光线与虚拟现实环境之间的相交点处。，下面是虚拟现实环境内基于注视的对象放置专利的具体信息内容。

权利要求

1.一种由支持虚拟现实环境的呈现的头戴式显示器(HMD)设备执行的方法，包括：
获得描述与HMD设备的用户邻接的现实世界物理环境的传感器数据；
使用所述传感器数据来重构所述物理环境的几何形状；
使用经重构的几何形状来追踪物理环境中的用户的头部和注视以确定视野和查看位置；
从查看位置向外投影注视光线；
标识所投影注视光线与虚拟现实环境之间的相交点；以及
响应于用户输入将虚拟对象放置在当前视野内的相交点处，
并且其中在所放置的虚拟对象在当前视野边缘处被剪辑的情况下，旋转所投影的注视光线以使得所述虚拟对象不沿视野边缘被剪辑。
2.如权利要求1所述的方法，其特征在于，所述传感器数据包括深度数据，并且进一步包括使用深度传感器来生成所述传感器数据，并应用表面重构技术来重构物理环境几何形状。
3.如权利要求1所述的方法，其特征在于，进一步包括使用立体成像深度分析来生成深度数据。
4.如权利要求1所述的方法，其特征在于，进一步标识所投影注视光线与虚拟现实环境之间最接近HMD设备的相交点。
5.如权利要求1所述的方法，其特征在于，进一步包括展示用于接收用户输入的用户界面(UI)，该UI提供用户控件或者支持姿势识别或语音识别。
6.如权利要求1所述的方法，其特征在于，进一步包括执行所述旋转以使得注视光线被投影通过视野的底部部分。
7.如权利要求1所述的方法，其特征在于，进一步包括在所放置的对象无法被呈现以完全容适在视野内时执行所述旋转。
8.如权利要求1所述的方法，其特征在于，所放置的虚拟对象是支持用户界面或用户体验的交互式元素，其中所述交互式元素是菜单、窗口小程序或通知之一。
9.如权利要求1所述的方法，其特征在于，进一步包括使用位于HMD设备中的一个或多个面向内的传感器来确定注视方向，并且从查看位置沿用户的注视方向投影注视光线。
10.一种能够由物理环境中的用户操作的头戴式显示器(HMD)设备，包括：
一个或多个处理器；
显示器，所述显示器用于向用户呈现虚拟现实环境，所呈现的虚拟现实环境的视野至少部分地取决于用户的头部在物理环境中的姿态而可变；
传感器封装；以及
存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：
使用所述传感器封装为物理环境的至少一部分生成表面重构数据，
使用表面重构数据来动态追踪虚拟现实环境的用户的查看位置，
定位从查看位置沿用户的注视方向投影的光线与当前视野内的虚拟现实环境的一点之间的相交点，以及
操作HMD设备将虚拟对象放置在相交点处，
并且其中在所放置的虚拟对象在当前视野边缘处被剪辑的情况下，旋转所投影的注视光线以使得所述虚拟对象不沿视野边缘被剪辑。
11.如权利要求10所述的HMD设备，其特征在于，进一步包括使用所述传感器封装来动态追踪注视方向。
12.如权利要求10所述的HMD设备，其特征在于，进一步包括用户界面，以及操作HMD设备以响应于对UI的用户输入将虚拟对象放置在相交点处。
13.如权利要求10所述的HMD设备，其特征在于，进一步包括当视野或注视方向改变时动态地重新定位光标。
14.如权利要求10所述的HMD设备，其特征在于，进一步包括使用表面重构数据流水线对所述物理环境进行建模，所述表面重构数据流水线实现一种创建被整合的多个交叠表面的容积方法。
15.如权利要求10所述的HMD设备，其特征在于，进一步包括向下旋转所投影的光线，以使得所放置的虚拟对象在被呈现在显示器上时不被当前视野的上边缘剪辑。
16.一种存储计算机可执行指令的计算机可读存储器，所述计算机可执行指令在由计算机执行时使得所述计算机执行一种用于在位于现实世界环境中的头戴式显示器(HMD)设备的可变视野内呈现虚拟现实环境的方法，所述方法包括以下步骤：
使用来自被纳入HMD设备的传感器封装的数据来a)动态生成现实世界环境的表面重构模型，以及b)生成从HMD设备用户的查看位置投影的注视光线；
使用所述模型来确定虚拟现实环境的视野；
接收来自用户对HMD设备的输入；
响应于接收到的用户输入将虚拟对象放置在视野内注视光线与虚拟现实环境之间的相交点处；以及
确定何时所放置的虚拟对象延伸到视野之外并且响应于所述确定来旋转所述注视光线以使得所述虚拟对象不沿视野边缘被剪辑。
17.如权利要求16所述的计算机可读存储器，其特征在于，进一步包括追踪所述用户的注视方向，从所述查看位置沿所述注视方向投影所述注视光线，以及在视野内所述注视光线与所述虚拟现实环境的相交点处呈现光标。
18.如权利要求16所述的计算机可读存储器，其特征在于，进一步包括按照足以提供不被所放置的虚拟对象妨碍的视野的一部分的角度来旋转所述注视光线。
19.一种包括用于执行如权利要求1-9中的任一项所述的方法的装置的计算系统。

说明书全文

虚拟现实环境内基于注视的对象放置

[0001] 背景

[0002] 诸如头戴式显示器(HMD)系统和手持式移动设备(例如，智能电话、平板计算机等等)之类的虚拟现实计算设备可被配置成向用户显示在用户的视野中和/或设备的相机的视野中的虚拟现实环境。类似地，移动设备可以使用相机取景器窗口来显示这样的信息。

[0003] 提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在用作帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。

[0004] 概述

[0005] 在现实世界物理环境中操作的HMD设备被配置有传感器封装，以实现对设备用户的所投影注视与虚拟现实环境中的一位置的相交点的确定，以使得虚拟对象可以以高精度被置于该环境中。可以使用来自传感器封装的数据来应用物理环境的表面重构以确定虚拟世界中用户的查看位置。源自查看位置的注视光线向外被投影，并且光标或类似指示符被呈现在HMD显示器上的光线与虚拟世界最近相交点(诸如虚拟对象、地板/地面)处。响应于用户输入(诸如姿势、语音交互或控件(例如，按钮或其他用户界面对象)的操纵)，虚拟对象被置于所投影注视光线与虚拟现实环境之间的相交点处。

[0006] 本公开的基于注视的虚拟对象放置可以在各种应用和使用场景中使用，并且使得用户能够通过改变查看位置和/或注视来容易地将虚拟对象定位在虚拟环境中的期望位置处。例如，HMD设备用户可以放置标记以在勘测或地图绘制应用中在虚拟世界地形上指示兴趣点，或者用户可以在虚拟世界中的特定位置处放置虚拟对象(诸如化身和游戏对象)作为游戏场景中玩游戏的一部分。

[0007] 提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。

[0008] 附图简述

[0009] 图1示出一个说明性的虚拟现实环境，在HMD设备的用户的视野内呈现了该虚拟现实环境的一部分；

[0010] 图2示出HMD设备的用户位于其中的说明性现实世界环境；

[0011] 图3示出了从HMD设备的查看位置投影的与虚拟世界中的点相交的说明性注视光线；

[0012] 图4示出了响应于用户输入的虚拟对象被置于相交点；

[0013] 图5示出了在HMD设备用户的视野内在虚拟现实环境中的所投影注视光线的相交点处呈现的光标；

[0014] 图6示出了置于所投影注视光线与虚拟现实环境的相交点处的说明性虚拟对象；

[0015] 图7示出了在HMD设备用户的视野内在虚拟现实环境中的所投影注视光线的相交点处呈现的光标；

[0016] 图8示出了置于所投影注视光线与虚拟现实环境的相交点处的说明性虚拟对象；

[0017] 图9示出了被向下旋转的说明性投影注视光线；

[0018] 图10示出了被向上旋转的说明性投影注视光线；

[0019] 图11示出了被用户视野剪辑的说明性大型虚拟对象；

[0020] 图12示出了使用经旋转的注视光线被置于虚拟世界中的大型虚拟对象从而该对象不会对照视野的上边缘被剪辑；

[0021] 图13示出了被用户视野剪辑的说明性虚拟对象；

[0022] 图14示出了使用经旋转的注视光线被置于虚拟世界中的虚拟对象从而该对象不会对照视野的下边缘被剪辑并且该对象更靠中心地被定位在视野内；

[0023] 图15描绘了正被HMD设备捕捉的与现实世界环境相关联的表面重构数据；

[0024] 图16示出由HMD设备所支持的说明性用户界面以及由HMD传感器封装提供的说明性数据；

[0025] 图17示出了说明性表面重构流水线的框图；

[0026] 图18、19和20是可以使用HMD设备执行的解说性方法的流程图；

[0027] 图21是虚拟现实HMD设备的说明性示例的图形视图；

[0028] 图22示出虚拟现实HMD设备的说明性示例的功能框图；

[0029] 图23和24是可用作虚拟现实HMD设备的组件的解说性封闭面罩的图形前视图；

[0030] 图25示出了在被部分分解时的封闭面罩的视图；

[0031] 图26示出了封闭面罩的幻影线前视图；

[0032] 图27示出了封闭面罩的图形后视图；以及

[0033] 图28示出了示例性计算系统。

[0034] 各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。

[0035] 详细描述

[0036] 用户通常可以通过在对应的现实世界物理环境内移动(例如，通过某种形式的运动)来在由HMD设备所呈现的虚拟现实环境内进行探索、导航和移动。在说明性示例中，如图1所示，用户102可以使用HMD设备104来体验可视地以三维(3D)呈现并在一些实现中可以包括音频和/或触觉/触摸感觉的虚拟现实环境100。在这一特定非限制性示例中，在HMD设备
104上执行的应用支持虚拟现实环境100，它包括具有各种建筑、商店等的城市街道。当如在图2所示那样用户改变他的头部的位置或朝向和/或在物理现实世界环境200内移动时，他的虚拟现实环境100的视图可以改变。(由图1中的虚线区域110表示的)视野可被设定尺寸和形状，并且可以控制该设备的其它特性来使得HMD设备体验可视地沉浸式体验以为用户提供在虚拟世界的强烈存在感。尽管本文示出和描述的是虚拟现实环境，但本文的基于注视的对象放置也可被应用于混合现实环境和场景。

[0037] 在具有HMD设备104的给定用户体验期间，各种新的虚拟对象可以被引入虚拟现实环境。可以被引入的各种对象中的任一者包括：可以与体验相整合的那些对象(诸如化身、地形、标记、标志、建筑物等)、或可以被用于增强或控制体验的那些对象(诸如交互式元素，包括菜单、窗口小程序、通知等)、可以被用于促进HMD设备上支持的给定用户界面或用户体验的那些对象。

[0038] 如图3所示，HMD设备用户的查看位置和/或注视方向可以被用于将虚拟对象放置在HMD显示器上呈现的虚拟世界内。注视光线302从HMD设备104的查看位置被投影。查看位置起源于用户102的两眼之间并且光线302如所示出的在向前方向上进行指向。光线被投射进虚拟现实环境100并且其与虚拟现实环境100的最近相交点304被确定。光标305或其他合适的指示符通常被显示在相交点处。如图4所示，当HMD设备104从用户接收输入402时，设备可以将虚拟对象405放置在相交点处。用户输入402可以根据实现而变动，并且可包括例如感测到的姿势、语音命令或语言输入、对受到HMD设备支持的物理或虚拟控件的操纵等。

[0039] 在一些实现中，注视光线可以被投影，以使得光标可以被呈现在视野110内的某一任意点处。例如，在典型的场景中，光标可以位于视野中心或附近的固定位置处。因为视野和查看位置通常通过追踪用户头部的位置和取向来确定(如下文更详细地描述)，所以用户可以单独使用头部移动来调整视野以将光标定位在虚拟世界中的感兴趣对象上。

[0040] 在替换实现中，HMD设备可以被配置成按照使得光标能够根据用户眼睛的位置被呈现在给定视野内的不同点处的方式来投影注视光线。眼睛位置可以例如使用面向内的传感器来检测，面向内的传感器可以被纳入HMD设备104中。此类眼睛位置检测被称为注视追踪并且在下文更详细地描述。因而，在这些替换实现中，用户可以通过使用头部和眼睛移动的组合来定位光标。例如，用户可以使用头部移动来定位视野内感兴趣的虚拟对象，并且接着使用眼睛移动来将光标置于对象上。

[0041] 在一些情形中，HMD设备还可被配置成向用户提供选项以例如通过分别禁用和启用眼睛追踪在固定光标定位和可变光标定位之间进行选择。例如，相对于视野的固定光标可以适合其中单独头部移动提供了定位光标的有效方式的一些使用场景。在其他使用场景中，头部和眼睛移动的组合可能更有益。一般来说，固定或可变光标定位的利用可使得虚拟对象能够以高精度被置于虚拟世界中。

[0042] 图5示出了在HMD设备用户(为了清楚阐述，未示出用户)的视野110内在虚拟现实环境100中所投影的注视光线的相交点处被呈现的光标305。通常来说，使用与光标到虚拟世界中的用户距离成比例的大小(即，当较靠近时它较大，而较远离时它较小)以3D在HMD设备上动态呈现光标。图6示出了响应于用户输入(诸如姿势、语音命令、或按钮按压)被置于所投影的注视光线与虚拟现实环境的相交点处的说明性虚拟对象605。虚拟对象605旨在是说明性的，并且所呈现的虚拟对象可以在大小、形状以及在视野中的位置方面与所示出的有所不同。

[0043] 图7示出在所投影的光线与包括具有滚动、波浪和高山地形的户外景色的虚拟现实环境700之间的相交点处被呈现的光标305的另一说明性示例。图8示出了被置于相交点处的示例性虚拟对象，标志805。

[0044] 在典型的实现中，HMD设备104的视野110可以相对受限。相应地，存在虚拟对象被引入虚拟现实环境700但未容适进用户视野或者在视野边缘处被剪辑的可能性。当用户与例如相对较大的虚拟对象交互(这可导致用户的不舒适和/或降低用户体验的质量)时，这种情况可能发生。在其他情景中，给定虚拟对象可以按照致使对照视野边缘的剪辑的方式从相交点延伸，和/或当虚拟对象被更靠中心地放置在视野内时用户体验可以更有效。

[0045] 相应地，在一些实现中，HMD设备104可以被配置成旋转来自原始投影的从查看位置的注视光线。此类旋转可以一般地在任何方向(例如，左、右、上、下或其组合)上执行以适合给定使用情形，并且旋转角度可以改变。如图9中说明性地示出的，旋转可以向下执行(在图9中，原始注视光线由参考标号905指示，且经旋转的注视光线由参考标号910指示)。如图10中说明性地示出的，旋转可以向上执行(在图10中，原始注视光线由参考标号1005指示，且经旋转的注视光线由参考标号1010指示)。

[0046] 图11示出了在被置于原始注视光线905(图9)与虚拟现实环境700的相交点处时相对较大并且对照视野110的顶部被剪辑的说明性虚拟对象1105。作为比较，图12示出在被置于经向下旋转的注视光线910与虚拟现实环境700的相交点处的虚拟对象1105。在典型的实现中，所投影的光线被向下旋转得足以被投射通过视野100的底部部分。如所示出的，在视野中存在多得多的空间，并且虚拟对象110不再对照视野110的上边缘被剪辑。

[0047] 图13示出了被布置为从原始注视光线1005(图10)与虚拟现实环境700中的云的相交点向下悬挂的横幅的说明性虚拟对象1305。如所示出的，对象1305在视野110的下边缘被剪辑，并且横幅(如由几何形状表示)上的内容的各部分在视野之外。当在视野底部查看时该内容也无法被有效地呈现，并且在一些情形中还可导致用户不舒适。作为比较，图14示出在被置于经向上旋转的注视光线1010与虚拟现实环境700的相交点处的虚拟对象1305。如所示出的，该虚拟对象不再对照视野110的下边缘被剪辑，并且横幅内容被更靠中心地置于视野中，这可增加用户体验的有效性并且在一些情景中提升用户舒适度。

[0048] 如图15所示，HMD设备104被配置为通过使用集成传感器封装1500来感测物理环境200内的用户位置来获得表面重构数据1505。所述传感器封装，如下更加详细地描述，可以包括深度传感器或深度-感测相机系统。在替换实现中，可以使用合适的立体图像分析技术来导出深度数据。

[0049] 如图16所示，传感器封装1505可以支持包括表面重构1610的各种功能。例如可以将表面重构用于头部追踪以确定在物理现实世界环境200内的用户头部的3D(三维)位置和取向1615(包括头部姿势)，从而可以确定虚拟世界的查看位置。传感器封装还可以支持注视追踪1620以查明用户注视的方向1625，用户注视的方向1625可以与头部位置和取向数据一起使用。HMD设备104可以被进一步配置为展示可以显示系统消息、提示等等的用户界面(UI)1630，以及展示用户可以操纵的控件。所述控件在一些情况中可以是虚拟或物理的。UI 1630还可以被配置为使用例如语音命令或自然语言与所感测的手势和语音一起操作。

[0050] 图17示出用于获得现实世界环境200的表面重构数据的说明性表面重构数据流水线1700。需要强调的是所公开的技术是说明性的，并且根据特定实现的要求可以使用其它技术和方法。原始深度传感器数据1702被输入到传感器的3D(三维)姿势估计中(框1704)。传感器姿势跟踪可以例如使用在预期表面和当前传感器测量之间的ICP(迭代最近点)算法来实现。传感器的每个深度测量可以使用例如被编码为符号距离场(SDF)的表面被整合(框
1706)到容积表示中。使用循环，SDF被光线投射(框1708)入所估计的系中以提供所述深度图与之对齐的密集表面预测。因而，当用户102环顾虚拟世界时，与现实世界环境200相关联的表面重构数据可以被收集并且被分析以确定用户头部的位置和取向。

[0051] 图18、19和20是说明性方法的流程图。除非明确说明，否则流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或顺序。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。

[0052] 图18中示出的方法1800可由支持虚拟现实环境的呈现的HMD设备来执行。在步骤1805，获得描述与HMD设备的用户邻接的现实世界物理环境的传感器数据。传感器数据可包括例如使用集成在HMD设备中的深度传感器的深度数据，或者可从外部传感器或源中获得。
来自立体成像分析的深度也可被用来创建深度数据。在步骤1810，传感器数据被用来例如使用表面重构来重构物理环境的几何形状。

[0053] 在步骤1815，物理环境的经重构的几何形状被用来执行对用户头部的追踪以确定虚拟现实环境的当前视野和查看位置。在步骤1820，注视光线从查看位置沿用户注视方向被投影。注视检测还可例如使用被纳入传感器封装1505(图15)的面向内的传感器来实现。

[0054] 在步骤1825，标识所投影的注视光线与虚拟现实环境之间的相交点。在步骤1830，HMD设备展示用户界面并且用户输入被接收。用户界面可以根据给定实现的需要来配置，并且可包括可以由用户操纵的物理或虚拟控件并且在一些情形中可支持语音和/或姿势。在步骤1835，在一些情形中，例如，当虚拟对象如此之大从而其无法容适在视野内，所投影光线可以被向下旋转以阻止一些虚拟对象(例如，大型虚拟对象)沿视野上边缘的剪辑。在一些情形中，经旋转的投影光线被投射通过视野的底部部分。在步骤1840，响应于用户输入，虚拟对象可以被置于相交点处。

[0055] 图19中示出的方法1900可以由HMD设备来执行，HMD设备具有一个或多个处理器、用于使用可变视野来呈现混合现实环境的显示器、传感器封装、以及存储计算机可读指令(诸如可以被用于实现该方法的软件代码)的一个或多个存储器设备。在步骤1905，使用被纳入HMD设备中的可包括深度传感器或相机系统的传感器封装来生成表面重构数据。在步骤1910，表面重构数据被用于动态地追踪用户在虚拟现实环境的查看位置。可利用各种合适的表面重构技术，包括图17中的流水线中示出的其中多个交叠的表面被整合的表面重构技术。

[0056] 在步骤1915，传感器封装被用于例如使用面向内的传感器来动态地追踪用户注视方向。在步骤1920，从查看位置沿用户注视方向被投影的光线与视野内的虚拟现实环境中的点之间的相交点被定位。在步骤1925，HMD设备被操作用于在所定位的相交点处呈现光标。呈现通常被动态地执行以使得当用户移动并且视野和注视方向改变时，虚拟现实环境中的光标位置被更新。在其中被放置的虚拟对象将在视野中被剪辑的一些情形中，在步骤1930，所投影的光线可以被向下旋转以使得当该对象被置于经旋转光线与虚拟实现环境的相交点处时该对象不会被当前视野的上边缘剪辑。在步骤1935，HMD设备被操作用于在所定位的相交点处放置虚拟对象。在典型的实现中，放置是响应于对由HMD设备展示的UI的用户输入来执行的。

[0057] 图20中的方法2000可以由存储在HMD设备中的指令来执行，HMD设备在现实世界环境中操作并且具有呈现虚拟现实环境的显示器。在步骤2005，使用来自HMD设备板上的传感器封装的数据来动态生成现实世界环境的表面重构模型。该模型可随着用户在现实世界环境内移动例如在逐帧或其他合适的基础上被更新。在步骤2010，来自传感器封装的数据被用于生成从用户的查看位置沿用户注视方向被投影的注视光线。

[0058] 在步骤2015，当前表面重构模型被用于确定虚拟现实环境的用户当前视野。在步骤2020，光标被呈现在所投影的注视光线与虚拟现实环境之间的相交点处。在步骤2025，用户输入在例如由HMD设备展示的UI处被接收。在步骤2030，如果所放置的虚拟对象延伸到视野之外，所投影的注视光线可以被向下旋转。在一些实现中，旋转度数足以使得按照在该虚拟对象上方的视野中的空间不被妨碍的方式来放置该虚拟对象。在步骤2035，响应于接收到的用户输入将虚拟对象放置在相交点处。

[0059] 现转至各说明性实现细节，根据本布置的虚拟现实或混合现实显示设备可以采用任何合适的形式，包括但不限于诸如HMD设备104和/或其它便携式/移动设备之类的近眼设备。图21示出了透视混合现实显示系统2100的一个特定说明性示例，而图22显示了系统2100的功能框图。然而，要强调的是，尽管在一些实现中可以使用透视显示器，但在其它实现中使用例如基于相机的穿透或面向外的传感器的不透明(即非透视)显示器可以被使用。

[0060] 显示系统2100包括形成透视显示子系统2104的一部分的一个或多个透镜2102，以便图像可以使用透镜2102(例如，使用到透镜2102上的投影、并入透镜2102中的一个或多个波导系统和/或以任何其他合适的方式)来显示。显示系统2100进一步包括被配置成获取正在被用户查看的背景场景和/或物理环境的图像的一个或多个面向外的图像传感器2106，并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒2108。面向外的图像传感器2106可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替换安排中，如上所述，代替合并透视显示子系统，虚拟现实或混合现实显示系统可以通过面向外的图像传感器的取景器模式来显示混合现实图像。

[0061] 显示系统2100还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统2110，如上文所描述的。注视检测子系统2110可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如，在所示的说明性示例中，注视检测子系统2110包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源2112(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器2114(诸如面向内的传感器)。根据使用(诸)图像传感器2114收集的图像数据所确定的用户眼球的闪烁和/或用户瞳孔的位置中变化可以用于确定注视方向。

[0062] 此外，从用户眼睛投射的注视线与外部显示器交叉的位置可以用于确定用户注视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。注视检测子系统2110可以具有任何合适数量和布置的光源以及图像传感器。在一些实现中，可以省略注视检测子系统2110。

[0063] 显示系统2100还可以包括附加传感器。例如，显示系统2100可以包括全球定位系统(GPS)子系统2116，以允许确定显示系统2100的位置。这可以帮助标识可以位于用户的毗邻物理环境中的现实世界的对象(诸如建筑物等等)。

[0064] 显示系统2100还可以包括一个或多个运动传感器2118(例如惯性、多轴陀螺仪或加速度传感器)，以在用户戴着作为增强现实HMD设备的部分的所述系统时检测用户头的移动和位置/朝向/姿势。运动数据可以潜在地与眼睛跟踪闪烁数据和面向外的图像数据一起被使用来用于注视检测以及用于图像稳定化，以帮助校正来自(诸)面向外图像传感器2106的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪，即使不能解析来自(诸)面向外的图像传感器2106的图像数据。

[0065] 另外，运动传感器2118，以及话筒2108和注视检测子系统2110，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及在一些情况中通过语音命令，与显示系统2100进行交互。可以理解，图21和22中所示出的并在附随的文本中描述的传感器只是出于示例的目的被包括，而不旨在以任何方式作出限制，因为可以使用任何其他合适的传感器和/或传感器的组合来满足增强现实HMD设备的特定实现的需求。例如，生物特征传感器(例如用于检测心脏和呼吸速率、血压、大脑活动、体温等)或环境传感器(例如用于检测温度、湿度、海拔、UV(紫外线)光等级等)可以在一些实现中被使用。

[0066] 显示系统2100可以进一步包括通过通信子系统2126与传感器、注视检测子系统2110、显示子系统2104，和/或其他组件进行通信的具有逻辑子系统2122和数据存储子系统
2124的控制器2120。通信子系统2126还可以便利于显示系统与位于远程的资源，例如处理、存储、功率、数据和服务结合操作。就是说，在一些实现中，HMD设备可以被作为一种系统的部分来操作，该系统可以在不同的组件和子系统间分布资源和能力。

[0067] 存储子系统2124可以包括存储在其上的指令，这些指令能被逻辑子系统2122执行例如用以：接收并解释来自传感器的输入、标识用户的移动、使用表面重构和其它技术标识真实对象，以及基于到对象的距离模糊/淡出所述显示以便允许所述对象被用户看到，以及其它任务。

[0068] 显示系统2100被配置有一个或多个音频换能器2128(例如扬声器、耳机等)，这样，音频可以被用作增强现实体验的部分。功率管理子系统2130可以包括一个或多个电池2132和/或保护电路模块(PCMs)以及相关联的充电接口2134和/或用于对显示系统2100中的组件供电的远程电源接口。

[0069] 可以理解，所描绘的显示设备104和2100是出于示例的目的描述的，并由此不旨在是限制性的。进一步理解，显示设备可包括除所示出的那些之外的额外的和/或替代的传感器、相机、话筒、输入设备、输出设备等等，而不会背离本安排的范围。另外，显示设备及其各种传感器和子组件的物理配置可以采取各种不同的形式，而不会背离本安排的范围。

[0070] 图23-27示出可被用作HMD设备的组件的虚拟或混合现实显示系统2300的说明性替换实现。在该示例中，系统2300使用透视密封面罩2302，该密封面罩2302被配置成保护透视显示子系统所利用的内部光学器件组装件。面罩2302通常与HMD设备的其他组件(未示出)对接，其他组件为诸如头部安装/维持系统和其他子系统(包括传感器、电源管理、控制器等)，如结合图21和22说明性地描述的。包括卡扣、夹箍、螺钉和其他紧固件等的合适接口元件(未示出)也可被纳入在面罩2302中。

[0071] 面罩分别包括透视前护罩2304和透视后护罩2306，透视前护罩2304和透视后护罩2306可使用透明材料来建模以促成到光学显示器和周围的现实世界环境的未经遮挡的视觉。可向前护罩和后护罩应用诸如染色、映射、抗反射、抗雾和其他涂覆之类的处理，并且还可利用各种色彩和饰面。前护罩和后护罩被固定到底座2405，如图24中的部分剖视图中所描绘的，其中护罩盖2410被示出为与面罩2302分解。

[0072] 密封面罩2302可在HMD设备被佩戴并在操作中被使用时，以及在正常处理以用于清理等器件物理地保护敏感的内部组件，包括光学器件显示子部件2502(在图25中的分解视图中示出的)。面罩2302还可保护光学器件显示子部件2502远离各环境元件，并在HMD设备被掉落或撞击、被碰撞等情况下免遭损坏。光学器件显示子部件2502按使得各护罩在掉落或碰撞之际被偏转时不接触该子部件的方式被安装在封闭面罩内。

[0073] 如图25和27所示，后护罩2306按人体工程学上正确的形式被配置成与用户的鼻子和鼻托2704(图27)对接，并且可包括其他舒适特征(例如，作为分立组件来建模和/或添加)。在一些情况下，封闭面罩2302还可将某一水平的光学屈光度曲率(即，眼睛处方)纳入成型的护罩中。

[0074] 图28示意性地示出了在实现以上描述的配置、布置、方法和过程中的一者或多者时可使用的计算系统2800的非限制性实施例。HMD设备104可以是计算系统2800的一个非限制性示例。计算系统2800以简化形式示出。可理解，可以使用实际上任何计算机架构，而不偏离本布置的范围。在不同的实施例中，计算系统2800可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。

[0075] 计算系统2800包括逻辑子系统2802和存储子系统2804。计算系统2800可任选地包括显示子系统2806、输入子系统2808、通信子系统2810和/或在图28中未示出的其他组件。

[0076] 逻辑子系统2802包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统2802可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。

[0077] 逻辑子系统2802可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统2802可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统2802的处理器可以是单核或多核的，而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统2802可任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统2802的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

[0078] 存储子系统2804包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子系统2802可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子系统2804的状态可以被变换(例如，以保持不同的数据)。

[0079] 存储器子系统2804可包括可移动介质和/或内置设备。存储子系统2804可包括光学存储器设备(例如，CD(压缩盘)、DVD(数字多功能盘)、HD-DVD(高清DVD)、蓝光盘等)、半导体存储器设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除ROM)等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM(磁致电阻RAM)等)等等。存储子系统2804可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。

[0080] 可领会，存储子系统2804包括一个或多个物理设备，并排除传播信号自身。然而，在一些实现中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本布置有关的数据和/或其他形式的信息可以通过纯信号来传播。

[0081] 在一些实施例中，逻辑子系统2802和存储子系统2804的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。

[0082] 在被包括时，显示子系统2806可用于呈现由存储子系统2804保存的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于目前描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统2806的状态以视觉地表示底层数据的改变。显示子系统2806可包括使用几乎任何类型的技术的一个或多个显示设备。在一些情况下，可将此类显示设备与逻辑子系统2802和/或存储子系统2804一起组合在共享封装中，或者在其他情况下，此类显示设备可以是外围触摸显示设备。

[0083] 在包括输入子系统2808时，输入子系统2808可包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，且输入动作的转导和/或处理可以在板上或板外被处理。示例性NUI组件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。

[0084] 在包括通信子系统2810时，通信子系统2810可以被配置成将计算系统2800与一个或多个其他计算设备通信耦合。通信子系统2810可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统2800使用诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。

[0085] 本发明的在虚拟现实环境内的基于注视的对象放置的各示例性实施例是通过说明的方式而不是作为所有实施例的穷尽性列表来提出的。一示例包括一种由支持虚拟现实环境的呈现的头戴式显示器(HMD)设备执行的方法，包括：获得描述与HMD设备的用户邻接的现实世界物理环境的传感器数据；使用所述传感器数据来重构所述物理环境的几何形状；使用经重构的几何形状来追踪物理环境中的用户的头部和注视以确定视野和查看位置；从查看位置向外投影注视光线；标识所投影注视光线与虚拟现实环境之间的相交点；以及响应于用户输入将虚拟对象放置在当前视野内的相交点处。

[0086] 在另一示例中，传感器数据包括深度数据，并且进一步包括使用深度传感器来生成该传感器数据，并应用表面重构技术来重构所述物理环境几何形状。在另一示例中，该方法进一步包括使用通过立体成像的深度分析来生成深度数据。在另一示例中，该方法进一步包括标识所投影注视光线与虚拟现实环境之间最接近HMD设备的相交点。在另一示例中，该方法进一步包括展示用于接收用户输入的用户界面(UI)，该UI提供用户控件或者支持姿势识别或语音识别。在另一示例中，该方法进一步包括旋转所投影的注视光线以使得所放置的虚拟对象不沿视野边缘被剪辑。在另一示例中，该方法进一步包括执行旋转以使得注视光线被投影通过视野的底部部分。在另一示例中，该方法进一步包括在所放置的对象无法被呈现以完全容适在视野内时执行旋转。在另一示例中，所放置的虚拟对象是支持用户界面或用户体验的交互式元素，其中交互式元素是菜单、窗口小程序或通知之一。在另一示例中，该方法进一步包括使用位于HMD设备中的一个或多个面向内的传感器来确定注视方向，并且从查看位置沿用户的注视方向投影注视光线。

[0087] 又一示例包括一种能由物理环境中的用户操作的头戴式显示器(HMD)设备，包括：一个或多个处理器；显示器，所述显示器用于向用户呈现虚拟现实环境，所呈现的虚拟现实环境的视野至少部分地取决于用户的头部在物理环境中的姿态而可变；传感器封装；以及存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：使用所述传感器封装为物理环境的至少一部分生成表面重构数据，使用表面重构数据来动态追踪虚拟现实环境的用户的查看位置，定位从查看位置沿用户的注视方向投影的光线与当前视野内的虚拟现实环境的一点之间的相交点，以及操作HMD设备在相交点处呈现光标。

[0088] 在另一示例中，该头戴式显示器(HMD)设备进一步包括使用传感器封装来动态追踪注视方向。在另一示例中，该头戴式显示器(HMD)设备进一步包括用户界面，以及操作HMD设备响应于对UI的用户输入将虚拟对象放置在相交点处。在另一示例中，该头戴式显示器(HMD)设备进一步包括当视野或注视方向改变时动态重新定位光标。在另一示例中，该头戴式显示器(HMD)设备进一步包括使用表面重构数据流水线对物理环境进行建模，该表面重构数据流水线实现一种创建被整合的多个交叠表面的容积方法。在另一示例中，该头戴式显示器(HMD)设备进一步包括向下旋转所投影的光线，以使得所放置的虚拟对象在被呈现在显示器上时不会被当前视野的上边缘剪辑。

[0089] 又一示例包括存储计算机可执行指令的一个或多个计算机可读存储器，这些指令用于在头戴式显示器(HMD)设备的可变视野内呈现虚拟现实环境，该HMD设备位于现实世界环境中，该方法包括以下步骤：使用来自被纳入HMD设备的传感器封装的数据来a)动态生成现实世界环境的表面重构模型，以及b)生成从HMD设备用户的查看位置投影的注视光线；使用该模型来确定虚拟现实环境的视野；从用户接收对HMD设备的输入；以及响应于接收到的用户输入将虚拟对象放置在视野内注视光线与虚拟现实环境之间的相交点处。

[0090] 在另一示例中，该一个或多个计算机可读存储器进一步包括：追踪用户的注视方向，从查看位置沿注视方向投影注视光线，以及将光标呈现在视野内注视光线与虚拟现实环境之间的相交点处。在另一示例中，该一个或多个计算机可读存储器进一步包括确定何时所放置的虚拟对象延伸到视野之外并且响应于该确定来旋转注视光线。在另一示例中，该一个或多个计算机可读存储器进一步包括按照足以提供不被所放置的虚拟对象妨碍的视野的一部分的角度来旋转注视光线。

[0091] 尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

标题	发布/更新时间	阅读量
业务办理方法及装置	2020-05-08	849
一种基于代码动态分析的移动应用源代码安全审计系统	2020-05-08	233
实现远程终端单元网络的方法和装置	2020-05-11	574
检测和响应交互式视频内容的展示	2020-05-12	451
一种基于仿真软件Simulink实时扩展RTX的飞行器实时仿真程序的编程方法	2020-05-13	222
用于规划程序的图形用户界面	2020-05-13	309
一种智能化线上线下互动教育系统及教育方法	2020-05-13	493
对象插入	2020-05-13	674
对话交互方法、装置及电子设备	2020-05-14	901
交互式白板共享	2020-05-08	572

虚拟现实环境内基于注视的对象放置

虚拟现实环境内基于注视的对象放置

该功能需要专业版企业版VIP权限，您可以：