改进的虚拟对象的激活
阅读：210发布：2020-05-11
专利汇可以提供改进的虚拟对象的激活专利检索，专利查询，专利分析的服务。并且一种VR设备(110)，包括 控制器 (910)，被设置成：呈现包括至少一个与手势相关的虚拟对象(130)的 虚拟现实 空间(120)，该手势用于执行与所述虚拟对象(130)相关的动作；确定虚拟对象(130)在视线(LOV)中；并且提供虚拟对象(130)的图形标记(140)；其中图形标记包括相关手势的表示。，下面是改进的虚拟对象的激活专利的具体信息内容。
1.一种VR设备(110)，包括控制器(910)，被设置成：
呈现包括至少一个与手势相关的虚拟对象(130)的虚拟现实空间(120)，所述手势用于执行与所述虚拟对象(130)相关的动作；
确定虚拟对象(130)在视线(LOV)中；以及
提供虚拟对象(130)的图形标记(140)；其中图形标记包括相关手势的表示。
2.根据权利要求1所述的VR设备(110)，其中所述控制器(910)还被设置成提供虚拟对象(130)的所述图形标记(140)；作为变形为相关手势的表示。
3.根据权利要求1或2所述的VR设备(110)，其中所述控制器(910)还被设置成确定虚拟对象(130)的视线内的虚拟对象是否落在视线的角度内。
4.根据前述任一权利要求所述的VR设备(110)，其中所述控制器(910)还被设置成提供被追踪对象(150)的透视图(155)，所述透视图(155)被包括在虚拟对象(130)的图形标记(140)中。
5.根据权利要求4所述的VR设备(110)，其中所述控制器(910)还被设置成将手势的表示(140)与透视图(155)叠加。
6.根据权利要求4或5所述的VR设备(110)，其中所述控制器(910)还被设置成提供所述透视图(155)作为视线(LOV)中的虚拟对象(130)的图形表示。
7.根据权利要求1至4中任一项所述的VR设备(110)，其中所述控制器(910)还被设置成在标记(140)的一侧提供手势的表示。
8.根据前述任一权利要求所述的VR设备(110)，所述VR设备还包括摄像头(180)，其中所述控制器(910)还被设置成激活摄像头(180)来响应确定虚拟对象(130)在视线(LOV)中。
9.根据前述任一权利要求所述的VR设备(110)，其中当不引用权利要求8时VR设备(110)还包括摄像头(180)，其中所述控制器(910)还被设置成确定相关手势的类型，并根据相关手势的类型来适配摄像头(180)的分辨率。
10.根据前述任一权利要求所述的VR设备(110)，其中当不引用权利要求8或9时VR设备(110)还包括摄像头(180)，其中当不引用权利要求9时所述控制器(910)还被设置成确定相关手势的类型，其中所述控制器(910)还被设置成根据相关手势的类型来适配摄像头(180)的帧速率。
11.根据前述任一权利要求所述的VR设备(110)，其中所述VR设备(110)被设置成附接到VR显示设备(170)。
12.根据权利要求11所述的VR设备(110)，其中所述VR显示设备(170)是智能手机(171)。
13.根据权利要求1至10中任一项所述的VR设备(110)，其中所述VR设备(110)是智能手机(170/171)。
14.根据权利要求1至10中任一项所述的VR设备(110)，其中所述VR设备(110)包括虚拟现实眼镜或增强现实眼镜。
15.根据前述任一权利要求所述的VR设备(110)，其中所述虚拟现实空间与增强现实或混合现实有关。
16.一种用于VR设备(110)的方法，所述方法包括：
呈现包括至少一个与手势相关的虚拟对象(130)的虚拟现实空间(120)，所述手势用于执行与所述虚拟对象(130)相关的动作；
确定虚拟对象(130)在视线(LOV)中；以及
提供虚拟对象(130)的图形标记(140)；其中图形标记包括相关手势的表示。
17.一种计算机可读存储介质(1000)，编码有指令(1001)，当在控制器中被加载并执行时，执行根据权利要求16所述的方法。
改进的虚拟对象的激活
技术领域
[0001] 本申请涉及用于提供改进的虚拟对象的激活的方法、计算机可读介质和设备，尤其涉及用于在增强现实、虚拟现实或混合现实中激活虚拟对象的方法、计算机可读介质和设备，用于提供基于非触摸手势的用户界面。
背景技术
[0002] 自1970年代末以来，虚拟现实或VR便广为人知，并且业已提出了许多关于如何提供用户输入的解决方案，包括穿戴特殊的手套或按键，尤其用于操纵(例如当选择和激活虚拟对象时)。此类系统的一些示例提议使用运动传感器(例如，加速度计和/或陀螺仪)来确定用户的头部的移动，从而追踪用户在虚拟现实中正在观察什么。
[0003] 不过，由于用户的头部用于输入，而虚拟现实通常比实例在某一时间所显示的包含和包括更多的内容，并且由于虚拟现实通常包括许多可能都与不同功能和手势相关的对象，用户经常感到困惑，并发现至少在进行大量训练之前，难以操纵此类系统并选择和执行正确的或所需的功能。
[0005] 本申请的教导的一个目的在于通过提供一种VR设备来克服上文所列的问题，所述VR设备包括控制器，所述控制器被设置成：呈现虚拟现实空间，所述虚拟现实空间包括至少一个与手势相关的虚拟对象，用于执行与所述虚拟对象相关的动作；确定虚拟对象在视线中；以及提供虚拟对象的图形标记；其中图形标记包括相关手势的表示。
[0006] 通过提供关于什么手势与什么图标相关的表示从而可以快速且准确地给出命令，使得所述VR设备能够便于人类感知。
[0007] 在一个实施例中，控制器进一步被设置成提供透视图。透视图提示并指示用户输入手势，并且还提供对所作手势的(实时)反馈。
[0008] 在一个实施例中，VR设备包括移动通信终端，例如智能手机。在一个实施例中，VR设备包括互联网平板电脑或(笔记本)电脑。在一个实施例中，VR设备包括游戏控制台。在一个实施例中，VR设备包括例如电视机或媒体系统的媒体设备。在一个实施例中，VR设备包括一副增强现实或虚拟现实眼镜。
[0009] 本申请的教导的另一目的在于通过提供一种用于包括显示器的VR设备的方法来克服上文所列的问题，所述方法包括呈现虚拟现实空间，所述虚拟现实空间包括至少一个与手势相关的虚拟对象，用于执行与所述虚拟对象相关的动作；确定虚拟对象在视线中；以及提供虚拟对象的图形标记；其中图形标记包括相关手势的表示。
[0010] 本申请的教导的另一个目的在于通过提供一种计算机可读介质来克服本文中列出的问题，所述计算机可读介质包括指令，当所述指令被载入并由VR设备中的控制器(例如处理器)执行时，导致执行本文所述的方法。
[0011] 在创造性和深刻的推理之后，本发明的发明人已经认识到，通过将相关手势的图形表示作为可选虚拟对象的标记，可能连同手势的动画(通过图像变换/变形)和手势的反馈(通过透视图)，极大地便利了用户的感知，使用户能够将虚拟对象(例如图标)与手势相关联，了解如何作出手势并接收其手势的反馈而不会冒失去焦点的风险或在其相关手势方面将一个图标与另一个图标相混淆的风险。用户也没有被迫看显示器的不同区域或部分来感知相同数量的信息。此外，不需要书面文本，这减少了对光学或处方眼镜的需求(在穿戴VR眼镜时有时是个问题)。
[0012] 另外，本文教导的理念节省了显示空间。
[0013] 此外，本文教导的理念减少了VR设备的功耗和电力需求。
[0014] 应当明确指出的是，所提出的解决方案的简单性和优雅性是本发明的核心，并且提供了极大便于人类感知的用户界面。
[0015] 本申请中教导的理念还可适用于增强现实和混合现实。为了本申请的目的，虚拟现实因此会被认为也包括增强现实和混合现实。
[0017] 所有提及“一个(a)/一个(an)/所述(the)[元件、设备、组件、装置、步骤等]”之处应被开放地解释为是指至少一个个体的元件、设备、组件、装置、步骤等，除非另有明确说明。除非明确说明，否则不必以所公开的确切顺序执行本文公开的任何方法的步骤。
附图说明
[0018] 将结合附图进一步详细描述本发明，其中：
[0019] 图1示出了被设置成根据本文教导进行操作的VR设备的操作的示例性实施例；
[0020] 图2示出了被设置成根据本文教导进行操作的VR设备的操作的示例性实施例；
[0021] 图3示出了被设置成根据本文教导进行操作的VR设备的操作的示例性实施例；
[0022] 图4A和图4B示出了被设置成根据本文教导进行操作的VR设备的操作的示例性实施例；
[0023] 图5A、5B和5C示出了被设置成根据本文教导进行操作的VR设备的操作的示例性实施例；
[0024] 图6A、6B、6C和6D示出了由被设置成根据本文教导进行操作的VR设备完成的所选虚拟对象的形态的示例性实施例；
[0025] 图6E示出了提供成功接收的与由被设置成根据本文教导进行操作的VR设备完成的所选虚拟对象相关的手势的反馈的示例性实施例；
[0026] 图7A、7B、7C、7D和7E示出了由被设置成根据本文教导进行操作的VR设备完成的所选虚拟对象的呈现的示例性实施例；
[0027] 图8示出了被设置成根据本文教导进行操作的VR设备的操作的示例性实施例；
[0028] 图9A是根据本文教导的VR设备的示意图；
[0029] 图9B是根据本文教导的VR设备的组件的示意图；
[0030] 图10是根据本文教导的计算机可读存储器的示意图；和
[0031] 图11示出了流程图，示出根据本文教导的实施例的一般方法。
具体实施方式
[0032] 现在将在下文中结合附图更全面地描述所公开的实施例，在附图中示出了本发明的某些实施例。不过，本发明可以以许多不同的形式来体现，并且不应被解释为限于本文所述的实施例；相反，这些实施例通过示例的方式提供，使得本公开内容透彻并完整，并将本发明的范围充分传达给本领域技术人员。相同的附图标记贯穿全文表示相同的元件。
[0033] 下面将结合附图公开选择和激活对象的改进方式。将以集中在虚拟现实中的虚拟对象的操纵为例来说明示例，但应当清楚的是，处理部分或全部在包括控制器的VR设备(如在本文结合图9A和9B所公开)中进行，或通过执行存储在如结合图10所公开的计算机可读介质上的指令来进行。
[0034] 图1示出了VR系统100的操作的示例性实施例，VR系统100包括被设置成根据本文教导进行操作的VR设备110，其中VR设备110被设置成呈现虚拟现实(VR)。如上文所述，对于本申请的上下文来说，虚拟现实、增强现实和混合现实之间不会有任何区别，它们都会被称为虚拟现实。
[0035] 虚拟现实被呈现为VR空间120。VR空间120没有物理尺寸(除了作为正在使用的显示设备上的显示器之外)，因此用虚线表示。应当理解，显示空间中的虚拟现实比所示出的要大，实际上它全部包含，而所呈现的部分仅是匹配用户当前视野(FOV)的部分。
[0036] 虚拟现实包括一个或多个虚拟对象130，而在图1的示例中，显示了三个这样的虚拟对象130A-C，但应当注意的是，可以在任何时间显示任何数量的对象(包括零个)。对象130可以与功能相关联。功能可以是例如打开或激活文件，或者可以是执行特定动作。贯穿本文会使用的一个示例是表示与播放媒体文件的功能相关的图标的虚拟对象。本领域技术人员会理解，实际对象以及可能相关的功能的可能组合和变型的数量太大，以致于不能在专利申请中充分公开，任何这样的尝试都会给申请人造成不当的负担。
[0037] 用户当然是在VR空间中沿特定或一般方向看，而此方向在下文中将被称为用户的视线(LOV)。视线可以通过追踪用户的眼睛移动或作为直接面向VR空间的一般方向来确定。用户因此可以通过看向或靠近图形对象130来选择图形对象130。在一个实施例中，VR设备被设置成仅选择和标记正在看的虚拟对象。在所述实施例中，视线可被认为具有0.5度、1度、1.5度、2度、3度、4度或高达5度的窄角。
[0038] 在一个实施例中，VR设备被设置成选择和标记用户正在看的附近地区或区域中的任何虚拟对象。在所述实施例中，视线可被认为具有5度、10度、15度、20度、25度或高达30度的窄角。
[0039] 视线的角度在不同的维度也可能是不同的，以对应显示空间120的维度。可替换或可附加地，可以将这样的区域在空间上限制至例如视线的中间5％、10％、15％、或20％。可以图形化标记所述区域，以使用户能够更容易指引它，尽管代价是标记可能搅乱视野。VR设备可被设置成仅将标记示为可选择的虚拟对象靠近区域或在区域内。
[0040] 在图2的示例中，用户倾斜他的头，因此VR设备110和视线已经向上移动，并且当前有两个虚拟对象130A和130C在用户的视线中。VR设备被设置成将那些虚拟对象130A和130C标记或以图形方式突出显示为可选择的，用于进一步激活。在图2的示例中，这通过以图形方式改变可选虚拟对象130A、130C(的边缘)来进行，这由虚线圆圈示出。
[0041] 根据本文教导的VR设备110还被设置成用于手势控制，并且更精确地说，检测和追踪摄像头前面的对象并确定被追踪的对象是否执行了特定手势。此类手势的示例在手势控制系统中是众所周知的，在此将不进行详细解释。
[0042] 不过，用户可能难以记住所有不同的手势，并且由于手势需要易于辨别，因此它们可能在逻辑上(如具有清晰的逻辑链接)不链接到相关的功能。因此，存在需要通过便利用户的人类感知来解决的问题，以便使用户能够执行用于激活想要的所选虚拟对象的正确手势。
[0043] 本发明的发明人已经认识到，为了便于用户的感知，可选择用于进一步激活的虚拟对象的标记可以被变形为相应的或相关的手势。如图3中所示，标记140A、140C因此表示相关的功能，并且如果变形是动画的，还可能表示如何正确执行手势。
[0044] 图3示出了可选择用于进一步激活的虚拟对象130A、130C的激活手势如何以图形方式示为虚拟对象130A、130C的标记140A、140C的示例。
[0045] 在一个实施例中，图像变换/变形是瞬时的，由此立即显示手势的图形表示。
[0046] 在一个实施例中，图像变换/变形是动画的，由此手势的图形表示被示为初始标记到完成手势的图像变换/变形。将标记图像变换/变形为手势的确切方式取决于标记和手势。不过，由于图像变换/变形(morphing)是一种常用技术，因此将不对其进行详细公开，有经验的读者可阅读教科书和其他参考文献以获取有关此类技术的更多详细信息。
[0047] 图4A和4B示出了随着虚拟对象130被标记用于进一步激活的可能选择，从环形标记到显示“OK”标志的手的图像变换/变形的示例。
[0048] 回到图3，在用户只是沿一般方向看或看向虚拟对象时，因而便利了关于哪个(些)虚拟对象当前可能被选择用于进一步激活以及哪个是需要执行的相关手势的用户感知。在此阶段不需要用户的其他任何动作。因此，将用户在试图寻找更多信息时改变焦点的风险降到了最低。用户还能够在多于一个的虚拟对象之间进行选择，而无需进一步移动其头部或其他动作(除了实际的选择手势外)。
[0049] 为了进一步便于用户关于要采取哪个动作以及如何采取该动作的感知，可能选择用于进一步激活的虚拟对象130的标记140可以以图形方式示出为包括VR设备110后面的区域的透视视野。在一个实施例中，该透视视野可以是紧接在虚拟对象之后的区域(其会在用户前面，或者在用户的视线中)。或者，它可以是围绕当前被追踪的对象的区域。在后者的示例中，用户无需在其前面移动他的手来执行手势，这在狭窄或拥挤的环境中可能会受到高度赞赏。
[0050] 图5A示出了通过用户将他的视线朝向虚拟对象130来将虚拟对象130标记(通过标记140)为可选择用于进一步激活的示例。图5B示出了标记140如何变形为手势，这里以风格化的方式表示为U。图5C示出了如何通过另提供以图形方式连接或覆盖标记的透视图155因而成为标记140的一部分来进一步便利用户的感知。透视图155示出了被追踪的对象155执行相关的手势。因此，便利了用户的感知，使其理解要选择哪个对象以及如何选择对象，并还执行相关的动作以及实时纠正所执行手势的任何不足之处(因为手势清晰可见)，而除了凝视或朝向虚拟对象并执行手势之外无需做出多个移动或选择。
[0051] 图6A至图6D示出了如何标记虚拟对象130以及如何将标记140变形为相关的手势。由此，阅读了本申请内容的技术人员将认识到如何实现标记的变形。
[0052] VR设备110还可以被设置成提供已经成功接收到与虚拟对象相关的手势的反馈，该手势被识别并且与虚拟对象匹配。除了实际执行相关的动作之外，VR设备110因而可以向用户提供图形(和/或听觉)反馈，但是改变标记或对其进行添加。图6E示出了随着已经识别出手势如何改变标记140的示例。如何可以给出反馈的一些示例是，改变虚拟对象130的图形表示(135)的边缘或边界，改变标记140，添加另外的标记(可被视为包括在标记140中，如同图8中的标记142)，闪烁、脉动或以其它方式使标记140或图形表示135高亮，仅举几个示例来说。
[0053] 图7A至7E示出了如何呈现包括虚拟对象130的手势表示和透视图的标记140的替代方式。
[0054] 在图7A中，标记140与图6中一样，并且还包括透视图155，示出被追踪的对象(为手)150，其中透视图被示出为与虚拟对象部分或完全重叠。部分重叠使得用户能够将手势与虚拟对象的图形表示相关联。完全重叠节省显示空间。系统设计人员可能会在两者之间做出折衷。
[0055] 在图7B中，透视图155被显示为偏离到虚拟对象的一侧或角落。
[0056] 在图7C中，透视图155透明显示在虚拟对象130上。这使得能够以更高的程度便利人类感知，但是需要更多的计算能力，因为可能难以正确地将被追踪的对象与背景隔离，以免使显示杂乱。可替换地，虚拟对象130的图形表示可以透明地覆盖在透视图上，证明高度的关联性，同时不需要与隔离被追踪的对象一样多的计算资源。
[0057] 在图7D中，虚拟对象135的图形表示和相关手势140的表示都被显示为偏离到虚拟对象的一侧或角落。在本实施例中，并且如图7D中所示，透视图155和被追踪的对象150可以被显示为虚拟对象130的标记图形表示，作为一般标记145/155的一部分。如在图7D中可见，图形表示135和手势的表示以较小的尺寸示出。图形标记、表示和透视图的尺寸因而可以在实施例之间变化。
[0058] 在图7E中，透视图155和相关手势140的表示都被显示为虚拟对象的图形表示135。
[0059] 图8示出了如图7E所示的实施例的更详细的示例，其中显示了三个虚拟对象130A-C。当用户的注视朝向或指向虚拟对象130C时，对象130C被标记。在所述实施例中，标记由透视图提供，该透视图覆盖有相关手势的图形表示，表示可能是动画的。
[0061] 如结合图6E所提及的，可以提供另外的图形标记142，表示用户提供以及VR设备110接收手势的进度/成功。在本示例中，另外的标记142是在没有接收到手势时为空而在已经正确接收到手势时为满的圆圈。
[0062] 图9A大体示出了根据本文实施例的虚拟现实(VR)设备110。在一个实施例中，VR设备110被设置成向用户呈现虚拟现实并允许用户操作虚拟现实或与虚拟现实交互。VR设备110通常包括主要部分，该主要部分被设置成通常以眼镜的形式被穿戴在用户的头部上，一般被称为VR眼镜。VR设备110因此可包括用于将VR设备110固定在用户的头部上的带子160。
VR设备110还可以包括扬声器165，用于提供音频作为VR体验的一部分。更显著地，VR设备
110包括VR显示器170。VR显示器170可以是与VR设备110成一体的特定显示器。在一个实施例中，如在图9A的示例中所示，VR显示器170可包括支托172和可附接的VR显示设备171。在所述实施例中，VR显示设备171可被看作是虚拟设备110，实际上，该设备处理与呈现虚拟现实有关的大部分计算。
VR设备110还可以包括扬声器165，用于提供音频作为VR体验的一部分。更显著地，VR设备
110包括VR显示器170。VR显示器170可以是与VR设备110成一体的特定显示器。在一个实施例中，如在图9A的示例中所示，VR显示器170可包括支托172和可附接的VR显示设备171。在所述实施例中，VR显示设备171可被看作是虚拟设备110，实际上，该设备处理与呈现虚拟现实有关的大部分计算。
[0063] 在图9A中，所述VR显示设备171的一个示例被示例性示出为智能手机，为移动通信终端的一个示例。本文的描述将聚焦于智能手机作为VR显示器170，并且VR显示器170和VR显示设备171之间将没有区别。VR显示设备的其他示例是个人计算机、台式机或笔记本电脑、互联网平板电脑、个人数字助理和游戏机。
[0064] 参见图9A，智能手机170形式的移动通信终端包括壳体175，在壳体175中设置有显示器125。在一个实施例中，显示器125是触摸显示器。在其他实施例中，显示器125是非触摸显示器。此外，智能手机170包括两个(物理)键133。在本实施例中，有两个键133，但是任何数量的键都是可能的，并且取决于智能手机170的设计。所述(物理)键的示例是模式键和开/关键。在一个实施例中，智能手机170被设置成在显示器125上显示虚拟对象130。虚拟对象130可以与功能性相关，然后构成图标或虚拟键。应当注意的是，例如图标和虚拟键130的虚拟对象的数量取决于智能手机170的设计以及在智能手机170上执行的应用程序。智能手机170还配备有摄像头180。
[0065] 摄像头180是数字摄像头，其被设置成通过将图像记录在电子图像传感器(未示出)上来拍摄视频或静态照片。在一个实施例中，摄像头180是外部摄像头。在一个实施例中，摄像头可替换地由提供图像流的源代替。在本实施例中，如虚线所示，摄像头180被设置成背向显示器125，可能被设置在智能手机的背面。
[0066] VR设备110还包括运动传感器185，所述运动传感器被设置成检测VR设备的运动和移动，从而用户能够使VR设备相应改变被显示的内容。所述的运动传感器可以通过加速度计或陀螺仪来实现。
[0067] 在一个实施例中，VR设备可以包括用于追踪眼睛移动的另一摄像头或其他装置，其中VR设备被设置成追踪用户的眼睛的移动，并根据那些眼睛移动来确定用户正在看哪个图标或区域。这种对眼睛移动的检测和追踪可以用作追踪用户的头部移动的替代。这种对眼睛移动的检测和追踪可以用作补充，以支持追踪用户的头部移动。除了追踪用户的头部移动之外，还可以使用这种对眼睛移动的检测和追踪。
[0068] 在图9A的VR设备的实施例中，其中显示器是特定显示器，并且VR设备110不包括智能手机171或要附接或连接的其他此类设备，VR设备110还包括摄像头180。在所述的实施例中，VR设备110还包括必要组件，例如控制器910、存储器940和运动传感器185。
[0069] VR设备110还可包括用于与其他设备连接的接口。所述接口可以是有线或无线的。接口的一些示例是USB(通用串行总线)端口、BluetoothTM端口、以太网端口或WiFi(根据IEEE标准802.11)端口。
[0070] 图9B示出了根据图9A的VR设备的总体结构的示意图。VR设备110包括控制器910，所述控制器910负责VR设备910的整体运行，并且优选地由任何市售的CPU(“中央处理器”)、DSP(“数字信号处理器”)或任何其他电子可编程逻辑设备来实现。控制器910被设置成从存储器940读取指令并执行这些指令以控制VR设备110的运行。可以使用用于计算机可读存储器例如ROM、RAM、SRAM、DRAM、CMOS、FLASH、DDR、SDRAM的任何公知技术或一些其他存储器技术来实施存储器940。存储器940用于控制器910的各种目的，其中之一是用于存储VR设备110中各种软件模块的应用程序数据和程序指令950。软件模块包括实时操作系统、用于用户界面920的驱动器、应用处理程序以及各种应用程序950。
[0071] VR设备110包括用户界面920，所述用户界面920在图9A的VR设备中由显示器125、键130、133和摄像头180构成。
[0072] VR设备110还可包括通信(COM)接口930，其适于允许VR设备通过无线电频带技术或有线技术与其他设备通信。所述技术的示例是USB、以太网、IEEE 802.11，IEEE 802.15、ZigBee、WirelessHART、WIFI、 W-CDMA/HSPA、GSM、UTRAN和LTE，这是其中一些例子而已。
[0073] VR设备110还配备有或设置成连接到摄像头180。摄像头180是数字摄像头，其被设置成通过将图像记录在电子图像传感器(未示出)上来拍摄视频或静态照片。
[0074] 摄像头180可操作地连接至控制器910，以向控制器提供视频流965，即，所捕获的一系列图像，以便进一步处理，可能用于一个或若干个应用程序950中，和/或根据一个或若干个应用程序950进一步处理。
[0075] 在一个实施例中，摄像头180是外部摄像头或图像流的源。摄像头可以是二维的或三维的。摄像头也可以是立体摄像机或便携式飞行摄像机(field offlight camera)。如技术人员会理解的那样，有许多替换例可用作摄像头/摄像机。
[0076] 通过摄像头180(或更确切地说，视频流)和控制器910，VR设备110(可能包括如图9A和9B中所示的智能手机170)被设置成通过可能由摄像头180提供的视频流来检测并追踪对象，例如手。瑞典专利申请SE 1250910-5中公开了如何检测和追踪这样的对象H，而在本申请中将不再详细讨论。有关此的更多细节，请参阅所提及的瑞典专利申请。不过，应当注意的是，可以通过使用除瑞典专利申请SE 1250910-5中公开的以外的其他追踪方式来实施本申请的教导。
[0077] 图10示出了如上文所述的计算机可读介质的示意图。在本实施例中，计算机可读介质1000是数据盘1000。在一个实施例中，数据盘1000是磁性数据存储盘。数据盘1000被设置成携带指令1001，当指令1001被加载到控制器例如处理器中时，指令1001执行根据上文所述实施例的方法或程序。数据盘1000被设置成连接至读取设备1002或在读取设备1002之内并由其读取，以将指令加载到控制器中。读取设备1002与一个(或若干个)数据盘1000组合的一个这样的示例是硬盘驱动器。应当注意的是，计算机可读介质还可以是其他介质，例如压缩盘、数字视频盘、闪存或其他常用的存储技术。
[0078] 通过将指令1001包括在经由无线(或有线)接口(例如，经由因特网)传输到计算机数据读取设备1004以将指令1001加载到控制器中的计算机可读信号1003中，指令1001还可以被下载到计算机数据读取设备1004，例如智能手机或其他能够读取计算机可读介质上的计算机编码数据的设备。在这样的实施例中，计算机可读信号1003是瞬态计算机可读介质1000的一种类型。
[0079] 指令可以存储在智能手机1004的存储器(在图10中未明确示出，但是在图9B中被标记为940)中。图10的智能手机可能是图9A和9B中的智能手机。
[0081] 提及“计算机可读存储介质”、“计算机程序产品”、“有形体现的计算机程序”等或“控制器”、“计算机”、“处理器”等应被理解为不仅涵盖具有不同架构的计算机，例如单个/多个处理器架构和顺序(Von Neumann)/并行架构，还涵盖专用电路，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其他设备。提及计算机程序、指令、代码等应被理解为涵盖用于可编程处理器或固件的软件，例如硬件设备的可编程内容，无论是用于处理器的指令，还是用于固定功能设备、门阵列或可编程逻辑设备等的配置设置。
[0082] 图11示出了根据本文教导的一般方法的流程图。VR设备显示一个或多个虚拟对象(1110)，并确定哪个(些)虚拟对象当前在视线中(1120)，并且标记这些虚拟对象(1130)。如果对象与用于激活虚拟对象的手势相关，即，用于使与虚拟对象相关的动作被执行，则标记(1130)包括提供手势的表示(1131)，其中手势的表示以图形方式链接到标记(作为标记的一部分)。VR设备可被设置成将标记变形为手势的表示(1132)。VR设备还可以或可替换地被设置成提供透视图作为标记的一部分(1133)。对于这些标记的进一步细节，请参见图1至8。
[0083] 当虚拟对象被确定可被选定用于激活时，VR设备可被设置成激活摄像头180(1140)。当没有与手势相关的对象是可选择的(即，不被注视或凝视)时，通过允许摄像头处于休眠或非活动模式来省电。为了进一步省电(以及带宽和存储空间)，VR设备可被设置成确定相关手势的类型(1141)，并根据手势的类型来适配摄像头的设置。可以根据手势的动态和/或复杂度将手势分组为不同类型。例如，与静态手势(“OK”符号)(较低的帧速率)相比，移动手势(滑动手)要求更多的帧(较高的帧速率)。可以将较高的帧速率设置为10fps(每秒帧)、15fps、20fps、30fps或更高。可以将较低的帧速率设置为10fps(每秒帧)，7fps、5fps或更低。有经验的读者会理解，确切的帧速率不是问题，但是与第一类型的手势相关的帧速率不同于与第二类型的手势相关的帧速率。VR设备110因此可以根据手势类型来适配摄像头的帧速率(1142)。类似地，还可以根据手势的类型来设置摄像头使用的分辨率。图形上干净或不复杂的手势(滑动手)不需要高分辨率来识别(假设从背景中容易辨认出手)，而图形上复杂的手势(显示不同手指数的手)可能需要高分辨率来识别，尤其如果背景是杂乱的情况。至于帧速率，所用的确切分辨率对于理解本申请的理念并不重要，但是与第一类型的手势相关的分辨率不同于与第二类型的手势相关的分辨率。所用的确切分辨率还取决于所用的摄像头。高分辨率的一些示例是4K、超高清、高清、720p，而低分辨率的一些示例是
720p、450p，330p、250p和180p。VR设备110因此可以根据手势类型来适配摄像头的分辨率(1144)。
720p、450p，330p、250p和180p。VR设备110因此可以根据手势类型来适配摄像头的分辨率(1144)。
[0084] 当摄像头被激活时，VR设备可能通过提供被追踪对象的透视图来识别并追踪对象(1150)。当追踪对象时，VR设备被设置成识别手势(1160)，并将该手势与相关的标记的虚拟对象匹配，对此作出响应，执行与标记的虚拟对象相关的动作(1170)。也可以提供关于所接收手势的成功或进度的反馈(1161)。
[0085] 当然，VR设备还可被设置成将手势识别为与未被标记的对象相关或者与不同功能或动作相关，并且响应于此而执行相关的动作。
[0086] 本文的教导提供了如下益处：便利了用户的感知，因为使得用户能够将虚拟对象与相关的手势以及手势如何执行相关联，并且还具有关于用户如何执行手势的反馈而不必进行不必要的移动(例如移动用户的头部)，从而降低了失去虚拟对象的焦点的风险，使一个对象与另一个对象在其功能上混淆的风险，并且将手势与虚拟对象相关联以供将来参考。还使用户能够使用VR设备(例如VR眼镜)，如果用户希望而无需眼镜，因为不需要阅读任何书面信息。
[0087] 上文主要结合一些实施例描述了本发明。但是，如本领域技术人员容易理解的那样，除了上文所述实施例以外的其他实施例同样可能落在由所附权利要求书所限定的本发明的范围内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于增强现实眼镜的信息显示方法 | 2020-05-08 | 103 |
| 取决于注意力的转移存储对于光源的光状态的偏好 | 2020-05-12 | 492 |
| 机器操作监督系统及服务器 | 2020-05-11 | 236 |
| 一种配网不停电作业的模拟实操管控平台 | 2020-05-12 | 772 |
| 一种基于AR技术的铁路应急协作支持与巡检系统 | 2020-05-11 | 641 |
| 一种图像显示方法、装置和系统 | 2020-05-14 | 455 |
| 一种基于自然人机界面和增强现实的新型远程控制方法 | 2020-05-17 | 767 |
| 一种辅助训练系统及方法 | 2020-05-17 | 628 |
| 一种基于增强现实的火灾逃生演练模拟平台 | 2020-05-13 | 467 |
| 一种AR眼镜 | 2020-05-11 | 928 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈