用于虚拟现实交互的改进方法和系统专利检索-虚拟环境显示技术专利检索查询-专利查询网

用于 虚拟现实交互的改进方法和系统

阅读：1021发布：2020-05-20

专利汇可以提供用于虚拟现实交互的改进方法和系统专利检索，专利查询，专利分析的服务。并且本发明涉及用于提供表示人(101)的身体部分的数据的方法。根据本发明的方法包括至少以下步骤：提供头戴式显示单元(102)，其中头戴式显示单元(102)被布置在所述人(101)的头部处，其中头戴式显示单元(102)具有可布置在所述人(101)的至少一只眼睛前面的限定屏幕区段，其中，在限定屏幕区段中能够输出视觉信息以向所述人(101)的至少一只眼睛显示视觉信息；提供用于捕获所述人(101)前面的视觉信息的摄像装置(103)，其中，所述摄像装置(103)是头戴式显示单元(102)的一部分或者被附接至头戴式显示单元；提供用于在所述人(101)佩戴头戴式显示单元(102)的同时对所述人(101)进行镜像的镜(104)；使用摄像装置(103)捕获经镜像的视觉信息；借助于处理单元来处理经镜像的视觉信息；将经处理的视觉信息向所述人(101)输出。，下面是用于虚拟现实交互的改进方法和系统专利的具体信息内容。

权利要求

1.一种用于提供表示人(101)的身体部分的数据的方法，
至少包括以下步骤：
提供头戴式显示单元(102)，其中，所述头戴式显示单元(102)被布置在所述人(101)的头部处，
其中，所述头戴式显示单元(102)具有能够布置在所述人(101)的至少一只眼睛前面的限定屏幕区段，
其中，在所述限定屏幕区段中能够输出视觉信息以向所述人(101)的至少一只眼睛显示所述视觉信息，
提供用于捕获所述人(101)前面的视觉信息的摄像装置(103)，
其中，所述摄像装置(103)是所述头戴式显示单元(102)的一部分或者被附接至所述头戴式显示单元(102)，
提供用于在所述人(101)佩戴所述头戴式显示单元(102)的同时对所述人(101)进行镜像的镜(104)，
使用所述摄像装置(103)捕获经镜像的视觉信息，
借助于处理单元来处理经镜像的视觉信息，
输出经处理的视觉信息，特别是向所述人(101)输出经处理的视觉信息。
2.根据权利要求1所述的方法，
其特征在于，
所述处理单元将所捕获的视觉信息在输出之前翻转为非镜像反转配置。
3.根据权利要求2所述的方法，
其特征在于，
所述处理单元确定在所捕获的视觉信息中的所述人(101)的至少一个身体部分，特别地是手，
其中，所述身体部分的运动或姿势与用于操作所述处理单元和/或用于修改所述视觉信息的命令关联。
4.根据权利要求2所述的方法，
其特征在于，
所述处理单元确定在所捕获的视觉信息中的所述人(101)的至少两个身体部分，特别地是两只手，
其中，所述身体部分的运动或姿势与用于操作所述处理单元和/或用于修改所述视觉信息的命令关联。
5.根据权利要求3或4所述的方法，
其特征在于，
所述处理单元提供至少一个虚拟对象，
其中，所述虚拟对象以交叠的方式被显示为所输出的视觉信息的一部分，并且
其中，根据所确定的身体部分的运动来对所述虚拟对象进行修改。
6.根据权利要求1至4所述的方法，
其特征在于，
所述处理单元提供虚拟环境，
其中，向所述人(101)显示所述虚拟环境，
其中，根据所确定的身体部分的运动来对至少一个虚拟对象和/或所述虚拟环境进行修改。
7.根据前述权利要求中任一项所述的方法，
其特征在于，
在用于向所述人的至少一只眼睛显示所述视觉信息的所述限定区段中布置有智能电话(301)，其中，所述智能电话(301)的屏幕面向所述用户(101)的眼睛，并且其中，所述智能电话(301)的背侧摄像装置(103X)充当摄像装置(103)。
8.根据前述权利要求中任一项所述的方法，
其特征在于，
在确定了经镜像的视觉信息的情况下，所述处理单元以预定义的方式处理所捕获的视觉信息，特别是使所输出的视觉信息旋转。
9.根据前述权利要求中任一项所述的方法，
其特征在于，
调节屏幕被启用视频透视特性，其中，所述镜(104)被至少部分地显示在所述调节屏幕中。
10.根据前述权利要求中任一项所述的方法，
其特征在于，
进行对所捕获的视觉信息的评估，其中，确定所述摄像装置(103)与所述镜(104)之间的距离。
11.根据权利要求10所述的方法，
其特征在于，
在摄像装置(103)与镜(104)之间的距离低于最小阈值或者高于最大阈值的情况下输出信号。
12.一种用于执行根据权利要求1至11所述的方法的计算机程序产品。
13.一种用于使得在至少两个人之间能够进行交互，特别是进行通信的通信系统，至少包括：
头戴式显示单元，其中，所述头戴式显示单元被布置在所述人的头部处，其中，所述头戴式显示单元具有能够布置在相应的人的至少一只眼睛前面的限定屏幕区段，
其中，在所述限定区段中能够输出视觉信息以向所述相应的人的至少一只眼睛显示所述视觉信息，
摄像装置，其用于捕获所述相应的人前面的视觉信息，
其中，每个摄像装置是所述头戴式显示单元的一部分或者被附接至所述头戴式显示单元，
至少一个镜，其用于在所述相应的人佩戴所述头戴式显示单元的同时对所述相应的人进行镜像，
其中，使用相应的摄像装置捕获相应的经镜像的视觉信息，
其中，借助于至少一个处理单元来处理经镜像的视觉信息，以及
其中，将经处理的视觉信息向所述相应的人和/或其他人输出以及/或者将经处理的视觉信息用作用于操纵VR对象、化身和/或设置的命令。
14.根据权利要求13所述的通信系统，
其特征在于，
所述处理单元确定在所捕获的视觉信息中的每个人的至少一个身体部分，特别是手，其中，所述身体部分的运动或姿势与用于操作所述处理单元和/或用于修改所述视觉信息的命令关联。
15.根据权利要求14所述的通信系统，
其特征在于，
提供虚拟环境并且向每个人显示所述虚拟环境，
其中，向其他人显示由一个人引起的修改。

说明书全文

用于虚拟现实交互的改进方法和系统

[0001] 根据权利要求1，本发明涉及用于提供表示人的身体部分的数据的方法，根据权利要求12，本发明涉及用于执行这种方法的计算机程序产品，并且根据权利要求13，本发明涉及用于使得在至少两个人之间能够进行交互，特别是进行通信的通信系统。

背景技术

[0002] 虚拟现实(VR)，特别是增强现实(AR)和混合现实(MR)，包括正在迅速发展的技术领域。对于游戏、通信和工业，由于这种技术而出现了新的可能性。

[0003] 在VR应用期间捕获手部动作需要另外的外部摄像设备，这是因为VR设备附接至用户的头部并且因此不会聚焦在如手臂、手、腿或脚的身体部分上。

[0004] 当在VR眼镜内部使用智能手机的同时无法使用智能手机的后置摄像装置和前置摄像装置。只能使用后置摄像装置(主摄像装置)来捕获诸如混合现实应用的环境，但是不能在诸如视频会议或可视电话或视频电话或遥现或虚拟空间或者将实时图像传输至虚拟环境的应用中使用后置(主)摄像装置和/或前置摄像装置。这种应用只有在具有需要外部部件并且对于完全移动环境是无用的外部摄像装置的情况下是可能的。

[0005] 发明目的

[0006] 因此，本发明的目的是提供用于操作高级VR系统的方法并且提供用于使得在至少两个人之间能够进行交互的高级VR交互系统。

发明内容

[0007] 前述目的通过根据权利要求1的用于提供表示人的身体部分的数据的方法来达到。该方法优选地包括至少以下步骤：提供头戴式显示单元，其中，头戴式显示单元被布置在所述人的头部处，其中，头戴式显示单元具有能够布置在所述人的至少一只眼睛前面的限定屏幕区段，其中，在限定区段中能够输出视觉信息以向所述人的至少一只眼睛显示视觉信息；提供用于捕获所述人前面的视觉信息的摄像装置，其中，所述摄像装置是头戴式显示单元的一部分或者被附接至头戴式显示单元；提供用于在所述人佩戴头戴式显示单元的同时对所述人进行镜像的镜；使用摄像装置捕获经镜像的视觉信息；借助于处理单元来处理经镜像的视觉信息。将经处理的视觉信息优选地向一个用户或另外的用户输出，或者将经处理的视觉信息作为用于控制VR对象、化身和/或设置的数据进行输出。

[0008] 因此，本发明包括VR眼镜，该VR眼镜优选地使用智能电话作为屏幕并且优选地在后盖处包括孔，在该孔中后置(主)摄像装置保持打开。当用户在镜前面佩戴诸如VR眼镜的头戴式显示器时，该头戴式显示器使图像翻转并且即使在用户移动头部位置的情况下也会给出稳定的用户视图。

[0009] 该解决方案是有益的，这是因为所有电子设备都可以安装至头戴式显示单元或者可以成为头戴式显示单元的一部分。因此，不需要在距相应用户的一定距离的某处布置的另外的摄像装置。此外，镜是存在于几乎每个家庭中的非常普遍的对象。因此，可以使用家庭和公司的现有基础设施以易于用户体验。

[0010] 另外的优选实施方式在说明书的以下部分中进行描述和/或是从属权利要求的主题。

[0011] 根据本发明的另一优选实施方式，处理单元将所捕获的视觉信息在输出之前旋转。旋转或翻转优选地进行，特别是以180°的旋转角度进行，以将镜像反转的视觉信息变成非镜像反转版本。

[0012] 根据本发明的另一优选实施方式，处理单元在所捕获的视觉信息中确定所述人的至少一个身体部分，特别是一只手，其中，所述身体部分的运动或姿势与用于操作处理单元和/或用于修改视觉信息的命令关联。该实施方式是有益的，这是因为各个身体部分可以替代控制器设备，因此整个系统需要较少的硬件。

[0013] 根据本发明的另一优选实施方式，处理单元在所捕获的视觉信息中确定所述人的至少两个身体部分，特别是两只手，其中，所述身体部分的运动或姿势与用于操作处理单元和/或用于修改视觉信息的命令关联。该实施方式是有益的，这是因为两个身体部分可以相对于彼此移动，因此可以设置更多个命令。

[0014] 根据本发明的另一优选实施方式，处理单元提供或处理至少一个虚拟对象，其中，虚拟对象以交叠的方式被显示为所输出的视觉信息的一部分，并且其中，根据所确定的身体部分的运动来对虚拟对象进行修改。该实施方式是有益的，这是因为可以使虚拟对象旋转以及/或者可以改变虚拟对象的大小以及/或者可以改变虚拟对象的形状等。

[0015] 根据本发明的另一优选实施方式，处理单元提供虚拟环境，其中，向所述人显示所述虚拟环境，其中，根据所确定的身体部分的运动来对至少一个虚拟对象和/或虚拟环境进行修改。该解决方案是有益的，这是因为虚拟环境可以是游戏环境，特别是对于第一人称射击游戏的虚拟环境。虚拟对象可以是枪支或者化身。能够进一步设想的是存在多个虚拟对象。

[0016] 根据本发明的另一优选实施方式，在限定区段中布置有用于向所述人的至少一只眼睛并且优选地向所述人的两只眼睛显示视觉信息的屏幕单元，特别是智能手机或者平板电脑，其中，屏幕单元的屏幕，特别是智能电话或平板电脑的屏幕面向用户的眼睛，特别是面向用户的两只眼睛，并且其中，智能电话的背侧摄像装置用作摄像装置。屏幕单元的屏幕侧限定了前侧，并且背侧位于屏幕单元的相对侧上。因此，头戴式显示单元优选地包括用于保持屏幕单元，特别是智能电话或平板电脑的框架装置。屏幕单元可以以固定或可拆卸的方式布置到框架装置。其中，框架装置优选地提供用于将屏幕设备的屏幕定位在限定的屏幕区段中的定位元件。

[0017] 在确定了经镜像的视觉信息的情况下，处理单元以预定义的方式处理所捕获的视觉信息，特别是将所输出的视觉信息旋转。

[0018] 根据本发明的另一优选实施方式，调节屏幕被启用为视频透视特征，其中，镜被至少部分地显示在调节屏幕中。优选地，对所捕获的视觉信息进行评估，其中，确定摄像装置与镜之间的距离。优选地，在摄像装置与镜之间的距离低于最小阈值或高于最大阈值的情况下输出信号。这些实施方式是有益的，这是因为可以容易地设置摄像装置与镜之间的最佳距离。

[0019] 根据权利要求12，本发明还涉及用于执行本文描述的方法的计算机程序产品，特别是涉及根据权利要求1至11的方法的计算机程序产品。

[0020] 前述目的还通过根据权利要求13的用于使得在至少两个人之间能够进行交互，特别是进行通信的通信系统或交互系统来解决。交互系统包括：至少多个头戴式显示单元，其中，头戴式显示单元被布置在所述人的头部处，其中，头戴式显示单元具有可布置在相应的人的至少一只眼睛前面的限定区段，其中，在限定区段中能够输出视觉信息以向相应的人的至少一只眼睛显示视觉信息；摄像装置，其用于捕获相应的人前面的视觉信息，其中，每个摄像装置是头戴式显示单元的一部分或者被附接至头戴式显示单元；至少一个镜，其用于在相应的人佩戴头戴式显示单元的同时对相应的人进行镜像；其中，使用相应的摄像装置捕获相应的经镜像的视觉信息，其中，借助于至少一个处理单元来处理经镜像的视觉信息，并且其中，将经处理的视觉信息向相应的人和/或其他人输出。该解决方案是有益的，这是因为可以容易地设置人与人之间的交互，特别是在VR环境中，如MR或AR中的人与人之间的交互，特别是在没有外部摄像装置的情况下。

[0021] 根据本发明的另一优选实施方式，处理单元在所捕获的视觉信息中的确定每个人的至少一个身体部分，特别是手，其中，所述身体部分的运动或姿势与用于操作处理单元和/或用于修改视觉信息的命令关联。

[0022] 根据本发明的另一优选实施方式，提供了虚拟环境并且向每个人显示该虚拟环境，其中，将一个人引起的修改显示给其他人。

[0023] 本发明的另外的益处、目的和特征将通过下面对附图的说明来描述，附图中示出了本发明的示例性部件。根据本发明的系统和方法的在其功能方面至少在本质上匹配的部件可以用相同的附图标记进行标记，其中，关于所述附图这些部件不是必须被多次标记或描述。

[0024] 在下文中，参照附图仅示例性地描述本发明。

附图说明

[0025] 图1A示出了在镜前面佩戴HMD的人；

[0026] 图1B示出了由所述镜反射的图像；

[0027] 图2示出了用户的图像和所述用户的反射图像；

[0028] 图3示意性地示出了将屏幕设备与HMD单元的框架装置耦合的步骤；

[0029] 图4示出了具有嵌入式摄像装置的HMD单元；以及

[0030] 图5示出了表示根据本发明的例程的流程图。

[0031] 图1A示出了佩戴HMD单元或VR眼镜102的用户或人101。HMD单元102包括摄像装置103。所述摄像装置103优选地以正常使用状态布置，使得可以捕获用户101前面的环境。附图标记104指示镜。

[0032] 图1B示出了用户101的镜像，其中，附图标记101M指示反射图像中的该用户。附图标记102M指示表示HMU单元的反射图像区段，并且附图标记103M指示摄像装置的反射图像区段。附图标记101B指示用户101的后侧并且附图标记102B指示HMD单元放置于用户101的后侧的部分。附图标记105指示用户101正在面向镜104。

[0033] 图2示出了用户的正常外观201并且202指示由镜104反射的同一用户的图像。

[0034] 图3示出了将框架装置106与屏幕设备301，特别是具有后置摄像装置103X的智能手机耦合的耦合步骤。屏幕设备301被定位在预定义的屏幕区段部分中。

[0035] 图4示出了替选的实施方式。与图3相反，摄像装置103Y是HMD单元的一部分，而不是能够与HMD单元102耦合的外部屏幕设备103X的一部分。能够进一步设想的是，固定或不可拆卸的屏幕设备或屏幕是HMD单元102的一部分。摄像装置103X优选地与屏幕设备耦合，其中，可以借助于所述屏幕设备输出由摄像装置103X捕获的视觉信息。

[0036] 图5示出了流程图。根据该流程图，附图标记501指示优选方法的开始。在步骤502中，处理设备检查是否启动了镜像检测例程。在开始所述例程的情况下，在步骤503中执行镜像检测。对检测到的图像进行处理以补偿镜像外观，因此表示捕获的视觉信息的图像数据或视频数据被优选地翻转。所得到的图像数据或视频数据对应于使用外部摄像装置捕获到的图像数据或视频数据。该方法结束于步骤505。在检查502或503为否定的情况下，该方法结束。

[0037] 因此，本发明涉及用于提供表示人的身体部分的数据的方法。该方法优选地包括至少以下步骤：提供头戴式显示单元，其中，头戴式显示单元被布置在所述人的头部处，其中，头戴式显示单元具有能够布置在所述人的至少一只眼睛前面的限定区段，其中，在限定屏幕区段中能够输出视觉信息以向所述人的至少一只眼睛显示视觉信息；提供用于捕获所述人前面的视觉信息的摄像装置，其中所述摄像装置是头戴式显示单元的一部分或者被附接至头戴式显示单元；提供用于在所述人佩戴头戴式显示单元的同时对所述人进行镜像的镜；使用摄像装置捕获经镜像的视觉信息；借助于处理单元来处理经镜像的视觉信息；将经处理的视觉信息向所述人输出。

[0038] 因此，本发明的特定使用领域是用于具有后置摄像装置的移动电话的VR眼镜。但是也可以使用其他设备，诸如具有内置屏幕和附加外部摄像装置的VR眼镜或任何其他结构传感器或运动传感器。VR眼镜可以为AR眼镜或MR眼镜或类似的眼镜或任何其他HMD或甚至HUD。本发明需要外部镜，该外部镜可以优选地为任何类型的镜。不是优选的，但是任何其他光滑的反射表面也是可以的。移动电话是指具有在VR眼镜，最可能是具有全触摸屏的VR眼镜内部使用的能力的任何移动电话或智能电话或电话。

[0039] 特别地，本发明涉及用于提供表示人101的身体部分的数据的方法，其中，根据本发明的方法至少包括以下步骤：提供头戴式显示单元102，其中，头戴式显示单元102被布置在所述人101的头部处，其中，头戴式显示单元102具有可布置在所述人101的至少一只眼睛前面的限定屏幕区段，其中，在限定屏幕区段中能够输出视觉信息以向所述人101的至少一只眼睛显示视觉信息；提供用于捕获所述人101前面的视觉信息的摄像装置103，其中，所述摄像装置103是头戴式显示单元102的一部分或者被附接至头戴式显示单元；提供用于在所述人佩戴头戴式显示单元102的同时对所述人101进行镜像的镜104；使用摄像装置103捕获经镜像的视觉信息；借助于处理单元来处理经镜像的视觉信息；将经处理的视觉信息向所述人101输出。

[0040] 附图标记列表

[0041] 101 用户(侧视图)

[0042] 102 VR眼镜

[0043] 103 摄像装置

[0044] 104 镜(移动电话/智能电话后置摄像装置)

[0045] 101B 用户的后视图

[0046] 101M 从镜反射的用户的图像

[0047] 102B VR眼镜的后视图

[0048] 102M 从镜反射的VR眼镜的图像

[0049] 103M 从镜反射的摄像装置(移动电话/智能电话后置摄像装置)的图像[0050] 105 用户正在观察屏幕

[0051] 106 HMD的框架装置

[0052] 201 所观察的用户的正常外观

[0053] 202 从镜反射的

[0054] 301 移动电话或智能电话

[0055] 103X 电话的后置摄像装置

[0056] 103Y 嵌入式摄像装置

[0057] 501 开始

[0058] 502 启动镜像系统？

[0059] 502N 否

[0060] 502Y 是

[0061] 503 通过摄像装置检测镜像？

[0062] 503N 否

[0063] 503Y 是

[0064] 504 翻转图像或视频并且用作外部摄像装置

[0065] 505 结束

标题	发布/更新时间	阅读量
具有体积感测的游戏装置	2020-05-08	448
虚拟对象的动画生成方法、装置、设备及存储介质	2020-05-11	822
一种基于虚拟机器人的VR操作引导及陪练方法和系统	2020-05-11	77
适用于汽车动力总成标定测试的虚拟标定测试方法及系统	2020-05-12	363
一种基于变电站巡检机器人集中监控仿真系统及其方法	2020-05-13	257
一种基于虚拟场景训练的机器人模仿学习方法	2020-05-12	393
一种用于车辆在环测试的传感器测试环境舱及测试方法	2020-05-12	940
一种基于VR的泵站作业仿真培训考核系统及方法	2020-05-12	105
一种时域技术的实现方法	2020-05-12	725
一种基于虚拟场景训练的机器人避障方法	2020-05-13	651

用于虚拟现实交互的改进方法和系统

用于虚拟现实交互的改进方法和系统

背景技术

发明内容

附图说明

该功能需要专业版企业版VIP权限，您可以：