虚拟人现场互动表演系统及方法专利检索-表演者版权及相关权专利检索查询-专利查询网

虚拟人现场互动表演系统及方法

阅读：266发布：2020-05-14

专利汇可以提供虚拟人现场互动表演系统及方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种虚拟人现场互动表演系统及方法，其能够实现虚拟人物互动表演。本发明公开的虚拟人现场互动表演系统包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；所述表演现场组件包含现场显示设备和现场视频设备；所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。，下面是虚拟人现场互动表演系统及方法专利的具体信息内容。

权利要求

1.虚拟人现场互动表演系统，其特征在于：包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；
后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；
所述表演现场组件包含现场显示设备和现场视频设备；
所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。
2.如权利要求1所述的虚拟人现场互动表演系统，其特征在于：
所述后台组件中：
所述动作捕捉设备将表演者的动作实时映射在虚拟人物上；所述表情捕捉设备将表演者的面部表情实时映射在虚拟人物上；所述变声设备将表演者的声音通过变声系统映射在虚拟人物上；所述动作捕捉设备为基于惯性传感器的动作捕捉设备或是基于光学传感器动作捕捉设备；所述基于惯性传感器的动作捕捉设备包含多个惯性传感器模块；这些惯性传感器模块分布在表演者身体各个部位以测量各部位关节的运动情况；所述基于光学传感器的动作捕捉设备，通过放置于表演者前方的深度摄像机捕捉表演者的表演情况，通过计算得到各个部位关节的运动情况；
所述表演现场组件中：
所述现场显示设备，将虚拟人物图像传达给观众，所述现场显示设备为现场大屏幕或者虚拟现实显示设备；
所述现场视频设备，将现场的情况实时反馈给表演者，帮助表演者根据现场情况做出正确反映；所述现场视频设备部包含一部或一部以上数量的摄像机。
3.如权利要求1所述的虚拟人现场互动表演系统，其特征在于：所述表情捕捉设备将捕捉摄像机绑定在表演者佩戴的头盔上拍摄表演者的面部视频，将视频实时传送到所述现场处理计算机从而转换为虚拟人物的表情；
所述捕捉摄像机为基于深度的摄像机、彩色或单色摄像机。
所述变声设备包含配置于表演者头盔上的麦克风；麦克风将表演者的声音实时传送到现场处理计算机，现场处理计算机将表演者的声音变化为符合虚拟人特点的声音后通过表演现场组件中的音响进行播放；所述变声设备包含控制器开关的开关组件。
4.如权利要求1所述的虚拟人现场互动表演系统，其特征在于：所述后台组件通过互联网与所述现场处理计算机通讯连接。
5.如权利要求1所述的虚拟人现场互动表演系统，其特征在于：所述表演现场组件为多组，且每组表演现场组件分布在不同的位置。
6.虚拟人现场互动表演方法，其特征在于：采用如权利要求1～5任一所述的系统执行如下步骤：
(1)表演者动作信息采集：采用后台组件采集表演者的关节动作信息、面部表情信息和声音信息；
(2)信息处理：将步骤(1)采集到的表演者动作信息传输至现场处理计算机组件，且通过现场计算机组件进行处理转换成虚拟信息；
(3)虚拟人表演：将步骤(2)处理后的虚拟信息实时映射在表演现场组件的现场显示设备上的虚拟人物上。

说明书全文

虚拟人现场互动表演系统及方法

技术领域

[0001] 本发明涉及舞台表演和动画领域，具体涉及现场动画表演和互动系统。

背景技术

[0002] 虚拟人互动系统通过将表演者的形象映射在虚拟人物上进行实时表演，可以广泛应用于舞台表演，教育培训，虚拟现实表演等各种领域，通过虚拟人，观众可以感受到与非真实人物交流的特殊感受，从而达到特定的表演效果。但现有技术通常使用前期制作，将表演流程固定下来。这样的情况导致虚拟人物只能够按照预先设定的流程和动作进行表演，无法与观众互动。即使加入一定的程序设计也只能获得有限的互动效果，无法和真实演员一样处理现场的复杂情况。

发明内容

[0003] 本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种虚拟人现场互动表演系统及方法，其能够实现虚拟人物互动表演。

[0004] 为了达到上述目的，本发明公开的虚拟人现场互动表演系统采用以下技术方案予以实现：

[0005] 虚拟人现场互动表演系统，包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；

[0006] 后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；

[0007] 所述表演现场组件包含现场显示设备和现场视频设备；

[0008] 所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。

[0009] 作为本发明公开的虚拟人现场互动表演系统的一种优选实施方式：

[0010] 所述后台组件中：

[0011] 所述动作捕捉设备将表演者的动作实时映射在虚拟人物上；所述表情捕捉设备将表演者的面部表情实时映射在虚拟人物上；所述变声设备将表演者的声音通过变声系统映射在虚拟人物上；所述动作捕捉设备为基于惯性传感器的动作捕捉设备或是基于光学传感器动作捕捉设备；所述基于惯性传感器的动作捕捉设备包含多个惯性传感器模块；这些惯性传感器模块分布在表演者身体各个部位以测量各部位关节的运动情况；所述基于光学传感器的动作捕捉设备，通过放置于表演者前方的深度摄像机捕捉表演者的表演情况，通过计算得到各个部位关节的运动情况；

[0012] 所述表演现场组件中：

[0013] 所述现场显示设备，将虚拟人物图像传达给观众，所述现场显示设备为现场大屏幕或者虚拟现实显示设备；

[0014] 所述现场视频设备，将现场的情况实时反馈给表演者，帮助表演者根据现场情况做出正确反映；所述现场视频设备部包含一部或一部以上数量的摄像机。

[0015] 作为本发明公开的虚拟人现场互动表演系统的一种优选实施方式：所述表情捕捉设备将捕捉摄像机绑定在表演者佩戴的头盔上拍摄表演者的面部视频，将视频实时传送到所述现场处理计算机从而转换为虚拟人物的表情；

[0016] 所述捕捉摄像机为基于深度的摄像机、彩色或单色摄像机。

[0017] 所述变声设备包含配置于表演者头盔上的麦克风；麦克风将表演者的声音实时传送到现场处理计算机，现场处理计算机将表演者的声音变化为符合虚拟人特点的声音后通过表演现场组件中的音响进行播放；所述变声设备包含控制器开关的开关组件。

[0018] 作为本发明公开的虚拟人现场互动表演系统的一种优选实施方式：所述后台组件通过互联网与所述现场处理计算机通讯连接。

[0019] 作为本发明公开的虚拟人现场互动表演系统的一种优选实施方式：所述表演现场组件为多组，且每组表演现场组件分布在不同的位置。

[0020] 为了达到上述目的，本发明公开的虚拟人现场互动表演方法采用以下技术方案予以实现：采用上述的任一虚拟人现场互动表演系统执行如下步骤：

[0021] (1)表演者动作信息采集：采用后台组件采集表演者的关节动作信息、面部表情信息和声音信息；

[0022] (2)信息处理：将步骤(1)采集到的表演者动作信息传输至现场处理计算机组件，且通过现场计算机组件进行处理转换成虚拟信息；

[0023] (3)虚拟人表演：将步骤(2)处理后的虚拟信息实时映射在表演现场组件的现场显示设备上的虚拟人物上。

[0024] 本发明有益效果是：

[0025] 本发明通过人类表演者克服传统动画互动表演中与观众互动有限的问题，本发明可以通过虚拟人物表达人类表演者无法完成的内容和效果。具体的，本发明的动作捕捉设备，捕捉表演者的关节三维运动信息，并将信息发送至现场处理计算机；表情捕捉设备，捕捉表演者的表情影像，并将信息发送至现场处理计算机；变声设备，捕捉表演者的声音，并将信息发送至现场处理计算机；现场处理计算机接收传递来的关节三维运动信息，并将运动情况映射到虚拟人的动作上；接收传递来的表情影像，提取表情信息映射到虚拟人的表情上；对虚拟人进行渲染，形成视频流，发送至现场显示设备；接收变声设备的声音信息，变声后发送至现场显示设备播放；现场显示设备，可以是大屏幕，也可以是虚拟现实播放设备；本发明还可以通过监控设备将视频发送至表演者。附图说明

[0026] 图1为本发明的虚拟人现场互动表演系统的结构示意图。

[0027] 附图标记说明：

[0028] 100-后台组件，200-现场处理计算机组件，300-表演现场组件；

[0029] 101-动作捕捉设备，102-表情捕捉设备，103-变声设备；

[0030] 301-现场显示设备，302-现场视频设备。

具体实施方式

[0031] 下面结合附图及实施例描述本发明具体实施方式：

[0032] 如图1所示，其示出了本发明的具体实施方式，如图1所示，本发明公开的虚拟人现场互动表演系统，包含用于采集表演者动作信息的后台组件100、完成信号传输处理转换工作的现场处理计算机组件200和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件300；

[0033] 后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备101、用于采集表演者表情信息的表情捕捉设备102和用于采集表演者声音信息的变声设备103；

[0034] 所述表演现场组件包含现场显示设备301和现场视频设备302；

[0035] 所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。

[0036] 优选的，如图所示：

[0037] 所述后台组件中：

[0038] 所述动作捕捉设备将表演者的动作实时映射在虚拟人物上；所述表情捕捉设备将表演者的面部表情实时映射在虚拟人物上；所述变声设备将表演者的声音通过变声系统映射在虚拟人物上；所述动作捕捉设备为基于惯性传感器的动作捕捉设备或是基于光学传感器动作捕捉设备；所述基于惯性传感器的动作捕捉设备包含多个惯性传感器模块；这些惯性传感器模块分布在表演者身体各个部位以测量各部位关节的运动情况；所述基于光学传感器的动作捕捉设备，通过放置于表演者前方的深度摄像机捕捉表演者的表演情况，通过计算得到各个部位关节的运动情况；

[0039] 所述表演现场组件中：

[0040] 所述现场显示设备，将虚拟人物图像传达给观众，所述现场显示设备为现场大屏幕或者虚拟现实显示设备；

[0041] 所述现场视频设备，将现场的情况实时反馈给表演者，帮助表演者根据现场情况做出正确反映；所述现场视频设备部包含一部或一部以上数量的摄像机。现场视频设备将现场情况通过摄像系统反馈给表演者，帮助表演者根据现场情况做出正确反映；可以由一部摄像机拍摄，也可以由多个摄像机同时拍摄。

[0042] 优选的，如图所示：所述表情捕捉设备将捕捉摄像机绑定在表演者佩戴的头盔上拍摄表演者的面部视频，将视频实时传送到所述现场处理计算机从而转换为虚拟人物的表情；

[0043] 所述捕捉摄像机为基于深度的摄像机、彩色或单色摄像机。

[0044] 所述变声设备包含配置于表演者头盔上的麦克风；麦克风将表演者的声音实时传送到现场处理计算机，现场处理计算机将表演者的声音变化为符合虚拟人特点的声音后通过表演现场组件中的音响进行播放；所述变声设备包含控制器开关的开关组件。变声设备可以通过开关组件选择开关；也就是可以采用表演者原声或者通过变声设备进行改变音色；开关组件反应在后台组件上可以仅仅为一个开关按键。

[0045] 优选的，如图所示：所述后台组件通过互联网与所述现场处理计算机通讯连接。通过互联网可以使表演者针对多个会场进行表演。

[0046] 优选的，如图所示：所述表演现场组件为多组，且每组表演现场组件分布在不同的位置。表演者的所处位置可以在表演现场，也可以通过互联网进行远程表演。同时，表演者通过互联网和多套现场视频设备可以实现多个异地现场的同时表演。

[0047] 本发明还公开了虚拟人现场互动表演方法，其采用上述任何一种虚拟现场互动表演系统执行如下步骤：

[0048] (1)表演者动作信息采集：采用后台组件采集表演者的关节动作信息、面部表情信息和声音信息；

[0049] (2)信息处理：将步骤(1)采集到的表演者动作信息传输至现场处理计算机组件，且通过现场计算机组件进行处理转换成虚拟信息；

[0050] (3)虚拟人表演：将步骤(2)处理后的虚拟信息实时映射在表演现场组件的现场显示设备上的虚拟人物上。

[0051] 上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。

[0052] 不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

标题	发布/更新时间	阅读量
用于舞台表演者的道具支撑背带	2020-05-11	392
基于动态采集的3D动作生成方法及系统	2020-05-17	88
用于舞台表演者的道具支撑背带	2020-05-11	167
一种表演手帕	2020-05-16	291
基于拉普拉斯变换的数据驱动人脸表情合成方法	2020-05-17	388
信息处理装置和方法	2020-05-16	104
一种音频的处理方法及装置	2020-05-17	90
大头舞面具单眨眼的方法	2020-05-19	234
基于UE引擎的无标记表演捕捉系统	2020-05-13	518
智能互动系统	2020-05-16	836

虚拟人现场互动表演系统及方法

虚拟人现场互动表演系统及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：