一种在视频中实时合成动画的方法和装置
阅读：874发布：2020-05-26
专利汇可以提供一种在视频中实时合成动画的方法和装置专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种在视频中实时合成动画的方法和装置，应用于实时采集的视频中，获取通过 动作捕捉 设备实时采集到的动作数据和动作坐标，以及通过面部捕捉设备实时采集到的面部数据和面部坐标，在虚拟区域的目标区域中生成骨骼模型和面部模型；通过 虚拟摄像机 保持与所述主摄像机同步，获取骨骼模型在虚拟区域中根据动作数据形成的骨骼动画和所述动作数据形成的 面部动画 ；将所述骨骼动画和所述面部模型的面部动画从所述 渲染 引擎中提取出来，根据所述3D 坐标系 统在所述视频数据中实时合成所述骨骼动画和所述面部动画的动画数据得到合成视频数据并同时实时的输出，从而实现实时的在视频中合成动画的功能，有效满足了现有的视频视觉传达需求。，下面是一种在视频中实时合成动画的方法和装置专利的具体信息内容。
1.一种在视频中实时合成动画的方法，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括：
所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上；
所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
2.根据权利要求1所述的方法，其特征在于，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：
所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
3.根据权利要求1所述的方法，其特征在于，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
4.根据权利要求3所述的方法，其特征在于，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
5.一种在视频中实时合成动画的装置，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述装置包括：
位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
动作获取单元，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；
骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；
骨骼动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；
实时合成单元，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画；
还包括：
面部获取单元，用于在触发实时合成单元之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；
面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
面部动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
6.根据权利要求5所述的装置，其特征在于，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括：
节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
7.根据权利要求5所述的装置，其特征在于，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
8.根据权利要求7所述的装置，其特征在于，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
一种在视频中实时合成动画的方法和装置
技术领域
[0001] 本发明涉及实时视频合成领域，特别是涉及一种在视频中实时合成动画的方法和装置。
背景技术
[0002] 视频属于一种常见的媒体格式，例如，通过摄像机采集的现场直播的电视节目就可以得到实时的现场视频数据。在直播的过程中，为了提高直播效果或者为了增加艺术表现，可以在现场视频数据中通过数据合成的方式，在现场视频中合成出动画效果，是一种新兴的视觉传达形式，例如强化表现人物表情的动画、画外音的艺术文字以及一些背景动画效果等。
[0003] 但是，目前应用在电视或网络视频播放中的动画合成主要还是依靠在视频后期处理的过程中完成，即非直播的情况下，在已经录制完成的视频数据中进行动画合成后，再将合成后的视频数据通过电视或网络播放。在直播的现场视频数据中，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判，若想在直播中的现场视频里合成动画，由于无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片。
[0004] 可见，目前在视频中的动画合成效果尤其是在直播的现场视频中实时合成动画的能力基本没有，无法有效的满足现有视觉传达的需求。
发明内容
[0005] 为了解决上述技术问题，本发明提供了一种在视频中实时合成动画的方法和装置，实现了在视频中实时合成动画的功能，有效满足了现有的视频视觉传达需求。
[0006] 本发明实施例公开了如下技术方案：
[0007] 一种在视频中实时合成动画的方法，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机 中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括：
[0008] 所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
[0009] 所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上；
[0010] 所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
[0011] 所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
[0012] 所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0013] 可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据 和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：
[0014] 所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
[0015] 所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
[0016] 所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
[0017] 可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
[0018] 所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0019] 可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
[0020] 一种在视频中实时合成动画的装置，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述装置包括：
[0021] 位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
[0022] 动作获取单元，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；
[0023] 骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标， 在所述虚拟区域的所述目标区域中生成骨骼模型；
[0024] 骨骼动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；
[0025] 实时合成单元，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画；
[0026] 还包括：
[0027] 面部获取单元，用于在触发实时合成单元之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；
[0028] 面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
[0029] 面部动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
[0030] 所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0031] 可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括：
[0032] 节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
[0033] 位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
[0034] 生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置， 在所述虚拟区域的所述目标区域中生成所述骨骼模型。
[0035] 可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
[0036] 所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0037] 可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
[0038] 由上述技术方案可以看出，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。附图说明
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040] 图1为本发明实施例提供的一种在视频中实时合成动画方法的方法流程图；
[0041] 图2为本发明实施例提供的一种骨骼动画的视频制作系统的架构图；
[0042] 图3为本发明实施例提供的一种三维动画模型动作的示例图；
[0043] 图4为本发明实施例提供的一种在视频中实时合成动画装置的装置结构图。
具体实施方式
[0044] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045] 针对直播的现场视频数据，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判或预先获知，难以直接在视频中进行动画合成。传统的视频动画合成技术，往往只能通过后期制作的方式实现，很难在现场拍摄、实时直播的视频中实现动画合成。即使目前有些公司可以实现实时动画合成，但是由于上述采集视频数据的摄像机的拍摄角度、摄像位置都无法预判或预先获知的问题无法解决，无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片，无法有效的满足现有视觉传达的需求。
[0046] 为此，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区 域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
[0047] 实施例一
[0048] 图1为本发明实施例提供的一种在视频中实时合成动画方法的方法流程图。所述方法应用于实时采集的视频中，在实施所述方法之前，需要先获取到相关的参数。
[0049] 采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致。
[0050] 举例说明，所述固定区域具有明确的区域边界，可以是一个摄影棚、一个房间或者一处室外场所等。所述3D坐标系统用于标识所述固定区域，在所 述3D坐标系统中，所述固定区域具有固定的位置信息例如坐标值。
[0051] 对于现场拍摄，可能需要至少一台摄像机。摄像机的数量随着拍摄的需求改变。当为多台摄像机时，输出视频数据的为主摄像机，主摄像机可以随着拍摄需求在所述多台摄像机中切换。通过所述至少一台摄像机中主摄像机的位置信息和视频采集参数可以确定所述主摄像机的机位、移动和拍摄角度，甚至还有拍摄过程中的视角拉近和拉远等。
[0052] 可选的，本发明提供了一种快捷有效的建立所述3D坐标系统、确定摄像机位置和视频采集参数的方式，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
[0053] 所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0054] 举例说明，若所述固定区域在室内，可以在天花板上悬挂多个采集设备、几个角落出设置多个采集设备，用于建立对应所述固定区域的所述3D坐标系统，并采集所述固定区域在所述3D坐标系统中的位置信息。对于摄像机，可以在摄像机上设置反射器，可以通过反射所述采集设备发射的信号或其他方式，使得采集设备确定反射器在所述3D坐标系统中的位置信息以及部分视频采集参数例如拍摄角度、拍摄机位等。进一步，可以在摄像机中设置反射器，使得采集设备通过反射器确定出所述主摄像机镜头的拉近拉远等操作。若所述固定区域为室外，也可以通过在高处悬挂多个采集设备等方式实现上述功能。通过红外线能够较为有效实现位置采集的功能，故可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。而设置在主摄像机内用于检测主摄像机镜头的可以具体为传感器等装置。
[0055] 所述服务器具有的渲染引擎类似于所述服务器的显卡，具有独立的处理器或者可以理解为图形处理器(英文：Graphics Processing Unit，缩写：GPU)，可以有效为所述服务器的处理器或者可以理解为中央处理器(英文：Central Processing Unit，缩写：CPU)分担处理工作。所述服务器可以使用所述渲染 引擎根据之前获取的各个位置参数建立出虚拟区域。所述虚拟区域与所述固定区域之间位置信息具有比例关系，例如建立的所述虚拟区域的大小可以与所述固定区域一致等。
[0056] 所述虚拟摄像机可以理解为观察所述虚拟区域的视角，可以根据所述主摄像机的位置信息和所述视频采集参数，利用四阶矩阵的运算确定所述虚拟摄像机在所述虚拟区域中的位置等。通过同步所述虚拟摄像机和所述主摄像机可以使得所述虚拟摄像机在所述虚拟区域中拍摄的角度、机位等拍摄相关参数均与所述主摄像机在所述固定区域内拍摄的相关参数一致。需要注意的是，若所述虚拟区域与所述固定区域之间的比例关系不为1:1时，在同步所述虚拟摄像机和所述主摄像机时还需要考虑到所述比例关系的影响。
[0057] 如图1所示，所述方法包括：
[0058] S101：所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息。
[0059] 由于在所述固定区域中实际并不存在合成的动画，故合成动画的所述目标区域一般事先确定好。这样在所述固定区域中进行拍摄时，便于提示节目中的参与者例如主持人、嘉宾、参演人等，做到与所述目标区域中将要合成的动画进行互动或者不进入该目标区域或该目标区域与主摄像机之间的区域，避免遮挡合成的动画等情况。由于所述固定区域和所述虚拟区域均依据于所述3D坐标系统，故通过所述区域位置信息可以明确所述目标区域在所述固定区域和所述虚拟区域中的具体位置。
[0060] S102：所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系。所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上。
[0061] 接下来将详细说明如何通过动作捕捉设备实施采集到动作数据和动作坐标。如图2所示，图2为本发明实施例提供的一种骨骼动画的视频制作系统的架构图。服务器1分别与主摄像机2及动作捕捉设备3(图示中穿戴在动作被采集者上或者说第二目标体上)相连。其中，连接的方式可以是有线的，也可 以是无线的，本申请并不做具体限定。
[0062] 主摄像机2，用于采集第一目标体(可以为固定区域中的参与者)的视频数据。由于第一目标体处于固定区域中，主摄像机2采集到的第一目标体的视频数据除包含有第一目标体图像外，还包含有空间场景图像。该种场景的一个具体示例为，摄像机拍摄节目主持人主持节目时的视频图像。
[0063] 动作捕捉设备3，穿戴在第二目标体上，用于获取所述第二目标体的动作数据。其中，第二目标体是可以活动的任何目标体，如人体。动作捕捉设备3获取到的动作数据用于表示第二目标体活动的动作姿势。仍以上述场景示例为例，该人体可以是与该节目主持人互动的另外一位节目主持人。
[0064] 需要说明的是，主摄像机2及动作捕捉设备3在视频制作过程中，是不间断地采集数据的，并将采集到的数据实时发送至服务器1。服务器1可以依据接收的数据来实时制作包含骨骼动画的视频。可以理解的是，视频是由多帧视频图像组合成的，本发明实施例提供的包含骨骼动画的视频制作方法，是仅就单独一帧视频图像的制作过程进行说明，其他各帧视频图像的制作过程同样可以参见本发明实施例提供的方法。所述面部捕捉设备可以为佩戴在人脸上的数据采集装置，通过摄像等功能，识别并输出人脸上特征点的变化，从而得到面部数据和面部坐标，所述面部坐标可以是人脸特征点的坐标值。所述面部捕捉设备也穿戴在所述第二目标体上，通过主摄像机2采集到所述第二目标体的面部表情、动作的变化。面部动画的制作方式与所述骨骼动画的制作方式类似，这里不再赘述。
[0065] S103：所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型。所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型。
[0066] 举例说明，利用三维动画绘制工具，绘制骨骼模型。需要说明的是，骨骼模型是按照第二目标体绘制的，用来模拟第二目标体。当然，骨骼模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，骨骼模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人体的动作。
[0067] 例如，骨骼模型模拟第二目标体的方式，可以是根据第二目标体的可活动节点，在骨骼模型中设置相应数量的骨骼节点，每个骨骼节点用来唯一表示第二目标体的一个可活动节点。这样，在可活动节点运动时，骨骼模型的骨骼节点可相应地进行运动。由于骨骼模型是由骨骼节点构成的，确定骨骼节点的动作后，便可以获得骨骼模型的骨骼动画。需要说明的是，该一帧骨骼动画是骨骼模型的一帧动画图像。
[0068] 所述动作坐标和所述3D坐标系统中的坐标具有对应关系，通过一个动作坐标可以确定出该动作坐标在所述3D坐标系统中所对应的坐标值。
[0069] 举例说明，利用三维动画绘制工具，绘制面部模型。需要说明的是，面部模型是按照第二目标体(面部数据被采集者)绘制的，用来模拟第二目标体。当然，面部模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，面部模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人脸的表情神态等面部动作。
[0070] 例如，面部模型模拟第二目标体的方式，可以是根据第二目标体的面部特征点，在面部模型中设置相应数量的面部节点，每个面部节点用来唯一表示第二目标体的一个面部特征点。这样，在面部特征点运动时，面部模型的面部节点可相应地进行运动。由于面部模型是由面部节点构成的，确定面部节点的动作后，便可以获得面部模型的面部动画。需要说明的是，该一帧面部动画是面部模型的一帧动画图像。
[0071] 所述面部坐标和所述3D坐标系统中的坐标具有对应关系，通过一个面部坐标可以确定出该面部坐标在所述3D坐标系统中所对应的坐标值。
[0072] S104：所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画。所述服务器获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画。
[0073] 步骤S103和S104可以是同时执行，也可以是S103先于S104执行。
[0074] 若同时执行，可以理解为动作捕捉，面部捕捉和所述视频的拍摄同时进行，即在所述固定区域进行现场直播的过程中，动作捕捉和面部捕捉也在另 一个区域中同时进行，利用实时获取的动作数据和动作坐标建立骨骼模型，并根据现场直播过程中的主摄像机的位置信息和视频采集参数同步所述虚拟摄像机采集到所述骨骼动画。利用实时获取的面部数据和面部坐标建立面部模型，并根据现场直播过程中的主摄像机的位置信息和视频采集参数同步所述虚拟摄像机采集到所述面部动画。
[0075] 若S103先于S104执行，可以理解为先完成动作捕捉和目标捕捉，并通过捕捉的参数建立骨骼模型和面部模型。等到开始在所述固定区域现场直播时，再根据同步的虚拟摄像机采集所述骨骼动画和面部动画。但是在采集的过程中需要主要时间轴的一致性，时间轴的相关特征属于成熟技术，这里就不再赘述。
[0076] 例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及动作捕捉设备发送的动作数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；动作捕捉设备发送的动作数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的动作可以是互动的。
[0077] 例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及面部捕捉设备发送的面部数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；面部捕捉设备发送的面部数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的面部动作可以是互动的。
[0078] S105：所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0079] 需要注意的是，由于骨骼模型的建立和骨骼动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画 合成前，所述服务器将所述渲染引擎处理得到的骨骼动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述骨骼动画和所述视频的尺寸比例等。
[0080] 例如，第一目标体的视频数据是一帧视频图像，骨骼模型的一帧骨骼动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含骨骼动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
[0081] 需要注意的是，由于面部模型的建立和面部动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述服务器将所述渲染引擎处理得到的面部动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述面部动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述面部动画和所述视频的尺寸比例等。在合成数据的过程中，也需要考虑到所述面部动画和所述骨骼动画的尺寸比例等。
[0082] 例如，第一目标体的视频数据是一帧视频图像，面部模型的一帧面部动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含面部动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
[0083] 将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
[0084] 根据上述实施例可以看出，本发明实施例提供了一种在视频中实时合成 动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
[0085] 实施例二
[0086] 在实际应用中，动作捕捉设备可以是按照预设的采集频率来采集第二目标体的动作数据的。例如，预设的采集频率为每秒50次，即动作捕捉设备在一秒内采集50次动作数据。当然该数值仅仅是示例说明，本发明并不局限于此。另外，服务器，可以预先设置有刷新率，为了便于描述，将该刷新率称为预设刷新率。服务器按照预设刷新率生成目标视频的每帧视频图像。例如，服务器的刷新率可以是每秒40次，则服务器一秒内生成40帧的视频图像。当然该数值仅仅是示例说明，本发明并不局限于此。
[0087] 存在一种情况是，服务器的刷新率与动作捕捉设备的采集频率不同，则如何根据接收到的动作数据来控制骨骼模型的骨骼节点，是需要解决的技术 问题。对此，本发明提供了上述图1所对应实施例中S103及S104的具体实现方式。
[0088] 例如，动作捕捉设备是按照预设采集频率采集第二目标体的动作数据的，因此，接收动作捕捉设备按照预设发送频率发送的多组动作数据。多组动作数据的具体数量可以是由动作捕捉设备的性能参数决定的。
[0089] 相应地，确定预先绘制的骨骼模型的骨骼动作的具体实现方式包括步骤A1～步骤A2。
[0090] 步骤A1：在所述服务器的预设刷新率低于所述预设发送频率的情况下，在接收到的所述多组动作数据中，提取一组目标动作数据。
[0091] 其中，动作捕捉设备采集动作数据后便向服务器发送，因此，动作捕捉设备的采集频率可以认为是预设发送频率。服务器接收到该多组动作数据后，需要在多组动作数据中提取一组动作数据，为了便于描述，将提取到的该组动作数据称为目标动作数据。需要说明的是，动作数据可以用三维坐标表示的，则一组动作数据中包含多个子动作数据，子动作数据标识的是不同维度上的坐标。
[0092] 需要说明的是，在多组动作数据中，提取目标动作数据的方式，可以是随意提取，也可以是按照预设规则进行提取。动作捕捉设备发送的多组动作数据具有采集时间上的先后顺序，则多组动作数据可以是按照采集时间的先后顺序依次排序的，相应地，预设规则可以是在该多组动作数据中，提取某个固定顺序的一组动作数据。例如，多组动作数据为5个且依次排序，固定提取第3位的动作顺序。
[0093] 在实际应用中，该种按照预设规则提取目标动作数据方式的具体过程可以是，服务器按照自身的预设刷新率，从动作捕捉设备按照发送频率发送的动作数据中，提取目标动作数据。例如，动作捕捉设备的发送频率是每隔2微秒发送一组动作数据，服务器是每隔5微秒刷新一次，即每隔5微秒生成一帧目标视频图像，因此，服务器每隔5微秒提取一组目标动作数据。
[0094] 步骤A2：依据所述目标动作数据，确定预先绘制的骨骼模型的骨骼动作。
[0095] 其中，目标动作数据是多组动作数据中的一组，表示的是第二目标体的动作姿势，骨骼模型是按照第二目标体绘制的。因此，利用该目标动作数据， 可以确定出骨骼模型的动作。
[0096] 由以上的技术方案可知，为了解决动作捕捉设备的采集频率与服务器的刷新率不同的问题，可以在多组动作数据中提取一组目标动作数据，利用一组目标动作数据来控制骨骼模型的骨骼动作。
[0097] 在本发明实施例中，第二目标体可以包含若干个活动节点，例如，第二目标体为人，人的活动节点可以是手腕、肘关节及肩关节等等。相应地，动作捕捉设备设置有若干个动作捕捉点，在动作捕捉点为多个的情况下，不同的动作捕捉点用于获得第二目标体不同活动节点的动作数据。将一个活动节点的动作数据称为一个子动作数据，活动节点为若干个，则动作捕捉设备获取到的动作数据可以包含若干个子动作数据。为了区分不同的活动节点，则子动作数据具有各自的节点标识。
[0098] 也就是说，可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点。
[0099] 所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：
[0100] 所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点。
[0101] 举例说明，骨骼模型具有骨骼节点，其骨骼节点是按照第二目标体的活动节点设置的。接收到的子动作数据具有节点标识，因此，可以确定出子动作数据对应骨骼节点。
[0102] 例如，接收到的子动作数据为：子动作数据1、子动作数据2、子动作数据3及子动作数据4，各个子动作数据的节点标识分别为左上肢肘关节、右上肢肘关节、左下肢膝关节及右下肢膝关节，骨骼模型中具有这些关节对应的骨骼节点，进而分别为子动作数据1、子动作数据2、子动作数据3及子动作数据4确定各自对应的骨骼节点。
[0103] 所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置。
[0104] 所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
[0105] 其中，子动作数据的一种具体实现形式是，所述3D坐标系统下的三维实体坐标。因此，子动作数据中包含三维坐标，为了与下述骨骼模型的坐标区分，可以将该三维坐标称为三维实体坐标。
[0106] 例如，上一示例中的子动作数据1，即左上肢肘关节对应的三维实体坐标为(188.9，113.7，88.8)；子动作数据2，即右上肢肘关节对应的三维实体坐标为(127.5，54.3，68.9)；子动作数据3，即左下肢膝关节对应的三维实体坐标为(111.1，158.3，56.9)；
子动作数据4，即右下肢膝关节对应的三维实体坐标为(99.8，155.5，77.7)。
子动作数据4，即右下肢膝关节对应的三维实体坐标为(99.8，155.5，77.7)。
[0107] 相应地，确定目标骨骼节点在骨骼模型中的位置的具体实现方式可以包括步骤B1～步骤B2。
[0108] 步骤B1：依据所述动作坐标与虚拟空间坐标之间的比例关系，确定所述动作坐标在所述虚拟空间下的三维动画坐标。
[0109] 其中，该比例关系也可表示骨骼模型大小与第二目标体大小的关系。
[0110] 步骤B2：将所述三维动画坐标确定的位置，作为所述目标骨骼节点的位置。
[0111] 其中，三维动画坐标包含三个坐标值，该三个坐标值在骨骼模型中，可以确定出一个位置点，进而将确定出的该位置点，作为该三维动画坐标对应的骨骼节点的位置。参见图3所示，图3为本发明实施例提供的一种三维动画模型动作的示例图，图3中的左上肢肘关节、右上肢肘关节、左下肢膝关节及右下肢膝关节的位置是分别根据上述示例中的子动作数据1、子动作数据2、子动作数据3及子动作数据4来确定的。
[0112] 实施例三
[0113] 图4为本发明实施例提供的一种在视频中实时合成动画装置的装置结构图，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域 在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；
[0114] 可选的，本发明提供了一种快捷有效的建立所述3D坐标系统、确定摄像机位置和视频采集参数的方式，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
[0115] 所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0116] 举例说明，若所述固定区域在室内，可以在天花板上悬挂多个采集设备、几个角落出设置多个采集设备，用于建立对应所述固定区域的所述3D坐标系统，并采集所述固定区域在所述3D坐标系统中的位置信息。对于摄像机，可以在摄像机上设置反射器，可以通过反射所述采集设备发射的信号或其他方式，使得采集设备确定反射器在所述3D坐标系统中的位置信息以及部分视频采集参数例如拍摄角度、拍摄机位等。进一步，可以在摄像机中设置反射器，使得采集设备通过反射器确定出所述主摄像机镜头的拉近拉远等操作。若所述固定区域为室外，也可以通过在高处悬挂多个采集设备等方式实现上述功能。通过红外线能够较为有效实现位置采集的功能，故可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。而设置在主摄像机内用于检测主摄像机镜头的可以具体为传感器等装置。
[0117] 所述服务器具有的渲染引擎类似于所述服务器的显卡，具有独立的处理器或者可以理解为图形处理器GPU，可以有效为所述服务器的处理器或者可以理解为中央处理器CPU分担处理工作。所述服务器可以使用所述渲染引擎根据之前获取的各个位置参数建立出虚拟区域。所述虚拟区域与所述固定区域之间位置信息具有比例关系，例如建立的所述虚拟区域的大小可以与所述固定区域一致等。
[0118] 所述虚拟摄像机可以理解为观察所述虚拟区域的视角，可以根据所述主摄像机的位置信息和所述视频采集参数，利用四阶矩阵的运算确定所述虚拟摄像机在所述虚拟区域中的位置等。通过同步所述虚拟摄像机和所述主摄像机可以使得所述虚拟摄像机在所述虚拟区域中拍摄的角度、机位等拍摄相关参数均与所述主摄像机在所述固定区域内拍摄的相关参数一致。需要注意的是，若所述虚拟区域与所述固定区域之间的比例关系不为1:1时，在同步所述虚拟摄像机和所述主摄像机时还需要考虑到所述比例关系的影响。
[0119] 所述装置包括：
[0120] 位置信息获取单元501，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息。
[0121] 由于在所述固定区域中实际并不存在合成的动画，故合成动画的所述目标区域一般事先确定好。这样在所述固定区域中进行拍摄时，便于提示节目中的参与者例如主持人、嘉宾、参演人等，做到与所述目标区域中将要合成的动画进行互动或者不进入该目标区域或该目标区域与主摄像机之间的区域，避免遮挡合成的动画等情况。由于所述固定区域和所述虚拟区域均依据于所述3D坐标系统，故通过所述区域位置信息可以明确所述目标区域在所述固定区域和所述虚拟区域中的具体位置。
[0122] 动作获取单元502，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系。
[0123] 可以参考实施例一中针对图2的说明，这里不再赘述。
[0124] 骨骼模型生成单元503，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型。
[0125] 举例说明，利用三维动画绘制工具，绘制骨骼模型。需要说明的是，骨骼模型是按照第二目标体绘制的，用来模拟第二目标体。当然，骨骼模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，骨骼模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人体的动作。
[0126] 例如，骨骼模型模拟第二目标体的方式，可以是根据第二目标体的可活动节点，在骨骼模型中设置相应数量的骨骼节点，每个骨骼节点用来唯一表 示第二目标体的一个可活动节点。这样，在可活动节点运动时，骨骼模型的骨骼节点可相应地进行运动。由于骨骼模型是由骨骼节点构成的，确定骨骼节点的动作后，便可以获得骨骼模型的骨骼动画。需要说明的是，该一帧骨骼动画是骨骼模型的一帧动画图像。
[0127] 所述动作坐标和所述3D坐标系统中的坐标具有对应关系，通过一个动作坐标可以确定出该动作坐标在所述3D坐标系统中所对应的坐标值。
[0128] 可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括：
[0129] 节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
[0130] 位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
[0131] 生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
[0132] 骨骼动画获取单元504，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画。
[0133] 举例说明，骨骼模型生成单元503和骨骼动画获取单元504可以同时触发，也可以骨骼模型生成单元503先于骨骼动画获取单元504触发。
[0134] 若骨骼模型生成单元503先于骨骼动画获取单元504触发，可以理解为先完成动作捕捉，并通过捕捉的参数建立骨骼模型。等到开始在所述固定区域现场直播时，再根据同步的虚拟摄像机采集所述骨骼动画。但是在采集的过程中需要主要时间轴的一致性，时间轴的相关特征属于成熟技术，这里就不再赘述。
[0135] 例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及动作捕捉设备发送的动作数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；动作 捕捉设备发送的动作数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的动作可以是互动的。
[0136] 实时合成单元505，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。
[0137] 需要注意的是，由于骨骼模型的建立和骨骼动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述实时合成单元505将所述渲染引擎处理得到的骨骼动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述骨骼动画和所述视频的尺寸比例等。
[0138] 例如，第一目标体的视频数据是一帧视频图像，骨骼模型的一帧骨骼动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含骨骼动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
[0139] 将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
[0140] 在图4中，还包括：
[0141] 面部获取单元506，用于在触发实时合成单元505之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系。
[0142] 面部模型生成单元507，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型。
[0143] 举例说明，所述面部捕捉设备可以为佩戴在人脸上的数据采集装置，通过摄像等功能，识别并输出人脸上特征点的变化，从而得到面部数据和面部坐标，所述面部坐标可以是人脸特征点的坐标值。
[0144] 举例说明，利用三维动画绘制工具，绘制面部模型。需要说明的是，面部模型是按照第二目标体(面部数据被采集者)绘制的，用来模拟第二目标体。当然，面部模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，面部模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人脸的表情神态等面部动作。
[0145] 例如，面部模型模拟第二目标体的方式，可以是根据第二目标体的面部特征点，在面部模型中设置相应数量的面部节点，每个面部节点用来唯一表示第二目标体的一个面部特征点。这样，在面部特征点运动时，面部模型的面部节点可相应地进行运动。由于面部模型是由面部节点构成的，确定面部节点的动作后，便可以获得面部模型的面部动画。需要说明的是，该一帧面部动画是面部模型的一帧动画图像。
[0146] 所述面部坐标和所述3D坐标系统中的坐标具有对应关系，通过一个面部坐标可以确定出该面部坐标在所述3D坐标系统中所对应的坐标值。
[0147] 面部动画获取单元508，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画。
[0148] 例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及面部捕捉设备发送的面部数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；面部捕捉设备发送的面部数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的面部动作可以是互动的。
[0149] 所述实时合成单元505还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的 合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0150] 需要注意的是，由于面部模型的建立和面部动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述服务器将所述渲染引擎处理得到的面部动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述面部动画和所述视频的尺寸比例等。在合成数据的过程中，也需要考虑到所述面部动画和所述骨骼动画的尺寸比例等。
[0151] 例如，第一目标体的视频数据是一帧视频图像，面部模型的一帧面部动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含面部动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
[0152] 将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
[0153] 根据上述实施例可以看出，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，所述服务器从所述渲染引擎中提取出所述骨骼 动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画的功能，有效满足了现有的视频视觉传达需求。
[0154] 可见，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
[0155] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0156] 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0157] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画 | 2020-05-08 | 700 |
| 一种使用语音触发虚拟人物表情及口型动画的语音系统 | 2020-05-13 | 94 |
| 实时的三维眼皮重建方法及装置 | 2020-05-18 | 824 |
| 一种VR虚拟现实动作捕捉系统和动作捕捉方法 | 2020-05-17 | 671 |
| 实时面部动画的在线建模 | 2020-05-11 | 227 |
| 级联卷积LSTM的语音驱动唇形同步人脸视频合成算法 | 2020-05-15 | 902 |
| FACIAL GESTURE DRIVEN ANIMATION OF NON-FACIAL FEATURES | 2020-05-21 | 962 |
| モーションキャプチャデータを使用する顔面アニメーション | 2020-05-26 | 785 |
| AUGMENTED FACIAL ANIMATION | 2020-05-23 | 357 |
| MÉTODO DE SÍNTESE DE ANIMAÇÃO FACIAL 2D DE FALA EXPRESSIVA | 2020-05-20 | 728 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
面部动画热门专利
QQ群二维码
意见反馈
意见反馈