技术领域
[0001] 本
发明涉及了
计算机图形学、
计算机视觉和
虚拟现实领域，特别涉及一种基于UE引擎的无标记表演捕捉系统。
背景技术
[0002] 表演捕捉技术用于对
表演者的动作和表情进行捕捉，在电影、动画、游戏等领域中具有广泛的应用。通过表演捕捉技术赋予虚拟
角色真实合理的动作与生动的表情，可以带给用户优更秀的观感体验。
动作捕捉技术包括光学式捕捉与惯性导航式捕捉。光学式捕捉通过光学相机拍摄表演者，分析计算表演者的关
节点，例如kinect等；惯性导航式捕捉通过表演者身上穿戴的
传感器获取关节点的运动状态，分析出表演者当前的
姿态，例如诺亦腾、OptiTrack等。
[0003] 当前，已有表演捕捉技术方案有，在表演者全身和脸部贴上标记，通过光学相机捕捉全身动作及面部表情，在后期制作中根据捕捉到的标记点将拍摄的表演者影像替换成虚拟角色模型。但标记点对表演者造成侵入感，使得自然表演的难度增加。或者，分别进行表情捕捉与动作捕捉，然后进行合成，但是在后期制作中增加了相互间结合的难度，并对用户进行其他角色编辑有所限制。
发明内容
[0004] 为了解决
现有技术中的上述问题，即为了解决同时捕捉表演者的动作与表情以生成角色动画方法中，标记点对表演者造成侵入感，使得自然表演的难度增加，或者，由于分别进行表情捕捉与动作捕捉，然后进行合成，造成在后期制作中增加了相互间结合的难度，并对用户进行其他角色编辑有所限制的问题，本发明采用以下技术方案以解决上述问题：
[0005] 本
申请提供了基于UE引擎(Unreal Engine，虚拟引擎)的无标记表演捕捉系统，该系统包括：面部表演捕捉模
块，配置为采集表演者的面部图像数据，并根据上述面部图像数据计算上述表演者的面部表情的权重参数，并记为第一权重参数；动作表演捕捉模块，配置为采集上述表演者的骨骼图像数据，并根据上述骨骼图像数据确定上述表演者的人体姿态参数；动画生成模块，配置为根据上述第一权重参数和上述人体姿态参数，利用UE图形程序生成上述表演者对应人物角色的3D模型的动作和表情。
[0006] 在一些示例中，上述面部表演捕捉模块包括面部
图像采集单元和表情计算单元；上述面部图像采集单元，配置为采集表演者
正面人脸的面部图像数据；上述表情计算单元，配置为对上述面部图像数据进行特征点
跟踪，计算上述表演者的面部表情的权重参数。
[0007] 在一些示例中，上述动作表演捕捉模块包括骨骼
数据采集单元和人体姿态确认单元；上述骨骼图像采集单元包括多台Kinect传感器，配置为从不同的角度采集上述表演者的多
帧骨骼图像数据，各帧上述骨骼图像数据包括组成人体骨骼的各关节点的关节点坐标和各上述关节点的跟踪属性，并根据上述跟踪属性为各上述骨骼图像数据的各个关节点分配可信度；上述人体姿态确认单元，配置为根据上述表演者的骨骼图像数据中各关节点坐标和各上述关节点坐标变化确定出上述表演者的人体姿态参数。
[0008] 在一些示例中，上述人体姿态确认单元进一步配置为：利用预设的坐标转换矩阵对各台Kinect传感器所采集的骨骼图像数据进行
坐标系转换，生成参考骨骼数据；根据各参考骨架数据利用加权平均
算法合成上述表演者的平均骨架数据。
[0009] 在一些示例中，上述“根据各参考骨架数据利用加权平均算法合成上述表演者的平均骨架数据”，包括：确定上述参考骨架数据的关节点的可信度为上述关节点的权重因子；根据各参考骨架数据的任一关节点坐标和上述关节点的权重因子计算上述关节点坐标的平均值；根据组成人体骨架的全部关节点坐标的平均值确定上述表演者的平均骨架数据。
[0010] 在一些示例中，上述动画生成模块包括骨骼运动控制单元和表情控制单元；上述骨骼运动控制单元，配置为根据上述动作表演捕捉模块确定的人体姿态参数，利用上述UE图形程序生成人物角色的3D模型的动作动画；上述表情控制单元，配置为根据上述面部表演捕捉模块确定的面部表情权重参数，利用上述UE图形程序生成上述人物角色的3D模型的表情动画。
[0011] 在一些示例中，上述骨骼运动控制单元，进一步配置为：利用预设的映射关系，将上述平均骨架数据转换为UE4图形程序中上述人物角色的角色模型数据；采用四元数混合的方式将上述角色模型数据通过UE4引擎赋值到上述人物角色的3D模型；计算初始骨架变化到当前骨架的过程中每根骨骼的变化量；将各上述变化量附加对应骨骼的父关节点，确定出上述人物角色的3D模型的动作动画。
[0012] 在一些示例中，上述表情控制单元进一步配置为：将上述第一权重参数与预设角色表情库的各
基础表情进行对应，确定出上述面部表情对应的基础表情组合；利用预设的目标
变形函数与上述角色表情库中各基础表情的对应关系，确定出上述面部表情对应于上述人物角色的3D模型的表情动画。
[0013] 在一些示例中，上述“将上述第一权重参数与预设角色表情库的各基础表情进行对应，确定出上述面部表情对应的基础表情组合”，包括：利用预设的表情权重计算程序计算上述角色表情库中的各基础表情的角色表情权重参数，并记为第二权重参数；将上述第一权重参数与上述第二权重参数进行映射，根据映射结果，确定出与上述面部表情对应的第二权重参数；根据上述第二权重参数与上述角色表情库中的各基础表情的对应关系，确定上述面部表情对应的上述角色表情库中的基础表情组合。
[0014] 在一些示例中，上述“将上述第一权重参数与上述第二权重参数进行映射，根据映射结果，确定出与上述面部表情对应的第二权重参数”，包括：将所述UE图形程序中第一权重参数的数目与所述角色表情库中基础表情的数目比较；如果数目相同，选取与上述第一权重参数序号一致的第二权重参数作为上述面部表情对应的第二权重参数；如果上述UE图形程序中第一权重参数的数目小于上述角色表情库中基础表情的数目，则根据第一权重参数的数目，从上述角色基础表情库中选取相同数目的基础表情作为表情子集，计算上述表情子集中各基础表情的角色表情权重参数，并记为新的第二权重参数，选取与上述第一权重参数序号一致的新的上述第二权重参数作为上述面部表情对应的第二权重参数；否则，选取与上述第一权重参数的差值最小的第二权重参数作为上述面部表情对应的第二权重参数。
[0015] 本申请提供的基于UE引擎的无标记表演捕捉系统，通过面部表演捕捉模块捕捉表演者的面部表情、动作表演捕捉模块捕捉表演者的肢体动作，动画生成模块根据表演者的面部表情和肢体动作，利用UE图形程序生成人物角色的3D模型的动作动画和表情动画。本发明可以同时捕捉表演者的动作和表情数据，并在UE引擎中通过角色动画的形式实时
渲染出来，用户可以自定义角色模型。解决了同时捕捉表演者的动作与表情以生成角色动画方法中，标记点对表演者造成侵入感，使得动画角色人物的表演受到干扰。
附图说明
[0016] 图1是本申请可以应用于其中的示例性系统架构图；
[0017] 图2是根据本申请的基于UE引擎的无标记表演捕捉系统的一个实施
流程图；
[0018] 图3是本申请用于中捕捉面部表情的头盔式网络相机示意图；
[0019] 图4a和图4b是动作表演和表情表演的表演捕捉效果图。
具体实施方式
[0020] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0021] 需要说明的是，在不冲突的情况下，本申请中的
实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0022] 图1示出了可以应用本申请的基于UE引擎的无标记表演捕捉系统的实施例的示例性系统架构。
[0023] 如图1所示，系统包括：面部表演捕捉模块，配置为采集表演者的面部图像数据，并根据上述面部图像数据计算上述表演者的面部表情的权重参数，并记为第一权重参数；动作表演捕捉模块，配置为采集上述表演者的骨骼图像数据，并根据上述骨骼图像数据确定上述表演者的人体姿态参数；动画生成模块，配置为根据上述第一权重参数和上述人体姿态参数，利用UE图形程序生成上述表演者对应人物角色的3D模型的动作和表情。
[0024] 继续参考图2，示出了在本实施例中系统的实施示意图。在本实施例中，上述面部表演捕捉模块和上述动作表演捕捉模块分别获取表演表演者的面部表情和动作姿态的信息，并将所获得的与表演相关的面部表情信息和动作姿态信息发送到上述动画生成模块，上述动画生成模块根据上述面部表情信息和动作姿态信息，利用UE图形程序生成该人物角色的3D模型的动作动画和表情动画。上述面部表演捕捉模块和上述动作表演捕捉模块可以是用户实时输入的信息；用户可以预先准备角色数据，根据用户输入的实时信息，实时生成人物角色的动作动画。
[0025] 在本实施例中，上述面部表演捕捉模块包括面部图像采集单元和表情计算单元。其中，上述面部图像采集单元，配置为采集表演者正面人脸的面部图像数据；上述表情计算单元，配置为对上述面部图像数据进行特征点跟踪与分析，计算上述表演者的面部表情的权重参数。
[0026] 上述面部图像采集单元可以是视频或图像采集传感设备，例如，可以为头盔式网络相机。如图3所示，上述头盔式网络相机主要结构如下：头盔正面装有一个可调节
支架，支架尾部装有一部
网络摄像头，头盔背面装有电源，通过数据线与摄像头相连。在进行面部图像捕捉时上述头盔式网络相机对目标用户的正面人脸图像进行实时拍摄。所拍摄的图像或
视频流通过有线或无线网络传输到设置于PC端的表情计算单元进行表情参数计算。
[0027] 上述表情参数计算单元配置为对上述面部图像数据进行特征点跟踪与分析，计算上述表演者的面部表情的权重参数。上述表情参数计算单元中预设表情参数计算程序，上述表情参数计算程序对所获取的表演者的面部图像数据进行特征点的跟踪，计算出表演者的面部表情的权重参数。
[0028] 作为示例，上述表演者的权重参数计算可以通过如下方式进行。可以用PC机连接一台Kinect传感器，FaceShift能够自动检测该Kinect传感器并与其连接，Kinect传感器捕获的人脸表情的深度数据可以实时传输给FaceShift。FaceShift将Kinect传感器获取的人脸表情深度数据与用户的基础表情模型进行对比分析，FaceShift计算出当前表情的51个权重参数，记为{wi，i＝1，2，...，51}。
[0029] 具体地，以n个基础表情组成的blendshape表情模型为例，每一个基础表情都用含有p个
顶点的
三维网格人脸模型表示，每个顶点有三个分量x、y、z，即每个顶点的空间坐标为(x，y，z)。将每个基础表情的顶点坐标按任意顺序展开为长向量，但是展开后每个基础表情的顶点坐标之后的展开顺序应该是一样的，展开顺序可以为(xxxyyyzzz)或者(xyzxyzxyz)等，这样就得到n个长度为3p的向量bk，k＝1，2，...，n，用b0表示中性表情，bk-b0即为第k个基础表情bk与中性表情b0之差 ，当前表 情可以 表示为：其中，wk表示在区间[0,1]内的任意值。因此，51个基础表
情模型可以表示为Fi＝bi-b0(i＝1,…,51)，将上述公式简化为 其中F＝
f-b0。
[0030] 在本实施例中，上述动作表演捕捉模块包括骨骼数据采集单元和人体姿态确认单元。上述骨骼图像采集单元包括多台Kinect传感器，配置为从不同的角度采集上述表演者的多帧骨骼图像数据，各上述骨骼图像数据包括组成人体骨骼的各关节点的关节点坐标和各上述关节点的跟踪属性，并根据上述跟踪属性为各所述骨骼图像数据的各个关节点分配可信度；上述人体姿态确认单元，配置为根据上述表演者的骨骼图像数据中各关节点坐标和各所述关节点坐标的变换确定出上述表演者的人体姿态参数。
[0031] 在用于采集表演者骨骼动作数据的数据采集区域中的不同的
位置装设多台Kinect传感器，以便从不同的角度对表演者的动作进行捕捉。上述Kinect传感器所采集到的表演者的骨骼图像数据包括组成人体骨骼的各关节点的关节点坐标和各关节点的跟踪属性。作为示例，各Kinect传感器采集的每帧数据包含一个骨架和各关节的跟踪属性，骨架可以表示为{vij}，其中j表示关节点编号，vij表示在第i台Kinect传感器坐标系中的骨架第j个关节点的坐标。上述各关节点的跟踪属性分为追踪到的、推测的、未追踪到的。可以为跟踪属性的三个状态分配依次降低的可信度，记为{wij}。其中，wij表示第i台Kinect传感器坐标系中的骨架第j个关节点的可信度。上述骨骼图像采集单元通过网络将上述骨骼图像数据发送到上述人体姿态确认单元，以对表演者进行人体姿态参数的计算。
[0032] 在本实施例中，上述人体姿态确认单元进一步配置为：利用预设的坐标转换矩阵对各台Kinect传感器所采集的骨骼图像数据进行坐标系转换，生成参考骨骼数据；根据各参考骨架数据利用加权平均算法合成上述表演者的平均骨架数据。这里，对各台Kinect传感器进行坐标系转换，将各台Kinect传感器采集的数据转换到同一参考坐标系下。首先，可以
指定其中一台Kinect传感器坐标系为参考坐标系，然后，其余各kinect传感器捕捉到的人体骨架各关节点作为自身坐标系与参考坐标系之间的匹配点；最后，确定各kinect传感器坐标系到参考坐标系的变换矩阵，使得变换后的匹配点之间距离总和最小。通过上述变换矩阵，将各kinect传感器所采集的骨骼图像数据进行坐标系转换，生成参考骨骼数据。
[0033] 在本实施例中，上述根据各参考骨架数据利用加权平均算法合成上述表演者的平均骨架数据，包括：确定上述参考骨架数据的关节点的可信度为上述关节点的权重因子；根据各参考骨架数据的任一关节点坐标和该关节点的权重因子计算该关节点坐标的平均值；根据组成上述人体骨骼的全部关节点坐标的平均值确定上述表演者的平均骨架数据。这里，计算表演者的平均骨架数据是计算组成人体骨架的各关节点坐标的平均值。对于任一关节点坐标的平均值的计算，可以是将该关节点在参考坐标系下的坐标进行加权平均计算，其中，权重因子为该关节点坐标的可信度。作为示例，可以将转换到参考坐标系下的一帧人体骨架数据记{vij，wij}，其中j表示关节点编号，i表示kinect传感器编号，vij表示第i个Kinect传感器坐标系中捕捉到的骨架中第j个关节点的坐标，wij为该关节点的可信度。将可信度作为权重，对同一骨架的多帧kinect骨架关节点坐标进行加权平均计算，得到一个平均骨架。
[0034] 在本实施例中，上述动画生成模块包括骨骼运动控制单元和表情控制单元，上述骨骼运动控制单元，配置为根据上述动作表演捕捉模块确定的人体姿态参数，利用上述UE图形程序生成人物角色的3D模型的动作动画；上述表情控制单元，配置为根据上述面部表演捕捉模块确定的面部表情权重参数，利用上述UE图形程序生成上述表演者对应人物角色的3D模型的表情动画。如图4a所示为根据上述动作表演生成的动作示意图，图4b为根据上述面部表演生成的表情动画。
[0035] 上述骨骼运动控制单元根据上述动作表演捕捉模块确定的人体姿态参数，利用上述UE图形程序生成表演者对应人物角色的3D模型的动作动画。具体可以为，利用预设的映射关系，将上述平均骨架数据转换为UE4图形程序中上述人物角色的角色模型数据；采用四元数混合的方式将上述角色模型数据通过UE4引擎赋值到上述人物角色的3D模型；计算初始骨架变化到当前骨架的过程中每根骨骼的变化量；将各上述变化量附加对应骨骼的父关节点，确定出上述人物角色的3D模型的动作动画。
[0036] 可以在UE图形程序中使用的3D模型维护一份骨架映射，用于将Kinect传感器的人体骨架动作的平均骨架数据转换为3D模型所需的形式。骨架映射将Kinect传感器的骨架关节点对应到3D模型骨架关节点，根据3D模型骨架结构与kinect传感器中骨架结构的相似性进行一一映射，若3D模型中有多余或缺失的关节点，不作映射处理。映射可通过关节点名称进行自动匹配，也可以进行手动绑定。UE图形程序中3D模型骨架由一系列的关节点及其连接组成，每个关节点都有唯一的命名，因此可以通过对比Kinect传感器骨架关节点名称和UE图形程序中3D模型骨架关节点名称对两个骨架进行自动映射，无法自动映射的部分可以进行手动匹配，将匹配的结果附加到需要用到的3D模型上，呈现人体骨骼动作的动作动画。上述将匹配的结果附加到需要用到的3D模型上可以为将转换后的3D模型骨架数据赋值给
3D模型，赋值采用四元数混合的方式，即求出初始骨架变化到当前骨架的过程中每根骨骼的变化量(用四元数表示)，之后将每个变化量附加到对应骨骼的父关节点上。对于映射关系中不存在的关节点，其在骨骼动画中的位置朝向取决于父关节点的变化。
[0037] 在本实施例中，上述表情控制单元进一步配置为：将上述第一权重参数与预设角色表情库的各基础表情进行对应，确定出上述面部表情对应的基础表情组合；利用预设的目标变形函数与上述角色表情库中各基础表情的对应关系，确定出上述面部表情对应与上述人物角色3D模型的表情动画。
[0038] 在本实施例中，上述“将上述第一权重参数与预设角色表情库的各基础表情进行对应，确定出上述面部表情对应的基础表情组合”，包括：利用预设的表情权重计算程序计算上述角色表情库中的各基础表情的角色表情权重参数，并记为第二权重参数；将上述第一权重参数与上述第二权重参数进行映射，根据映射结果，确定出与上述面部表情对应的第二权重参数；根据上述第二权重参数与上述角色表情库中的各基础表情的对应关系，确定上述面部表情对应的上述角色表情库中的基础表情组合。
[0039] 在本实施例中，上述“将上述第一权重参数与上述角色表情权重参数进行映射，根据映射结果，确定出与上述面部表情对应的第二权重参数”，包括：将上述UE图形程序中第一权重参数的数目与上述角色表情库中基础表情的数目比较；如果数目相同，即看，上述UE图形程序所获取的全部面部图像数据所对应的基础表情与上述角色表情库中基础表情设定一致；选取与上述第一权重参数序号一致的第二权重参数作为上述面部表情对应的第二权重参数。如果上述UE图形程序中第一权重参数的数目小于上述角色表情库中基础表情的数目，则根据第一权重参数的数目，从上述角色基础表情库中选取相同数目的基础表情作为表情子集，即，所述UE图形程序所获取的全部面部图像数据所对应的基础表情与所述表情子集中基础表情设定一致；计算上述表情子集中各基础表情的角色表情权重参数，并记为新的第二权重参数，选取与上述第一权重参数序号一致的新的上述第二权重参数作为上述面部表情对应的第二权重参数；否则，选取与上述第一权重参数的差值最小的第二权重参数作为上述面部表情对应的第二权重参数。
[0040] 作为示例，上述角色表情库中有N个基础表情，转换为角色对应的权重参数，记为第二权重参数{vi，i＝1，2，...，N}。上述UE图形程序中可以接收到全部面部图像数据所对应的基础表情为M个，转换为表演者对应的权重参数的个数为M个，记为第一权重参数{wi，i＝1，2，...，M}，优选的M的个数为51。若角色表情库与全部面部图像数据所对应的基础表情的设定完全一致，那么N＝M，则角色的表情权重vi＝wi，i＝1，2，...，M；若角色表情库中基础表情种类较少，则选择与角色表情库的第i个基础表情最接近的表情j的权重参数wj赋值给vi，即vi＝wj；若角色表情库中基础表情种类较多，则选取角色基础表情库的一个子集与全部面部图像数据所对应的基础表情一一对应，该子集中的权重参数设置为 其余表情的权重参数置为0。根据上述UE图形程序中
全部面部图像数据所对应的基础表情的第一权重参数与上述角色表情库中的基础表情的第二权重参数的对应关系，确定出上述面部表情对应的第二权重参数。UE图形程序中的UE引擎通过调用权重参数转换的函数计算角色最终的表情权重参数。UE引擎将得到的最终权重参数输入到目标变形设置函数中，控制角色的面部顶点或特征点的变形，使角色做出相应的表情，呈现表情动画。
[0041] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
