一种虚拟教师系统中的面部合成方法及装置专利检索-立体像对显示技术专利检索查询-专利查询网

一种虚拟教师系统中的面部合成方法及装置

阅读：853发布：2020-05-08

专利汇可以提供一种虚拟教师系统中的面部合成方法及装置专利检索，专利查询，专利分析的服务。并且本申请提供一种虚拟教师系统中的面部合成方法及装置。该方法包括：实时获取模特教师立体的第一面部图像，并从第一面部图像中提取多个第一特征点；根据多个第一特征点确定模特教师在当前时刻对应的第一面部表情；根据第一面部表情确定面部各部位对应的目标转换矩阵；根据目标转换矩阵和多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将面部特征点坐标渲染到个性化模型中，以实现个性化模型的面部合成。本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。，下面是一种虚拟教师系统中的面部合成方法及装置专利的具体信息内容。

权利要求

1.一种虚拟教师系统中的面部合成方法，其特征在于，包括：
实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；
根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；
根据所述第一面部表情确定面部各部位对应的目标转换矩阵；
根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
2.根据权利要求1所述的方法，其特征在于，在实时获取模特教师立体的第一面部图像之前，所述方法还包括：
采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；
分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；
根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情，包括：
根据所述多个第一特征点的坐标构建第三特征向量；
计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；
将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
构建所述个性化模型，并获得所述个性化模型在初始状态下对应的多个第四特征点；
根据个性化模型的面部中多个部位分别对应的第四特征点构建对应的局部坐标系；其中，多个部位包括左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部位均包括多个第四特征点；
计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵；其中，每个部位，每种面部表情对应一个转换矩阵。
5.根据权利要求4所述的方法，其特征在于，所述计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师各面部表情下对应特征点的坐标值时所需的转换矩阵，包括：
分别构建各部位对应的局部坐标系，获得所述局部坐标系分别在x轴、y轴和z轴方向上的单位向量；
根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵。
6.根据权利要求5所述的方法，其特征在于，所述根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵，包括：
根据公式计算获得所述转换矩阵；
其中，T为所述转换矩阵，TL为旋转矩阵， (u1,u2,u3)为局部坐标系在
x轴方向上的单位向量，(v1,v2,v3)为局部坐标系在y轴方向上的单位向量；(w1,w2,w3)为局部坐标系在z轴方向上的单位向量偏移矩阵；TO为偏移矩阵，To＝oL-oG，oL为局部坐标系的原点在世界坐标系下的坐标，oG为世界坐标系的原点；其中，所述模特教师对应的第一特征点的坐标为所述世界坐标系下的坐标。
7.根据权利要求3所述的方法，其特征在于，所述根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，包括：
若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；
根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。
8.一种虚拟教师系统中的面部合成装置，其特征在于，包括：
图像获取模块，用于实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；
表情确定模块，用于根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；
转换矩阵确定模块，用于根据所述第一面部表情确定面部各部位对应的目标转换矩阵；
面部合成模块，用于根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-7任一项所述的方法。

说明书全文

一种虚拟教师系统中的面部合成方法及装置

技术领域

[0001] 本申请涉及远程教育技术领域，具体而言，涉及一种虚拟教师系统中的面部合成方法及装置。

背景技术

[0002] 现代社会的发展越来越依赖于科技和信息的发展与应用，随之而来的则是对人才的空前需求，因而教育是一个国家未来发展的根本。我国是发展中国家，教育更加至关重要。由于自然、历史、社会等多方面原因，我国不同地区教育差距比较大，教育基础设施差，不但很难使学生对课程产生兴趣，也很难留住优秀教师，大大影响了教学质量和学生学习的效果。如何利用信息化技术手段给当代学生提供高质量的教育，如何实现优秀教育资源共享，如何让学生更直观更安全的进行生物、化学、物理等实验，如何让师生更有效的互动，是待解决的重大问题。虚拟教师的可塑性极强，可根据学生的喜爱定制个性化教师形象，大大提升了学生的学习兴趣，提高学生的想象力，提供更为丰富多彩的教学体验，提高课堂内的教学效率，进而提升教学质量。虚拟教师系统可进行实验室实时互动还原，实现浸入式体验，提升安全系数。在未来有广泛的应用前景及价值。

[0003] 现有技术中，大都是对真实人脸的面部特征点整体映射到虚拟模型上，其获得的虚拟模型的特征点的位置不够准确。发明内容

[0004] 本申请实施例的目的在于提供一种虚拟教师系统中的面部合成方法及装置，用以获得更加准确的虚拟模型的面部表情。

[0005] 第一方面，本申请实施例提供一种虚拟教师系统中的面部合成方法，包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0006] 本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。

[0007] 进一步地，在实时获取模特教师立体的第一面部图像之前，所述方法还包括：采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。

[0008] 本申请实施例通过预先采集两组面部表情，包括了模特教师多种面部表情，从而能够使得个性化模型的面部表情更加丰富。

[0009] 进一步地，所述根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情，包括：根据所述多个第一特征点的坐标构建第三特征向量；计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。

[0010] 本申请实施例通过计算模特教师当前时刻对应的第三特征向量分别与第一特征向量和第二特征向量之间的相似度能够准确地判断模特教师的面部表情，进而能够将模特教师的面部表情准确地映射到个性化模型上。

[0011] 进一步地，所述方法还包括：构建所述个性化模型，并获得所述个性化模型在初始状态下对应的多个第四特征点；根据个性化模型的面部中多个部位分别对应的第四特征点构建对应的局部坐标系；其中，多个部位包括左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部位均包括多个第四特征点；计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵；其中，每个部位，每种面部表情对应一个转换矩阵。

[0012] 由于模特教师的面部表情发生变化时，其眼睛和嘴唇的部位变化较大，因此本申请实施例通过构建眼部和唇部多个局部坐标系，能够提高获得个性化模型特征点坐标准确性。

[0013] 进一步地，所述计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师各面部表情下对应特征点的坐标值时所需的转换矩阵，包括：分别构建各部位对应的局部坐标系，获得所述局部坐标系分别在x轴、y轴和z轴方向上的单位向量；根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵。

[0014] 进一步地，所述根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵，包括：根据公式计算获得所述转换矩阵；其中，T为所述转换矩阵，TL为旋转矩阵， (u1,u2,u3)为局部坐标系在x轴方向上的单位向量，(v1,v2,v3)为局部坐标系在y轴方向上的单位向量；(w1,w2,w3)为局部坐标系在z轴方向上的单位向量偏移矩阵；TO为偏移矩阵，To＝oL-oG，oL为局部坐标系的原点在世界坐标系下的坐标，oG为世界坐标系的原点；其中，所述模特教师对应的第一特征点的坐标为所述世界坐标系下的坐标。

[0015] 本申请实施例通过上述公式能够准确获得面部的各部位分别在多种面部表情下对应的转换矩阵。

[0016] 进一步地，所述根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，包括：若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。

[0017] 由于模特教师的面部表情通常变化幅度较小，因此，本申请实施例在进行坐标转换计算时，通过大幅度的面部表情的特征点的坐标，以能够使得个性化模型较明显的表情变化。

[0018] 第二方面，本申请实施例提供一种虚拟教师系统中的面部合成装置，包括：图像获取模块，用于实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；表情确定模块，用于根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；转换矩阵确定模块，用于根据所述第一面部表情确定面部各部位对应的目标转换矩阵；面部合成模块，用于根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0019] 第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。

[0020] 第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。

[0021] 本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

[0022] 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0023] 图1为本申请实施例提供的准备工作流程示意图；

[0024] 图2为本申请实施例提供的原始特征点分布示意图；

[0025] 图3为本申请实施例提供的一种虚拟教师系统中的面部合成方法流程示意图；

[0026] 图4为本申请实施例提供的个性化模型跟随模特教师显示的面部表情示意图；

[0027] 图5为本申请实施例提供的装置结构示意图；

[0028] 图6为本申请实施例提供的电子设备实体结构示意图。

具体实施方式

[0029] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

[0030] 在将模特教师与个性化模型进行面部合成之前，本申请实施例先进行准备工作，如图1所示，包括：

[0031] 步骤101：对模特教师的多个面部表情进行采集；可以通过kinect摄像头进行采集。kinect是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。因此，可以将kinect当成深度摄像机来对模特教师的面部进行采集，从而获得的模特教师的三维面部图像。可以理解的是，也可以采用其他深度摄像机获得模特教师的三维面部图像，本申请实施例对此不作具体限定。

[0032] 另外，模特教师是指真实的人，对于远程教育来说，模特教师可以通过网络给偏远地区的学生进行上课，为了能够提高学生的学习兴趣，展现在学生面前的可以是卡通人物或者其他个性化模型，即，将模特教师的面部表情映射在卡通人物的面部。因此，模特教师可以是在城市中的真实的人，而个性化模型则是展现在学生面前的虚拟教师。

[0033] 面部表情的种类可以包括：无表情状态、轻微张嘴、最大程度张嘴、微笑、大幅度笑、嘴角两侧向下弯曲、嘴角两侧向上扬起、嘴角左侧向左上扬起、嘴角右侧向右上扬起、轻微噘嘴、大幅度噘嘴、嘴部向左撇、嘴部向右撇、嘴部两侧延伸、露牙齿笑、唇启漏出上侧牙齿、唇启漏出下侧牙齿、眉毛上挑、左侧眉毛上挑、右侧眉毛上挑、眯眼、睁大双眼、左眼睁开右眼闭合、右眼睁开左眼闭合，共24种面部表情。可以理解的是，还可以采集更多或更少的面部表情，本申请实施例不对面部表情的个数进行限定。

[0034] 在进行采集时，可以采集两组面部图像，第一组面部图像包括模特教师的上述24种面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括上述24种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，其中，第一幅度范围小于第二幅度范围。也就是说，采集了两组面部图像，第一组中的面部图像的表情幅度小于第二组中的面部图像。

[0035] 步骤102：在采集获得了两组面部图像之后，分别对第二面部图像和第三面部图像进行特征点提取；其中，对三维面部图像进行特征点提取的方法有很多，本申请实施例对此不做具体限定。另外，kinect也可以对三维面部图像进行特征点的提取。从而，可以获得每一个第二面部图像对应的多个第二特征点，以及每一个第三面部图像对应的第三特征点。其中，第二特征点和第三特征点的个数相同，可以是先从面部图像中采集1347个原始特征点，如图2所示，然后从1347个特征点中选取重要的特征点，重要特征点的选取直接会影响到最终虚拟教师表情合成的效果。经过对人脸面部特征的对照分析，共选取68个人脸面部的主要特征点，这个特征点的数量并不是绝对性的，可以根据特殊模型的个性和实验过程的独特性进行选取。所选取的68个重要特征点的分布情况是：双眼24个，两处眉毛10个，唇部30个，鼻子4个。应当说明的是，68个特征点的分布情况可以根据实际情况进行调整，本申请实施例对此不作具体限定。

[0036] 步骤103：构建特征向量；在获得第二面部图像对应的第二特征点和第三面部图像对应的第三特征点之后，以整个面部坐标的中心位置为坐标原点，X轴水平指向右，Y轴竖直指向上，Z轴垂直于指向里，得到模特教师对应的每个第二面部图像和第三面部图像的整体世界坐标数据。每一个面部图像的位置坐标都可以用一个204个元素的向量来表示：

[0037] F＝(X1,Y1,Z1,...,X68,Y68,Z68)

[0038] 其中，Xi,Yi,Zi(i＝1,2,...,68)为每一个面部图像特征点的三维位置坐标。

[0039] 从而，可以通过每个第二面部图像对应的第二特征点获得对应的第一特征向量，通过每个第三面部图像对应的第三特征点获得对应的第二特征向量。

[0040] 步骤104：个性化模型构建；本申请实施例还通过三维建模软件构建个性化模型，其中，三维建模软件可以为unity3D，在通过unity3D建立完成个性化模型后，以obj格式导出。个性化模型可以是卡通人物。然后通过kinect捕捉个性化模型的68个面部特征点，并得到这68个特征点对应的整体坐标数据。其中，个性化模型的整体坐标数据也可以用一个204个元素的向量来表示。可以理解的是，这68个面部特征点与模特教师的68个特征点是一一对应的。

[0041] 步骤105：转换矩阵的计算；对比个性化模型与模特教师面部特征点坐标的匹配吻合度后发现，由于个性化模型与模特教师眼部、唇部这两个重要位置的54个特征点匹配度较低存在差异较大，不存在直接对应关系，其他部位特征点匹配度较高。因此要保证个性化模型的五官与模特教师面部五官特征点相对应，要将眼部和唇部区域建立独立的眼部、唇部局部坐标系。可以将眼部和唇部分别进行再次划分，获得左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部分均构建对应的局部坐标系。模型左眼上眼睑选取的四个特征点xLa,xLb,yLa,yLb，分别用来确定X轴与Y轴方向。所建立的坐标系的x轴，y轴，z轴各自的单位向量分别为uL(u1,u2,u3),vL(v1,v2,v3),wL(w1,w2,w3)。精确建立左眼上眼睑部位的坐标系，用坐标轴的单位向量可以表示为：

[0042]

[0043] 在构建完成个性化模型的各个部位的局部坐标系之后，可以获得各部位的特征点在局部坐标系下的第四特征点的坐标值，然后计算第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵。即，每个局部坐标系、每种面部表情对应一个转换矩阵，以上述实施例为例，个性化模型中包括12个局部坐标系，共采集24种面部表情，因此，可以获得12*24＝288个转换矩阵。

[0044] 下面介绍一个局部坐标系，一个面部表情对应的转换矩阵的计算方法。

[0045] 局部坐标系在世界坐标系下的x轴、y轴和z轴方向上的单位向量分别为uL(u1,u2,u3),vL(v1,v2,v3),wL(w1,w2,w3)，世界坐标系的原点为oG(0,0,0)，局部坐标系原点在世界坐标系下的坐标为oL(x0,y0,z0)，

[0046] 根据公式计算获得局部坐标系下的一个特征点转换到世界坐标系下所需的转换矩阵；

[0047] 其中，T为转换矩阵，TL为旋转矩阵， TO为偏移矩阵，To＝oL-oG。

[0048] 应当说明的是，对于没有构建局部坐标系的眉毛和鼻子的特征点，可以直接将其对应的第一特征点的坐标进行直接映射，以获得个性化模型的面部特征点坐标。

[0049] 图3为本申请实施例提供的一种虚拟教师系统中的面部合成方法流程示意图，如图3所示，实施该方法的执行主体为合成装置，该合成装置可以是台式电脑、笔记本电脑、平板电脑及智能手机等智能设备，该方法包括：

[0050] 步骤301：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点。

[0051] 在具体的实施过程中，模特教师为真实的人，第一面部图像为三维立体图像，第一特征点的提取可以与上述实施例特征点提取的方式进行提取，且第一特征点的个数也与上述实施例一致。

[0052] 在采集图像时，可以通过深度摄像机实时采集模特教师的第一面部图像，并可以实时将采集到的第一面部图像发送给合成装置。当然，也可以在对模特教师的第一面部图像采集完成后一并发送。对于实时发送的情况，可以实时将模特教师的面部表情合成到个性化模型中，可以实时为学生讲课。对于采集完一并发送的情况，可以制作成录播课件，后期播放给学生看。

[0053] 步骤302：根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情。

[0054] 在具体的实施过程中，在上述实施例中采集了模特教师在多种面部表情下对应的第二面部图像和第三面部图像，因此，可以将第一面部图像对应的多个第一特征点与第二面部图像和第三面部图像中的特征点进行对比，从而确定模特教师在当前时刻对应的第一面部表情。

[0055] 步骤303：根据所述第一面部表情确定面部各部位对应的目标转换矩阵。

[0056] 在具体的实施过程中，由于每种表情，每个部位对应一个目标转换矩阵，因此在确定在模特教师的第一面部表情之后，便能够确定各个部位对应的目标转换矩阵。

[0057] 步骤304：根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0058] 在具体的实施过程中，在获得目标转换矩阵之后，便可以获得个性化模型中各部位的特征点的坐标与模特教师的面部特征点的坐标之间的对应关系，在模特教师的面部特征点的坐标和目标转换矩阵为已知的情况下，可以获得个性化模型的特征点坐标，并且将个性化模型的特征点坐标渲染到个性化模型上，便能够实现个性化模型的面部表情随着模特教师的面部表情的变化而变化。图4为本申请实施例提供的个性化模型跟随模特教师显示的面部表情示意图，如图4所示。

[0059] 本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。

[0060] 在上述实施例的基础上，所述根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情，包括：

[0061] 根据所述多个第一特征点的坐标构建第三特征向量；

[0062] 计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；

[0063] 将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。

[0064] 在具体的实施过程中，在获得到模特教师的面部对应的第一特征点之后，可以根据第一特征点的坐标值构建第三特征向量，可以理解的是，第三特征向量中也包含204个元素。在判断模特教师当前时刻的面部表情时，由于事先不知道模特教师的面部表情是幅度大的还是幅度小的，因此可以将第三特征向量分别与每个第一特征向量和每个第二特征向量进行相似度计算。其中，相似度计算可以是计算特征向量之间的皮尔逊相关系数、欧氏距离、曼哈顿距离等等。可以理解的是，通过相似度计算可以确定该模特教师在当前时刻的面部表情与哪种表情更加相似，将与第三特征向量相似度最高的面部表情作为模特教师当前时刻对应的第一面部表情。

[0065] 应当说明的是，除了通过特征向量的相似度计算的方式来进行面部表情的匹配之外，还可以预先构建面部表情的预测模型，并用模特教师的多个面部表情对应的特征点坐标构成的向量作为训练样本对预测模型进行训练，将第三特征向量输入到训练好的预测模型中，预测模型可以对第三特征向量进行分析，从而获得预测结果。另外，还可以利用其它方法进行第一面部表情的确定。

[0066] 本申请实施例通过计算模特教师当前时刻对应的第三特征向量分别与第一特征向量和第二特征向量之间的相似度能够准确地判断模特教师的面部表情，进而能够将模特教师的面部表情准确地映射到个性化模型上。

[0067] 在上述实施例的基础上，所述根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，包括：

[0068] 若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；

[0069] 根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。

[0070] 在具体的实施过程中，由于一般情况下，模特教师的面部表情的幅度较小，为了能够在个性化模型上渲染出幅度较大的表情，如果通过相似度计算获知与第三特征向量相似度最大的是第一组面部图像中的面部表情，则说明模特教师的第一面部表情的幅度较小。此时，可以从第二组面部图像中选取与第一面部表情相同的第三特征向量，由此便可将模特教师的面部表情扩大，并渲染到个性化模型上。

[0071] 由于模特教师的面部表情通常变化幅度较小，因此，本申请实施例在进行坐标转换计算时，通过大幅度的面部表情的特征点的坐标，以能够使得个性化模型较明显的表情变化。

[0072] 图5为本申请实施例提供的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图3方法实施例对应，能够执行图3方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括：图像获取模块501、表情确定模块502、转换矩阵确定模块503和面部合成模块
504，其中：

[0073] 图像获取模块501用于实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；表情确定模块502用于根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；转换矩阵确定模块503用于根据所述第一面部表情确定面部各部位对应的目标转换矩阵；面部合成模块504用于根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0074] 在上述实施例的基础上，该装置还包括表情采集模块，用于：

[0075] 采集所述模特教师的两组面部图像，其中，第一组面部图像包括所述模特教师的多种面部表情分别对应的面部表情在第一幅度范围内的第二面部图像，第二组面部图像包括所述多种面部表情分别对应的面部表情在第二幅度范围内的第三面部图像，所述第一幅度范围小于所述第二幅度范围；

[0076] 分别对第二面部图像和所述第三面部图像进行特征提取，获得第二面部图像对应的多个第二特征点和第三面部图像对应的多个第三特征点；

[0077] 根据所述多个第二特征点的坐标获得对应的第一特征向量；根据所述多个第三特征点的坐标获得对应的第二特征向量；其中所述第二特征点的坐标和所述第三特征点的坐标为世界坐标系下的坐标。

[0078] 在上述实施例的基础上，表情确定模块502具体用于：

[0079] 根据所述多个第一特征点的坐标构建第三特征向量；

[0080] 计算所述第三特征向量分别与每种面部表情对应的第一特征向量和第二特征向量之间的相似度；

[0081] 将相似度最大对应的面部表情确定为所述模特教师在当前时刻对应的第一面部表情。

[0082] 在上述实施例的基础上，该装置还包括变换矩阵计算模块，用于：

[0083] 构建所述个性化模型，并获得所述个性化模型在初始状态下对应的多个第四特征点；

[0084] 根据个性化模型的面部中多个部位分别对应的第四特征点构建对应的局部坐标系；其中，多个部位包括左上眼睑、左下眼睑、左眼中、右上眼睑、右下眼睑、右眼中、左上唇部、左下唇部、右上唇部和右下唇部，每个部位均包括多个第四特征点；

[0085] 计算各部位在对应的局部坐标系下第四特征点的坐标值映射到所述模特教师的第二组面部图像对应特征点的坐标值时所需的转换矩阵；其中，每个部位，每种面部表情对应一个转换矩阵。

[0086] 在上述实施例的基础上，变换矩阵计算模块具体用于：

[0087] 分别构建各部位对应的局部坐标系，获得所述局部坐标系分别在x轴、y轴和z轴方向上的单位向量；

[0088] 根据所述局部坐标系在x轴、y轴和z轴方向上的单位向量确定对应的转换矩阵。

[0089] 在上述实施例的基础上，变换矩阵计算模块具体用于：

[0090] 根据公式计算获得所述转换矩阵；

[0091] 其中，T为所述转换矩阵，TL为旋转矩阵， (u1,u2,u3)为局部坐标系在x轴方向上的单位向量，(v1,v2,v3)为局部坐标系在y轴方向上的单位向量；(w1,w2,w3)为局部坐标系在z轴方向上的单位向量偏移矩阵；TO为偏移矩阵，To＝oL-oG，oL为局部坐标系的原点在世界坐标系下的坐标，oG为世界坐标系的原点；其中，所述模特教师对应的第一特征点的坐标为所述世界坐标系下的坐标。

[0092] 在上述实施例的基础上，面部合成模块504具体用于：

[0093] 若与所述第三特征向量相似度最大的是第一组面部图像中的面部表情，则获取所述第二组面部图像中与所述第一组面部图像中的面部表情对应的第三特征向量；

[0094] 根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换。

[0095] 综上所述，本申请实施例通过根据各个部位的目标转换矩阵以及模特教师当前时刻的面部表情进行坐标映射，以获得个性化模型的面部特征点的坐标，进而实现个性化模型进行面部合成，提高了面部合成的精度。

[0096] 图6为本申请实施例提供的电子设备实体结构示意图，如图6所示，所述电子设备，包括：处理器(processor)601、存储器(memory)602和总线603；其中，

[0097] 所述处理器601和存储器602通过所述总线603完成相互间的通信；

[0098] 所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0099] 处理器601可以是一种集成电路芯片，具有信号处理能力。上述处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0100] 存储器602可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

[0101] 本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0102] 本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：实时获取模特教师立体的第一面部图像，并从所述第一面部图像中提取多个第一特征点；根据所述多个第一特征点确定所述模特教师在当前时刻对应的第一面部表情；根据所述第一面部表情确定面部各部位对应的目标转换矩阵；根据所述目标转换矩阵和所述多个第一特征点的坐标进行坐标转换，获得个性化模型对应的面部特征点坐标，将所述面部特征点坐标渲染到所述个性化模型中，以实现所述个性化模型的面部合成。

[0103] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0104] 另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0105] 再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

[0106] 在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

[0107] 以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

标题	发布/更新时间	阅读量
一种耕地现场边云协同的三维重建方法	2020-05-08	452
一种列车触摸屏控制器	2020-05-11	642
机器人系统、机器人的校准治具、机器人的校准方法	2020-05-08	795
用于修改立体声信号的立体声像的音频信号处理装置和方法	2020-05-11	12
一种基于人工智能的服务器巡检方法及系统	2020-05-08	862
一种带手势控制视觉检测功能的油烟机及降噪方法	2020-05-11	808
相机标定系统以及方法	2020-05-08	186
一种自动调节空调制冷量、制热量的方法及空调	2020-05-08	633
一种放射治疗系统	2020-05-08	713
成像光学膜及装饰膜	2020-05-08	1019

一种虚拟教师系统中的面部合成方法及装置

一种虚拟教师系统中的面部合成方法及装置

技术领域

背景技术

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：