[0001] 本发明涉及虚拟角色处理技术领域，具体涉及一种基于人脸动作捕捉技术的虚拟角色处理系统及方法。

[0002] 随着互联网技术的发展，元宇宙的概念不断被人们所提及；数字虚拟人作为元宇宙的重要组成部分，已逐渐成为一个非常流行的概念。数字虚拟人在广义上被定义为具有数字外观的虚拟人；目前，数字虚拟人的生产涉及到许多技术领域，其生产方法尚未完全确定《；数字虚拟人通用系统框架》对《2020年数字虚拟人发展白皮书》进行了总结，包括任务图像、语音生成模块、动画生成模块、音视频合成显示模块和交互模块。

[0003] 现有的虚拟角色处理方案在实施时，大多数是对虚拟角色的显示情况进行优化，使得虚拟角色演示更加生动自然，但是，在现有的网络沟通技术方案中，没有对真实人物的面部动作进行捕捉以及处理和动态应用展示，使得网络沟通的双方不能更直观的了解到对方的心情变化，以便及时调整沟通方式，使得网络沟通的整体状态不佳，导致虚拟角色处理应用的整体效果不佳。

[0004] 本发明的目的在于提供一种基于人脸动作捕捉技术的虚拟角色处理系统及方法，用于解决现有方案中不能将捕捉的人脸动作通过虚拟角色进行应用以及动态展示，导致虚拟角色处理应用的整体效果不佳的技术问题。

[0005] 本发明的目的可以通过以下技术方案实现：一种基于人脸动作捕捉技术的虚拟角色处理系统，包括：
特征捕捉模块，用于对网络沟通一方人物的人脸特征进行捕捉以及特征提取，得
到人脸特征集并上传至服务器和数据库；人脸特征集包括人脸轮廓、眼睛轮廓、眉毛轮廓、鼻子轮廓和嘴巴轮廓；
特征处理模块包含第一特征处理单元、第二特征处理单元和第三特征处理单元，
用于从不同的方面对人脸特征集中不同的面部特征进行数字化处理，得到特征数字集并上传至服务器和数据库；
其中，获取人脸轮廓的中点并将其设定为坐标原点，根据预设的坐标距离以及坐
标方向建立二维坐标系；
根据二维坐标系分别对眼睛轮廓、眉毛轮廓和嘴巴轮廓进行数字化处理，得到包
含眼部数字数据、眉毛数字数据和嘴巴数字数据的特征数字集；
表情分析模块包含第一表情分析单元、第二表情分析单元和第三表情分析单元，
用于根据特征数字集来从不同的方面对人物的表情变化进行数字化分析，得到包含眼睛分析数据、眉毛分析数据和嘴巴分析数据的应用分析集并上传至服务器和数据库；
虚拟应用模块，用于根据应用分析集向网聊的对方展示人物的表情变化并动态提
示。

[0006] 优选地，通过第一特征处理单元对眼睛轮廓进行数字化处理时，根据二维坐标系将两只眼睛的上眼皮中点和下眼皮中点分别设定为第一主眼点和第二主眼点；将第一主眼点与左眼角和右眼角之间的中点分别设定为第一副眼点和第二副眼
点；以及，将第二主眼点与左眼角和右眼角之间的中点分别设定为第三副眼点和第四副眼点；第一主眼点、第二主眼点、第一副眼点、第二副眼点、第三副眼点和第四副眼点以及各个点对应的点坐标构成眼部数字数据；
通过第二特征处理单元对眉毛轮廓进行数字化处理时，根据二维坐标系将两条眉
毛的中点分别设定为第一主眉点和第二主眉点，以及，将两条眉毛靠近眉心的两个端点分别设定为第三主眉点和第四主眉点；
第一主眉点、第二主眉点、第三主眉点和第四主眉点以及各个点对应的点坐标构
成眉毛数字数据；
通过第三特征处理单元对嘴巴进行数字化处理时，根据二维坐标系数将嘴巴的上
嘴唇中点和下嘴唇中点分别设定为第一主嘴点和第二主嘴点；
以及，将嘴巴的两个端点分别设定为第三主嘴点和第四主嘴点；
第一主嘴点、第二主嘴点、第三主嘴点和第四主嘴点以及各个点对应的点坐标构
成嘴巴数字数据。

[0007] 优选地，通过第一表情分析单元获取眼部数字数据中第一主眼点、第二主眼点、第一副眼点、第二副眼点、第三副眼点和第四副眼点；将面部正常情况下第一主眼点和第二主眼点之间的垂直距离设定为第一眼距，以
及，将第一副眼点和第三副眼点以及第二副眼点和第四副眼点之间的垂直距离分别设定为第二眼距和第三眼距；
提取三者的数值并联立获取眼睛变化的眼迁值；根据眼迁值从眼部对人物的表情
变化进行分析，得到包含眼中信号、眼轻信号和眼正信号的眼睛分析数据。

[0008] 优选地，通过第二表情分析单元获取眉毛数字数据中第一主眉点、第二主眉点、第三主眉点和第四主眉点各个点对应的点坐标并分别标记；将各个主眉点之间的坐标变化情况进行整合获取眉毛变化的眉迁值；根据眉迁值
从眉部对人物的表情变化进行分析，得到包含眉正信号、眉轻信号和眉中信号的眉毛分析数据。

[0009] 优选地，通过第三表情分析单元获取面部正常情况下嘴巴数字数据中第一主嘴点、第二主嘴点、第三主嘴点和第四主嘴点各个点对应的点坐标并分别标记；获取面部实时情况下第一主嘴点、第二主嘴点、第三主嘴点和第四主嘴点各个点
对应的点坐标并分别标记；
通过距离公式将面部实时情况下计算得到的第一主嘴点以及第二主嘴点的变化
距离分别设定为第一变化值和第二变化值；以及通过距离公式将计算得到的第三主嘴点以及第四主嘴点的变化距离分别设定为第三变化值和第四变化值；
将第一变化值、第二变化值、第三变化值和第四变化值进行联立来获取嘴巴变化
的嘴迁值；根据嘴迁值从嘴部对人物的表情变化进行分析，得到包含嘴正信号、嘴轻信号和嘴中信号的嘴巴分析数据。

[0010] 优选地，虚拟应用模块的工作步骤包括：获取应用分析集中的嘴巴分析数据、眉毛分析数据和眼睛分析数据；
若嘴巴分析数据中包含嘴轻信号，则表示人物的表情为微笑状态并生成第一微笑
指令；若嘴巴分析数据中包含嘴中信号且眼睛分析数据中包含眼轻信号，则表示人物的表情为轻笑状态并生成第二微笑指令；若嘴巴分析数据中包含嘴中信号且眼睛分析数据中包含眼中信号，则表示人物的表情为大笑状态并生成第三微笑指令；
第一微笑指令、第二微笑指令和第三微笑指令构成微笑表情数据。

[0011] 优选地，若眉毛分析数据中包含眉轻信号，则表示人物的表情为轻度异常状态并生成第一异常指令；若眉毛分析数据中包含眉中信号，则表示人物的表情为中度异常状态并生成第二异常指令；第一异常指令和第二异常指令构成异常表情数据；根据微笑表情数据和异常表情数据中不同的指令将人物的表情变化应用到虚拟
角色上并向网聊的对方进行动态展示和提示。

[0012] 优选地，大笑状态的面部特征变化大于轻笑状态的面部特征变化，轻笑状态的面部特征变化大于微笑状态的面部特征变化；异常状态包括但不限于疑问、纠结以及厌恶。

[0013] 为了解决问题，本发明还公开了一种基于人脸动作捕捉技术的虚拟角色处理方法，包括：对网络沟通一方人物的人脸特征进行捕捉以及特征提取，得到人脸特征集；人脸
特征集包括人脸轮廓、眼睛轮廓、眉毛轮廓、鼻子轮廓和嘴巴轮廓；
从不同的方面对人脸特征集中不同的面部特征进行数字化处理，得到特征数字
集；
根据特征数字集来从不同的方面对人物的表情变化进行数字化分析，得到包含眼
睛分析数据、眉毛分析数据和嘴巴分析数据的应用分析集；
获取应用分析集中的嘴巴分析数据、眉毛分析数据和眼睛分析数据中不同的信号
进行联立整合获取微笑表情数据和异常表情数据；
根据微笑表情数据和异常表情数据中不同的指令通过虚拟角色向网聊的对方展
示人物的表情变化并动态提示。

[0014] 相比于现有方案，本发明实现的有益效果：本发明通过人脸动作捕捉技术获取网络沟通时双方的人物面部特征，通过对提取
的面部特征进行筛选和数字化处理，从眼睛、眉毛和嘴巴方面来进行定位点的设置和标记，来从不同的维度为后续虚拟人物面部表情的动态展示提供数据支持；
根据计算获取的眼迁值可以获取到眼部的变化以及变化程度，可以为不同笑容的
状态分析提供可靠的数据支持；根据计算获取的眉迁值可以获取到眉部在竖直方向的变化以及变化程度，可以为不同异常表情的状态分析提供可靠的数据支持；根据计算获取的嘴迁值可以获取到嘴部在不同方向的变化以及变化程度，可以从另一方面为不同笑容的状态分析提供可靠的数据支持；
通过将获取的面部不同位置的特征变化情况进行整合来获取到人物处于哪种表
情状态，使得沟通的对象可以参考虚拟角色展示的面部表情变化自适应的动态调整聊天方式，可以有效提高网络沟通的整体效果，以及虚拟角色应用的整体效果。
附图说明

[0015] 下面结合附图对本发明作进一步的说明。

[0016] 图1为本发明一种基于人脸动作捕捉技术的虚拟角色处理系统的模块框图。

[0017] 图2为本发明一种基于人脸动作捕捉技术的虚拟角色处理方法的流程框图。

[0018] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0019] 实施例一如图1所示，本发明为一种基于人脸动作捕捉技术的虚拟角色处理系统，包括特征
捕捉模块、特征处理模块、表情分析模块、虚拟应用模块、服务器和数据库；
本发明实施例中的应用场景可以为网络沟通，现有的网络沟通场景中，只能通过
文字、语音以及表情来表达，双方无法获取到对方沟通时的面部表情状态和变化，导致网络沟通的整体状态存在一定的缺陷；本发明实施例通过获取沟通双方的面部特征变化来分析评估人物的表情状态，并将评估得到的表情状态通过虚拟角色向对方进行展示和提示，以便沟通时对方及时调整沟通的方式来提高网络沟通的整体效果；
特征捕捉模块，用于对网络沟通一方人物的人脸特征进行捕捉以及特征提取，得
到人脸特征集并上传至服务器和数据库；包括：
通过摄像装置获取人物的人脸图像并通过人脸识别算法获取人脸特征集；人脸特
征集包括人脸轮廓、眼睛轮廓、眉毛轮廓、鼻子轮廓和嘴巴轮廓；
其中，摄像装置可以为智能手机或者是可以摄像的电脑；通过人脸识别算法来实
现人脸动作捕捉为现有的常规技术手段，具体的步骤这里不做赘述；
特征处理模块包含第一特征处理单元、第二特征处理单元和第三特征处理单元，
用于从不同的方面对人脸特征集中不同的面部特征进行数字化处理，得到特征数字集并上传至服务器和数据库；包括：
获取人脸轮廓的中点并将其设定为坐标原点，根据预设的坐标距离以及坐标方向
建立二维坐标系；预设的坐标距离和坐标方向可以根据实际情况进行自定义；
根据二维坐标系分别对眼睛轮廓、眉毛轮廓和嘴巴轮廓进行数字化处理，得到眼
部数字数据、眉毛数字数据和嘴巴数字数据；
眼部数字数据、眉毛数字数据和嘴巴数字数据构成特征数字集；
其中，第一特征处理单元，用于对眼睛轮廓进行数字化处理，根据二维坐标系将两
只眼睛的上眼皮中点和下眼皮中点分别设定为第一主眼点和第二主眼点；
将第一主眼点与左眼角和右眼角之间的中点分别设定为第一副眼点和第二副眼
点；
以及，将第二主眼点与左眼角和右眼角之间的中点分别设定为第三副眼点和第四
副眼点；第一主眼点、第二主眼点、第一副眼点、第二副眼点、第三副眼点和第四副眼点以及各个点对应的点坐标构成眼部数字数据；
第二特征处理单元，用于对眉毛轮廓进行数字化处理，根据二维坐标系将两条眉
毛的中点分别设定为第一主眉点和第二主眉点，以及，将两条眉毛靠近眉心的两个端点分别设定为第三主眉点和第四主眉点；
第一主眉点、第二主眉点、第三主眉点和第四主眉点以及各个点对应的点坐标构
成眉毛数字数据；
第三特征处理单元，用于对嘴巴进行数字化处理，根据二维坐标系数将嘴巴的上
嘴唇中点和下嘴唇中点分别设定为第一主嘴点和第二主嘴点；
以及，将嘴巴的两个端点分别设定为第三主嘴点和第四主嘴点；
第一主嘴点、第二主嘴点、第三主嘴点和第四主嘴点以及各个点对应的点坐标构
成嘴巴数字数据；
本发明实施例中，通过对提取的面部特征进行筛选和数字化处理，从眼睛、眉毛和
嘴巴方面来进行定位点的设置和标记，来从不同的维度为后续虚拟人物面部表情的动态展示提供数据支持；
表情分析模块包含第一表情分析单元、第二表情分析单元和第三表情分析单元，
用于根据特征数字集来从不同的方面对人物的表情变化进行数字化分析，包括：
第一表情分析单元，获取眼部数字数据中第一主眼点、第二主眼点、第一副眼点、
第二副眼点、第三副眼点和第四副眼点；
将面部正常情况下第一主眼点和第二主眼点之间的垂直距离设定为第一眼距YJ，
以及，将第一副眼点和第三副眼点以及第二副眼点和第四副眼点之间的垂直距离设定为第二眼距EJ和第三眼距SJ；各个眼距的单位均为厘米；
提取三者的数值并联立，通过计算获取眼睛变化的眼迁值YQ；眼迁值YQ的计算公
式为：
YQ=f1×YJ+f2×EJ+f3×SJ
式中，f1、f2、f3为预设的均大于零的比例系数，且0＜f2≤f3＜f1，f1可以取值为
2.473，f2可以取值为1.253，f3可以取值为1.614；
需要说明的是，眼迁值是用于将不同眼部定位点的坐标数据进行整合来对眼部的
变化进行整体评估的数值；根据眼迁值可以获取到眼部的变化以及变化程度，可以为不同笑容的状态分析提供可靠的数据支持；
根据眼迁值从眼部对人物的表情变化进行分析，得到眼睛分析数据；
获取预设的眼迁范围，并将眼迁值与眼迁范围进行匹配分析；
若眼迁值小于眼迁范围的最小值，则判定人物眼部的变化处于中度状态并生成眼
中信号；
若眼迁值不小于眼迁范围的最小值且不大于眼迁范围的最大值，则判定人物眼部
的变化处理轻度状态并生成眼轻信号；
若眼迁值大于眼迁范围的最大值，则判定人物眼部的变化正常并生成眼正信号；
眼中信号、眼轻信号和眼正信号构成眼睛分析数据；
本发明实施例中，眼迁值越大，表示眼部的变化越小，对应的表情波动也越小，眼
迁值越小时，表示眼部的变化越大，对应的表情波动也越大，比如开心时笑弯了眼；此外，微笑以及大笑时，对应的眼部变化不同，基于眼迁值来分析眼部变化的状态，本发明实施例中将眼部变化分为了三类，可以根据实际情况进行拓展增加；
第二表情分析单元，获取眉毛数字数据中第一主眉点、第二主眉点、第三主眉点和
第四主眉点各个点对应的点坐标并分别标记为（xm1，ym1）、（xm2，ym2）、（xm3，ym3）和（xm4，ym4）；
将各个主眉点之间的坐标变化情况进行整合，通过计算获取眉毛变化的眉迁值
MQ；眉迁值MQ的计算公式为：
式中，g1、g2为预设的均大于零的比例系数，且g1+g2=1，g1可以取值为0.436，g2可
以取值为0.564；
需要说明的是，眉迁值是用于将不同眉部定位点的坐标数据进行整合来对眉部的
变化进行整体评估的数值；根据眉迁值可以获取到眉部在竖直方向的变化以及变化程度，可以为不同异常表情的状态分析提供可靠的数据支持；
根据眉迁值从眉部对人物的表情变化进行分析，得到眉毛分析数据；
获取预设的眉迁阈值，将眉迁值与眉迁阈值进行匹配分析；
若眉迁值小于眉迁阈值，则判定人物眉部的变化正常并生成眉正信号；
若眉迁值不小于眉迁阈值且不大于眉迁阈值的P%，P为大于一百的实数，则判定人
物眉部的变化处于轻度状态并生成眉轻信号；
若眉迁值大于眉迁阈值的P%，则判定人物眉部的变化处于中度状态并生成眉中信
号；
眉正信号、眉轻信号和眉中信号构成眉毛分析数据；
本发明实施例中，眉迁值越大，表示眼部的变化越大，对应的表情波动也越大，眼
迁值越小时，表示眼部的变化越小，对应的表情波动也越小，本发明实施例中同样将眉部变化分为了三类，可以根据实际情况进行拓展增加；
第三表情分析单元，获取面部正常情况下嘴巴数字数据中第一主嘴点、第二主嘴
点、第三主嘴点和第四主嘴点各个点对应的点坐标并分别标记为（xz1，yz1）、（xz2，yz2）、（xz3，yz3）和（xz4，yz4）；
获取面部实时情况下第一主嘴点、第二主嘴点、第三主嘴点和第四主嘴点各个点
对应的点坐标并分别标记为（xz1’，yz1’）、（xz2’，yz2’）、（xz3’，yz3’）和（xz4’，yz4’）；
通过距离公式将面部实时情况下计算得到的第一主嘴点以及第二主嘴点的变化
距离分别设定为第一变化值YB1和第二变化值YB2；以及通过距离公式将计算得到的第三主嘴点和第四主嘴点的变化距离分别设定为第三变化值SB1和第四变化值SB2；
需要注意的是，这里的变化距离是指不同情况下各个主嘴点坐标与面部正常情况
下对应的初始主嘴点坐标之间的直线距离；
将第一变化值YB1、第二变化值YB2、第三变化值SB1和第四变化值SB2进行联立来
计算获取嘴巴变化的嘴迁值ZQ；嘴迁值ZQ的计算公式为：
ZQ=α×[z1×(YB1+YB2)+z2×(SB1+SB2)]
式中，z1、z2为预设的均大于零的比例系数，且0＜z1＜z2，z1可以取值为0.365，z2
可以取值为0.635；α为预设的补偿因子，取值范围为（0,5），可以取值为1.3174；
需要说明的是，嘴迁值是用于将不同嘴部定位点的坐标数据进行整合来对嘴部的
变化进行整体评估的数值；根据嘴迁值可以获取到嘴部在不同方向的变化以及变化程度，可以为从另一方面为不同笑容的状态分析提供可靠的数据支持；
根据嘴迁值ZQ从嘴部对人物的表情变化进行分析，得到嘴巴分析数据；
获取预设的第一嘴巴阈值YZY和第二嘴巴阈值EZY，并将嘴迁值ZQ分别与第一嘴巴
阈值YZY和第二嘴巴阈值EZY进行匹配分析；其中，第一嘴巴阈值YZY小于第二嘴巴阈值EZY；
若ZQ＜YZY，则判定人物嘴部的变化正常并生成嘴正信号；
若YZY≤ZQ≤EZY，则判定人物嘴部的变化处于轻度状态并生成嘴轻信号；
若ZQ＞EZY，则判定人物嘴部的变化处于中度状态并生成嘴中信号；
嘴正信号、嘴轻信号和嘴中信号构成嘴巴分析数据；
本发明实施例中，嘴迁值越大，表示嘴部的变化越大，对应的表情波动也越大，嘴
迁值越小时，表示嘴部的变化越小，对应的表情波动也越小，本发明实施例中同样将嘴部变化分为了三类，可以根据实际情况进行拓展增加；
眼睛分析数据、眉毛分析数据和嘴巴分析数据构成应用分析集并上传至服务器和
数据库；
虚拟应用模块，用于根据应用分析集向网聊的对方展示人物的表情变化并动态提
示，包括：
获取应用分析集中的嘴巴分析数据、眉毛分析数据和眼睛分析数据；
若嘴巴分析数据中包含嘴轻信号，则表示人物的表情为微笑状态并生成第一微笑
指令；
若嘴巴分析数据中包含嘴中信号且眼睛分析数据中包含眼轻信号，则表示人物的
表情为轻笑状态并生成第二微笑指令；
若嘴巴分析数据中包含嘴中信号且眼睛分析数据中包含眼中信号，则表示人物的
表情为大笑状态并生成第三微笑指令；
其中，大笑状态的面部特征变化大于轻笑状态的面部特征变化，轻笑状态的面部
特征变化大于微笑状态的面部特征变化；
第一微笑指令、第二微笑指令和第三微笑指令构成微笑表情数据；
若眉毛分析数据中包含眉轻信号，则表示人物的表情为轻度异常状态并生成第一
异常指令；异常状态包括但不限于疑问、纠结以及厌恶；
若眉毛分析数据中包含眉中信号，则表示人物的表情为中度异常状态并生成第二
异常指令；
第一异常指令和第二异常指令构成异常表情数据；
根据微笑表情数据和异常表情数据中不同的指令将人物的表情变化时不同面部
特征定位点对应的坐标应用到虚拟角色上，并向网聊的对方进行动态展示和提示，以便对方可以及时获取到人物的心情变化，可以及时调整沟通方式来提高沟通质量；
此外，基于虚拟角色来进行面部表情变化的展示，除了起到辅助参考来提高沟通
质量的作用外，还可以起到对人物真实面部进行保护的目的；
本发明实施例中，通过将获取的面部不同位置的特征变化情况进行整合来获取到
人物处于哪种表情状态，使得沟通的对象可以参考虚拟角色展示的面部表情变化自适应的动态调整聊天方式，可以有效提高网络沟通的整体效果，以及虚拟角色应用的整体效果；
此外，上述中涉及的公式均是去除量纲取其数值计算，是由采集大量数据进行软
件模拟得到最接近真实情况的一个公式，公式中的比例系数以及分析过程中各个预设的阈值由本领域的技术人员根据实际情况设定或者大量数据通过机器学习算法训练获得。

[0020] 实施例二如图2所示，本发明为一种基于人脸动作捕捉技术的虚拟角色处理方法，包括：
对网络沟通一方人物的人脸特征进行捕捉以及特征提取，得到人脸特征集；人脸
特征集包括人脸轮廓、眼睛轮廓、眉毛轮廓、鼻子轮廓和嘴巴轮廓；
从不同的方面对人脸特征集中不同的面部特征进行数字化处理，得到特征数字
集；
根据特征数字集来从不同的方面对人物的表情变化进行数字化分析，得到包含眼
睛分析数据、眉毛分析数据和嘴巴分析数据的应用分析集；
获取应用分析集中的嘴巴分析数据、眉毛分析数据和眼睛分析数据中不同的信号
进行联立整合获取微笑表情数据和异常表情数据；
根据微笑表情数据和异常表情数据中不同的指令通过虚拟角色向网聊的对方展
示人物的表情变化并动态提示。

[0021] 在本发明所提供的几个实施例中，应该理解到，所揭露的系统，可以通过其它的方式实现。例如，以上所描述的发明实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

[0022] 作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

[0023] 另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

[0024] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的基本特征的情况下，能够以其他的具体形式实现本发明。

[0025] 最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。