一种实时表情捕捉方法和系统专利检索-递归神经网络人工神经网络人工智能专利检索查询-专利查询网

一种实时表情捕捉方法和系统

阅读：145发布：2020-05-14

专利汇可以提供一种实时表情捕捉方法和系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种实时表情捕捉方法和系统，是一个开放框架，能够支持基于FACS(面部动作编码系统)的数据驱动面部动画，包括实时输入模块、输入数据的参数化修改模块、可视化引擎中的机器学习模块和动画模块，实时处理和动画化基于FACS的数据，支持流行的3D创作工具，如Maya、MAX、Blender等，并且可以在游戏行业的流行工具中实时可视化面部数据，例如Unreal和Unity3D游戏引擎。所有的功能都被分解成可以通过网络调用的模式，以便与其他平台轻松集成，实现了一种用于数据驱动动画实时生成AU(控制单元)数据的深度学习模块，本发明的FACS数据平均显示时间为28ms，已经达到了每秒30 帧的实时性要求。，下面是一种实时表情捕捉方法和系统专利的具体信息内容。

权利要求

1.一种实时表情捕捉方法和系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(表演演员)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；
所述所有模块通过网络协议进行通信，例如，利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议等。
2.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉被分成动作单元(AUs)的，所述肌肉强度值存储在一个一维数组中；
所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、Maya、Blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的；
所述基于视频信号的输入是基于FACS的数据输入，通过FACS检测引擎，通过网络实时发送AU、眼睛注视和头部旋转值。
3.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述FACS检测引擎包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。
4.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。
5.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交换模块，其他模块只需知道此模块的地址即可发布或订阅数据。
6.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。
7.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，使生成数据驱动的面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度。
8.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述AU到混合形状转换模块是一种转换器模块，是AU混合形状值为MBLAB创建的模型，利用分布式消息系统，例如ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。
9.根据权利要求1所述的一种实时表情捕捉方法和系统，其特征在于：所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。
10.根据权利要求1-9所述的一种实时表情捕捉方法和系统，其特征在于：本发明基于一种实时表情捕捉方法和系统，分为发布者(表演演员)-订阅者(虚拟角色)模式中整体使用的模块，实施步骤分别如下：
发布者(表演演员)-订阅者(虚拟角色)模式中整体使用的模块：
步骤S1:由发布者(表演演员)提供需求、信息、数据；
步骤S2:利用FACS检测引擎系统对输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数到离线CSV模块和消息交换模块；
步骤S3:经过对CSV文件的读取，并以预定速度发布数据，生成输出数据；
步骤S4:消息交换模块将接收到的消息从输入模块传递到框架中的AU到混合形状转换模块、AU转换文件模块和可视化引擎模块；
步骤S5:机器学习模块和GUI模块处理后的数据也通过消息交换模块连接；
步骤S6:AU到混合形状转换模块通过将MBLAB模型的虚拟脸与FACS The Manual8中的AU图像进行可视化比较，找到了最佳组合；
步骤S7:AU转换文件模块能够让使用者根据具体需求转换成需要的格式文件；
步骤S8:可视化引擎模块来动画驱动和计算头部旋转值；
步骤S9:由订阅者(虚拟角色)接收处理后的数据。

说明书全文

一种实时表情捕捉方法和系统

技术领域

[0001] 本发明属于面部动画制作技术领域，具体为一种实时表情捕捉方法和系统。

背景技术

[0002] 在面部动画制作中，想要与用户进行社会交互的嵌入式会话代理(ECAs)应该能够将其内部状态返回给用户，面部表情是实现这一目标的常用方法。传统的面部动画方法，通常出现在游戏中，是用手或依靠动作捕捉来创建面部动画。对于ECAs，这种类型的动画在基于规则的系统中非常有用，在这些系统中，分析用户以确定其精神状态，然后触发包含面部动画的响应。虽然这种方法提供了高度逼真的动画，但这种动画在运行时很难修改，因此需要一个大型数据库来进行无脚本的面部响应社会设置，制作大量的面部动画对游戏动画等工业来说太昂贵而且太耗时。

[0003] Maya、3DMAX和Blender等平台不再依赖于预先制作的动画，而是通过行为标记语言(BML)对面部表情进行编码。面部动画是通过定义具有开始和结束时间的面部表情的目标值来创建的，虽然这种方法对面部动画的控制能力很强，不需要太多的艺术知识，在ECAs的脚本响应中非常有用，但是，由它生成的动画就不那么自然了。

发明内容

[0004] (一)解决的技术问题

[0005] 为了克服现有技术的上述缺陷，使研究人员能够探索生成数据驱动的方法来生成面部动画，本发明提供了一种实时表情捕捉方法和系统，解决了上述背景技术中所提出的问题。

[0006] (二)技术方案

[0007] 为实现上述目的，本发明提供如下技术方案：一种实时表情捕捉方法和系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(演员表演)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；

[0008] 所有模块通过网络协议进行通信，例如，利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议等。

[0009] 特别需要指出的是，所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉被分成动作单元(AUs)的，所述肌肉强度值存储在一个一维数组中。

[0010] 所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的

[0011] 所述基于视频信号的输入是基于FACS的数据输入，通过FACS检测引擎，通过网络实时发送AU、眼睛注视和头部旋转值。

[0012] 所述FACS检测引擎系统包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。

[0013] 所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。

[0014] 所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交互模块，其他模块只需知道此模块的地址即可发布或订阅数据。

[0015] 所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。

[0016] 所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，使生成数据驱动的面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度，

[0017] 所述AU到混合形状转换模块是一种转换器模块，是AU混合形状值为MBLAB创建的模型，利用分布式消息系统ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。

[0018] 所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。

[0019] 所述可视化引擎模块用来动画注视和计算头部旋转值，包括Unreal、Unity3D、Maya、Blender和FACSHuman。所述Unreal、Unity3D是对于面部动画的实时可视化；Maya、Blender用于存储、修改录制好的面部形态，以及高质量的图像和视频渲染；FACSHuman包含了经过验证的FACS模型。

[0020] 整个系统框架是从接收消息到执行代码，再到发布新消息，最后到可视化这一整个过程。

[0021] (三)有益效果

[0022] 与现有技术相比，本发明的有益效果在于：

[0023] 1.本发明提供的面部动画数据驱动方法是使用真实的演员表演创建一个大型的面部动画数据库，基于FACS(面部动作编码系统)构建的，减少了创造各种面部表情所需要的工作量，同时还可以保持人类面部表情的自然，还允许在可视化之前对数据进行实时操作。

[0024] 2.使用机器学习技术来学习表情数据的表示，允许端到端学习，情感用户分析可以直接链接到ECA的响应，而不是基于规则的系统。

[0025] 3.该发明提供了支持基于FACS的人脸驱动模型的机器学习所需的所有组件，这些模块与游戏行业使用的流行软件无缝集成，高度的兼容性，可以大大节省开发时间，提高生产效率。

[0026] 4.利用本发明提供的一种实时表情捕捉方法和系统可以改变虚拟角色的表情质量，与一般的平滑函数相比，在每个AU的基础上进行不同的平滑可能会得到更精确的动画，同时仍然保持平滑。

[0027] 5.本发明在本系统内实现了表情捕捉的实时性，从表演演员的表演到虚拟角色在游戏引擎中的实时表情驱动，整个过程可以实现每秒30 帧以上的运行速率，这种实时性可以极大地提升生产效率，对于需要直播的虚拟角色尤其适合。

[0028] 6.FACS的波形可以改善嘴唇动画，本系统允许实时修改AU值的参数，从而实现面部行为的夸大或抑制，还能够将面部配置到其他动画技术工作流之中。附图说明

[0029] 图1为本发明中在发布者(演员表演)-订阅者(虚拟角色)模式中传递数据的框架概述流程结构示意图；

[0030] 图2为本发明使用的模块流程结构示意图；

[0031] 图3为本发明系统中每个模块所花费的时间流程结构示意图；

具体实施方式

[0032] 下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

[0033] 如图1-3所示，本发明提供一种技术方案：一种实时表情捕捉方法和系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(演员表演)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；

[0034] 所述所有模块通过网络进行消息传输，例如采用利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议。

[0035] 在本发明实施例中，所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉变化被分成动作单元(AUs)，所述肌肉强度值存储在一个一维数组中。

[0036] 具体的，所选择的数据表示可以对面部表情进行情感分析和动画化，FACS的肌肉来描述肌肉是如何放松或收缩的，肌肉强度值在一维数组中能够产生一个描述面部结构的小数据足迹，并可以通过网络传输。

[0037] 在本发明实施例中，所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、Maya和Blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的

[0038] 具体的，该系统可以用来驱动机器人的面部表情或改变虚拟人物的脸型，所述插件是用于创建3D(虚拟角色)模型的开源工具，提供了基于滑动条的创建过程，减少了所需的艺术技能，MBLAB模型可以直接在Blender中进行动画离线制作。

[0039] 在本发明实例中，所述基于视频信号的输入是针对FACS检测引擎的数据输入，通过FACS检测引擎，在ZeroMQ4等等网络系统上实时发送AU、眼睛注视和头部旋转值。

[0040] 具体的，FACS检测引擎离线分析的视频获得的存储数据也可以通过框架以记录的速率发送值来使用，所述AU值的规格化范围是从0-5到0-1。

[0041] 在本发明实施例中，所述FACS检测引擎包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。

[0042] 具体的,FACS检测引擎还提供了基于FACS的数据，这些数据可以在FACSHuman中进行微调并以图像的形式输出。

[0043] 在本发明实施例中，所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。

[0044] 具体的，经过对CSV文件的读取，并以预定速度发布数据，生成输出数据。

[0045] 在本发明实例中，所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交换模块，其他模块只需知道此模块的地址即可发布或订阅数据。

[0046] 具体的，所述消息交换模块还具有数据可以在一个地方修改的优点，如平滑或放大。

[0047] 在本发明实例中，所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。

[0048] 具体的，GUI是通过简单的Python代码构造的，可以进行修改。

[0049] 在本发明实例中，所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，使生成数据驱动的面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度，

[0050] 具体的，来自MAHNOB模拟数据库的二元对话可用于培训。

[0051] 在本发明实例中，所述AU到混合形状转换模块是一种转换器模块，是AU混合形状值为MBLAB创建的模型，利用类似分布式消息系统ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。

[0052] 具体的，通过检查所有可用的混合形状，并找到混合形状值的最佳匹配组合来匹配每个AU，但没有经过FACS编码器的验证。通过将MBLAB模型的虚拟脸与FACS检测引擎中的AU图像进行可视化比较，找到了最佳组合。

[0053] 在本发明实例中，所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。

[0054] 具体的，使用者可以根据具体需求转换成需要的格式文件。

[0055] 在本发明实例中，所述可视化引擎模块用来动画注视和计算头部旋转值，包括Unreal、Unity3D、Maya、Blender和FACSHuman，所述Unreal、Unity3D是对于面部动画的实时可视化；Maya、Blender用于存储、修改录制好的面部形态，以及高质量的图像和视频渲染；FACSHuman包含了经过验证的FACS模型。

[0056] 在本发明实例中，整个系统框架是从接收消息到执行代码，再到发布新消息，最后到可视化这一整个过程。

[0057] 本发明基于一种实时表情捕捉方法和系统，分为发布者(演员表演)-订阅者(虚拟角色)模式中整体使用的模块，实施步骤分别如下：

[0058] 发布者(演员表演)-订阅者(虚拟角色)模式中整体使用的模块：

[0059] 步骤S1:由发布者提供需求、信息、数据；

[0060] 步骤S2:利用FACS检测引擎对输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数到离线记录模块和消息交换模块；

[0061] 步骤S3:经过对CSV文件的读取，并以预定速度发布数据，生成输出数据；

[0062] 步骤S4:消息交换模块将接收到的消息从输入模块传递到框架中的AU到混合形状转换模块、AU转换文件模块和可视化引擎模块；

[0063] 步骤S5:机器学习模块和GUI模块处理后的数据也通过消息交换模块连接；

[0064] 步骤S6:AU到混合形状转换模块通过将MBLAB模型的虚拟脸与FACS检测引擎中的AU图像进行可视化比较，找到了最佳组合；

[0065] 步骤S7:AU转换文件模块能够让使用者根据具体需求转换成需要的格式文件；

[0066] 步骤S8:可视化引擎模块来动画注视和计算头部旋转值；

[0067] 步骤S9:由订阅者(虚拟角色)接收处理后的数据。

[0068] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

[0069] 上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

标题	发布/更新时间	阅读量
一种提高量子密钥分发系统成码率的方法及装置	2020-05-08	303
基于知识图谱的用户用车体验调研方法、系统和云服务器	2020-05-15	215
直升机式航空时间域SHEPWM探测信号分段控制方法	2020-05-11	31
语音识别方法、服务器及计算机可读存储介质	2020-05-11	566
人脸关键点定位方法及装置	2020-05-14	560
一种基于虚拟训练的机器人智能抓取方法	2020-05-11	75
增强具有外部存储器的神经网络	2020-05-08	317
一种人体姿态估计方法	2020-05-14	869
异常交易检测的方法	2020-05-16	53
针对弥漫性和串联性病变中冠状动脉疾病的非侵入性评估和治疗指导	2020-05-13	743

一种实时表情捕捉方法和系统

一种实时表情捕捉方法和系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：