专利汇可以提供一种实时表情捕捉方法和系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种实时表情捕捉方法和系统,是一个开放 框架 ,能够支持基于FACS(面部动作编码系统)的数据驱动 面部动画 ,包括实时输入模 块 、输入数据的参数化 修改 模块、 可视化 引擎中的 机器学习 模块和动画模块,实时处理和动画化基于FACS的数据,支持流行的3D创作工具,如Maya、MAX、Blender等,并且可以在游戏行业的流行工具中实时可视化面部数据,例如Unreal和Unity3D游戏引擎。所有的功能都被分解成可以通过网络调用的模式,以便与其他平台轻松集成,实现了一种用于数据驱动动画实时生成AU(控制单元)数据的 深度学习 模块,本发明的FACS数据平均显示时间为28ms,已经达到了每秒30 帧 的实时性要求。,下面是一种实时表情捕捉方法和系统专利的具体信息内容。
1.一种实时表情捕捉方法和系统,包括数据格式和表情配置、模型创造和配置、系统架构,所述系统架构包括发布者(表演演员)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色);
所述所有模块通过网络协议进行通信,例如,利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信,所述协议包括TCP、UDP以及其他应用层协议等。
2.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述数据格式和表情配置是一种面部动画数据,其格式是面部动作编码系统(FACS),所述FACS包括肌肉强度值,所述肌肉被分成动作单元(AUs)的,所述肌肉强度值存储在一个一维数组中;
所述模型创造和配置包括插件和混合形状,所述插件包括ManuelBastioniLAB2(MBLAB)插件、Maya、Blender3插件与FACSHuman3插件,所述混合形状由面部结构是通过线性插值来修改的;
所述基于视频信号的输入是基于FACS的数据输入,通过FACS检测引擎,通过网络实时发送AU、眼睛注视和头部旋转值。
3.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述FACS检测引擎包括输入参数与输出参数,所述输入参数包括图片和视频,所述输出参数为AU头部旋转参数,所述输入参数经过内部detectface函数处理,并从面部数据中提取AUs后生成输出参数。
4.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述离线记录模块包括输入数据和输出数据,所述输入数据为CSV格式文件的面部特征数据,所述输出数据为AU头部旋转参数。
5.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述消息交换模块是一个简单的消息代理,将接收到的消息从输入模块传递到框架中的其他模块,通过使用消息交换模块,其他模块只需知道此模块的地址即可发布或订阅数据。
6.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述GUI模块是一个可编程的图形用户界面,通过滑动条实时地参数化地修改AU值。
7.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络,使生成数据驱动的面部动画,包括输入端和输出端,所述输入端给出一个17个肌肉强度的数组,所述输出端为生成的17个肌肉强度。
8.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述AU到混合形状转换模块是一种转换器模块,是AU混合形状值为MBLAB创建的模型,利用分布式消息系统,例如ZeroMQ4通过TCP在发布者-订阅者之间进行通信模式。
9.根据权利要求1所述的一种实时表情捕捉方法和系统,其特征在于:所述AU转换文件模块输入AU值,经过转换后可生成JSON、CSV格式的文件。
10.根据权利要求1-9所述的一种实时表情捕捉方法和系统,其特征在于:本发明基于一种实时表情捕捉方法和系统,分为发布者(表演演员)-订阅者(虚拟角色)模式中整体使用的模块,实施步骤分别如下:
发布者(表演演员)-订阅者(虚拟角色)模式中整体使用的模块:
步骤S1:由发布者(表演演员)提供需求、信息、数据;
步骤S2:利用FACS检测引擎系统对输入参数经过内部detectface函数处理,并从面部数据中提取AUs后生成输出参数到离线CSV模块和消息交换模块;
步骤S3:经过对CSV文件的读取,并以预定速度发布数据,生成输出数据;
步骤S4:消息交换模块将接收到的消息从输入模块传递到框架中的AU到混合形状转换模块、AU转换文件模块和可视化引擎模块;
步骤S5:机器学习模块和GUI模块处理后的数据也通过消息交换模块连接;
步骤S6:AU到混合形状转换模块通过将MBLAB模型的虚拟脸与FACS The Manual8中的AU图像进行可视化比较,找到了最佳组合;
步骤S7:AU转换文件模块能够让使用者根据具体需求转换成需要的格式文件;
步骤S8:可视化引擎模块来动画驱动和计算头部旋转值;
步骤S9:由订阅者(虚拟角色)接收处理后的数据。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
家电自定义控制系统、方法、自定义动作处理系统、方法 | 2020-05-08 | 376 |
一种运动捕捉传感器装置及其制造方法 | 2020-05-12 | 430 |
一种滤筒式除尘器 | 2020-05-08 | 319 |
混合现实的外语情景、环境、教具教学系统及其方法 | 2020-05-11 | 875 |
基于虚拟现实的培训方法、系统和电子设备 | 2020-05-13 | 134 |
温度计、密封容器、及保温杯 | 2020-05-08 | 855 |
基于企业信息化异构系统的数字化经营分析平台及方法 | 2020-05-13 | 202 |
汽车储物盒开启时间测量装置 | 2020-05-13 | 922 |
横编机的编织纱保持切断装置 | 2020-05-13 | 178 |
一种扳机动作捕捉装置 | 2020-05-08 | 880 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。