基于局部注意力模型的面部表情动作单元对抗合成方法
专利汇可以提供基于局部注意力模型的面部表情动作单元对抗合成方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及 计算机视觉 和 情感计算 等领域，为增加AU表情数据集的多样性和普适性，本发明采取的技术方案是，基于局部注意 力 模型的面部表情动作单元对抗合成方法，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的 质量 。本发明主要应用于 图像处理 、 人脸识别 等场合。，下面是基于局部注意力模型的面部表情动作单元对抗合成方法专利的具体信息内容。
1.一种基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。
2.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，具体步骤细化如下：
步骤(1)，通过局部注意力模型对人脸的局部区域进行特征提取，并基于条件对抗自编码生成模型对局部注意力模型提取的AU特征分布进行学习和建模，形成去除原有AU强度后的人脸特征向量；随后，在自编码生成器的特征层加入指定AU强度的标签信息，从而生成相应AU强度的图像,以达到改变AU强度的效果，从而，建立指定不同强度不同组合的面部运动单元标注与局部注意力模型所提取的初始AU特征分布之间的有效映射；
步骤(2)，通过条件自编码器对抗生成模型中的判别器对生成指定AU强度的人脸图像的真实度进行判别，同局部注意力对抗生成模型的生成结果进行博弈优化；
步骤(3)，将能够生成目标表情的模型参数应用于面部表情运动单元的生成模型中，实现对不平衡AU数据集的增强与扩充，并将所生成的数据应用于提高AU识别模型精度的工作当中。
3.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(1)中，将基于人脸关键点的AU高斯分布区域作为局部注意力模型的初始化输入，通过AU的识别损失函数对AU的注意力区域进行学习，其识别损失函数的计算方式如下：
其中，Rau(*)是AU注意力区域重定义模型，Dau(*)是预训练AU强度识别模型， 是已知AU强度标注的输入图像，y0是 的AU强度标注， 是均方差损失函数MSE(Mean squared error)， 是局部注意力模型所学习出的AU注意力区域；
局部AU生成器将采用条件对抗自编码网络模型CAAE实现对任意给定面部AU编码进行面部表情运动单元合成，CAAE模型通过生成器和判别器两个子系统的目标博弈，实现将所关注的AU信息去除，形成保留除AU以外的人脸身份信息，然后在CAAE的特征层加入所期望的指定AU编码，进而实现对不同AU编码条件下面部表情运动特征分布的有效合成；
然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性。
4.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(2)中，CAAE模型是将局部输入的人脸表情区域，进行编码生成隐变量z,将隐变量z与真实的标注l进行融合，作为生成器decoder的输入，生成与l标注强度相同的AU；再将生成的AU区域与真实的表情区域送入判别器D中，进行博弈对抗训练；与此同时，中间生成的隐变量z与均匀分布P(z)进行对抗训练，从而使z更服从于除AU表情信息以外的面部信息分布，生成z的对抗损失计算如下：
其中，Log(*)是以2为底的对数函数，Dz(*)是z判别器的输出，z*是均匀分布，x是服从于数据集的图像分布，E(*)是编码器(encoder)的输出， 是对服从均匀分布的z求均方差损失， 是对服从原数据概率分布pdata(x)的x求均方差损失；生成局部AU的对抗损失计算如下：
其中，x,l是服从输入数据集的相互对应的图像和AU标注,Dimg(*)是图像的判别器，G(*)是生成器decoder的输出， 对服从pdata(x,l)的概率分布求均方差损失；
然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性，其计算公式如下：
其中，It是生成的目标图像，Is是输入的原始图像，Gi(Is×ri,yi)是生成器(decoder)对第i个AU区域的输出，ri对应单一AU的注意力区域，yi是目标图像的AU标注，n是AU类别的数量。
5.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(3)中，将增强数据集与原数据集分别训练深度模型后，计算深度模型识别AU强度的准确率是否存在差异。所选用的评估标准是绝对平均损失MAE(Mean Absolute Error)，其计算方式如下：
是第i个样本的第j个AU的真实标注， 是第i个样本的第j个AU的预测结果，N表示样本数量，M表示单个样本AU的数量。
基于局部注意力模型的面部表情动作单元对抗合成方法
技术领域：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于虚拟现实的孤独症早期筛查评估系统及方法 | 2020-05-08 | 174 |
| 一种基于VR技术的记忆提升检测方法及系统 | 2020-05-08 | 330 |
| 提取用户画像的方法、装置、计算机设备和存储介质 | 2020-05-08 | 265 |
| 数据分析方法、设备及存储介质 | 2020-05-08 | 55 |
| 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备 | 2020-05-12 | 696 |
| 一种文本情感测量方法和装置 | 2020-05-11 | 210 |
| 与文本无关的语音情感识别方法及装置、用于识别情感的算法模型的生成方法 | 2020-05-08 | 422 |
| 一种利用上下文和方面记忆信息的情感分类方法 | 2020-05-08 | 107 |
| 一种基于隐喻主题挖掘的景区评价知识库构建方法 | 2020-05-11 | 369 |
| 一种基于情感识别的老人陪护机器人子系统 | 2020-05-08 | 589 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
