技术领域
[0001] 本
发明属于微表情识别领域，具体涉及一种基于虚拟人脸模型的微表情数据(微表情视频数据)生成方法。
背景技术
[0002]
深度学习技术目前在
计算机视觉领域的应用是十分广泛，并且给某些传统
图像识别方法带来了长足的进步。而深度学习的很重要一部分是需要大量高
质量数据才能训练出有效的模型用于具体问题。而对于很多问题并没有足够多的数据，比如微表情识别。目前公开的微表情数据集只有5个左右，一共只有不到1000组数据。而训练一个深度学习中的神经网络模型动辄需要几千上万组数据，大型项目的神经神经网络模型训练需要千万级的数据量。解决数据量不足的问题对于深度学习技术的应用具有十分重要的意义。
[0003] 目前针对数据量不足的问题往往会使用数据增广技术。在计算机视觉领域，由于采集真实数据并对数据标定要花费时间成本和人工成本，特别是像微表情这种有一定专业性的问题，标定数据还需要
心理学专业人士，需要的成本更加昂贵，所以需要更多数据时往往会使用数据增广技术。数据增广技术指通过图像平移、旋转等方法对原有数据进行操作，从而生成基于原始数据的新数据以增加数据量。在微表情识别领域，由于微表情数据都为视频，所以数据增广的方式相较于静态图像有所不同。Min Peng等人在《Dual Temporal Scale Convolutional Neural Network for Micro-Expression Recognition》一文中通过用随机选用同一类微表情视频中的随机
帧拼接出一个新视频的方法来进行微表情数据增广。但是这种方法生成的微表情数据会丢失掉很多微表情的特征信息从而造成新生成数据质量不高，从而会影响到训练的模型对微表情的识别效果。此方法生成的微表情数据质量不高的主要原因有两点，第一，由于同一类表情的表现方式往往不同，不同个体对同一种表情的表达方式不一样，比如在有的样本中表现方式是嘴
角上扬，在有的样本中表现方式是眉毛挑动，而将两种不同样本的表现方式融合到一起产生的表情可能并非此类微表情的表现方式。第二，由于微表情的运动幅度十分微弱，如果静态地去观测微表情视频数据中的某一帧往往是无法判别该表情是哪一类的。所以视频中的面部运动是判断微表情的关键信息，而随机拼接微表情
视频帧的数据增广方法会打乱视频数据中的时序信息，从而对视频中的运动造成严重的破坏。
[0004] 在此背景下，研究一种能够产生高质量的微表情数据的数据增广方法对于计算机视觉领域中的微表情识别问题显得尤为重要。
发明内容
[0005] 本发明所要解决的技术问题是，针对现有微表情数据增广方法中产生的微表情数据质量不高的问题，提供一种基于虚拟人脸模型的微表情数据生成方法，能够产生高质量的微表情数据。
[0006] 本发明所采用的技术方案如下：
[0007] 一种基于虚拟人脸模型的微表情数据生成方法，包括以下步骤：
[0008] 步骤1：基于真实微表情数据集，获取微表情的运动信息；
[0009] 生成虚拟人脸模型；
[0010] 步骤2：对虚拟人脸模型添加微表情运动信息，从而生成微表情数据。
[0011] 进一步地，所述步骤1中获取的微表情运动信息包括各种微表情的动作单元组合及相应的运动强度和运动高峰
位置。
[0012] 进一步地，在所述步骤1中，根据获取的微表情运动信息确定目标动作单元组合及相应的目标运动强度和目标运动高峰位置，其中目标是指计划生成的。
[0013] 进一步地，在所述步骤1中，根据获取的微表情运动信息确定目标动作单元组合的具体步骤如下：
[0014] 首先基于真实微表情数据集，确定其中每一个微表情分别由哪种动作单元组合表示；
[0015] 然后统计表示同一微表情的各种动作单元组合的出现
频率；
[0016] 最后选取出现频率较高的动作单元组合作为目标动作单元组合。
[0017] 进一步地，选取出现频率较高的动作单元组合作为目标动作单元组合的方法为：
[0018] 设Q种动作单元组合均表示表情e，其中第i种动作单元组合在真实微表情数据集中的出现频率，即第i种动作单元组合在真实微表情数据集出现的次数与这Q种动作单元组合在真实微表情数据集出现的总次数的比值为Fie，其中i＝1,2,3,…,Q；将Q种动作单元组合按照出现频率大小倒序排列，将排列靠前的动作单元组合的出现频率依次相加，直到得到的出现频率之和超过设定
阈值，则
选定出现频率进行了相加操作的这些动作单元组合作为目标动作单元组合。
[0019] 进一步地，确定某一种目标动作单元组合的目标运动强度的具体步骤如下：
[0020] 首先选取真实微表情数据集中所有包含该种动作单元组合的视频数据作为其样本；
[0021] 然后计算其每一个样本的最大区域光流强度M，计算步骤为：
[0022] 1)将该样本中的图像进行平均分
块，得到多个图像小块；确定其中包含运动单元的图像小块，记为[B1,B2,…,Bm]；
[0023] 2)计算该样本第1帧与第j帧图像之间各个包含运动单元的图像小块上的光流强度总和Ej，计算过程如公式(1)：
[0024]
[0025] 其中， 表示该样本第1帧与第j帧图像之间第k个包含运动单元的图像小块上
像素点(x,y)处的光流，l为样本的帧数；H和W代表图像小块的高和宽，它们的值为图像原来的高和宽除以相应方向的分块数；
[0026] 在本方法中未选取整个图像的光流强度来计算样本中动作单元组合的运动强度，而是选取包含运动单元的图像小块(即整个图像中的部分图像块)来进行计算，是考虑到面部图像其他区域的光流中有部分噪音产生的运动，如果将这些部分的也计算到微表情动作单元组合的运动强度中，会降低计算结果准确性，因此本方法计算得到的结果准确性高；
[0027] 3)选择出最大的Ej作为该样本的最大区域光流强度M，即：
[0028]
[0029] 再统计该种目标动作单元组合所有样本的最大区域光流强度M的分布情况，选取出现频率较高的最大区域光流强度作为该目标动作单元组合的目标运动强度。
[0030] 进一步地，选取出现频率较高的最大区域光流强度作为某一目标动作单元组合的目标运动强度的方法为：
[0031] 设该目标动作单元组合的样本有T个，其中第t个样本的最大光流强度为Mt，其中t＝1,2,3,…,T；对Mt的值进行统计后，设Mt的出现频率为Pt；将Mt按照出现频率大小倒序排列，将排列靠前的Mt的出现频率依次相加，直到得到的出现频率之和超过设定阈值，则选定出现频率进行了相加操作的Mt作为该目标动作单元组合的目标运动强度，记为Mreal。
[0032] 进一步地，确定某一种目标动作单元组合的目标运动高峰位置的具体步骤如下：
[0033] 设该目标动作单元组合的样本有T个，第t个样本的运动高峰位置为Rt，其中t＝1,2,3,…,T；对Rt的值进行统计后，设Rt的出现频率为Ut；将Rt按照出现频率大小倒序排列，将排列靠前的Rt的出现频率依次相加，直到得到的出现频率之和超过设定阈值，则选定出现频率进行了相加操作的Rt作为该目标动作单元组合的目标运动高峰位置，记为RME。
[0034] 进一步地，所述步骤1中使用三维人脸模型生成
软件(如facegen软件)生成虚拟人脸模型。
[0035] 进一步地，将生成的第i个虚拟人脸模型记为(Si,Ti)，其中Si是虚拟人脸模型的形状向量，其控制虚拟人脸模型的形状，Ti是虚拟人脸模型的纹理向量，其控制虚拟人脸模型的纹理；
[0036] 所述步骤2中，根据多种目标动作单元组合及其多个目标运动强度和多个目标运动高峰位置对不同的虚拟人脸模型添加微表情运动信息，从而可以生成多个微表情数据；根据某一种目标动作单元组合及其一个目标运动强度Mreal和一个目标运动高峰位置RME对一个虚拟人脸模型添加微表情运动信息，生成一个微表情数据，即一个合成样本视频的具体方法如下：
[0037] 步骤2.1、根据该种目标动作单元组合所表示的表情种类，计算同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量变化，计算公式如下：
[0038] ΔSe＝Sexpression-Sneutral，ΔTe＝Texpression-Tneutral (3)[0039] 其中，Sexppression和Sneutral分别代表同一个人脸模型人脸模型在带有该种表情和没有表情时的形状向量，Texppression和Tneutral分别代表同一个人脸模型该人脸模型在带有该种表情和没有表情时的纹理向量；
[0040] 步骤2.2、将ΔSe和ΔTe应用到虚拟人脸模型(Si,Ti)上，以获得带有该种表情的人脸模型 计算公式如下：
[0041]
[0042] 其中，λ为控制表情运动强度的参数；
[0043] 步骤2.2、根据该种目标动作单元组合的目标运动强度Mreal确定控制表情最大运动强度的参数λME的取值，具体过程如下：
[0044] 以0为初始值，以s为步长，遍历[0,1]范围内所有取值，依次将它们作为λ值，代入公式(4)中，得到相应的人脸模型 计算计算虚拟人脸模型(Si,Ti)与人脸模型之间各个包含运动单元的图像小块上的光流强度总和E，并将E与目标运动强度Mreal对比，选取最接近Mreal的区域光流强度总和对应的λ值作为控制表情最大运动强度的参数λME的取值；
[0045] 步骤2.3、结合确定的目标运动高峰位置RME，生成合成样本视频，步骤如下：
[0046] 首先，根据公式(5)获得λ取值序列 根据公式(6)获得λ取值序列 其中N为合成样本视频的帧数；
[0047]
[0048]
[0049] 然后，将两个λ取值序列中每个λ取值依次代入公式(4)中，得到相应的人脸模型，对这些人脸模型进行
图像采集生成
图像序列[0050] 最后，由图像序列 生成一个完整的合成样本视频。
[0051] 有益效果：
[0052] 本发明公开了一种基于虚拟人脸视频的微表情数据生成方法，能生成接近真实的虚拟微表情数据(视频)。相对于采集真实的微表情数据，并对数据进行标定，本发明降低了时间成本和人工成本；相对于现有的微表情数据增广方法，本发明能够高质量地保持微表情数据中运动信息，从而提高了产生的微表情数据(微表情增广数据)的质量，能够产生高质量的微表情数据。本发明减轻了数据量不足这一问题对于在微表情识别问题上应用计算机视觉技术/深度学习技术的影响，能够便于应用深度学习技术训练出更准确的微表情识别模型。
附图说明
[0054] 图2为本发明实施例面部平均分块示意图；
[0055] 图3为一个表情样本的示例。图3(a)到图3(j)表示视频的第1到第10帧；
具体实施方式
[0056] 以下结合附图和具体实施例对本发明进行进一步具体说明。
[0057] 本实施例公开了一种基于虚拟人脸模型的微表情数据生成方法，包括以下步骤：
[0058] 步骤1：基于真实微表情数据集(如CASME II数据集等)，获取微表情的运动信息；
[0059] 生成虚拟人脸模型；
[0060] 步骤2：对虚拟人脸模型添加微表情运动信息，从而生成微表情数据。
[0061] 进一步地，所述步骤1中获取的微表情运动信息包括各种微表情的动作单元组合及相应的运动强度和运动高峰位置。
[0062] 进一步地，所述步骤1中，根据获取的微表情运动信息确定目标动作单元组合(即计划生成的动作单元组合)及其目标运动强度和目标运动高峰位置，具体步骤如下：
[0063] 步骤1.1、确定目标动作单元组合；
[0064] 基于真实微表情数据集，确定其中每一个微表情分别由哪种动作单元组合表示；
[0065] 统计各种动作单元组合的出现频率；选取出现频率较高的动作单元组合作为目标动作单元组合；
[0066] 设Q种动作单元组合均表示表情e，其中第i种动作单元组合在真实微表情数据集中的出现频率(第i种动作单元组合在真实微表情数据集出现的次数与这Q种动作单元组合在真实微表情数据集出现的总次数的比值)为Fie，其中i＝1,2,3,…,Q；将Q种动作单元组合按照出现频率大小倒序排列，将排列靠前的动作单元组合的出现频率依次相加，直到得到的出现频率之和超过设定阈值(本实施例中取为70％)，则选定出现频率进行了相加操作的这些动作单元组合作为目标动作单元组合；
[0067] 步骤1.2、确定每一种目标动作单元组合的目标运动强度；
[0068] 对于每一种目标动作单元组合，首先选取真实微表情数据集中所有包含该种动作单元组合的视频数据作为其样本；然后计算其每一个样本的最大区域光流强度M(作为该样本中该动作单元组合的运动强度)；计算步骤为：
[0069] 1)将该样本中的图像进行平均分块，得到多个图像小块(如图2，本实施例中进行4×4的平均分块，得到16个图像小块)；确定其中包含运动单元的图像小块，记为[B1,B2,…,Bm]；
[0070] 2)依次计算该样本第1帧与第j帧图像之间各个包含运动单元的图像小块上的光流强度总和Ej；在本方法中未选取整个图像的光流强度来计算样本中动作单元组合的运动强度，而是选取包含运动单元的图像小块(即整个图像中的部分图像块)来进行计算，是考虑到面部图像其他区域的光流中有部分噪音产生的运动，如果将这些部分的也计算到微表情动作单元组合的运动强度中，会降低计算结果准确性，因此本方法计算得到的结果准确性高；该样本第j帧图像对应的区域光流强度总和Ej的计算过程如公式(1)：
[0071]
[0072] 其中， 表示该样本第1帧与第j帧图像之间第k个包含运动单元的图像小块上像素点(x,y)处的光流(即像素点在两帧图像相应图像小块上的位置变动，即位移)，l为样本的帧数；H和W代表图像小块的高和宽，它们的值为图像原来的高和宽除以相应方向的分块数(本实施例中为4)；
[0073] 在计算出该样本各帧图像对应的区域光流强度总和Ej后，选择出最大的Ej作为该样本的最大区域光流强度M，即：
[0074]
[0075] 对于每一种目标动作单元组合，统计其所有样本的最大区域光流强度M的分布情况，选取出现频率较高的最大区域光流强度作为该目标动作单元组合的目标运动强度；设某一目标动作单元组合的样本有T个，其中第t个样本的最大光流强度为Mt，其中t＝1,2,3,…,T；对Mt的值进行统计后，设Mt的出现频率(Mt在Mt,t＝1,2,3,…,T中出现的次数与T的比值)为Pt；将Mt按照出现频率大小倒序排列，将排列靠前的Mt的出现频率依次相加，直到得到的出现频率之和超过设定阈值(本实施例中取为70％)，则选定相应的Mt(出现频率进行了相加操作的Mt)作为该目标动作单元组合的目标运动强度；
[0076] 步骤1.3、确定每一种目标动作单元组合的目标运动高峰位置；
[0077] 运动高峰位置指微表情运动强度达到最大的点相对于与整个微表情运动的时间位置。对于没有运动高峰位置标记的微表情数据集，如SMIC等，运动高峰位置等于视频中对应的区域光流强度总和最大的一帧图像的帧序号与该视频总帧数的比值，即对于有运动高峰位置标记的微表情数据集，如CASMEⅡ，则可以直接根据已有的运动高峰位置标记确定运动高峰位置。为了找到真实微表情中运动高峰出现的位置规律，对于每一种目标动作单元组合，统计其各样本的运动高峰位置。设某一目标动作单元组合的样本有T个，第t个样本的运动高峰位置为Rt，其中t＝1,2,3,…,T；对Rt的值进行统计后，设Rt的出现频率(Rt在Rt,t＝1,2,3,…,T中出现的次数与T的比值)为Ut；将Rt按照出现频率大小倒序排列，将排列靠前的Rt的出现频率依次相加，直到得到的出现频率之和超过设定阈值(本实施例中取为70％)，则选定相应的Rt(即出现频率进行了相加操作的Rt)作为该目标动作单元组合的目标运动高峰位置。
[0078] 进一步地，所述步骤1中使用三维人脸模型生成软件(如facegen软件)生成虚拟人脸模型；其具体过程如下：使用三维人脸模型生成软件生成多个人脸模型，其中第i个虚拟人脸模型记为(Si,Ti)，其中Si是虚拟人脸模型的形状向量，其控制虚拟人脸模型的形状，Ti是虚拟人脸模型的纹理向量，其控制虚拟人脸模型的纹理。可以通过facegen软件生成人脸模型，该软件提供一个
基础人脸模型，通过调控该软件提供的许多人脸特征参数，如眼睛大小，眉毛高低等来生成不同的人脸模型，在生成人脸模型的过程中，Si和Ti已由软件自动计算。可根据真实微表情数据集中的人脸特点(性别，胖瘦等)，生成相似的人脸模型。
[0079] 进一步地，所述步骤2中，根据多种目标动作单元组合及其多个目标运动强度和多个目标运动高峰位置对不同的虚拟人脸模型添加微表情运动信息，从而可以生成多个微表情数据，即多个合成样本视频；根据某一种目标动作单元组合及其一个目标运动强度Mreal和一个目标运动高峰位置RME对一个虚拟人脸模型添加微表情运动信息，生成一个微表情数据，即一个合成样本视频的具体方法如下：
[0080] 步骤2.1、由于面部表情的运动模式对不同的人都是相同的，因此可以根据目标动作单元组合所表示的表情种类，计算同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量变化，然后将变化模式推广到其他人脸模型上，从而可以获得带有该种表情的不同的人脸模型。
[0081] 同一个人脸模型在带有该种表情和没有表情时的形状向量和纹理向量的变化计算公式如下：
[0082] ΔSe＝Sexpression-Sneutral，ΔTe＝Texpression-Tneutral (3)[0083] 其中，Sexppression和Sneutral分别代表同一个人脸模型人脸模型在带有该种表情和没有表情时的形状向量，Texppression和Tneutral分别代表同一个人脸模型该人脸模型在带有该种表情和没有表情时的纹理向量；
[0084] 步骤2.2、将ΔSe和ΔTe应用到虚拟人脸模型(Si,Ti)上，以获得带有该种表情的人脸模型 其计算公式如下：
[0085]
[0086] 其中，λ为控制表情运动强度的参数；
[0087] 步骤2.2、由于目前的人脸模型运动都是通过常规表情确定的，所以对于常规表情，λ的取值范围为[0,1]。但是微表情的运动强度要远远低于常规表情运动，所以对于微表情需要在[0,1]之间取一个控制表情最大运动强度的参数λME，通过调节λME的取值以及出现位置，完成对前面确定的目标运动强度和运动高峰位置的模拟。根据该种目标动作单元组合的目标运动强度Mreal确定参数λME的取值，具体过程如下：
[0088] 对于该种目标动作单元组合的运动，以0为初始值，以s为步长(本实施例中s取为0.01)，遍历[0,1]范围内所有取值，依次将它们作为λ值，代入公式(4)中，得到相应的人脸模型 计算计算虚拟人脸模型(Si,Ti)与人脸模型 之间各个包含运动单元的图像小块上的光流强度总和E，并将E与目标运动强度Mreal对比，选取最接近Mreal的区域光流强度总和对应的λ值作为控制表情最大运动强度的参数λME的取值。
[0089] 步骤2.3、在确定好控制表情最大运动强度的参数λME的取值以后，结合确定的目标运动高峰位置RME，生成合成样本视频，即微表情增广数据；对于一个合成样本视频，整个表情运动可以通过控制参数λ的取值变化来实现。对于一个N帧的合成样本视频，该视频由两部分组成，即从表情开始到表情高峰，从表情高峰到表情结束。从表情开始到表情高峰部分帧数为round(N×RME)，从表情高峰到表情结束部分的帧数为round[N×(1-RME)]，其中round()表示四舍五入取整函数。公式(5)和公式(6)表现了这两个部分图像的生成过程。
[0090]
[0091] 根据公式(5)获得λ取值序列 将每个λ取值依次代入公式(4)中，得到相应的人脸模型，对这些人脸模型进行图像采集生成图像序列
这些图像即为合成样本视频从表情开始到表情高峰部分。
[0092]
[0093] 根据公式(6)获得λ取值序列 将每个λ取值依次代入公式(4)中，得到相应的人脸模型，对这些人脸模型进行图像采集，生成图像序列
这一部分的图像作为合成样本视频从表情高峰到表情结束部分。
[0094] 由图像序列 生成一个完整的合成样本视频，在 帧时，控制表情运动强度的λ值达到最高，即达到了合成样本视频中表情运动高峰。
