技术领域
[0001] 本
发明涉及一种基于批量模式主动学习的微表情识别方法，属于主动学习和
模式识别的技术领域。
背景技术
[0002] 微表情是一种表达人隐藏情感的情绪，通常发生在250ms～500ms的周期中，其在犯罪学、
心理学、教育学等领域应用前景广泛。不同于微表情识别的是，表情识别通过检测人的面部表情变化来反映其情绪状态，这种识别技术虽然能从表面判定人的心理情绪，但是无法揭露其试图掩盖的情绪，例如，“强颜欢笑”对人表情和心理情绪不对照的描述，在这种情况下如果将其作为表情识别，虽然能识别出表面的表情却无法反应人内心的心理活动变化，因此，微表情识别作为逐渐兴起的一种面部识别技术在揭露人试图掩盖与隐藏的真实情感方面有很大的优势，然而，由于微表情较表情识别研究起步晚，因此仍面临诸多挑战。
[0003] 目前，微表情识别主要通过
机器学习算法实现，由于微表情可用标记数据过少，且人工编码标记成本过高，因此现有主流微表情识别方法的识别率普遍不高，无法满足其在多种领域的应用需求，从降低人工编码成本着手来提高微表情识别效率势在必行。
[0004] 微表情的人工编码主要依据Ekman教授1976年提出来的面部行为编码系统(Facial Action Coding System，FACS)，FACS将人脸区域分为独立的AU单元，并给出了这些AU单元的运动特点以及对应的情绪判定，这是目前最权威的面部表情研究方法。这样做虽然能将每个样本都进行
正确标注，但是工作量无疑是十分巨大的。如何将主动学习应用于微表情识别，用以降低人工标注成本亟待解决的问题。
发明内容
[0005] 针对
现有技术的不足，本发明提供了一种基于批量模式主动学习的微表情识别方法。
[0006] 发明概述：
[0007] 一种基于批量模式主动学习的微表情识别方法，包括微表情样本处理、批量模式主动学习和微表情识别。
[0008] 术语解释：
[0009] 1、主方向平均光流特征，MDMO，Main Directional Mean Optical-flow；
[0010] 2、DRMF方法，基于局部约束模型和判别回归
框架的鲁棒判别响应图拟合方法；
[0011] 3、面部特征点，包含鼻尖，鼻根，下巴，左眼外
角，左眼内角，右眼外角，右眼内角，嘴中心，嘴左脚，嘴右脚，左脸最外轮廓，右眼最外轮廓共66个特征点，具体
位置如图3；
[0012] 4、HOOF特征，光流方向直方特征。
[0013] 本发明的技术方案如下：
[0014] 一种基于批量模式主动学习的微表情识别方法，包括：
[0015] A、微表情样本处理
[0016] 1)处理微表情数据集的样本，提取微表情特征，并将微表情样本的微表情特征分为
种子集、主动池和测试集；
[0017] B、批量模式主动学习
[0018] 2)构建主动学习框架，通过批量模式主动学习的算法，从主动池中挑选出具有代表性信息性的样本，进行人工标注，加入到种子集中；
[0019] C、微表情识别
[0020] 3)根据所挑选出的样本和原先已有的带标记样本，利用SVM训练出分类器，利用测试集数据检测分类器输出识别率。
[0021] 本发明一种基于批量模式主动学习的微表情识别方法，包含微表情样本处理、批量模式主动学习和微表情识别三个部分，第一部分处理微表情数据集的样本，将已有数据每个类别的三分之一样本形成测试集，余下三分之二样本形成训练集。然后，从候选训练集的每个类别中随机地
抽取几个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池。第二部分利用主动学习从主动池中挑选出具有代表性的样本，经由人工标注加入到种子集中。第三部分使用更新后的种子集数据利用SVM训练出分类器，并且利用测试集数据检测分类器输出识别率。
[0022] 根据本发明优选的，所述步骤A，微表情样本处理，包括步骤如下：
[0023] (1)随机从
数据库中抽取微表情样本，采用刘永进等人提供的在微表情识别中提取光流特征的方法提取每个微表情样本的主方向平均光流特征；
[0024] (3)将所有的微表情样本的三分之一作为测试集，余下三分之二形成训练集，在训练集中挑选若干样本作为种子集，余下所有样本作为主动池。
[0025] 进一步优选的，提取每个微表情样本的主方向平均光流特征，包括步骤如下：
[0026] 将人脸区域划分为密集的36个分
块，在每个分块中将角度划分为8个区间，保留含有光流矢量最多的区间对应的光流矢量，并进行空间和时间上的平均，得到了主方向平均光流特征，每个主方向平均光流特征都是一个72维的
特征向量，每个特征向量指代对应的一个微表情样本。
[0027] 进一步优选的，微表情样本处理，包括步骤如下：
[0028] a、采用DRMF方法对面部区域进行划分，每个微表情样本包括连续
帧的微表情视频
片段，在每个微表情视频片段中，在第一帧的面部区域，有
力地检测出一组面部特征点；包括：首先，使用Viola-Jones
人脸检测器
定位每一帧的面部区域；然后，采用DRMF方法以一个强大的、准确的方式定位面部区域的包含鼻尖，鼻根，下巴，左眼外角，左眼内角，右眼外角，右眼内角，嘴中心，嘴左脚，嘴右脚，左脸最外轮廓，右眼最外轮廓的共66个特征点[0029] b、将标准化的面部区域划分为36个感兴趣的区域(region-of-interest,ROIs)；由66个特征点决定。36个ROIs中所有
顶点的规范规则,可以在计算机数字库找到。
[0030] c、对帧序列进行预处理；在微表情的短时间内，
图像序列中的面部区域可能会有一个小的旋转和转化。为了修正这个小的头部动作，为了一个微表情的视频剪辑，在第一帧中使用了一些特征点的位置。从步骤a获取的66个特征点中选择13个特征点，13个特征点包括1个在鼻子根部的特征点及12个在面部轮廓线上的特征点；因为这13个特征点受各种微表情的影响最小，所以选这13个特征点。
[0031] 将提取出的13个特征点表示成矩阵的形式；第1帧中13个特征点的位置如式①所示，Pi是之后的每一帧中13个特征点的位置如式②所示：
[0032]
[0033]
[0034] 式①、式②中，P1是第一帧中13个特征点的位置，Pi是之后的任一帧中13个特征点的位置；i是指第一帧除外的任一帧； 分别是指第i帧中13个特征点的横坐标 分别是指是指第i帧中13个特征点的纵坐标；
[0035] 将第一帧除外的任一帧与第一帧的特征点的对应关系确定仿射变换，使得第一帧除外的任一帧的特征点在该矩阵变换下与第一帧的面部关键点差异最小化；
[0036] d、进行光流场的计算，光流是通过检测两个图像帧之间不断变化的
像素的强度来推断物体的运动，在一个微表情视频中，设定一个像素定位为(x,y,t)、强度为I(x,y,t)，在两帧之间移动了Δx，Δy和Δt,根据
亮度恒定约束条件，则I(x,y,t)如式③所示：
[0037] I(x,y,t)＝I(x+△x,y+△y,t+△t)③
[0038] 假设移动很小，I(x,y,t)的图像约束用泰勒级数获得，如式④所示：
[0039]
[0040] 式④中，τ高阶无穷小，从两个方程式式⑤、式⑥得到式⑦，式⑤、式⑥、式⑦如下所示：
[0041]
[0042]
[0043]
[0044] Vx、Vy分别是I(x,y,t)的速度或光流的x和y分量；因此，在相距Δt的两个帧之间，时间t处的像素的光流值被表示为二维矢量，如式⑧所示：
[0045]
[0046] e、提取MDMO特征，包括：第一，第一帧和之后的任一帧之间的光流表示为转换欧式坐标为极坐标(ρi,θi)，ρi,θi分别是光流失量的大小和方向，在每一帧中，考虑每个区域内部的光流主方向，在每个分块中计算HOOF特征，将所有光流方向向量量化到8个区间，做统计直方图运算；第二，将运算所得结果作为该面部区域的运动特征，由于幅度和方向都是36维的，获得的运动特征是72维向量，第三，将运动特征进行归一化运算后所得则是MDMO特征；
[0047] f、在步骤e中所提取出的MDMO特征中随机挑选三分之一用作测试集，余下三分之二形成训练集，在训练集中挑选三个样本作为种子集，余下所有样本被当作主动池。
[0048] 根据本发明优选的，所述步骤B，建立主动学习框架，使用基于边缘概率分布匹配的批量模式主动学习方法在主动池中挑选出具有代表性和信息性的样本。它的作用是选择一批查询样本，使得由所选查询集合和可用标签数据表示的分布近似于未标记数据所代表的分布。包括步骤如下：
[0049] g、将种子集(带有标签的数据集)表示为L，将主动池(未标记的数据集)表示为U，将想从主动池中利用批量模式主动学习方法选择出的一组样本表示为S；
[0050] h、采用最大均值差异(MMD)度量数据集L∪S和U\S之间概率分布的差异；包括：
[0051] 定义样本空间为输入，设在样本空间中有两个分布，若这两个分布经函数f映射后均值相等，则认为这两个分布是属于同一个分布；如式⑨所示：
[0052]
[0053] 式⑨中，f是指样本空间χ上两个分布到公共空间的映射；
[0054] F是指所有映射函数f的集合；
[0055] p、q分别表示数据集L∪S、U/S所表示的概率分布，x和y分别是p和q中的样本；
[0056] 假设数据集p、q的大小分别为m、n，基于p和q得到MMD的经验估计(empirical estimate)MMD[F,p,q]，如式⑩所示：
[0057]
[0058] xi、yj分别是指原始样本空间中的数据；
[0059] i、计算再生核希尔伯特空间(RKHS)下的MMD，包括：
[0060] 再生性是指希尔伯特空间具有一个性质，该性质用空间中的点积表示f到f(x)的映射，如式 所示：
[0061]
[0062] 式(Ⅺ)中，Φ是指样本空间χ到希尔伯特空间Н的映射；
[0063] 用μp表示Ep[Φ(x)]，指的是原始样本空间分布p上的数据映射到再生核希尔伯特空间后的经验估计，μq表示原始样本空间分布q上的数据映射到再生核希尔伯特空间后的经验估计，则在再生核希尔伯特空间(RKHS)的单位球上的MMD表示如式 所示：
[0064]
[0065] 则MMD在有限样本下的经验估计，如式 所示：
[0066]
[0067] j、在批量模式主动学习中使用MMD，由步骤g中所得有nl个带有标签的样本在样本集L中和nu个没有标签的样本在样本集U中，从样本集U中挑选出带有b个样本的查询样本集S，在这种情况下，利用公式 将样本集L∪S和样本集U/S之间的MMD的平方定义为f(S)：
[0068]
[0069] 根据式 找到一个集合S使得f(S)最小化；
[0070] 定义一个nu维的二进制列向量α，由α中每个元素αi的值表明样本集U中的数据xi是否被选中，若被选中则αi为1，否则为0；最小化问题归结为寻找α使f(S)最大限度地减少，f(S)被表示为式
[0071]
[0072] 式 中，1是指和α具有相同维度且每个元素都为1的列向量，符号T表示向量的转置：第一个限定条件确保了α中每个元素要么为0要么为1，第二个限定条件确保了从U中挑选b个样本。式 被化简为式
[0073]
[0074] 定义矩阵G为(nu+nl)*(nu+nl)维的kernel Gram matrix(核格拉姆矩阵)，使用高斯核函数 令G(i,j)＝K(xi,xj)，则得到式
[0075]
[0076] 公式 是一个整数二次规划问题(integer quadratic programming problem,IQP)；
[0077] k、解决IQP问题：由，αi∈{0,1}知式 是一个NP-hard问题，NP-hard问题的解决思路一般是将整数限定条件放缩为连续变量，使IQP问题转化为QP问题，将式 式改写为式[0078]
[0079] 式 是一个标准的QP问题，利用matlab的mosek工具包中的mskqpopt函数求解；
[0080] 将求解结果α中的元素按从高到低排序，并挑选出最大的b个元素所对应的样本集U中的样本作为S；
[0081] 更新样本集L和U：原种子集L更新为L和S的并集，原主动池U中的数据变为减去样本集S后的数据。
[0082] 根据本发明优选的，所述步骤C，将更新后的样本集，使用线性
支持向量机训练出分类器，然后用测试集样本检测分类器的识别率，包括步骤如下：将步骤k所得的样本集L∪S使用线性支持向量机训练分类器，该分类器的惩罚系数C在{10-1,101,102,103,104}中寻参，寻得最优参数下的识别率。
[0083] 选择随机选取的方法作为对比方法，将随机从主动池中挑选样本所训练的分类器与使用主动学习从主动池中挑选样本所训练分类器的识别率进行比较。
[0084] 本发明的有益效果为：
[0085] 在本发明中使用光流特征提取能有效提高微表情识别的准确率，并且把主动学习的方法应用在微表情识别当中，利用主动学习降低人工编码成本的同时提高微表情识别的效率。
附图说明
[0086] 图1为本发明基于批量模式主动学习的微表情识别方法流程框架图；
[0087] 图2为主动学习挑选样本示意图；
[0088] 图3面部特征点示意图；
[0089] 图4利用主动学习与随机挑选样本所训练出的分类器在CASME库的识别效果对比图；
[0090] 图5利用主动学习与随机挑选样本所训练出的分类器在CASME II库的识别效果对比图。
具体实施方式
[0091] 下面结合
说明书附图和
实施例对本发明作进一步限定，但不限于此。
[0092] 实施例
[0093] 一种基于批量模式主动学习的微表情识别方法，如图1所示，包括：
[0094] A、微表情样本处理
[0095] 1)处理微表情数据集的样本，提取微表情特征，并将微表情样本的微表情特征分为种子集、主动池和测试集；
[0096] B、批量模式主动学习
[0097] 2)构建主动学习框架，通过批量模式主动学习的算法，从主动池中挑选出具有代表性信息性的样本，进行人工标注，加入到种子集中；
[0098] C、微表情识别
[0099] 3)根据所挑选出的样本和原先已有的带标记样本，利用SVM训练出分类器，利用测试集数据检测分类器输出识别率。
[0100] 本发明一种基于批量模式主动学习的微表情识别方法，包含微表情样本处理、批量模式主动学习和微表情识别三个部分，第一部分处理微表情数据集的样本，将已有数据每个类别的三分之一样本形成测试集，余下三分之二样本形成训练集。然后，从候选训练集的每个类别中随机地抽取几个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池。第二部分利用主动学习从主动池中挑选出具有代表性的样本，经由人工标注加入到种子集中。第三部分使用更新后的种子集数据利用SVM训练出分类器，并且利用测试集数据检测分类器输出识别率。
[0101] 步骤A，微表情样本处理，包括步骤如下：
[0102] (1)随机从数据库中抽取微表情样本，采用刘永进等人提供的在微表情识别中提取光流特征的方法提取每个微表情样本的主方向平均光流特征；
[0103] (3)将所有的微表情样本的三分之一作为测试集，余下三分之二形成训练集，在训练集中挑选若干样本作为种子集，余下所有样本作为主动池。
[0104] 提取每个微表情样本的主方向平均光流特征，包括步骤如下：
[0105] 将人脸区域划分为密集的36个分块，在每个分块中将角度划分为8个区间，保留含有光流矢量最多的区间对应的光流矢量，并进行空间和时间上的平均，得到了主方向平均光流特征，每个主方向平均光流特征都是一个72维的特征向量，每个特征向量指代对应的一个微表情样本。
[0106] 微表情样本处理，包括步骤如下：
[0107] a、采用DRMF方法对面部区域进行划分，每个微表情样本包括连续帧的微表情视频片段，在每个微表情视频片段中，在第一帧的面部区域，有力地检测出一组面部特征点；包括：首先，使用Viola-Jones人脸检测器定位每一帧的面部区域；然后，采用DRMF方法以一个强大的、准确的方式定位面部区域的包含鼻尖，鼻根，下巴，左眼外角，左眼内角，右眼外角，右眼内角，嘴中心，嘴左脚，嘴右脚，左脸最外轮廓，右眼最外轮廓的共66个特征点；如图3所示；
[0108] b、将标准化的面部区域划分为36个感兴趣的区域(region-of-interest,ROIs)；由66个特征点决定。36个ROIs中所有顶点的规范规则,可以在计算机数字库找到。
[0109] c、对帧序列进行预处理；在微表情的短时间内，图像序列中的面部区域可能会有一个小的旋转和转化。为了修正这个小的头部动作，为了一个微表情的视频剪辑，在第一帧中使用了一些特征点的位置。从步骤a获取的66个特征点中选择13个特征点，13个特征点包括1个在鼻子根部的特征点及12个在面部轮廓线上的特征点；因为这13个特征点受各种微表情的影响最小，所以选这13个特征点。
[0110] 将提取出的13个特征点表示成矩阵的形式；第1帧中13个特征点的位置如式①所示，Pi是之后的每一帧中13个特征点的位置如式②所示：
[0111]
[0112]
[0113] 式①、式②中，P1是第一帧中13个特征点的位置，Pi是之后的任一帧中13个特征点的位置；i是指第一帧除外的任一帧； 分别是指第i帧中13个特征点的横坐标 分别是指是指第i帧中13个特征点的纵坐标；
[0114] 将第一帧除外的任一帧与第一帧的特征点的对应关系确定仿射变换，使得第一帧除外的任一帧的特征点在该矩阵变换下与第一帧的面部关键点差异最小化；
[0115] d、进行光流场的计算，光流是通过检测两个图像帧之间不断变化的像素的强度来推断物体的运动，在一个微表情视频中，设定一个像素定位为(x,y,t)、强度为I(x,y,t)，在两帧之间移动了Δx，Δy和Δt,根据亮度恒定约束条件，则I(x,y,t)如式③所示：
[0116] I(x,y,t)＝I(x+△x,y+△y,t+△t)③
[0117] 假设移动很小，I(x,y,t)的图像约束用泰勒级数获得，如式④所示：
[0118]
[0119] 式④中，τ高阶无穷小，从两个方程式式⑤、式⑥得到式⑦，式⑤、式⑥、式⑦如下所示：
[0120]
[0121]
[0122]
[0123] Vx、Vy分别是I(x,y,t)的速度或光流的x和y分量；因此，在相距Δt的两个帧之间，时间t处的像素的光流值被表示为二维矢量，如式⑧所示：
[0124]
[0125] e、提取MDMO特征，包括：第一，第一帧和之后的任一帧之间的光流表示为转换欧式坐标为极坐标(ρi,θi)，ρi,θi分别是光流失量的大小和方向，在每一帧中，考虑每个区域内部的光流主方向，在每个分块中计算HOOF特征，将所有光流方向向量量化到8个区间，做统计直方图运算；第二，将运算所得结果作为该面部区域的运动特征，由于幅度和方向都是36维的，获得的运动特征是72维向量，第三，将运动特征进行归一化运算后所得则是MDMO特征；
[0126] f、在步骤e中所提取出的MDMO特征中随机挑选三分之一用作测试集，余下三分之二形成训练集，在训练集中挑选三个样本作为种子集，余下所有样本被当作主动池。
[0127] 步骤B，建立主动学习框架，使用基于边缘概率分布匹配的批量模式主动学习方法在主动池中挑选出具有代表性和信息性的样本。它的作用是选择一批查询样本，使得由所选查询集合和可用标签数据表示的分布近似于未标记数据所代表的分布。包括步骤如下：
[0128] g、将种子集(带有标签的数据集)表示为L，将主动池(未标记的数据集)表示为U，将想从主动池中利用批量模式主动学习方法选择出的一组样本表示为S；图2为主动学习挑选样本示意图；图2中正方形、圆形，三角形分别是指未标记的样本集U，已标记种子集L，利用主动学习挑选出的样本集S。由图中A,B区域可以看出主动学习的一个特点是未标记样本越密集的区域挑选出的样本越多，即从每个未标记样本区域所挑选的样本数目和该区域中未标记样本的数目近似成正比。因此所挑选出的样本能保留住未标记样本集U的分布。
[0129] h、采用最大均值差异(MMD)度量数据集L∪S和U\S之间概率分布的差异；包括：
[0130] 定义样本空间为输入，设在样本空间中有两个分布，若这两个分布经函数f映射后均值相等，则认为这两个分布是属于同一个分布；如式⑨所示：
[0131]
[0132] 式⑨中，f是指样本空间χ上两个分布到公共空间的映射；
[0133] F是指所有映射函数f的集合；
[0134] p、q分别表示数据集L∪S、U/S所表示的概率分布，x和y分别是p和q中的样本；
[0135] 假设数据集p、q的大小分别为m、n，基于p和q得到MMD的经验估计(empirical estimate)MMD[F,p,q]，如式⑩所示：
[0136]
[0137] xi、yj分别是指原始样本空间中的数据；
[0138] i、计算再生核希尔伯特空间(RKHS)下的MMD，包括：
[0139] 再生性是指希尔伯特空间具有一个性质，该性质用空间中的点积表示f到f(x)的映射，如式 所示：
[0140]
[0141] 式(Ⅺ)中，Φ是指样本空间χ到希尔伯特空间Н的映射；
[0142] 用μp表示Ep[Φ(x)]，指的是原始样本空间分布p上的数据映射到再生核希尔伯特空间后的经验估计，μq表示原始样本空间分布q上的数据映射到再生核希尔伯特空间后的经验估计，则在再生核希尔伯特空间(RKHS)的单位球上的MMD表示如式 所示：
[0143]
[0144] 则MMD在有限样本下的经验估计，如式 所示：
[0145]
[0146] j、在批量模式主动学习中使用MMD，由步骤g中所得有nl个带有标签的样本在样本集L中和nu个没有标签的样本在样本集U中，从样本集U中挑选出带有b个样本的查询样本集S，在这种情况下，利用公式 将样本集L∪S和样本集U/S之间的MMD的平方定义为f(S)：
[0147]
[0148] 根据式 找到一个集合S使得f(S)最小化；
[0149] 定义一个nu维的二进制列向量α，由α中每个元素αi的值表明样本集U中的数据xi是否被选中，若被选中则αi为1，否则为0；最小化问题归结为寻找α使f(S)最大限度地减少，f(S)被表示为式
[0150]
[0151] 式 中，1是指和α具有相同维度且每个元素都为1的列向量，符号T表示向量的转置：第一个限定条件确保了α中每个元素要么为0要么为1，第二个限定条件确保了从U中挑选b个样本。式 被化简为式
[0152]
[0153] 定义矩阵G为(nu+nl)*(nu+nl)维的kernel Gram matrix(核格拉姆矩阵)，使用高斯核函数 令G(i,j)＝K(xi,xj)，则得到式
[0154]
[0155] 公式 是一个整数二次规划问题(integer quadratic programming problem,IQP)；
[0156] k、解决IQP问题：由，αi∈{0,1}知式 是一个NP-hard问题，NP-hard问题的解决思路一般是将整数限定条件放缩为连续变量，使IQP问题转化为QP问题，将式 式改写为式[0157]
[0158] 式 是一个标准的QP问题，利用matlab的mosek工具包中的mskqpopt函数求解；
[0159] 将求解结果α中的元素按从高到低排序，并挑选出最大的b个元素所对应的样本集U中的样本作为S；
[0160] 更新样本集L和U：原种子集L更新为L和S的并集，原主动池U中的数据变为减去样本集S后的数据。
[0161] 步骤C，将更新后的样本集，使用线性支持向量机训练出分类器，然后用测试集样本检测分类器的识别率，包括步骤如下：将步骤k所得的样本集L∪S使用线性支持向量机训练分类器，该分类器的惩罚系数C在{10-1,101,102,103,104}中寻参，寻得最优参数下的识别率。
[0162] 选择随机选取的方法作为对比方法，将随机从主动池中挑选样本所训练的分类器与使用主动学习从主动池中挑选样本所训练分类器的识别率进行比较。
[0163] 图4为利用主动学习与随机挑选样本所训练出的分类器在CASME库的识别效果对比图；图5为利用主动学习与随机挑选样本所训练出的分类器在CASME II库的识别效果对比图。对比可明显看出用主动学习方法所训练出的分类器的表现性能更佳。
