人脸表情图像的分类及语义评判量化方法
专利汇可以提供人脸表情图像的分类及语义评判量化方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及在语义评判 基础 上对人脸表情图像分类及语义评判并进行量化的分析方法。本发明利用训练人脸表情图像样本集，提取表情特征形成标记图LG向量，将其投影到主成分PCA子空间中，利用这些 降维 后的LG向量学习混合多维t－分布，作为该图像六种基本情感的语义评判，按照哪个表情所占的概率最大，从而把该图像判到该表情类中。解决了 现有技术 存在的不明确、自动人脸表情识别困难，难以克服的奇异性等 缺陷 。本发明是一种极度柔韧和功能强大的基于统计的建模工具，提供了一个更鲁棒方法，避免了对观测样本所属分量的后验概率的极端估计，训练样本不需要标记，不需要任何后处理，对野值不太敏感，避免了这种人工评判。，下面是人脸表情图像的分类及语义评判量化方法专利的具体信息内容。
1.人脸表情图像的分类及语义评判量化方法，其步骤如下：(1)利用训练人脸表情图像样本集，提取表情特征形成标记图LG向量；(2)将这些LG向量投影到主成分PCA子空间中，丢弃那些较小的主成分；(3)利用这些降维后的LG向量学习混合多元t-分布，设x1，…，xn为样本量为n的p维LG向量，它们独立地抽自一个g-分量的混合多元t-分布：f(xi;Θ)=Σj=1gπjfj(xi;θj)]]>其中，分量概率密度函数fj(xi；θj)表示给定xi来自第j个分量时xi的条件概率密度函数，θj为参数，混合比例πj非负且满足Σj=1gπj=1,]]>有三组参数：混合比例πj，向量θj，分量数目g，模型中参数集Θ＝(π1，…πg-1，θ1，…，θg)，参数πg=1-Σj=1g-1πj,]]>在表情研究中，令g＝6为基本表情的类别数，fj(xi；θj)为p-维t-分布：fj(xi;θj)=tp(xi;μj,Σj,γj)]]>=Γ(γj+p2)|Σj|-12(Γ(12))pΓ(γj2)γjp2(1+(xi-μj)TΣj-1(xi-μj)γj)(γj+p)2]]>其中，θj＝(μj，∑j，γj)T，∑j是一正定矩阵，γj是自由度，Gamma函数Γ(s)=∫0∞e-xxs-1dx]]>(s＞0)，利用期望最大化算法，迭代计算模型参数Θ的极大似然估计，即具体地说，在E-步，利用目前Θ的估计
计算xi来自第j个分量地后验概率z^ij(k)=π^j(k)tp(xi;μ^j(k),Σ^j(k),γ^j(k))Σl=1gπ^l(k)tp(xi;μ^l(k),Σ^l(k),γ^l(k))]]>及条件概率ω^ij(k)=γ^j(k)+pγ^j(k)+(xi-μ^j(k))TΣ^j(k)-1(xi-μ^j(k))]]>在M-步，参数πj，μj，∑j分别被更新为：π^j(k+1)=1nΣi=1nz^ij(k)]]>μ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)xiΣi=1nz^ij(k)ω^ij(k)]]>Σ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)(xi-μ^j(k+1))(xi-μ^j(k+1))TΣi=1nz^ij(k)ω^ij(k)]]>自由度的更新估计
是下面非线性方程的解：-log(γj(k)+p2)=0]]>(4)对于一个测试人脸表情图像t，用它来自每个分量的后验概率z^j=π^jtp(t;μ^j,Σ^j,γ^j)Σl=16π^ltp(t;μ^l,Σ^l,γ^l)]]>作为该图像六种基本情感的语义评判，其中，j＝1，…，6，参数为EM学习算法中迭代收敛后的值，且在语义评判中，按照哪个表情所占的概率最大，从而把该图像判到该表情类中。
2.根据权利要求1所述的人脸表情图像的分类及语义评判量化方法，其特征在于对表情特征提取采取如下做法：对每个人脸图像，手工标记34个信仰点，计算在这些信仰点上的Gabor滤波系数，再联合所有这些信仰点上系数的幅值形成LG向量，而二维Gabor小波核是一种平面波：gu,v(y)=||ku,v||2σ2exp(-||ku,v||2||y||22σ2)(exp(iku,vy)-exp(σ22))]]>其中，向量y表示信仰点的位置，ku，v被定义为ku，v＝kvexp(iφu)，其中u核和v分别表示Gabor核的方向和尺度，kv＝π/2v(v∈{1，…，5})，及φu＝πu/6(u∈{0，…，5})，所以，对每个人脸表情图像，LG的维数为1020(＝34×5×6)。
3.根据权利要求2所述的人脸表情图像的分类及语义评判量化方法，其特征在于Gabor核采用了5个尺度、6个方向。
4.根据权利要求1所述的人脸表情图像的分类及语义评判量化方法，其特征在于步骤(1)中，投影方向就是样本方差矩阵的主要特征向量。
5.根据权利要求1所述的人脸表情图像的分类及语义评判量化方法，其特征在于对有限混合t-分布的学习采用EM算法，即将有限混合t-分布采用EM算法两步迭代计算模型参数的极大似然估计，即E步是在给定的观测样本集x的条件下，用Θ目前的估计值
对完全数据向量的对数似然函数lnLc(Θ)关于丢失值求条件期望Q(Θ;Θ(k))=EΘ(k)[lnLc(Θ)|x],]]>第(k+1)次迭代时，M步在参数空间里寻找Θ＝Θ(k+1)来最大化Q(Θ；Θ(k))，即Θ(k+1)=argmaxΘQ(Θ;Θ(k)).]]>
人脸表情图像的分类及语义评判量化方法
技术领域
背景技术
人脸表情图像的研究在1971年由Ekman和Friesen假定了六种基本情感，即恐惧、愤怒、悲伤、高兴、厌恶及惊奇，每种情感都有独特的内容，并且和唯一一种人脸表情相关联。过去，人脸表情的分析主要是心理学家的研究课题，但现在利用计算机进行图像序列的自动人脸表情识别研究已经开始并取得了一定的有意义的成果。
在本发明之前，用计算机进行自动人脸表情识别的方法，大体上有两种方案：一是把表情识别看成是普通的模式分类问题，其最终目的是把人脸表情图像简单地划分到六种基本情感中的一种，比如流行的广义判别分析(GeneralizedDiscriminant Analysis，以下简称GDA)、线性判别分析(Linear DiscriminantAnalysis，以下简称LDA)，它们都是子空间学习方法，使得投影后的不同类的数据点尽量分散而同一类中的数据点尽量聚集；另一个经典的研究是Ekman的面部运动编码系统(Facial Action Coding System，简称FACS)，FACS用44块运动单元(Action Unit，AU)来描述所有可能的、视觉上可区分的关于位置和强度的面部运动，表情可通过单个AU或多个AU的线性组合来建模。这二种方法都是直接把人脸表情映射到由Ekman和Friesen定义的六种基本情感类别中的一个。然而，这六种情感类别却是描述性的，因此，不是十分明确；其次，一种表情分到多个情感类别也是可能的，例如，微笑的嘴巴和扬眉是惊奇和高兴的混合。这些都使得目前的自动人脸表情识别方法变得困难，上面两种方法也都不能给出人脸表情语义的量化评判。虽然从数据回归分析的角度，可以估计人脸图像相应的各基本情感成分，比如核典型相关分析(Kernel Canonical CorrelationAnalysis，以下简称KCCA)方法，它通过建立人脸图像同其对应的基本情感数据之间的关系模型，然后利用这个关系模型对未知人脸表情图像进行预测估计，但这种方法需要对训练样本进行人工的语义评判，而且在回归中还存在难以克服的奇异性问题。
发明内容
本发明的技术方案是：人脸表情图像的分类及语义评判量化方法，其主要技术步骤如下：(1)利用训练人脸表情图像样本集，提取表情特征形成标记图LG向量；(2)将这些LG向量投影到主成分PCA子空间中，丢弃那些较小的主成分；(3)利用这些降维后的LG向量学习混合多维t-分布，设x1，…，xn为样本量为n的p维LG向量，它们独立地抽自一个g-分量的混合多维t-分布：f(xi;Θ)=Σj=1gπjfj(xi;θj)]]>其中，分量概率密度函数fj(xi；θj)表示给定xi来自第j个分量时xi的条件概率密度函数，θj为参数，混合比例πj非负且满足Σj=1gπj=1,]]>有三组参数：混合比例πj，向量θj，分量数目g，模型中参数集Θ＝(π1，…πg-1，θ1，…，θg)，参数πg=1-Σj=1g-1πj,]]>在表情研究中，令g＝6为基本表情的类别数，fj(xi；θj)为p-维t-分布：fj(xj;θj)=tp(xi;μj,Σj,γj)]]>=Γ(γj+p2)|Σj|-12(Γ(12))pΓ(γj2)γjp2(1+(xi-μj)TΣj-1(xi-μj)γj)-(γj+p)2]]>其中，θj＝(μj，∑j，γj)T，∑j是一正定矩阵，γj是自由度，Gamma函数Γ(s)=∫0∞e-xxs-1dx(s>0),]]>利用期望最大化算法，迭代计算模型参数Θ的极大似然估计，即具体地说，在E-步，利用目前Θ的估计 计算xi来自第j个分量地后验概率
Z^ij(k)=π^j(k)tp(xi;μ^j(k),Σ^j(k),γ^j(k))Σl=1gπ^l(k)tp(xi;μ^l(k),Σ^l(k),γ^l(k))]]>及条件概率ω^ij(k)=γ^j(k)+pγ^j(k)+(xi-μ^j(k))TΣ^j(k)-1(xj-μ^j(k))]]>在M-步，参数πj，μj，∑j分别被更新为：π^j(k+1)=1nΣi=1nz^ij(k)]]>μ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)xiΣi=1nz^ij(k)ω^ij(k)]]>Σ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)(xi-μ^j(k+1))(xi-μ^j(k+1))TΣi=1nz^ij(k)ω^ij(k)]]>自由度的更新估计 是下面非线性方程的解：-log(γj(k)+p2)=0]]>(4)对于一个测试人脸表情图像t，用它来自每个分量的后验概率z^j=π^jtp(t;μ^j,Σ^j,γ^j)Σl=16π^ltp(t;μ^l,Σ^l,γ^l)]]>作为该图像六种基本情感的语义评判，其中，j＝1，…，6，参数 为EM学习算法中迭代收敛后的值，且在语义评判中，按照哪个表情所占的概率最大，从而把该图像判到该表情类中。
本发明的优点和效果在于有限混合模型是一种极度柔韧和功能强大的基于统计的建模工具，它假定每个样本是以一定的概率π1，…，πg来自g个类(cluster)(或基本总体，underlying population)，而每个总体的概率密度形式已知，待估计的是一些参数，有限混合模型还可逼近任意复杂的概率密度函数，所以有限混合模型提供了一种无监督的分类、Bayes学习、特征选择的一种正式方法。我们常用Gauss混合分布来对多维数据集进行聚类或拟合，但在许多应用中，Gauss分布的尾部比需要的要轻，而且分量均值和方差矩阵的估计会受到关于分量的非典型观测样本的严重影响；作为一种鲁棒的替代方法，采用多维t-混合分布建模是一种标准的选择，且t-分布比Gauss分布有较重(heavy)的尾部，因而它提供了一个比Gauss分布更鲁棒方法；此外，t-混合模型避免了对观测样本所属分量的后验概率的极端估计；t-混合分布实际上是把Gauss混合分布的分量密度嵌入到一类更广泛的椭球对称分布中，而该分布有个额外参数——自由度γ，且当γ趋于无穷时，t-分布趋于Gauss分布，所以参数γ可视为鲁棒“调谐”(tune)参数，它本质上起到抵制非典型观测样本的作用。γ可以预先给定，也可从数据集估计而得，因而它提供了一种适应性鲁棒过程。
采用有限混合多维t-分布对表情特征建模具体有以下的优点：1.利用人脸表情图像的所属分布的后验概率，不仅能够对表情图像进行分类，更重要的是可以对表情语义进行评判。在一些应用中，量化估计六种基本情感是非常重要的，也是必须的，而这恰恰相反是本发明所能做到的；2.本发明与GDA、LDA等流行的人脸表情识别方法相比，这些方法都只能把人脸表情分到六种基本情感类别中的一个，而不能给出表情语义的量化评判。另外，这些方法是有监督的，而本发明是无监督的方法，在很多的实际应用里，大量的没有类别标记的样本很容易得到，而标记样本的获得则要花费很大代价，因为标记大量样本是相当费力、费时的，而本发明的训练样本不需要标记。
3.而本发明与KCCA方法相比，其优势是：一是它不需要任何后处理，而KCCA需要进行额外的回归分析得出表情语义估计，这不仅增加了计算量，而且在回归分析中存在着难以解决的奇异性问题；二是本发明不需要对训练样本进行人工的语义评判，而这是KCCA方法所避免不了的，对大的训练集进行人工评判是花相当代价和困难的，它需要组织专门的心里学专家来实施，然而本发明则避免了这种人工评判。
4.由于混合多维t-分布的内在鲁棒性和柔韧性，本发明对野值(outliers)不太敏感，而其它的人脸表情识别方法则易受野值的干扰。
附图说明
图1——用混合多维t-分布对六种人脸表情：恐惧、愤怒、悲伤、高兴、厌恶及惊奇进行建模型的示意图。
图2——混合了六种人脸表情的人脸图。
图3——日本女性人脸表情库中部分人脸表情图。
图4——标记了34个信仰点的人脸表情图。
图5——六种人脸表情的心理学家与本发明的语义评判分析图。
图6——日本女性人脸表情库上多种实验结果对比表图。
图7——日本女性人脸表情库上分类的融合矩阵表图。
具体实施方式
本发明技术方案实施的主要技术步骤具体如下：1.利用训练人脸表情图像样本集，提取表情特征形成标记图(Labeled Graph，以下简称LG)向量，LG向量比信仰点的几何位置更能体现表情特征，而且具有较好的通用性，不易受光照等因素的影响；2.考虑到LG向量的维数可能很高，我们投影这些LG向量到主成分(PrincipalComponent Analysis，以下简称PCA)子空间中，进一步提取表情主成分，丢弃那些较小的主成分，避免“维数灾难”，同时，利用PCA进行预降维的另一个好处是可以消除噪声；3.利用这些降维后的LG向量学习混合多维t-分布；设x1，…，xn为样本量为n的p维LG向量，它们独立地抽自一个g-分量的混合多维t-分布：f(xi;Θ)=Σj=1gπjfj(xi;θj)]]>其中fj(xi；θj)(又被称为分量概率密度函数)表示给定xi来自第j个分量时xi的条件概率密度函数，θj为参数，πj(又被称为混合比例)非负且满足Σj=1gπj=1,]]>我们需要估计三组参数：混合比例πj，向量θj，分量数目g。所以模型中参数集Θ＝(π1，…πg-1，θ1，…，θg)，参数πg=1-Σj=1g-1πj·]]>在表情研究中，我们令g＝6为基本表情的类别数，fj(xi；θj)为p-维t-分布：fj(xj;θj)=tp(xi;μj,Σj,γj)]]>=Γ(γj+p2)|Σj|-12(Γ(12))pΓ(γj2)γjp2(1+(xi-μj)TΣj-1(xi-μj)γj)-(γj+p)2]]>其中j＝1，…，g，i＝1，…，n，θj＝(μj，∑j，γj)T，∑j是一正定矩阵，γj是自由度，Gamma函数Γ(s)=∫0∞e-xxs-1dx(s>0).]]>利用期望最大化(ExpectationMaximization，以下简称EM)算法，我们迭代计算模型参数Θ的最大似然估计。具体地说，在E-步，利用目前Θ的估计 计算xi来自第j个分量的后验概率Z^ij(k)=π^j(k)tp(xi;μ^j(k),Σ^j(k),γ^j(k))Σl=1gπ^l(k)tp(xi;μ^l(k),Σ^l(k),γ^l(k))]]>及条件概率ω^ij(k)=γ^j(k)+pγ^j(k)+(xi-μ^j(k))TΣ^j(k)-1(xj-μ^j(k))]]>在M-步，参数πj，μj，∑j分别被更新为：π^j(k+1)=1nΣi=1nz^ij(k)]]>μ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)xiΣi=1nz^ij(k)ω^ij(k)]]>Σ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)(xi-μ^j(k+1))(xi-μ^j(k+1))TΣi=1nz^ij(k)ω^ij(k)]]>自由度的更新估计 是下面非线性方程的解：-log(γj(k)+p2)=0]]>EM的迭代算法可以保证似然函数的单调增加，在很温和的条件下，迭代收敛到极大似然估计，从而使得求解混合模型极大似然估计这一复杂问题转化为两步迭代计算；当自由度γ已知时，上面的迭代是封闭的，而混合多维t-分布一个令人感兴趣的优点就是自由度γ也可以和其它参数一样从训练样本集估计得到，γ本质上起到抵制非典型观测样本的作用，从而使得混合多维t-分布比Gauss混合模型更具有鲁棒性。
4.对于一个测试人脸表情图像t，我们用它来自每个分量的后验概率，
z^j=π^jtp(t;μ^j,Σ^j,γ^j)Σl=16π^ltp(t;μ^l,Σ^l,γ^l)]]>作为该图像六种基本情感的语义评判，其中j＝1，…，6，参数 为EM学习算法中迭代收敛后的值。此外，我们可以在语义评判中，按照哪个表情所占的概率最大，从而把该图像判到该表情类中。用后验概率的六个值作为六种人脸表情的语义评判是十分恰当和优美的：人脸表情的情感状态可以视为是六种基本情感状态的混合，而后验概率则表示来自每个情感的可能性，也即比例，它们之和也恰好为l，而且后验概率还充分综合了先验知识和训练样本的信息，有效地刻画了表情信息。这种无监督地鲁棒而量化地获得人脸表情的语义评判是本发明所独有的。
对表情特征提取，采用对每个人脸图像进行手工标记34个信仰点，然后计算在这些信仰点上的Gabor滤波系数，最后联合所有这些信仰点上系数的幅值形成LG向量；实验表明滤波系数比信仰点的几何位置更能刻画表情特征；二维Gabor小波核是一种平面波：=gu,v(y)=||ku,v||2σ2exp(-||ku,v||2||y||22σ2)(exp(iku,vy)-exp(σ22))]]>其中向量y表示信仰点的位置，ku，v被定义为ku，v＝kvexp(iφu)，其中u核和v分别表示Gabor核的方向和尺度，kv＝π/2v(v∈{1，…，5})，及φu＝πu/6(u∈{0，…，5})。所以，对每个人脸表情图像，LG的维数为1020(＝34×5×6)，其中Gabor核采用了5个尺度和6个方向。
对LG向量的降维，我们采用常规的PCA方法。PCA是对描述观测数据的坐标系统的一个正交变换，它旨在用原始变量的线性组合获得较少的互不相关的新变量，同时尽可能多地保持输入数据集所包含的信息。代数上说，PCA归结为矩阵特征分解问题；几何上说，PCA可视为坐标轴旋转，且新坐标轴按照它们能够解释输入数据集信息的多少排序。主投影方向就是样本方差矩阵的主要特征向量。
对有限混合t-分布的学习是采用EM算法。把有限混合t-分布解释成适宜的“丢失值”(missing value)问题，则可用EM算法两步(即E步和M步)迭代计算模型参数的极大似然估计。E步是在给定的观测样本集x的条件下，用Θ目前的估计值 ，对完全数据向量的对数似然函数lnLC(Θ)关于丢失值求条件期望Q(Θ;Θ(k))=EΘ(k)[1nLc(Θ)|x].]]>第(k+1)次迭代时，M步在参数空间里寻找Θ＝Θ(k+1)来最大化Q(Θ；Θ(k))，即Θ(k+1)=argmaxΘQ(Θ;Θ(k)).]]>实验结果分析，在日本女性人脸表情库(Japanese Female FacialExpression，以下简称JAFFE)的测试中，体现了本发明的有效性。
JAFFE表情数据库由10位日本女性的表情图像组成，总共有213幅表情图像，每幅图像的大小为256×256像素，灰度级为256；JAFFE数据库覆盖7种基本表情(即：恐惧、愤怒、悲伤、高兴、厌恶及惊奇六种基本表情+中性表情)，各种表情图像的数目大致相等，即每位女性均含有2-4幅各种表情图像。图3显示了JAFFE人脸表情数据库中的部分表情图像。从图3中我们还可以看出，每个人物在图像中的位置大致相同，即眼睛和嘴巴的位置大致对齐，这些特性可以简化研究。此外，该数据库还附带了每幅原始图像的基本表情成分大小的数据，这些数据可以为研究人脸表情提供一个基本参考数据。实验中，我们用六种基本表情的图像(不包括中性表情图像)作为训练样本，所以训练样本的个数为183。
我们用PCA把LG向量的维数降到25。利用后验概率 (j＝1，…，6，)量化计算一副图像的六种基本表情的比例。一个例子如图4、5所示，图4表示的是一个已标记34个信仰点的人脸表情图像，而图5是它的语义评判；可见，本发明所得到的语义评判与专家的人工评判很接近。基于这个语义评判，可把这个表情图像分到高兴这一类，因为高兴所占的比例最大。
对分类而言，把本发明的分类性能与三种常用的表情分类方法相比较：GDA、LDA、KCCA。
在实验中采用“Leave-One-Subject-Out”与人无关的交叉验证策略进行实验，在每一次的“Leave-One-Subject-Out”测试中，选择某一个人的所有图像作为测试样本集，而其他9个人的图像作为训练样本集，整个实验重复10次，每个人的所有图像都作为一次测试样本集，对试验结果求平均得到最后的识别率。
实验结果列于图6中，其中核函数的定义为：d-阶多项式核，k(xi，xj)＝(xi·xj)d，Gauss核，k(xi，xj)＝exp(-‖xi-xj‖2/σ)，(σ＞0)。从图6可见，本发明可以取得最好的识别率。需要指出的是：本发明和LDA、CCA都是在原始输入空间计算，而本发明比LDA、CCA的识别率要显著地高，即使把LDA、CCA变换到核空间，本发明也比GDA、KCCA的识别率要高，可以期望如果把本发明也变换到核空间，那么将会取得更高的识别率。考虑到系统对不同表情的识别能力不尽相同，在图7中列出了六中基本表情分类的融合矩阵。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于WiFi多维参数特征的室内目标被动跟踪方法 | 2020-05-12 | 542 |
| 一种基于贝叶斯模型的SRAM电路良率分析方法 | 2020-05-15 | 910 |
| 一种具有语音识别的食堂刷卡装置及使用方法 | 2020-05-17 | 67 |
| 基于特征组的中医主症选择方法 | 2020-05-13 | 32 |
| 识别图片中电话号码的方法、系统、终端设备及存储介质 | 2020-05-15 | 659 |
| 一种用于生成对象的增强断层扫描图像的方法 | 2020-05-11 | 514 |
| 基于多能量系统响应矩阵的放射源定位重建方法 | 2020-05-15 | 509 |
| 一种基于卷积神经网络和距离监督的关系抽取方法 | 2020-05-18 | 361 |
| 毫米波大规模MIMO系统的波束空间信道估计方法 | 2020-05-20 | 395 |
| 图片分割方法、装置和系统 | 2020-05-13 | 108 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
