技术领域
[0001] 本
发明涉及人脸表情识别领域，设计并实现了一种基于Gabor小波和灰度共生矩阵的人脸表情识别
算法。
背景技术
[0002] 人脸表情蕴含着丰富的个人情感信息，是人类进行情感表达的重要方式。计算机通过对人脸表情进行识别，可以了解到人类对应的心理状态，从而更好的服务于人类生活的各个方面，如
人机交互、智能安防、医疗监护、心理分析等。目前，多数的表情识别算法主要针对
正面无遮挡的人脸表情图像进行实验，一定程度上保留了完整的表情信息。但在现实生活中，表情被遮挡的情况时有发生，头发、墨镜、口罩、手势等产生的遮挡均会造成表情信息的缺失，致使算法的识别率与鲁棒性下降。因此，针对局部遮挡的人脸表情图像，提出更为鲁棒的人脸表情识别算法，已经成为计算机智能化应用领域的研究热点。
[0003] 人脸表情识别一般包括以下三个环节：
人脸检测与图像预处理、表情特征提取以及表情分类。其中，表情特征提取是决定人脸表情识别过程是否精准有效的重要环节，也是表情识别研究的核心内容。局部遮挡的存在会造成部分表情信息的缺失，给表情特征提取带来一定的阻碍。针对这一问题，众多学者展开了相应研究，主要形成了两类处理面部遮挡的方法：一类是舍弃法，即舍弃遮挡区域的表情信息，利用未遮挡区域的表情信息来完成特征提取工作；另一类是重建法，即先对遮挡区域进行重建恢复，然后再进行表情特征提取。鉴于重建法必须以无遮挡时的表情图像作为参考，无形中加大了
图像处理的工作量，且重建效果的好坏会受到算法性能、遮挡面积等因素的影响，所以多数研究者选用舍弃法来完成局部遮挡条件下的表情特征提取。
[0004] 在众多局部遮挡条件下的表情特征提取算法中，Gabor小波被广泛的应用。Gabor小波可以提取图像不同尺度、不同方向下的表情特征，它被证实在图像局部特征提取上具有明显的优势，对遮挡条件下的表情识别具有良好效果。因此，诸多研究者围绕着Gabor小波在局部遮挡的人脸表情识别上的效果展开深入研究，形成了各种基于Gabor小波或是基于Gabor小波与其他算法相结合的表情特征提取算法。例如，2012年，澳大利亚昆士兰科技大学的Zhang强调了Gabor
滤波器在局部纹理信息提取方面的重要作用，以及对遮挡条件下表情识别的有效性。同年，Azmi在20th伊朗
电子工程会议(ICEE)上提出将局部Gabor二元模 式直方图序列(Local Gabor Binary Pattern Histogram Sequence,LGBPHS)引入到表情识别领域，证明了LBP和直方图的引入对Gabor特征起到了
降维作用，同时组合算法的识别率也优于单一算法的识别率。在此
基础上，吉林大学的刘帅师提出了Gabor多尺度特征融合与LGBPHS相结合的算法，进一步降低了Gabor特征的维数。这些算法取得了较好的识别效果，推动着鲁棒人脸表情识别技术的发展。
[0005] 但是，由于Gabor小波提取的表情特征往往具有较高的维度，这使得各种结合了Gabor小波的特征提取算法都存在计算量大、复杂度高的缺点，导致整个表情识别过程耗时较长，不利于表情识别从实验仿真走向实际应用。因此，如何在保证局部遮挡表情识别准确率不下降的前提下，降低特征维数、减少计算量，从而提高表情识别速率，成为本发明亟待解决的问题。
发明内容
[0006] 在保证局部遮挡条件下表情识别准确率不下降的前提下，为了进一步降低
特征向量的数据冗余，减少算法耗时，本发明提出了一种基于Gabor小波和灰度共生矩阵的人脸表情识别算法。该算法首先设计了一种分
块提取Gabor特征统计量的方法，生成一个低维Gabor特征向量，大大降低了Gabor特征的数据冗余，并保留了人脸器官的空间特征；然后，该算法首次将反映图像纹理特征的灰度共生矩阵引入到表情识别领域，以此来弥补Gabor特征分块处理造成的
像素空间相关性缺失的不足；最后，将提取的Gabor特征统计量和灰度共生矩阵纹理特征进行线性
叠加，生成一组用于特征表达的低维特征向量。实验结果表明，本发明提出的表情特征提取算法对于局部遮挡条件下的人脸表情识别，具有鲁棒性强、特征向量维数低、分类耗时短、识别速率高的特点。
[0007] 一种基于Gabor小波和灰度共生矩阵的表情识别方法，其特征在于，步骤如下：
[0008] 步骤(1)，采集样本
[0009] 采集若干个人的N张局部遮挡的正面人脸表情静态图像，每张图像对应的表情类别即为该图像的样本标记，所有表情图像及其对应的样本标记构成实验样本。采用交叉验证中的10折交叉验证法，将实验样本划分成10等份，轮流将其中9份作为训练集X，剩余的1份作为测试集S，最后取10次实验结果正确率的平均值作为对算法识别准确率的估计；
[0010] 步骤(2)，样本预处理
[0011] 处理对象是训练集X和测试集S内的所有表情图像，具体的预处理过程如下：
[0012] 步骤(2.1)，以双眼
位置为基准获取人脸位置，并手工分割出“纯脸”区域；
[0013] 步骤(2.2)，采用加权平均法将彩色图像转换为灰度图像；
[0014] 步骤(2.3)，采用直方图均衡化方法降低光照变化对图像造成的影响；
[0015] 步骤(2.4)，对图像进行尺度归一化处理；
[0016] 步骤(3)，特征提取
[0017] 采用基于Gabor小波和灰度共生矩阵的特征提取算法分别对预处理后的X和S内的每幅图像进行表情特征提取，该算法过程分为三部分：低维Gabor特征统计量的提取、灰度共生矩阵特征的提取、高斯归一化，算法流程如图1所示。具体的过程描述如下：
[0018] 步骤(3.1)，低维Gabor特征统计量的提取
[0019] 低维Gabor特征的提取是在传统Gabor特征提取的基础上，对Gabor滤波后生成的Gabor幅度图(Gabor Magnitude Pictures,GMPs)进行分块处理，再求取每个子块的特征统计量实现的，具体分为以下两个步骤：
[0020] 步骤(3.1.1)，传统Gabor特征的提取：将预处理后的训练集X和测试集S分别与二维Gabor小波函数作卷积，本方法选用5个尺度、8个方向，共40个Gabor滤波器与表情图像进行卷积，并且仅选用变换相对平稳的Gabor幅度信息作为有效信息，即每幅表情图像转化为40张GMPs，每幅GMPs对应的Gabor系数值即为所提取的Gabor特征；
[0021] 步骤(3.1.2)，分块的Gabor特征统计量的提取：利用传统算法提取图像Gabor特征时，一幅图像经过Gabor滤波后，其特征维数会扩大40倍，而且表情图像本身就属于高维数据，所以采用传统的Gabor特征提取方法可能会造成所谓的“维数灾难”，导致整个表情识别过程耗时较长。因此，本方法针对传统Gabor特征提取算法的不足，设计实现了一种分块的Gabor特征统计量的提取算法：
[0022] 为了更有效表征人脸，依据面部主要器官的分布特性对人脸进行分块处理。具体的分块处理方法，是对每幅GMP在垂直方向按照图像高度进行上、中、下三等分，然后将最上面一部分按照图像宽度进行二等分，最终形成了4个子块：R0、R1、R2、R3，四个子块分别对应包含左眼、右眼、鼻子和嘴四类主要器官。单幅GMP图像经过分块处理后的结果图如图2所示。
[0023] 一幅表情图像经过传统的Gabor特征提取后生成40张GMPs，每张GMP经过分块处理被划分为4个子块，即一幅图像经过分块的Gabor特征提取后，会形成40×4＝160个局部子块。对GMP图像进行分块处理，只是在提取的特征中加入了面部的空间信息，并没有从根本上降低Gabor特征的维数。所以本方法继续对分块的Gabor特征进行处理：在统计工作中，均值和标准差是描述数据集中趋势和离散程度的两个最重要的统计量，能够反映出数据的本质特征。因此本方法选用均值μu,v和标准差σu,v来统计每个GMP局部子块的数据，用于表示每个GMP的特 征。两个统计量的计算公式如下：
[0024]
[0025]
[0026] 式(1)、(2)中，GMu,v(x,y)是指第u个尺度、第v个方向下的GMP子块，m×n是指相应子块的大小。
[0027] 最后将每幅GMP的每个子块提取的2维特征统计量
串联在一起，形成一个40×4×2＝320维的特征向量，即为所求的低维Gabor特征统计量。
[0028] 步骤(3.2)，灰度共生矩阵特征的提取
[0029] 步骤(3.2.1)求取灰度共生矩阵时，方向
角θ选取0°、45°、90°和135°四个方向，距离分差值d＝1，灰度级G从256级压缩至16级；
[0030] 步骤(3.2.2)，灰度共生矩阵无法直接进行特征表达，需要对其进行特征统计量的计算，本方法选取
对比度、差熵、
能量和相关4个特征统计量作为灰度共生矩阵的特征表达；
[0031] 最后，求取4个统计量的均值和标准差作为纹理特征量，既一幅表情图像最终形成一个8维的灰度共生矩阵特征向量。
[0032] 步骤(3.3)，高斯归一化
[0033] 将步骤(3.1)和步骤(3.2)中提取的图像特征进行线性组合，生成一组328维的低维特征向量；对该特征向量进行内部向量的高斯归一化处理，使各分量具有相同的权重，以提高图像判别的速度和成功率，即一幅表情图像最终由一组328维的特征向量进行表达；
[0034] 步骤(4)，样本分类
[0035] 输入：通过以上步骤提取到的训练集X的表情特征集合X'及其对应的样本标记，以及提取到的测试集S的表情特征集合S'及其对应的样本标记；
[0036] 输出：测试集S的人脸表情识别结果；
[0037] 表情分类算法选用KNN(k-Nearest Neighbor，k-最近邻)分类算法，它的核心思想是在训练集样本中找到测试样本的k个最邻近样本，然后根据这k个最邻近样本的类别来判定待测样本的类别；通过10折交叉验证法，取10次实验结果的平均值作为算法的表情识别率，最终完成局部遮挡条件下的人脸表情识别。
[0038] 本发明提出的低维Gabor特征提取方法相对于传统的Gabor特征提取方法，具有以下优势：
[0039] (1)对GMPs的分块处理，一方面增加了脸部的空间位置信息，为表情的识别提供了更多的参考依据；另一方面，可在一定程度上，成功地将未被遮挡的 区域和遮挡区域分离开来；
[0040] (2)对分块的GMP进行均值和标准差两个统计量的计算，实质上是将一个多像素点的图像子块用两个统计量数值进行表示，极大地降低了特征向量的维数，简化了后续表情识别过程的计算量，对加快表情识别的速度起到了积极作用。
[0041] 有益效果
[0042] 本发明针对局部遮挡条件下的人脸表情识别，提出一种新的基于Gabor小波和灰度共生矩阵的人脸表情识别算法。该算法一改传统Gabor特征维数较高的缺点，设计了一种分块提取Gabor特征统计量的算法，在保留了人脸空间特征的同时降低了Gabor特征维数；同时，考虑到Gabor特征的分块处理会造成像素空间相关性的缺失，该算法将反映像素间位置分布特性的灰度共生矩阵引入到表情识别领域，增强了像素点间的相互联系，弥补了Gabor特征分块处理产生的不足；最后，将提取的Gabor特征统计量和灰度共生矩阵纹理特征进行线性叠加，生成一组用于特征表达的低维特征向量，实现了表情特征的融合与有效降维，能够在保证较高表情识别率的前提下，大大提高识表情别速率。与传统的基于Gabor小波的人脸表情识别算法相比，本发明在JAFFE和RaFD
数据库上都取得了较高的识别率和较快的识别速率，最高识别率分别为90.90％和87.73％，最快的识别速率分别为0.2981秒和0.7442秒。整体的算法流程如图3所示。
附图说明
[0043] 图1、基于Gabor小波和灰度共生矩阵的表情特征提取
流程图[0044] 图2、单幅GMP图像进过分块处理后的结果图
[0045] 图3、整体算法流程图
[0046] 图4、对JAFFE和RaFD数据库图像进行遮挡处理的示意图
[0047] 图5 JAFFE数据库上各算法的表情识别率
[0048] 图6 RaFD数据库上各算法的表情识别率
[0049] 图7 JAFFE和RaFD数据库上各算法的平均分类时间
具体实施方式
[0050] 本发明采取的技术方案为：
[0051] 一种基于Gabor小波和灰度共生矩阵的人脸表情识别算法。该方法首先通过手工分割的方法提取出表情图像中的“纯脸”区域，并进行彩色图像灰度化、直方图均衡化以及尺度归一化处理；然后提出了一种新的基于Gabor小波和灰度共生矩阵的表情特征提取算法，通过一种分块提取Gabor特征统计量的方法，大大降低了传统Gabor特征的数据冗余，并首次将反映图像纹理特征的灰度共生矩阵引入到表情识别领域，以此来弥补Gabor特征分块处理造成的像素空间相关性缺失的不足；最终生成了一组用于特征表达的低维特征向量，在保证较高表情识别 率的前提下，大大提高了表情识别速率。实验结果表明，与传统的基于Gabor小波的人脸表情识别算法相比，该方法在JAFFE数据库和RaFD数据库上都取得了较高的识别率和较快的识别速率，最高识别率分别为90.90％和87.73％，最快的识别速率分别为0.2981秒和0.7442秒。
[0052] 本发明具体步骤如下：
[0053] 步骤(1)，采集样本
[0054] 本发明选择JAFFE数据库和RaFD数据库作为实验样本，前者选取了该库中所有10个人的213幅表情图像，包含6种基本表情和中性表情，每种表情图像的数量均在30幅左右；后者选取了17个不同种族、不同年龄、不同性别的人的6种基本表情和中性表情的正面人脸图像，共计353幅图像作为实验样本，并保证了每种表情图像数量相当。
[0055] 本发明研究的是局部遮挡条件下的人脸表情识别算法，但是由于目前尚没有一个通用的局部遮挡条件下的人脸表情库可供使用，所以本发明按照多数研究者采取的方法，即在常用的人脸表情库上进行遮挡处理以获取实验数据。本发明在以上选取的JAFFE和RaFD数据库上用黑色矩形框分别进行了眼遮挡、嘴遮挡、上脸遮挡、下脸遮挡、左脸遮挡和右脸遮挡，共6种不同形式的遮挡，以此来
模拟现实生活中出现的各类遮挡情况。JAFFE和RaFD两个数据库中的图像经过6种遮挡处理的示意图如图4所示。
[0056] 本发明的目的是识别测试集中的图像对应的表情类别，按照识别的正确与否，得到本发明的人脸表情识别率。
[0057] 步骤(2)，样本预处理
[0058] 步骤(2.1)，人脸检测
[0059] 为了排除背景、头发等噪声干扰，实验依靠图像处理
软件，以双眼位置为基准获取人脸位置，并通过手工分割的方法获得图像中的“纯脸”区域；
[0060] 步骤(2.2)，彩色图像灰度化
[0061] 彩色图像对
光源十分敏感，受光照影响较大，因此，多数的人脸表情识别方法都是将彩色图转化为灰度图，以灰度图为基础进行运算。本发明采用加权平均法将彩色图像转换为灰度图像；
[0062] 步骤(2.3)，直方图均衡化
[0063] 在
图像采集过程中，光照的变化容易导致图像呈现不同的明暗程度，不利于表情特征的提取。因此本发明采用直方图均衡化方法降低光照变化对图像造成的影响，此外直方图均衡化还可以消除不同种族个体之间肤色的差异；
[0064] 步骤(2.4)，尺度归一化
[0065] 经过人脸检测获得的表情图像往往大小不一，不能形成统一的规格，这样不 利于后续的特征提取和表情分类工作。本发明采用尺度归一化方法将以上步骤分割得到的“纯脸”图像归一化到80×70大小；
[0066] 步骤(3)，特征提取
[0067] 采用基于Gabor小波和灰度共生矩阵的特征提取算法分别对预处理后的X和S内的每幅图像进行表情特征提取，该算法过程分为三部分：低维Gabor特征统计量的提取、灰度共生矩阵特征的提取、高斯归一化。具体的过程描述如下：
[0068] 步骤(3.1)，低维Gabor特征统计量的提取
[0069] 低维Gabor特征的提取是在传统Gabor特征提取的基础上，对Gabor滤波后生成的Gabor幅度图(Gabor Magnitude Pictures,GMPs)进行分块处理，再求取每个子块的特征统计量实现的，具体分为以下两个步骤：
[0070] 步骤(3.1.1)，传统Gabor特征的提取：将预处理后的训练集X和测试集S分别与二维Gabor小波函数作卷积，本发明选用5个尺度、8个方向，共40个Gabor滤波器与表情图像进行卷积，并且仅选用变换相对平稳的Gabor幅度信息作为有效信息，即每幅表情图像转化为40张GMPs，每幅GMPs对应的Gabor系数值即为所提取的Gabor特征；
[0071] 步骤(3.1.2)，分块的Gabor特征统计量的提取：利用传统算法提取图像Gabor特征时，一幅图像经过Gabor滤波后，其特征维数会扩大40倍，而且表情图像本身就属于高维数据，所以采用传统的Gabor特征提取方法可能会造成所谓的“维数灾难”，导致整个表情识别过程耗时较长。因此，本发明针对传统Gabor特征提取算法的不足，设计实现了一种分块的Gabor特征统计量的提取算法：
[0072] 为了更有效表征人脸，依据面部主要器官的分布特性对人脸进行分块处理。具体的分块处理方法，是对每幅GMP在垂直方向按照图像高度进行上、中、下三等分，然后将最上面一部分按照图像宽度进行二等分，最终形成了4个子块：R0、R1、R2、R3，四个子块分别对应包含左眼、右眼、鼻子和嘴四类主要器官。单幅GMP图像经过分块处理后的结果图如图2所示。
[0073] 一幅表情图像经过传统的Gabor特征提取后生成40张GMPs，每张GMP经过分块处理被划分为4个子块，即一幅图像经过分块的Gabor特征提取后，会形成40×4＝160个局部子块。对GMP图像进行分块处理，只是在提取的特征中加入了面部的空间信息，并没有从根本上降低Gabor特征的维数。所以本发明继续对分块的Gabor特征进行处理：在统计工作中，均值和标准差是描述数据集中趋势和离散程度的两个最重要的统计量，能够反映出数据的本质特征。因此本发明选用均值μu,v和标准差σu,v来统计每个GMP局部子块的数据，用于表示每个GMP的特征。两个统计量的计算公式如下：
[0074]
[0075]
[0076] 式(1)、(2)中，GMu,v(x,y)是指第u个尺度、第v方向下的GMP子块，m×n是指相应子块的大小。
[0077] 最后将每幅GMP的每个子块提取的2维特征统计量串联在一起，形成一个40×4×2＝320维的特征向量，即为所求的低维Gabor特征统计量。
[0078] 步骤(3.2)，灰度共生矩阵特征的提取
[0079] 步骤(3.2.1)求取灰度共生矩阵时，方向角θ选取0°、45°、90°和135°四个方向，距离分差值d＝1，灰度级G从256级压缩至16级；
[0080] 步骤(3.2.2)，灰度共生矩阵无法直接进行特征表达，需要对其进行特征统计量的计算，本发明选取对比度、差熵、能量和相关4个特征统计量作为灰度共生矩阵的特征表达；
[0081] 最后，求取4个统计量的均值和标准差作为纹理特征量，既一幅表情图像最终形成一个8维的灰度共生矩阵特征向量。
[0082] 步骤(3.3)，高斯归一化
[0083] 将步骤(3.1)和步骤(3.2)中提取的图像特征进行线性组合，生成一组328维的低维特征向量；对该特征向量进行内部向量的高斯归一化处理，使各分量具有相同的权重，以提高图像判别的速度和成功率，即一幅表情图像最终由一组328维的特征向量进行表达；
[0084] 步骤(4)，对测试集样本进行表情识别，输出样本对应的表情类别
[0085] 输入：通过以上步骤提取到的训练集X的表情特征集合X'及其对应的样本标记，以及提取到的测试集S的表情特征集合S'及其对应的样本标记；
[0086] 输出：测试集S的人脸表情识别结果；
[0087] 本发明选用KNN分类算法进行测试样本的表情分类，K取值为1，并通过10折交叉验证法，取10次实验结果的平均值作为算法的表情识别率，最终完成局部遮挡条件下的人脸表情识别。
[0088] 因为人脸表情识别通常以测试集的人脸表情识别率为识别结果(即测试集中正确分类的样本占测试集中样本总数的比例)，因此本发明在得到了测试集样本对应的标记后，将其与测试集样本的真实标记相比较，从而得到了测试集样本的人脸表情识别率。
[0089] 为了检验本发明所提出的算法的性能，分别在JAFFE数据库和RaFD数据库上进行了实验。将每个数据库中图像分为10组，轮流将其中的9组作为训练 集，剩余的1组作为测试集，取10此实验得到的人脸表情识别率的平均值作为算法识别率。表情类别为：生气、厌恶、悲伤、高兴、恐惧、惊奇以及中性。基本分类器采用k近邻分类器。对比算法采用传统的Gabor算法和Gabor多尺度特征融合与LGBPHS相结合算法(F-LGBPHS)。这两种算法都是基于Gabor的局部遮挡条件下的特征提取算法，且这两种算法的特征提取性能较为优越，均为近三年的较新算法。实验结果如表1和表2所示。
[0090] 表1 JAFFE数据库上各算法的表情识别率
[0091]
[0092] 表2 RaFD数据库上各算法的表情识别率
[0093]
[0094] 表1和表2中的实验结果表明：一方面，本发明算法在JAFFE和RaFD数据库上都达到了较高的识别率，优于传统Gabor算法和F-LGBPHS算法：
[0095] 在JAFFE数据库上，无遮挡的情况下，各个算法均达到了较高的识别率，本文算法取得了最高的91.13％的识别率。在遮挡情况下，各个算法的识别率都有所损失。在面部不同区域、不同程度被遮挡时，本发明算法的识别率均高于传统Gabor算法和F-LGBPHS算法，说明本发明算法具有较强的鲁棒性。
[0096] 在RaFD数据库上，各个算法的识别率均低于JAFFE数据库上的识别率。这是由于JAFFE数据库中的表情样本均取自于日本女性，民族和性别相对单一；而RaFD数据库内包含不同民族、不同年龄、不同性别的表情样本，不同个体的表情强度和外貌存在较大差异，易造成算法对表情的误判。在表情个体存在较大差异的RaFD数据库上，本发明算法仍然优于传统的Gabor算法和F-LGBPHS算法，保持了较高的识别率，这充分说明了本发明算法在一定程度上能够避免个体差异对表情特征的影响，降低了错误分类的
风险，进一步说明了本发明算法具有较强的鲁棒性。
[0097] 另一方面，由于本发明算法在提取Gabor特征时，没有沿用传统Gabor算法的高维特征数据，而是对每个尺度每个方向下的GMP进行了分块提取均值和标 准差两个统计量。一方面保留了人脸器官的空间特征，另一方面大大降低了Gabor特征维数。最后结合了低维的灰度共生矩阵特征向量，高斯归一化后生成了用于特征表达的低维特征向量。正是将这低维特征向量输入分类器，大大减少了特征分类阶段的计算量，使得本发明算法在两个数据库上的平均分类时间分别达到0.2981秒和0.7442秒，相对于其他两种基线算法，分类速率大大提高，增强了表情识别的实时性。
[0098] 综上所述，本发明算法能够在多数据库的条件下，克服表情个体差异性带来的负面影响，对人脸不同区域、不同程度遮挡的表情保持较高的识别率，算法具有较强的鲁棒性和较快的识别速率。
