技术领域
[0001] 本
发明涉及
情感计算中的情感识别领域，具体涉及基于语音和人脸表情的自适应权重双模融合情感识别方法。
背景技术
[0002] 近年来，在
人工智能和
机器人技术的发展下，传统的
人机交互模式已经不能满足需求，新型的人机交互需要情感的交流，因此，情感识别成为了人机交互技术发展的关键，也成为了学界热点的研究课题。情感识别是涉及多学科的研究课题，通过使计算机理解并识别人类情感，进而预测和理解人类的行为趋势和心理状态，从而实现高效和谐的人机情感交互。
[0003] 人的情绪有各种各样的表达方式，如语音、表情、
姿态、文本等等，我们可以从中提取有效的信息，从而正确分析情绪。而表情和语音信息最为其中最为明显和最易分析的特征，得到了广泛的研究和应用。
心理学家Mehrabian给出了一个公式：感情表露＝7％的言辞+38％的声音+55％的面部表情，可见人的语音信息及人脸表情信息涵盖93％的情感信息，是人类交流信息中的核心。在情绪表达的过程中，面部形变会有效且直观地表达出内心的情感，是情感识别最为重要的特征信息之一，语音特征也同样能表达出丰富的情感。
[0004] 由于近年来互联网的发展和各种社交媒体的层出不穷，人们的交流方式得到了很大的丰富，如视频，音频等，使得多模态情感识别成为可能。传统的单模态识别可能存在单一的情感特征不能很好地表征情感状态的问题，例如，人们在表达悲伤的感情时，面部表情可能没有较大的变化，但此时，从低沉和低缓的语音可以分辨出悲伤失落的感情。多模态识别使得不同模态的信息可以实现互补，为情感识别提供更多情感信息，提高情感识别的准确率。但目前，单模态情感识别研究较为成熟，针对多模态的情感识别方法还有待发展和完善。因此，多模态情感识别具有十分重要的实际应用意义。而作为最为显性的表情和语音特征，基于二者的双模情感识别具有重要的研究意义和实用价值。传统的加权方法忽略了个人差异性，因此，需要一种自适应权重的方法来进行权重分配。
发明内容
[0005] 本发明的目的是提供一种基于语音和人脸表情的自适应权重双模融合情感识别方法，从而实现各模态信息的互补，并实现针对个人差异的自适应权重分配。
[0006] 为此，本发明采用以下技术方案：
[0007] 一种基于语音和人脸表情的自适应权重双模态融合的识别方法，其特征在于，所述方法包括以下步骤：
[0008] S1、获取情感语音和人脸表情数据，将情感数据与情感类别相对应，并选取训练样本集合测试样本集，
[0009] S2、对语音数据提取语音情感特征，对表情数据提取动态表情特征，首先自动提取表情峰值
帧，获取表情开始到表情峰值的动态
图像序列，后将非定长的图像序列归一化为定长的图像序列，作为动态表情特征，
[0010] S3、分别基于语音情感特征和表情特征，采用基于半监督自动
编码器的
深度学习方法进行学习，通过softmax分类器得到分类结果和各类别输出概率，
[0011] S4、将两种单模态情感识别结果进行决策层融合，采用一种自适应权重分配的方法，得到最终的情感识别结果。
[0012] 进一步，上述所述步骤S2的具体步骤如下：
[0013] S2A.1：对于语音情感数据，将获得的语音样本段进行分帧处理，划分为多帧语音段，并对分帧后的语音段进行
加窗处理，得到语音情感
信号，
[0014] S2A.2：对于S2A.1获得的语音情感信号，在帧
水平上，提取低水平特征提取，基音F0、短时
能量、
频率微扰振幅微扰、谐噪比以及Mel
倒谱系数等，
[0015] S2A.3：对步骤一帧水平获得的低水平特征，在多帧组成的语音样本水平上进行统计，对其应用多个统计函数，最大值、最小值、平均值、标准差等，获得语音情感特征；
[0016] S2B.1:对于人脸表情数据，首先，将获取的人脸表情特征点三维坐标数据，进行坐标变化，将鼻尖作为中心点，利用SVD原理得到旋转矩阵，乘旋转矩阵进行旋转变化，以消除头部姿态变化的影响。
[0017] S2B.2:利用慢特征分析方法提取峰值表情帧，具体步骤如下：
[0018] 1)将每个
动态图像序列样本视为时间
输入信号[0019] 2)将 进行归一化，使得均差值为0，方差为1，
[0020] x(t)＝[x1(t),x2(t),…,xI(t)]T；
[0021]
[0022] 3)将输入信号进行非线性扩展扩展，将问题转化为线性SFA问题，[0023] 4)进行数据白化；
[0024] 5)线性SFA方法求解。
[0025] S2B.3:得到表情起始帧到表情峰值帧的动态表情序列后，利用线性插值法非定长的动态特征进行归一化。
[0026] 进一步，上述所述步骤S3的具体步骤如下：
[0027] S3.1:针对某一模态数据，输入无标签和有标签输入训练样本，经过自编码器编码，解码和softmax分类器输出分别产生重构数据和类别输出，
[0028] S3.2:计算
无监督学习表示重构误差和有监督学习分类误差，
[0029] S3.3:构造优化目标函数，同时考虑重构误差和分类误差，
[0030] E(θ)＝αEr+(1-α)Ec；
[0031] S3.4:
梯度下降法更新参数，直至目标函数收敛。
[0032] 进一步，上述所述步骤S4的具体步骤如下：
[0033] S4.1:获取softmax分类器测试样本两种模态分别的各类输出概率，计算变量δk，δk可用来衡量该模态对情感表征的好坏，根据每个样本δk大小的不同实现权重的自适应分配，其中，J为系统中类的个数，P是样本输出概率组成的向量。P＝{pj|j＝1,…,J}，pj为softmax分类器输出的属于各类别的概率，d表示两向量间的欧式距离。
[0034]
[0035] S4.2:将δk根据下式映射到[0,1]之间，作为权值，其中，a和b为自选参数，根据具体情况确定。,
[0036]
[0037] S4.3:根据下式获得融合后的输出概率向量中Pfinal＝{pfinal_j|j＝1,…,J}，最大概率所属类别即为识别类别。pj_k为利用第k种模态进行单模态情感识别获得的第j种类别的概率输出，共K种模态。
[0038]
[0039] 相对于
现有技术，本发明的有益效果如下：本发明基于语音和人脸表情的自适应权重双模融合的情感识别方法基于标准
数据库取得了更为准确和高效的识别效果，针对个人不同模态情感特征表征能
力的差异性，采取了自适应权重融合方法，具有更高的准确性和客观性，基于IEMOCAP情感库，取得了83％的识别率，相较于传统固定权重分配，取得了约3％的识别率提升。
附图说明
[0040] 图1为本发明的识别方法总体流程示意图。
[0041] 图2为本发明步骤S3的流程示意图。
具体实施方式
[0043] 下面结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0044]
实施例1：参见图1-图3，一种基于语音和人脸表情的自适应权重双模态融合的识别方法，所述方法包括以下步骤：
[0045] S1、获取情感语音和人脸表情数据，将情感数据与情感类别相对应，并选取训练样本集合测试样本集，
[0046] S2、对语音数据提取语音情感特征，对表情数据提取动态表情特征，首先自动提取表情峰值帧，获取表情开始到表情峰值的动态图像序列，后将非定长的图像序列归一化为定长的图像序列，作为动态表情特征，
[0047] S3、分别基于语音情感特征和表情特征，采用基于半监督自动编码器的深度学习方法进行学习，通过softmax分类器得到分类结果和各类别输出概率，
[0048] S4、将两种单模态情感识别结果进行决策层融合，采用一种自适应权重分配的方法，得到最终的情感识别结果。
[0049] 进一步，上述所述步骤S2的具体步骤如下：
[0050] S2A.1：对于语音情感数据，将获得的语音样本段进行分帧处理，划分为多帧语音段，并对分帧后的语音段进行加窗处理，得到语音情感信号，
[0051] S2A.2：对于S2A.1获得的语音情感信号，在帧水平上，提取低水平特征提取，基音F0、短时能量、频率微扰振幅微扰、谐噪比以及Mel倒谱系数等，
[0052] S2A.3：对步骤一帧水平获得的低水平特征，在多帧组成的语音样本水平上进行统计，对其应用多个统计函数，最大值、最小值、平均值、标准差等，获得语音情感特征，[0053] S2B.1:对于人脸表情数据，首先，将获取的人脸表情特征点三维坐标数据，进行坐标变化，将鼻尖作为中心点，利用SVD原理得到旋转矩阵，乘旋转矩阵进行旋转变化，以消除头部姿态变化的影响。
[0054] S2B.2:利用慢特征分析方法提取峰值表情帧，具体步骤如下：
[0055] 1)将每个动态图像序列样本视为时间输入信号
[0056] 2)将 进行归一化，使得均差值为0，方差为1，
[0057] x(t)＝[x1(t),x2(t),…,xI(t)]T
[0058]
[0059] 3)将输入信号进行非线性扩展扩展，将问题转化为线性SFA问题，[0060] 4)进行数据白化；
[0061] 5)线性SFA方法求解。
[0062] S2B.3:得到表情起始帧到表情峰值帧的动态表情序列后，利用线性插值法非定长的动态特征进行归一化。
[0063] 进一步，上述所述步骤S3的具体步骤如下：
[0064] S3.1:针对某一模态数据，输入无标签和有标签输入训练样本，经过自编码器编码，解码和softmax分类器输出分别产生重构数据和类别输出，
[0065] S3.2:计算
无监督学习表示重构误差和有监督学习分类误差，
[0066] S3.3:构造优化目标函数，同时考虑重构误差和分类误差，
[0067] E(θ)＝αEr+(1-α)Ec；
[0068] S3.4:梯度下降法更新参数，直至目标函数收敛。
[0069] 进一步，上述所述步骤S4的具体步骤如下：
[0070] S4.1:获取softmax分类器测试样本两种模态分别的各类输出概率，计算变量δk，δk可用来衡量该模态对情感表征的好坏，根据每个样本δk大小的不同实现权重的自适应分配，其中，J为系统中类的个数。P是样本输出概率组成的向量。P＝{pj|j＝1,…,J}，pj为softmax分类器输出的属于各类别的概率，d表示两向量间的欧式距离。
[0071]
[0072] S4.2:将δk根据下式映射到[0,1]之间，作为权值，其中，a和b为自选参数。
[0073]
[0074] S4.3:根据下式获得融合后的输出概率向量中Pfinal＝{pfinal_j|j＝1,…,J}，最大概率所属类别即为识别类别。pj_k为利用第k种模态进行单模态情感识别获得的第j种类别的概率输出，共K种模态。
[0075]
[0076] 应用实施例：参见图1-图3，本实例以IEMOCAP情感数据库为素材，仿真平台是MATLAB R2014a。
[0077] 如图1所示，本发明基于语音和表情的自适应权重双模融合的情感识别方法主要包括以下步骤：
[0078] S1、获取情感语音和人脸表情数据，将情感数据与情感类别相对应，并选取训练样本集合测试样本集。选取中性、高兴、悲伤、愤怒四类情感类别。
[0079] S2、对语音数据提取语音情感特征。对表情数据提取动态表情特征，首先自动提取表情峰值帧，获取表情开始到表情峰值的动态图像序列，后将非定长的图像序列归一化为定长的图像序列，作为动态表情特征。对于语音特征的提取是利用开源的语音特征提取工具箱openSMILE提取了INTERSPEECH 2010 Paralinguistic Challenge标准特征集，共1582维特征。对于人脸表情动态特征的提取。利用慢特征分析方法提取峰值表情帧。后设定
阈值找到表情起始帧，得到表情起始帧到表情峰值帧的动态表情序列后，利用线性插值法非定长的动态特征进行归一化。
[0080] S3、分别基于语音情感特征和表情特征，采用基于半监督自动编码器的深度学习方法进行学习，通过softmax分类器得到分类结果和各类别输出概率。
[0081] S4、将两种单模态情感识别结果进行决策层融合，采用一种自适应权重分配的方法，得到最终的情感识别结果。
[0082] 如图2所示，所述步骤S3半监督分类具体步骤为：
[0083] S3.1:针对某一模态数据，输入无标签和有标签输入训练样本。经过自编码器编码，解码和softmax分类器输出分别产生重构数据和类别输出。
[0084] S3.2:计算无监督学习表示重构误差和有监督学习分类误差。
[0085] S3.3:构造优化目标函数，同时考虑重构误差和分类误差。
[0086] E(θ)＝αEr+(1-α)Ec
[0087] S3.4:梯度下降法更新参数，直至目标函数收敛。
[0088] 如图3所示，所述步骤S4的具体步骤如下：
[0089] S4.1:获取softmax分类器测试样本两种模态分别的各类输出概率。计算变量δk，δk可用来衡量该模态对情感表征的好坏，根据每个样本δk大小的不同实现权重的自适应分配。其中，J为系统中类的个数。P是样本输出概率组成的向量。P＝{pj|j＝1,…,J}，pj为softmax分类器输出的属于各类别的概率，d表示两向量间的欧式距离。
[0090]
[0091] S4.2:将δk根据下式映射到[0,1]之间，作为权值。其中，a和b为自选参数。
[0092]
[0093] S4.3:根据下式获得融合后的输出概率向量中Pfinal＝{pfinal_j|j＝1,…,J}，最大概率所属类别即为识别类别，pj_k为利用第k种模态进行单模态情感识别获得的第j种类别的概率输出，共K种模态。
[0094]
[0095] 需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的
基础上做出的等同替换或者替代，均属于本发明的保护范围。
