技术领域
[0001] 本
发明涉及情绪识别领域，尤其是涉及一种基于深度模糊森林的情绪识别方法。
背景技术
[0002] 随着科学技术的发展，人们的生活越来越丰富，跨学科知识和技术的融入使得对心理相关
疾病的研究手段也越来越多样化。情绪是综合人的感觉、思想和为产生出来的一种心理状态，在人们的日常生活、工作和学习中无处不在，不良情绪会影响我们的身体健康，也会影响到心情，严重的会导致
抑郁症、
焦虑症等，对人际关系的交往产生重大影响。而在这些疾病的研究
治疗中，音乐也发挥了越来越大的作用，现在也已经形成了专
门的“音乐治疗”学科。所谓“音乐治疗”，就是研究音乐对人体机能的影响，使其达到放松心情、缓解情绪的目的。
[0003] 目前，情绪识别的方法主要有基于非生理
信号和生理信号两种情绪识别方法。生理信号，包括自主生理信号(心电、肌电、皮电、呼吸)和中枢神经信号(脑电、脑血
氧信号)等，与非生理信号(面部表情、语音、肢体动作等)相比，生理信号不易受到人主观意识的控制和影响，故客观性和识别准确率更高。其中，脑
电信号能直接提取大脑信号，反映大脑活动状态，具有提取方便，时间
分辨率高，实时性强的优点。
[0004] 然而脑电信号是一种随机非平稳的微弱信号，通常只有0.2～1毫伏，具有随机性和非平稳性强、非线性、背景噪声复杂等特点，为了全面观测，通常用于识别的脑电数据维度高且数据量大。加之情绪的复杂多样性，同一个人同一段音乐下的情绪可能不同，不同人不同音乐下的情绪可能相同，这些均是基于音乐的脑电信号情绪识别的难点所在。
发明内容
[0005] 本发明的目的就是为了克服上述
现有技术存在的
缺陷而提供一种能从小样本数据集中进行情绪识别并且识别度高的基于深度模糊森林的情绪识别方法。
[0006] 本发明的目的可以通过以下技术方案来实现：
[0007] 一种基于深度模糊森林的情绪识别方法，该方法包括以下步骤：
[0008] 1)采集脑电信号；
[0009] 2)对脑电信号进行预处理，以去除噪声；
[0010] 3)将脑电信号输入经过预训练后的深度模糊森林模型中，获取情绪识别结果。
[0011] 进一步地，所述步骤3)中，深度模糊森林模型采用多粒度扫描，从脑电信号中获取脑电信号特征的概率向量，作为级联森林的输入；采用级联森林，对脑电信号特征的概率向量进行识别，获取情绪识别结果，所述多粒度扫描和所述级联森林均采用模糊
决策树构建。
[0012] 进一步地，所述获取脑电信号特征的概率向量，作为级联森林的输入过程具体为，所述多粒度扫描包括W个滑动窗口和NSF个模糊决策森林；每个滑动窗口扫描所述脑电信号产生N1个实例，一个实例经过一个模糊决策森林的训练，产生p＝[p1,p2,…pK]的概率向量；每个扫描脑电信号的滑动窗口产生N2个K维的概率向量，N2＝NSF×N1；多粒度扫描将这些概率向量连接在一起形成一个窗口向量 将所有滑动窗口产生的窗口向量
串联，作为级联森林的输入；所述滑动窗口的形状包括长方形和正方形，所述模糊决策森林采用模糊决策树构建。其中，W、NSF、N1、N2和K均为正整数。
[0013] 实验采集的脑电数据
频率为128Hz，即一秒钟的脑电信号会有128个点，而脑电帽一般
导联数是14、32或64，导联数远远小于每个导联上的数据点，在针对脑电情绪数据的多粒度扫描中，考虑到脑电数据和图像数据不同，脑电
数据采集后是长时间序列的形式，为了全面提取特征，以防遗漏，本发明的滑动窗口既有长方形也有正方形，并且相同形状的滑动窗口尺寸也有不同，这样的滑动窗口提取的特征含有更加丰富的信息，能更好地表征脑电信号。
[0014] 进一步地，所述采用级联森林，对脑电信号特征进行识别具体为，级联森林的每一层均具有多个模糊决策森林；级联森林中，第一层的输入为脑电信号特征的概率向量，其他所有层的输入都为前一层的输出；级联森林的最后一层的输出用来计算最终准确度，该最终准确度的计算表达式为：
[0015] Fin(P)＝Max{Ave[Pi×j]}
[0016] Pi×j＝[P11,P12,…,P1j；…；Pi1,Pi2,…,Pij]
[0017] 式中，Fin(*)为最终准确度，P为级联森林中最后一层的输出，i＝1,2,…,NCF，j＝1,2,…,K，NCF为级联森林每一层中模糊决策森林的个数，Pi×j是一个样本在级联森林的最后一层里NCF个模糊决策森林的分类概率，Ave[*]为取平均，Max{*}为取最大值。本发明级联森林中未加入完全模糊决策森林，在保证情绪识别结果准确度的同时，使本发明深度模糊森林模型更简洁。
[0018] 进一步地，所述步骤3)中，深度模糊森林模型的预训练过程具体为，将预建立的脑电信号训练集，输入预建立的深度模糊森林模型中，基于评价指标，对深度模糊森林模型进行
迭代优化，直到深度模糊森林模型输出结果满足预设的
精度要求。
[0019] 进一步地，所述深度模糊森林模型用以从脑电信号中识别出第一情绪和第二情绪，所述脑电信号测试集包括第一情绪样本和第二情绪样本，所述评价指标包括准确率、精确率和召回率，所述准确率accuracy的计算表达式为：
[0020]
[0021] 式中，TP为将第一情绪样本预测为第一情绪的个数，TN为将第一情绪样本预测为第二情绪的个数，FP为将第二情绪样本预测为第一情绪的个数，FN为将第一情绪样本预测为第二情绪的个数；
[0022] 所述精确率precision的计算表达式为：
[0023]
[0024] 所述召回率recall的计算表达式为：
[0025]
[0026] 进一步地，所述步骤2)中，对脑电信号的预处理具体为，对脑电信号分别进行滤波、分割和/或奇异样本的筛除。
[0027] 进一步地，所述脑电信号进行滤波的过程具体为，对脑电信号分别进行滤除工频干扰、去除高低频噪声，和/或去除眼电、心电、肌电和
皮肤电。
[0028] 进一步地，所述步骤1)，具体包括以下步骤：
[0029] 101)选取多个没有情绪表达障碍的对象；
[0030] 102)从步骤101)中选取部分对象对多段音频进行打分，所述音频为能刺激对象产生待识别情绪的音频；
[0031] 103)根据打分结果选取得分最高的多段音频，作为测试音频；
[0032] 104)在预建立的音乐情绪测试环境中，采用测试音频对剩下的对象，进行脑电信号的采集。
[0033] 进一步地，所述步骤104)具体为，在预建立的音乐情绪测试环境中，首先通过让对象放松就坐，并闭眼，使对象调整至平静状态；然后播放舒缓而放松的音乐，使得对象完全平静；最后，采用测试音频对剩下的对象，进行脑电信号的采集。
[0034] 与现有技术相比，本发明具有以下优点：
[0035] (1)本发明采用基于深度模糊森林的情绪识别方法，对脑电数据进行情绪识别，具有独创性、识别度高、参数少、可用于小样本数据集、易于理解等优点；具体地，目前尚未见到有关基于深度模糊森林的脑电识别情绪的研究成果，故本发明基于深度模糊森林的情绪识别方法具有的独创性，为音乐脑电情绪的识别提供了新途径；深度模糊森林是一种基于模糊决策树的集成分类
算法，它的分类预测能
力可以和神经网络想媲美，能应对具有复杂多样性的情绪，具有识别度高的优点；深度模糊森林的超参数少，且对数据量和计算设施方面要求不高，在小样本数据集中即可进行情绪识别，具有参数少，可用于小样本数据集的优点；而且模糊理论的引入还可以处理数据中的模糊信息，因为生活中会有很多模糊信息，这样可以贴近生活，具有更加实际的意义。
[0036] (2)本发明深度模糊森林模型中，采用多粒度扫描采集脑电信号特征，采用级联森林来处理对脑电信号特征进行识别，当输入具有高维性，它的
表征学习能力可以通过多粒度扫描进一步增强；级联森林具有结构
感知能力，能自适应地确定级联级别的数量，自动设置模型的复杂性，即使在小规模数据集上也能有出色的效果。
[0037] (3)级联森林虽然提供了一种可以替代
深度神经网络的低成本学习方式，但是在设计之初并没有考虑数据是否模糊的情况，本发明提出了一种深度模糊森林模型，将模糊理论引入深度模糊森林，由于模糊决策树可在清晰决策树算法上做改进，通过将级联森林中的每棵决策树换成模糊决策树，使得模糊集合理论与传统决策树学习策略相结合，这样的模型可以处理数据中的模糊信息，拓宽了本发明情绪识别方法的使用范围，并提高了情绪识别结果的准确性。
[0038] (4)本发明评价指标包括准确率、精确率和召回率，对深度模糊森林模型进行了精确的评价，基于该评价指标对深度模糊森林模型进行迭代优化，使得本发明深度模糊森林模型情绪识别结果更加准确可靠。
[0039] (5)本发明对脑电信号的预处理过程包括滤波、分割以及奇异样本的筛除，通过滤波去除了工频干扰、高低频噪声、眼电、心电、肌电和皮肤电的干扰；通过分割获取到更多的样本；通过奇异样本的筛除，排除异常点的数据会对情绪识别造成错误影响，使得经过预处理后的脑电信号更加纯净，提高后续情绪识别的准确度。
[0040] (6)本发明通过对同一批对象中选取部分对象首先对音频进行打分，获取测试音频，提高了测试音频的可靠性，使得采集的脑电信号品质更高，降低后续情绪识别的难度，提高情绪识别结果的准确度。
[0041] (7)本发明采用测试音频对剩下的对象进行脑电信号的采集前，通过使对象放松就坐、闭眼、播放舒缓而放松的音乐的方式，使得对象完全平静，让对象情绪表达更准确，使得采集的脑电信号品质更高，降低后续情绪识别的难度，提高情绪识别结果的准确度。
附图说明
[0042] 图1为本发明基于深度模糊森林的情绪识别方法的整体
框图；
[0043] 图2为本发明音乐情绪测试环境
硬件连接示意图；
[0044] 图3为本发明
实施例中愉悦情绪诱发过程示意图；
[0045] 图4为本发明对脑电信号进行滤波的流程示意图；
[0046] 图5为本发明深度模糊森林模型中采用多粒度扫描进行特征提取的流程示意图；
[0047] 图6为本发明深度模糊森林模型中级联森林结构示意图；
[0048] 图7为本发明基于深度模糊森林的情绪识别方法整体流程简要示意图；
[0049] 图8为本发明基于深度模糊森林的情绪识别方法包含训练阶段的流程示意图。
具体实施方式
[0050] 下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0051] 实施例1
[0052] 如图1所示，本实施例为一种基于深度模糊森林的情绪识别方法，主要包括音乐情绪脑电数据采集、脑电信号预处理、深度模糊森林音乐情绪识别步骤。其中音乐脑电数据采集是通过建立脑电音乐情绪实验，首先选取安静而光线不充足的实验环境，再将被试分为两个部分，一半用来
选定实验素材，对另一半进行测试获得基于音乐情绪的脑电数据。脑电信号预处理过程包括滤波、分割以及筛选样本三部分。深度模糊森林情绪识别是对音乐脑电数据作分类的过程，包含多粒度扫描提取特征以及级联森林情绪识别两个过程。
[0053] 如图8所示，下面对上述各步骤进行详细描述：
[0054] 1、音乐情绪脑电数据采集S1
[0055] 音乐情绪脑电数据采集分为以下各步骤进行。
[0056] (1)选择被试
[0057] 实验选择未接受过任何专业音乐训练的被试，这些被试均为身体健康，并且没有情绪表达障碍的对象，
右利手(习惯用手为右手)。每位被试者均是自愿参加实验，实验前情绪平静，未产生剧烈情绪
波动。
[0058] (2)搭建音乐情绪测试环境
[0059] 如图2所示，实验所需环境组成包括
笔记本电脑、脑电设备、音响和脑电记录
软件。脑电帽通过配套的USB接收器与电脑上的软件无线连接传输信号，电脑用于实时控制脑电记录软件和播放音频；为了保证良好的音乐效果，系统使用蓝牙音箱作为音乐媒介，这样形成一个简单易布局的软硬件环境。
[0060] (3)选择实验诱发素材
[0061] 实验将选取Ne个人曾参与实验，男女各占一半。其中一半的人将用于音乐素材的选取，将准备好的Nm段能刺激人脑产生愉悦、悲伤两种情绪的音频，每种情绪各一半，先邀请Ne/2名志愿者利用下面的情绪量表对这Nm段音频进行打分。根据这Ne/2名志愿者最终的打分结果，分别选取Nm1(Nm1＜Nm)段得分最高的愉悦、悲伤音频，作为剩下Ne/2名被试的诱发素材。
[0062] (4)情绪诱发实验
[0063] 如图3所示，选择一个
隔音且光线微弱的屏蔽室，内置一把椅子、一台PC机、一台蓝牙音响和一套脑电测试装置，告知被试实验的目的、流程及注意事项，指导被试入座并佩戴好设备。令被试放松坐于椅子上，闭眼2min调整至平静状态，期间为被试者播放两段舒缓而放松的音乐。放松结束后，保持环境安静30s，使被试者完全平静。
[0064] 为了避免负性情绪对正性情绪诱发的干扰，两组实验按照先正性组，再负性组的顺序进行。愉悦情绪和悲伤情绪的诱发实验流程除播放的音乐不同以外其他步骤相同，实验后每位被试共获得N0条音乐情绪记录。
[0065] 2、脑电信号预处理S2
[0066] 对于脑电信号的预处理包含三个部分，分别是脑电数据的滤波，分割和奇异样本的筛除，下面进行具体介绍。
[0067] 2.1、脑电信号滤波
[0068] 如图4所示，脑电信号是一种非平稳的随机信号，而且极其微弱，故在采集过程中不可避免的会有一些噪声，根据这些噪声的特点，可以采用不同的方法，具体过程如下：
[0069] (1)采用50Hz陷波
滤波器来去除脑电信号的工频干扰；
[0070] (2)采用0.5-50Hz的
带通滤波器进行高低频噪声去除；
[0071] (3)采用小波去噪的方法去除眼电、心电、肌电、皮肤电。
[0072] 2.2、脑电信号的分割和筛选
[0073] 为了得到更多的样本，经过滤波后的脑电数据可以按时长L(L＜L0)进行分割，然后剔除因头动、身体动等造成较大基线漂移的样本，这类出现异常点的数据会对分类造成错误影响。每个被试最终有Ns个样本。
[0074] 3、深度模糊森林音乐情绪识别S3
[0075] 深度模糊森林受到神经网络的启发，采用多粒度扫描和级联森林来处理特征关系以及分类。当输入具有高维性，它的表征学习能力可以通过多粒度扫描进一步增强。级联森林具有结构感知能力，能自适应地确定级联级别的数量，自动设置模型的复杂性，即使在小规模数据集上也能有出色的效果，多粒度扫描和级联森林均采用模糊决策树构建。
[0076] 3.1、基于多粒度扫描的特征提取
[0077] 如图5所示，多粒度扫描过程包括以下步骤：
[0078] (1)预处理后的脑电信号S＝[s1,s2,…，sN]T,其中，(N是导联的数量，L0是每个导联上数据的数量)。S将直接用在多粒
度扫描中。
[0079] (2)多粒度扫描中窗口的大小为x＝[x1，x2，…xn]T，其中，xi＝[x1，x2，…xl],i＝1，2…n，x∈Rn×l,n≤N,l≤L。经过多粒度扫描，会产生N1个实例用在随后模糊决策森林的训练中，N1＝(N-n+1)×(L0-l+1)。
[0080] (3)多粒度扫描产生用于级联的概率向量：若要对音乐脑电情绪做K分类识别，一个实例x经过一个模糊决策森林的训练，将会产生p＝[p1,p2,…pK]的概率向量，多粒度扫描部分共有NSF个模糊决策森林，那么对于一种大小的滑动窗口而言，将会有N2个K维的概率向量产生，N2＝NSF×N1。多粒度扫描会将这些概率向量连接在一起形成一个新的向量(窗口向量)，将所有滑动窗口产生的窗口向量串联，作为级联森林的输入。本实施例中滑动窗口的形状包括正方形和长方形，并且相同形状的滑动窗口尺寸也有不同，模糊决策森林通过将
随机森林中的决策树替换为模糊决策树构建。
[0081] (4)选取的窗口W个，最终将会有N3个概率向量产生， 其中，N2i是第i个滑动窗口产生的PS向量的个数。
[0082] 3.2、级联森林情绪识别
[0083] 如图6所示，深度模糊森林通过级联森林来建立
深度学习，多粒度扫描的最后一部分输出将作为级联森林的输入，这个过程将多粒度扫描产生的特征进行识别，在级联森林中，每一层都是独立在对概率做处理的。除第一层的输入以外，其他所有层的输入都是与前一层的输出有关，具体级联过程包括以下步骤：
[0084] (1)增强特征产生：在脑电情绪的K分类中，假设pc＝[pc1,pc2,…pcK]是每个模糊决策森林所产生的概率，而级联森林的每一层有NCF个模糊决策森林，则每一层产生的增强
特征向量是N4＝K×NCF，用pcrf来表示这个增强特征，则
[0085] (2)级联森林的每一层输出：假设级联共有NL层，则第NL-1的输出为：
[0086] (3)准确率计算：级联森林的最后一层将不会作为下一层的输入，这时会产生NCF个K维的概率向量来计算最后的准确率。最终准确率由下面的算式决定：
[0087] Fin(P)＝Max{Ave[Pi×j]}
[0088] Pi×j＝[P11,P12,…,P1j；…；Pi1,Pi2,…,Pij]
[0089] 其中，i＝1，2,…,NCF，j＝1,2,…,K，Pi×j是一个样本在最后一层级联森林里NCF个森林的分类概率，Ave的含义是取平均。最终的分类结果是高兴正性情绪和悲伤负性情绪的概率大小，概率高的将被判定为该类情绪。
[0090] 3.3、深度模糊森林模型的训练
[0091] 本系统采用准确率(accuracy)、精确率(precision)、召回率(recall)三个指标来优化深度模糊森林模型的结构和参数，各个指标的计算公式如下：
[0092]
[0093]
[0094]
[0095] 其中，TP表示将正类样本预测为正类的个数，TN表示将正类样本预测为负类的个数，FP将负类样本预测为正类的个数，FN将负类样本预测为负类的个数。
[0096] 如图7所示，在对深度模糊森林的脑电音乐情绪识别精度进行评价时，事先设置希望深度模糊森林模型达到的精度级别，系统将自动调整深度模糊森林的参数，若精度不符合设定的要求，则调整深度模糊森林的参数：包括多粒度扫描的窗口尺寸大小(n×l)以及个数(W)，级联森林的层数(NL)以及每层模糊决策森林(NCF)的数目。
[0097] 4、情绪识别结果的获取S4
[0098] 将新的经过预处理的音乐情绪数据载入训练后的深度模糊森林模型中，即可获得情绪识别结果。
[0099] 以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多
修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的
基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由
权利要求书所确定的保护范围内。
