首页 / 专利库 / 视听技术与设备 / 深度相机 / 一种基于三维成像分析的情绪状态综合判定方法

一种基于三维成像分析的情绪状态综合判定方法

阅读:229发布:2020-05-11

专利汇可以提供一种基于三维成像分析的情绪状态综合判定方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于三维成像分析的情绪状态综合判定方法,能够通过分析三维人脸图像,从中提取出人脸表情、人体生理振动两类模态数据,以此实现对用户情绪状态的高 精度 、综合判定。该方法具体包括3D图像推送、面部表情识别、生理振动情绪识别、情绪状态综合判定四个功能模 块 。其中,3D图像推送模块负责接收和录入受试人员的三维视频图像数据;面部表情识别模块负责通过分析和识别受试人员的面部表情来进行情绪识别;生理振动情绪识别模块负责通过采集和分析受试人员的面部肌肉振动 信号 来进行情绪识别;情绪状态综合判定模块负责基于面部表情识别模块和生理振动情绪识别模块各自的情绪识别结果,最终实现对该受试人员情绪状态的综合判定。,下面是一种基于三维成像分析的情绪状态综合判定方法专利的具体信息内容。

1.一种基于三维成像分析的情绪状态综合判定方法,其特征在于:能够通过分析三维人脸图像,从中提取出人脸表情、人体生理振动两类模态数据,以此实现对用户情绪状态的高精度、综合判定;具体包括3D图像推送、面部表情识别、生理振动情绪识别、情绪状态综合判定四个功能模
2.根据权利要求1所述的方法,其特征在于:所述3D图像推送模块用于接收和录入受试人员的三维人脸视频数据;其中所述三维人脸视频数据基于3D结构光相机拍摄,视频率为25帧/秒,并包含关于人脸的深度信息。
3.根据权利要求1所述的方法,其特征在于:所述面部表情识别模块通过分析受试人员的三维人脸视频数据,并利用SVM情绪分类器识别出高兴、悲伤、惊讶、愤怒、厌恶、恐惧共计六种基本情绪,最后根据具体业务场景量化得出情绪状态值M1:0<M1<1。
4.根据权利要求1所述的方法,其特征在于:所述生理振动情绪识别模块通过分析受试人员的三维人脸视频数据,从中采集和分析受试人员的面部肌肉振动的振幅和频率两类参数,以此计算得出情绪状态值M2:0<M2<1。
5.根据权利要求1所述的方法,其特征在于:所述综合判定模块基于面部表情识别模块和生理振动情绪识别模块各自计算的情绪状态值,通过M=w*M1+(1-w)*M2计算得出该受试人员的情绪状态综合判定结果,其中权重w(0<w<1)可根据不同业务场景进行具体设定。
6.根据权利要求3所述的方法,其特征在于:所述面部表情识别模块具体包含3D图像输入、人脸检测、图像预处理、表情特征提取、SVM分类器、情绪状态值计算六个组件;其中所述人脸检测组件采用基于统计的方法进行实现,所述表情特征提取组件采用局部纹理特征提取算法进行实现。
7.根据权 利要求4所述的 方法 ,其特征在于 :所述振幅 参数由公式
计算得出,所述频率参数由公式
计算得出;其中,所述Vx,y,z,i代表在第i帧中该点的位移幅度,所
述x、y、z代表图像中该点的三维空间位置信息,所述n代表图像的总帧数,所述Δi代表图像的第i个点在不同帧之间的差异。

说明书全文

一种基于三维成像分析的情绪状态综合判定方法

技术领域

[0001] 本发明涉及情绪识别领域,特别是涉及一种基于三维成像分析的非接触式情绪状态综合判定方法。

背景技术

[0002] 近年来,随着人工智能技术的快速发展,情绪识别作为其中的一个细分技术领域,也开始在各行各业得到广泛的应用和部署。特别是安防、边检、海关、军队等特殊行业,对情绪识别技术都存在着巨大的业务需求。
[0003] 常见的情绪识别方法主要分成两大类:基于非生理信号的识别和基于生理信号的识别。具体而言,基于非生理信号的情绪识别方法主要包括对面部表情和语音语调的识别等。其中,面部表情识别方法是根据表情与情绪间的对应关系来识别不同的情绪,在特定情绪状态下人们会产生特定的面部肌肉运动和表情模式,如心情愉悦时嘴角上翘,眼部会出现环形褶皱;愤怒时会皱眉,睁大眼睛等,可以通过图像分析的方法来进行识别。
[0004] 基于生理信号的情绪识别方法,主要包括基于自主神经系统的情绪识别和基于中枢神经系统的情绪识别。其中,基于自主神经系统的识别方法是指通过测量肌肉振动、心率、皮肤阻抗、呼吸等生理信号来识别对应的情绪状态;基于中枢神经系统的识别方法,是指通过分析不同情绪状态下大脑发出的不同信号来识别相应的情绪。上述这些基于生理信号的情绪识别方式,除了肌肉振动信号可以通过图像分析的方式来进行采集以外,其他信号都需要被测个体穿戴相应的信号采集设备,因此信息采集难度大,实际应用场景非常受限。
[0005] 当前,基于图像分析的方式来对面部表情或者面部肌肉振动信号进行分析是目前应用场景最为广泛的情绪识别技术。目前来看,当前这种基于图像分析的情绪识别技术绝大部分是通过采集和分析二维平面图像而进行的。然而,人的面部图像实质上是一个立体模型,因此,通过分析人脸二维图像进行情绪识别容易受到姿态、光照、角度等因素影响,无法很好地处理深度信息,因此在识别准确率方面一直存在瓶颈限制。

发明内容

[0006] 为了克服上述现有技术的不足,本发明在于提供一种基于三维成像分析的情绪状态综合判定方法。与传统的基于二维平面图像的情绪判定技术相比,本发明能够实现基于三维立体图像的情绪识别,从而能够有效提升情绪识别的准确率。
[0007] 本发明所提供的基于三维成像分析的情绪状态综合判定方法,其基本功能流程如附图1所示,其中:
[0008] 3D图像推送模负责接收和录入基于3D结构光相机所采集录制的受试人员视频图像;
[0009] 面部表情识别模块负责通过分析和识别受试人员的面部表情来进行情绪判定;
[0010] 生理振动情绪识别模块负责通过采集和分析受试人员的面部肌肉振动信号来进行情绪判定;
[0011] 情绪状态综合判定模块负责基于面部表情识别模块和生理振动情绪识别模块各自的情绪判定结果,最终实现对该受试人员情绪状态的综合判定。
[0012] 与现有技术相比,本发明的有益效果是:本发明提供的是一种基于三维图像分析技术的情绪状态判定方法,并能够通过面部表情、生理振动两类模态数据实现对情绪状态的综合判定,因此具有更高的情绪识别准确率。

附图说明

[0013] 图1为该方法的具体功能流程图
[0014] 图2为该方法中的面部表情识别模块的具体示例图。

具体实施方式

[0015] 下面结合附图对本发明进一步说明。
[0016] 首先,3D图像推送模块接收和录入受试人员面部的三维视频图像数据,并将数据分别推送给面部表情识别模块和生理振动情绪识别模块。该数据基于3D结构光相机拍摄,视频率为25帧/秒,并包含了关于人脸的深度信息。此处不限定3D结构光相机的具体型号,本领域的技术人员可以根据本方案的实际应用情况进行选择。
[0017] 面部表情识别模块根据表情与情绪间的对应关系(即在特定情绪状态下人们会产生特定的表情模式,例如心情愉悦时嘴角角上翘,眼部会出现环形褶皱;愤怒时会皱眉,睁大眼睛等),对3D图像推送模块所推送的三维视频图像数据进行分析,从中识别出高兴、悲伤、惊讶、愤怒、厌恶、恐惧共计六种基本情绪,并根据具体业务场景对各种情绪状态进行量化打分,最后得出情绪状态值M1(0<M1<1)并推送给情绪状态综合判定模块。该模块的具体实现过程如附图2所示。首先,3D图像输入组件接收来自3D图像推送模块推送而来的3D图像,并发送至人脸检测组件;人脸检测组件采用基于统计的方法(例如,基于二进小波变换的人脸检测算法)对人脸区域进行检测,并将检测结果发至图像预处理组件;图像预处理组件完成对人脸区域图像的几何归一化和直方图均衡化操作;表情特征提取组件采用局部纹理特征提取算法(例如,LBP局部二值模式)实现表情特征的提取,并将提取到的表情特征发至SVM分类器;SVM分类器基于SVM训练模型对输入的表情特征进行判定,并将判定结果输出至情绪状态值计算组件,其中SVM训练模型可基于英国伯明翰大学开发的3D动态人脸表情库“BU-4DFE”完成模型构建及训练过程;情绪状态值计算组件则根据预先设定的情绪状态与情绪状态值间的映射关系对外输出相应的情绪状态值,本发明对该映射关系不作具体限定。
[0018] 生理振动情绪识别模块对3D图像推送模块所推送的三维视频图像数据中受试人员的面部肌肉振动信号进行采集和分析,从中提取出肌肉振动振幅和频率等相关生理参数,以此进行情绪状态的计算,并根据具体业务场景对各种情绪状态进行量化打分,最后得出情绪状态值M2(0<M2<1)并推送给情绪状态综合判定模块。其中,肌肉振动振幅参数由公式 计算得出,肌肉振动频率参数由公式计算得出,其中x、y、z代表图像中该点的三维空间位置信息,n代
表图像的总帧数,Vx,y,z,i代表在第i帧中该点的位移幅度,Δi代表图像的第i个点在不同帧之间的差异。
情绪状态综合判定模块接收从生理振动情绪识别模块和面部表情识别模块分别推送而来的情绪状态值M1和M2,并根据公式M=w*M1+(1-w)*M2计算得出该受试人员的情绪状态综合判定结果,其中权重w(0<w<1)可根据不同业务场景进行具体设定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈