一种陪伴机器人及情绪识别方法
专利汇可以提供一种陪伴机器人及情绪识别方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及 人工智能 技术领域，目的是提供一种陪伴 机器人 及情绪识别方法，其中一种陪伴机器人，包括图像信息及语音信息获取装置、 控制器 及扬声器，图像信息及语音信息获取装置及扬声器均与控制器电性连接，图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至控制器，控制器包括情绪识别模 块 及 聊天 控制单元，情绪识别模块用于根据被陪伴人员图像信息及语音信息判断被陪伴人员的情绪模式，并将被陪伴人员的情绪模式发送至聊天控制单元，聊天控制单元根据被陪伴人员的情绪模式通过扬声器输出语音信息。本发明具有充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。，下面是一种陪伴机器人及情绪识别方法专利的具体信息内容。
1.一种情绪识别方法，其特征在于，包括以下步骤：
S1：获取被陪伴人员图像信息及语音信息，执行S2；
S2：将被陪伴人员的语音信息转换为文本信息，根据文本信息获取文本摘要，执行S3；
S3：根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，执行S4；
S4：根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，执行S5；
S5：根据文本摘要及被陪伴人员的情绪模式输出语音信息，执行S1。
2.根据权利要求1所述的一种情绪识别方法，其特征在于，所述S2还包括以下步骤：
S21：将被陪伴人员的语音信息转换为文本信息，执行S22；
S22：将文本信息按照设定的长度L并结合句子结构切割成多个文本子信息，执行S23；
S23：使用Word2vec模型根据文本子信息生成对应的词向量，执行S24；
S24：使用深度网络学习模型根据多个词向量生成文本摘要。
3.根据权利要求2所述的一种情绪识别方法，其特征在于，所述深度网络学习模型包括CNN网络、LSTM网络及ATTENTION机制。
4.根据权利要求1所述的一种情绪识别方法，其特征在于，所述S3中获取被陪伴人员的微表情信息包括以下步骤：
S31：检测图像中被陪伴人员的表情是否为微表情，若是，执行S32，若不是，执行S33；
S32：使用深度卷积神经网络识别该图像中被陪伴人员的微表情；
S33：放弃该图像。
5.根据权利要求4所述的一种情绪识别方法，其特征在于，所述S31包括以下步骤：
S311：使用DRMF模型检测被陪伴人员的图像信息中的人脸并确定人脸位置，切割出人脸图像，定位面部关键点，执行S312；
S312：基于FACS系统的规则将面部划分为多个微表情活跃的运动单元，执行S313；
S313：初始化一个运动向量作为第一帧的运动向量，执行S314；
S314：计算每一个面部关键点的向量幅值，计算每一个微表情活跃的运动单元的平均幅值，将当前运动向量加上下一帧的运动向量更新每一个面部关键点的运动向量，执行S315；
S315：所有的面部关键点是否都检测完成，若否，执行S314，若是，执行S316；
S316：检测所有面部关键点所用时间是否小于500ms，若是，判断该表情为微表情，若否，判断该表情不是微表情。
6.根据权利要求1所述的一种情绪识别方法，其特征在于，所述S5包括以下步骤：
S51：建立情绪模式库、摘要知识库及聊天知识库，情绪模式库内存储有多种已知情绪模式，执行S52；
S52：从情绪模式库内检索是否有与被陪伴人员的情绪模式匹配的已知情绪模式，若是，执行S53，若不是，执行S54；
S53：根据文本摘要及情绪模式检索聊天知识库内是否存在相关话题，若是执行S55，若不是，执行S56；
S54：根据判断的情绪模式在聊天知识库检索相关短句，发出语音询问被陪伴人员是否处于判断的情绪模式，若陪伴人员确认处于判断的情绪模式，执行S57，若不是，执行S58；
S55：提取聊天知识库内的相关话题，发出语音信息与被陪伴人进行交谈，执行S1；
S56：根据文本摘要及情绪模式生成话题索引存入摘要知识库，更新摘要知识库，执行S55；
S57：将判断的情绪模式作为已知情绪模式生成话题索引加入情绪模式库内，更新情绪模式库，执行S53；
S58：将判断的情绪模式归类到置信度较高的已知情绪模式，执行S53。
7.一种使用权利要求1-6任意一项所述的一种情绪识别方法的陪伴机器人，其特征在于：包括图像信息及语音信息获取装置、控制器及扬声器，所述图像信息及语音信息获取装置及扬声器均与所述控制器电性连接，所述图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至控制器，所述控制器包括情绪识别模块及聊天控制单元，所述情绪识别模块用于接收被陪伴人员图像信息及语音信息，根据被陪伴人员图像信息及语音信息判断被陪伴人员的情绪模式，并将被陪伴人员的情绪模式发送至聊天控制单元，所述聊天控制单元根据被陪伴人员的情绪模式通过扬声器输出语音信息。
8.根据权利要求7所述的一种陪伴机器人，其特征在于：所述情绪识别模块包括被陪伴人员语音特征提取单元、被陪伴人员人像特征提取单元、被陪伴人员微表情特征提取单元与识别单元及情绪识别单元，所述被陪伴人员语音特征提取单元用于对图像信息及语音信息获取装置获取的被陪伴人员的语音信息进行循环提取，并生成文本摘要信息发送至情绪识别单元，所述被陪伴人员人像特征提取单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的动作及表情信息并发送至情绪识别单元，所述被陪伴人员微表情特征提取单元与识别单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的微表情信息并发送至情绪识别单元，所述情绪识别单元用于根据文本摘要信息、被陪伴人员的动作及表情信息和被陪伴人员的微表情信息判断被陪伴人员的情绪模式。
9.根据权利要求8所述的一种情绪识别方法，其特征在于：所述被陪伴人员语音特征提取单元包括语音文本转换子单元、文本切割子单元及CNN网络，所述语音文本转换子单元用于将被陪伴人员的语音信息转换为文本信息并将文本信息发送至文本切割子单元，所述文本信息切割子单元用于将文本信息切割成多个文本子信息并将多个所述文本子信息发送至CNN网络，所述CNN网络用于根据多个所述文本子信息生成文本摘要并将文本摘要发送至情绪识别单元。
10.根据权利要求7所述的一种陪伴机器人，其特征在于：所述聊天控制单元包括情绪模式库、摘要知识库及聊天知识库，所述情绪模式库用于识别被陪伴人员的情绪模式，所述摘要知识库用于识别文本摘要并结合情绪模式库识别的情绪模式生成话题索引从聊天知识库内调取相关话题与被陪伴人进行交谈。
一种陪伴机器人及情绪识别方法
技术领域
背景技术
机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式
做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专
家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未
来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的
信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。人口
老龄化是全世界面临的社会问题，中国的老龄化问题更为严峻。从老年人口规模看，中国是
世界上最多的；从老龄化速度看，中国是世界上最快的；从解决老龄问题的难度看，中国是
世界上最大的。空巢家庭和空巢老人问题更加突出，这一特殊人群在生活过程中面临各种
各样的困难，精神生活质量有待提高，是我国目前亟待解决的社会问题。
动装置连接智能控制器，智能控制器连接智能计算处理分析系统，智能计算处理分析系统
连接传感器装置和数据库，智能计算处理分析系统能够判断用户周围的环境，设置有供用
户设定的亲友陌生人归类选项和不同的秘密对应有不同等级的保密层次,机器人与用户的
互动内容分保密等级。
发明内容
陪伴人员进行交谈，具有充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的优
点。
S1：获取被陪伴人员图像信息及语音信息，执行S2；
S2：将被陪伴人员的语音信息转换为文本信息，根据文本信息获取文本摘要，执行S3；
S3：根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情
信息，执行S4；
S4：根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情
信息判断被陪伴人员的情绪模式，执行S5；
S5：根据文本摘要及被陪伴人员的情绪模式输出语音信息，执行S1。
情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，
结合文本摘要及被陪伴人员的情绪模式生成对应的交谈文本与被陪伴人员进行交谈，从而
达到充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。
S22：将文本信息按照设定的长度L并结合句子结构切割成多个文本子信息，执行S23；
S23：使用Word2vec模型根据文本子信息生成对应的词向量，执行S24；
S24：使用深度网络学习模型根据多个词向量生成文本摘要。
S32：使用深度卷积神经网络识别该图像中被陪伴人员的微表情；
S33：放弃该图像。
脸图像，定位面部关键点，执行S312；
S312：基于FACS系统的规则将面部划分为多个微表情活跃的运动单元，执行S313；
S313：初始化一个运动向量作为第一帧的运动向量，执行S314；
S314：计算每一个面部关键点的向量幅值，计算每一个微表情活跃的运动单元的平均
幅值，将当前运动向量加上下一帧的运动向量更新每一个面部关键点的运动向量，执行
S315；
S315：所有的面部关键点是否都检测完成，若否，执行S314，若是，执行S316；
S316：检测所有面部关键点所用时间是否小于500ms，若是，判断该表情为微表情，若
否，判断该表情不是微表情。
模式，执行S52；
S52：从情绪模式库内检索是否有与被陪伴人员的情绪模式匹配的已知情绪模式，若
是，执行S53，若不是，执行S54；
S53：根据文本摘要及情绪模式检索聊天知识库内是否存在相关话题，若是执行S55，若
不是，执行S56；
S54：根据判断的情绪模式在聊天知识库检索相关短句，发出语音询问被陪伴人员是否
处于判断的情绪模式，若陪伴人员确认处于判断的情绪模式，执行S57，若不是，执行S58；
S55：提取聊天知识库内的相关话题，发出语音信息与被陪伴人进行交谈，执行S1；
S56：根据文本摘要及情绪模式生成话题索引存入摘要知识库，更新摘要知识库，执行
S55；
S57：将判断的情绪模式作为已知情绪模式生成话题索引加入情绪模式库内，更新情绪
模式库，执行S53；
S58：将判断的情绪模式归类到置信度较高的已知情绪模式，执行S53。
所述图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴
人员图像信息及语音信息发送至控制器，所述控制器包括情绪识别模块及聊天控制单元，
所述情绪识别模块用于接收被陪伴人员图像信息及语音信息，根据被陪伴人员图像信息及
语音信息判断被陪伴人员的情绪模式，并将被陪伴人员的情绪模式发送至聊天控制单元，
所述聊天控制单元根据被陪伴人员的情绪模式通过扬声器输出语音信息。
据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，情绪
识别模块根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情
信息判断被陪伴人员的情绪模式，聊天控制单元结合文本摘要及被陪伴人员的情绪模式生
成对应的交谈文本与被陪伴人员进行交谈，从而达到充分了解被陪伴人的情绪，能理解、疏
导和陪护被陪伴人员的效果。
人员语音特征提取单元用于对图像信息及语音信息获取装置获取的被陪伴人员的语音信
息进行循环提取，并生成文本摘要信息发送至情绪识别单元，所述被陪伴人员人像特征提
取单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人
员的动作及表情信息并发送至情绪识别单元，所述被陪伴人员微表情特征提取单元与识别
单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员
的微表情信息并发送至情绪识别单元，所述情绪识别单元用于根据文本摘要信息、被陪伴
人员的动作及表情信息和被陪伴人员的微表情信息判断被陪伴人员的情绪模式。
息并将文本信息发送至文本切割子单元，所述文本信息切割子单元用于将文本信息切割成
多个文本子信息并将多个所述文本子信息发送至CNN网络，所述CNN网络用于根据多个所述
文本子信息生成文本摘要并将文本摘要发送至情绪识别单元。
式库识别的情绪模式生成话题索引从聊天知识库内调取相关话题与被陪伴人进行交谈。
据被陪伴人员语音信息及情绪模式与被陪伴人员进行交谈，具有充分了解被陪伴人的情
绪，能理解、疏导和陪护被陪伴人员的优点；
2、本发明在与被陪伴人员聊天的过程中不断地提取被陪伴人员的社会关系信息，包括
与子女、亲属、同学、朋友的关系网以及与这些人之间的情感状态、发生过的故事等，以便被
陪伴人员下次再提到某个人或某件事时，以知识库做支撑进行陪聊，实现深度的人机交互。
附图说明
图3为本发明用于展示一种情绪识别方法的S2的步骤示意图；
图4为本发明用于展示一种情绪识别方法的S3中获取被陪伴人员的微表情信息步骤示
意图；
图5为本发明用于展示一种情绪识别方法的S31的步骤示意图；
图6为本发明用于展示一种情绪识别方法的S4的步骤示意图；
图7为本发明用于展示一种情绪识别方法的S5的步骤示意图。
具体实施方式
中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至
控制器。本实施例中，图像信息及语音信息获取装置为摄像机，控制器为FPGA控制器。
及情绪识别单元，被陪伴人员语音特征提取单元包括语音文本转换子单元、文本切割子单
元及CNN网络，语音文本转换子单元用于将被陪伴人员的语音信息转换为文本信息并将文
本信息发送至文本切割子单元，文本信息切割子单元用于将文本信息切割成多个文本子信
息并将多个文本子信息发送至CNN网络，CNN网络用于根据多个文本子信息生成文本摘要并
将文本摘要发送至情绪识别单元。本实施中，文本摘要包括人物信息、时间信息、地点信息、
故事梗概信息等摘要信息。
微表情特征提取单元与识别单元用于提取图像信息及语音信息获取装置获取的被陪伴人
员的图像信息中被陪伴人员的微表情信息并发送至情绪识别单元。情绪识别单元用于根据
文本摘要信息、被陪伴人员的动作及表情信息和被陪伴人员的微表情信息判断被陪伴人员
的情绪模式。聊天控制单元包括情绪模式库、摘要知识库及聊天知识库，情绪模式库用于识
别被陪伴人员的情绪模式，摘要知识库用于识别文本摘要并结合情绪模式库识别的情绪模
式生成话题索引从聊天知识库内调取相关话题通过扬声器输出语音信息。
S2：将被陪伴人员的语音信息转换为文本信息，根据文本信息获取文本摘要，本实施
中，文本摘要包括人物信息、时间信息、地点信息、故事梗概信息等摘要信息，执行S3；
S3：根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情
信息，执行S4；
S4：根据文本摘要、被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员
的微表情信息判断被陪伴人员的情绪模式，执行S5；
S5：根据文本摘要及被陪伴人员的情绪模式输出语音信息，执行S1。
S22：将文本信息按照设定的长度L并结合句子结构切割成多个文本子信息，执行S23；
S23：使用Word2vec模型根据文本子信息生成对应的词向量，执行S24；
S24：使用深度网络学习模型根据多个词向量生成文本摘要。
S32：使用深度卷积神经网络识别该图像中被陪伴人员的微表情；
S33：放弃该图像。
脸图像，定位面部关键点，执行S312；
S312：基于FACS系统的规则将面部划分为多个微表情活跃的运动单元，执行S313；
S313：初始化一个运动向量作为第一帧的运动向量，执行S314；
S314：计算每一个面部关键点的向量幅值，计算每一个微表情活跃的运动单元的平均
幅值，将当前运动向量加上下一帧的运动向量更新每一个面部关键点的运动向量，执行
S315；
S315：所有的面部关键点是否都检测完成，若否，执行S314，若是，执行S316；
S316：检测所有面部关键点，所用时间是否小于500ms，若是，判断该表情为微表情，若
否，判断该表情不是微表情。
度矩阵，执行S42；
S42：使用表情识别卷积神经网络识别图像信息中被陪伴人的表情信息，生成一个相似
度矩阵，值得注意的是，本实施例中，表情信息是指不同于微表情的表象表情，执行
S43；
S43：使用微表情识别卷积神经网络识别图像信息中被陪伴人的微表情信息，生成一个
相似度矩阵，执行S44；
S44：对三个相似矩阵进行z-score标准化，使用加权和的方法对三个标准化后的相似
度矩阵进行融合，产生一个总的相似度矩阵，执行S45；
S15：使用情绪模式识别卷积神经网络对总的相似度矩阵进行识别，判断被陪伴人员的
情绪模式。
模式，执行S52；
S52：从情绪模式库内检索是否有与被陪伴人员的情绪模式匹配的已知情绪模式，若
是，执行S53，若不是，执行S54；
S53：根据文本摘要及情绪模式检索聊天知识库内是否存在相关话题，若是执行S55，若
不是，执行S56；
S54：根据判断的情绪模式在聊天知识库检索相关短句，发出语音询问被陪伴人员是否
处于判断的情绪模式，若陪伴人员确认处于判断的情绪模式，本实施例中，若判断被陪伴人
员处于悲伤状态，则输出语音“您不开心吗”， 询问被陪伴人员是否处于判断的悲伤模式，
执行S57，若不是，执行S58；
S55：提取聊天知识库内的相关话题，发出语音信息与被陪伴人进行交谈，执行S1；
S56：根据文本摘要及情绪模式生成话题索引存入摘要知识库，更新摘要知识库，执行
S55；
S57：将判断的情绪模式作为已知情绪模式生成话题索引加入情绪模式库内，更新情绪
模式库，执行S53；
S58：将判断的情绪模式归类到置信度较高的已知情绪模式，执行S53。
信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，结
合文本摘要及被陪伴人员的情绪模式生成对应的交谈文本与被陪伴人员进行交谈，从而达
到充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种医疗后勤人员调配系统 | 2020-05-12 | 463 |
| 一种建筑施工工程监理方法 | 2020-05-12 | 190 |
| 一种智能安防监控系统 | 2020-05-13 | 375 |
| 辐射提示方法和装置 | 2020-05-12 | 299 |
| 一种人员定位的方法及系统 | 2020-05-13 | 664 |
| 一种人员潜在关系分析方法和装置 | 2020-05-12 | 523 |
| 一种基于RFID技术的病区门禁系统的实现方法 | 2020-05-12 | 795 |
| 辐射提示方法和装置 | 2020-05-12 | 685 |
| 人员进出管理方法、装置、设备和存储介质 | 2020-05-11 | 754 |
| 远程会议的参会邀请方法及系统 | 2020-05-12 | 332 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
