技术领域
[0001] 本
发明属于医患关系智能调节技术领域，尤其涉及的是一种多特 征融合的就诊用户情绪监控方法。
背景技术
[0002] 目前优质的医疗资源主要集中在大型的公立医院，且尚未形成以 预约就诊或社区转诊为主的就诊模式。医院在有限的空间内承担着日 益增长的
门诊医疗诊治任务。如何在现阶段医疗机制下，优化就诊服 务，合理安排患者就医，确保医疗
质量和医疗安全，减少非医疗性等 候造成的患者或家属情绪失控问题，已经成为大型公立医院共同面临 的问题和挑战。
[0003]
[0004] 200710118577.2发明
专利提出了一种医患远程交互方法，通过广 域网相连的
计算机系统协助医患之间进行远程沟通，然而其并未解决 需要入院就诊的患者与医生之间的直接矛盾。201110278087.5专利申 请同样提出了一种医患沟通平台及沟通方法，主要由医患沟通平台硬 件、医疗沟通系统
软件和用户智能触摸终端
硬件构成所述医患沟通平 台硬件、医疗沟通
系统软件和用户智能触摸终端硬件处于一个广域网 环境中并实现网络连接,可实现医患随时逐渐深入沟通,以患者为中心, 按照八个步骤,解惑层层心里疑问,化解处处心理矛盾,杜绝恶性事件 发生,构建和谐医患关系。该类系统主要利用手机/平板等移动计算系 统实现医患之间的沟通和交流，系统并未涉及患者和家属情绪的监测 与控制，医患矛盾只能通过患者的主动沟通进行缓解。在患者就诊过 程中，无法对患者和家属情绪进行实时监控，具有严重的滞后性。
[0005] 201210199926.9发明专利提出了一种特殊人群的情绪监护方法 采集神经生理信息,采集脑电
信号和脑血
氧信号进行
信号处理,包括信 号预处理、特征提取和情绪识别判断干预类型,对识别后的情绪进行 判断,如果用户的情绪是平静状态或积极状态返回开始阶段继续监护, 否则进入下一阶段进行系统干预,根据不同情绪状态确定采用系统的 情绪辅助调节干预方式还是采用远程干预方式存储数据,绘制一段时 期内的情绪周期表,记录用户的情绪
波动并存储。本发明通过脑电和 脑血氧信号·的便携式检测,进行精确的情绪状态识别,帮助用户及外 界及时察觉用户的不良情绪,进行人性化的安抚措施,可达到改善用户 情绪状态的目的,进而避免用户的精神状态恶化。医护人员对患者的 安抚需要面对面进行，未涉及医护人员通过“系统”对患者情绪进行安 抚。该方法需要检测患者的脑电及脑血氧信号，设备价格相对较高， 患者在候诊过程中使用不便。并且此类信息采集方式常规患者和家属 难于配合，反而容易诱发纠纷，使医患矛盾激化。
[0006] 同时，
现有技术中诸多情绪提取方法，多通过采集面部或语音信 息识别用户情绪。然而，面部和
语音信号易于人为控制和伪装，情绪 准确度较低。尤其对于患者的情绪监控，常与病痛所导致伪情绪相混 淆，贸然干预容易引发医患矛盾。因此，现有技术存在诸多
缺陷，需 要改进。
发明内容
[0007] 本发明所要解决的技术问题是针对现有技术的不足，针对患者及 家属就诊时尤其是候诊过程中的监测及控制问题,提供一种多特征融 合的就诊用户情绪监控方法。
[0008] 本发明的技术方案如下：
[0009] 一种多特征融合的就诊用户情绪监控方法，其中，包括以下步骤：
[0010] 1)就诊用户信息采集：通过信息采集系统采集患者和家属的就 诊用户信息，包括就诊用户的面部信息，就诊用户的心率、呼吸
频率 和
皮肤电信息以及患者分诊症状信息；
[0011] 2)伪情绪信息筛查：信息采集系统判断就诊用户身份为患者或 家属，将患者身份的就诊用户信息加载至伪情绪筛查系统，伪情绪筛 查系统将患者的面部信息、心率、呼吸频率和皮肤电信息，与患者分 诊症状信息所对应初筛
疾病类型
指征相比对，筛除病痛导致的伪情绪 信息；
[0012] 3)多特征信号融合：将筛查后的就诊用户信息，实时加载至远 程监控中心中，远程监控中心将各项就诊用户信息进行特征提取，并 多特征加权融合，获得融合情绪向量；
[0013] 4)
大数据情绪识别：远程监控中心将融合情绪向量与大
数据库 中情绪特征数据进行对比识别，获得就诊用户情绪状态；
[0014] 5)情绪状态预警：远程监控中心将监控区域内各就诊用户的情 绪状态，通过医护客户端实时发送至医护人员，就诊用户情绪异常时 对医护人员予以提前情绪预警；
[0015] 6)分状态指导安抚：通过医护客户端判断就诊用户身份与情绪 状态等级，根据判断结果选择返回继续进行情绪监控或者结合相应患 者分诊症状信息对就诊用户进行指导和安抚。
[0016] 本发明如无特别说明，就诊用户均包括患者及其家属的组合。
[0017] 进一步，在步骤1)中，信息采集系统包括：在候诊环境和就诊室 中设置的多台
图像采集器，实时采集就诊用户面部信息；分诊后就诊 用户佩戴的可穿戴采集器，采集就诊用户心率、呼吸频率和皮肤电信 息；设置于患者端可穿戴采集器内的分诊模
块，存储患者分诊症状信 息。
[0018] 优选的，所述图像采集器为高分辨摄像机，对就诊用户进行
位置 追踪与面部信息采集。
[0019] 优选的，所述可穿戴采集器包括就诊腕带和卫生口罩，利用就诊 腕带采集就诊用户的心率和皮肤电信息，卫生口罩采集就诊用户的呼 吸频率。
[0020] 更优选的，就诊用户在候诊前通过医护人员人工分诊并将患者分 诊症状信息输入信息采集系统。
[0021] 进一步，在步骤2)中，伪情绪筛查系统包括：用于按疾病初筛 类型分区存储疾病指征信息的疾病指征存储模块；将就诊用户信息根 据分诊症状信息分类并与疾病指征信息比对的信息分类对比模块；根 据分类对比结果概率筛除伪情绪信息的信息筛除模块。
[0022] 在本发明中，伪情绪指患者因其所得病症或者病症所导致病痛引 发的情绪波动。
[0023] 进一步，在步骤3)中，远程监控中心包括用户信息特征提取模 块、特征权值学习模块和多特征加权融合模块；用户信息特征提取模 块对就诊用户信息进行非线性特征分析，提取用户情绪特征；特征权 值学习模块通过广域网采集就诊用户信息中各类特征与情绪状态的 对应关系，将特征—情绪对应关系信息优化选择，建立特征权值组合 用于情绪识别加权；多特征加权融合模块通过特征权值组合对用户情 绪特征进行加权融合。
[0024] 优选的，用户信息特征提取模块通过面部特征提取器将就诊用户 的面部信息按照五官肌群分区并提取各区关键点位置运动作为面部 特征信息，将分区提取后的面部特征信息用于用户情绪特征的加权融 合。
[0025] 优选的，特征权值学习模块通过广域网采集人脸情绪图像对应信 息并存储面部-情绪对应信息，同时采集心率、呼吸频率和皮肤电-情 绪非线性对应信息，通过贪婪
算法、
遗传算法或者递归特征筛选算法 对特征-情绪对应关系信息进行优化选择。
[0026] 进一步，在步骤4)中，远程监控中心通过广域网或大数据库批 量采集情绪特征数据与就诊用户的融合情绪向量进行对比识别，后将 对比识别结果人工标记去噪，通过训练深度
人工神经网络进行学习识 别，提高情绪识别
精度并获得就诊用户情绪状态。
[0027] 进一步，在步骤5)中，医护客户端包括
增强现实装置，将就诊 用户实时情绪状态与实时位置信息通过视觉标记、声音和触觉形式发 送至医护人员，提醒医护人员提前预警并迅速区分
定位情绪异常就诊 用户。
[0028] 进一步，在步骤6)中，医护客户端通过就诊用户情绪状态按程 度分级为平静、波动和激动三级，对于平静级就诊用户返回步骤1) 继续监控；对于波动级就诊用户发出通过语音、视频和三维投影至少 一种方式在线交流的远程安抚指令；对于激动级用户即时警示医护人 员，并发出面对面安抚指令。
[0029] 优选的，医护客户端对于非平静级就诊用户在发出指令后
跟踪观 察该就诊用户的反馈状态，并进行对应指令调节：a.波动级就诊用户 远程安抚有效的，发出继续远程安抚指令，直至下降至平静级；无效 的，发出面对面安抚指令；b.激动级面对面安抚有效的，发出继续面 对面安抚指令，直至下降至平静级，并向信息采集系统发出提高采集 频率指令增加该就诊用户监控强度；c.激动级面对面安抚无效的，发 出继续面对面安抚指令，并通过远程监控中心向其他医护客户端发出 协助指令。
[0030] 更优选的，就诊环境中设置有用于进行医护人员三维投影的全息 多媒体设备，用于对波动级就诊用户通过语音与三维投影相结合的方 式进行远程安抚。
[0031] 进一步，在步骤6)中，医护客户端通过信息采集系统对就诊用 户身份判断结果将情绪异常的就诊用户分身份指导安抚，对于家属身 份的就诊用户，根据陪同的相应患者分诊症状信息与伪情绪筛查系统 相结合，获取初筛疾病类型及其护理知识，并发送至医护人员和家属 身份的就诊用户进行医学知识安抚，与远程和面对面安抚相结合。
[0032] 上述方案，1、将面部识别与心率等其他多特征相融合，提高情 绪识别准确度，2、根据患者的分诊信息进行疾病初筛和伪情绪筛查， 避免了因患者病痛导致的系统误报以及可能产生的乌龙纠纷，3、结 合广域网/大数据进行多特征信号加权融合以及情绪识别，准确实时 获取就诊用户情绪状态，4、利用现实增强技术实时情绪预警，并根 据用户身份和情绪状态分情景指导医护人员进行安抚，提高安抚效果， 降低纠纷升级概率，5、关注患者病情专业化安抚与人性化安抚相结 合，化解知识盲区所导致的医患矛盾，减缓患者及其家属的就诊心理 负担和护理压
力，从根源减少情绪医患纠纷。
[0033] 综上，本发明使得医护人员对患者及其家属的安抚控制可以“有 的放矢”，有效降低医护人员的工作强度，提升就诊疏导效率。
附图说明
[0034] 图1为本发明多特征融合的就诊用户情绪监控方法示意流程框 图。
具体实施方式
[0035] 以下结合附图和具体
实施例，对本发明进行详细说明。
[0036] 实施例1
[0037] 本发明主要针对多特征融合的就诊用户情绪监控，发明了一种就 诊用户多特征情绪信息的采集、处理及用户安抚方法，该方法
流程图 如图1所示，
[0038] 按照如下步骤进行：
[0039] 1)就诊用户信息采集：通过信息采集系统采集患者和家属的就 诊用户信息，包括就诊用户的面部信息，就诊用户的心率、呼吸频率 和皮肤电信息以及患者分诊症状信息；
[0040] 2)伪情绪信息筛查：信息采集系统判断就诊用户身份为患者或 家属，将患者身份的就诊用户信息加载至伪情绪筛查系统，伪情绪筛 查系统将患者的面部信息、心率、呼吸频率和皮肤电信息，与患者分 诊症状信息所对应初筛疾病类型指征相比对，筛除病痛导致的伪情绪 信息；
[0041] 3)多特征信号融合：将筛查后的就诊用户信息，实时加载至远 程监控中心中，远程监控中心将各项就诊用户信息进行特征提取，并 多特征加权融合，获得融合情绪向量；
[0042] 4)大数据情绪识别：远程监控中心将融合情绪向量与大数据库 中情绪特征数据进行对比识别，获得就诊用户情绪状态；
[0043] 5)情绪状态预警：远程监控中心将监控区域内各就诊用户的情 绪状态，通过医护客户端实时发送至医护人员，就诊用户情绪异常时 对医护人员予以提前情绪预警；
[0044] 6)分状态指导安抚：通过医护客户端判断就诊用户身份与情绪 状态等级，根据判断结果选择返回继续进行情绪监控或者结合相应患 者分诊症状信息对就诊用户进行指导和安抚。
[0045] 本发明如无特别说明，就诊用户均包括患者及其家属的组合。
[0046] 在步骤1)中，信息采集系统包括：在候诊环境和就诊室中设置的 多台图像采集器，实时采集就诊用户面部信息；分诊后就诊用户佩戴 的可穿戴采集器，采集就诊用户心率、呼吸频率和皮肤电信息；设置 于患者端可穿戴采集器内的分诊模块，存储患者分诊症状信息。
[0047] 所述图像采集器为高分辨摄像机，对就诊用户进行位置追踪与面 部信息采集。
[0048] 所述可穿戴采集器包括就诊腕带和卫生口罩，利用就诊腕带采集 就诊用户的心率和皮肤电信息，卫生口罩采集就诊用户的呼吸频率。
[0049] 就诊用户在候诊前通过医护人员人工分诊并将患者分诊症状信 息输入信息采集系统。
[0050] 在步骤2)中，伪情绪筛查系统包括：用于按疾病初筛类型分区 存储疾病指征信息的疾病指征存储模块；将就诊用户信息根据分诊症 状信息分类并与疾病指征信息比对的信息分类对比模块；根据分类对 比结果概率筛除伪情绪信息的信息筛除模块。
[0051] 在本实施例中，伪情绪指患者因其所得病症或者病症所导致病痛 引发的情绪波动。
[0052] 在步骤3)中，远程监控中心包括用户信息特征提取模块、特征 权值学习模块和多特征加权融合模块；用户信息特征提取模块对就诊 用户信息进行非线性特征分析，提取用户情绪特征；特征权值学习模 块通过广域网采集就诊用户信息中各类特征与情绪状态的对应关系， 将特征—情绪对应关系信息优化选择，建立特征权值组合用于情绪识 别加权；多特征加权融合模块通过特征权值组合对用户情绪特征进行 加权融合。
[0053] 用户信息特征提取模块通过面部特征提取器将就诊用户的面部 信息按照五官肌群分区并提取各区关键点位置运动作为面部特征信 息，将分区提取后的面部特征信息用于用户情绪特征的加权融合。
[0054] 特征权值学习模块通过广域网采集人脸情绪图像对应信息并存 储面部-情绪对应信息，同时采集心率、呼吸频率和皮肤电-情绪非线 性对应信息，通过贪婪算法、遗传算法或者递归特征筛选算法对特征 -情绪对应关系信息进行优化选择。
[0055] 在步骤4)中，远程监控中心通过广域网或大数据库批量采集情 绪特征数据与就诊用户的融合情绪向量进行对比识别，后将对比识别 结果人工标记去噪，通过训练深度人工神经网络进行学习识别，提高 情绪识别精度并获得就诊用户情绪状态。
[0056] 在步骤5)中，医护客户端包括增强现实装置，将就诊用户实时 情绪状态与实时位置信息通过视觉标记、声音和触觉形式发送至医护 人员，提醒医护人员提前预警并迅速区分定位情绪异常就诊用户。
[0057] 在步骤6)中，医护客户端通过就诊用户情绪状态按程度分级为 平静、波动和激动三级，对于平静级就诊用户返回步骤1)继续监控； 对于波动级就诊用户发出通过语音、视频和三维投影至少一种方式在 线交流的远程安抚指令；对于激动级用户即时警示医护人员，并发出 面对面安抚指令。
[0058] 医护客户端对于非平静级就诊用户在发出指令后跟踪观察该就 诊用户的反馈状态，并进行对应指令调节：a.波动级就诊用户远程安 抚有效的，发出继续远程安抚指令，直至下降至平静级；无效的，发 出面对面安抚指令；b.激动级面对面安抚有效的，发出继续面对面安 抚指令，直至下降至平静级，并向信息采集系统发出提高采集频率指 令增加该就诊用户监控强度；c.激动级面对面安抚无效的，发出继续 面对面安抚指令，并通过远程监控中心向其他医护客户端发出协助指 令。
[0059] 就诊环境中设置有用于进行医护人员三维投影的全息多媒体设 备，用于对波动级就诊用户通过语音与三维投影相结合的方式进行远 程安抚。
[0060] 在步骤6)中，医护客户端通过信息采集系统对就诊用户身份判 断结果将情绪异常的就诊用户分身份指导安抚，对于家属身份的就诊 用户，根据陪同的相应患者分诊症状信息与伪情绪筛查系统相结合， 获取初筛疾病类型及其护理知识，并发送至医护人员和家属身份的就 诊用户进行医学知识安抚，与远程和面对面安抚相结合。
[0061] 上述方案，1、将面部识别与心率等其他多特征相融合，提高情 绪识别准确度，2、根据患者的分诊信息进行疾病初筛和伪情绪筛查， 避免了因患者病痛导致的系统误报以及可能产生的乌龙纠纷，3、结 合广域网/大数据进行多特征信号加权融合以及情绪识别，准确实时 获取就诊用户情绪状态，4、利用现实增强技术实时情绪预警，并根 据用户身份和情绪状态分情景指导医护人员进行安抚，提高安抚效果， 降低纠纷升级概率，5、关注患者病情专业化安抚与人性化安抚相结 合，化解知识盲区所导致的医患矛盾，减缓患者及其家属的就诊心理 负担和护理压力，从根源减少情绪医患纠纷。
[0062] 综上，本发明使得医护人员对患者及其家属的安抚控制可以“有 的放矢”，有效降低医护人员的工作强度，提升就诊疏导效率。
[0063] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明 加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要 求的保护范围。
