技术领域
[0001] 本
发明涉及康复评估技术领域，特别涉及一种基于多模态信息评估患者训练投入程度的方法及装置。
背景技术
[0002] 脑卒中，是一种常见的脑血管血液循环障碍
疾病。随着全球老龄化程度的不断加深和年轻人群生活压
力大、生活不规律等问题的不断加重，脑卒中患者人数呈上升趋势。研究表明80％以上的患者通过康复训练能够恢复大部分运动功能，重新回归到生活工作中。
[0003] 但是康复训练重复的本质很容易使患者丧失兴趣、感到无聊，由于病情的影响患者本身心情压抑，不合适的训练
处方、训练难度极有可能使其丧失信心，对康复训练产生厌烦的情绪，对康复效果产生极其不利的影响。因此评估患者在康复训练中的投入程度显得极为重要。
[0004] 康复投入程度是一个可以表征很多元素的变量，包含患者对康复训练的态度，患者对于训练任务要求的理解，语言或者动作上的训练提示的需求，训练中积极参与程度以及整个康复
疗程的出勤率等。将康复中投入程度定义为由积极性驱使，并主动努力去参与到康复训练的状态，患者投入程度与单纯参加到训练中的不同体现在投入程度包含患者高程度的兴趣以及其跟随训练
进程所做出的努力。现存的很多评价患者投入程度的方法，主要是基于使用量表或者间接的评价方法，评价不准确。
发明内容
[0005] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006] 为此，本发明的一个目的在于提出一种基于多模态信息评估患者训练投入程度的方法，该方法基于运动、
感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。
[0007] 本发明的另一个目的在于提出一种基于多模态信息评估患者训练投入程度的装置。
[0008] 为达到上述目的，本发明一方面
实施例提出了一种基于多模态信息评估患者训练投入程度的方法，包括：
[0009] 采集患者的肌电
信号和运动速度，根据所述肌
电信号和所述运动速度计算患者的运动投入程度；
[0010] 采集训练过程中患者眼睛的焦点
位置，根据所述患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；
[0011] 采集患者额叶区的脑电信号，根据所述脑电信号计算患者的认知投入程度；
[0012] 采集患者训练过程中的面部表情图像，通过
图像分析软件对所述面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；
[0013] 根据所述运动投入程度、所述感知投入程度、所述认知投入程度和所述情感投入程度进行综合评估，得到患者训练投入程度。
[0014] 本发明实施例的基于多模态信息评估患者训练投入程度的方法，基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。
[0015] 另外，根据本发明上述实施例的基于多模态信息评估患者训练投入程度的方法还可以具有以下附加的技术特征：
[0016] 进一步地，在本发明的一个实施例中，所述根据所述肌电信号和所述运动速度计算患者的运动投入程度，包括：根据所述肌电信号的均方根值与所述运动速度的比值计算患者的运动投入程度，公式为：
[0017] Em＝EMGRms/v
[0018] 其中，Em为所述运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。
[0019] 进一步地，在本发明的一个实施例中，所述感知投入程度计算公式为：
[0020] Ep＝d(gaze，screen changes)
[0021] 其中，Ep为所述感知投入程度，gaze为所述患者眼睛的焦点位置，screen changes为屏幕上的移动物体的位置。
[0022] 进一步地，在本发明的一个实施例中，所述根据所述脑电信号计算患者的认知投入程度，包括：
[0023] 对所述脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据所述降低的alpha信号、升高的beta信号和升高的theta信号的比值计算所述认知投入程度，具体公式为：
[0024]
[0025] 其中，Ec为所述认知投入程度，α为额叶区升高的alpha信号，β为额叶区升高的beta信号，θ为额叶区升高的theta信号。
[0026] 进一步地，在本发明的一个实施例中，所述情感投入程度计算公式为：
[0027] Ee＝Tpositive/Tnegative
[0028] 其中，Ee为所述情感投入程度，Tpositive为患者的积极情感为主要情感的持续时间，Tnegative为患者的消极情感为主要情感的持续时间。
[0029] 为达到上述目的，本发明另一方面实施例提出了一种基于多模态信息评估患者训练投入程度的装置，包括：
[0030] 第一计算模
块，用于采集患者的肌电信号和运动速度，根据所述肌电信号和所述运动速度计算患者的运动投入程度；
[0031] 第二计算模块，用于采集训练过程中患者眼睛的焦点位置，根据所述患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度；
[0032] 第三计算模块，用于采集患者额叶区的脑电信号，根据所述脑电信号计算患者的认知投入程度；
[0033] 第四计算模块，用于采集患者训练过程中的面部表情图像，通过图像分析软件对所述面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度；
[0034] 评估模块，用于根据所述运动投入程度、所述感知投入程度、所述认知投入程度和所述情感投入程度进行综合评估，得到患者训练投入程度。
[0035] 本发明实施例的基于多模态信息评估患者训练投入程度的装置，基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。
[0036] 另外，根据本发明上述实施例的基于多模态信息评估患者训练投入程度的装置还可以具有以下附加的技术特征：
[0037] 进一步地，在本发明的一个实施例中，所述第一计算模块，具体用于，[0038] 根据所述肌电信号的均方根值与所述运动速度的比值计算患者的运动投入程度，公式为：
[0039] Em＝EMGRms/v
[0040] 其中，Em为所述运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。
[0041] 进一步地，在本发明的一个实施例中，所述感知投入程度计算公式为：
[0042] Ep＝d(gaze，screen changes)
[0043] 其中，Ep为所述感知投入程度，gaze为所述患者眼睛的焦点位置，screen changes为屏幕上的移动物体的位置。
[0044] 进一步地，在本发明的一个实施例中，所述根据所述脑电信号计算患者的认知投入程度，包括：
[0045] 对所述脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据所述降低的alpha信号、升高的beta信号和升高的theta信号的比值计算所述认知投入程度，具体公式为：
[0046]
[0047] 其中，Ec为所述认知投入程度，α为额叶区升高的alpha信号，β为额叶区升高的beta信号，θ为额叶区升高的theta信号。
[0048] 进一步地，在本发明的一个实施例中，所述情感投入程度计算公式为：
[0049] Ee＝Tpositive/Tnegative
[0050] 其中，Ee为所述情感投入程度，Tpositive为患者的积极情感为主要情感的持续时间，Tnegative为患者的消极情感为主要情感的持续时间。
[0051] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0052] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0053] 图1为根据本发明一个实施例的基于多模态信息评估患者训练投入程度的方法
流程图；
[0054] 图2为根据本发明一个实施例的基于多模态信息评估患者训练投入程度的方法流程
框图；
[0055] 图3为根据本发明一个实施例的基于多模态信息评估患者训练投入程度的装置结构示意图。
具体实施方式
[0056] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0057] 下面参照附图描述根据本发明实施例提出的基于多模态信息评估患者训练投入程度的方法及装置。
[0058] 首先将参照附图描述根据本发明实施例提出的基于多模态信息评估患者训练投入程度的方法。
[0059] 图1为根据本发明一个实施例的基于多模态信息评估患者训练投入程度的方法流程图。
[0060] 如图1所示，该基于多模态信息评估患者训练投入程度的方法包括以下步骤：
[0061] 步骤S1，采集患者的肌电信号和运动速度，根据肌电信号和运动速度计算患者的运动投入程度。
[0062] 运动上的投入程度(Motor engagement，Em)被定义为患者积极并努力运动的状态。康复训练中，运动状态一般由肌电信号(EMG)进行监测及表征，并且能直接表现患者在运动上做了多少努力。康复训练中采用EMG信号的均方根值(RMS)评价患者在训练中的运动投入状态。由于可以表征信号的
能量，因此，均方根值被认为是最具有意义的对肌电信号幅值进行分析的方法。由于运动速度是影响EMG幅值的重要因素，因此采用肌电信号的均方根值与运动速度的比值表征患者运动层面的参与程度。
[0063] 在患者进行康复训练中，患者佩戴脑电设备及肌电设备测量训练过程中的脑电信号和肌电信号，根据测量的训练肢体的肌电信号的均方根值与运动速度的比值计算患者的运动投入程度，公式为：
[0064] Em＝EMGRms/v
[0065] 其中，Em为运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。
[0066] 步骤S2，采集训练过程中患者眼睛的焦点位置，根据患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度。
[0067] 感知上的投入程度被定义为针对训练任务感知系统注意力集中的状态。对于视觉交互，眼动轨迹追踪被广泛用来评价用户主体的注意力。一些评价指标，比如眼睛焦点固定不动发生的次数，眼睛焦点聚焦在屏幕以外的区域发生的次数等。但是这些评价指标无法在训练过程中表征感知投入程度的降低，即使训练对象看着屏幕但是并没有投入到训练之中。眼睛焦点移动速度、眼睛焦点总位移等评价感知投入程度，该指标可以对康复训练中的患者的视觉注意力程度进行量化。但是这种评价方法无法做到训练过程中的实时评价。在本发明的实施例中采用训练对象眼睛焦点与屏幕上移动物体之间的距离表征感知上的投入程度。感知投入程度为：
[0068] Ep＝d(gaze，screen changes)
[0069] 其中，Ep为感知投入程度，gaze为患者眼睛的焦点位置，screen changes为屏幕上的移动物体的位置。
[0070] 步骤S3，采集患者额叶区的脑电信号，根据脑电信号计算患者的认知投入程度。
[0071] 进一步地，根据脑电信号计算患者的认知投入程度，包括：
[0072] 对脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据降低的alpha信号、升高的beta信号和升高的theta信号的比值计算认知投入程度，具体公式为：
[0073]
[0074] 其中，Ec为认知投入程度，α为额叶区升高的alpha信号，β为额叶区升高的beta信号，θ为额叶区升高的theta信号。
[0075] 认知上投入程度被定义为完成认知任务时的专注程度。一般通过监测脑电波(EEG)评价主体的认知专注度与认知负荷。
[0076] 用于监测认知专注度的脑电变量包括降低的alpha信号，升高的beta信号，升高的theta信号以及它们之间的比值。目前，应用最广泛的评价认知投入度的方法是根据alpha，beta，theta频段能量计算认知专注度的公式，即beta频段能量与alpha和theta频段能量之和的比值，根据现今对脑电信号的理解，这是因为人们在注意力集中或者警觉的情况下脑电信号主要表现为beta频段的信号，而人们在静息态或者睡眠时主要表现为alpha或者theta甚至更低
频率频段的信号，因此这个比值可以表征人们注意力专注程度。大脑皮层上的额叶负责人体的注意力，精神状态，以及运动规划等，本发明实施例中的脑电信号取自患者的额叶，通过患者佩戴的脑电设备检测患者额叶区的脑电信号。
[0077] 步骤S4，采集患者训练过程中的面部表情图像，通过图像分析软件对面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度。
[0078] 可以理解的是，情感投入状态根据用户主体的面部表情监测得到，采用积极的情感为主要情感的持续时间与消极情感为主要情感的持续时间的比值来表达。
[0079] 患者运动功能状态的提高与患者积极的情绪是相关的。因此，康复训练的目标之一就是能够调动患者积极的情感。情感上投入程度被定义为康复训练中情感上的参与度。如果康复训练能够影响患者的情绪，那么说明患者情感上投入到训练中。如果患者在康复训练中有情感方面的投入，那么康复训练中不同事件，比如不同的游戏元素或者任务的完成与否，可能会对患者的情感产生影响。
[0080] 因此，在患者训练过程中，对患者的面部表情进行监测，采集患者的面部表情图像，对于采集到的面部表情图像可以采用insight软件对患者的情感进行识别提取，记录在训练过程中，患者积极情感为主要情感的持续时间和消极情感为主要情感的持续时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度，情感投入程度的计算公式为：
[0081] Ee＝Tpositive/Tnegative
[0082] 其中，Ee为情感投入程度，Tposttive为患者的积极情感为主要情感的持续时间，Tnegative为患者的消极情感为主要情感的持续时间。
[0083] 步骤S5，根据运动投入程度、感知投入程度、认知投入程度和情感投入程度进行综合评估，得到患者训练投入程度。
[0084] 如图2所示，通过上述计算得到患者的运动投入程度、感知投入程度、认知投入程度和情感投入程度进行综合评估，更加精确、客观的评估患者训练过程中的投入程度，有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。
[0085] 根据本发明实施例提出的基于多模态信息评估患者训练投入程度的方法，基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。
[0086] 其次参照附图描述根据本发明实施例提出的基于多模态信息评估患者训练投入程度的装置。
[0087] 图3为根据本发明一个实施例的基于多模态信息评估患者训练投入程度的装置结构示意图。
[0088] 如图3所示，该基于多模态信息评估患者训练投入程度的装置包括：第一计算模块100、第二计算模块200、第三计算模块300、第四计算模块400和评估模块500。
[0089] 其中，第一计算模块100，用于采集患者的肌电信号和运动速度，根据肌电信号和运动速度计算患者的运动投入程度。
[0090] 第二计算模块200，用于采集训练过程中患者眼睛的焦点位置，根据患者眼睛的焦点位置与训练所使用的屏幕上的移动物体之间的距离计算患者的感知投入程度。
[0091] 第三计算模块300，用于采集患者额叶区的脑电信号，根据脑电信号计算患者的认知投入程度。
[0092] 第四计算模块400，用于采集患者训练过程中的面部表情图像，通过图像分析软件对面部表情图像中的情感进行提取识别，得到训练过程中患者的积极情感的持续时间和消极情感持续的时间，根据患者的积极情感的持续时间和消极情感的持续时间计算患者的情感投入程度。
[0093] 评估模块500，用于根据运动投入程度、感知投入程度、认知投入程度和情感投入程度进行综合评估，得到患者训练投入程度。
[0094] 该装置弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。
[0095] 进一步地，在本发明的一个实施例中，第一计算模块，具体用于，
[0096] 根据肌电信号的均方根值与运动速度的比值计算患者的运动投入程度，公式为：
[0097] Em＝EMGRms/v
[0098] 其中，Em为运动投入程度，EMGRms为一个运动周期内患者运动肢体的肌电信号均方根值，v为一个运动周期内患者运动的平均速度。
[0099] 进一步地，在本发明的一个实施例中，感知投入程度计算公式为：
[0100] Ep＝d(gaze，screen changes)
[0101] 其中，Ep为感知投入程度，gaze为患者眼睛的焦点位置，screen changes为屏幕上的移动物体的位置。
[0102] 进一步地，在本发明的一个实施例中，根据脑电信号计算患者的认知投入程度，包括：
[0103] 对脑电信号进行分解得到患者额叶区的降低的alpha信号、升高的beta信号和升高的theta信号，根据降低的alpha信号、升高的beta信号和升高的theta信号的比值计算认知投入程度，具体公式为：
[0104]
[0105] 其中，Ec为认知投入程度，α为额叶区升高的alpha信号，β为额叶区升高的beta信号，θ为额叶区升高的theta信号。
[0106] 进一步地，在本发明的一个实施例中，情感投入程度计算公式为：
[0107] Ee＝Tpositive/Tnegative
[0108] 其中，Ee为情感投入程度，Tpositive为患者的积极情感为主要情感的持续时间，Tnegative为患者的消极情感为主要情感的持续时间。
[0109] 需要说明的是，前述对基于多模态信息评估患者训练投入程度的方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0110] 根据本发明实施例提出的基于多模态信息评估患者训练投入程度的装置，基于运动、感知、认知、情感多模态信息来评估患者康复训练时的投入程度，弥补了量表法评价投入状态的主观性，使得评估结果更加客观、精确。有利于康复医师在康复训练过程中更改训练模式，让患者保持康复训练时较高的投入程度。
[0111] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0112] 在本
说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0113] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、
修改、替换和变型。
