基于虚拟现实与眼动追踪的空间认知康复训练系统和方法

申请号 CN201710719123.4 申请日 2017-08-21 公开(公告)号 CN107519622A 公开(公告)日 2017-12-29
申请人 南通大学; 发明人 王佳丽;
摘要 本 发明 公开了一种基于 虚拟现实 与眼动追踪的空间认知康复训练系统,包括虚拟现实设备,其包括情境显示组件,用于显示虚拟现实场景和训练任务情境;红外线眼动追踪组件实时获取被训练者根据训练任务要求完成任务过程中的眼动数据,并传输至数据分析模 块 ;数据分析模块根据眼动追踪组件得到的数据分析被训练者在完成情境任务时的眼动指标,评定被测试者的视觉空间加工特征,并将结果传输至眼动引导认知训练模块;眼动引导认知训练模块根据所述视觉空间加工特征调用不同眼动提示方式进行引导加工。本发明采用虚拟现实场景进行空间认知训练,并且针对性的进行引导加工,较 现有技术 更具生态性、有效性和可操作性。
权利要求

1.一种基于虚拟现实与眼动追踪的空间认知康复训练系统,其特征在于,包括:
虚拟现实设备,其包括情境显示组件,用于显示虚拟现实场景和训练任务情境;
红外线眼动追踪组件,用于实时获取被训练者根据训练任务要求完成任务过程中的眼动数据,并传输至数据分析模
数据分析模块,用于根据眼动追踪组件得到的数据分析被训练者在完成情境任务时的眼动指标,评定被测试者的视觉空间加工特征,并将结果传输至眼动引导认知训练模块;
眼动引导认知训练模块,用于根据所述视觉空间加工特征调用不同眼动提示方式进行引导加工。
2.如权利要求1所述的空间认知康复训练系统,其特征在于,所述系统还包括行为数据采集组件,用于采集训练者的肢体行为数据并传输至数据分析模块。
3.如权利要求1所述的空间认知康复训练系统,其特征在于,所述眼动指标包括注视点位置、兴趣区域、对兴趣区域的首次注视时间、注视次数、注视持续时间、眼跳幅度和注视轨迹。
4.如权利要求1所述的空间认知康复训练系统,其特征在于,所述视觉空间加工特征为训练者对于当前训练任务的独立完成情况,所述完成情况通过评分的方式表示;所述评分的确定方法为:从眼动引导认知训练模块获取当前任务的提示符号序列,计算训练者完成任务时的眼动序列与提示符号的序列之间的距离;获取训练者完成任务的注视次数、兴趣区首次注视时间、注视持续时间和眼跳幅度,将以上指标的加权和作为训练结果的评分。
5.如权利要求1所述的空间认知康复训练系统,其特征在于,所述虚拟现实设备还包括壳体和置于壳体内部的光学镜杯;所述红外线眼动追踪组件集成在虚拟现实设备中,即置于虚拟现实设备的壳体内部。
6.如权利要求1所述的空间认知康复训练系统,其特征在于,所述显示组件在训练任务开始时显示所述训练任务的要求;或
所述系统还可以包括语音模块,在训练任务开始时语音播放所述训练任务的要求;或所述显示组件在训练任务开始时显示所述训练任务的要求,同时所述语音模块播放所述训练任务的要求,此时所述系统还包括语音模块。
7.如权利要求1所述的空间认知康复训练系统,其特征在于,空间认知的训练任务模块包括:空间体验任务模块、空间判断任务模块和空间操作任务模块,三个任务模块难度等级依次增强,且每个任务模块中也设置不同难易程度的任务。
8.一种基于权利要求1-7任一项系统的空间认知康复训练方法,其特征在于,包括以下步骤:
步骤1:接收用户对虚拟现实场景和选择训练任务情景的选择;
步骤2:显示所述虚拟现实场景和所述训练任务,并启动眼动跟踪组件;
步骤3:采集训练者根据当前训练任务要求完成任务的过程中的眼动指标;
步骤4:基于所述眼动指标与当前训练任务的最优完成结果进行分析处理,得到训练结果,若训练结果低于预期,则调用眼动引导认知训练模块,进入步骤5,反之,进行下一训练任务;
步骤5:所述眼动引导认知训练模块在当前训练任务画面中显示引导信息,训练者根据所述引导信息完成所述训练任务;
步骤6:仅显示所述训练任务,由训练者独立完成,根据训练者独立完成情况,判断继续当前训练任务还是进行下一训练任务。
9.如权利要求8所述的空间认知康复训练方法,其特征在于,所述步骤4中判断训练结果是否低于预期包括:从眼动引导认知训练模块获取当前任务的提示符号序列,计算训练者完成任务时的眼动序列与提示符号的序列之间的距离;获取训练者完成任务的注视次数、兴趣区首次注视时间、注视持续时间和眼跳幅度,将以上指标的加权和作为训练结果的评分;所述当前任务的提示符号序列即最优完成结果。
10.如权利要求8所述的空间认知康复训练方法,其特征在于,所述根据引导信息完成训练任务的实现方式为:显示组件上显示提示符号,当被训练者注视点与提示符号重合,进入下一个提示符号;当被训练者注视点与提示符号不一致时,提示符号闪烁,提醒被训练者注意提示符号;或
显示组件上呈现一段眼动轨迹,被训练者重复此轨迹,被训练者眼动轨迹与呈现轨迹一致,轨迹消失,与轨迹不一致,在不一致处闪烁,提示重复注视此轨迹,直到完全重合。

说明书全文

基于虚拟现实与眼动追踪的空间认知康复训练系统和方法

技术领域

[0001] 本发明涉及虚拟现实领域,尤其涉及一种基于虚拟现实与眼动追踪的空间认知康复训练系统和方法。

背景技术

[0002] 空间认知能是智力的重要组成部分,对日常生活中的许多能力具有重要的作用。脑损伤和脑部疾病导致的视觉空间障碍直接影响到被训练者的康复效果、日常生活能力及社会适应能力。目前,临床上缺乏专针对空间能力障碍的系统训练。部分嵌套在认知康复系统中的空间能力训练主要为二维空间能力训练,缺乏真实情境中的训练。并且,脑损伤或脑部疾病以肢体功能障碍为主要的临床表现,而借助肢体运动进行操作的认知训练系统不适用于各种出现肢体功能障碍者。研究发现眼动一方面可以反映视觉信息的内部心理加工过程,另一方面可以替代肢体功能实现对训练任务的操作。
[0003] 因此,需要本领域技术人员迫切解决的一个技术问题是:如何开发更具生态性、有效性和可操作性的空间认知康复训练系统和方法,以适合用肢体功能障碍者的空间认知康复训练。

发明内容

[0004] 为了解决上述问题,本发明提供一种基于虚拟现实和眼动追踪的空间认知障碍康复训练系统,利用虚拟现实为被训练者设置不同难度的空间认知训练情境,通过记录眼动指标分析被训练者空间任务加工特征,根据完成情况启动不同的空间认知训练系统,并引导被训练者采用最优策略完成任务。相对于传统的基于二维抽象情境的认知训练,本发明的康复系统更具生态性、可操作性和有效性。
[0005] 为了实现上述目的,本发明采用如下技术方案:
[0006] 一种基于虚拟现实与眼动追踪的空间认知康复训练系统,包括:
[0007] 虚拟现实设备,其包括情境显示组件,用于显示虚拟现实场景和训练任务情境;
[0008] 红外线眼动追踪组件,用于实时获取被训练者根据训练任务要求完成任务过程中的眼动数据,并传输至数据分析模
[0009] 数据分析模块,用于根据眼动追踪组件得到的数据分析被训练者在完成情境任务时的眼动指标,评定被测试者的视觉空间加工特征,并将结果传输至眼动引导认知训练模块;
[0010] 眼动引导认知训练模块,用于根据所述视觉空间加工特征调用不同眼动提示方式进行引导任务加工。
[0011] 进一步地,所述系统还包括行为数据采集组件,用于采集训练者的肢体行为数据并传输至数据分析模块。
[0012] 进一步地,所述眼动指标包括注视点位置、兴趣区域、对兴趣区域的首次注视时间、注视次数、注视持续时间、眼跳幅度和注视轨迹。
[0013] 进一步地,所述视觉空间加工特征为训练者对于当前训练任务的独立完成情况,所述完成情况通过评分的方式表示;所述评分的确定方法为:从眼动引导认知训练模块获取当前任务的提示符号序列,计算训练者完成任务时的眼动序列与提示符号的序列之间的距离;获取训练者完成任务的注视次数、兴趣区首次注视时间、注视持续时间和眼跳幅度,将以上指标的加权和作为训练结果的评分。
[0014] 进一步地,所述虚拟现实设备还包括壳体和置于壳体内部的光学镜杯;所述红外线眼动追踪组件集成在虚拟现实设备中,即置于虚拟现实设备的壳体内部,以便于佩戴。
[0015] 进一步地,所述显示组件在训练任务开始时显示所述训练任务的要求;或[0016] 所述系统还可以包括语音模块,在训练任务开始时语音播放所述训练任务的要求;或
[0017] 所述显示组件在训练任务开始时显示所述训练任务的要求,同时所述语音模块播放所述训练任务的要求,此时所述系统还包括语音模块。
[0018] 进一步地,空间认知的训练任务模块包括:空间体验任务模块、空间判断任务模块和空间操作任务模块,三个任务模块难度等级依次增强,且每个任务模块中也设置不同难易程度的任务。
[0019] 基于上述系统,本发明还提供了一种空间认知康复训练方法,包括以下步骤:
[0020] 步骤1:接收用户对虚拟现实场景和选择训练任务情景的选择;
[0021] 步骤2:显示所述虚拟现实场景和所述训练任务,并启动眼动跟踪组件;
[0022] 步骤3:采集训练者根据当前训练任务要求完成任务的过程中的眼动指标;
[0023] 步骤4:基于所述眼动指标与当前训练任务的最优完成结果进行分析处理,得到训练结果,若训练结果低于预期,则调用眼动引导认知训练模块,进入步骤5,反之,进行下一训练任务;
[0024] 步骤5:所述眼动引导认知训练模块在当前训练任务画面中显示引导信息,训练者根据所述引导信息完成所述训练任务;
[0025] 步骤6:仅显示所述训练任务,由训练者独立完成,根据训练者独立完成情况,判断继续当前训练任务还是进行下一训练任务。
[0026] 进一步地,所述步骤4中判断训练结果是否低于预期包括:从眼动引导认知训练模块获取当前任务的提示符号序列,计算训练者完成任务时的眼动序列与提示符号的序列之间的距离;获取训练者完成任务的注视次数、兴趣区首次注视时间、注视持续时间和眼跳幅度,将以上指标的加权和作为训练结果的评分;所述当前任务的提示符号序列即最优完成结果。
[0027] 进一步地,所述根据引导信息完成训练任务的实现方式为:显示组件上显示提示符号,当被训练者注视点与提示符号重合,进入下一个提示符号;当被训练者注视点与提示符号不一致时,提示符号闪烁,提醒被训练者注意提示符号;或
[0028] 显示组件上呈现一段眼动轨迹,被训练者重复此轨迹,被训练者眼动轨迹与呈现轨迹一致,轨迹消失,与轨迹不一致,在不一致处闪烁,提示重复注视此轨迹,直到完全重合。
[0029] 本发明的有益效果:
[0030] 1、本发明基于虚拟现实场景对被训练者进行空间认知的训练,能够提供真实场景,使被训练者有真实感,因而相对于二维图片或图形,更具生态性和有效性;
[0031] 2、本发明基于被训练者对训练任务的完成情况进行分析,分析被训练者的障碍特点,基于该被训练者的障碍特点进行有针对性的引导训练,因而本发明能够对不同视觉空间障碍的人群,自适应的调整引导策略。附图说明
[0032] 图1为本发明基于虚拟现实和眼动追踪的康复训练系统框图
[0033] 图2为本发明基于虚拟现实和眼动追踪的康复训练方法流程图

具体实施方式

[0034] 下面结合附图与实施例对本发明作进一步说明。
[0035] 下面将结合附图和实施例,对本发明实施例中的技术方案进行清楚、完整地描述。
[0036] 应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0037] 需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0038] 虚拟现实技术
[0039] 虚拟现实是多种技术的综合,包括实时三维计算机图形技术,广(宽视野)立体显示技术,对观察者头、眼和手的跟踪技术,以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。
[0040] 在虚拟现实中使用眼动追踪技术,可以让交互变得更自然,更轻松,就算是在一个基于软件的环境也是如此。眼动追踪交互软件使用了基于场景的算法,制作了一个完全基于注视点控制的用户界面,让用户可以完成普通的任务,例如:扫描、滑动、放大、选择等等。
[0041] 眼动跟踪技术
[0042] 眼动主要有三种形式:注视、跳动和平滑尾随跟踪;注视,表现为在被观察目标上的停留至少持续100-200ms以上;跳动,注视点间的飞速跳跃,是一种联合眼动,即双眼同时移动;平滑尾随跟踪,眼睛能平滑的追踪运动速度为1到30度/秒的目标,必须有一个缓慢移动的目标。
[0043] 眼动跟踪技术的主要参数:总注视次数,是衡量搜索效率的一个指标;注视持续时间,反应提取信息的难易程度;注视次数,区域重要程度的一个标志;注视点序列,注视点在兴趣区之间的转换;第一次到达目标兴趣区的时间,在显示区域搜索特点目标时第一次到达目标区域的时间。
[0044] 基本的眼动测量技术主要有:脑电图法(EEG)、眼电图法或EOG法(Electro-Oculograph)、接触目镜法、探测线圈法、红外光电反射法或红外电视法。
[0045] 由于对于脑损伤造成的空间认知加工障碍来说,往往伴有肢体功能的障碍,会限制其空间活动,因此眼动一方面可以反映其肢体活动,另一方面可以替代实现对情境的操作。
[0046] 本发明的基本思路是:首先,二维的空间认知能力训练往往不能有效的迁移到真实情境,对于提高被训练者的真实生活能力效果不显著,而基于虚拟现实的情境训练可以更好的提高其现实情境中的应用能力;眼动引导的功能是根据对空间认知功能障碍者的障碍特点对其信息加工按照最优策略进行加工引导。认知功能出现障碍以后,其空间信息的加工策略可能会出现障碍,比如,对环境信息的加工顺序杂乱或对环境有效信息的忽略。利用眼动引导可以引导其进行有效的加工。
[0047] 实施例一
[0048] 本实施例提供了一种基于虚拟现实与眼动追踪的空间认知康复训练系统,包括:
[0049] 虚拟现实设备,其包括情境显示组件,用于显示虚拟现实场景和训练任务情境;
[0050] 红外线眼动追踪组件,用于实时获取被训练者根据训练任务要求完成任务过程中的眼动数据,并传输至数据分析模块;
[0051] 数据分析模块,用于根据眼动追踪组件得到的数据分析被训练者在完成情境任务时的眼动指标,评定被测试者的视觉空间加工特征,并将结果传输至眼动引导认知训练模块;
[0052] 眼动引导认知训练模块,用于根据所述视觉空间加工特征调用不同眼动提示方式进行引导加工。其有益效果是一方面反馈结果,另一方面,眼动引导认知训练模块根据测试结果进行有针对性的引导。
[0053] 可选地,用户经由情境显示组件上的用户界面选择虚拟现实场景和训练任务情境。
[0054] 可选地,所述虚拟现实设备还包括壳体和置于壳体内部的光学镜杯。
[0055] 可选地,所述红外线眼动追踪组件可集成在虚拟现实设备中,即置于虚拟现实设备的壳体内部。
[0056] 可选地,所述眼动跟踪组件包括红外反射装置、摄像头、和红外光源。红外光源设置在显示设备上靠近人眼的一侧,为主动光源,眼球反射的红外光经过红外反射装置进入红外摄像头,从而获取眼动数据。
[0057] 可选地,所述系统还包括行为数据采集组件,用于采集训练者的肢体行为数据并传输至数据分析模块。
[0058] 所述行为数据采集组件可替代眼动跟踪组件,基于肢体动作完成训练任务;也可以与眼动跟踪组件同时使用,眼动数据和肢体行为数据同时采集和分析。
[0059] 可选地,所述眼动指标包括注视点位置、兴趣区域、对兴趣区的首次注视时间、注视次数、注视持续时间、眼跳幅度和注视轨迹。
[0060] 可选地,所述视觉空间加工特征可以为训练者对于当前训练任务的独立完成情况,所述完成情况通过评分的方式表示;所述评分的确定方法为:从眼动引导认知训练模块获取当前任务的提示符号序列,计算训练者完成任务时的眼动序列与提示符号的序列之间的距离;获取训练者完成任务的注视次数、兴趣区首次注视时间、注视持续时间和眼跳幅度,将以上指标的加权和作为训练结果的评分。
[0061] 可选地,所述虚拟现实场景包括但不限于房间、小区、街道、城市等虚拟现实场景。
[0062] 可选地,所述显示组件在训练任务开始时显示所述训练任务的要求;作为告知训练任务要求的一种替代方式,所述系统还可以包括语音模块,用于在训练任务开始时语音播放所述训练任务的要求;作为另一种替代方式,所述显示组件在训练任务开始时显示所述训练任务的要求,同时所述语音模块播放所述训练任务的要求。
[0063] 可选地,空间认知的训练任务模块包括:空间体验任务模块、空间判断任务模块和空间操作任务模块,三个任务模块难度等级依次增强,每个任务模块中也设置不同的难易程度。实施例二
[0064] 基于上述康复训练系统,本实施例提供了一种基于虚拟现实与眼动追踪的空间认知康复训练方法,包括以下步骤:
[0065] 步骤1:接收用户对虚拟现实场景和选择训练任务情景的选择;
[0066] 步骤2:显示所述虚拟现实场景和所述训练任务,并启动眼动跟踪组件;
[0067] 步骤3:采集训练者根据当前训练任务要求完成任务的过程中的眼动指标;
[0068] 步骤4:基于所述眼动指标与当前训练任务的最优完成结果进行分析处理,得到训练结果,若训练结果低于预期,则调用眼动引导认知训练模块,进入步骤5,反之,进行下一训练任务;
[0069] 步骤5:所述眼动引导认知训练模块在当前训练任务画面中显示引导信息,训练者根据所述引导信息完成所述训练任务;
[0070] 步骤6:仅显示所述训练任务,由训练者独立完成,根据训练者独立完成情况,判断继续当前训练任务还是进行下一训练任务。
[0071] 可选地,所述系统还包括行为数据采集组件,用于采集训练者的肢体行为数据。
[0072] 所述行为数据采集组件可替代眼动跟踪组件,基于肢体动作完成训练任务;也可以与眼动跟踪组件同时使用,眼动数据和肢体行为数据同时采集和分析。
[0073] 可选地,所述眼动跟踪组件包括红外反射装置、摄像头、和红外光源。红外光源设置在显示设备上靠近人眼的一侧,为主动光源,眼球反射的红外光经过红外反射装置进入红外摄像头,从而获取眼动数据。
[0074] 可选地,所述眼动指标包括注视点位置、兴趣区域、对兴趣区的首次注视时间、注视次数、注视持续时间、眼跳幅度和注视点序列(或轨迹)。
[0075] 可选地,所述虚拟现实场景包括但不限于房间、小区、街道、城市等虚拟现实场景。
[0076] 可选地,所述显示组件在训练任务开始时显示所述训练任务的要求;作为告知训练任务要求的一种替代方式,所述系统还可以包括语音模块,用于在训练任务开始时语音播放所述训练任务的要求;作为另一种替代方式,所述显示组件在训练任务开始时显示所述训练任务的要求,同时所述语音模块播放所述训练任务的要求。
[0077] 可选地,空间认知的训练任务模块包括:空间体验任务模块、空间判断任务模块和空间操作任务模块,三个任务模块难度等级依次增强,每个任务模块中也设置不同的难易程度。
[0078] 可选地,所述下一训练任务是相对于当前训练任务难度更高的任务。
[0079] 可选地,所述步骤4中判断训练结果是否低于预期包括:从眼动引导认知训练模块获取当前任务的提示符号序列,计算训练者完成任务时的眼动序列与提示符号的序列之间的距离;获取训练者完成任务的注视次数、兴趣区首次注视时间、注视持续时间和眼跳幅度,将以上指标的加权和作为训练结果的评分;所述当前任务的提示符号序列即最优完成结果;通过将评分与预设阈值进行比较来判断是否低于预期。
[0080] 所述步骤5中根据引导信息完成训练任务的一种实现方式为:显示组件上显示提示符号,当被训练者注视点与提示符号重合,进入下一个提示符号(根据不同的任务,提示符号按照最优策略依次呈现);当被训练者注视点与提示符号不一致时,提示符号闪烁,提醒被训练者注意提示符号。
[0081] 所述步骤5中根据引导信息完成训练任务的另一种实现方式为:显示组件上呈现一段眼动轨迹(轨迹长短由被训练者的认知平决定),被训练者重复此轨迹,被训练者眼动轨迹与呈现轨迹一致,轨迹消失,与轨迹不一致,由不一致处闪烁,提示重复注视此轨迹,直到完全重合。
[0082] 所述步骤6中根据训练者独立完成情况,判断继续当前训练任务还是进行下一训练任务的方式与步骤4相同,也可进行简化,仅计算训练者独立完成任务时的注视序列与提示符号的序列之间的距离,若距离超过一定阈值,则继续当前训练任务,反之,进行下一训练任务。
[0083] 为了更清楚地阐述本发明,以下对三个任务模块的任务及其引导进行举例说明。
[0084] 空间体验模块
[0085] 大小:用于训练被训练者的大小感知能力,训练任务中设置不同大小的物体或空间供用户选择。例如,桌子上放置多个大小不同的杯子,训练任务要求可以为“请拿起最大的杯子”,当检测到被训练者注视其中一个杯子,且注视时间超过一定阈值时,将此杯子作为被训练者的选择结果,判断所述选择结果是否正确。可选地,为了增强用户交互体验,可以在判断出被训练者的选择结果之后,对所述结果模拟“拿起”的动作。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,根据一定次序依次在所述多个杯子上显示提示标记,引导被训练者跟随标记进行查找,直至在最大的杯子上显示提示标记,从而引导被训练者找到最大的杯子。
[0086] 密度:用于训练被训练者对多少的识别能力,训练任务中设置不同密度的多个空间。例如,设置多个房间,摆放的物品数量多少不同,训练任务要求可以是“请进入东西最少的房间”,当检测到被训练者注视其中一个房间,且注视时间超过一定阈值时,将此房间作为被训练者的选择结果,判断所述选择结果是否正确。可选地,可以在判断出被训练者的选择结果之后,对模拟走进房间的效果。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,根据一定次序依次在所述多个房间上显示提示标记,引导被训练者跟随标记进行查找,直至在密度最小的房间上显示提示标记,从而引导被训练者找到东西最少的房间。
[0087] 高低/长短:用于训练被训练者对长度或高度的识别能力,训练任务中设置不同长短的物体。例如,墙角放置不同长度的扫帚,训练任务要求是“请选择最长的扫帚”,同样将注视时间超过一定阈值的扫帚作为选择结果。可选地,在选择之后,模拟扫帚被拿起的动作。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,根据一定次序依次在所述多个扫帚上显示提示标记,引导被训练者跟随标记进行查找,直至在最长的扫帚上显示提示标记,从而引导被训练者找到最长的扫帚。
[0088] 形状:用于训练被训练者对形状的识别能力,训练任务中设置不同形状的物体或空间,例如,房间内放置不同形状的物体,例如球、杯子、桌子等,训练任务要求“选择圆形物体”,同样将注视时间超过一定阈值的物体作为选择结果。可选地,在选择之后,模拟球体跳动的动作。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,根据一定次序依次在所述多个物体上显示提示标记,引导被训练者跟随标记进行查找,直至在球上显示提示标记,从而引导被训练者找到球。
[0089] 空间判断模块
[0090] 所述空间判断模块较空间体验模块难度较高。主要包括以任务:
[0091] 空间关系:用于训练被训练者识别特定方位的物体,包括空间方位和空间距离的训练。
[0092] 其中,所述空间方位用于训练被训练者的方向识别能力,包括以自身为参照的方向识别,以及以指定物体为参照的方向识别。例如,设置道路的十字路口场景,训练任务要求为“请向右转”,在被训练者执行选择操作后,场景根据被训练者视角进行转变;再例如,桌上并排放置多个不同水果,训练任务要求“请拿起苹果左边的水果”,被训练者执行选择操作后,对选择结果执行拿起动作。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,在十字路口场景中当前位置的左右两侧反复显示提示标记,引导被训练者跟随标记注视,最终停止在右侧,或,直接在当前位置右侧闪烁提示标记,从而引导被训练者记住右侧是哪边。
[0093] 所述空间距离用于训练被训练者距离的感知能力,同样包括以自身为参照的距离和以指定物体为参照的距离识别。例如设置街道场景,训练任务要求为“请走进距离您最近的房子”,将被训练者注视时间超过一定阈值的房子作为选择结果,并模拟走进房子的效果。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,对当前位置周边的房子按照一定顺序依次显示提示标记,引导被训练者跟随标记注视,最终停在最近的房子上。
[0094] 物体连接:用于训练被训练者对顺序的认知能力,训练任务中设置多个物体,被训练者需按照要求对这些物体排序;例如,小区场景中有不同高矮的小朋友,任务要求“请帮助这些小朋友排队”,被训练者依次按照从高到底或者从低到高的顺序注视这些小朋友,从而完成任务。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,对所有小朋友按照一定顺序依次显示提示标记,引导被训练者跟随标记注视,最终停在最高的小朋友身上,该小朋友出列;然后最剩下的小朋友按照一定顺序依次显示提示标记,引导被训练者跟随标记注视,最终停在其中最高的小朋友身上,该小朋友出列,站在第一个出列的小朋友前面,以此类推。
[0095] 镶嵌图形:用于训练被训练者对特定物体的识别能力,训练任务中给定一个物体,和包含该物体的一个场景,要求被训练者在所述场景中找到所述物体。例如,给定一个花瓶图片和一个放置很多物体的房间,要求被训练者在所述房间中找到图片中的所述花瓶。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,按照一定顺序(例如从最近的开始)对房间里的物体依次显示提示标记,引导被训练者跟随标记查找,最终停在房间里的花瓶上。
[0096] 指令行走:用于训练被训练者空间方位识别能力,训练任务中给定行走的目的地。例如,在房间场景中,从当前位置走到窗前。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,首先在窗前显示提示标记,引导被训练者注视该目的地,然后从窗前到当前位置,依次显示提示标记,引导被训练者获知这条路径。
[0097] 空间操作模块
[0098] 所述空间操作模块是难度最高的任务模块。主要包括以下任务:
[0099] 移动物体:用于训练被训练者空间认知综合能力,训练任务中给定一个或多个物体,训练任务是将所述物体移动到特定位置。例如,房间中放置一个桌子,地面上设置一个杯子,训练任务要求为“请将杯子放置在桌子上”。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,首先在杯子上显示提示标记,引导被训练者注视,注视时间超过一定阈值时,所述杯子被拿起,然后注视桌面,注视时间超过一定阈值时,所述杯子被放置到桌面上。
[0100] 选择最优行走路径:用于训练被训练者的社会适应能力,例如,训练任务中给定被训练者所在小区的虚拟场景,任务要求为“请到超市”。可以为任务设置不同的难易程度,例如,难度一:只要被训练者走到了超市即完成任务;难度二:被训练者选择的路径为最便捷的路径即完成任务;难度三:在道路上设置路障告知被训练者此路不通,被训练者能够识别并主动重新选择其他路径到达超市才完成任务。若被训练者的完成情况不符合预期,调用眼动引导认知训练模块,在当前任务画面中显示提示标记,优选地,从当前位置开始在到超市的路径上依次显示提示标记,引导被训练者跟随所述标记注视,完成行走动作;可以多条路径都进行提示,使被训练者知道有多条可选路径。
[0101] 所述用户界面符合医院诊疗系统界面,还可包括被训练者病情查询模块、结果反馈模块等。
[0102] 所述系统可以将康复训练中获取和分析得到的数据通过局域网实现数据共享,从而使得被训练者在不同的设备上也能够基于先前的历史数据进行继续训练。
[0103] 本发明基于虚拟现实场景对被训练者进行空间认知的训练,能够提供真实场景,使被训练者有真实感,因而相对于二维图片或图形,更具生态性;本发明基于被训练者对训练任务的完成情况进行分析,分辨被训练者的障碍特点,基于该被训练者的障碍特点进行有针对性的引导训练,因而本发明能够对不同视觉障碍的人群,自适应的调整引导策略。
[0104] 本领域技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0105] 上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改变形仍在本发明的保护范围以内。
QQ群二维码
意见反馈