利用虚拟现实的视觉障碍检测系统专利检索-日常生活活动医疗服务专利检索查询-专利查询网

利用 虚拟现实的视觉障碍检测系统

阅读：164发布：2020-05-11

专利汇可以提供利用虚拟现实的视觉障碍检测系统专利检索，专利查询，专利分析的服务。并且描述了用于视觉障碍检测系统的技术，视觉障碍检测系统采用虚拟现实模拟日常生活活动以评估患者的视觉功能。虚拟现实平台可基于日常生活活动整合视觉功能的不同元素进行测试，以测量视觉障碍对患者日常生活的影响。通过模拟用于评价视觉障碍的日常活动，临床医生能够从患者的角度更好地了解视觉缺陷如何影响他们的日常活动能力和生活素质。，下面是利用虚拟现实的视觉障碍检测系统专利的具体信息内容。

权利要求

1.一种视觉障碍检测方法，通过计算机或处理器执行包含代码的非暂时性计算机可读存储介质实现，所述方法包括以下步骤：
生成于虚拟现实环境中包含虚拟现实物体的虚拟现实模拟，其中所述虚拟现实模拟对真实生活的活动进行模拟，以测试用户的视觉反应；
将所述虚拟现实模拟显示在头戴式显示器上；
通过视频和音频界面指示所述用户执行任务；
在所述虚拟现实模拟期间通过传感器系统监测所述用户的自主性反应和非自主性反应；
基于所述用户对所述虚拟现实模拟的所述自主性反应和所述非自主性反应，计算功能分数；以及
基于所述功能分数确定所述用户的视觉障碍程度和度量。
2.如权利要求1所述的视觉障碍检测方法，其中，被模拟的真实活动包括以下中的至少之一：在城市区域中行走、向上或向下步行一段或多段楼梯、驾驶车辆或从架子找出一个或多个感兴趣的物件。
3.如权利要求1所述的视觉障碍检测方法，还包括以下步骤：
调整所述虚拟现实模拟的亮度水平和所述虚拟现实环境的对比度水平以模拟不同的光线状态和照明情况。
4.如权利要求1所述的视觉障碍检测方法，其中，所述虚拟现实对象包括一个或多个静止物体、或一个或多个可移动的动态物体。
5.如权利要求1所述的视觉障碍检测方法，其中，所述传感器系统包括：
运动传感器，感测所述用户的所述自主性反应；以及
 生物传感器，感测所述用户的所述非自主性反应。
6.如权利要求5所述的视觉障碍检测方法，其中，所述自主性反应包括所述用户的眼部运动、头部运动、肢体运动或身体运动。
7.如权利要求5所述的视觉障碍检测方法，其中，所述非自主性反应包括所述用户的血压、心率、眼部扩张或脑电活动。
8.如权利要求1所述的视觉障碍检测方法，其中，所述传感器系统分别检测头部定向和身体躯干定向，以在所述虚拟现实环境中分别调整观察方向和移动方向以减少晕动症。
9.如权利要求1所述的视觉障碍检测方法，其中，所述功能分数基于以下参数中的至少之一来计算：在所述虚拟现实模拟中完成任务的所需时间、在所述虚拟现实模拟中与虚拟现实物体碰撞的次数、在所述虚拟现实模拟中与虚拟现实物体的每次碰撞的角度和速度、在所述虚拟现实模拟中正确找出的感兴趣的物件的数量、所述虚拟现实模拟中的亮度水平、碰撞的虚拟现实物体的大小、色彩强度和对比度水平、自主性反应追踪数据、或非自主性反应追踪数据。
10.如权利要求1所述的视觉障碍检测方法，其中，
所述视觉障碍度量的确定过程通过在同一虚拟现实环境中重复测试时能够改变所述虚拟现实物体的位置以减少学习效应对所述确定过程的影响。
11.如权利要求1所述的视觉障碍检测方法，其中，
所述视觉障碍度量通过利用所述功能分数的一个或多个组合进行多变量统计分析和/或集群分析来确定。
12.如权利要求1所述的视觉障碍检测方法，还包括以下步骤：
将所述功能分数和视觉障碍参数上传至服务器；
将所述用户和所述用户的视觉功能分类至数据库中；
利用深度学习和人工智能改善对视觉障碍度量的确定；以及
将所述功能分数显示在计算机或移动计算设备或智能电话上。
13.如权利要求12所述的视觉障碍检测方法，其中，
所述服务器将结果远程地发送给临床医生，以用于监测所述用户的视觉障碍的变化。
14.利用权利要求1中所确定的视觉障碍度量以改善视力的视力改善方法，所述方法包括以下步骤：
利用附接至所述用户或附接在所述头戴式显示器上的相机或摄像机摄录身边的真实生活环境；以及
根据测量出的所述用户的视觉障碍，从实时摄录的影像中预测由于视力衰退而使得所述用户于视觉上无法察觉的真实生活中身边的物体。
15.如权利要求14所述的视力改善方法，还包括以下步骤：
利用深度相机摄录及测量所述真实生活中身边的物体的三维深度，以增强预测所述无法察觉的物体的精确度。
16.如权利要求14所述的视力改善方法，还包括以下步骤：
实时生成与摄录到的真实生活环境相似的增强现实环境，并于其中加入附加的虚拟现实物体，作为帮助所述用户察觉所述真实生活环境中的物体的提示。
17.如权利要求14所述的视力改善方法，还包括：
根据对所述无法察觉的真实生活物体的预测，修改被摄录的真实生活环境影像的亮度水平和被摄录的真实生活物体的对比度水平；以及
利用修改的亮度和对比度生成与被摄录的真实生活环境相似的增强现实环境。

说明书全文

利用虚拟现实的视觉障碍检测系统

背景技术

[0001] 在临床医学中评估视觉功能对日常生活活动的影响一直都面临挑战。临床诊疗中评价视觉功能的主要依据为视敏度和视野测试。虽然还有其他可能影响视觉功能的功能指标，例如对比敏感度、色觉和立体感，但是日常的眼睛检查并不会对这些功能指标进行测试。另外，视敏度、视野和其他视觉功能指标如何转化为不同程度的阻碍日常生活活动的视觉障碍是未知的。目前没有能评估与眼疾患者或视障人士的日常生活活动直接关联的视觉功能的客观临床测试。

[0002] 有视觉障碍的患者在进行日常活动时(例如，在街道中行走、拾级而上或拾级而下、找出感兴趣的物件等)会遇到困难。有些患者的中央视力虽然保持完好，但周边视觉却严重受损。有些患者尽管白天视力相对正常，但是夜间视觉可能有严重障碍。

[0003] 本发明的实施方式单独地和整体地解决这些及其他问题。

发明内容

[0004] 本发明的实施方式提供用于视觉障碍检测系统的技术，该系统采用虚拟现实以基于日常生活活动来评估患者的视觉功能。本发明的实施方式设计为评价并测量人在具有不同亮度水平和对比度水平的不同VR环境中模拟多种光照条件下的日常生活活动、完成日常任务的功能。记录诸如完成任务所需的时间、在VR环境中与VR物体碰撞的次数、碰撞的角度和速度、碰撞的VR物体的大小、色彩强度和对比度水平等的功能数据以计算功能分数。然后，可使用这些功能分数来量化视觉功能以用于评估、分级和监测人的视觉障碍。

[0005] 虚拟现实(VR)平台能够整合对视觉功能的不同元素(例如，视敏度、视野、对比敏感度、色觉、立体感等)的测试，提供新的范例以测量并监测多种眼部疾病和神经障碍中的视觉障碍。基于日常生活活动的视觉功能评估能够提供任何视觉障碍对患者日常生活的影响的直接的和临床相关的测量。通过模拟用于评价视觉障碍的日常活动，临床医生能够从患者的角度更好地了解视觉缺陷如何影响他们的日常活动和生活品质。这实现了对多种眼部疾病的更好的临床管理。

[0006] 根据一些实施方式，用于视觉障碍检测的过程可包括生成具有虚拟现实物体的虚拟现实环境中的虚拟现实模拟，其中虚拟现实模拟对真实生活活动进行模拟以测试用户的视觉反应。运行该过程的系统可包括视觉障碍检测系统，该视觉障碍检测系统具有头戴式显示设备、通信地联接至头戴式显示设备的传感器系统、和与传感器系统和显示器通信地联接的具有处理器的计算设备。该过程还可包括将虚拟现实模拟显示在头戴式显示器上，以及在虚拟现实模拟期间通过传感器系统监测用户的自主性反应和非自主性反应。可基于用户对虚拟现实模拟的自主性反应和非自主性反应来计算视觉功能分数，并且可基于该功能分数确定用户的视觉障碍程度和度量。附图说明

[0007] 图1示出了根据一些实施方式的虚拟现实平台。

[0008] 图2示出了根据一些实施方式的视觉障碍检测系统。

[0009] 图3示出了根据一些实施方式的用于测量视觉障碍的算法的示例性工作流。

[0010] 图4示出了根据一些实施方式的虚拟现实环境中的虚拟现实模拟的示例。

[0011] 图5示出了根据一些实施方式的、来自日间虚拟现实模拟对正常受试者和青光眼患者的连续的屏幕抓图。

[0012] 图6示出了根据一些实施方式的、来自夜间虚拟现实模拟对正常受试者和青光眼患者的连续的屏幕抓图。

[0013] 图7示出了根据一些实施方式的用于检测和测量视觉障碍的过程的流程图。

[0014] 图8A示出了根据一些实施方式的、从超市货架识别并选择物体的虚拟现实模拟。

[0015] 图8B示出了根据一些实施方式的、从超市货架识别并选择物体的另一虚拟现实模拟。

[0016] 图9A示出了根据一些实施方式的、拾级而上和拾级而下的虚拟现实模拟。

[0017] 图9B示出了根据一些实施方式的、拾级而上和拾级而下的另一虚拟现实模拟。

[0018] 图10A示出了根据一些实施方式的、在挤满行人和车辆的城市区域中行走的虚拟现实模拟。

[0019] 图10B示出了根据一些实施方式的、在挤满行人和车辆的城市区域中行走的另一虚拟现实模拟。

[0020] 图10C示出了根据一些实施方式的、在挤满行人和车辆的城市区域中行走的又一虚拟现实模拟。

[0021] 图11示出了根据一些实施方式的、黑夜里在挤满行人和车辆的城市区域中行走的虚拟现实模拟。

具体实施方式

[0022] 本发明的实施方式提供用于视觉障碍检测系统的技术，该系统采用虚拟现实以基于虚拟现实环境中模拟的真实活动来评估患者的视觉功能。可利用虚拟现实模拟多种日常活动，以用于测量视觉障碍。模拟的日常活动可包括在繁忙街道上行走、拾级而上或拾级而下、驾驶车辆以及在环境中找出感兴趣的物件，例如架子上的物体等。模拟这些日常生活活动是因为这些活动是具有眼疾或神经障碍的患者可能遇到问题的常见场景。例如，具有管状视力的患者在繁忙街道上行走时，尽管他们实际上具有相对良好的中央视力，仍经常因频繁地撞到物体或人而遭遇困难。在避免跌倒或与迎面而来的人碰撞的情况下拾级而下对于具有较差的视野缺损的患者也构成了很大顾虑。随着虚拟现实测试环境的标准化，视觉功能(例如，在指定距离穿越障碍物所需的时间；撞到障碍物的碰撞次数等)能够客观地被量化。这允许视觉障碍的客观测量、分级和监测的提升。

[0023] 图1示出了根据一些实施方式可在视觉障碍检测系统中使用的虚拟现实平台的示例。如图所示，虚拟现实平台可包括由用户穿戴的头戴式显示器(HMD)单元110。HMD 110可用于为穿戴HMD 110的用户投射具有虚拟物体的三维虚拟现实(VR)环境。在一些实施方式中，HMD 110可包括具有显示屏幕和通过有线或无线连接通信地联接至外部计算设备(例如，计算机、智能电话、平板电脑、游戏控制台等)的一个或多个图形转换单元的头戴式耳机，并且VR环境可来源于外部计算设备并投射到HMD 110的显示屏幕上。在一些实施方式中，HMD 110可包括具有配置成与外部设备接合的架或支架的头戴式耳机。头戴式耳机可包括将头戴式耳机电连接至外部设备的连接器。头戴式耳机可包括附加的电池以扩展安装的外部设备的电池寿命，并且可包括一个或多个有用的图形处理单元以增强安装的外部设备的图形化性能。在一些实施方式中，HMD 110可以是与一个或多个计算单元(包括处理器、存储器等)、一个或多个图形处理单元、电池和显示屏幕集成的一体式头戴式耳机，并且VR环境可由存储在HMD 110的存储器中的程序生成。

[0024] 图2示出了根据一些实施方式的视觉障碍检测系统200的框图。视觉障碍检测系统200可包括彼此通信地联接的头戴式显示器(HMD)单元210、传感器系统220和计算设备230。
尽管在图2中这些组件示出为分开的组件，但是应理解，这些组件中的任何一个的某些或全部功能能够与视觉障碍检测系统200中的另一组件集成。

[0025] HMD 210可以是例如HMD 110的立体头戴式显示器，并且可包括一个或多个图形处理单元212或图形转换单元以及显示器214，显示器214显示并渲染具有虚拟现实物体的虚拟现实环境中的虚拟现实模拟，以模拟真实生活活动(例如，一个人的日常生活活动)。使用虚拟现实模拟根据用户的反应来测试穿戴HMD 210的用户的视觉功能，以用于测量、分级并监测视觉障碍。与传感器系统220联接的HMD 210使用户能够与投射的VR环境交互，并通过虚拟现实模拟行走。VR环境中的虚拟现实元素可参照虚拟现实模拟期间的用户的反应而实时更新。

[0026] 在一些实施方式中，视觉障碍检测系统200可包括与计算设备230和HMD 210通信地联接的一个或多个输入设备(例如，键盘、游戏控制器、鼠标、指示器等)，以允许用户控制虚拟现实模拟中的移动。HMD 210还可包括音频输出以提供引导并提醒穿行于VR环境中的虚拟现实模拟的用户的指令。用户与VR环境之间的交互还可通过输出设备向用户生成反馈。例如，经由控制器传输的声音或触觉振动可发送至用户以信令与VR环境中的虚拟现实物体的碰撞事件。

[0027] 如上所述，在一些实施方式中，HMD 210可具有其自身的处理能力和存储内存，使得虚拟模拟可本地存储于HMD 210，或者生成虚拟模拟的程序可本地存储在HMD 210上并执行为创建虚拟模拟。在一些实施方式中，虚拟模拟可来源于外部设备(例如，计算设备230)，并且外部设备能够可选地安装在HMD 210上。在这种实施方式中，HMD210可起到副显示设备的作用，或者HMD 210可具有其自身的图形处理能力以增强外部设备的图形化性能(例如，提升分辨率和/或帧速率以增强虚拟现实模拟的真实感)。

[0028] 可生成并显示在HMD 210上的虚拟现实模拟的示例可包括日常生活活动，例如：(1)在不与其他行人碰撞的情况下在繁忙的街道中行走；(2)在不撞到障碍物的情况下拾级而上或拾级而下；(3)在繁忙的道路上从位置A行车至位置B；(4)找出架子上的感兴趣的物件等。在一些实施方式中，虚拟现实模拟中的虚拟现实物体包括VR环境中的一个或多个静止的物体(诸如静止的柱子或路障)和/或在虚拟现实环境中移动的一个或多个动态物体(诸如道路上的其他行人或其他车辆)。虚拟现实物体的对比度水平或虚拟现实模拟的亮度水平还可调整以模拟不同的照明条件。例如，尽管某些用户在白天具有相对正常的视力，但是在夜间这些用户的视力可能严重减弱。系统被设计为评价并测量用户在具有不同的亮度水平和对比度水平的不同VR环境中模拟各种光照条件下的日常生活活动、完成日常活动的表现，从而允许在不同的光强度水平下评价视觉障碍的严重程度。

[0029] 在一些实施方式中，虚拟现实模拟和VR环境还可适合于模拟专门针对特定用户的真实生活环境。例如，可在用户进行他/她的日常生活时利用用户穿戴的相机来摄录特定用户的用户特定真实生活环境，并且可从通过相机摄录的图像数据生成具有与来自用户特定真实生活环境的物体相似的虚拟物体的VR环境。作为示例，可摄录用户在用户家中拾级而上和拾级而下的视频，并且可生成模仿用户家中的阶梯(例如，台阶的数量、台阶高度和转弯的数量等)的VR环境，以用于虚拟现实模拟。通过这种方式，能够基于用户的真实生活环境精确地评估视觉障碍对特定用户的实际影响。

[0030] 传感器系统220可包括若干传感器以监测并记录虚拟现实模拟期间用户的自主性反应(例如，移动和动作)和非自主性反应(例如，生物读数)。在一些实施方式中，传感器中的某些或全部可集成到HMD210中，和/或传感器中的某些或全部可放置于用户身体的适当部位上。传感器系统220可包括诸如陀螺仪、加速度计和/或磁强计的运动传感器222以感测用户的自主性反应。这些反应例如可包括头部、诸如胸或腰部的躯干、眼球以及上肢和下肢的定向和移动。在一些实施方式中，可使用由运动传感器222检测到的移动来控制虚拟现实模拟中的移动。在一些实施方式中，可分别使用由运动传感器222检测到的运动和定向来调整虚拟现实模拟中的移动方向和观察方向。例如，附接在用户腰部上的传感器可用作虚拟现实模拟中对移动方向的参考，而嵌入HMD 210中的传感器可用作对观察方向的参考。该设置能够提升用户的真实感并且能够减少晕动症。传感器系统220还可包括生物传感器以感测用户的非自主性反应。这种生物传感器的示例可包括血压传感器、心率传感器、用于检测动眼反应和扩张或瞳孔大小变化的光学传感器(例如，红外传感器)、和/或用于检测脑电活动的脑电图(EEG)传感器。在一些实施方式中，如果用户在虚拟现实模拟中使用任何输入设备来控制移动，则通过输入设备接收的命令以及用户对虚拟现实模拟作出反应的任何发声均可被记录。

[0031] 计算设备230(例如，计算机、智能电话、平板电脑、游戏控制台等)可包括一个或多个处理器232和存储程序指令的存储器，以基于用户对虚拟现实模拟的自主性反应和/或非自主性反应以及从传感器系统220传递至计算设备230的传感器读数，计算功能分数234并确定视觉障碍度量236。在一些实施方式中，对用户的视觉障碍执行分析的计算设备230可以是与虚拟模拟的来源设备相同的设备，或者可以是不同的设备以使得虚拟现实模拟的生成和视觉障碍的分析在分开的设备上执行。计算设备230可利用诸如完成任务所需的时间、在VR环境中与虚拟现实物体的碰撞次数(例如，如柱子和路障的静止障碍物和诸如其他行人和车辆的移动障碍物)、碰撞的角度和速度、虚拟现实模拟中的亮度水平、虚拟现实物体的对比度水平、自主性反应追踪数据和/或非自主性反应追踪数据的参数，来计算用户的视觉功能分数。然后，可使用这些功能分数来确定用户的视觉障碍度量并量化视觉功能以用于评估、分级并监测视觉障碍。在一些实施方式中，视觉障碍度量确定过程可对学习效应或用户予以考虑。例如，可通过在同一虚拟现实环境中重复测试时能够改变虚拟现实物体的位置以减少学习效应对确定过程的影响。在一些实施方式中，可对虚拟现实测试环境进行标准化，并且可以客观地量化视觉功能(例如，完成任务所需的时间)。这允许对视觉障碍进行客观评估并对其随着时间的发展进行监控。在一些实施方式中，可收集视觉障碍的参数和功能分数并将其上传至云服务器中的数据库以用于实时记录、计算、报告并监测用于视觉障碍评估的视觉功能分数。功能分数可根据数据库中的用户和用户表现进行分类。在一些实施方式中，可利用深度学习和人工智能来改善视觉障碍度量的确定。功能分数可显示在诸如计算机、移动计算设备或智能电话的计算设备上。服务器可将结果远程地发送给临床医生以监控用户的视觉障碍的发展。临床医生或者眼部护理提供者可通过对云服务器的互联网访问，远程地监测用户的视觉功能分数并相应地制定治疗方法上的任何更改。

[0032] 图3示出了根据一些实施方式的用于测量视觉障碍的算法的示例性工作流。在立体头戴式显示器中显示VR元素，并且要求穿戴HDM的用户跟随指令完成任务(例如，在不与障碍物或行人发生碰撞的情况下从位置A行走至位置B、在不与障碍物或行人发生碰撞的情况下拾级而上或拾级而下、从位置A行车至位置B、找出架子上的感兴趣的物件等)。指令可由音频或视觉提示提供。在一些实施方式中，程序中可包括测试之前在具有如内置指令的标准动画和音频的虚拟现实模拟中的控制练习。例如，这能够最大限度地减少学习中由于不同的技术人员向用户提供不充分指令而导致的误差。记录用户响应于模拟的VR环境的自主性反应和非自主性反应。自主性反应例如可包括头部、身体、眼球和上肢及下肢的移动以及发声。非自主性反应例如可包括动眼反应、瞳孔大小、血压、心率和脑电图的变化。与VR环境的交互可通过输出设备产生反馈。例如，经由控制器传输的声音或触觉振动可发送至用户以信令与VR环境中的VR物体发生碰撞。通过输入设备或监测传感器来检测并监测用户的反应。该反应传递至HMD的计算设备或计算单元。测量包括用户完成任务所需的持续时间、与受试者发生碰撞的静止障碍物(例如，柱子、路障)和移动障碍物(例如，行人、车辆)、碰撞的角度和碰撞的速度的参数，以计算用于测量、分级和监测视觉障碍的功能分数。

[0033] 图4示出了根据一些实施方式的用于模拟在花园中穿行的VR环境的示例。在该示例中，穿行路程包括在长达70余米的范围内找出在不同位置的10个道闸。测试受试者被要求在不与障碍物发生碰撞的情况下通过将头部和身体转向正确方向以默认速度(60米每分钟)步行穿过闸门(2米宽)。图5示出了来自日间虚拟现实环境对正常受试者和青光眼患者的连续的屏幕抓图。在测试期间，视野异常的青光眼患者与虚拟现实障碍物碰撞5次，而正常受试者在未与任何虚拟现实物体发生碰撞的情况下在更短的时间内完成了测试。也可生成夜间虚拟现实环境。图6示出了来自夜间虚拟现实环境对正常受试者和青光眼患者的连续的屏幕抓图。值得注意的是，在夜间完成测试所需的时间和在测试期间撞击障碍物的次数方面，青光眼患者的表现比正常受试者差很多。该示例展示出能够使用虚拟现实模拟对具有视觉缺陷的患者进行临床测试。

[0034] 下面将更加详细地描述虚拟现实模拟的附加示例。在任何VR环境中，由于视觉功能和视觉障碍可能根据环境的照明条件而改变，因此可在模拟不同照明条件的不同的亮度水平和对比度水平下执行虚拟现实模拟。

[0035] 示例1-在繁忙的城市区域中行走

[0036] 在一些实施方式中，模拟了繁忙的城市区域中的静止物体(例如，路灯柱、垃圾桶)和动态物体(例如，行人、车辆)。受试者被要求在不与VR环境中的任何物体或人碰撞的情况下从位置A行走至位置B。在VR模拟期间，通过HMD中的运动传感器实时测量并监测头部和/或身体的运动数据。受试者通过改变头部和/或身体定向在VR环境中行走，并且可通过手中的控制器或下肢的运动传感器调整行走速度。受试者与VR环境直接交互，并且VR图像响应于受试者的反应而改变。当与VR物体发生碰撞时，程序可向受试者生成视觉提示和/或音频提示形式的提醒。程序检测并测量受试者与VR物体之间的碰撞的次数、碰撞的角度和速度、碰撞的VR物体的大小、颜色和/或对比度，并且记录完成行走所需的持续时间以计算用于测量、分级并监测视觉障碍的功能分数。

[0037] 可在自定义的VR环境(花园、百货商店、超市等)中执行类似的行走功能任务，以利用相似参数(例如，完成旅程的所需时间、碰撞的次数、碰撞的角度和速度等)来模拟用于测量视觉障碍的特定人的日常生活活动。

[0038] 示例2-拾级而上或拾级而下

[0039] 在一些实施方式中，受试者被要求在不与路径上的障碍物或人碰撞的情况下步行向上或向下若干级台阶。在VR模拟期间，通过HMD中的运动传感器实时测量并监测头部和/或身体的运动数据。受试者通过改变头部和/或身体的定向在VR环境中行走，并且行走速度可利用控制器或下肢的运动传感器进行调整。受试者与VR环境直接交互，并且VR图像响应于受试者的反应而改变。当与VR物体发生碰撞时，程序可向受试者生成视觉提示和/或音频提示形式的提醒。程序检测并测量受试者与VR物体之间的碰撞的次数、碰撞的角度和速度、受试者在VR环境中的移动方向(向上、向前或向下)、碰撞的VR物体的大小、色彩强度和/或对比度，并且记录完成行走所需的持续时间以计算用于测量、分级并监测视觉障碍的功能分数。

[0040] 示例3-行车

[0041] 在一些实施方式中，程序提供在VR环境中包含静止物体(例如路障、灯柱、树、路边的车等)和动态物体(例如，穿越道路的车辆、行人、公路维修工、迷途及流浪动物等)的行车模拟。可模拟处于不同的交通状况和天气状况(例如，公路、城市交通、爬坡、下坡、暴雨等)下的VR环境。受试者被要求在不与VR环境中的任何物体发生碰撞的情况下从位置A行车至位置B。在VR模拟期间，利用HMD中的运动传感器实时测量并监测头部和/或身体的运动数据。受试者可转动车轮控制器来改变行走的方向，并且行走速度可通过加速器和制动控制器来改变。受试者与VR环境直接交互，并且VR图像响应于受试者的反应而改变。当与VR物体发生碰撞时，程序将向受试者生成视觉提示和/或音频提示形式的提醒。程序检测并测量受试者与VR物体之间的碰撞的次数、碰撞的角度和速度、碰撞的VR物体的大小、颜色和/对比度，并且记录完成行走所需的持续时间以计算用于测量、分级并监测视觉障碍的功能分数。

[0042] 示例4-找出感兴趣的物件

[0043] 在一些实施方式中，受试者被要求从架子上或从含有物体的混合物的容器中找出感兴趣的物件(例如，书、瓶子、针等)。在VR模拟期间，利用HMD中的运动传感器实时测量并监测头部和/或身体的运动数据。受试者使用控制器或由运动传感器检测到的手势和身体姿态来找出目标物体。受试者与VR环境直接交互，并且VR图像将响应于受试者的反应而改变。使用完成任务所需的持续时间和正确找出项目的数量来生成用于测量视觉障碍的视觉功能分数。

[0044] 图7示出了根据一些实施方式的用于检测和测量视觉障碍的过程700的流程图。在一些实施方式中，过程700可实施为作为计算机程序的一部分的计算机可读代码，并且可体现在非暂时性计算机可读介质中。

[0045] 在框702处，生成具有虚拟现实物体的虚拟现实环境中的虚拟现实模拟。虚拟现实模拟可模拟用于测试用户的视觉反应的用户活动。虚拟现实模拟例如可以是在繁忙的城市区域中行走、步行向上或向下一段或多段楼梯、驾驶车辆和找出一个或多个感兴趣的物件等。

[0046] 在框704处，将虚拟现实模拟显示在头戴式显示器上。在一些实施方式中，可调整显示在头戴式显示器上的虚拟现实模拟的对比度水平或亮度水平中的至少一个以模拟不同的照明条件。

[0047] 在框706处，可在虚拟现实模拟期间通过传感器系统监测并记录用户的自主性反应和非自主性反应。例如，可使用运动传感器感测用户的眼部运动、头部运动、肢体运动或身体运动等中的一个或多个，并且可使用生物传感器感测血压、心率、眼部扩张或脑电活动等中的一个或多个。

[0048] 在框708处，可基于用户对虚拟现实模拟的自主性反应和非自主性反应计算功能分数。在框710处，可基于功能分数确定视觉障碍度量。在一些实施方式中，可基于由虚拟现实模拟记录的一个或多个测量来确定视觉障碍度量，所述一个或多个测量例如为在虚拟现实模拟中完成任务的所需时间、在虚拟现实模拟中与虚拟现实物体的碰撞次数、在虚拟现实模拟中与虚拟现实物体的碰撞角度和/或速度、与事件相关的VR物体的大小、颜色和/或对比度、和/或在虚拟现实模拟中正确找出感兴趣的物件的数量。

[0049] 在一些实施方式中，可通过研发使不同的功能分数的组合集成的多变量统计分析模型来确定视觉障碍度量，例如，通过在计算完成任务所需的持续时间与用户的测量视野指数之间的关联性时考虑虚拟现实模拟中的碰撞事件的次数来确定视觉障碍度量。在一些实施方式中，可利用诸如深度学习或机器学习的涉及人工智能的技术来确定视觉障碍度量。

[0050] 在一些实施方式中，在诊所或者在远程位置(例如，家、办公室)利用VR模拟所评价的用户的视觉功能数据可存储在VR计算设备上或者上传至远程服务器。然后，可对这些数据进行处理以用于记录、计算、报告和监测视觉功能分数。患者和/或他们的护理提供者可通过互联网访问远程地测量并监测他们的视觉功能分数。

[0051] 在一些实施方式中，真实世界中的周围环境可通过HMD的一个或多个相机摄录并实时地投射在HMD上，类似于在数码相机的屏幕上的实时预览，但是HMD中的投射场景可以是三维的。在投射到HMD之前，还可根据存储在数据库中的经测试的视觉功能和视觉障碍度量实时分析所摄录的环境，以预测可能没有被用户注意到的物体。可修改被摄录环境的亮度和/或对比度水平以增强真实生活环境的能见度。可将VR物体添加并投射至所摄录的真实生活环境以向用户提供视觉辅助。例如，这能够通过增加楼梯的亮度并增强楼梯上物体的对比度来帮助用户在家或在地铁站拾级而上或拾级而下。还可在与邻近的物体碰撞之前通过虚拟现实辅助来提醒用户。

[0052] 由此，可通过使用由视觉障碍检测系统确定的视觉障碍度量改善用户的视力。视力改善技术可包括利用附接至用户或头戴式显示器上的相机来摄录真实生活环境、并根据测量出的用户视觉障碍来预测由于视力衰退而使得用户的视力不能检测到的无法察觉的真实生活物体。可利用深度相机来摄录真实生活物体的深度，以增强根据用户的视觉障碍来预测无法察觉的真实生活物体的精确度。可通过附加的虚拟现实物体生成与摄录的真实生活环境相似的增强现实环境，其中附加的虚拟现实物体作为帮助用户检测真实生活物体的提示而显示在顶部。在一些实施方式中，可根据对无法察觉的真实生活物体的预测来修改所摄录的真实生活环境的亮度水平和所摄录的真实生活物体的对比度水平，并且利用经修改的亮度和对比度生成与摄录的真实生活环境相似的增强现实环境以辅助用户的视力。

[0053] 因此，已描述了在视觉障碍检测系统中采用虚拟现实的技术。虚拟现实的应用主要局限于游戏行业。迄今为止，未对虚拟现实作为用于临床上评价视觉障碍的平台进行检验。过去，未出现过用于与日常生活活动相关的视觉障碍的临床测量的商业上可用的器械。生成用于评价视觉障碍的虚拟现实环境的技术能够影响对视觉路径造成影响的多种眼疾和神经障碍的临床管理。具体地，相比于现有的临床参数，如视敏度和视野测度，与患者的日常生活活动相关的视觉功能测量将提供更加直接且临床相关的、反映视觉障碍及其对生活品质的影响的指标。由于能够模拟用于评价视觉功能的日常活动，临床医生能够从患者的角度更好地了解视觉缺陷如何影响日常活动。本文中所描述的技术可允许临床医生能够制定适当的治疗、支持以及视觉辅助以改善患者的视觉质量和生活品质。不同于许多用于测试视力的临床设备，虚拟现实平台还是可携带的。因此，在家监测视力和视觉功能是可行的。对于一些慢性眼疾，如青光眼(不可逆转的失明的主要原因)，它们的特征在于具有相对保持完好的中央视力但视野逐渐恶化并收缩直到最后阶段。由于疾病的恶化会在无明显症状的情况下发生，因此向青光眼患者的管理人员建议每3至4个月对视野进行定期监测。如本文中所描述的用于在家监测视觉功能的虚拟现实平台不仅能够方便于早期检测疾病发展(可能需要增加治疗)，还能够降低患者或健康护理提供者为视野测试而频繁访问诊所而承担的费用。

[0054] 图8A至图11示出了虚拟现实模拟的附加示例。在一些实施方式中，虚拟现实模拟对真实生活中的日常活动进行模拟，包括：(i)从超市货架识别并选择物体；(ii)拾级而上并拾级而下；以及(iii)在挤满行人和车辆的城市区域中行走。

[0055] 图8A和图8B示出了被测试的受试者在VR模拟中首先从超市货架识别待寻找的目标物体，然后从超市货架选择目标物体。图9A和图9B示出了被测试的受试者被要求在VR模拟中避免与通往目的地的路上的任何障碍物碰撞的同时拾级而上并拾级而下。图10A、图10B和图10C示出了被测试的受试者在挤满行人和车辆的城市区域中行走，同时被要求避免与障碍物和其他行人相撞且在不被车流中的车辆撞击的情况下穿越道路。

[0056] 在一些实施方式中，在不同的光强度水平下针对相同的日常活动模拟对用户进行测试。图11示出了在城市区域中行走的被测试的受试者，该城市区域类似于图10A、图10B和图10C中的模拟设置，而VR环境的光强度更改为暗光。

[0057] 在一些实施方式中，对收集的数据进行分析以计算功能分数。在一些实施方式中，进一步将收集的数据进行组合以执行用于确定被测试的受试者的视觉障碍度量的多变量统计分析和/或集群分析。

[0058] 本文中所描述的计算设备、计算机、服务器和类似装置中的任何一个可利用与存储有代码或指令的存储器联接的一个或多个处理器实施，当被一个或多个处理器执行时，代码或指令使得设备执行本文中所描述的方法和过程中的一个或多个。用于包括本文中所描述的代码或代码的一部分的存储器、存储介质和计算机可读介质可包括本领域已知的或所使用的任何适当的介质，所述介质包括存储介质和通信介质，例如但不限于以任何方法或技术实现的、用于存储和/或传输诸如计算机可读指令、数据结构、程序模块或其他数据的易失性和非易失性、可移除和不可移除介质，包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光存储、磁带、磁盘存储或其他磁存储设备、数据信号、数据传输或能够用于存储或传输期望的信息并能够由计算机访问的任何其他的介质。基于本文中所提供的公开内容和教导，本领域普通技术人员将理解实施多种实施方式的其他方式和/或方法。

[0059] 以上描述为说明性的而不是限制性的。通过回顾上述公开内容，多种实施方式的诸多变型可对本领域技术人员变得显而易见。因此，本发明的范围可以不参照上述描述而确定，相反可通过参照当前权利要求以及其完整的范围或等同来确定。

[0060] 本文中所描述的方法和过程本质上是示例性的，并且根据一些实施方式的方法和过程可以以不同于本文中所描述的顺序执行步骤中的一个或多个，包括未具体描述的一个或多个附加步骤、省略一个或多个步骤、将一个或多个步骤组合为单个步骤、将一个或多个步骤划分为多个步骤，和/或它们的任意组合。

[0061] 可理解，上文中所描述的某些实施方式可利用计算机软件以模块化方式或集成方式实施为控制逻辑的形式。基于本文中所提供的公开内容和教导，本领域普通技术人员可知晓并理解利用硬件和硬件与软件的组合实施本发明的其他方式和/或方法。

[0062] 本申请中所描述的任何软件组件或功能可实施为由处理器使用例如传统技术或面向对象的技术以任何适当的计算机语言(例如，Java、C++、C#、Python或Perl)执行的软件代码。软件代码可在例如随机存取存储器(RAM)、只读存储器(ROM)、诸如硬盘或软盘的磁介质或者诸如CD-ROM的光介质的计算机可读介质上存储为一系列指令或命令。任何这种计算机可读介质可位于系统或网络内部的单个计算装置上或装置内，并且可存在于不同的计算装置上或装置内。

[0063] 在不脱离本发明的范围的情况下，任何一个实施方式的一个或多个特征可与任何其他实施方式的一个或多个特征结合。

[0064] 除非存在具体相反的指示，否则“一(a)”、“一(an)”或“所述(the)”的表述旨在表示“一个或多个”。

标题	发布/更新时间	阅读量
监测人的日常生活活动	2020-05-11	858
一种连体式的套装脸盆	2020-05-14	947
一种茶桶	2020-05-12	462
衣架	2020-05-14	834
活动测量系统	2020-05-13	534
一种目标活动提醒的方法及装置	2020-05-12	859
鞋	2020-05-15	998
用于监测人的日常生活活动的系统和方法	2020-05-11	170
用于捕获和呈现具有认知障碍的对象的生活时间信息的系统和方法	2020-05-12	829
用于监测人的日常生活的活动的系统和方法	2020-05-11	882

利用虚拟现实的视觉障碍检测系统

利用虚拟现实的视觉障碍检测系统

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：