实时增强现实活动反馈专利检索-视觉反馈医疗设备专利检索查询-专利查询网

实时 增强现实活动反馈

阅读：849发布：2020-05-13

专利汇可以提供实时增强现实活动反馈专利检索，专利查询，专利分析的服务。并且在实时增强现实 (AR)活动反馈的各方面，一种系统包括可穿戴传感器以监控参与活动的人的肌肉骨骼状态。传感器设备中枢包括活动比较模块，该活动比较模块被实现为在人参与活动的会话时从可穿戴传感器接收传感器信息。活动比较模块可以从接收的传感器信息确定活动数据，包括人如何执行活动的第一形态。传感器设备中枢的活动比较模块还被实现为将执行活动的人的第一形态与活动的代表性形态进行比较，并且启动实时比较反馈，该反馈是对执行活动的人的第一形态如何与活动的代表性形态相比较的指示。，下面是实时增强现实活动反馈专利的具体信息内容。

权利要求

1.一种用于实时增强现实(AR)活动反馈的方法，所述方法包括：
当人参与活动时，记录来自可穿戴传感器的传感器信息；
根据所述记录的传感器信息来确定活动数据，所述活动数据包括所述人如何执行所述活动的形态；
比较执行所述活动的所述人的形态与执行所述活动的正确形态；以及
提供包括所述活动数据以及如何改善执行所述活动的所述人的形态的指示的实时反馈。
2.根据权利要求1所述的方法，其中，所述实时反馈被提供为视觉反馈、听觉反馈和触觉反馈中的至少一个。
3.根据权利要求2所述的方法，其中，所述视觉反馈包括所述活动数据的图形表示。
4.根据权利要求2所述的方法，其中，所述视觉反馈包括表示执行所述活动的所述人的虚拟形象或者用于将执行所述活动的所述人的形态与执行所述活动的所述正确形态进行所述比较的所述虚拟形象中的至少一个。
5.根据权利要求2所述的方法，其中，所述听觉反馈包括用于改善执行所述活动的所述人的形态的可听指令。
6.根据权利要求2所述的方法，其中，所述触觉反馈包括用于改善执行所述活动的所述人的形态的触觉指示。
7.一种用于实时增强现实(AR)活动反馈的方法，所述方法包括：
当人参与活动的会话时，记录来自可穿戴传感器的传感器信息；
根据所述记录的传感器信息来确定所述人如何执行所述活动的所述会话的形态；
当所述人参与所述活动的后续会话时，记录来自所述可穿戴传感器的传感器信息；
根据所述记录的传感器信息，确定所述人如何执行所述活动的所述后续会话的另外形态；
比较执行所述活动的所述后续会话的所述人的所述另外形态与执行所述活动的所述会话的所述人的形态；以及
提供比较作为实时反馈。
8.根据权利要求7所述的方法，其中，提供所述比较包括：提供可听反馈，所述可听反馈指示由所述人执行的所述活动的所述后续会话是否是所述人执行的所述活动的所述会话上的改善。
9.根据权利要求7所述的方法，其中，提供所述比较包括：显示表示执行所述活动的所述会话的所述人的第一虚拟形象与表示执行所述活动的所述后续会话的所述人的第二虚拟形象大致同步。
10.一种用于实时增强现实(AR)活动反馈的系统，所述系统包括：
可穿戴传感器，所述可穿戴传感器监控参与活动的人的肌肉骨骼状态；以及传感器设备中枢，所述传感器设备中枢包括活动比较模块，所述活动比较模块被配置为：
当所述人参与所述活动的会话时，从所述可穿戴传感器接收传感器信息；
根据所述接收的传感器信息，确定包括所述人如何执行所述活动的形态的活动数据；
比较执行所述活动的所述人的形态与所述活动的代表性形态；以及
启动实时比较反馈，所述实时比较反馈是执行所述活动的所述人的形态与所述活动的所述代表性形态如何相比较的指示。
11.根据权利要求10所述的系统，其中，所述可穿戴传感器包括心血管传感器，所述心血管传感器监控参与所述活动的所述人的心血管状态。
12.根据权利要求11所述的系统，其中，所述传感器设备中枢包括RFID读取器，并且所述可穿戴传感器包括RFID标签，所述RFID标签被实现为记录执行所述活动的所述人的所述肌肉骨骼状态和所述心血管状态。
13.根据权利要求10所述的系统，其中，所述活动的所述代表性形态是所述活动的正确形态。
14.根据权利要求10所述的系统，其中，所述活动的所述代表性形态是在所述活动的先前会话期间执行所述活动的所述人的形态。
15.根据权利要求10所述的系统，其中，所述活动的所述代表性形态是执行所述活动的至少一个另外的人的形态。
16.根据权利要求10所述的系统，其中，所述传感器设备中枢是移动设备，所述移动设备被配置为提供作为视觉反馈、听觉反馈和触觉反馈中的至少一个的所述实时比较反馈。
17.根据权利要求10所述的系统，其中，所述传感器设备中枢是配备有增强现实(AR)屏幕的一副眼镜以显示虚拟形象的覆盖，所述虚拟形象代表在所述人执行所述活动的真实环境中执行所述活动的所述人。
18.根据权利要求10所述的系统，其中，所述传感器设备中枢包括位置使能跟踪，所述位置使能跟踪被实现为跟踪由所述人执行的所述活动的会话的活动路线，以便所述传感器设备中枢向所述人提供相同的路线用于所述活动的另一个会话，并且提供所述实时比较反馈。
19.根据权利要求10所述的系统，其中，所述活动的所述代表性形态是执行所述活动的先前会话的所述人的形态作为所述人的虚拟形象用于与所述活动的先前会话竞争。
20.根据权利要求10所述的系统，其中，所述活动的所述代表性形态是所述活动的正确形态，所述活动的正确形态被作为正确地执行所述活动的虚拟形象而提供用于与其竞争或齐头并进的所述人。

说明书全文

实时增强现实活动反馈

背景技术

[0001] 传统上，活动跟踪器或健身监控器可用于跟踪人们在参与活动时由人所行走的步数、行进的距离、所获得的高度和燃烧的卡路里。此外，一些跟踪器和监控器可能能够监控人的心率并使用软件应用连接到智能手机或平板电脑以跟踪目标，以及记录跟踪到的信息。然而，传统的活动跟踪器和健身监控器不监控多个分量，例如肌肉活动、骨骼对准、压力、身体倾斜和旋转，以帮助确定人的肌肉骨骼状态。通常，传统的跟踪器和监控器仅提供历史数据，例如，在慢跑时行进的距离或在徒步旅行期间获得的高度。附图说明

[0002] 参考以下附图描述实时增强现实活动反馈的各方面。可以始终使用相同的数字来引用图中所示的类似特征和组件：

[0003] 图1示出了可以实现实时增强现实活动反馈的各方面的示例环境。

[0004] 图2示出了根据本文描述的一个或多个实施方案的用于实时增强现实活动反馈的示例设备。

[0005] 图3示出了根据本文描述的一个或多个实施方案的实时增强现实活动反馈的示例方法。

[0006] 图4示出了根据本文描述的一个或多个实施方案的实时增强现实活动反馈的示例方法。

[0007] 图5示出了可以实现实时增强现实活动反馈的各方面的示例设备的各种组件。

具体实施方式

[0008] 描述了实时增强现实(AR)活动反馈的各方面，并且特征允许向执行活动的人实时提供与人的活动的表现有关的视觉和/或听觉指令作为反馈，以及任何形态(form)的触觉反馈。通常，多个可穿戴传感器的系统可以在执行活动时记录人的肌肉骨骼和心血管状态，并且来自多个可穿戴传感器的传感器数据可以通信地链接到传感器设备中枢(sensor device hub)。可穿戴传感器中的任何一个可以实现为传感器设备中枢，或者可替选地，传感器设备中枢可以实现为与可穿戴传感器分开的设备。传感器设备中枢被设计为使用可穿戴传感器信息来确定执行活动的人的形态，将执行活动的人的形态与活动的代表性形态进行比较，并以视觉、听觉和/或触觉反馈的形态提供该比较作为实时反馈。

[0009] 在实施方案中，传感器设备中枢可以包括射频识别(RFID)读取器，并且可穿戴传感器可以配备有RFID标签或者可以实现为无线传感器。例如，传感器设备中枢可以实现为移动电话，其包括RFID读取器或者作为集成组件或者作为与移动电话一起操作的附件。通常，使用配备有RFID标签的可穿戴传感器的人将执行诸如一种类型的锻炼或物理治疗的活动。然后，配备有RFID读取器的传感器设备中枢可以从与每个可穿戴传感器相关联的RFID标签读取传感器数据，其中，传感器数据包括与人的肌肉骨骼和心血管状态相对应的信息。类似地，传感器中枢设备可以配备有无线传感器读取器或无线电系统，其与执行活动的人所穿戴的无线传感器进行通信以从无线传感器获得传感器数据。

[0010] 在实时增强现实活动反馈的各方面，传感器设备中枢还可以实现活动比较模块，该模块被设计为将执行活动的人的形态(根据传感器数据确定)与正在执行的活动的代表性形态进行比较。然后，活动比较模块可以启动实时活动反馈作为如何改善正在执行活动的人的形态的指示。由传感器设备中枢的RFID读取器从与可穿戴传感器相关联的RFID标签读取的传感器数据提供必要的信息以确定此人如何执行锻炼，例如肌肉活动、骨骼定位、氧气摄入之类。确定执行活动的人的形态并将其与活动的代表性形态进行比较，其中，通常，示例代表性形态是活动的正确形态。启动实时比较反馈，其向执行活动的人指示如何改善或校正他们的形态。实时比较反馈可以是任何形态的视觉、听觉和/或触觉反馈。例如，可以提供表示执行活动的人的虚拟形象(avatar)作为视觉反馈以及对于人在执行活动时如何改善其形态的可听指令。

[0011] 例如，一个人可以在穿着配备有RFID标签的肌肉骨骼和心血管传感器时在健身房锻炼并执行特定的活动，例如进行俯卧撑。当人正在执行俯卧撑时，RFID标签存储与人的肌肉骨骼状态相应的传感器数据。人还可以具有移动电话，该移动电话被实现为配备有RFID读取器的传感器设备中枢，RFID读取器读取传感器数据。根据传感器数据确定执行活动的人的形态，并将其与俯卧撑的正确形态进行比较。当人正在进行俯卧撑时，通过移动设备为此人提供实时反馈。可替选地或另外地，可以将实时反馈提供为任何形态的触觉反馈，诸如直接来自具有振动组件的无线传感器，该振动组件生成触觉指示作为对人的直接反馈。通常，可以从包括无线传感器和移动设备的系统的各种组件中的任何组件生成和/或提供实时反馈。实时反馈可以向人提供信息，让他们知道他们是否正确地进行俯卧撑，如果没有，他们需要做些什么来纠正他们的形态。由于反馈是实时的，因此人能够在进行俯卧撑时监控他们所做的改变，以便从一次俯卧撑到下一次俯卧撑不断地改善他们的形态。

[0012] 如上所述，所提供的实时比较反馈可以是任何形态的视觉、听觉和/或触觉反馈。例如，可以通过移动设备上的扬声器播放关于如何改善人的俯卧撑形态的可听指令。可替选地或另外地，可以在移动设备的显示屏上提供视觉指示。视觉指示可以包括关于如何改善由人执行的俯卧撑的形态的图形数据和/或文本指令。附加地或可替选地，可以显示表示执行俯卧撑的人的虚拟形象和/或显示正确地执行俯卧撑的虚拟形象以进行比较。

[0013] 在实时增强现实活动反馈的各方面，还可以利用位置使能跟踪来实现传感器设备中枢。位置使能跟踪可用于跟踪由人执行的活动的会话的活动路线，以便传感器设备中枢为针对该活动的另一个会话的人提供相同的路线。例如，当一个人进行作为活动的跑步或慢跑时，利用位置使能跟踪实现的传感器设备中枢可以跟踪此人跑的路线和距离。在稍后的时间，传感器设备中枢可以向人以视觉、听觉和/或触觉反馈提供相同的路线和距离，以与另一个跑步会话进行比较。

[0014] 虽然可以在任何数量的不同设备、系统、环境和/或配置中实现实时增强现实活动反馈的特征和概念，但是在以下示例设备、系统和方法的情境中描述了实时增强现实活动反馈的各方面。

[0015] 图1示出了示例环境100，其中，可以实现实时增强现实活动反馈的各方面。示例环境100可以在室外或室内的任何真实环境(例如，在海滩上或在健康俱乐部内)实现，其中，人可能希望执行任何类型的身体活动，例如锻炼、物理治疗、截肢者康复、与工作相关的重复举起等。示例环境100包括在执行活动的同时具有多个可穿戴传感器的人102，该活动在该示例中是慢跑。可穿戴传感器可以实现为但不限于任何类型的肌肉骨骼传感器(例如，手臂传感器104、手腕定位传感器106和腿部传感器108)以及心血管传感器(例如，心脏传感器110)，其意欲用于获取与人的活动有关的数据。例如，可穿戴传感器实时获取与肌肉活动、骨骼位置和对准、身体运动和压力、心率、氧气摄入相关的数据以及与人的身体位置和状态相关的任何其他传感器数据。虽然单独示出，但是传感器可以替选地或另外地以其他配置实现，例如单个全身套装或配备有一个或多个传感器的若干衣物。此外，为了帮助截肢者康复，可以将传感器内置到假肢中以实现实时增强现实活动反馈。

[0016] 可穿戴传感器可以配备有无线的基于无线电的标签，例如射频识别(RFID)标签。通常，RFID标签是小型电子标签，其将传感器数据和其他传感器信息记录在存储器中。例如，用RFID标签112实现手腕定位传感器106，该RFID标签112包括存储器，该存储器存储从与RFID标签相关联的可穿戴传感器106获取的传感器数据114。类似地，其他可穿戴传感器可各自配备有相应的RFID标签，用于存储由相关联的可穿戴传感器获取的数据。虽然被描述为RFID标签，但是无线的基于无线电的标签(例如，RFID标签112)可以例如利用LTE、近场通信(NFC)、实时定位系统(RTLS)、BluetoothTM设备和任何其他类型的无线传感器被实现用于各种不同的基于无线电的无线标签信令。例如，可穿戴腿传感器108被实现为无线传感器
116，其包括存储器，该存储器存储从可穿戴腿传感器108获取的传感器数据118。

[0017] 另外，示例环境100包括配备有RFID读取器122(或其他类型的无线传感器读取器)的传感器设备中枢120，该RFID读取器122被实现来发送询问信号作为广播消息，该广播消息请求RFID标签和/或与可穿戴传感器相关联的其他无线传感器返回存储在RFID标签和/或其他无线传感器的存储器中的传感器数据114、118。RFID标签和/或其他无线传感器可以从RFID读取器122或其他类型的无线传感器读取器接收询问信号，然后在124处将传感器数据无线地传送回RFID读取器和/或传感器设备中枢120的其他无线传感器读取器。通常，传感器设备中枢120可以实现为在该示例环境中描述的可穿戴传感器和/或设备中的任何一个或多个。例如，传感器设备中枢120可以被实现或指定为无线传感器116、由人102携带的移动电话126或者可以由人穿戴的增强现实(AR)眼镜128。值得注意的是，增强现实(AR)眼镜128可以单独使用或与移动电话126组合使用以实现传感器设备中枢。术语“人”和“用户”在本文中通常可互换使用，其中，在示例环境100中，具有移动电话126的人102也是移动电话的用户。

[0018] 在该示例中，传感器设备中枢120包括活动比较模块130，其实现所描述的实时增强现实活动反馈的特征。在实施方案中，活动比较模块130可以包括独立的处理、存储器和逻辑组件，其用作与传感器设备中枢120集成的计算和/或电子设备。可替选地或另外地，活动比较模块130可以实现为软件应用，例如可使用传感器设备中枢的处理器或处理系统132执行的计算机可执行软件指令。作为软件应用，活动比较模块130可以存储在计算机可读存储存储器134上，或者使用利用传感器设备中枢实现的任何合适的存储器设备或电子数据贮存器来存储。

[0019] 由传感器设备中枢120实现的活动比较模块130可以在124处接收存储在无线传感器的存储器和/或每个可穿戴传感器的RFID标签中的传感器数据，例如从可穿戴传感器106接收的传感器数据114和从可穿戴传感器108接收的传感器数据118。活动比较模块130接收传感器数据114、118作为传感器信息136，并且根据传感器信息，活动比较模块可以确定由正在锻炼(在该示例中为慢跑或跑步)的人102执行的活动的形态。然后，活动比较模块130通过下述方式可以确定实时比较反馈138：将执行活动(例如，锻炼)的人的形态与正在执行的活动(例如，锻炼)的代表性形态140进行比较，然后提供锻炼的人的形态如何与代表性形态相比较的指示。例如，可以通过将根据传感器信息136确定的人102的慢跑形态与代表性形态140进行比较来确定实时比较反馈138，其中，代表性形态可以是慢跑或跑步的正确或理想形态。

[0020] 可以向用户提供人102的慢跑形态如何与正确的慢跑形态的比较的指示，在该示例中是作为在被实现为传感器设备中枢的移动电话126的显示屏144上示出的虚拟形象和指令142的视觉指示。在替选示例中，AR眼镜128显示用于在眼镜的镜片148上执行活动的代表性形态的虚拟形象146，使得用户可以看到在真实环境中(在该示例中为在用户正在慢跑的海滩上)夸大显示的虚拟形象146。

[0021] 传感器设备中枢120还可以配备有位置使能跟踪150，其被实现为跟踪参与活动的人的活动路线，该活动导致人覆盖特定路线和距离，例如在该示例中的慢跑。可以跟踪和保存进执活动的人的路线，使得稍后可以在作为代表性形态140的活动的后续会话期间向此人提供相同的路线。AR眼镜128示出来自慢跑的先前的会话的路线，该路线被提供以作为由人查看的覆盖在此人之前已经慢跑过并且当前正在慢跑的真实环境中的AR路径154。可替选地或另外地，虚拟形象146可以表示在先前的慢跑会话期间慢跑AR路径154所描绘的路线的人。通过这种方式，人可以与他们自己先前的慢跑会话一起慢跑或竞争。值得注意的是，虚拟形象146可以表示AR路径154所描绘的路线上的此人的先前最佳表现，允许此人尝试并击败他们先前的最佳表现。另外，代表性形态140可以是表示沿着该路线的另一个人的慢跑表现的虚拟形象146，另一个人例如是人102想要与其活动表现竞争的朋友。

[0022] 除了RFID实施方案之外，传感器设备中枢120可以包括各种不同的无线无线电系统152，例如用于Wi-Fi、BluetoothTM、移动宽带、LTE、近场通信(NFC)、实时定位系统(RTLS)或用于通过相应无线网络进行通信的任何其他无线无线电系统或格式。通常，传感器设备中枢120实现无线无线电系统152，每个无线无线电系统包括无线电设备、天线和芯片组，其被实现用于与其他设备、网络和服务的蜂窝、无线和/或其他网络通信。无线无线电系统152可以被配置为实现任何合适的通信协议或标准。尽管在RFID标签的情境中描述和说明了实时增强现实活动反馈的特征和方面，但是可以利用各种基于无线电的无线标签信令(例如利用LTE、NFC、RTLS和BluetoothTM等)来实现所描述的特征和方面。

[0023] 图2示出了可以实现实时增强现实活动反馈的各方面的示例设备200。示例设备200可以是任何类型的电子设备，诸如移动设备202、增强现实(AR)眼镜128、平板设备、可穿戴设备、台式计算设备或作为传感器设备中枢204实现的参考图5描述的任何其他类型的电子和/或计算设备。可替选地或另外地，传感器设备中枢204可以实现为移动设备202可以经由通信网络与之通信的基于云的服务。用活动比较模块206实现传感器设备中枢204，其类似于参考图1所示和所述的活动比较模块130，其被实现以提供活动表现的实时比较反馈
208。如上所述，可以从传感器信息210确定包括人如何执行活动的形态的活动数据。确定人执行活动的形态与正在执行的活动的代表性形态212的比较，并且生成实时比较反馈208作为执行活动的人的形态如何与正在进行的活动的代表性形态212相比较的指示。

[0024] 实现为传感器设备中枢204的示例移动设备202还可以包括集成显示器214和/或音频系统216，用于提供视觉反馈、听觉反馈和/或触觉反馈作为实时比较反馈208。在该示例中，视觉反馈218被显示为执行活动的人的虚拟形象220，并且视觉反馈218可以包括文本指令222，其详述人改善他们执行活动的形态的步骤。另外，活动比较模块206可以经由移动设备的音频系统216启动可听反馈224作为指令，指示用户如何改善执行活动的形态。可替选地或另外地，移动设备202可以被实现为传感器设备中枢，其中，视觉反馈由诸如图1中所示的那些的一副增强现实(AR)眼镜128提供。还可以考虑替选实施方案，例如移动设备202，其是用户的移动电话并且被实现为与其他设备通信以例如通过健身俱乐部或物理治疗设施中的壁挂式安装显示装置提供视觉和/或听觉反馈的传感器设备中枢。

[0025] 在实时增强现实活动反馈的其他实施方案中，在移动设备202的集成显示器214上示为视觉反馈218的虚拟形象220可以是活动的代表性形态212。活动的代表性形态212可以是正在执行的活动的正确形态，或者可替选地，可以代表在活动的先前会话期间执行活动的人，或者可以是执行活动的另外的人的表示，该另外的人例如是私人教练、团体锻炼指导员或物理治疗师。另外，两个虚拟形象可以被示为视觉反馈218，其中，一个虚拟形象代表执行活动的人，第二虚拟形象是正在执行的活动的代表性形态212的表示。

[0026] 参考相应的图3和4描述了根据实时增强现实活动反馈的实施方案的示例方法300和400。通常，可以使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或其任何组合来实现本文描述的任何服务、组件、模块、方法和/或操作。可以在存储在计算机可读存储存储器上的可执行指令的一般情境中描述示例方法的一些操作，该计算机可读存储存储器对于计算机处理系统是本地和/或远程的，并且实施方案可以包括软件应用、程序和函数等。可替选地或另外地，本文描述的任何功能可以至少部分地由一个或多个硬件逻辑组件执行，例如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。

[0027] 图3示出了如本文所述的实时增强现实活动反馈的示例方法300，并且通常参考被实现用于与对应于可穿戴传感器的无线标签通信的传感器设备中枢来描述该方法。描述该方法的顺序不旨在被解释为限制，并且可以以任何顺序执行任何数量或组合的所描述的方法操作以便执行方法或替代方法。

[0028] 在302处，当人参与活动时，从可穿戴传感器记录传感器信息。例如，活动比较模块130利用无线使能设备(例如，可穿戴传感器106的RFID标签112)的RFID读取器122和/或与由正在执行活动的人102穿戴的多个可穿戴传感器相关联的无线传感器(例如，无线传感器
116)的其他类型的无线传感器读取器来启动来自传感器设备中枢120的扫描。当人在参与活动时获得的传感器数据114、118由RFID读取器122和/或其他类型的无线传感器读取器(例如，无线无线电系统152)读取，并被记录为活动比较模块130的传感器信息136。可穿戴传感器可以是任何类型的肌肉骨骼或心血管传感器，用于确定肌肉活动、骨骼位置和对准、身体运动、人的身体表面或关节上的压力、心率、氧气摄入量以及与执行活动的人相关的任何其他传感器数据。

[0029] 在304处，根据记录的传感器信息确定包括人如何执行活动的形态的活动数据。例如，由传感器设备中枢120实现的活动比较模块130使用从多个可穿戴传感器(例如，任何种类的肌肉骨骼传感器(例如，手臂传感器104，手腕定位传感器106和腿部传感器108)以及意欲用于获取与人的活动相关的数据的心血管传感器(例如，心脏传感器110))获得的传感器信息136来确定人102如何执行活动的形态。

[0030] 在306处，将执行活动的人的形态与活动的正确形态进行比较。例如，活动比较模块130将正在执行活动的人102的形态与活动的代表性形态140进行比较，其中，代表性形态140可以是如何执行活动的正确形态。在实施方案中，活动比较模块130使用传感器信息
136，该传感器信息136从人在执行活动时穿戴的可穿戴传感器被记录为传感器数据114、
118。

[0031] 在308处，提供实时反馈，其包括活动数据和如何改善正在执行活动的人的形态的指示。例如，活动比较模块130启动以提供实时反馈，该实时反馈向人102指示在执行活动时如何改善其形态。实时反馈被提供为触觉反馈、视觉反馈218和/或听觉反馈224。视觉反馈218可以包括活动数据的图形表示(graphical representation)，将图形表示与作为用于执行活动的正确形态的代表性形态进行比较，并且视觉反馈可以指示人需要做出的改变以便改善他们的形态。图形表示还可以包括用于改善人的形态而采取的步骤的书面指令，例如图2中所示的文本指令222。可替选地或另外地，视觉反馈218可以包括虚拟形象，诸如表示执行活动的人的虚拟形象220，并且人可以看到他们的形态并进行必要的调整以进行改善。听觉反馈224可以包括用于改善执行活动的人的形态的可听指令。

[0032] 图4示出了如本文所述的实时增强现实活动反馈的示例方法400，并且通常参考由传感器设备中枢实现的活动比较模块来描述该方法。描述该方法的顺序不旨在被解释为限制，并且可以以任何顺序执行任何数量或组合的所描述的方法操作以便执行方法或替代方法。

[0033] 在402处，当人参与活动的会话时，从可穿戴传感器记录传感器信息。例如，活动比较模块130利用与由参与活动会话的人102穿戴的多个可穿戴传感器相关联的无线使能设备(例如，可穿戴传感器106的RFID标签112)的RFID读取器122来启动来自传感器设备中枢120的扫描。在人参与活动时获得的传感器数据114、118由RFID读取器122和/或其他类型的无线传感器读取器(例如，无线无线电系统152)读取，并被记录为活动比较模块130的传感器信息136。可穿戴传感器可以是任何类型的肌肉骨骼或心血管传感器，用于确定肌肉活动、骨骼位置和对准、身体运动、人的身体表面或关节上的压力、心率、氧气摄入量以及与执行活动的人相关的任何其他传感器数据。

[0034] 在404处，根据记录的传感器信息来确定包括人如何执行活动的形态的活动数据。例如，由传感器设备中枢120实现的活动比较模块130使用从多个可穿戴传感器(例如，任何种类的肌肉骨骼传感器(例如，手臂传感器104、手腕定位传感器106和腿部传感器108)以及意欲用于获取与人的活动相关的数据的心血管传感器(例如，心脏传感器110))获得的传感器信息136来确定人102如何执行活动的形态。

[0035] 在406处，当人参与活动的后续会话时，从可穿戴传感器记录传感器信息。例如，活动比较模块130利用与由参与活动的后续会话的人102穿戴的多个可穿戴传感器相关联的无线使能设备(例如，可穿戴传感器106的RFID标签112)的RFID读取器122来启动来自传感器设备中枢120的扫描。在人参与活动时获得的传感器数据114、118由RFID读取器122和/或其他类型的无线传感器读取器(例如，无线无线电系统152)读取，并且被记录为活动比较模块130的传感器信息136。

[0036] 在408处，根据记录的传感器信息确定包括人如何执行活动的另外形态的活动数据。例如，由传感器设备中枢120实现的活动比较模块130使用从可穿戴传感器获得的传感器信息136确定人102如何执行活动的另外形态。

[0037] 在410处，将在后续会话期间执行活动的人的另外形态与在先前会话期间执行活动的人的形态进行比较。例如，活动比较模块130基于从可穿戴传感器获得的传感器信息136将执行活动的人102的另外形态(如在408处确定的)与执行活动的人102的先前形态(如在404处确定的)进行比较。值得注意的是，对执行活动的人的先前和后续的形态的比较可以包括在任何数量的先前活动之间的比较，以包括先前活动的部分和/或活动的指定的最佳部分。

[0038] 在412处，提供实时比较反馈。例如，活动比较模块130启动以提供实时比较反馈作为触觉反馈、视觉反馈218和/或听觉反馈224。可以通过无线传感器实现触觉反馈作为用于改善执行活动的人的形态的触觉指示。视觉反馈218可以包括图形表示，其将来自活动的第一会话的活动数据与来自活动的第二会话的活动数据进行比较，并且指示执行活动的人的形态是否从会话到会话中正在改善。可替选地或另外地，视觉反馈218可以包括虚拟形象，诸如虚拟形象220，其表示来自活动的第一会话的执行活动的人，使得人可以看到他们的形态并且在他们参与活动的第二会话时进行必要的调整以进行改善。可替选地，视觉反馈可以包括参与活动的人的两个虚拟形象以进行比较，其中，一个虚拟形象代表参与活动的第一会话的人，第二虚拟形象代表参与活动的第二会话的人。听觉反馈224可以包括可听的比较，其指示参与活动的第一和第二会话的人的形态的改善以及关于人在执行活动时如何改善其形态的指令。

[0039] 图5示出了可以实现实时增强现实活动反馈的各方面的示例设备500的各种组件。示例设备500可以实现为参考先前的附图1-4描述的任何设备，诸如任何类型的移动设备、移动电话、客户端设备、可穿戴设备、平板、计算、通信、娱乐、游戏、媒体回放和/或其他类型的电子设备。例如，参考图1-4示出和描述的传感器设备中枢120和204、移动电话126、增强现实(AR)眼镜128和移动设备202可以实现为示例设备500。此外，可穿戴设备可以包括手表、臂带、腕带、手镯、手套或一副手套、眼镜或护目镜、珠宝物品、衣物、任何类型鞋类或头饰、可穿戴传感器和/或其他类型的可穿戴的(包括具有集成传感器的可穿戴物品)中的任何一个或组合。

[0040] 设备500包括通信收发器502，其实现与其他设备的设备数据504的有线和/或无线通信。设备数据504可以包括以下部分的任何一个：传感器数据和信息、活动表现的实时比较反馈、执行活动的代表性形态、音频数据和位置跟踪数据。另外，设备数据504可以包括任何类型的音频、视频和/或图像数据。示例通信收发器502包括符合各种IEEE 802.15TM TM(Bluetooth )标准的无线个域网(WPAN)无线电装置、符合各种IEEE 802.11(WiFi )标准的任何一个的无线局域网(WLAN)无线电装置、用于蜂窝电话通信的无线广域网(WWAN)无线电装置、符合各种IEEE 802.16(WiMAXTM)标准的无线城域网(WMAN)无线电装置以及用于网络数据通信的有线局域网(LAN)以太网收发器。

[0041] 设备500还可以包括一个或多个数据输入端口506，通过其可以接收任何类型的数据、媒体内容和/或输入，例如用户可选择的对于设备的输入、消息、音乐、电视内容、记录内容以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。数据输入端口可以包括USB端口、同轴电缆端口以及用于闪存、DVD和CD等的其他串行或并行连接器(包括内部连接器)。这些数据输入端口可以用于将设备耦合到任何类型的组件、外围设备或诸如麦克风和/或相机的附件。

[0042] 设备500包括一个或多个处理器(例如，微处理器和控制器等中的任何一个)的处理系统508和/或被实现为处理计算机可执行指令的片上系统(SoC)的处理器和存储器系统。处理器系统可以至少部分地以硬件实现，其可以包括集成电路或片上系统的组件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及以硅和/或其他硬件的其他实施方案。可替选地或另外地，该设备可以用结合处理和控制电路实现的软件、硬件、固件或固定逻辑电路中的任何一个或其组合来实现，在510处一般地对其进行标识。设备500还可以包括任何类型的系统总线或其他数据和命令传输系统，它耦合设备内的各种组件。系统总线可以包括不同总线结构和架构中的任何一个或组合以及控制和数据线。

[0043] 设备500还包括实现数据存储的计算机可读存储存储器512(例如，存储器设备)，诸如可由计算设备访问并且提供数据和可执行指令的持久存储(例如，软件应用、程序和函数等)的数据存储设备。计算机可读存储存储器512的示例包括易失性存储器和非易失性存储器、固定和可移动介质设备以及保存数据用于计算设备访问的任何合适的存储器设备或电子数据存储器。计算机可读存储存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存和具有各种存储器设备配置的其他类型的存储介质的各种实施方案。设备500还可以包括大容量存储介质设备。

[0044] 计算机可读存储存储器512提供数据存储机制以存储设备数据504、其他类型的信息和/或数据以及各种设备应用514(例如，软件应用)。例如，操作系统516可以使用存储器设备被保存为软件指令并由处理系统508执行。设备应用还可以包括设备管理器，例如任何形态的控制应用、软件应用、信号处理和控制模块、特定设备本机的代码以及特定设备的硬件抽象层等等。

[0045] 在该示例中，设备500包括实现实时增强现实活动反馈的各方面的活动比较模块518，并且，例如当设备时500被实现为参考图1-4描述的移动电话126或移动设备202时可以用硬件组件和/或软件实现为设备应用514之一。活动比较模块518的示例包括活动比较模块130，其被实现为软件应用和/或被实现为在传感器设备中枢120中的硬件组件；以及活动比较模块206，其被实现为软件应用和/或传感器设备中枢204中的硬件组件。在实施方案中，活动比较模块518可以包括作为与设备500集成的计算和/或电子设备的独立的处理、存储器和逻辑组件。

[0046] 在该示例中，例如当设备500被实现为参考图1-4描述的传感器设备中枢120时，设备500还包括实现实时增强现实活动反馈的各方面的位置使能跟踪520，并且可以用硬件组件和/或软件实现为设备应用514中的一个。示例设备500还包括相机522和运动传感器524。运动传感器524可以用各种传感器(例如陀螺仪、加速度计和/或用于感测设备的运动的其他类型的运动传感器)实现。各种运动传感器524还可以实现为设备中的惯性测量单元(IMU)的组件。

[0047] 设备500还包括射频识别(RFID)读取器526，其被实现来询问RFID标签以识别数据并从RFID标签接收识别响应。RFID读取器526的示例是RFID读取器122，其被实现为传感器设备中枢120的集成组件或者被实现为与传感器设备中枢一起操作的附件。在实施方案中，作为设备500的附件的RFID读取器具有外部电源。例如当设备500被实现为移动设备时，设备500还可以包括一个或多个电源528。电源可以包括充电和/或电源系统，并且可以实现为柔性条带电池、可充电电池、充电超级电容器和/或任何其他类型的有源或无源电源。

[0048] 设备500还包括音频和/或视频处理系统530，其为音频系统532生成音频数据和/或为显示系统534生成显示数据。音频系统和/或显示系统可以包括处理、显示和/或以其他方式呈现音频、视频、显示和/或图像数据的任何设备。显示数据和音频信号可以通过RF(射频)链路、S-视频链路、HDMI(高清多媒体接口)、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接或其他类似的通信链路(例如，媒体数据端口536)传送到音频组件和/或显示组件。在实施方案中，音频系统和/或显示系统是示例设备的集成组件。可替选地，音频系统和/或显示系统对于示例设备是外部、外围组件。

[0049] 尽管已经用特定于特征和/或方法的语言描述了实时增强现实活动反馈的实现，但是所附权利要求的主题不必限于所描述的特定特征或方法。相反，特征和方法被公开为实时增强现实活动反馈的示例实施方案，并且其他等效特征和方法旨在落入所附权利要求的范围内。此外，描述了各种不同的示例，并且应当理解，每个描述的示例可以独立地实现或者与一个或多个其他描述的示例结合实现。本文讨论的技术、特征和/或方法的其他方面涉及以下部分的一个或多个：

[0050] 一种用于实时增强现实(AR)活动反馈的方法，该方法包括：当人参与活动时，记录来自可穿戴传感器的传感器信息；根据记录的传感器信息来确定活动数据，该活动数据包括人如何执行活动的形态；比较执行活动的人的形态与执行活动的正确形态；以及提供包括活动数据以及如何改善执行活动的人的形态的指示的实时反馈。

[0051] 作为上述方法的可替选或补充的以下的任何一种或组合：实时反馈被提供为视觉反馈、听觉反馈和触觉反馈中的至少一个。视觉反馈包括活动数据的图形表示。视觉反馈包括表示执行活动的人的虚拟形象或用于将执行活动的人的形态与执行活动的正确形态进行比较的虚拟形象中的至少一个。所述听觉反馈包括用于改善执行活动的人的形态的可听指令。所述触觉反馈包括用于改善执行活动的人的形态的触觉指示。

[0052] 一种用于实时增强现实(AR)活动反馈的方法，该方法包括：当人参与活动的会话时，记录来自可穿戴传感器的传感器信息；根据记录的传感器信息来确定人如何执行活动的会话的形态；当人参与活动的后续会话时，记录来自可穿戴传感器的传感器信息；根据记录的传感器信息，确定人如何执行活动的后续会话的另外形态；比较执行活动的后续会话的人的另外形态与执行活动的会话的人的形态；以及，提供比较作为实时反馈。

[0053] 作为上述方法的可替选或补充的以下的任何一种或组合：提供比较包括提供可听反馈，该可听反馈指示由人执行的活动的后续会话是否是活动的会话上的改善。提供比较包括显示表示执行活动的会话的人的第一虚拟形象与表示执行活动的后续会话的人的第二虚拟形象大致同步。

[0054] 一种用于实时增强现实(AR)活动反馈的系统，该系统包括：可穿戴传感器，其监控参与活动的人的肌肉骨骼状态；以及传感器设备中枢，其包括活动比较模块，所述活动比较模块被配置为：当人参与活动的会话时，从可穿戴传感器接收传感器信息；根据接收的传感器信息，确定包括人如何执行活动的第一形态的活动数据；比较执行活动的人的第一形态与活动的代表性形态；以及启动实时比较反馈，该反馈是执行活动的人的第一形态与活动的代表性形态如何相比较的指示。

[0055] 作为上述系统的可替选或补充的以下的任何一种或组合：可穿戴传感器包括心血管传感器以监控参与活动的人的心血管状态。传感器设备中枢包括RFID读取器，并且可穿戴传感器包括RFID标签，该RFID标签被实现为记录执行活动的人的肌肉骨骼状态和心血管状态。活动的代表性形态是活动的正确形态。活动的代表性形态是在活动的先前会话期间执行活动的人的形态。活动的代表性形态是执行活动的至少一个另外的人的形态。传感器设备中枢是移动设备，该移动设备被配置为提供作为视觉反馈、听觉反馈和触觉反馈中的至少一个的实时比较反馈。传感器设备中枢是配备有增强现实(AR)屏幕的一副眼镜，用于显示虚拟形象的覆盖，该虚拟形象代表在人执行活动的真实环境中执行活动的人。传感器设备中枢包括位置使能跟踪，该位置使能跟踪被实现为跟踪由人执行的活动的会话的活动路线，以便传感器设备中枢向人提供相同的路线用于活动的另一个会话，并且提供实时比较反馈。活动的代表性形态是执行活动的先前会话的人的形态作为人的虚拟形象用于与活动的先前会话竞争。活动的代表性形态是活动的正确形态，该正确形态被作为正确地执行活动的虚拟形象而提供用于与其竞争或齐头并进的人。

标题	发布/更新时间	阅读量
上肢运动器械及其控制方法	2020-05-08	253
一种自主配网带电作业机器人、系统及方法	2020-05-08	98
用于外科手术机器人系统的交互式引导和操纵检测安排、以及相关联方法	2020-05-12	610
基于视觉反馈的三维扫描系统和方法	2020-05-08	368
一种面向野外实践教学的虚拟学习环境多通道融合展示方法	2020-05-08	186
基于多频率时序编码的稳态听觉诱发电位脑-机接口方法	2020-05-11	390
多点触觉力传感器及在规则沟槽表面提取特征信息的方法	2020-05-12	393
一种钠镍电池密封钉焊接机	2020-05-12	149
用来应用闭合切口的负压伤口治疗的方法和器件	2020-05-12	418
基于视觉反馈的面部功能训练方法、设备及存储介质	2020-05-13	509

实时增强现实活动反馈

实时增强现实活动反馈

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：