一种情绪感知的可穿戴的电话会议系统专利检索-脑电图诊断设备和程序专利检索查询-专利查询网

一种情绪感知的可穿戴的电话会议系统

阅读：629发布：2021-03-17

专利汇可以提供一种情绪感知的可穿戴的电话会议系统专利检索，专利查询，专利分析的服务。并且用于提供远程协助的电话会议系统包括：本地用户装置，其捕获本地用户的视场以及本地用户的生理状态；以及远程用户装置，以允许远程用户查看本地用户正在观看和执行的内容。本地用户和远程用户具有共享视野和共享音频链接，并且远程用户可以在本地站点执行任务时向本地用户提供帮助。另外，监视本地用户的生理状态，并且根据生理状态数据，向远程用户提供对本地用户的情绪状态或生理状态的估计。远程用户可以交互或协助本地用户，其包括基于他们当前的情绪状态控制提供给本地用户的协助的数量和/或类型。，下面是一种情绪感知的可穿戴的电话会议系统专利的具体信息内容。

权利要求

1.一种用于电话会议系统的本地用户电话会议装置，该电话会议系统用于通过至少一个远程用户向本地用户提供远程协助或监视本地用户，所述装置包括：
可穿戴式视听模块，该可穿戴式视听模块包括：
可穿戴式照相机，被定位成从本地用户的角度提供视野；
头戴式显示器；
眼动追踪系统，被安装在头戴式显示器上或包含在头戴式显示器中；以及耳机；
生理传感器模块，该生理传感器模块包括一个或更多个生理传感器，用于监测本地用户的一个或更多个生理参数；以及
无线通信模块，
其中，无线通信模块被配置为通过通信链路将来自视听模块的视听数据和来自生理传感器模块的生理数据传输到远程用户。
2.如权利要求1所述的装置，其中，无线通信模块由本地用户穿戴或保持。
3.如权利要求1或2所述的装置，还包括可穿戴式计算机装置，该可穿戴式计算机装置包括至少一个处理器、至少一个存储器和无线通信模块，并且，所述至少一个存储器包括将处理器配置成控制可穿戴式视听模块、生理传感器模块和无线通信模块的指令。
4.如权利要求1,2或3所述的装置，其中，电话会议数据包括：
来自可穿戴式照相机的视频数据；
来自耳机的音频数据；
来自眼动追踪系统的眼动追踪数据；以及
来自所述一个或更多个生理传感器的生理数据。
5.如权利要求1至4中任一项所述的装置，其中，计算机装置还被配置为从至少一个远程用户接收电话会议数据音频数据和显示虚拟注释数据；并且，耳机被配置为向本地用户呈示音频数据，并且显示注释数据被显示在本地用户的头戴式显示器上。
6.如权利要求1至5中任一项所述的装置，其中，可穿戴式照相机附接到头戴式显示器。
7.如权利要求3至5中任一项所述的装置，其中，耳机和所述一个或更多个生理传感器被包括在头戴式显示器中，并且可穿戴式照相机被附接到头戴式显示器或被包括在头戴式显示器中，并且所述一个或更多个生理传感器包括至少一个心率传感器和皮肤电反应传感器。
8.如权利要求7所述的装置，其中，存储器包括用于处理来自所述一个或更多个生理传感器的数据并生成情绪状态数据的指令，并且传输到所述至少一个远程用户的电话会议数据包括情绪状态数据。
9.如权利要求8所述的装置，其中，处理数据包括将来自所述一个或更多个生理传感器的数据映射到多个预定义情绪状态中的一个，并传输估计的情绪状态。
10.如权利要求9所述的装置，其中，使用神经网络、有限状态机或机器学习实现来执行将来自所述一个或更多个生理传感器的数据映射到多个预定义情绪状态中的一个的处理。
11.如权利要求1至7中任一项所述的装置，其中，生理传感器模块预处理来自所述一个或更多个生理传感器的数据，并且预处理的数据被通过通信链路发送给远程用户来进行进一步分析以估计本地用户的情绪状态。
12.如权利要求1至9中任一项所述的装置，其中，所述一个或更多个生理传感器包括心率传感器、血压传感器、温度传感器、皮肤电活动传感器、pH传感器、电解质传感器、代谢物传感器、脑电图(EEG)传感器、肌电图(EMG)传感器、加速度计、运动传感器或用于测量面部肌肉运动的光传感器中的一个或更多个。
13.一种用于电话会议系统的远程用户电话会议装置，该电话会议系统用于通过远程用户向至少一个本地用户提供远程协助或监视至少一个本地用户，所述装置包括：
远程用户计算机装置，该远程用户计算机装置包括处理器、存储器和通信模块；
显示器；以及
用户输入设备，
其中，通信模块被配置为从本地用户接收电话会议数据，并且显示器被配置为显示来自由所述至少一个本地用户穿戴的照相机的视频数据的表示，该表示覆盖有从接收到的电话会议数据生成的相应本地用户的眼睛注视方向的指示穿戴，以及显示相应本地用户的情绪状态的表示，并且，用户输入设备被配置为允许远程用户生成或提供注释信息，该注释信息被传输到相应本地用户以便在相应本地用户的头戴式显示器上显示。
14.根据权利要求13所述的远程用户电话会议装置，其中，通信模块接收由本地用户装置生成的本地用户的情绪状态的估计，其中该估计是从本地用户装置和远程用户电话会议装置都知道的多个预定义情绪状态中选择的情绪状态。
15.根据权利要求13所述的远程用户电话会议装置，其中，远程用户电话会议装置被配置为处理来自所述一个或更多个生理传感器的数据以生成本地用户的情绪状态的估计。
16.根据权利要求13,14或15所述的远程用户电话会议装置，其中，每个注释信息项具有预定义的优先级或由远程用户分配优先级，并且每个优先级与情绪状态阈值相关联，使得如果估计的情绪状态超过优先级的情绪状态阈值，则对本地用户隐藏与该优先级相关联的注释数据，并且当情绪状态下降到低于优先级的情绪状态阈值时，向本地用户显示与该优先级相关联的注释数据。
17.根据权利要求13至16中任一项所述的远程用户电话会议装置，其中，远程用户装置被配置为允许远程用户基于相应本地用户的情绪状态来控制是否显示注释信息项。
18.根据权利要求13至17中任一项所述的远程用户电话会议装置，其中，显示器是由远程用户穿戴的头戴式显示器，并且远程用户电话会议装置还包括耳机。
19.一种用于通过至少一个远程用户向至少一个本地用户提供远程协助或监视至少一个本地用户的电话会议系统，所述系统包括：
用于所述至少一个本地用户中的每一个的本地用户电话会议装置，该本地用户电话会议装置包括：
可穿戴式照相机，用于从本地用户的角度提供视频馈送；
头戴式显示器；
眼动追踪系统，被安装在头戴式显示器上或包含在头戴式显示器中；
耳机；
一个或更多个生理传感器，用于监测本地用户的一个或更多个生理参数；以及本地用户计算机装置，该本地用户计算机装置包括存储器、处理器和无线通信模块，其中计算装置由远程用户穿戴或保持并可操作地连接到可穿戴式照相机、耳机、头戴式显示器、眼动追踪系统和所述一个或更多个更多生理传感器；
远程用户电话会议装置，该远程用户电话会议装置包括：
用于所述至少一个远程用户中的每一个的远程用户计算机装置，该远程用户计算机装置包括处理器、存储器和通信模块；
远程用户显示器；以及
用户输入设备，
其中，每个本地用户电话会议装置被配置为通过至少一个通信链路将电话会议数据传输到所述至少一个远程用户电话会议装置，并且接收电话会议数据的每个远程用户电话会议装置被配置为显示来自可穿戴式照相机的视频数据的表示，该表示覆盖有从眼动追踪系统生成的相应本地用户的眼睛注视方向的指示，以及显示从所述一个或更多个生理传感器生成的相应本地用户的情绪状态的表示，并且，用户输入设备被配置为允许远程用户在显示器上生成一个或更多个注释，所述注释被传输到相应本地用户以便在相应本地用户的头戴式显示器上显示。
20.如权利要求19所述的电话会议系统，其中，本地用户的情绪状态的估计由本地用户计算机装置或远程用户计算机装置生成，并且远程用户基于估计的用户的情绪状态控制是否显示注释信息项。
21.如权利要求19所述的电话会议系统，其中，本地用户的情绪状态的估计由本地用户计算机装置或远程用户计算机装置生成，并且所述一个或更多个注释中的每一个具有预定义的优先级或被远程用户分配优先级，并且每个优先级与情绪状态阈值相关联，使得如果估计的情绪状态超过优先级的情绪状态阈值，则对本地用户隐藏与该优先级相关联的注释数据，并且当情绪状态下降到低于优先级的情绪状态阈值时，向本地用户显示与该优先级相关联的注释数据。
22.如权利要求19至21中任一项所述的电话会议系统，其中，本地用户计算机装置包括用于以下的指令：
通过本地用户计算机装置分析来自所述一个或更多个生理传感器的数据并估计本地用户的情绪状态；以及
将估计的情绪状态传输到远程用户。
23.如权利要求22所述的电话会议系统，其中，通过本地用户计算机装置分析来自所述一个或更多个生理传感器的数据并估计本地用户的情绪状态包括将来自所述一个或更多个生理传感器的数据映射到多个预定义情绪状态中的一个。
24.如权利要求19至21中任一项所述的电话会议系统，其中，本地用户计算机装置包括指令，被配置为预处理来自所述一个或更多个生理传感器的数据并将预处理的数据传输到远程用户，并且远程用户计算机装置被配置为分析预处理的数据以获得本地用户的情绪状态的估计。
25.一种通过远程用户向本地用户提供远程协助或监视本地用户的方法，所述方法包括：
从本地用户穿戴的一个或更多个生理传感器生成本地用户的情绪状态的表示；
生成从本地用户穿戴的眼动追踪系统生成的本地用户的眼睛注视方向；以及在显示装置上向远程用户显示来自本地用户穿戴的照相机的视频数据的表示，该表示被覆盖有本地用户的眼睛注视方向的指示，以及显示本地用户的情绪状态的表示。
26.如权利要求25所述的方法，还包括：
通过远程用户生成一个或更多个注释，所述注释被传输到本地用户的头戴式显示器并显示在本地用户的头戴式显示器上。
27.如权利要求25或26所述的方法，其中，生成本地用户的情绪状态的表示还包括生成本地用户的情绪状态的估计，并且远程用户基于估计的用户的情绪状态来控制是否显示注释信息项。
28.如权利要求25或26所述的方法，其中，生成本地用户的情绪状态的表示还包括生成本地用户的情绪状态的估计，并且所述一个或更多个注释中的每一个具有预定义的优先级或者被远程用户分配优先级，并且每个优先级与情绪状态阈值相关联，使得如果估计的情绪状态超过优先级的情绪状态阈值，则对本地用户隐藏与该优先级相关联的注释数据，并且当情绪状态下降到低于优先级的情绪状态阈值时，向本地用户显示与该优先级相关联的注释数据。
29.如权利要求25至28中任一项所述的方法，其中，生成本地用户的情绪状态的表示还包括：
从本地用户穿戴的一个或更多个生理传感器收集数据；
通过本地用户本地的处理装置分析收集的数据并估计本地用户的情绪状态；
将估计的情绪状态传输到远程用户；以及
使用接收到的估计情绪状态生成本地用户的情绪状态的表示。
30.如权利要求29所述的方法，其中，分析收集的数据的步骤包括将收集的生理数据映射到多个预定义情绪状态中的一个。
31.如权利要求29所述的方法，其中，分析收集的数据的步骤包括使用神经网络、有限状态机或机器学习实现来将收集的生理数据映射到多个预定义情绪状态中的一个。
32.如权利要求25至28中任一项所述的方法，其中，所述方法还包括：
从本地用户穿戴的一个或更多个生理传感器收集数据；
在本地预处理收集的数据；
将预处理的数据传输到远程用户；
通过处理装置处理接收到的预处理的数据，以获得本地用户的情绪状态的估计。
33.如权利要求25至32中任一项所述的方法，其中，远程用户监视多个本地用户，并且为每个用户执行生成步骤，并且为每个用户执行表示步骤。
34.一种电话会议系统，用于通过至少一个远程用户向至少一个本地用户提供远程协助或监视至少一个本地用户，所述系统包括如权利要求1至12中任一项所述的本地用户电话会议装置和如权利要求13至18中任一项所述的远程用户电话会议装置。

说明书全文

一种情绪感知的可穿戴的电话会议系统

[0001] 优先权文件

[0002] 本申请要求于2016年3月18日提交的标题为“AN EMOTIONALLY AWARE WEARABLE TELECONFERENCING SYSTEM(一种情绪感知的可穿戴的电话会议系统)”的澳大利亚临时专利申请第2016901029号的优先权，其内容通过引用全部并入本文。

技术领域

[0003] 本公开涉及用于远程协助、监督或协作的电话会议系统。在特定形式中，本公开涉及情绪感知的电话会议系统的使用。

背景技术

[0004] 电话会议系统可以用于通过允许本地用户通过视频连接而连接到远程定位的专家并尝试重建面对面或并排工作的体验，来提供远程协助或远程监督。然而，当面对面工作时，每个伙伴都可以看到他们的伙伴在做什么，并且可以通过分享口头和非口头提示来估计他们如何应对。对其中用户积极地分享他们的情绪的桌面面对面电话会议系统的研究自我报道，他们觉得他们对彼此的情绪有了更好的理解，并且情绪共享与协作后的积极情绪的感知强度正相关。然后，可以使用此信息来确定何时提供协助以及提供多少协助。然而，已经证明创建有效的电话会议系统，特别是远程协助系统是困难的。在一个用于为设备维护或故障排除提供远程协助的电话会议系统中，用户保持或穿戴照相机以允许远程专家查看远程用户正在查看或正在做什么。与音频链接耦合，远程用户然后可以向本地用户提供协作或指导，以帮助他们进行设备维护或故障排除任务。在另一个变型中，使用两个平板电脑来创建合并的现实电话会议系统。本地用户将他们的平板电脑放在一个位置，专注于他们正在执行的活动和他们的视野，以便他们能够看到屏幕和任务。此视频被流式传输到远程用户的平板电脑，然后远程用户将其手放在平板电脑的照相机前面或注释显示器以指出特定特征或演示如何执行任务，并且，此图像或视频流重叠或合并到本地用户的显示。

[0005] 然而，这种系统的一个问题是，由于照相机相对于本地用户面向外或者以其他方式指向任务，因此远程专家无法确定用户实际关注的内容或者拾取面对面系统可能显而易见的视觉线索。结果，当所提供的帮助可能没有被适当地定时时可能出现这样的情况，如果他们即将执行建议的任务，可能具有使本地用户烦恼的副作用，或者本地用户可能不会注意到帮助，导致远程用户对他们被忽略的挫败感，因此与面对面协作相比，协作的质量通常较低。在一项研究中，将本地用户使用带有眼动追踪系统的头戴式显示器与观看用户的广角场景照相机进行比较。在这项研究中，结果表明使用广角场景照相机提供的帮助明显优于使用带有眼睛跟踪系统的头戴式显示器的系统，尽管这可能部分是由于使用的眼动追踪系统的质量的困难导致的。然而，到目前为止，关于眼动追踪系统的使用及其有效性的研究还很少。通常，大多数远程电话会议系统的问题在于，远程用户仅被提供关于本地用户正在关注什么的有限信息以及关于本地用户如何应对或感觉的有限口头提示，因为他们经常专注于完成手头的任务。因此，需要提供用于远程协助或监督的改进的电话会议系统，其更有效地增强本地用户和远程用户的体验质量，或者至少为现有系统提供了有用的替代方案。发明内容

[0006] 根据第一方面，提供了一种用于电话会议系统的本地用户电话会议装置，该电话会议系统用于通过至少一个远程用户向本地用户提供远程协助或监视本地用户，所述装置包括：

[0007] 可穿戴式视听模块，该可穿戴式视听模块包括：

[0008] 可穿戴式照相机，被定位成从本地用户的角度提供视野；

[0009] 头戴式显示器；

[0010] 眼动追踪系统，被安装在头戴式显示器上或包含在头戴式显示器中；以及[0011] 耳机；

[0012] 生理传感器模块，该生理传感器模块包括一个或更多个生理传感器，用于监测本地用户的一个或更多个生理参数；以及

[0013] 无线通信模块，

[0014] 其中，无线通信模块被配置为通过通信链路将来自视听模块的视听数据和来自生理传感器模块的生理数据传输到远程用户。

[0015] 在一种形式中，无线通信模块由本地用户穿戴或保持。

[0016] 在一种形式中，所述装置还包括可穿戴式计算机装置，该可穿戴式计算机装置包括至少一个处理器、至少一个存储器和无线通信模块，并且，所述至少一个存储器包括将处理器配置成控制可穿戴式视听模块、生理传感器模块和无线通信模块的指令。

[0017] 在一种形式中，电话会议数据包括：

[0018] 来自可穿戴式照相机的视频数据；

[0019] 来自耳机的音频数据；

[0020] 来自眼动追踪系统的眼动追踪数据；以及

[0021] 来自所述一个或更多个生理传感器的生理数据。

[0022] 在一种形式中，计算机装置还被配置为从至少一个远程用户接收电话会议数据音频数据和显示虚拟注释数据；并且，耳机被配置为向本地用户呈示音频数据，并且显示注释数据被显示在本地用户的头戴式显示器上。

[0023] 在一种形式中，可穿戴式照相机附接到头戴式显示器。

[0024] 在一种形式中，耳机和所述一个或更多个生理传感器被包括在头戴式显示器中，并且可穿戴式照相机被附接到头戴式显示器或被包括在头戴式显示器中，并且所述一个或更多个生理传感器包括至少一个心率传感器和皮肤电反应传感器。

[0025] 在另一种形式中，存储器包括用于处理来自所述一个或更多个生理传感器的数据并生成情绪状态数据的指令，并且传输到所述至少一个远程用户的电话会议数据包括情绪状态数据。在另一形式中，处理数据包括将来自所述一个或更多个生理传感器的数据映射到多个预定义情绪状态中的一个，并传输估计的情绪状态。在另一种形式中，使用神经网络、有限状态机或机器学习实现，来执行将来自所述一个或更多个生理传感器的数据映射到多个预定义情绪状态中的一个的处理。

[0026] 在一种形式中，生理传感器模块预处理来自所述一个或更多个生理传感器的数据，并且预处理的数据被通过通信链路发送给远程用户来进行进一步分析以估计本地用户的情绪状态。

[0027] 在一种形式中，所述一个或更多个生理传感器包括心率传感器、血压传感器、温度传感器、皮肤电活动传感器、pH传感器、电解质传感器、代谢物传感器、脑电图(EEG)传感器、肌电图(EMG)传感器、加速度计、运动传感器或用于测量面部肌肉运动的光传感器中的一个或更多个。

[0028] 根据第二方面，提供了一种用于电话会议系统的远程用户电话会议装置，该电话会议系统用于通过远程用户向至少一个本地用户提供远程协助或监视至少一个本地用户，所述装置包括：

[0029] 远程用户计算机装置，该远程用户计算机装置包括处理器、存储器和通信模块；

[0030] 显示器；以及

[0031] 用户输入设备，

[0032] 其中，通信模块被配置为从本地用户接收电话会议数据，并且显示器被配置为显示来自由所述至少一个本地用户穿戴的照相机的视频数据的表示，该表示覆盖有从接收到的电话会议数据生成的相应本地用户的眼睛注视方向的指示，以及显示相应本地用户的情绪状态的表示，并且，用户输入设备被配置为允许远程用户生成或提供注释信息，该注释信息被传输到相应本地用户以便在相应本地用户的头戴式显示器上显示。

[0033] 在一种形式中，通信模块接收由本地用户装置生成的本地用户的情绪状态的估计，其中该估计是从本地用户装置和远程用户电话会议装置都知道的多个预定义情绪状态中选择的情绪状态。

[0034] 在一种形式中，远程用户电话会议装置被配置为处理来自所述一个或更多个生理传感器的数据以生成本地用户的情绪状态的估计。

[0035] 在一种形式中，每个注释信息项具有预定义的优先级或被远程用户分配优先级，并且每个优先级与情绪状态阈值相关联，使得如果估计的情绪状态超过优先级的情绪状态阈值，则对本地用户隐藏与该优先级相关联的注释数据，并且当情绪状态下降到低于优先级的情绪状态阈值时，向本地用户显示与该优先级相关联的注释数据。

[0036] 在一种形式中，远程用户装置被配置为允许远程用户基于相应本地用户的情绪状态来控制是否显示注释信息项。

[0037] 在一种形式中，显示器是远程用户穿戴的头戴式显示器，并且远程用户电话会议装置还包括耳机。

[0038] 根据第三方面，提供了一种用于通过至少一个远程用户向至少一个本地用户提供远程协助或监视至少一个本地用户的电话会议系统，所述系统包括：

[0039] 用于所述至少一个本地用户中的每一个的本地用户电话会议装置，该本地用户电话会议装置包括：

[0040] 可穿戴式照相机，用于从本地用户的角度提供视频馈送；

[0041] 头戴式显示器；

[0042] 眼动追踪系统，被安装在头戴式显示器上或包含在头戴式显示器中；

[0043] 耳机；

[0044] 一个或更多个生理传感器，用于监测本地用户的一个或更多个生理参数；以及[0045] 本地用户计算机装置，该本地用户计算机装置包括存储器、处理器和无线通信模块，其中计算装置由远程用户穿戴或保持并可操作地连接到可穿戴式照相机、耳机、头戴式显示器、眼动追踪系统和所述一个或更多个更多生理传感器；

[0046] 远程用户电话会议装置，该远程用户电话会议装置包括：

[0047] 用于所述至少一个远程用户中的每一个的远程用户计算机装置，该远程用户计算机装置包括处理器、存储器和通信模块；

[0048] 远程用户显示器；以及

[0049] 用户输入设备，

[0050] 其中，每个本地用户电话会议装置被配置为通过至少一个通信链路将电话会议数据传输到所述至少一个远程用户电话会议装置，并且接收电话会议数据的每个远程用户电话会议装置被配置为显示来自可穿戴式照相机的视频数据的表示，该表示覆盖有从眼动追踪系统生成的相应本地用户的眼睛注视方向的指示，以及显示从所述一个或更多个生理传感器生成的相应本地用户的情绪状态的表示，并且，用户输入设备被配置为允许远程用户在显示器上生成一个或更多个注释，所述注释被传输到相应本地用户以便在相应本地用户的头戴式显示器上显示。

[0051] 在一种形式中，本地用户的情绪状态的估计由本地用户计算机装置或远程用户计算机装置生成，并且远程用户基于估计的用户的情绪状态控制是否显示注释信息项。

[0052] 在一种形式中，本地用户的情绪状态的估计由本地用户计算机装置或远程用户计算机装置生成，并且所述一个或更多个注释中的每一个具有预定义的优先级或被远程用户分配优先级，并且每个优先级与情绪状态阈值相关联，使得如果估计的情绪状态超过优先级的情绪状态阈值，则对本地用户隐藏与该优先级相关联的注释数据，并且当情绪状态下降到低于优先级的情绪状态阈值时，向本地用户显示与该优先级相关联的注释数据。

[0053] 在一种形式中，本地用户计算机装置包括用于以下的指令：

[0054] 通过本地用户计算机装置分析来自所述一个或更多个生理传感器的数据并估计本地用户的情绪状态；以及

[0055] 将估计的情绪状态传输到远程用户。

[0056] 在一种形式中，通过本地用户计算机装置分析来自所述一个或更多个生理传感器的数据并估计本地用户的情绪状态包括将来自所述一个或更多个生理传感器的数据映射到多个预定义情绪状态中的一个。

[0057] 在一种形式中，本地用户计算机装置包括指令，被配置为预处理来自所述一个或更多个生理传感器的数据并将预处理的数据传输到远程用户，并且远程用户计算机装置被配置为分析预处理的数据以获得本地用户的情绪状态的估计。

[0058] 根据第四方面，提供了一种用于通过远程用户向本地用户提供远程协助或监视本地用户的方法，所述方法包括：

[0059] 从本地用户穿戴的一个或更多个生理传感器生成本地用户的情绪状态的表示；

[0060] 生成从本地用户穿戴的眼动追踪系统生成的本地用户的眼睛注视方向；以及[0061] 在显示装置上向远程用户显示来自本地用户穿戴的照相机的视频数据的表示，该表示被覆盖有本地用户的眼睛注视方向的指示，以及显示本地用户的情绪状态的表示。

[0062] 在一种形式中，所述方法还包括：

[0063] 通过远程用户生成一个或更多个注释，所述注释被传输到本地用户的头戴式显示器并显示在本地用户的头戴式显示器上。

[0064] 在一种形式中，生成本地用户的情绪状态的表示还包括生成本地用户的情绪状态的估计，并且远程用户基于估计的用户的情绪状态来控制是否显示注释信息项。

[0065] 在一种形式中，生成本地用户的情绪状态的表示还包括生成本地用户的情绪状态的估计，并且所述一个或更多个注释中的每一个具有预定义的优先级或者被远程用户分配优先级，并且每个优先级与情绪状态阈值相关联，使得如果估计的情绪状态超过优先级的情绪状态阈值，则对本地用户隐藏与该优先级相关联的注释数据，并且当情绪状态下降到低于优先级的情绪状态阈值时，向本地用户显示与该优先级相关联的注释数据。

[0066] 在一种形式中，生成本地用户的情绪状态的表示还包括：

[0067] 从本地用户穿戴的一个或更多个生理传感器收集数据；

[0068] 通过本地用户本地的处理装置分析收集的数据并估计本地用户的情绪状态；

[0069] 将估计的情绪状态传输到远程用户；以及

[0070] 使用接收到的估计情绪状态生成本地用户的情绪状态的表示。

[0071] 在一种形式中，分析收集的数据的步骤包括将收集的生理数据映射到多个预定义情绪状态中的一个。

[0072] 在一种形式中，分析收集的数据的步骤包括使用神经网络、有限状态机或机器学习实现来将收集的生理数据映射到多个预定义情绪状态中的一个。

[0073] 在一种形式中，所述方法还包括：

[0074] 从本地用户穿戴的一个或更多个生理传感器收集数据；

[0075] 在本地预处理收集的数据；

[0076] 将预处理的数据传输到远程用户；

[0077] 通过处理装置处理接收到的预处理的数据，以获得本地用户的情绪状态的估计。

[0078] 在一种形式中，远程用户监视多个本地用户，并且为每个用户执行生成步骤，并且为每个用户执行表示步骤。附图说明

[0079] 下面将参照附图讨论本公开的实施例，在附图中：

[0080] 图1是根据实施例的电话会议系统的示意图；

[0081] 图2A是根据实施例的对本地用户的第一显示的示意性表示；

[0082] 图2B是根据实施例的对本地用户的第二显示的示意性表示；

[0083] 图3是根据实施例的电话会议方法的流程图；

[0084] 图4A是系统的实施例的示意图；

[0085] 图4B是示出根据实施例的用户穿戴的注视追踪硬件的图；

[0086] 图4C是示出根据实施例的用于检测帧内部的面部表情的传感器放置的图；

[0087] 图4D是根据实施例的穿戴本地用户装置的本地用户的图；

[0088] 图4D是根据实施例的穿戴头戴式显示系统的用户的图，该头戴式显示系统包括集成注视追踪和面部表情检测硬件；以及

[0089] 图4E是远程用户界面的表示；

[0090] 图5A是实施例的用户试验的参与者回应“你和你的伙伴在哪个条件下工作最好”的问题的平均排名的条形图；

[0091] 图5B是实施例的用户试验的参与者回应“你认为你和你的伙伴在哪个条件下最好沟通”的问题的平均排名的条形图；以及图5C是实施例的用户试验的参与者回应“你认为在哪个条件下最能让你了解伙伴的感受”的问题的平均排名的条形图。

[0092] 在以下描述中，贯穿附图，相同的附图标记表示相同或相应的部分。

具体实施方式

[0093] 现在参照图1，示出了根据实施例的电话会议系统1的示意图，该电话会议系统1可以用于通过至少一个远程用户向至少一个本地用户提供远程协助或监视至少一个本地用户。电话会议系统(或远程协助系统)1包括：本地用户装置2，其捕获本地用户的视场以及本地用户的生理状态；以及远程用户装置3，用以允许远程用户查看本地用户正在观看和执行的内容。也就是说，电话会议系统允许本地和远程用户拥有共享视野和共享音频链接。在此情形中，本地用户是两个用户正在查看的场景的本地(或近端)用户。另外，本地用户的生理状态被监视，并且根据生理状态数据，向远程用户提供对本地用户的情绪状态或生理状态的估计，从而允许他们共情本地用户的情绪状态。远程用户可以交互或协助本地用户，其包括基于本地用户当前的情绪状态控制提供给他们的协助的数量和/或类型。为了便于理解，在本实施例中，单个本地用户由单个远程用户监视或辅助。然而，应该理解，系统不被限制于此，并且多个本地用户可以由单个远程用户监视和辅助(多对一)，或者单个本地用户可以由多个远程用户监视和辅助(一对多)，或者，多个本地用户被多个远程用户监视与不同的远程用户监视可能重叠的本地用户子集的某种组合(多对多)。

[0094] 本地用户装置2包括视听模块10、生理传感器模块20和无线通信模块30，无线通信模块30被配置为将来自视听模块的视听数据和来自生理传感器的生理数据通过通信链路传输到远程用户装置3。视听模块10包括可穿戴式照相机12；头戴式显示器14；眼动追踪系统16和耳机18。生理传感器模块20包括一个或更多个生理传感器22，用于监测本地用户的一个或更多个生理参数。视听模块的各种组件可以集成到单个设备中，或者它们可以使用有线或无线链路可操作地彼此连接。

[0095] 可穿戴式照相机12从本地用户的角度提供视野13。在图1所示的实施例中，远程用户4正在电气设备5上工作并且已经打开了访问端口6以露出两个开关7和8。视野13捕获了访问端口6、开关7,8和本地用户的手9，并且该视野的表示经由通信模块30提供给远程用户。在一个实施例中，可穿戴式照相机被安装到或集成在头戴式显示器中以捕获与本地用户的视场对准的视场。在另一个实施例中，可穿戴式照相机是面向前方的头戴式照相机，并且在一个实施例中，它被安装在本地用户穿戴的帽子或头盔上。在另一个实施例中，照相机被穿戴在本地用户的肩部、胸部或腰部上，并且被定向成提供面向前方的视野。在一个实施例中，视听模块可以包括定向传感器，例如加速计或倾斜传感器，以测量照相机和/或本地用户头的取向。在一个实施例中，头部和/或照相机取向也可以使用计算机视觉技术单独或与传感器数据结合从头部照相机视频计算。在一个实施例中，视听装置被配置为基于本地用户头部和照相机的相对取向和距离来识别或确定照相机视场内的本地用户的可能的视场，并将该可能的视场作为表示提供给远程用户。该确定可以由视听模块本地执行，或者由本地用户电话会议装置的另一模块执行，或者关于本地用户头和照相机的相对取向和距离的数据可以被传输给远程用户，并且可以在远程用户端执行确定。

[0096] 头戴式显示器14被配置为覆盖关于用户的视野的信息(即，增强现实显示器)。在一个实施例中，头戴式显示器是透视显示器，例如集成在或投射到位于本地用户眼睛(或眼睛)前面的透明屏幕上(例如投射到一副眼镜(例如谷歌眼镜)的镜片上或单片眼镜上)的显示器。在另一个实施例中，头戴式显示器是封闭式显示器，其中用来自照相机(或多个照相机)的视野替换用户的自然视野，该视野被增加了附加信息。在一个实施例中，头戴式显示器是一对护目镜中的LCD、LED，OLED或类似屏幕(或多个屏幕)。在一个实施例中，头戴式显示器是虚拟视网膜显示器，其将图像直接投射到本地用户的视网膜上。头戴式显示器的示例包括Epson Moverio BT-200和Brother AirScouter。Epson Moverio是一款商用智能眼镜，其具有连接到控制器的立体光学透视显示器，其包括带1GB RAM的1.2GHz双核CPU、8GB内存、多点触摸屏用户界面、LiPo电池，并运行Android OS。显示器为具有22.4°视场的24位彩色LCD显示器(960x540x 3)，并被视为在5米处浮动的80英寸屏幕。Moverio还包括USB、蓝牙和Wi-Fi连接，面向前方的VGA照相机，集成耳机(麦克风和扬声器)，GPS，以及耳机和控制器二者中的包括加速度计、指南针和陀螺仪的运动追踪传感器。耳机重约88克，控制器重约124克。Brother AirScouter是连接到控制箱的高质量光学透视单眼显示器。该显示器具有SVGA 800x600分辨率和22.4°视场，且等效于1米处的40厘米显示器。显示器重约64g，控制箱重约75g。

[0097] 在一个实施例中，眼动追踪系统16被安装到头戴式显示器14或被包括在头戴式显示器14中。眼动追踪系统用于确定本地用户在其视场(即他们的注视方向)内观看到的位置。在一个实施例中，眼动追踪系统包括照相机和红外(IR)或近红外发射器，以产生从中可以确定注视方向的角膜反射或视网膜反射。在其他实施例中，其他眼动追踪系统，例如视网膜成像器，附着到眼睛的直接测量物体的运动的设备(例如专用隐形眼镜)，或者使用放置在眼睛周围的电极来测量电位并推断注视方向的设备。

[0098] 在一个实施例中，耳机18包括麦克风和至少一个扬声器。在一个实施例中，耳机安装到或并入头戴式显示器中。在一个实施例中，耳机是骨传导耳机。耳机可以经由有线或无线连接而连接到无线通信模块。

[0099] 在一个实施例中，视听模块10的所有组件都集成到头戴式显示单元中。在一个实施例中，视听模块10、生理传感器模块20和无线通信模块由本地用户穿戴。视听模块10和生理传感器模块20和/或这些模块的各个组件可以通过有线或无线连接(或链路)连接到无线通信模块，并且可以使用这两者的组合。无线通信模块可以支持多种通信协议，例如移动或蜂窝标准(例如4G标准)，包括Wi-Fi的IEEE 802.11标准，包括蓝牙和个人区域网络的IEEE 802.15标准，或其他专有通信标准。无线通信模块可以使用一种协议或标准与远程用户通信(例如4G或Wi-Fi)，并且可以使用另一种短程协议(例如蓝牙)与视听模块10和生理传感器模块20和/或这些模块的各个组件通信。

[0100] 在另一个实施例中，视听模块10和生理传感器模块20由用户穿戴，并且被配置为与位于本地用户附近的无线通信模块无线通信。无线通信模块可以位于在本地用户是团队的一部分的情况下的另一个人身上，在附近的车辆中或在大本营，或者作为无线网络基础设施的一部分，例如在本地用户的操作区域中提供无线连接的局域网接入点。

[0101] 在一个实施例中，计算装置40由用户穿戴并且通过有线或无线连接可操作地连接到视听模块10、生理传感器模块20和无线通信模块30中的每一个。在本实施例中，计算装置40包括至少一个处理器42和存储器44，存储器44包括将处理器配置为控制本地用户电话会议装置(例如控制头戴式显示器)的操作并协调与远程用户的视听连接(或通道)的指令。在一个实施例中，计算装置40与一个或更多个模块集成在一起，例如设置在公共母板上或公共外壳中的连接板上。在一个实施例中，计算机装置设置在主板上，该主板包括处理器芯片、存储器、无线通信芯片、视听处理芯片或图形卡，以及到一个或更多个硬件元件(例如照相机、头戴式显示器，眼动追踪器输出，耳机和生理传感器)的插座、端口或连接件。在一个实施例中，无线通信模块还被配置为无线连接到所述一个或更多个硬件元件，例如照相机、头戴式显示器、眼动追踪器输出、耳机和生理传感器。附加地或替代地，视听模块、生理传感器模块和无线通信模块中的每一个包括至少一个处理器和包含指令的存储器，所述指令用于配置相应模块的操作和/或与其他模块的通信。在一个实施例中，至少一个处理器是嵌入式或实时微处理器。在一个实施例中，计算任务分布在模块之间。

[0102] 视听模块通过无线通信模块建立的通信链路向远程用户发送视听数据。视听数据包括来自照相机的视频数据，来自耳机的音频数据和来自眼动追踪系统的眼动追踪数据。远程用户的电话会议软件向远程用户提供照相机视野和音频的表示以及眼动追踪数据。视听模块还被配置为在本地用户的头戴式显示器和远程用户的显示设备之间提供显示共享。
这允许远程用户生成或提供注释信息，该注释信息通过通信链路发送回本地用户并显示在本地用户的头戴式显示器上。例如，远程用户可以观察本地用户正在观看的位置，并在要检查的特定组件周围绘制虚拟圆圈，或者在特定特征附近放置虚拟箭头。另外，远程用户可以查找本地用户正在测试的特定组件的手册或规范，并且远程用户可以在显示器上粘贴可接受的范围或参考数据以允许本地用户比较或解释测试结果或状态。还可以提供来自远程用户的音频数据以及注释数据。

[0103] 用于由远程用户向本地用户提供远程协助的现有电话会议装置的一个问题是远程用户只能访问用户的视场和任何口头通信。由于远程用户无法看到人或他们的面部，所以他们缺乏面对面互动中可用的许多非语言线索，并且他们很难评估本地用户如何应对他们的情况(即他们的压力水平)或他们的感受(自信，不确定，疲惫等)。将照相机定位在本地用户的面部的前方以捕获这些视觉线索通常是不切实际的，尤其是当本地用户尝试执行活动任务或在环境中移动时。另外，在解释面部线索时，提供用户面部的附加视野会占用远程用户的进一步带宽和认知负荷。为了解决该问题并使远程人员能够更好地理解本地用户正在做什么以及正在感觉什么(即允许他们与他们共情)，本地用户装置2包括生理传感器模块20，其包括用于监测本地用户的一个或更多个生理参数的一个或更多个生理传感器22。来自生理传感器的生理数据被发送给远程用户，以便能够评估本地用户的情绪和/或生理状态。生理数据可以以原始或处理的形式发送，并且可以由远程用户进一步处理。

[0104] 一系列生理传感器22可用于测量一系列生理参数，或提供同一参数的多次测量。生理传感器数据用于获得本地用户的情绪状态的估计。在本说明书的上下文中，情绪状态以包含性意义使用以包括从生理数据推断的生理状态和情绪状态两者。即，生理状态可以直接指示情绪状态，或者可以从生理数据确定或推断情绪状态。在这种情景下，生理传感器可以广泛地被认为是情绪监测传感器。也就是说，他们从可以被处理/分析的人(用户/穿戴者)收集数据以估计或确定这个人(用户/穿戴者)的情绪状态。生理传感器22可包括心率传感器、血压传感器、温度传感器、皮肤电活动传感器(也称为皮肤电导或皮肤电反应传感器)、pH传感器、汗液成分传感器、加速度计、运动传感器、方位传感器、麦克风、照相机、脑电图(EEG)传感器、肌电图(EMG)传感器等中的一个或更多个。生理传感器可以分布在身体周围，被穿戴或保持，或者可以集成在头戴式显示器中。这些传感器可以是独立传感器，或与其他组件集成(即组件可用于提供多于一种功能)。例如，眼动追踪系统中的照相机也可以用于检测和报告瞳孔大小(除了追踪注视)。可以使用或处理绝对瞳孔大小和瞳孔大小的时间变化来估计本地用户的生理状态。例如，当一个人害怕时，其瞳孔大小扩大。类似地，除了将来自耳机中的麦克风的音频流提供给远程用户之外，还可以处理音频流以检测本地用户语音中的压力或其他情绪。现在将描述各种生理传感器。

[0105] 可以以各种方式使用诸如加速度计、倾斜传感器、陀螺仪、振动传感器、拉伸/线性扩展传感器、应变传感器、光传感器(包括基于光的发射器/接收器对)等的运动或方位传感器。运动或方位传感器可用于测量面部周围的肌肉运动，并且眼睛也可用于推断面部表情并因此推断情绪状态。运动传感器还可以捕获总体的身体运动，例如头部的摇动，手臂的运动，以及更精细的尺度运动，例如可以指示疲劳或其他生理和/或情绪状态的非自主震颤或手或肌肉的精细摇动。

[0106] 安装在眼镜或类似框架上的光传感器可用于测量面部肌肉运动，例如由面部表情变化引起的眼睛周围的皮肤变形。光反射传感器测量模块与面部皮肤表面之间的距离，并且足够小以适合可穿戴设备，不显眼，并且信号可以被足够快地处理以实时预测面部表情或情绪状态。然后，面部表情或情绪状态可以显示或可视化给远程用户。可以在本地执行面部表情或情绪状态的估计(例如，通过运行对用户训练的机器学习算法的Arduino微控制器)，在这种情况下，仅需要将表示情绪状态的数据发送给远程用户，或者可以将传感器数据发送给远程用户以处理和估计面部表情或情绪状态。

[0107] 心率传感器测量心率，可以对心率进行分析以测量诸如心率变异性之类的附加参数，心率变异性是成人心理努力和压力的指标。心率信息的分析也可用于区分积极情绪和消极情绪。心率变异性(HRV)是指心率的振荡，并且已被用作成人心理努力和压力的指示。进一步的信号分析，如对心率数据的频谱分析或时频分析，也可用于确定情绪线索。

[0108] 电皮肤活动传感器(也称为皮肤电导或皮肤电反应传感器)测量汗液反应，例如通过测量随着皮肤中汗腺的状态而变化的皮肤电阻(或电导)。出汗是由交感神经系统控制的，因此皮肤电导是生理状态和情绪/心理唤醒的指示。例如，当一个人受到压力或兴奋时，他们的自主神经系统就会被唤醒并且出汗增加，导致皮肤电导增加。因此，通过测量皮肤电导，可以估计本地用户的情绪状态的度量。另外或可替代地，可以使用汗液pH或汗液组成的测量值。汗液的pH值通常在7左右，但随着人们运动，排出汗液的速度增加，导致汗液的pH值增加(这被认为是由于汗液管道需要较少的时间来重新吸收汗液成分的缘故)。汗液成分传感器还可用于测量电解质(例如钠，氯和钾)、代谢物水平(例如乳酸，葡萄糖，尿酸等)和汗液中发现的其他小分子和蛋白质。组成物的分析可用于指示水合和/或疲劳的水平。

[0109] 可以分析来自一个或更多个生理传感器的生理数据的分析以估计本地用户的情绪状态。可以从特定传感器数据的分析来估计情绪和/或生理状态，并且可以使用公开可用的或专有的分析算法。在一些实施例中，可以组合来自多个传感器的传感器数据以提供情绪状态的总体测量。例子包括Affectivia(马萨诸塞州沃尔瑟姆)的Q传感器和伦敦XOX Emotional Technologies/XOVIA的XOX腕带。两个系统都使用腕带(尽管传感器可以穿戴在其他位置，如身体或头部)，并通过测量皮肤电导来估计压力/兴奋水平。另一个例子是Spire传感器(Spire-http://www.Spire.io，旧金山)，它穿戴在臀部或躯干上，测量运动和呼吸模式。数据被无线传输到分析模块。Spire测量每个呼吸周期的10个以上的特征，例如呼吸的频率和幅度，以及输入和输出的比率，并且分析软件识别不同类型的呼吸模式，从而可以生成对用户的警报。另一个例子是由Kenzen(http://www.kenzenwear.com/)制造的ECHO和H2智能贴片，其通过汗液的成分分析提供连续的水合、乳酸和葡萄糖分析测量。H2智能贴片包括粘贴贴片，其可粘贴在腹部或身体的另一部位上，并包含将汗液吸过传感器的纸质微流体层。传感器由外部供电并将数据无线传输到接收器模块。离子电渗疗法也可用于主动从皮肤中提取汗液。在另一个例子中，Sensaura Tech(http://www.sensauratech.com/)提供的Sensaura分析套件分析来自心率传感器和皮肤电活动传感器的数据，以提供对用户情绪状态的估计。

[0110] 在一些实施例中，生理数据被发送到生理传感器模块20，然后经由通信模块30被发送到远程用户以进行分析。生理传感器模块20和生理传感器22之间的连接可以是有线的23、或者无线的24或某些组合，例如无线到通信模块30，并且从通信模块30有线到生理传感器模块20。在一些实施例中，生理传感器模块执行生理数据的预处理，例如求平均、应用变换(例如，小波或快速傅立叶变换)、归一化等，并且将预处理的数据发送给远程用户以进行进一步分析。在一些实施例中，生理传感器模块执行生理数据的局部分析，并且将情绪或生理状态的估计发送给远程用户。生理传感器模块20可以是存储在存储器44中并且可由处理器22执行的软件模块(指令)，或者包括单独的电子电路和/或处理器和存储器。

[0111] 返回参考图1，远程用户电话会议装置3被配置为允许远程用户监视并向本地用户提供帮助。远程用户装置3包括远程用户计算机装置50，该远程用户计算机装置50包括处理器52、存储器54和通信模块56。远程用户电话会议装置3还包括显示器60和(一个或多个)用户输入设备58，例如，鼠标键盘，诸如具有多点触摸输入的平板电脑的触摸敏感设备，诸如一只或多只手套的可穿戴用户输入设备等。显示器可以是LCD或LED平板显示器，触摸屏幕(在这种情况下，显示器还可以用作用户输入设备)，3D显示器，诸如显示护目镜(2D或3D)的头戴式显示器或透视显示器，或其他类似的显示设备。

[0112] 通信模块56可操作地连接到本地用户通信模块30。在本实施例中，通信模块56是无线通信模块，其通过无线网络(未示出)与本地用户通信模块30通信。在其他实施例中，通信模块包括到网关的有线(例如，以太网)连接，该网关可操作地连接到与本地用户通信模块30通信的无线接入点。该存储器包括将处理器配置成执行软件模块以建立和支持本地和远程用户装置之间的电话会议会话的指令。通信模块56被配置为从本地用户接收电话会议数据，并且显示器60被配置为显示来自本地用户2穿戴的照相机12的视频数据的表示61。来自本地用户的音频数据由计算装置使用内部扬声器输出或由连接到计算装置的外部扬声器或耳机输出。类似地，来自远程用户的音频输入可以由集成到计算装置中的麦克风或远程用户穿戴的耳机中的麦克风接收。然后，通信模块将从远程用户接收的音频数据发送给本地用户。

[0113] 在图1所示的实施例中，远程用户4正在电气设备5上工作，并且远程用户4已经打开了访问端口6并且可以查看两个开关7和8。照相机12捕获被发送到远程用户装置3的访问端口6、开关7,8和本地用户手9的视野13，并且在远程用户显示器60上显示表示61。表示61提供来自本地用户的视角的视野。在一个实施例中，视频数据是来自照相机的基本直播流。在一个实施例中，视频数据以压缩格式顺序地在本地用户装置和远程用户装置之间发送，以便节省带宽。该表示是照相机视场的缩小部分，变换版本(例如，改变的宽高比)，或者包括放大部分。显示器进一步覆盖有本地用户的眼睛注视方向62的指示。注视方向可以由眼动追踪系统16在本地用户侧确定，或者可以在远程用户侧由眼动追踪系统16提供的眼动追踪数据生成。这样，远程用户可以同时查看本地用户正在看的内容以及他们引导他们注意的位置。

[0114] 另外，远程用户装置3显示本地用户的情绪或生理状态63的表示。该表示可以是用于概括情绪状态的单个表示，或者它可以包括多个表示，其可以是基于不同生理传感器或传感器的组合或处理过的传感器输出的表示。该表示还可以指示情绪状态的变化(例如，从平静到紧张，或平静下来)。在本实施例中，情绪状态被绘制在2D图表上，该2D图表被分成指示不同状态的区域。在一个实施例中，x轴表示压力，左侧表示压力放松，右侧表示压力增加，y轴表示自信，负值表示消极态度(例如缺乏信心)，正值表示积极态度(例如自信)。在本实施例中，本地用户处于压力之下，但仍然对他们处理任务的能力充满信心。在其他实施例中，可以使用其他情绪表示，例如面部、表情、符号、描述性词语或标签或描述。在本实施例中，示出了情绪变化指示符64，其指示在诸如最后5分钟的预定时间段内情绪状态的百分比变化。在本实施例中，-10％的值表示信心(C)的下降，这表明用户正在努力应对该情况。可以使用数字(例如百分比)、基于颜色(例如热图)的或图形的指示符(例如箭头)来显示各种变化指示符。在本实施例中，还示出了诸如心率曲线65和汗液传导曲线66的生理传感器数据。还可以显示关于本地用户正在访问的系统的附加信息67，例如手册、示意图、程序手册等，远程用户可以使用该附加信息来向本地用户提供帮助。屏幕共享实用程序可用于与本地用户共享远程用户查看的资料。例如，这可以允许远程用户在其桌面上选择窗口或框架以与本地用户共享。

[0115] 此外，用户输入设备58被配置为允许远程用户在显示器60上生成注释68，其被发送到本地用户以在本地用户的头戴式显示器14上显示。在本实施例中，远程用户提供指向本地用户应该正在测试的第一开关7而不是如注视指示(62)所指示的用户正在关注的第二开关8的箭头。

[0116] 电话会议系统使远程用户能够监视本地用户正在看什么和做什么，同时还向他们提供关于本地用户的生理和情绪状态的信息。这是在不需要将照相机聚焦在用户的面部上的情况下实现的，并且在任何情况下都可以提供关于用户如何实际应对的额外提示，通常远远超出语音和面部提示可用的提示。这样，远程用户可以更密切地监视用户如何应对并决定要提供的帮助级别。此外，用于推断情绪状态的生理数据与视听数据相比占用的带宽明显更少，并且带宽明显小于附加面部指向照相机所需的带宽，因此不会在本地用户装置上产生显著的功率或计算负荷。可以在远程用户侧执行分析，其通常具有比本地用户可用的功率和计算资源更大的功率和计算资源。可以使用各种方法将来自多个传感器的生理数据组合或表示为单个情绪指示符或表示。在一个实施例中，可以定义一组标准情绪状态，然后将每个传感器数据映射到标准情绪状态。在个体映射的情况下，可以组合或平均情绪状态以获得情绪状态的最终估计(和不确定性)，或者可以将传感器数据共同映射到标准情绪状态。可以通过使用校准过程或诸如监督学习的机器学习技术来获得传感器映射。可以为每个情绪状态分配数值并且可选地分配不确定性，并且可以使用诸如平均值(包括标准，修剪，加权和稳健变体)的汇总统计来概括多个情绪状态。可替代地，可以训练或配置系统以使用诸如神经网络、有限状态机(例如隐马尔可夫模型方法)或机器学习(例如聚类，监督学习等)的更复杂的算法组合数据。这些方法可能需要训练以确定如何组合数据。

[0117] 在一种形式中，远程用户装置3被配置为允许远程用户基于用户情绪状态来控制是否显示注释信息项。因此，随着用户的压力水平增加，或者信心或应对水平降低，远程用户可以减少提供给本地用户的附加信息量以减少认知负荷。这在图3A和图3B中示出。图3A是本地用户的头戴式显示器210的示意图，其包括由远程用户向本地用户提供的注释信息。在本实施例中，5项注释信息211,212,213,214和215覆盖在本地用户显示器上，以提供关于本地用户正在进行的系统的信息。如果远程用户确定用户过度紧张或难以应对，则远程用户可以减少提供的注释信息量。图3B示出了第二显示器220，其中注释信息量已减少到两个项目211和212。

[0118] 虚拟注释信息的控制可以由远程用户手动执行，或者以半自动或自动方式执行。当添加注释信息时，远程用户可以为信息分配优先级或类别，或者这可以是预定义的。远程用户还可以设置各种情绪状态阈值，其限制何时可以显示给定优先级或类别，以及对任何一个优先级或类别的数量的限制。当越过压力/应对阈值时，系统可以自动移除注释数据，或者，在半自动系统的情况下，可以询问远程用户是否应该移除信息和/或应该保留哪些信息。类似地，当本地用户减轻压力或者更好地应对并且降低到阈值以下时，可以重新添加先前隐藏的注释数据。即，每个注释具有预定义的优先级或被远程用户分配有优先级，并且每个优先级与情绪状态阈值相关联。如果估计的情绪状态超过优先级的情绪状态阈值，则与该优先级相关联的注释数据对本地用户隐藏，并且当情绪状态下降到优先级的情绪状态阈值以下时，与该优先级相关联的注释数据被显示给本地用户。

[0119] 图3是根据实施例的用于向远程用户提供对本地用户的远程协助或监视本地用户的电话会议方法的流程图300。在步骤310处，生成来自本地用户所穿戴的一个或更多个生理传感器的本地用户的情绪状态的表示。在步骤320处，从本地用户穿戴的眼动追踪系统生成本地用户的眼睛注视方向。步骤330包括向远程用户显示被覆盖有本地用户的眼睛注视方向的指示的来自本地用户穿戴的照相机的视频数据的表示和本地用户情绪状态的表示。选项步骤340包括由远程用户生成发送到本地用户的头戴式显示器并在其上显示的虚拟注释。

[0120] 如本文所述的上述方法和变体可以作为包括包含可由处理器执行的指令的计算机程序产品来提供。该系统可以是计算机实现的系统，其包括显示设备、处理器和存储器以及输入设备。存储器可以包括使处理器执行本文描述的方法的指令。处理器存储器和显示设备可以包括在标准计算设备中，例如台式计算机、便携式计算设备，例如膝上型计算机或平板电脑，或者它们可以包括在定制设备或系统中。显示设备可以是头戴式显示设备。计算设备可以是单一计算或可编程设备，或包括通过有线或无线连接可操作地(或功能地)连接的若干组件的分布式设备。本地和远程计算装置4050可以包括中央处理单元(CPU)，其还包括输入/输出接口、算术和逻辑单元(ALU)以及通过输入/输出接口与输入和输出设备通信的控制单元和程序计数器元件。输入/输出接口可以包括网络接口并且/或者合并通信模块，用于使用预定义的通信协议(例如，蓝牙，Zigbee，IEEE 802.15，IEEE 802.11，TCP/IP，UDP等)与另一设备中的等效通信模块通信。还可以包括图形处理单元(GPU)。计算设备可以是单个CPU(核)，多个CPU(多个核)，或者包括多个处理器。计算设备可以使用并行处理器、矢量处理器或者是分布式计算设备。存储器可操作地耦合到(一个或多个)处理器，并且可以包括RAM和ROM组件，并且可以在设备内部或外部提供。存储器可用于存储操作系统和附加软件模块或指令。(一个或多个)处理器可以被配置为加载和执行存储在存储器中的软件模块或指令以实现该方法。

[0121] 图4A是系统400的实施例的示意图，其中本地用户402穿戴的本地用户可穿戴装置410捕获本地用户的视点、注视和面部表情并将其发送到远程用户界面450，在远程用户界面450中所接收的信息由远程用户404查看，远程用户404可以注释发送回本地用户并显示在头戴式显示器(HMD)中的视频(或视觉)馈送。本地用户可穿戴装置410包括：瞳孔眼球追踪器420，其记录估计的用户的注视422和穿戴者的视野或场景424；面部表情传感器模块
430，其提供用户的情绪状态的估计432；以及Epson Moverio BT-200头戴式显示器(HMD)
440，其包括框架441和透视显示器442。远程用户界面450在场景452上显示穿戴者视野(场景)452和估计的本地用户的注视点454。基于面部表情数据的情绪状态456的表示以表情图像的形式显示在场景452附近。远程用户界面允许用户以视觉指示符458的形式在照相机馈送上提供注释数据。场景和视觉指示符注释的视频馈送被发送回本地用户并由用户穿戴的Epson Moverio 430显示。

[0122] 瞳孔眼球追踪器420是用于普遍眼动追踪和基于移动注视的交互的开源平台。它使用安装在框架421上的两个照相机。第一照相机是用于追踪用户右眼404凝视的眼睛照相机422和捕捉用户视野424的场景照相机。眼睛照相机经由支撑件423位于用户右眼下方，该支撑件423从支撑场景照相机424的框架421向下延伸。瞳孔硬件可以120Hz捕获率以0.6°精度追踪眼睛注视424，并且具有5.7ms延迟的全高清场景照相机。软件追踪视频流中的眼睛瞳孔，并将眼睛注视方向454覆盖在场景照相机视频流452上，该场景照相机视频流452被通过链路426发送到远程用户404。视频馈送或流452经由在远程用户界面450中通过指示为红点的注视454被显示给远程用户404。绿色圆圈指示符458跟随远程用户的鼠标输入以允许远程用户(帮助者)在本地用户的现场照相机视野上提供视觉指向反馈。具有远程用户指示符(绿点)的现场照相机视野经由链路444被发送回本地用户，以通过本地用户穿戴的Epson Moverio HMD 440显示给本地用户402。

[0123] 面部表情传感器模块430基于AffectiveWear(AW)模块开发，并且包括Arduino Fio、八个光反射传感器(SG-105)、晶体管(IRLU3410PBF)、Xbee和Li-Po电池。图4C是示出根据实施例的用于在框架的内侧(即，眼睛侧)上检测面部表情的传感器放置的图。将模块固定到Epson BT-200头戴式显示器(HMD)的左透镜的框架上，在上支撑件431上的显示器顶部上具有四个传感器432a 432b 432c 432d，并且其他四个传感器432e 432f432g 432h放置在下支撑件433上的显示器下方。传感器432经由连接器437连接到晶体管435和Arduino Fio(未示出)。面部表情的变化导致眼睛周围区域的皮肤变形，并且光反射传感器432测量模块和面部皮肤表面之间的距离。来自光反射传感器的信号由在Arduino Fio上执行的机器学习算法处理，以从一组面部表情434中识别面部表情。在本实施例中，该组面部表情是表示(中性，积极，消极，惊喜)的四个面部表情，尽管在另一个实施例中可以识别更宽范围的面部表情。在本实施例中，机器学习算法由用户针对每个情绪标签在一组摆出的面部表情上进行训练。然而，在其他实施例中，可以使用更稳健的算法，其不需要单独的用户训练。估计的表情数据(例如，中性)通过链路436以大约每秒170帧的速度发送给远程用户，并且使用对应于(来自组434)估计的面部表情的表情脸456向远程用户显示或可视化。图4D是穿戴本地用户可穿戴装置410的实施例的本地用户402的图。Epson BT-200头戴式显示器440用作面部表情检测模块420的传感器的支撑件，并且侧面是瞳孔眼动追踪器420的框架和照相机。头戴式显示器和瞳孔眼追踪器的框架彼此固定。

[0124] 使用图4A至图4D中所示的系统进行用户研究，以研究情绪状态表示(来自生理数据)如何影响远程协作。测试了四种不同的界面条件(处理)。在每种情况下，本地用户和远程用户能够彼此交谈(和倾听)。第一个条件是仅视频条件，其中远程用户只能看到来自本地用户的视频(V)。第二个条件是视频加指向器条件，即与增加了注视提示并指向头戴式照相机(HWC)视频的V条件相同(P)。第三个条件包括视频加表情条件，即与添加了面部表情监视器的V条件相同(E)，第四个条件是将指向、注视追踪和面部表情添加到V条件的全数据条件(A)。

[0125] 呈现给用户的任务是一起工作以用木块构建各种物体(例如跑车，城堡，邮轮和动物)的2D图片。这类似于远程协作研究中使用的早期物理构造任务。在受试者设计中使用了成对的用户将使用四种不同界面条件中的每一种与每种条件的不同对象。条件和对象的顺序是平衡的，以减少任何顺序效应。给予受试者对五分钟以构建每种条件的图片并被告知他们应尽量使用尽可能多的块。在实验开始之前，完成头戴式硬件的校准以获得本地用户的眼睛注视和面部表情设置。在每个条件之后，他们被问到多个李克特量表问题，其关于他们认为他们在一起工作的程度如何，能够相互理解，并且一起沟通等等。这些问题的评分为1到7，其中1＝非常不同意，7＝非常同意。在所有条件结束后，他们被要求根据他们与他们的伙伴的沟通情况，以及一起工作等顺序地对每个界面进行排序。对受试者行为进行观察并在经历之后对受试者进行访谈。

[0126] 图4E是在该实验中提供给远程用户404的远程用户界面450的表示。在本实施例中，场景(视频馈送)452示出了木块的视图，其中本地用户注视指向由注视指示符454以红色圆圈形式指示的右上角中的三角形。用户情绪状态被指示为视频馈送旁边的消极表情脸456，表明本地用户不确定选择哪个片段。在这种情况下，远程用户使用鼠标将远程用户视觉指示符458(在这种情况下是绿色圆圈)移动到视场中心的白色块上。

[0127] 总共5对受试者(6名男性，4名女性)完成了年龄范围为20-45岁的试点测试。受试者对彼此认识为朋友或工作同事，因此很容易合作。总的来说，受试者在分配的时间内完成对象构建任务没有问题。对于所提出的问题，每个条件的平均李克特量表得分没有显著差异。然而，结果与强制排序问题存在显著差异。在所有条件完成后，要求受试者按照以下问题从最佳(1)到最差(4)的顺序对四种情况进行排序；(Q1)你和你的伙伴在哪个条件下工作最好？，(Q2)你认为你和你的伙伴在哪个条件下最好的沟通？，和(Q3)你认为在哪个条件下最能让你了解伙伴的感受？图5A至图5C示出了这些问题中每一个的每个条件的平均排名。在这些图中，1＝最佳，4＝最差，因此小列总数表示性能更好的条件。在每个条件(V，P，E，A)中，左侧栏是远程用户的平均分数，右侧栏是本地用户的平均分数。

[0128] Friedman测试用于测试结果之间的显著差异，并且即使仅有五对受试者，也发现显著差异。本地(HMD)用户对Q2的排名之间存在显著差异(χ2(3)＝8.3,p<0.05)，并且，远程用户对Q2的排名之间存在近似显著(χ2(3)＝7.3,p＝0.06)。类似地，本地用户对Q3的排名之间存在显著差异(χ2(3)＝8.3,p<0.05)，并且，远程用户对Q3的排名存在显著差异(χ2(3)＝9.2,p<0.05)。最后，本地用户对Q1的结果存在近似显著差异(χ2(3)＝6.4,p＝0.09)，并且，远程用户对Q1的结果存在近似显著差异(χ2(3)＝5.9,p＝0.12)。在实验后，受试者进行了访谈，以进一步了解他们的经历。

[0129] 这些结果表明面部表情追踪可以用作隐式提示以显示理解。最有趣的是，尽管表情(E)和指向(P)条件对人们认为他们可以与伙伴(Q2)沟通的程度没有特别高的评价，但这两个条件(A)的组合排名非常高，几乎每个用户都认为这是最好的。这可能是因为每种模式提供的通信渠道不同。一位远程助手说：“我把A条件列为最佳，因为我可以轻松指出沟通，当我需要时，我可以检查面部表情，以确保我被理解。”虽然这个实验是一个相对简单的施工任务，其可能不会像其他任务那样引起多少情绪显示，并且只使用具有粗略4状态输出的单一生理数据源(面部表情)，但是结果清楚地表明包含情感数据提高了协作的质量和远程助手协助本地用户的能力。在其他系统中，可以使用更宽范围的生理数据(例如心率，汗液，音频音调追踪等)来估计情绪状态。

[0130] 本文描述的情绪感知电话会议系统使远程用户能够更好地理解本地用户正在做什么和感觉到什么。当人们面对面工作时，他们很清楚他们的伙伴正在做什么以及他们的感受(通过分享口头和非口头线索)。然而，对于大多数当前的协作技术，特别是现有技术系统，通常不是这种情况。现有技术系统缺少诸如眼动追踪和情绪/生理感测之类的组件，这些组件被集成到远程协作或电话会议软件中。此外，系统的各种组件可以组合成头戴式硬件，例如组合或集成眼动追踪、生理/情绪感测和透视头戴式显示器和照相机系统的系统。这种系统的实施例对用户的影响有限，因为它们相对较轻，并且不会明显限制用户在没有系统的情况下可以看到或听到的内容。例如，周边视觉不受显著限制。因此，本地穿戴者仍然能够执行典型的任务而没有任何严重的限制。然而，应当理解，用户还可以在头部或身体的其他部分上穿戴额外的生理传感器，以提高估计本地穿戴者的情绪状态的保真度或准确度。还可以使用使用非透视头戴式显示器的这种系统的进一步实施例。

[0131] 虽然上述实施例是1对1的本地到远程用户配置，但是应该理解，系统可以扩展到其他配置，例如1对多、多对1和多对多。例如，本地用户可以由几个远程用户(即1对多)(可能每个都是不同领域的专家)监视或由几个主管监视。在这样的实施例中，可以为远程用户提供相同的接口。提供给本地用户的注释数据的细节的控制可以是不协调的或协调的。也就是说，每个远程用户可以各自决定和控制何时改变(增加或减少)提供给本地用户的注释数据的量。这可以独立于所有其他远程用户。在另一个实施例中，可以在软件中或通过指定主远程用户或主管远程用户来协调对要提供的注释数据量的改变，该主远程用户或主管远程用户基于由一个或更多个远程用户接收的信息来决定何时改变量。在本实施例中，每个远程用户可以提出改变的建议，然后主用户可以决定是否采取改变。在另一个实施例中，软件模块或代理可以接收改变的建议并采取行动。在建议冲突的情况下，软件可以强制进行投票，并且需要多数决策，或者使用预定义规则来决定如何选择，例如基于资历。类似地，软件可以监视自上次改变以来的时间，并防止改变之间的快速切换。

[0132] 本地用户的界面可以与具有单个远程用户的界面相同，例如具有注释数据的单个馈送，或者至少一些注释数据可以以标识提供注释数据的远程用户的形式呈现。例如，不同的远程用户可以各自具有不同的颜色和/或形状指示符(例如，3个远程用户可以分别使用红色圆圈，绿色方块，紫色三角形)用于突出显示本地用户的视野中的区域或项目或者提供其他视觉信息。这将允许用户知道谁在提出建议。

[0133] 在另一个实施例中，远程用户可以监视若干用户，例如发送到事故站点的团队成员。例如，远程用户可以是监视现场第一响应者的命令和控制中心中的主管，或者主管或高级技术人员可以监视多个现场技术人员。在支持多个本地用户的一个实施例中，远程接口可以被分成单独的部分，每个部分显示单独的本地用户，或者每个本地用户可以显示在单独的框架、面板、标签或窗口中。部分/框架/面板/标签/窗口的尺寸不需要相同，并且界面的配置可以根据尺寸而变化。在一些实施例中，固定数量的本地用户以最大化视图显示，而其他本地用户以最小化视图显示，并且远程用户可以在最小化视图和最大化视图之间切换本地用户。在最大化视图中，视图可以显示视频馈送并提供生理数据和情绪状态估计，并允许将视频馈送的注释回本地用户。在最小化视图中，可以提供简化的界面，其包括相对较小的视频馈送，例如缩略图大小和一个情绪概要参数。还可以提供概要或控制窗口，其允许配置远程用户界面以控制窗口或部分大小，数据将在相应的最大化和最小化视图中显示。远程用户还可以控制他们是与单个用户交互还是与多个用户交互。

[0134] 在本实施例中，远程用户可以是基地位置的主管，或者是现场的移动团队负责人，但是从团队的其他成员身体远程，远离直接站点或听力。在其他情况下，远程领导者不一定是团队领导者，而只需要另一个团队成员，例如提名的“伙伴”团队成员。在一些实施例中，每个团队成员可以查看一个或更多个(包括所有)其他团队成员。在这些情况下，可以在用户的头戴式显示器中提供远程接口，并且可以向用户提供可以用于控制远程接口的输入设备。此外，本地用户可以以最小化的形式显示以进行限制。

[0135] 类似地，在其他实施例中，可以支持多对多场景。也就是说，多个本地用户可能被多个远程用户监视，在这种情况下远程用户与他们正在监视的至少一个本地用户是分开的(注意，在这种情况下，被监视的一些用户可能在远程用户附近)。多对多场景的接口是1对多和多对1接口的扩展。

[0136] 情绪感知的电话会议系统具有许多潜在的应用，尤其是在事故现场时了解本地用户的情绪或生理状态重要的应用。例如，事故现场的医疗第一响应者可以使用该技术从医院的医生那里获得远程帮助，并且，远程医生可以监视他们正在查看的内容和他们的压力水平，以确保他们不是被信息超载。类似地，山地车手可以使用这项技术与远程朋友分享骑车，让他们看到他们正在做什么，以及他们的心率和兴奋程度。远程查看器还可以在用户的视图上绘制注释，以显示他们骑自行车的位置。类似地，指挥和控制中心的紧急服务指挥官可以监视现场的多个第一响应者，或者可以部署一个团队，其中团队成员监视其他团队成员。

[0137] 本领域技术人员将理解，可以使用各种技术和技艺中的任何一种来表示信息和信号。例如，在以上描述中可以参考数据、指令、命令、信息、信号、位、符号和芯片，可以由电压、电流、电磁波、磁场或粒子、光场或粒子或其任何组合来表示。所属领域的技术人员将会进一步认识到，与这里公开的实施例结合描述的各种示范性的逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件的这种可互换性，各种示范性的部件、块、模块、电路和步骤通常用其功能在上文中被描述了。这种功能被实现为硬件还是软件取决于具体的应用和在总系统上施加的设计约束。技术人员可以针对每一种具体的应用用不同的方式来实现描述的功能，但是，这种实现决定不应该被解释为导致脱离于本发明的范围。

[0138] 结合本文中所公开的实施例而描述的方法或算法的步骤可直接实施于硬件中，由处理器执行的软件模块中或两者的组合中。对于硬件实现，可以在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于执行本文所述功能的其他电子单元或其组合内实现处理。软件模块，也称为计算机程序，计算机代码或指令，可以包含多个源代码或目标代码段或指令，并且可以驻留在任何计算机可读介质中，例如RAM存储器、闪速存储器、ROM存储器、EPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、DVD-ROM或任何其他形式的计算机可读介质。在替代方案中，计算机可读介质可以是处理器的组成部分。处理器和计算机可读介质可以驻留在ASIC或相关设备中。软件代码可以存储在存储器单元中并由处理器执行。存储器单元可以在处理器内或处理器外部实现，在这种情况下，存储器单元可以通过本领域已知的各种装置通信地耦合到处理器。

[0139] 在整个说明书和随后的权利要求书中，除非上下文另有要求，否则词语“包括”和“包含”及其变体将被理解为暗示包含所述特征或特征组，但不排除任何其他特征或特征组。此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明或从上下文中清楚，否则短语“X使用A或B”旨在表示任何自然的包含性排列。也就是说，以下任何一个实例都满足短语“X使用A或B”：X使用A；X使用B；或者X使用A和B。另外，本申请和所附权利要求中使用的冠词“一种”和“一个”通常应理解为表示“一个或更多个”，除非另有说明或从上下文中清楚针对单数形式。

[0140] 在整个说明书和随后的权利要求书中，除非上下文另有要求，否则词语“包括”和“包含”及其变体将被理解为暗示包含所述特征或特征组，但不排除任何其他特征或特征组。

[0141] 本说明书中对任何现有技术的参考不是也不应视为承认任何形式的建议，即此类现有技术形成公共常识的一部分。

[0142] 本领域技术人员将理解，本公开在其用于所描述的一个或多个特定应用时不受限制。本公开在其优选实施例中对于本文描述或描绘的特定元件和/或特征也没有限制。应该理解的是，本公开不限于所公开的一个或多个实施例，而是能够进行许多重新布置、修改和替换而不脱离如下述权利要求所阐述和限定的范围。

标题	发布/更新时间	阅读量
脑电图激发装置	2020-05-16	221
一次性脑电图用袋状导电橡胶套	2020-05-17	700
脑电图检查椅	2020-05-11	343
脑电图电极帽	2020-05-12	84
脑电图用耳极固定架	2020-05-15	672
一种检查脑电图用鞋套	2020-05-15	919
脑电图检查专用座椅	2020-05-16	981
脑电图检查帽	2020-05-12	298
便于脑电图电极安放的分发涂液器	2020-05-18	199
脑电图帽	2020-05-18	568

一种情绪感知的可穿戴的电话会议系统

一种情绪感知的可穿戴的电话会议系统

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：