用于使用用户的情感状态控制虚拟图像生成系统的技术专利检索-纸牌游戏玩具与游戏专利检索查询-专利查询网

用于使用用户的情感状态控制虚拟图像生成系统的技术

阅读：657发布：2020-11-02

专利汇可以提供用于使用用户的情感状态控制虚拟图像生成系统的技术专利检索，专利查询，专利分析的服务。并且一种操作虚拟图像生成系统的方法包括：允许终端用户与包括至少一个虚拟对象的三维环境交互；在三维环境的背景下向终端用户呈现刺激；响应于向终端用户的刺激的呈现，感测终端用户的至少一个生物参数；关于感测的生物参数中的每一个生成生物数据；基于关于感测的生物参数中的每一个的生物数据来确定终端用户是否处于至少一个特定情绪状态；以及至少部分地基于确定终端用户是否处于该特定情绪状态，来执行终端用户可辨别的动作以促进当前目标。，下面是用于使用用户的情感状态控制虚拟图像生成系统的技术专利的具体信息内容。

权利要求

1.一种操作虚拟图像生成系统的方法，包括：
允许终端用户与包括至少一个虚拟对象的三维环境交互；
在所述三维环境的背景下向所述终端用户呈现刺激；
响应于向所述终端用户的所述刺激的所述呈现，感测所述终端用户的至少一个生物参数；
关于所述至少一个感测的生物参数中的每一个生成生物数据；
基于关于所述至少一个感测的生物参数中的每一个的所述生物数据来确定所述终端用户是否处于至少一个特定情绪状态；以及
至少部分地基于是否确定所述终端用户处于所述至少一个特定情绪状态，来执行所述终端用户可辨别的动作以促进当前目标。
2.根据权利要求1所述的方法，其中，所述当前目标是在所述终端用户中引起期望的情绪状态持续期望的持续时间，或者在所述终端用户中没有引起不期望的情绪状态持续期望的持续时间，或者在所述终端用户中引起多个不同的期望的情绪状态持续期望的持续时间。
3.根据权利要求2所述的方法，其中，所述期望的持续时间是在相关时间段中持续一次、在相关时间段中持续多次或者在相关时间段中连续。
4.根据权利要求2所述的方法，其中，所述当前目标是在所述终端用户中引起期望的情绪状态持续期望的持续时间，所述至少一个特定情绪状态与所述期望的情绪状态一致，所述终端用户被确定为处于所述至少一个特定情绪状态持续所述期望的持续时间，并且执行所述动作包括使所述刺激更可用于所述终端用户。
5.根据权利要求2所述的方法，其中，所述当前目标是在所述终端用户中引起期望的情绪状态持续期望的持续时间，所述至少一个特定情绪状态与所述期望的情绪状态一致，所述终端用户被确定为没有处于所述至少一个特定情绪状态持续所述期望的持续时间，并且执行所述动作包括使所述刺激较少可用于所述终端用户。
6.根据权利要求2所述的方法，其中，所述当前目标是在所述终端用户中没有引起不期望的情绪状态持续期望的持续时间，所述至少一个特定情绪状态与所述不期望的情绪状态一致，所述终端用户被确定为没有处于所述至少一个特定情绪状态持续所述期望的持续时间，并且执行所述动作包括使所述刺激更可用于所述终端用户。
7.根据权利要求2所述的方法，其中，所述当前目标是在所述终端用户中没有引起不期望的情绪状态持续期望的持续时间，所述至少一个特定情绪状态与所述不期望的情绪状态一致，所述终端用户被确定为处于所述至少一个特定情绪状态持续所述期望的持续时间，并且执行所述动作包括使所述刺激较少可用于所述终端用户。
8.根据权利要求2所述的方法，其中，所述至少一个特定情绪状态包括多个不同的情绪状态。
9.根据权利要求8所述的方法，其中，所述当前目标是在所述终端用户中引起多个不同的期望的情绪状态持续期望的持续时间，所述多个不同的情绪状态与所述多个期望的情绪状态一致，所述终端用户被确定为处于所述多个不同的情绪状态持续所述期望的持续时间，并且执行所述动作包括使所述刺激更可用于所述终端用户。
10.根据权利要求8所述的方法，其中，所述当前目标是在所述终端用户中引起多个不同的期望的情绪状态持续期望的持续时间，所述多个不同的情绪状态与所述多个期望的情绪状态一致，所述终端用户被确定为没有处于所述多个不同的情绪状态持续所述期望的持续时间，并且执行所述动作包括使所述刺激较少可用于所述终端用户。
11.根据权利要求2所述的方法，其中，所述刺激采取视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报的形式，并且执行所述动作包括使所述视频游戏、所述节目、所述音乐背景片段、所述奖励、所述虚拟对象或所述警报更可用于或较少可用于所述终端用户。
12.根据权利要求2所述的方法，其中，所述刺激采取视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报的特征的形式，并且执行所述动作包括使所述视频游戏、所述节目、所述音乐背景片段、所述奖励、所述虚拟对象或所述警报更可用于或较少可用于所述终端用户。
13.根据权利要求1所述的方法，其中，所述刺激采取策略视频游戏的形式，所述当前目标是在所述策略视频游戏中击败所述终端用户，并且执行所述动作包括使用所述特定情绪状态确定使游戏相对于所述终端用户移动。
14.根据权利要求13所述的方法，其中，所述策略视频游戏是玩具有与所述终端用户对战的一个或多个模拟玩家的纸牌视频游戏，所述至少一个特定情绪状态是指示所述终端用户是否虚张声势的一种特定情绪状态，并且执行所述动作包括所述一个或多个模拟玩家使用所述终端用户是否虚张声势的知识来与所述终端用户玩纸牌。
15.根据权利要求14所述的方法，其中，所述玩纸牌视频游戏是扑克视频游戏。
16.根据权利要求1所述的方法，其中，所述刺激采取向所述终端用户呈现问题的形式，所述当前目标是确定响应于所述问题所述终端用户是否正在撒谎，并且执行所述动作包括使用所述特定情绪状态确定通知所述终端用户其是否正在撒谎。
17.根据权利要求1所述的方法，其中，所述刺激采取向所述终端用户呈现多个选项的形式，所述当前目标是确定所述终端用户正在考虑所述多个对象中的哪一个，并且执行所述动作包括使用所述特定情绪状态确定告知所述终端用户其正在考虑的对象。
18.根据权利要求1所述的方法，其中，所述刺激采取模拟的面部的形式，所述当前目标是使所述终端用户笑，并且执行所述动作包括使用所述特定情绪状态确定来确定所述终端用户是否将要笑，并修改所述模拟的面部以使所述终端用户笑。
19.根据权利要求1所述的方法，其中，响应于所述刺激的所述呈现，在多个不同时间感测所述终端用户的所述至少一个生物参数，并且在所述不同时间生成所述生物数据。
20.根据权利要求1所述的方法，其中，所述刺激被可视地或可听地呈现给所述终端用户。
21.根据权利要求1所述的方法，其中，所述至少一个感测的生物参数包括多个不同的感测的生物参数。
22.根据权利要求21所述的方法，其中，确定所述终端用户是否处于所述至少一个特定情绪状态包括对所述生成的生物数据执行模式识别分析。
23.根据权利要求1所述的方法，其中，所述至少一个感测的生物参数包括至少一个面部表情。
24.根据权利要求23所述的方法，其中，所述至少一个面部表情是所述终端用户的嘴的姿态和眼睛周围的鱼尾纹中的一个或两个。
25.根据权利要求24所述的方法，其中，所述至少一种特定情绪状态包括快乐。
26.根据权利要求1所述的方法，其中，所述至少一个感测的生物参数包括面部表情、肩膀耸起、呼吸率、心率、体温、血压、手部运动的频率和/或位置、身体抽搐的频率和/或位置以及眼睛运动之间经过的时间中的至少一个。
27.根据权利要求1所述的方法，其中，所述至少一个感测的生物参数包括至少一个微表情。
28.根据权利要求1所述的方法，其中，所述至少一种特定情绪状态包括愤怒、蔑视、厌恶、恐惧、快乐、悲伤、惊讶、困惑、羞耻、专注、疲惫、放松、沮丧、无聊、尴尬中的至少一种。
29.根据权利要求1所述的方法，其中，确定所述终端用户是否处于所述至少一个特定情绪状态包括将所述生成的生物数据与跟所述至少一个特定情绪状态相关联的参考生物数据比较。
30.根据权利要求29所述的方法，其中，关于所述至少一个感测的生物参数中的一个的所述生成的生物数据是生物标量数据值，所述参考生物数据包括参考生物值范围，并且将所述生成的生物数据与所述参考生物数据比较包括确定所述生物标量数据值是否落入所述参考生物值范围内。
31.根据权利要求29所述的方法，其中，关于所述至少一个感测的生物参数中的一个的所述生成的生物数据是生物多维数据矢量，所述参考生物数据包括参考生物多维数据矢量，并且将所述生成的生物数据与所述参考生物数据比较包括在所述生成的生物多维数据矢量与所述参考生物多维数据矢量之间执行相关函数。
32.根据权利要求29所述的方法，其中，确定所述终端用户是否处于所述至少一个特定情绪状态进一步包括从所述终端用户的定制的情绪状态分布中检索所述参考生物数据。
33.根据权利要求1所述的方法，其中，允许所述终端用户与所述三维环境交互包括：渲染三维环境的多个合成图像帧以及序列地将所述合成图像帧显示给所述终端用户。
34.根据权利要求33所述的方法，其中，所述合成图像帧经由安装到所述终端用户的所述头部的框架结构被从所述终端用户的所述视场中的透明显示表面投射。
35.根据权利要求33所述的方法，其中，所述合成图像帧叠加在由所述终端用户可视化的真实场景上。
36.一种操作虚拟图像生成系统的方法，包括：
允许终端用户与包括至少一个虚拟对象的三维环境交互；
在所述三维环境的背景下向所述终端用户呈现刺激；
响应于所述呈现的刺激，感测所述终端用户的至少一个感测的生物参数；
关于所述至少一个感测的生物参数中的每一个生成生物数据；
将所述生成的生物数据与所述终端用户的特定情绪状态相关联；
从所述相关联的生物数据中导出参考生物数据；以及
将与所述特定情绪状态相关联的所述参考生物数据存储在所述终端用户的定制的分布中。
37.根据权利要求36所述的方法，其中，所述生成的生物数据以特定置信度水平与所述特定情绪状态相关联。
38.根据权利要求36所述的方法，其中，将所述生成的生物数据与所述特定情绪状态相关联包括跟踪在将所述刺激呈现给所述终端用户时所述终端用户与所述三维环境交互的持续时间。
39.根据权利要求38所述的方法，其中，将所述生成的生物数据与所述特定情绪状态相关联进一步包括将所述跟踪的持续时间与阈值持续时间比较，并基于所述比较将所述生成的生物数据与所述特定情绪状态相关联。
40.根据权利要求39所述的方法，其中，所述持续时间是持续时间段向所述终端用户呈现所述刺激和多次向所述终端用户呈现所述刺激中的一个。
41.根据权利要求36所述的方法，其中，将所述生成的生物数据与所述特定情绪状态相关联包括：
使用不同的刺激多次重复所述刺激呈现、生物参数感测和生物数据生成步骤，以在所述终端用户中引起不同情绪状态或情绪状态的不同程度；以及
选择与所述特定情绪状态最匹配的所述生物数据。
42.根据权利要求36所述的方法，进一步包括：
在另一个三维环境的背景下向所述终端用户呈现后续刺激；
响应于所述后续呈现的刺激，感测所述终端用户的所述至少一个感测的生物参数；
关于响应于所述后续呈现的刺激的所述至少一个感测的生物参数中的每一个生成生物数据；
从所述定制的分布中检索所述参考生物数据；
将所述生成的生物数据与所述检索的参考生物数据比较；以及
基于所述比较确定所述终端用户处于所述特定情绪状态。
43.根据权利要求42所述的方法，其中，所述后续刺激与所述先前呈现的刺激不同。
44.根据权利要求36所述的方法，其中，所述刺激被可视地呈现或可听地呈现给所述终端用户。
45.根据权利要求36所述的方法，其中，所述刺激是视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报。
46.根据权利要求36所述的方法，其中，所述刺激是视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报的特征。
47.根据权利要求36所述的方法，其中，所述至少一个感测的生物参数包括多个不同的感测的生物参数。
48.根据权利要求36所述的方法，其中，所述至少一个感测的生物参数包括至少一个面部表情。
49.根据权利要求48所述的方法，其中，所述至少一个面部表情是所述终端用户的嘴的姿态和眼睛周围的鱼尾纹中的一个或两个。
50.根据权利要求49所述的方法，其中，所述至少一种特定情绪状态包括快乐。
51.根据权利要求36所述的方法，其中，所述至少一个感测的生物参数包括面部表情、肩膀耸起、呼吸率、心率、体温、血压、手部运动的频率和/或位置、身体抽搐的频率和/或位置以及眼睛运动之间经过的时间中的至少一个。
52.根据权利要求36所述的方法，其中，所述至少一个感测的生物参数包括至少一个微表情。
53.根据权利要求36所述的方法，其中，所述至少一种特定情绪状态包括愤怒、蔑视、厌恶、恐惧、快乐、悲伤、惊讶、困惑、羞耻、专注、疲惫、放松、沮丧、无聊、尴尬中的至少一种。
54.根据权利要求36所述的方法，其中，关于所述至少一个感测的生物参数中的一个的所述生成的生物数据是生物标量数据值，并且所述参考生物数据包括参考生物值范围。
55.根据权利要求36所述的方法，其中，关于所述至少一个感测的生物参数中的一个的所述生成的生物数据是生物多维数据矢量，并且所述参考生物数据包括参考生物多维数据矢量。
56.根据权利要求36所述的方法，其中，允许所述终端用户与所述三维环境交互包括：
渲染三维环境的多个合成图像帧以及序列地将所述合成图像帧显示给所述终端用户。
57.根据权利要求56所述的方法，其中，所述合成图像帧经由安装在所述终端用户的所述头部的框架结构显示在位于所述终端用户的所述视场中的显示表面上。
58.根据权利要求56所述的方法，其中，所述合成图像帧叠加在由所述终端用户可视化的真实场景上。

说明书全文

用于使用用户的情感状态控制虚拟图像生成系统的技术

[0001] 相关申请的交叉引用

[0002] 本申请要求代理人案卷号为ML.30042.00的2016年6月21日提交的题目为“用于使用用户的情感状态控制虚拟图像生成系统的技术(TECHNIQUE FOR CONTROLLING VIRTUAL IMAGE GENERATION SYSTEM USING EMOTIONAL STATES OF USER)”的美国临时专利申请No.62/364,957的优先权。前述专利申请的内容在此通过引用整体明确地并入本文。

技术领域

[0003] 本发明一般涉及被配置为促进用于一个或多个用户的交互式虚拟和增强现实环境的系统和方法。

背景技术

[0004] 现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现作为对终端用户周围的实际世界的可视化的增强。

[0005] 例如，参考图1，示出了增强场景4，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设置6。除了这些项目之外，AR技术的终端用户同样感知到他或她“看到”站在真实世界平台8上的机器人雕像10以及飞过的卡通式化身角色12，该化身角色看起来是大黄蜂的化身，即使这些元素10、12在真实世界中不存在。结果是，人类的视觉感知系统是非常复杂的，因此产生有助于连同其它虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的VR或AR技术是具有挑战性的。

[0006] VR和AR系统通常采用头戴式显示器(或头盔式显示器或智能眼镜)，该头戴式显示器至少松散地耦合到用户的头部，并因此在终端用户的头部移动时而移动。如果显示系统检测到终端用户的头部运动，则可以更新正在显示的数据以将头部姿势的变化(即，用户头部的取向和/或位置)考虑在内。

[0007] 作为示例，如果佩戴头戴式显示器的用户观看显示器上的三维(3D)对象的虚拟表示并在3D对象出现的区域周围走动，则该3D对象可以关于每个视点而被重新渲染，使终端用户感知到他或她正在占据真实空间的对象周围走动。如果头戴式显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则可以使用头部姿势的测量来重新渲染场景，以匹配终端用户动态改变的头部位置和取向并提供增加的虚拟空间中的沉浸感。

[0008] 使能AR(即，同时观看真实和虚拟元件)的头戴式显示器可以具有若干不同类型的配置。在一种这样的配置中，通常被称为“视频透视”显示器，相机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明)元件以直接观看到来自环境中的真实对象体的光。透明元件(通常称为“组合器”)将来自显示器的光叠加在终端用户对真实世界的视图上。

[0009] 在VR和AR系统中，期望通过消除或不强调被发现为阻碍或阻止令人满意的参与的因素而强调被发现为鼓励或增加这种参与的因素，来提高用户与VR/AR系统之间的体验和/或参与的质量。传统上，组装用户的聚焦组以测试VR/AR系统的硬件和/或软件。可以询问用户他们喜欢或不喜欢的特征。然后可以分析它们的响应并用于重新设计或以其他方式修改离线的VR/AR系统的硬件/软件特征。虽然离线聚焦组的使用通常会导致与正在测试的VR/AR系统的用户体验得到改善，但这种技术没有针对特定用户定制VR/AR系统、没有将用户的参与VR/AR系统的潜意识动机考虑在内、由于重复使用聚焦组以迭代地对VR/AR系统进行改善而可能相对昂贵且耗时。

[0010] 因此，需要提高用户与VR/AR系统之间的体验和/或参与的质量。

发明内容

[0011] 根据本发明的第一方面，一种操作虚拟图像生成系统的方法包括允许终端用户与包括至少一个虚拟对象的三维环境交互。允许终端用户与三维环境交互可以包括：渲染三维环境的多个合成图像帧以及序列地将合成图像帧显示给终端用户。合成图像帧可以经由安装到终端用户的头部的框架结构被显示在终端用户的视场中，并且可以叠加在由终端用户可视化的真实场景上。

[0012] 该方法还包括：在三维环境的背景下向终端用户呈现刺激(例如，视觉上或听觉上)；响应于向终端用户的刺激的呈现，感测终端用户的至少一个生物参数；以及关于感测的生物参数中的每一个生成生物数据。在一个实施例中，响应于刺激的呈现，在多个不同时间感测终端用户的生物参数，并且在这些不同时间生成生物数据。感测的生物参数可以包括至少一个面部表情(例如，终端用户的嘴的姿态和眼睛周围的鱼尾纹中的一个或两个)、肩膀耸起、呼吸率、心率、体温、血压、手部运动的频率和/或位置、身体抽搐的频率和/或位置、眼睛运动之间经过的时间和微表情。

[0013] 该方法还包括基于关于感测的生物参数中的每一个的生物数据确定终端用户是否处于至少一种特定情绪状态(例如，愤怒、蔑视、厌恶、恐惧、快乐、悲伤、惊讶、困惑、羞耻、专注、疲惫、放松、沮丧、无聊、尴尬中的一种)。感测的生物参数可以包括多个不同的感测的生物参数，在这种情况下，确定终端用户是否处于特定情绪状态可以包括对生成的生物数据执行模式识别分析。例如，如果感测的生物参数包括终端用户的嘴的姿态和眼睛周围的鱼尾纹)，则可以确定特定情绪状态包括快乐。

[0014] 确定终端用户是否处于特定情绪状态可以包括将生成的生物数据与跟至少一个特定情绪状态相关联的参考生物数据比较。例如，关于感测的生物参数中的一个的生成的生物数据可以是生物标量数据值，并且参考生物数据可以包括参考生物值范围，在这种情况下，将生成的生物数据与参考生物数据比较可以包括确定生物标量数据值是否落入参考生物值范围内。作为另一示例，关于感测的生物参数中的一个的生成的生物数据可以是生物多维数据矢量，并且参考生物数据可以包括参考生物多维数据矢量，在这种情况下，将生成的生物数据与参考生物数据比较可以包括在生成的生物多维数据矢量和参考生物多维数据矢量之间执行相关函数。在可选实施例中，确定终端用户是否处于特定情绪状态还可以包括从终端用户的定制的情绪状态分布(profile)中检索参考生物数据。

[0015] 该方法还包括至少部分地基于是否确定终端用户处于特定情绪状态来执行终端用户可辨别的动作以促进当前目标。

[0016] 在一个实施例中，当前目标是在终端用户中引起期望的情绪状态持续期望的持续时间，或者在终端用户中没有引起不期望的情绪状态持续期望的持续时间，或者在终端用户中引起多个不同的期望的情绪状态持续期望的持续时间；例如，在相关时间段中持续一次、在相关时间段中持续多次或者在相关时间段中连续。

[0017] 例如，当前目标可以是在终端用户中引起期望的情绪状态持续期望的持续时间，特定情绪状态可以与期望的情绪状态一致。如果终端用户被确定为处于特定情绪状态持续期望的持续时间，则执行的动作可以包括使刺激更可用于终端用户，并且相比之下，如果终端用户被确定为没有处于特定情绪状态持续期望的持续时间，则执行的动作可以包括使刺激较少可用于终端用户。

[0018] 作为另一个示例，当前目标可以是在终端用户中没有引起不期望的情绪状态持续期望的持续时间，并且特定情绪状态可以与不期望的情绪状态一致。如果终端用户被确定为没有处于至少一个特定情绪状态持续期望的持续时间，则执行的动作可以包括使刺激更可用于终端用户，并且相比之下，如果终端用户被确定为处于特定情绪状态持续期望的持续时间，则执行的动作可以包括使刺激较少可用于终端用户。

[0019] 作为又一个示例，当前目标可以是在终端用户中引起多个不同的期望的情绪状态持续期望的持续时间，并且多个不同的情绪状态与多个期望的情绪状态一致。如果终端用户被确定为处于多个不同的情绪状态持续期望的持续时间，则执行的动作可以包括使刺激更可用于终端用户，并且相比之下，如果终端用户被确定为没有处于多个不同的情绪状态持续期望的持续时间，则执行的动作可以包括使刺激较少可用于终端用户。

[0020] 在另一个实施例中，刺激采取视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报的形式，在这种情况下，执行的动作可以包括使视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报更可用于或较少可用于终端用户。在又一个实施例中，刺激采取视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报的特征的形式，在这种情况下，执行的动作可以包括使视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报更可用于或较少可用于终端用户。

[0021] 在又一个实施例中，刺激采取策略视频游戏的形式，当前目标是在策略视频游戏中击败终端用户，在这种情况下，执行的动作可以包括使用特定情绪状态确定使游戏相对于终端用户移动。例如，策略视频游戏可以是玩具有与终端用户对战的一个或多个模拟玩家的纸牌视频游戏(例如，扑克视频游戏)，以及特定情绪状态可以是指示终端用户是否虚张声势的一种特定情绪状态，在这种情况下，执行的动作可以包括模拟玩家使用终端用户是否虚张声势的知识来与终端用户玩纸牌。

[0022] 在又一个实施例中，刺激采取向终端用户呈现问题的形式，当前目标是确定响应于问题终端用户是否正在撒谎，在这种情况下，执行的动作可以包括使用特定情绪状态确定通知终端用户其是否正在撒谎。

[0023] 在又一个实施例中，刺激采取向终端用户呈现多个选项的形式，当前目标是确定终端用户正在考虑多个对象中的哪一个，在这种情况下，执行的动作可以包括使用特定情绪状态确定告知终端用户其正在考虑的对象。

[0024] 在又一个实施例中，刺激采取模拟的面部的形式，当前目标是使终端用户笑，在这种情况下，执行的动作可以包括使用特定情绪状态确定来确定终端用户是否将要笑，并修改模拟的面部以使终端用户笑。

[0025] 根据本发明的第二方面，一种操作虚拟图像生成系统的方法包括允许终端用户与包括至少一个虚拟对象的三维环境交互。允许终端用户与三维环境交互可以包括：渲染三维环境的多个合成图像帧以及序列地将合成图像帧显示给终端用户。合成图像帧可以经由安装到终端用户的头部的框架结构被显示在终端用户的视场中，并且可以叠加在由终端用户可视化的真实场景上。

[0026] 该方法还包括在三维环境的背景下向终端用户呈现刺激(例如，视觉上或听觉上)。刺激可以是例如视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报或者其特征。

[0027] 该方法还包括该方法还包括：响应于向终端用户的刺激的呈现，感测终端用户的至少一个生物参数；以及关于感测的生物参数中的每一个生成生物数据。在一个实施例中，响应于刺激的呈现，在多个不同时间感测终端用户的生物参数，并且在这些不同时间生成生物数据。感测的生物参数可以包括至少一个面部表情(例如，终端用户的嘴的姿态和眼睛周围的鱼尾纹中的一个或两个)、肩膀耸起、呼吸率、心率、体温、血压、手部运动的频率和/或位置、身体抽搐的频率和/或位置、眼睛运动之间经过的时间和微表情。

[0028] 该方法还包括将生成的生物数据与终端用户的特定情绪状态相关联(例如，愤怒、蔑视、厌恶、恐惧、快乐、悲伤、惊讶、困惑、羞耻、专注、疲惫、放松、沮丧、无聊、尴尬中的至少一种)。在一个实施例中，生成的生物数据以特定置信度水平与特定情绪状态相关联。在一个实施例中，将生成的生物数据与特定情绪状态相关联包括跟踪持续时间(例如，在将刺激呈现给终端用户时终端用户与三维环境交互的持续时间段向终端用户呈现刺激和多次向终端用户呈现刺激中的一个)；将跟踪的持续时间与阈值持续时间比较；以及基于该比较将生成的生物数据与特定情绪状态相关联。在另一实施例中，将生成的生物数据与特定情绪状态相关联包括：使用不同的刺激多次重复刺激呈现、生物参数感测和生物数据生成步骤，以在终端用户中引起不同情绪状态或情绪状态的不同程度；以及选择与特定情绪状态最匹配的生物数据。

[0029] 该方法还包括从相关联的生物数据中导出参考生物数据；以及将与特定情绪状态相关联的参考生物数据存储在终端用户的定制的分布中。在一个实施例中，关于感测的生物参数中的一个的生成的生物数据是生物标量数据值，并且参考生物数据包括参考生物值范围。在另一个实施例中，关于感测的生物参数中的一个的生成的生物数据是生物多维数据矢量，并且参考生物数据包括参考生物多维数据矢量。

[0030] 一种可选方法还包括在另一个三维环境的背景下向终端用户呈现后续刺激(其可以与先前呈现的刺激不同)；响应于后续呈现的刺激，感测终端用户的至少一个感测的生物参数；关于响应于后续呈现的刺激的感测的生物参数中的每一个生成生物数据；从定制的分布中检索参考生物数据；将生成的生物数据与检索的参考生物数据比较；以及基于该比较确定终端用户处于特定情绪状态。

[0031] 在详细描述、附图和权利要求中描述了本发明的附加和其他目的、特征和优点。

附图说明

[0032] 附图示出了本发明的优选实施例的设计和实用性，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本发明的上述和其他优点和目的，将通过参考本发明的特定实施例来呈现上面简要描述的本发明的更具体的描述，这些特定的实施例在附图中示出。应理解，这些附图仅描绘了本发明的典型实施例，因此不应认为是对其范围的限制，将通过使用附图的附加特异性和细节来描述和解释本发明，其中：

[0033] 图1是可以通过现有技术的增强现实生成装置向终端用户显示的三维增强现实场景的图；

[0034] 图2是根据本发明的一个实施例构建的增强现实系统的框图；

[0035] 图3a是可用于佩戴图2的增强现实系统的一种技术的视图；

[0036] 图3b是可用于佩戴图2的增强现实系统的另一种技术的视图；

[0037] 图3c是可用于佩戴图2的增强现实系统的又一种技术的视图；

[0038] 图3d是可用于佩戴图2的增强现实系统的再一种技术的视图；

[0039] 图4是示出操作图2的增强现实系统以为终端用户生成定制的情绪状态分布的方法的流程图；以及

[0040] 图5是示出操作图2的增强现实系统以基于感测终端用户中的情绪状态来执行动作的方法的流程图。

具体实施方式

[0041] 以下描述涉及用在增强现实系统中的显示系统和方法。然而，应该理解，虽然本发明很好地适用于增强现实中的应用，但是本发明在其最广泛的方面可以不受此限制。例如，本发明可以应用于任何虚拟图像生成系统，包括虚拟现实系统。因此，尽管这里经常就增强现实系统来描述，但是教导不应限于这种用途的这种系统。

[0042] 参考图2，现在将描述根据本发明构造的增强现实系统100的一个实施例。增强现实系统100提供与终端用户50的视场中的真实对象混合的虚拟对象的图像。增强现实系统100和本文教导的各种技术可以用于除增强现实之外的应用中。例如，各种技术可以应用于任何投影或显示系统。或者，本文描述的各种技术可以应用于其中可以由终端用户的手而不是头部进行移动的微型投影仪。因此，尽管这里经常就增强现实系统而描述，但是教导不应限于这种用途的这种系统。

[0043] 在操作增强现实系统100时存在两种基本方法。在第一种方法中，称为“视频透视”，增强现实系统100捕获真实场景的元素、将虚拟对象叠加到捕获的真实场景上、并将合成图像呈现给终端用户50到显示器上。在第二种方法中，称为“光学透视”，终端用户50通过透明或半透明的)显示器直接看到真实场景，并且增强现实系统100将虚拟对象叠加在终端用户对真实场景的视图的显示器上。

[0044] 与本发明更相关的是，增强现实系统100在三维环境的背景下响应于到终端用户的刺激的呈现来确定终端用户的情绪状态，并根据增强现实系统100的当前目标响应于所确定的情绪状态来执行对终端用户50可辨别的动作，如下面将进一步详细描述的。在本说明书中，术语“情绪状态”以旨在涵盖但不旨在限制的方式使用，通常被称为静态情绪状态，例如“快乐”、“悲伤”、“沮丧”等。

[0045] 增强现实系统100包括：由终端用户50佩戴的框架结构102；由框架结构102承载的显示系统104，使得显示系统104位于终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106定位在终端用户50的耳道附近(可选地，另一个扬声器(未示出)定位在终端用户50的另一个耳道附近以提供立体声/可塑形声音控制)。显示系统104被设计成序列地将合成图像帧显示给终端用户50，并且在所示实施例中，以便向终端用户50的眼睛52呈现可以被舒适地感知为对物理现实的虚拟内容增强的按图像方式(image-wise)调制的光、以便具有高水平的图像质量和三维感知以及能够呈现二维内容。显示系统104以高频呈现帧序列，该帧序列提供单个相干场景的感知。

[0046] 在所示实施例中，显示系统104包括投影子系统108和部分透明的目镜110，该投影子系统108通过该目镜投影在终端用户50的场中的图像。目镜110位于终端用户50的眼睛52与周围环境之间的终端用户50的视场中。在所示实施例中，投影子系统108包括一个或多个光纤112(例如，单模光纤)，每个光纤112具有光被接收到其中的一个端部112a和光从其中被提供给部分透明的目镜110的另一个端部112b。投影子系统108还可以包括产生光的一个或多个光源114(例如，以限定的图案(pattern)发射不同颜色的光)，并且将光可通信地耦合到光纤112的另一端112a。光源114可以采用多种形式中的任何一种，例如，一组RGB 激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据在像素信息或数据的各个帧中指定的限定像素图案来分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度并且是高能效的。

[0047] 显示系统104还可以包括扫描装置116，其响应于控制信号以预定图案扫描光纤112。解释显示系统104的示例的进一步细节在专利申请序列号为No.14/212,961的题目为“显示系统和方法(Display System and Method)”在美国专利申请中提供，其通过引用明确地并入本文。应当理解，尽管已经将显示系统104描述为用扫描光纤技术实现，但是应当理解，显示系统104可以基于任何显示技术，例如，液晶显示器(LCD)、数字光处理(DLP)显示器等。

[0048] 返回参考图2，增强现实系统100还包括一个或多个传感器126。传感器126可以感测、测量或收集关于终端用户50的头部54的移动(例如，速度、加速度和位置)和/或终端用户50的眼睛位置和眼间距离(移动、闪烁和聚焦深度)的信息，以便从终端用户50的视点的角度渲染三维环境的图像，使得终端用户50沉浸在三维环境中。

[0049] 对于本发明更重要的是，响应于呈现给终端用户50的刺激，传感器126被配置用于感测终端用户50的生物参数并生成表示这些感测的生物参数的生物数据。由增强现实系统100产生的刺激可以是能够引起终端用户50的物理反应的任何刺激。刺激可以经由显示系统104视觉上地呈现给终端用户50和/或经由扬声器106听觉上地呈现给终端用户。刺激甚至可以经由机械致动器(未示出)可触觉上地呈现给终端用户50。响应于特定刺激的呈现，每个生物参数可以仅被感测一次或在多个不同时间被感测，其中每次感测到相应的生物参数时生成生物数据。被感测的每个生物参数的生物数据可以采用一个或多个值的形式。例如，关于每个感测的生物参数，生物数据可以是单个数据值(例如，以标量数据值的形式)、一维阵列数据值(例如，特征矢量)或二维阵列数据值(例如，以图像数据的形式)。

[0050] 在一种情况下，刺激可以与一个虚拟对象(例如，屏幕)转换到另一个虚拟对象(例如，另一个屏幕)的方式有关。例如，一个屏幕可以瞬时转换到另一个屏幕，或者一个屏幕可以溶解到另一个屏幕中。在这种情况下，不同的刺激是一个屏幕转换到另一个屏幕的方式，这可以在终端用户50中引起不同的情绪。例如，终端用户50可以在屏幕之间的瞬时转换的情况下体验到满意，但是可以在屏幕之间的溶解转换的情况下体验沮丧。

[0051] 在另一种情况下，刺激可以与虚拟对象(例如，菜单)的组成相关。例如，一种类型的菜单可以具有方形按钮，而另一种类型的菜单可以具有圆形按钮。在这种情况下，不同的刺激是菜单的不同组成，其可以在终端用户50中引起不同的情绪。例如，终端用户50可以在具有方形按钮的菜单的情况下体验放松，但是在具有圆形按钮的菜单的情况下体验无聊。

[0052] 在又一种情况下，刺激可以与背景音乐作品或其特征的类型相关。例如，可以在后台播放一种类型的音乐(例如，摇滚)，或者可以在后台播放另一种类型的音乐(例如，古典音乐)。在这种情况下，不同的刺激是不同类型的音乐，其可以在终端用户50中引起不同的情绪。例如，终端用户50可以在摇滚音乐的情况下体验焦虑，但是在古典音乐的情况下体验喜悦。

[0053] 在又一种情况下，刺激可能与警报的性质有关。例如，可以向终端用户50发出一种类型的警报(例如，咳声)或者可以向终端用户50显示另一种类型的警报(例如，闪烁的光)。在这种情况下，不同的刺激是不同类型的警报，其可以在终端用户50中引起不同的情绪。例如，终端用户50可以在咳声的情况下体验注意，但是可以在闪烁的光的情况下体验不专心。

[0054] 在又一种情况下，刺激可以与视频游戏或程序或者其特征相关。例如，可以向终端用户50呈现一种类型的视频游戏(例如，动作视频游戏)，或者可以向终端用户50呈现另一种类型的视频游戏(例如，策略视频游戏)。在这种情况下，不同的刺激是不同的视频游戏，其可以在终端用户50中引起不同的情绪。例如，终端用户50可以在动作视频游戏的情况下体验兴奋或一系列不同的情绪，但是在智力视频游戏的情况下体验无聊。

[0055] 在又一种情况下，刺激可以与响应于终端用户50与三维环境交互的成功的结果(例如，当玩视频游戏时)而呈现给终端用户50的视听奖励相关，或者甚至与响应于终端用户50与三维环境交互的不成功的结果而呈现给终端用户50的视听惩罚相关。这些奖励/惩罚可能在长度、持续时间、内容等方面有所不同，从简单的音频嘟嘟声到精心制作的动画。奖励/惩罚可以例如以狗、回形针、一群跳舞的妖怪、拳头碰或击掌、自动售货机噪音、电影中的场景等为特征。

[0056] 在又一种情况下，刺激甚至可以是源自三维环境的环境光或用户50的视场内的三维环境的视频。在后一种情况下，面向前的相机(未示出)可以被安装到框架结构102，以捕获用户50的视场内的三维环境的图像。

[0057] 当终端用户50被呈现刺激时，所生成的生物数据将用于确定终端用户50的情绪状态。这种情绪状态可以包括但不限于七种基本情绪，例如，愤怒、蔑视、厌恶、恐惧、快乐、悲伤和惊讶，尽管可能还有其他情绪状态，例如，困惑、羞耻、专注、疲惫、放松、沮丧、无聊、尴尬。

[0058] 每个生物参数可以采取与指示终端用户的情绪状态的物理反应相关的任何参数的形式。终端用户50的情绪状态的最佳物理指示符是终端用户50的面部表情。人的面部表情是由连接到面部的皮肤和筋膜的肌肉的运动引起的。这些肌肉使皮肤运动，从而产生线条和皱褶并引起例如嘴巴和眉毛的面部特征的运动。

[0059] 恐惧情绪通常通过将眉毛挤压在一起以形成折痕、紧绷和伸直的眼睑以及略微降低的头部(眼睛看穿(look through)下降的额头)来表达。面部表情绷紧且紧张。蔑视的情绪通常通过单边(单侧)表情来表达，其中一个唇角向上和向后拉，眼睛处于中立位置。厌恶的情绪可以通过拉下的眉毛、皱起的鼻子和嘴唇保持松弛而上唇上拉来表达。恐惧的情绪通常通过睁大的眼睛、向上倾斜的眉毛以及略微张开的嘴巴来表达。快乐的情绪通常通过微笑(向上抬起嘴角)、向上推动脸颊、月牙形的眼睛、露出牙齿以及眼睛周围的鱼尾纹来表达。悲伤的情绪通常通过皱眉、向上倾斜的眉毛和向下下垂的脸来表达。惊讶的情绪通常通过睁大的眼睛、张大的嘴巴以及更大的瞳孔来表达。困惑的情绪通常通过前额和鼻子的蜷缩、一个抬高的眉毛以及嘴唇噘在一起来表达。羞耻的情绪通常通过向下转动的眼睛、向下的头部以及皱眉或中性嘴(向下抬起或没有抬起嘴角)来表达。专注的情绪通常通过眼睛的注视(如果人聚焦在一个对象上)或者向上看的眼睛或眼睛转移到一侧而些微眨眼(如果人专注于一个想法)来表达。疲惫的情绪通常用半张开的眼睑但抬高的眉毛来表达。放松的情绪通常用轻微的微笑和略微闭合的眼睑来表达。沮丧的情绪通常通过向内倾斜的眉毛(这些眉毛被挤压成皱纹)、抬高的下巴、嘴唇压在一起、嘴巴扭到一边以及脸颊上有折痕来表达。无聊的情绪通常通过半打开的眼睑、抬高的眉毛、嘴巴略微噘向一侧的移动来表达。尴尬的情绪通常通过勉强的笑容和脸红来表达，该勉强的笑容是不抬起嘴角的笑容。

[0060] 这样，每个生物参数与面部表情中涉及的身体特征相关，包括但不限于嘴的姿态(或形状)、眼睛周围的鱼尾纹、眉角和眼睛运动，尽管可以使用与不涉及面部表情的身体特征相关的生物参数，例如，肩膀耸起、呼吸率、心率、体温、血压、手部运动的频率和/或位置以及身体抽搐的频率和/或位置。

[0061] 微表情是在人脸上闪现几分之一秒的面部表情，并且可以帮助确定人的真实感受或情绪。微表情的基本特性是无意识的泄漏和通过嘴巴、眼睛运动和眉毛的快动作，并且通常用于确定一个人是否真实。典型地，躺着的人的情绪状态将是一种痛苦，其特征在于眉毛被朝向前额的空闲(idle)向上拉，导致在前额的皮肤上出现短线、并且紧张和噘起嘴唇、眼睛向上和向左或向右移动、快速眨眼等。

[0062] 传感器126可包括图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置和/或陀螺仪。例如，传感器126可以包括一对安装在框架结构102上的面向后的相机，用于跟踪终端用户50的物理面部反应，包括嘴巴的姿态、面部皱纹，包括眼睛周围的鱼尾纹、眉毛的角度和眼睛运动之间经过的时间。终端用户50的眼睛52的运动、闪烁和聚焦深度可以通过在眼睛52处投射光并且检测该投射的光的至少一些的返回或反射来辨别。讨论眼睛跟踪装置的进一步细节在专利申请序列号为No.xx/xxx,xxx(代理人案卷号NO.ML-30006-US)的题目为“显示系统和方法(Display System and Method)”的美国专利申请、专利申请序列号为No.xx/xxx,xxx(代理人案卷号NO.ML-30017-US)的题目为“用于创建虚拟和增强现实中的聚焦平面的系统和方法(System and Method for Creating Focal Planes in Virtual and Augmented Reality)”的美国专利申请以及专利申请序列号为No.xx/xxx,xxx(代理人案卷号NO.ML-30005-US)的题目为“用于增强和虚拟现实的系统和方法(System and Method for Augmented and Virtual Reality)”的美国专利申请中提出，其通过引用明确地并入本文。传感器126可包括安装到终端用户50的相关身体部位的加速度计，用于跟踪手部运动的频率和/或位置、身体抽搐的频率和/或位置以及肩部耸起。传感器126可包括传统的生命体征传感器，用于感测终端用户50的呼吸率、心率、体温和血压。

[0063] 增强现实系统100包括情绪状态确定模块128，其被配置用于基于由传感器126生成的生物数据来确定终端用户50的情绪状态，并且具体地，将所生成的生物数据解释为特定情绪状态。为了辅助情绪状态确定模块128，在所示实施例中，增强现实系统100还包括被配置用于存储终端用户50的情绪状态分布的情绪状态数据库130，该数据库将由传感器126感测到的相关生物参数的参考生物数据关联到一种或多种情绪状态。在所示实施例中，情绪状态确定模块128例如使用模式识别分析通过将当前生成的生物数据与参考生物数据进行比较，将由传感器126生成的生物数据解释为感兴趣的特定情绪状态，该参考生物数据已与终端用户50的情绪状态分布中的感兴趣的特定情绪状态相关联。

[0064] 例如，对于喜悦的情绪，已知指示特定终端用户50的快乐的参考生物数据(例如，与终端用户50的嘴的姿态和终端用户50的眼睛52周围的鱼尾纹相关的生物数据)可以被存储在情绪状态数据库130中。与终端用户50的其他情绪状态相关联的参考生物数据也可以存储在情绪状态数据库130中。因此，情绪状态确定模块128可以将当前生成的生物数据与存储在情绪状态数据库130中的相应参考生物数据进行比较，并且如果存在匹配则确定终端用户50处于与该参考生物数据相关联的情绪状态以及如果不存在匹配则确定终端用户50不处于这种情绪状态。

[0065] 如下面将进一步详细描述的，可以随时间为终端用户50定制情绪状态分布，该时间例如为在训练阶段期间，其中可以向终端用户50呈现若干不同类型的刺激并且可以感测与感兴趣的情绪状态相关的生物参数，以便学习对于终端用户50所体验的情绪状态唯一的生物数据。因此，随着时间收集生物数据，为终端用户50建立情绪状态分布，该分布将他或她的个人和个体身体表情与由他们反映的可能的情绪状态相匹配，由此逐渐地使能关于终端用户50的更准确的情绪状态分析。可以使用定制的情绪状态分布来确定响应任何刺激的终端用户50的情绪状态。例如，可以在终端用户50正在玩视频游戏时建立定制的情绪状态分布，然后随后将该定制的情绪状态分布用于在玩完全不同的视频游戏时或甚至响应于非视频游戏刺激确定终端用户50的情绪状态。

[0066] 除了使用生物数据之外，情绪状态确定模块126可以使用非生物数据来帮助确定响应于刺激的终端用户50的情绪状态。例如，可以在将刺激呈现给终端用户的同时，跟踪终端用户50与三维环境交互的持续时间(例如，刺激被呈现给终端用户的时间段或次数)。如果终端用户50正持续长时间玩视频游戏，则在此时间期间生成的生物数据是终端用户50的快乐的情绪状态的非常好的指示。然后，该生物数据可以存储在定制的情绪状态分布中并且与快乐的情绪状态相关联。相比之下，如果终端用户50持续短时间玩视频游戏，则在此时间期间生成的生物数据是终端用户50的无聊的情绪状态的非常好的指示。然后该生物数据可以被忽略或者甚至被存储在定制的情绪状态分布中并且与无聊的情绪状态相关联。

[0067] 应当理解，可能需要感测多个生物参数，以便对所生成的生物数据进行模式识别分析以揭示特定情绪状态。例如，已知的是体验快乐的人会微笑。还已知的是，没有体验快乐的人可能会假笑。然而，一个真正体验快乐的人会在眼睛周围具有鱼尾纹。因此，如果从传感器126获得的生物数据指示终端用户50正在微笑并且具有鱼尾纹，则情绪状态确定模块128可以确定终端用户50实际上正在体验快乐。然而，如果从传感器126获得的生物数据指示终端用户50正在微笑但没有鱼尾纹，则情绪状态确定模块128可以确定终端用户50实际上没有体验快乐。

[0068] 情绪状态确定模块128将当前生成的生物数据与参考生物数据进行比较的方式将依赖于生物数据的性质。

[0069] 如果关于特定生物参数的当前生成的数据采用标量数据值的形式，则对应于该特定生物参数的参考生物数据可以采取一个或多个值范围的形式。例如，如果生物参数是终端用户50的嘴巴的姿态，并且快乐是相关的情绪状态，则值范围可以是与嘴角必须上翘多少毫米相对应的距离范围以在已知快乐时指示终端用户50的微笑。可以使用指示微笑程度的多个距离范围。例如，5-10mm的距离范围可以指示轻微的微笑，10-20mm的距离范围可以指示中等微笑，以及大于20mm的范围可以指示完全微笑。然后可以通过确定生物数据值是否落入参考生物值范围内或者是否存在多个参考度量值范围(如果有的话，生物数据值落入该范围)，将当前生成的生物数据值与关于该特定生物参数的参考生物值范围进行比较。因此，生物数据值是否落入特定参考生物值范围内将至少部分地指示当前生成的生物数据与参考生物数据之间的匹配。

[0070] 如果当前生成的关于特定生物参数的数据采用多维数据矢量(例如，图像数据)的形式，则对应于该特定生物参数的参考生物数据可以采取多维阵列数据和一个或多个相关数据范围的形式。例如，如果生物参数是终端用户50眼睛周围的鱼尾纹，并且快乐是相关的情绪状态，则参考数据阵列的与鱼尾纹重合的相关部分可以包括当已知终端用户50快乐时的终端用户50的图像数据。然后可以使用产生系数(例如，在-1到1的范围内)的合适的数据阵列比较函数将当前生成的生物数据矢量与参考数据阵列进行比较，该函数例如为皮尔森相关系数函数或基于最小二乘的函数。然后可以将该系数与参考相关数据范围进行比较，以确定系数是否落入参考相关范围内。可以使用指示鱼尾纹的程度的多个系数范围，在这种情况下，可以将系数与多个参考相关数据范围进行比较，以确定系数落入哪个范围，如果有的话。例如，0.5-0.7的系数可以表示轻微的鱼尾纹，0.7-0.85的系数可以表示中等鱼尾纹，以及大于0.85的系数可以表示完整的鱼尾纹。因此，系数是否落入特定参考相关数据范围内将至少部分地指示当前生成的生物数据与参考生物数据之间的匹配。

[0071] 如果使用多个生物参数来确定终端用户50是否处于特定情绪状态，则情绪状态确定模块128可以使用当前生成的生物数据与关于相应生物参数的相应参考生物数据之间的比较的函数，以确定终端用户50是否处于相应的情绪状态。在这种情况下，关于多个生物参数的当前生成的数据可以采用一维阵列(例如，特征矢量)的形式。例如，特征矢量中的一个标量元素可以是微笑生物参数，以及特征矢量中的另一个标量元素可以是鱼尾纹生物参数。

[0072] 在一个示例中，对于所有相关生物参数，当前生成的生物数据必须与参考生物数据匹配(例如，对于每个相关生物参数，当前生成的数据值必须落在参考数据范围内)以触发确定终端用户50处于相应的情绪状态。在另一示例中，对于仅大多数相关生物参数，当前生成的生物数据必须与参考生物数据匹配(例如，对于大多数相关生物参数中的每一个，当前生成的数据值必须落在参考数据范围内)以触发确定终端用户50处于相应的情绪状态。关于特定生物参数生成的生物数据与相应参考生物数据匹配的程度可依赖于各种因素，包括关于其他生物参数所生成的生物数据与相应参考生物数据匹配的程度。模式识别的分类技术可用于确定从用户获得的特定生物数据集是否匹配与一个或多个情绪状态对应的一个或多个参考生物数据集。作为非限制性示例，模式识别分类器的示例包括高斯混合模型和人工神经网络。此外，关于特定情绪状态的每个相关生物参数可以相对于该情绪状态的其他相关生物参数进行加权。

[0073] 例如，当确定快乐的情绪状态时，鱼尾纹的存在可以比微笑的存在较高地加权。例如，如果由当前生成的生物数据矢量与指示鱼尾纹的参考数据阵列之间的比较产生的系数落在中间或最高范围(例如，大于0.70)内，则在指示微笑的当前生成的生物值落入任何参考数据范围(例如，大于5mm的值)内的情况下，指示微笑的当前生成的生物数据与参考生物数据之间的匹配可能发生，从而触发确定情绪状态是快乐的。相比之下，如果由当前生成的生物数据矢量与指示鱼尾纹的参考数据阵列之间的比较产生的系数落在最低范围(例如，大于0.5-0.7)内，则仅在指示微笑的当前生成的生物值落入最高参考数据范围(例如，大于20mm的值)内的情况下，指示微笑的当前生成的生物数据与参考生物数据之间的匹配可能发生，从而触发确定情绪状态是快乐的。

[0074] 增强现实系统100还包括可以采用多种形式中的任何形式的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其他集成电路控制器，该集成电路控制器例如专用集成电路(ASIC)、可编程门阵列(PGA)(例如场PGA(FPGA))和/或可编程逻辑控制器(PLU)。

[0075] 在所示实施例中，增强现实系统100包括中央处理单元(CPU)132、图形处理单元(GPU)134和一个或多个帧缓冲器136。CPU 132控制整体操作，而GPU 134渲染来自存储在远程数据储存库150中的三维数据的帧(即，将三维环境转换成左眼和右眼图像)并将这些帧存储在帧缓冲器136中。虽然未示出，但是一个或多个附加的集成电路可以控制从帧缓冲器136读入和/或读出帧以及显示系统104的扫描装置的操作。例如，在帧被过度渲染的情况下，帧缓冲器146的读入和/或读出可以采用动态寻址。增强现实系统100还包括只读存储器(ROM)138和随机存取存储器(RAM)140。增强现实系统100还包括三维数据库142，GPU 134可以从该三维数据库142访问一个或多个场景的三维数据以用于渲染帧。

[0076] 对于本发明来说重要的是，CPU 132指示显示系统104和/或扬声器106在三维环境的背景下向终端用户50呈现上述刺激，并且响应于根据增强现实系统100的当前目标确定的情绪状态，执行终端用户50可辨别的后续动作。

[0077] 在一个实施例中，增强现实系统100的当前目标可以是在终端用户50中引起期望的情绪状态持续期望的持续时间。在另一个实施例中，增强现实系统100的当前目标可以是在终端用户50中不引起不期望的情绪状态持续期望的持续时间。在又一个实施例中，增强现实系统100的当前目标可以是在终端用户50中引起多个不同的期望的情绪状态持续期望的持续时间。期望的持续时间可以是例如相关时间段内的一次、相关时间段内的多次或相关时间段内连续。例如，增强现实系统100的当前目标可以是在相关时间段内在终端用户50中引起一次快乐、在相关时间段内在终端用户50中多次引起快乐或者在相关时间段内在终端用户50中连续引起快乐。或者，增强现实系统100的当前目标可以是在相关时间段内在终端用户50中甚至一次也没有引起无聊、在相关时间段内在终端用户50中没有多次引起无聊或者在相关的时间段内在终端用户50中没有连续地引起无聊。或者，增强现实系统100的当前目标可以是在相关时间段内在终端用户50中交替地引起快乐和惊讶。

[0078] 由增强现实系统100执行的动作将依赖于终端用户50是否被确定为处于相关情绪状态，以及该相关情绪状态是否与增强现实系统100的当前目标一致。

[0079] 例如，如果确定终端用户50处于特定情绪状态(例如，快乐或惊讶)持续期望的持续时间(例如，终端用户50在相关的时间段内被多次确定为快乐或惊讶)，该特定情绪状态与期望的情绪状态(例如，快乐或惊讶)一致，则由增强现实系统100执行的动作可以随后使得引起该情绪状态的刺激更加可用于终端用户50。相比之下，如果确定终端用户50不处于特定情绪状态持续期望的持续时间(例如，终端用户50在相关的时间段内没有被多次确定为快乐或惊讶)，则由增强现实系统100执行的动作可以随后使得没有引起该情绪状态的刺激较少可用于终端用户50。

[0080] 作为另一示例，如果确定终端用户50不处于特定情绪状态(例如，悲伤或沮丧)持续期望的持续时间(例如，终端用户50在相关的时间段内未被任意次确定为悲伤或沮丧)，该特定情绪状态与不期望的情绪状态(例如，悲伤或沮丧)一致，则由增强现实系统100执行的动作可以随后使得引起该情绪状态的刺激更加可用于终端用户50。相比之下，如果确定终端用户50处于特定情绪状态持续期望的持续时间(例如，终端用户50在相关的时间段内至少一次被确定为悲伤或沮丧)，则由增强现实系统100执行的动作可以随后使得没有引起该情绪状态的刺激较少可用于终端用户50。

[0081] 作为又一示例，如果确定终端用户50处于多个不同的情绪状态(例如，交替的快乐和惊讶)持续期望的持续时间(例如，关于相关的时间段内这些情绪状态中的每一个被多次确定)，该不同的情绪状态与期望的情绪状态(例如，交替的快乐和惊讶)一致，则由增强现实系统100执行的动作可以随后使得引起该情绪状态的刺激更加可用于终端用户50。相比之下，如果确定终端用户50不处于这些不同的情绪状态持续期望的持续时间，则由增强现实系统100执行的动作可以随后使得没有引起该情绪状态的刺激较少可用于终端用户50。

[0082] 因此，可以优化诸如视频游戏、节目、背景音乐、奖励、警报及其特征等的刺激，从而促进增强现实系统100的使用增加。

[0083] 例如，假设增强现实系统100的当前目标是使终端用户50相对于视频游戏的快乐最大化。如果响应于以视频游戏形式呈现的刺激，在视频游戏的相关部分期间终端用户50的情绪状态被足够次数确定为快乐或兴奋，则由CPU 132执行的后续动作可以例如通过随后向终端用户50呈现相同的视频游戏或者除了其他方式之外将视频游戏保持在视频游戏选择菜单结构的顶部(例如，将视频游戏放在喜爱列表中)，来随后使得视频游戏更可用于终端用户50。相比之下，如果在视频游戏的相关部分期间终端用户50的情绪状态在单个实例中被确定为沮丧或无聊，则由CPU 132执行的后续动作可以例如通过随后向终端用户50呈现不同的视频游戏或者除了其他方式之外将该视频游戏较深地掩埋在视频游戏选择菜单结构中，来随后使得视频游戏较少可用于终端用户50。

[0084] 以类似的方式，假设增强现实系统100的当前目标是使终端用户50相对于特定视频游戏的快乐最大化。如果响应于以视频游戏的特征的形式呈现的刺激，在呈现特征期间终端用户50的情绪状态被连续确定为快乐或兴奋，则由CPU 132执行的后续动作可以例如通过随后向终端用户50呈现相同的特征或者除了其他方式之外增加在视频游戏期间该相同特征将被呈现给终端用户50的概率，来随后使得该视频游戏的特征更加可用于终端用户50。相比之下，如果在呈现特征期间终端用户50的情绪状态在单个实例中被确定为沮丧或无聊，则由CPU 132执行的后续动作可以例如通过从视频游戏中消除该特征或除了其他方式之外降低在视频游戏期间该相同特征将被呈现给终端用户50的概率，来随后使该视频游戏的特征较少可用于终端用户50。

[0085] 假设增强现实系统100的当前目标是通过优化视频游戏的配乐而在视频游戏的相关部分期间在终端用户50中引起期望的情绪状态。该目标可以是使终端用户50在视频游戏的所选部分期间感到紧张或感觉到惊奇感或所有不同类型的情绪。可以优化节拍、音高、节奏、乐器(是否包括特定乐器(例如，吉他)、特定乐器的声音(例如，鼓点节拍))、播放片段的顺序等。例如，如果响应于以配乐的形式呈现的刺激，在旨在终端用户50的兴奋的情况下，在视频游戏的一部分期间终端用户50的情绪状态被确定为兴奋，则CPU 132可以保持配乐的这部分以在终端用户50下次遇到视频游戏的这部分时保持这样。相比之下，如果在视频游戏的该部分期间终端用户50的情绪状态被确定为无聊，则CPU 132可以在下次终端用户50遇到视频游戏的该部分时修改配乐的该部分。由于这个过程一次又一次地发生，因此在视频游戏中如何播放配乐会引入细微的变化。可以跟踪配乐以及终端用户50的相应的情绪状态的变化，使得配乐中的变化逐渐被优化以用于在视频游戏期间在终端用户50的实际情绪状态与期望的终端用户50的情绪状态之间的最佳匹配。

[0086] 假设增强现实系统100的当前目标是使终端用户50相对于由于终端用户50与视频游戏交互导致的成功结果而给的奖励的快乐最大化。如果响应于以动画奖励的形式呈现的刺激，终端用户50的情绪状态被确定为在单个实例中为快乐，则CPU 132可以例如通过响应于与视频游戏交互的下一个成功结果，向终端用户50呈现相同的动画或除了其他方式之外增加相同动画将被呈现给终端用户50的概率，来随后使得相同的动画更可用于终端用户。相比之下，如果终端用户50的情绪状态在单个实例中被确定为沮丧或无聊，则CPU 132可以例如通过响应于与视频游戏交互的下一个成功结果，呈现不同的动画作为奖励或除了其他方式之外降低相同动画将被呈现给终端用户50的概率，来随后使得相同的动画较少可用于终端用户50。以这种方式，可以通过修改奖励来优化奖励，直到终端用户50在给予奖励时体验最大化的快乐。

[0087] 假设增强现实系统100的当前目标是使相对于背景音乐的快乐或放松最大化。由于音乐与品味相关，对不同音乐的反应将会不同；一段音乐可以在各种听众中引出不同的情感。如果响应于以特定音乐作品的形式呈现的刺激，在音乐作品期间终端用户50的情绪状态被确定为连续快乐或放松，则CPU 132可以例如通过将该音乐作品包括在循环播放的列表中，来随后使该音乐作品更可用于终端用户50。CPU 132甚至可以在列表中包括与使终端用户50快乐或放松的音乐作品相同的类型的音乐作品。例如，如果音乐作品是古典的，则CPU 132可以在列表中包括其他古典音乐。相比之下，如果终端用户50的情绪状态在单个实例中被确定为悲伤、沮丧或无聊，则CPU 132可以例如通过从循环播放的列表中排除该音乐作品，来随后使该音乐作品较少可用于终端用户50。CPU 132甚至可以从列表中排除与使终端用户50悲伤、沮丧或无聊的音乐作品相同的类型的音乐作品。例如，如果音乐作品是摇滚的，则CPU 132可以从列表中排除所有摇滚乐。

[0088] 假设增强现实系统100的当前目标是在终端用户50中引起关于电影的各种非常不同的情绪。如果响应于以特定喜剧/悬疑电影形式的刺激，终端用户50被确定体验从快乐到悲伤到惊奇的一系列不同的情绪，则CPU 130可以随后使得该电影或类似电影更可用于终端用户50。相比之下，如果终端用户50被确定没有体验一系列不同的情绪，而是体验无聊，则CPU 130可以随后使该电影或类似电影较少可用于终端用户50，并且甚至可以向终端用户50呈现完全不同的电影。

[0089] 因此，CPU 132可以自动向终端用户50呈现喜欢的内容和较少呈现不喜欢的内容。CPU 132隐藏来自“不高兴的”终端用户50的“不愉快的”体验，并且根据这些体验如何使他或她愉快使得其他体验更可用于终端用户50。

[0090] 增强现实系统100的当前目标可以不限于引起情绪状态，该情绪状态在终端用户50与三维环境交互时为终端用户50提供更愉快的体验。例如，增强现实系统100的当前目标可以是通过警报信号快速地使终端用户50进入注意状态。如果响应于特定警报信号(例如闪烁的灯)的形式的刺激，终端用户50迅速变得注意，则CPU 130可以例如通过随后向终端用户50呈现闪烁的光或除了其他方式之外增加每次期望警告终端用户50时闪烁的光将被呈现给终端用户50的概率，来随后使相同的警报信号更可用于终端用户50。相比之下，如果终端用户50如果没有变得快速注意或者根本没有变得注意，则CPU 130可以例如通过随后呈现不同的警报信号(例如，咳声)或除了其他方式之外降低在下次期望警告终端用户50时闪烁的光将被呈现给终端用户50的概率，来随后使得相同的警报信号较少可用于终端用户
50。

[0091] 增强现实系统100的当前目标不限于在与三维环境交互时在终端用户50中引起一个或多个特定情绪状态。例如，增强现实系统100的当前目标可以是在策略视频游戏中击败终端用户50，该策略视频游戏例如具有与终端用户50对战的一个或多个模拟玩家的视频扑克游戏。在视频扑克期间例如，就在卡片最初被发给终端用户50和模拟玩家之后，可以确定终端用户50的特定情绪状态，并且CPU 130可以使用特定情绪状态确定来使游戏相对于终端用户50移动。在这种情况下，确定的终端用户50的特定情绪状态是指示终端用户50是否在虚张声势的一种特定情绪状态，并且由CPU 130进行的游戏移动是使用终端用户50是否相对于终端用户50虚张声势的确定，来针对终端用户50的玩扑克牌。因此，模拟的玩家具有感测终端用户50何时虚张声势的优点。通过与扑克游戏模拟器交互，终端用户50将学习到在玩真实的扑克游戏时具有更有说服力的“扑克脸”。

[0092] 增强现实系统100的当前目标可以与尝试确定终端用户50是否在撒谎一样简单。例如，如果响应于问题形式的刺激，确定终端用户50正在体验指示终端用户50在说谎的情绪状态，则CPU 132可以通知终端用户50他或她在说谎。相比之下，如果确定终端用户50正在体验指示终端用户50是诚实的情绪状态，则CPU 132将通知终端用户50他或她在说实话。
作为游戏或训练装置，终端用户50可能故意设法说谎以愚弄谎言检测器。

[0093] 假设增强现实系统100的当前目标是确定终端用户50正在考虑多个对象中的哪一个。例如，如果响应于呈现诸如几张纸牌的各种对象的形式的刺激，确定终端用户50正在体验指示终端用户50正在关注特定纸牌的情绪状态，则CPU 132将通知终端用户50其正在考虑哪个纸牌，例如红心女王。

[0094] 假设增强现实系统100的当前目标是使终端用户50像在“盯着直到笑”游戏中那样笑。如果响应于显示可能引起终端用户50的笑声的对象(例如滑稽的面部)的形式的刺激，终端用户50的情绪状态被确定为一个“倾向的”笑，则CPU 132可以修改滑稽的面部以使即将发出的笑声的迹象最大化，直到终端用户50体验完整的微笑或笑声。CPU 132可以以各种方式修改滑稽面部以测试终端用户50何时倾向于笑。

[0095] 增强现实系统100的各种处理组件可以物理地包含在分布式系统中。例如，如图3a-3d所示，增强现实系统100包括本地处理和数据模块144，其例如通过有线引线或无线连接146可操作地耦合到显示系统104和传感器。本地处理和数据模块144可以以各种配置安装，例如固定地附接到框架结构102(图3a)、固定地附接到头盔或帽子56(图3b)、嵌入在耳机中、可拆卸地附接到终端用户50的躯干58(图3c)、或者以带耦合方式配置可拆卸地连接到终端用户50的臀部60(图3d)。增强现实系统100还包括例如通过有线引线或无线连接
150、152可操作地耦合到本地处理和数据模块144的远程处理模块148和远程数据储存库
150，使得这些远程模块148、150可操作地彼此耦合并且可用作本地处理和数据模块144的资源。

[0096] 本地处理和数据模块144可以包括功率有效的处理器或控制器以及诸如闪速存储器的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据，该数据是从传感器捕获的和/或使用远程处理模块148和/或远程数据储存库150获取和/或处理的，这些数据可以在这样的处理或检索之后被传送到显示系统104。远程处理模块148可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据储存库150可以包括相对大规模的数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一个实施例中，在本地处理和数据模块144中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。

[0097] 上述各种组件之间的耦合146、152、154可以包括用于提供电线或光通信的一个或多个有线接口或端口或者用于提供无线通信的经由通过RF、微波和IR的一个或多个无线接口或端口。在一些实现方式中，所有通信可以是有线的，而在其他实现方式中，所有通信可以是无线的。在更进一步的实现方式中，有线和无线通信的选择可以与图3a-3d中所示的不同。因此，不应将有线或无线通信的具体选择视为限制。

[0098] 在所示实施例中，情绪状态确定模块128和情绪状态情绪状态数据库130包含在本地处理和数据模块144中，而CPU 132和GPU 134包含在远程处理模块148中，尽管在替代实施例中，CPU 132、GPU 124或其部分可以包含在本地处理和数据模块144中。3D数据库142可以与远程数据储存库150相关联。

[0099] 已经描述了增强现实系统100的结构和功能，现在将相对于图4描述由增强现实系统100执行的为终端用户50建立定制情绪分布的一种方法200。首先，增强现实系统100允许终端用户50可视化包括真实对象和虚拟对象的三维环境(步骤202)，例如，使用视频透视方法或光学透视方法。当然，在替代增强现实系统100而使用虚拟现实系统的情况下，整个三维环境将仅由虚拟对象构成。

[0100] 接下来，在三维环境的背景下，增强现实系统100指示显示系统104和/或扬声器106在视觉上和/或听觉上向终端用户50呈现刺激(步骤204)。如上所述，刺激可以是能够引起终端用户50中的物理反应的任何刺激，例如，视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报或者其的任何特征，并且刺激可以是作为三维环境的一部分或在三维环境的背景中呈现给终端用户50(例如，作为奖励或惩罚)，或者刺激可以是整个三维环境，例如，视频游戏或电影。

[0101] 接下来，传感器126感测响应于呈现的刺激的终端用户50的至少一个生物参数(步骤206)。如上所述，每个生物参数可以采取与指示终端用户的情绪状态的物理反应相关的任何参数的形式。然后，传感器126为每个感测到的生物参数生成生物数据(步骤208)。如上所述，生物数据可以例如采用一个或多个值的形式。例如，生物数据可以是单个标量数据值或多维数据矢量。

[0102] 然后，情绪状态确定模块128例如使用模式识别分析来确定所生成的生物数据是否可以以特定置信度水平(例如，95％置信度)与感兴趣的情绪状态相关联(步骤210)。

[0103] 如果所生成的生物数据不能以特定置信度水平与感兴趣的情绪状态相关联，则针对相同的刺激或针对不同的刺激重复步骤204-210(步骤212)，直到所生成的生物数据与感兴趣的情绪状态相关联(步骤214)。

[0104] 例如，可以在感测生物参数并生成生物数据的同时重复地将相同的刺激呈现给终端用户50。在这种情况下，在迭代期间关于每个感测到的生物参数生成的生物数据通常大致相同。可以在将刺激呈现给终端用户50的同时跟踪终端用户50与三维环境交互的持续时间(例如，刺激被呈现给终端用户的时间段或次数)，并将该持续时间与阈值持续时间比较。如果跟踪到的持续时间超过阈值持续时间，并且如果生成的生物数据指示感兴趣的情绪状态，则生成的生物数据可以与感兴趣的情绪状态相关联。

[0105] 例如，如果感兴趣的情绪状态是快乐，并且终端用户50正在与三维环境交互持续相对长的持续时间，则可以假设在所生成的生物数据指示终端用户50的微笑和鱼尾纹的情况下，终端用户50对由刺激提供的体验是快乐的。如此，所生成的生物数据可以与快乐的情绪状态相关联。

[0106] 然而，如果终端用户50与三维环境交互持续相对短的持续时间，则可以假设即使所生成的生物数据指示终端用户50的微笑和鱼尾纹，终端用户50对由刺激提供的体验也是不快乐的。如此，生成的生物数据与快乐的情绪状态不相关。即使终端用户50与三维环境交互持续相对长的持续时间，也可以假设在所生成的生物数据没有指示终端用户50的微笑和鱼尾纹而是指示终端用户50的向内倾斜的眉毛、抬高的下巴、嘴唇压在一起、嘴扭到一边、脸颊上的折痕的情况下，终端用户50对由刺激提供的体验是不快乐的而是沮丧的。如此，生成的生物数据与快乐的情绪状态不相关，实际上，可能与沮丧的情绪状态相关联。

[0107] 作为另一示例，可以在感测生物参数并生成生物数据的同时重复地将不同的刺激呈现给终端用户50，以便基于响应于不同刺激的不同情绪状态或者终端用户50可能具有的情绪状态的程度，来确定终端用户50的情绪轨迹。在这种情况下，在迭代期间关于每个感测的生物参数生成的生物数据将基本上彼此不同。然后，情绪状态确定模块128可以选择与要关联的特定情绪状态最佳匹配的生物数据。

[0108] 例如，在终端用户50与三维环境交互时，可以在后台向终端用户50播放具有特定节拍的音乐。如果生成的生物数据反映终端用户50悲伤、沮丧或无聊，则可以增加音乐的节拍。如果生成的生物数据然后指示终端用户50不悲伤、沮丧或无聊，则可以进一步增加音乐的节拍，直到生成的生物数据反映终端用户50具有指示快乐的微笑和鱼尾纹。可以逐渐增加音乐的节拍以使终端用户50的微笑和鱼尾纹最大化。然后可以将得到的生物数据与终端用户50的情绪状态相关联。可以使用类似的技术来确定指示终端用户50的最大快乐的生物数据，替代相同音乐的不同节拍，除了不同类型或风格的音乐之外，可以被呈现给终端用户50。

[0109] 一旦在步骤214将生物数据与感兴趣的情绪状态相关联，则情绪状态确定模块128从相关联的生物数据导出参考生物数据(步骤216)。例如，可以从已经与感兴趣的情绪状态相关联的生物数据导出关于每个感测到的生物参数的一个或多个参考生物数据范围、一个或多个生物数据特征矢量和/或的一个或多个参考二维生物数据阵列。然后将参考生物数据存储在与感兴趣的情绪状态相关联地情绪状态数据库130的情绪状态分布中(步骤218)。

[0110] 接下来，情绪状态确定模块128确定所有感兴趣的情绪状态是否已经与生物数据相关联并且被存储在情绪状态分布中(步骤218)。如果不是，则针对另一感兴趣的情绪状态重复步骤204-216(步骤220)。例如，如果在步骤204-218期间先前已经向终端用户50呈现了可能引起快乐的情绪的刺激，则可以在步骤204-218期间向终端用户50呈现不同的感兴趣的情绪状态，诸如悲伤、沮丧或无聊，并且将上述不同的感兴趣的情绪状态与相应的参考生物数据一起存储在情绪状态分布中。因此，最终的情绪状态分布可以包含多个情绪状态和相应的参考生物数据(步骤222)，该情绪状态分布随后可以由情绪状态确定模块128访问以确定响应于在各种不同的三维环境中的任何一个的背景下呈现给终端用户50的刺激的终端用户50的情绪状态。例如，即使在视频游戏的背景下向终端用户50呈现与播放音乐相关的刺激以建立情绪状态分布，也可以访问情绪状态分布以确定响应于电影背景中的各种不同刺激中的任何一种终端用户50是否具有存储的情绪状态中的任何一个。

[0111] 现在参考图5，现在将描述操作增强现实系统100的一种方法300。首先，增强现实系统100允许终端用户50可视化由真实对象和虚拟对象构成的三维环境(步骤302)，例如，使用视频透视方法或光学透视方法。当然，在替代增强现实系统100而使用虚拟现实系统的情况下，整个三维环境将仅由虚拟对象构成。

[0112] 接下来，在三维环境的背景下，增强现实系统100指示显示系统104和/或扬声器106向终端用户50呈现刺激(步骤304)。如上所述，刺激可以是作为三维环境的一部分或在三维环境的背景中呈现给终端用户50(例如，作为奖励或惩罚)，或者刺激可以是整个三维环境，例如，视频游戏或电影。

[0113] 接下来，传感器126感测响应于呈现的刺激的终端用户50的至少一个生物参数(步骤306)。如上所述，每个生物参数可以采取与指示终端用户的情绪状态的物理反应相关的任何参数的形式。然后，传感器126为每个感测到的生物参数生成生物数据(步骤308)。如上所述，生物数据可以例如采用一个或多个值的形式。例如，生物数据可以是单个标量数据值、一维特征矢量或多维数据矢量。可以响应于呈现的刺激在多个不同时间感测每个生物参数，在这种情况下，将在这些不同时间生成生物数据。

[0114] 接下来，情绪状态确定模块128例如通过对所生成的生物数据执行模式识别分析(例如，通过运行分类算法，诸如ANN、高斯混合估计等)，基于所生成的生物值确定终端用户50是否处于至少一个特定情绪状态(步骤310)。这可以通过将生成的生物数据与已经跟特定情绪状态相关联的参考生物数据进行比较来实现。例如，如果关于感测到的生物参数中的一个的所生成的生物数据是标量数据值，并且参考生物数据包括参考值范围，则可以通过确定标量数据值是否落在参考生物值范围内来将生成的生物数据与参考生物数据进行比较。如果关于感测到的生物参数中的一个的所生成的生物数据是生物多维数据矢量，并且参考生物数据包括参考多维数据矢量，则可以包括通过在生成的多维数据矢量与参考多维数据矢量之间执行相关函数来将生成的生物数据与参考生物数据进行比较。

[0115] 在执行上述比较功能时，情绪状态确定模块128可以访问定制的(个人化的)情绪状态分布并检索与特定情绪状态对应的参考生物数据、将当前生成的生物数据与参考生物数据进行比较、并确定在当前生成的生物数据与参考生物数据之间是否存在匹配。如果存在匹配，则情绪状态确定模块128确定终端用户50处于特定情绪状态，以及如果不存在匹配，则情绪状态确定模块128确定终端用户50不处于特定情绪状态。

[0116] 接下来，CPU 132至少部分地基于是否确定终端用户50处于特定情绪状态执行对终端用户50可辨别的动作，以促进当前的目标(步骤312)。当前的目标可以是各种目标中的任何一个。例如，如果在终端用户50中引起物理反应的刺激是视频游戏、节目、音乐背景片段、奖励、虚拟对象或警报或者其的任何特征，则当前目标可以是在终端用户50中引起期望的情绪状态持续期望的持续时间、或者在终端用户50中没有引起不期望的情绪状态持续期望的持续时间或者在终端用户50中引起多个不同的期望的情绪状态持续期望的持续时间。期望的持续时间可以是例如在相关时间段内的一次、在相关时间段内的多次或在相关时间段内连续。

[0117] 假设当前目标是在终端用户中引起期望的情绪状态持续期望的持续时间，则特定情绪状态与期望的情绪状态一致。如果确定终端用户50处于特定情绪状态持续期望的持续时间，则CPU 132随后将使刺激更可用于终端用户50，并且如果终端用户50被确定为不处于特定情绪状态持续期望的持续时间，则CPU 132随后将使刺激较少可用于终端用户50。相比之下，假设当前目标是在终端用户50中没有引起不期望的情绪状态持续期望的持续时间，则特定情绪状态与不希望的情绪状态一致。如果确定终端用户50不处于特定情绪状态持续期望的持续时间，则CPU 132随后将使刺激更可用于终端用户50，并且如果终端用户50被确定为处于特定情绪状态持续期望的持续时间，则CPU 132随后将使刺激较少可用于终端用户50。进一步相比之下，假设当前目标是在终端用户中引起多个不同的期望情绪状态持续期望的持续时间，则特定情绪状态与多个期望的情绪状态一致。如果确定终端用户50处于多个不同的情绪状态持续期望的持续时间，则CPU 132随后将使刺激更可用于终端用户50，并且如果确定终端用户50不处于多个不同的情绪状态持续期望的持续时间，则CPU 132随后将使刺激较少可用于终端用户50。

[0118] 当然，当前目标可以不同于在终端用户50中引起或不引起期望或不期望的情绪状态。例如，如果刺激采取策略视频游戏的形式，并且当前目标是要在策略视频游戏中击败终端用户，则CPU可以随后使用特定情绪状态确定来相对于终端用户50移动游戏。例如，如果策略视频游戏是具有与终端用户对抗的一个或多个模拟玩家的玩纸牌视频游戏，则特定情绪状态可以是指示终端用户是否在虚张声势的情绪状态，在这种情况下，模拟玩家可以使用关于终端用户50是否在虚张声势的知识来与终端用户50对抗玩纸牌。作为另一示例，如果刺激采取向终端用户50呈现问题的形式，并且当前目标是确定响应于该问题终端用户是否正在说谎，则CPU 132可以随后使用特定情绪状态确定来通知终端用户50其是否正在说谎。作为又一示例，如果刺激采取向终端用户50呈现多个选项的形式，并且当前目标是确定终端用户50正在考虑哪个对象，则CPU 132可以随后使用特定情绪状态确定来通知终端用户50其正在考虑哪个对象。作为又一示例，如果刺激采取模拟的面部的形式，并且当前目标是使终端用户50笑，则CPU 132可以随后使用特定情绪状态确定来确定终端用户50是否将要笑，并修改模拟的面部以使终端用户50笑。

[0119] 在前述说明书中，已经参考其特定实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种变型和改变。例如，参考方法动作的特定顺序来描述上述方法流程。然而，可以改变许多所描述的方法动作的顺序而不影响本发明的范围或操作。因此，说明书和附图应被视为示例性的而非限制性意义的。

标题	发布/更新时间	阅读量
游戏桌纸牌博弈系统	2020-05-21	585
数学游戏纸牌	2020-05-15	578
游戏纸牌的包装盒	2020-05-17	402
纸牌游戏,用于进行纸牌游戏的设施和方法	2020-05-22	927
纸牌游戏机	2020-05-11	344
游戏桌纸牌博弈系统	2020-05-21	157
纸牌游戏机的发牌装置	2020-05-21	676
自动控制纸牌游戏系统	2020-05-21	119
纸牌游戏机的发牌装置	2020-05-22	287
虚拟纸牌游戏系统	2020-05-18	448

用于使用用户的情感状态控制虚拟图像生成系统的技术

用于使用用户的情感状态控制虚拟图像生成系统的技术

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：