一种VR场景下针对用户生理状态的动态干预方法

专利类型 发明公开 法律事件 公开; 实质审查;
专利有效性 实质审查 当前状态 实质审查
申请号 CN202411004521.4 申请日 2024-07-25
公开(公告)号 CN118807195A 公开(公告)日 2024-10-22
申请人 电子科技大学; 申请人类型 学校
发明人 王国庆; 张凯越; 裴云强; 李美璇; 杨洪荣; 王柯力; 第一发明人 王国庆
权利人 电子科技大学 权利人类型 学校
当前权利人 电子科技大学 当前权利人类型 学校
省份 当前专利权人所在省份:四川省 城市 当前专利权人所在城市:四川省成都市
具体地址 当前专利权人所在详细地址:四川省成都市高新区(西区)西源大道2006号 邮编 当前专利权人邮编:611731
主IPC国际分类 A63F13/25 所有IPC国际分类 A63F13/25G06F3/01
专利引用数量 0 专利被引用数量 0
专利权利要求数量 4 专利文献类型 A
专利代理机构 成都行之智信知识产权代理有限公司 专利代理人 温利平;
摘要 本 发明 公开了一种VR场景下针对用户生理状态的动态干预方法,为了进一步提高用户的舒适度和交互性能,首先实时分析用户在VR环境中的表现,然后将不同的用户表现映射到不同的系统状态即默认状态、过渡状态、干预状态,然后根据不同的系统状态、用户生理状态如压 力 、注意力、情绪等的组合,采用不同的策略,动态调整VR环境中的各种世界参数,包括视觉、听觉、触觉维度和VR任务设计,以调节用户生理状态。与动态难度调整机制相比,本发明通过不依赖于任务本身的环境因素来调节用户生理状态,从而增强整体游戏体验。
权利要求

1.一种VR场景下针对用户生理状态的动态干预方法,其特征在于,包括以下步骤:
(1)、实时分析用户在VR环境中的表现,然后根据当前时刻t的用户表现rt映射出当前的系统状态wt:
当用户表现rt符合预期时,映射为系统默认状态,当用户表现可接受时,映射为系统过渡状态,当用户表现不符合预期时,映射为系统干预状态,准备采取干预措施来调节用户生理状态;
(2)、根据当前用户生理状态Ut和系统状态wt,依据调整策略Adj,得到下一时刻t+1的世界参数ρt+1:
ρt+1=Adj(Ut,wt)
其中,当前用户生理状态Ut通过用户当前的生理数据测量得到,调整策略Adj根据具体的VR任务确定,世界参数ρt+1包括视觉环境变量、听觉环境变量、触觉环境变量以及VR任务设计;
(3)、根据世界参数ρt+1得到该世界参数干预下用户下一步的行动Dt+1:
Dt+1=g(ρt+1)
其中,g表示用户下一步的行动与世界参数的映射关系;
(4)、根据动态干预调整后的用户下一步的行动Dt+1得到:
rt+1=G(Dt+1)
其中,函数G代表VR游戏的规则,下一时刻t+1的用户表现rt+1;
(5)、不断重复步骤(1)到步骤(4)的动态干预,得到用户的最佳整体交互表现即动态干预调整目标R:
其中,r0为用户表现初始值,T任务循环时间。
2.根据权利要求1所述的VR场景下针对用户生理状态的动态干预方法,其特征在于,用户表现rt为花费时间、得分、进度率、回归率、准确率、错误率或多个任务评价指标的综合。
3.根据权利要求1所述的VR场景下针对用户生理状态的动态干预方法,其特征在于,用户生理状态Ut为压平、注意力、情绪。
4.根据权利要求1所述的VR场景下针对用户生理状态的动态干预方法,其特征在于,所述视觉环境变量包括场景色调、分形维数、水元素、光照强度以及虚拟数字人色的表情和动作,听觉环境变量包括音乐的存在、音乐情感、音量级别、音乐节奏和旋律,触觉环境变量包括触觉感知的存在以及触觉感知与物理世界之间的符合程度,VR任务设计包括难度与玩家技能之间的匹配程度。

说明书全文

一种VR场景下针对用户生理状态的动态干预方法

技术领域

[0001] 本发明属于虚拟现实(Virtual Reality,简称VR)技术领域,更为具体地讲,涉及一种VR场景下针对用户生理状态的动态干预方法。

背景技术

[0002] 随着虚拟现实技术的快速发展,场景交互的真实感和可控性已经取得了显著的进步。在此背景下,优化用户在交互过程中的体验、参与度和表现成为研究的核心问题。过去,研究人员在电子游戏领域提出了动态难度调整(Dynamic Difficulty Adjustment,简称DDA)的概念,该概念侧重于根据用户的实时能和表现灵活调整任务难度,以提升用户的体验和参与度。
[0003] 然后,随着虚拟现实技术的不断发展,虚拟现实交互任务变得越来越复杂和多样。以VR游戏设计为例,在继承旧有设计元素的同时,新游戏不断进行创新,不同设计元素之间的交互使得游戏变得更加复杂,进一步加大了定义难度的挑战。此外,仅仅控制难度可能会增加交互任务设计的复杂性,从而影响用户的体验、参与度和表现。

发明内容

[0004] 本发明的目的在于克服现有技术的不足,提供一种VR场景下针对用户生理状态的动态干预方法,通过不依赖于任务本身的环境因素来调节用户生理状态,从而增强整体游戏体验。
[0005] 为实现上述发明目的,本发明VR场景下针对用户生理状态的动态干预方法,其特征在于,包括以下步骤:
[0006] (1)、实时分析用户在VR环境中的表现,然后根据当前时刻t的用户表现rt映射出当前的系统状态wt:
[0007] 当用户表现rt符合预期时,映射为系统默认状态,当用户表现可接受时,映射为系统过渡状态,当用户表现不符合预期时,映射为系统干预状态,准备采取干预措施来调节用户生理状态;
[0008] (2)、根据当前用户生理状态Ut和系统状态wt,依据调整策略Adj,得到下一时刻t+1的世界参数ρt+1:
[0009] ρt+1=Adj(Ut,wt)
[0010] 其中,当前用户生理状态Ut通过用户当前的生理数据测量得到,调整策略Adj根据具体的VR任务确定,世界参数ρt+1包括视觉环境变量、听觉环境变量、触觉环境变量以及VR任务设计;
[0011] (3)、根据世界参数ρt+1得到该世界参数干预下用户下一步的行动Dt+1:
[0012] Dt+1=g(ρt+1)
[0013] 其中,g表示用户下一步的行动与世界参数的映射关系;
[0014] (4)、根据动态干预调整后的用户下一步的行动Dt+1得到:
[0015] rt+1=G(Dt+1)
[0016] 其中,函数G代表VR游戏的规则,下一时刻t+1的用户表现rt+1;
[0017] (5)、不断重复步骤(1)到步骤(4)的动态干预,得到用户的最佳整体交互表现即动态干预调整目标R:
[0018]
[0019] 其中,r0为用户表现初始值,T任务循环时间。
[0020] 本发明的目的是这样实现的。
[0021] 为了进一步提高用户的舒适度和交互性能,本发明VR场景下针对用户生理状态的动态干预方法首先实时分析用户在VR环境中的表现,然后将不同的用户表现映射到不同的系统状态(默认状态、过渡状态、干预状态),然后根据不同的系统状态、用户生理状态(压力、注意力、情绪等)的组合,采用不同的调整策略,动态调整VR环境中的各种世界参数(包括视觉、听觉、触觉维度和VR任务设计),以调节用户生理状态。与动态难度调整机制相比,本发明通过不依赖于任务本身的环境因素来调节用户生理状态,从而增强整体游戏体验。附图说明
[0022] 图1是本发明VR场景下针对用户生理状态的动态干预方法一种具体实施方式流程图
[0023] 图2是本发明VR场景下针对用户生理状态的动态干预方法一种具体实施方式流程图;
[0024] 图3是本发明VR场景下针对用户生理状态的动态干预方法一具体实例原理示意图,其中,(a)为VR场景下的动态干预机制(DIM),(b)为硬件设置及迷宫俯视图,(c)为评估方法;
[0025] 图4是DIM整合指南一具体实施例图;
[0026] 图5是统计结果图,其中,(a)为游戏完成时间,(b)为平均修正时间,(c)GEQ得分,(d)为UES得分。

具体实施方式

[0027] 下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
[0028] 1、本发明VR场景下针对用户生理状态的动态干预方法中的相关概念[0029] 1.1、用户表现
[0030] 由于不同任务在性质和要求上存在差异,我们需要灵活地采用不同的评价指标,以更准确地反映用户表现。例如,在寻宝任务中,可以通过用户找到宝藏所花费的时间来衡量用户表现;而在打节奏游戏中,可以通过用户击打音乐节奏的得分来评价用户表现。此外,还可以根据具体情况综合多个任务评价指标(如进度率、回归率、准确率、错误率等),共同评估出用户表现。
[0031] 1.2、用户生理状态
[0032] 根据不同的任务选择特定的用户生理状态进行分析。例如,在迷宫任务中,我们主要会关注用户的压力平,因为这对于用户成功且快速地穿越迷宫至关重要。然而,在击打节奏的虚拟现实游戏中,用户的注意力可能更为重要。在开发像“打地鼠”这样的游戏时,我们可能需要同时监测用户的多种生理状态,如注意力、压力和情绪等。
[0033] 1.3、世界参数
[0034] 世界参数是影响用户表现和体验的主要环境因素。它们可以分为四个部分:视觉环境变量,如场景色调、分形维数、水元素、光照强度以及虚拟数字人色的表情和动作等,听觉环境变量,如音乐的存在、音乐情感、音量级别、音乐节奏和旋律等,触觉环境变量,如触觉感知的存在以及触觉感知与物理世界之间的符合程度,这是虚拟现实环境中独特且至关重要的环境变量以及VR任务设计,如难度与玩家技能之间的匹配程度等。
[0035] 1.4、系统状态
[0036] 系统状态是根据用户表现映射而来的。根据不同的用户表现,系统状态会具体呈现为默认状态、过渡状态和干预状态。在默认状态下,系统会呈现最符合游戏设置的世界参数(视觉、听觉、触觉、VR任务设计),这些参数由开发者最初设计。例如,在恐怖游戏中,默认的世界参数通常包括恐怖的场景色调(视觉)和令人毛骨悚然的音乐(听觉),这些最能营造游戏氛围。在干预状态下,系统会采用调整策略,通过调整世界参数来调节用户生理状态。例如,当用户体验到过度压力时,我们可以进入干预状态,准备采取干预措施来缓解用户的压力。在过渡状态下,系统会保持之前的世界参数不变,以防止因用户表现波动而导致的世界参数波动,从而保持用户体验的连续性。
[0037] 1.5、映射策略
[0038] 根据不同的VR任务,应该采用不同的用户表现与系统状态之间的映射方法。总体而言,当用户表现符合预期时,系统处于默认状态;当用户表现可接受时,系统处于过渡状态;而当用户表现不符合预期时,系统则进入干预状态,准备采取干预措施来调节用户生理状态。
[0039] 1.6)、调整策略
[0040] 调整策略涵盖了系统的默认状态、过渡状态和干预状态。当系统处于默认状态时,所有世界参数应恢复到默认设置,以维持用户真实的VR体验。当系统处于过渡状态时,世界参数应保持前一时间间隔的先前设置,以保持用户体验的连续性。当系统处于干预状态时,我们将根据不同的任务关注用户的不同生理状态,并据此采取不同的调整策略。例如,当关注用户的压力水平,且当前用户的压力水平高于预期时,我们可以通过将背景色(世界参数的视觉维度)更改为蓝色并且将背景音乐(世界参数的听觉维度)更改为舒缓的自然声音来减轻用户的压力。
[0041] 2、本发明VR场景下针对用户生理状态的动态干预方法流程
[0042] 本发明的基本原则在于根据当前用户生理状态和用户表现映射出的当前系统状态,动态调整虚拟现实环境中的世界参数,旨在提升用户表现,体验感和参与度。在此过程中,用户不仅受到环境的影响;他们的决策、状态、表现以及每一刻的体验都在与环境进行交互,并共同塑造着整个体验过程。这些因素共同影响着他们后续的状态。
[0043] 图1分别是本发明VR场景下针对用户生理状态的动态干预方法一种具体实施方式流程图。
[0044] 在本实施例中,如图1所示,本发明VR场景下针对用户生理状态的动态干预方法,其特征在于,包括以下步骤:
[0045] 步骤S1:实时分析用户在VR环境中的表现,然后根据当前时刻t的用户表现rt映射出当前的系统状态wt:
[0046] 当用户表现rt符合预期时,映射为系统默认状态,当用户表现可接受时,映射为系统过渡状态,当用户表现不符合预期时,映射为系统干预状态,准备采取干预措施来调节用户生理状态。
[0047] 步骤S2:根据当前用户生理状态Ut和系统状态wt,依据调整策略Adj,得到下一时刻t+1的世界参数ρt+1:
[0048] ρt+1=Adj(Ut,wt)
[0049] 其中,当前用户生理状态Ut通过用户当前的生理数据测量得到,调整策略Adj根据具体的VR任务确定,世界参数ρt+1包括视觉环境变量、听觉环境变量、触觉环境变量以及VR任务设计。
[0050] 步骤S3:根据世界参数ρt+1得到该世界参数干预下用户下一步的行动Dt+1:
[0051] Dt+1=g(ρt+1)
[0052] 其中,g表示用户下一步的行动与世界参数的映射关系;
[0053] 步骤S4:根据动态干预调整后用户下一步的行动Dt+1得到:
[0054] rt+1=G(Dt+1)
[0055] 其中,函数G代表VR游戏的规则,下一时刻t+1的用户表现rt+1。
[0056] 步骤S5:不断重复步骤S1到步骤S4的动态干预,得到用户的最佳整体交互表现即动态干预调整目标R:
[0057]
[0058] 其中,r0为用户表现初始值(一般为0)。
[0059] 在本实施例中,如图2所示,上述过程可以用以下等式来描述:
[0060] f:r→w,rt→wt=f(rt)
[0061] ρt+1=Adj(Ut,wt)
[0062] g:ρ→D,ρt+1→Dt+1=g(ρt+1)
[0063] rt+1=G(Dt+1)
[0064]
[0065] 其中,rt表示当前时刻t的用户表现,wt为映射出的当前的系统状态,包括默认状态、过渡状态和干预状态。用户表现r和系统状态w具有映射关系f:当用户表现符合预期时,映射为默认状态,当用户表现可接受时,映射为过渡状态,当用户表现不符合预期时,映射为干预状态,准备采取干预措施来调节用户生理状态。
[0066] 其中,ρt+1代表下一时刻t+1的世界参数,Ut是当前用户生理状态,可以通过用户的生理数据来测量,Adj是调整策略,根据具体的VR任务确定。Dt+1表示在新的世界参数干预下用户的下一步行动。用户下一步的行动和世界参数ρ之间存在映射关系g。
[0067] 函数G代表游戏的规则,根据游戏规则,用户做出下一步动作Dt+1自然会得到一个用户表现评价rt+1。
[0068] 其中,R是用户的最佳整体交互表现,也是DIM的调整目标,T任务循环时间。
[0069] 3、实验评估DIM的有效性
[0070] 为了验证DIM的有效性,我们将其集成到VR迷宫游戏中,并进行了对比实验。我们的实验分为两个阶段,即迷宫设计阶段和实验验证阶段。
[0071] 3.1、参与者
[0072] 在迷宫设计阶段,我们招募了30名年龄在20岁至28岁之间的参与者,男女各半。之后,在实验验证阶段,我们又招募了36名年龄同样在20岁至28岁之间的参与者,其中包括15名女性和21名男性。所有参与者都经过筛选,以确保他们不是色盲,没有VR晕动症倾向,并且有超过一个月的VR游戏经验。
[0073] 3.2、VR游戏设计
[0074] 在VR环境中,场景颜色等视觉元素和背景音乐等听觉元素被用作关键的世界参数。这些参数可以显著影响用户的生理状态,特别是他们的压力水平。根据现有研究,红色通常会增加压力,而蓝色则倾向于减少压力。同样,在特定场景中,具有不同含义的声音可以唤起用户的不同情绪反应,而与情绪高度相关的刺激自然会增加或缓解压力水平。
[0075] 为了验证DIM的合理性和有效性,我们基于脑机交互设计了一款迷宫VR游戏,专用于研究视觉和听觉环境变量对玩家状态的影响。该游戏的核心玩法是在迷宫中导航,同时被敌人追赶(只有追赶的声音:声),目的是通过DIM动态调整游戏的世界参数,以增强玩家的游戏体验和表现。
[0076] 在实验前,我们招募了30名参与者来体验这款以中性灰色迷宫为背景的虚拟现实迷宫游戏,并使用稀疏的马蹄声作为默认背景音乐。我们使用Unity3D2022.3.7来创建实验场景,采用HoloLens 2设备来进行实验,利用BrainCo OxyZen设备捕获的脑电波数据来计算出一个压力值(范围从0到100),以此衡量压力水平,其中0表示压力最小,100表示压力最大。根据Mikami(2017)的研究,压力值在60到100之间(不含60)表示高压力状态,而1到60之间(不含60)则表示低压力状态。本研究采用每个时间窗口内的平均压力值来评估用户的生理状态。通过不断迭代迷宫设计,我们将整个迷宫划分为四个连续的区域,并将每个区域的平均停留时间优化为20秒。同时,我们将时间窗口的大小也设置为20秒。
[0077] 然后,我们按照以下游戏规则进行了正式实验:玩家需要穿越由四个连续相连的区域组成的迷宫。玩家每向前通过一个区域可获得1分。如果玩家在某个区域内徘徊不前,则得0分。如果玩家改变方向并返回之前的区域,则扣1分。每20秒统计一次玩家的分数。正分表示该时间窗口内表现良好,零分表示表现一般,负分表示表现不佳。当用户的表现符合预期时,系统状态处于默认状态,世界参数保持默认。当用户表现一般时,系统状态处于过渡状态。保持之前的世界参数以确保用户体验的连续性。然而,当用户的表现未达到预期时,系统状态进入干预状态,并采取相应的调整策略。如果用户的压力水平过低,将使用红光和密集的马蹄声来增加压力水平,防止用户变得松懈。当用户压力过大时,将使用蓝光以及雨声和声来降低压力水平,防止用户因过度紧张而遭受精神疲劳。这些元素作为场景灯光和背景音乐,实现了整体场景颜色和音乐的变化。鉴于实验中使用的VR游戏的特点,其他各种世界参数(包括触觉环境参数以及VR任务设计,尤其是难度)在整个实验过程中保持一致。DIM集成指南如图4所示。基于不同用户表现和状态采用的具体调整策略如表1所示。
[0078] 我们通过半结构化访谈和游戏设计师的专业指导,选择了特定的蓝色和红色值,以及音乐的音量,以确保创造一个在视觉上和听觉上都让人感到舒适的环境。在对照组的设计中,我们使用了白色和灰色等中性颜色作为控制场景,因为中性颜色对用户状态的影响最小。此外,背景音乐由稀疏的马蹄声组成,不会强烈刺激或过度放松用户的情绪。在实验组的设计中,我们使用了蓝色和红色,并且背景音乐中加入了雨声和风声,以及密集的马蹄声来进行干预。同时,我们还采用了DIM来调整场景参数。音乐的音量为60分贝。
[0079]
[0080] 表1
[0081] 3.3、迷宫设计阶段
[0082] 为了验证DIM的有效性,我们的目标是创建两个难度相似的迷宫地图。
[0083] 我们的方法包括:
[0084] (1)假设每个迷宫区域的目标停留时间为20秒。
[0085] (2)使用DFS算法随机生成四个迷宫区域,并将它们组合成一个完整的迷宫。
[0086] (3)测试30名参与者在迷宫中的导航情况,记录每个区域的平均停留时间。
[0087] (4)选择停留时间在18到22秒之间的区域作为可行的区域,并记录它们的区域编号。
[0088] (5)重复此过程,直到我们为每个区域编号(1、2、3、4)都找到两个可行的区域。
[0089] (6)将这些可行的区域按顺序组合起来,形成两个难度相当的迷宫地图。
[0090] 3.4、实验验证阶段
[0091] 在实验得到充分解释和指导后,参与者被要求签署知情同意书。随后,他们被配备了虚拟现实(VR)和脑电图(EEG)设备,并进行了功能验证以确保设备正常运行。在学习游戏规则并在预备虚拟场景中练习后,正式实验开始。
[0092] 为了消除学习效应的影响,在迷宫设计阶段,我们开发了两个难度相似的迷宫地图。在实验验证阶段,36名参与者中的每一位都进行了两次实验。首先,随机选择一个迷宫地图和DIM。在第二次实验中,使用了在第一次实验中未使用的迷宫地图和机制。为了防止疲劳影响参与者的表现,我们在两次试验之间安排了足够的休息时间(至少5分钟)。
[0093] 实验结束后,收集了性能数据,并要求参与者完成游戏体验问卷和参与度问卷。随后,进行了访谈以评估主观体验。整个实验的总时长约为10‑15分钟。
[0094] 3.5、评估指标
[0095] 游戏完成时间(T):游戏完成时间将作为评价DIM质量的一个客观标准。
[0096] 平均校正时间(CT):平均校正时间指的是用户从较差表现校正到良好表现所需的平均转换时间,可用于评估调整策略的有效性。
[0097] 游戏体验问卷得分(GEQ):实验结束后,参与者将被邀请填写游戏体验问卷(GEQ),以评估他们在整个实验过程中的游戏体验。GEQ问卷包含七个模:成就感、挑战性、竞争性、引导性、沉浸感、趣味性和社交体验。由于所选游戏为迷宫VR游戏,我们对原始问卷进行了修订,去除了与游戏体验无关的内容[37],最终保留了六个模块(不包括社交体验模块),共22个问题。该调查采用五点式李克特量表,每个项目以陈述形式呈现。选项范围从“非常同意”到“非常不同意”,对应的分数从5到1。
[0098] 用户参与度得分(UES):在实验结束后,参与者将被邀请完成修订版的用户参与度量表(UES)问卷。这些得分将用于衡量参与者在实验期间的参与度。修订版的UES问卷分为长版(30个问题)和短版(12个问题)。为防止因问卷长度过长而导致参与者疲劳,本研究选择UES的短版来评估用户参与度。与GEQ问卷类似,UES也采用五点式李克特量表,具有与GEQ相同的选项和评分系统。参与者将在完成实验后被邀请填写UES问卷,UES得分将用于衡量参与者的参与度。
[0099] 3.5、实验结果
[0100] 图5是统计结果图,从图5可以看出,本发明DIM即实验组与对照组相比,可以显著降低游戏完成时间和平均修正时间,同时提高了GEQ、UES得分,显著提高用户的游戏体验感和参与度。
[0101] 尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
QQ群二维码
意见反馈