技术领域
[0001] 本
发明涉及人群仿真领域，特别涉及一种基于眼动追踪的虚拟现实人群仿真方法及系统。
背景技术
[0002] 随着社会的发展，人类的进步，人口的数量也不断的增长，人们出行在各大公共场所的几率也越来越高，遭遇拥堵也是经常发生的事情，人多的地方就容易出现各种问题。现如今人们对人群仿真的需求越来越高，而且随着
硬件水平的提高，大家对具有高仿真度，高真实性，高多样性的人群仿真的需求也越来越高。
[0003] 虚拟现实技术是仿真技术与
计算机图形学、多媒体技术等技术的结合，是一种新兴的数字化人机
接口，虚拟现实技术经过虚拟现实元年的爆发，不断有新技术新设备的出现，快速的缩短了虚拟现实与我们大众的距离。虚拟现实技术不断渗透到各个领域，同样的在影视、游戏、教育、医疗等领域给人们带来逼真的体验和高效的学习工作效率。
[0004] 在进行人群仿真的时候，由于大多数人群仿真系统并不能对人群注意
力进行模拟所以缺乏在人群仿真注意力方面的数据收集和研究。有些时候人群的注意力也起着重要的作用，但往往难以获得，特别是在紧急事故发生的时候。因此，如何在人群仿真中获得人群在整个仿真过程中注意力的数据，并对
建筑物中安全出口标志等安全标志安装
位置进行判断评估，仍是待解决的技术问题。
发明内容
[0005] 为了克服上述
现有技术的不足，本发明提供了一种基于眼动追踪的虚拟现实人群仿真方法及系统，通过眼动追踪技术获得人群在紧急情况下注意力和关注点数据，在人群注视点分布较密集的地方安放安全出口等安全标志，以达到更高效的给人安全指示的作用，可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率。
[0006] 本发明所采用的技术方案是：
[0007] 一种基于眼动追踪的虚拟现实人群仿真方法，该方法包括以下步骤：
[0008] 建立人群仿真
数据库，包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库；
[0009] 从建筑物及障碍物模型库中选取建筑物和障碍物模型，并结合人物声音及环境声音采集库，构建虚拟现实场景；
[0010] 基于真实人物资料库、人物模型库和人物属性库，构造具有高仿真度的虚拟人物，并置于虚拟现实场景中；
[0011] 按照紧急情况下人群逃生或疏散路径规划，对虚拟人物进行仿真操作，并采集仿真操作中眼动追踪数据；
[0012] 将眼动追踪数据标注到建筑物模型表面，判断建筑物中安全标志安放的位置是否合理。
[0013] 进一步的，所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型；
[0014] 所述人物声音及环境声音采集库用于存储所采集的人物和环境声音，包括人物行走、跑步、说话产生的声音，以及人物所处场景下的环境音；
[0015] 所述真实人物资料库用于统计大量的现实世界中真实人物的各种信息，包括性别、年龄、身高、体重和身体健康状况；
[0016] 所述人物模型库包含各种形体差异的人物模型；
[0017] 所述人物属性库包含人物所具有的属性，包括移动速度、跌倒爬起到恢复正常行走的最短时间以及对真人进行
动作捕捉的动作数据和对表情捕捉的表情数据。
[0018] 进一步的，所述基于真实人物资料库、人物模型库和人物属性库，构造具有高仿真度的虚拟人物
角色的步骤包括：
[0019] 接收测试用户输入的真实数据，从真实人物资料库选取与测试用户的真实数据相同的高仿真度人物资料构造具有高仿真度的虚拟人物角色；或者，
[0020] 从人物模型库中选择人物模型，从人物属性库中选择人物属性，将人物属性绑定到人物模型上，构造具有高仿真度的虚拟人物角色。
[0021] 进一步的，所述对虚拟人物进行仿真操作的步骤包括：
[0022] 测试用户通过虚拟现实设备进行虚拟现实场景，按照紧急情况下人群逃生或疏散路径规划控制虚拟人物进行仿真操作；或者，
[0023] 按照紧急情况下人群逃生或疏散路径规划，采用寻路
算法控制虚拟人物进行仿真操作；
[0024] 进一步的，所述眼动追踪数据包括眼动轨迹和热点图，眼动轨迹是眼睛移动的轨迹和关注的重点部位，热点图用于反映用户的注视和浏览情况。
[0025] 进一步的，所述判断建筑物中安全标志的安放位置是否合理的步骤包括：
[0026] 判断眼动追踪数据分布集中的地方是否为建筑物中安全标志的安放位置，如果建筑物中安全标志在眼动追踪数据分布集中的地方，则建筑物中安全标志的安放位置合理；如果建筑物中安全标志在眼动追踪数据分布不集中或没有眼动追踪数据的位置，则建筑物中安全标志的安放位置不合理；如果在眼动追踪数据分布集中的地方缺少安放安全标志，则建筑物中安全标志的安放位置不合理。
[0027] 进一步的，还包括采用自适应变异的粒子群
优化算法对虚拟现实场景进行路径优化的步骤。
[0028] 进一步的，还包括采用基于surfel的实时
渲染算法对虚拟现实场景进行渲染的步骤。
[0029] 一种基于眼动追踪的虚拟现实人群仿真系统，该系统包括：
[0030] 人群仿真数据库建立模
块，用于建立人群仿真数据库，所述人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库；
[0031] 虚拟现实场景构建模块，用于从建筑物及障碍物模型库中选取建筑物和障碍物模型，构建虚拟现实场景；
[0032] 虚拟人物角色构造模块，用于基于真实人物资料库、人物模型库和人物属性库，构造具有高仿真度的虚拟人物，并置于虚拟现实场景中；
[0033] 仿真操作模块，用于按照紧急情况下人群逃生或疏散路径规划，对虚拟人物进行仿真操作，并采集仿真操作中眼动追踪数据；
[0034] 评测模块，用于对眼动追踪数据进行处理和分析，并将眼动追踪数据标注到三维立体建筑物表面，判断虚拟现实场景中安全标志安放的位置是否合理。
[0035] 进一步的，所述仿真操作模块为具有眼动追踪功能的虚拟现实设备。
[0036] 与现有技术相比，本发明的有益效果是：
[0037] (1)本发明通过眼动追踪技术获得人群在紧急情况下逃生或疏散的注意力和关注点数据，实现对建筑物中安全出口标志等安全标志安装位置判断评估，在人群注视点分布较密集的地方安放安全出口等安全标志，以达到更高效的给人安全指示的作用，可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率；
[0038] (2)本发明通过人物模型和人物属性的组合，可以组合创造出多种不同的虚拟人物角色，并且有真实人物资料库可以直接使用真人映射，该映射包含真人各种属性，同时又通过真人控制，增加了人群仿真的人群多样性；
[0039] (3)本法采用虚拟现实技术将真人带入该虚拟现实场景中，使人群仿真更有人的自然的表现，有较高的真实性；采用虚拟现实技术，使人身临其境，并能与周围的环境以及环境中的人和物进行相互作用和交互，因此有较高的交互性。
附图说明
[0040] 构成本
申请的一部分的
说明书附图用来提供对本申请的进一步理解，本申请的示意性
实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0041] 图1是基于眼动追踪的虚拟现实人群仿真方法
流程图；
[0042] 图2是基于眼动追踪的虚拟现实人群仿真系统结构
框图；
[0043] 图3为
虚拟环境下某人甲在某场景A的注意力数据分部情况；
[0044] 图4为虚拟环境下某人乙在某场景B的注意力数据分部情况。
具体实施方式
[0045] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0046] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0047] 正如背景技术所介绍的，在进行人群仿真的时候，由于大多数人群仿真系统并不能对人群注意力进行模拟所以缺乏在人群仿真注意力方面的数据收集和研究不足，为了解决如上的技术问题，本申请提出了一种基于眼动追踪的虚拟现实人群仿真方法及系统。
[0048] 本申请的一种典型的实施方式中，如图1所示，提供了一种基于眼动追踪的虚拟现实人群仿真方法，该方法包括以下步骤：
[0049] 步骤1：建立人群仿真数据库。
[0050] 该人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、具有形体差异的人物模型库和人物属性库。
[0051] 建立一个建筑物及障碍物模型库，所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型等。本发明实施例的建筑物及障碍物模型库中不只局限于建筑物本身是一个完整的建筑物还包括建筑物中的各种设施等，该建筑物及障碍物模型库中的建筑物模型可以通过人工建模、物理扫描等进行丰富添加，可以是现实世界中已经存在的也可以是构想出来的任何建筑物模型，障碍物模型等，通过丰富的建筑物模型库来满足人群仿真中所需要的各种物理环境。该建筑物及障碍物模型库可通过人工建模方式，可使用多种建模工具，本发明实施例使用maya
软件的建模功能对建筑物进行人工建模，建模人员可根据图纸或者到实地考察后进行建模，或者使用专
门的测绘扫描建模工具对建筑物进行扫描生成模型，将通过各种方式制作完成的模型保存为obj、fbx等格式，导入到建筑物及障碍物模型库中，以方便以后使用。
[0052] 建立人物声音及环境声音采集库，所述人物声音及环境声音采集库用来存储采集来的人物和环境的声音，包括人物行走、跑步、说话等情景下产生的声音，以及人物所处场景下的环境音，包括
风吹草动等环境音。。
[0053] 建立真实人物资料库，所述真实人物资料库包含大量的现实世界中真实人物的资料。所述真实人物资料库中的资料全部来源于真实的人类，是对真实人类的各种信息的统计，包括性别、年龄、身高、体重、身体状况等，在尊重被采集的本人意愿和隐私的情况下，可进行更细致的个人信息收集。所有采集信息过程都是征得被采集本人同意后进行的。该真实人物资料库的作用是为了得到更加真实的人群信息，以达到最大化的对真实人物的映射，即在虚拟现实场景中构造出最接近真人的虚拟角色，不仅包括外形还有身
体素质等其他细致的个人信息。
[0054] 建立具有形体差异的人物模型库，所述具有形体差异的人物模型库包含各种形体差异的人物模型，包括高、矮、胖、瘦、性别等特征。具有形体差异的人物模型库里的人物模型可通过人工建模、扫描设备等构建的人物模型进行填充，该模块应该包括大量的人
体模型，数量和种类足够多以达到丰富人群的效果。可使用maya软件的建模功能对人物进行建模，或者使用扫描建模工具对真人进行扫描生成模型。之后将通过各种方式制作完成的模型保存为obj、fbx等格式导入到真实人物资料库中，收集各种形体差异的人物模型，包括高、矮、胖、瘦、性别等特征，以方便以后使用。
[0055] 建立人物属性库，所述人物属性库模块包含人物所具有的属性，包括人的移动速度、跌倒爬起到恢复正常行走的最短时间等各种真人属性以及对真人进行动作捕捉和表情捕捉的动作和表情数据。
[0056] 步骤2：从建筑物及障碍物模型库中选取建筑物和障碍物模型，并结合人物声音及环境声音采集库，构建虚拟现实场景。人物声音及环境声音采集库的作用是为了构建虚拟情景使用，使创建的虚拟现实场景有声音，不致于人在整个虚拟场景中听不到任何声音。
[0057] 步骤3：基于真实人物资料库、人物模型库和人物属性库，构造具有高仿真度的虚拟人物角色，并置于虚拟现实场景中。这样就得到一个完整的虚拟现实场景，包括建筑物、障碍物和人等，可有效提高人群仿真的多样性。
[0058] 可根据系统要求使用真实人物资料库里面的具有高仿真度的虚拟人物角色，也可以通过具有形体差异的人物模型库模块和人物属性库模块进行组合，在具有形体差异的人物模型库中选择人物模型，在人物属性库中选择人物属性，并将人物模型和人物属性进行合理的组合，即将人物属性绑定到人物模型上，以达到对具有高仿真度的虚拟人物角色的构造，通过人物模型库和人物属性库构造出的虚拟人物角色属于人工组合，通过组合以达到人群的多样性，而真实人物资料库中的角色则是对真实世界中的人的映射。
[0059] 步骤4：按照紧急情况下人群逃生或疏散路径规划，对具有高仿真度的虚拟人物进行仿真操作，并采集仿真操作中眼动追踪数据。
[0060] 测试人员可以使用自身的真实数据进行映射到真实人物资料库从而使用自己的真实信息，或者使用系统分配的虚拟人物角色。测试人员通过虚拟现实设备，包括虚拟现实头显、双脚运动
控制器等虚拟现实设备连接该系统，从而使测试人员可以操控自己在
虚拟现实世界中的虚拟人物，在虚拟现实的场景中自由操作，并与虚拟现实中的情景中的一切进行交互。测试人员可以很多也可以很少，由于受测试人员条件的限制，测试人员可以选择整个情景中只有当前进行测试的人员，在没有较多的测试人员的情况下，可以选择系统添加智能虚拟人物，由系统模拟控制场景中的其他虚拟人物。
[0061] 测试人员选择虚拟现实情景中存在的虚拟人物数量，可选择只有测试人员控制的虚拟人物，或者根据要求添加足够多的系统控制的虚拟人物，该系统中可以只包含测试人员控制的虚拟人物，也可以同时包含测试人员控制的虚拟人物以及系统控制的虚拟人物，或者只包含系统控制的虚拟人物，然后测试人员可以按照事先准备好了的测试方案进行测试。
[0062] 测试人员通过虚拟现实设备进入虚拟现实场景，按事先的计划如测试对某建筑物或场所的人群疏散、多条路径比较及路径规划、公共场所人群流动等控制虚拟人物进行测试，包括路径规划等的测试。
[0063] 虚拟现实设备包含大量可穿戴的虚拟现实设备，比如虚拟现实头显、操作
手柄、虚拟现实移动装置等等，特别是具有眼动追踪技术的虚拟现实头显，能够实时的对使用者的眼球进行追踪，以便收集眼动追踪数据。
[0064] 对于控制虚拟现实场景中虚拟人物可使用多种寻路算法，例如A*寻路算法。
[0065] 步骤5：对眼动追踪数据进行处理和分析，并将眼动追踪数据标注到虚拟现实场景中三维立体建筑物模型表面，判断虚拟建筑物中安全标志安放的位置是否合理。
[0066] 进行完一系列的人群仿真操作后，对采集的在紧急情况下的人群逃生或疏散过程中眼动追踪数据进行处理分析和存储，并将眼动追踪数据标注到三维立体建筑物表面，以方便对仿真过程中人群注意力的分析。
[0067] 该眼动追踪数据为在紧急情况下的逃生或疏散的注意力和关注点数据，包括注视时间和次数，眼跳距离，瞳孔大小等数据，包括眼动轨迹、热点图。眼动轨迹是眼睛移动的轨迹和关注的重点部位，热点图用于反映用户的注视和浏览情况，红色代表注视和浏览最为集中的区域，黄色和绿色代表注视和浏览最少的区域。眼动轨迹上的圆点和路径代表视线的停留和转移，对特定的元素关注越多则该点将被重叠则该点越大，圆点分布较密集或圆点较大的区域则证明该区域为人眼关注的重点区域。通过眼动轨迹和热点图可以近似得出人眼关注的重点区域，将眼动追踪数据进行保存以方便今后使用。
[0068] 由于在现实环境中不可拿人的生命在真实的灾难中进行实验，人群仿真又不够真实。所以本发明为了在灾难不可重现且人群仿真不够真实的情况下，可以获得人群在灾难来临等紧急情况下进行逃生和疏散的过程中眼动追踪数据。
[0069] 在紧急情况下的人的注意力和关注点数据比人在正常状态下的注意力和关注点数据更能体现出在危急时刻人更加关注的内容，因此该数据用于在危急情况下保障人的生命和安全具有更重要的意义。
[0070] 为了实现对建筑物中安全出口标志等安全标志安装位置判断评估，本发明获得人群在灾难来临等紧急情况下逃生或疏散过程中注意力和关注点数据后，将该数据与建筑物中安全出口等安全标志物进行对比，如果安全出口等安全标志在注视点数据分布集中的地方则证明该安全标志安放的位置较合理，如果安全出口等安全标志在注视点数据分布不集中或没有注视点数据的位置安放安全标志则该安全标志安放位置不合理，如果在注视点较密集的地方缺少安放安全标志同样证明该建筑物安放安全标志位置不合理。
[0071] 通过本发明可以获得人群在灾难来临等紧急情况下人群逃生或疏散过程中注意力和关注点的数据，通过该发明获得需要安放安全出口等安全标志的建筑物在紧急情况下人群疏散过程中注意力和关注点数据，在人群注视点分布较密集的地方安放安全出口等安全标志以达到更高效的给人安全指示的作用，同时将注视点较密集的地方与安全标志无关的内容移除包括类似广告字画等各种与安全标志无关的内容，以免分散人群在灾难来临等紧急情况下的注意力和浪费人群在紧急情况发生时宝贵的时间，避免影响人群在灾难来临等紧急情况下进行逃生和疏散，通过该方法安放安全出口等安全标志可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率。
[0072] 该方法还包括使用多种路径优化方法对虚拟现实场景中路径进行优化的步骤，例如可采用自适应变异的
粒子群优化算法对虚拟现实场景进行路径优化。
[0073] 该方法还包括对虚拟现实场景进行渲染的步骤，可以使用unity3d中自带的渲染效果，亦可以使用其他渲染算法如基于surfel的实时渲染算法实现。对虚拟现实场景进行渲染的具体实现方式为：
[0074] (1)
采样阶段，在场景
包围盒的前、测、顶3个方向上进行surfel采样，就可以得到场景的完整信息。通过光线投射算法，计算并记录所有的线面交点。每个交点就是一个surfel点。这样采样获得的surfel就记录了形状与着色属性两大类信息。
[0075] (2)采样
精度的选择，采样精度的选择原则是空间的两个surfel点理论最大间距应该小于最终屏幕显示的每个pixel控制域的半径r′rec。如果每个采样平面上两个相邻采样点的间距为h0，那么分别位于3个采样面上的8个彼此相邻的采样点就构成了一个边长为h0的立方体，而这个立方体中，surfel都位于其边上，因此，两个surfel的最大间距smax就是由此，规定了采样最小精度：即必须保证smax≤r′rec，这样才能够保证最后的图像
质量。在实际应用中，通常让采样精度偏高一些，以减小最终显示的图像失真程度。
[0076] (3)采样数据的组织结构，为了尽可能地调高绘制阶段的速度，组织合理的数据结构也是关键的一步工作。因为是要实现交互式渲染，观察点与观察距离会随着用户的需要产生变化，也就意味着图像细节是可以选择的，即在远距离观察是，物体本身比较小，其上的细节对于观察者而言，更不可能看清楚，因此过小的细节可以忽略，也就是说可以用较少量的surfel点来重绘一个看上去完全一样的场景。这是层次细节简化技术的基本思想，将其应用到笔者研究的surfel绘制技术上，为surfels采样点够早了一棵LDC树，按深度分层的立方体，来组织所有的surfel点。其优点在于，LDC树是根据八叉树的
节点性质逐层递减采样精度，也相应减少了surfel点的数目，从而为多种输出精度提供了相适应的重绘surfel数目。
[0077] (4)选择合适的绘制精度，这里用 来表示第n层LDC树上block中的相邻两surfel最大间距。同smax计算方法一样， 就是第n层的block对角线除以其中的采样精度b。如果block边长为hn，那么
[0078] 对于屏幕
像素而言，每个像素的控制区域半径值rrecc等于 s0是相邻两像素的间距。
[0079] 通过计算得到 和rrec后，选择LDC层次的原则就是 也就是通过遍历LDC树，找到满足要求的n，即可得到应该采用的block,其中surfel点就包含了用来重绘产经所有有效点。
[0080] 本发明实施例提出的基于眼动追踪的虚拟现实人群仿真方法，通过眼动追踪充分的获得了人群的注意力，并且可以获得在紧急情况下的人群的注意力和关注点数据，由于紧急情况特别是灾难性的，在现实中是难以模拟的，更不能拿真人来做实验，因此紧急情况下的人群注意力数据是极其难得的，通过该发明获得在紧急情况下人群注意力和关注点数据，在人群注视点分布较密集的地方安放安全出口等安全标志，以达到更高效的给人安全指示的作用，可有助于提高人群在灾难来临等紧急情况下进行逃生和疏散的效率；本发明通过人物模型和人物属性的组合，可以组合创造出多种不同的虚拟人物角色，并且有真实人物资料库可以直接使用真人映射，该映射包含真人各种属性，同时又通过真人控制，增加了人群仿真的人群多样性；采用虚拟现实技术将真人带入该虚拟现实场景中，使人群仿真更有人的自然的表现，有较高的真实性；采用虚拟现实技术，使人身临其境，并能与周围的环境以及环境中的人和物进行相互作用和交互，因此有较高的交互性；并且随着系统的产生和使用，系统的数据库中的内容会随着时间的变化收集更多数据从而变得越来越丰富，为以后的仿真带来更丰富的数据库。
[0081] 本申请的另一种典型实施方式，如图2所示，提供了一种基于眼动追踪的虚拟现实人群仿真系统，该系统包括：
[0082] 人群仿真数据库建立模块，用于建立人群仿真数据库，所述人群仿真数据库包括建筑物及障碍物模型库、人物声音及环境声音采集库、真实人物资料库、人物模型库和人物属性库。
[0083] 所述建筑物及障碍物模型库包含大量的建筑物模型和障碍物模型等；所述人物声音及环境声音采集库用来存储采集来的人物和环境的声音；所述真实人物资料库包含大量的现实世界中真实人物的资料；所述具有形体差异的人物模型库包含各种形体差异的人物模型，包括高、矮、胖、瘦、性别等特征；所述人物属性库包含人物所具有的属性，包括人的移动速度、跌倒爬起到恢复正常行走的最短时间等各种真人属性以及对真人进行动作捕捉和表情捕捉的动作和表情数据。
[0084] 虚拟现实场景构建模块，用于从建筑物及障碍物模型库中选取建筑物和障碍物模型，构建虚拟现实场景；
[0085] 虚拟人物角色构造模块，用于基于真实人物资料库、人物模型库和人物属性库，构造具有高仿真度的虚拟人物角色，并置于虚拟现实场景中；
[0086] 仿真操作模块，用于控制高仿真度人物角色进行仿真操作，并采集仿真操作中眼动追踪数据；
[0087] 评测模块，用于对眼动追踪数据进行处理和分析，并将眼动追踪数据标注到三维立体建筑物表面，判断虚拟现实场景中安全标志安放的位置是否合理。
[0088] 该系统基于
计算机系统，可通过untiy3d等引擎进行开发，并借助虚拟现实头显设备、双脚运动控制器等虚拟现实设备实现。
[0089] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的
基础上，本领域技术人员不需要付出创造性劳动即可做出的各种
修改或
变形仍在本发明的保护范围以内。
