首页 / 专利库 / 旅游与酒店业 / 游乐园 / 用于生成增强和虚拟现实图像的系统和方法

用于生成增强和虚拟现实图像的系统和方法

阅读:616发布:2020-09-09

专利汇可以提供用于生成增强和虚拟现实图像的系统和方法专利检索,专利查询,专利分析的服务。并且乘骑系统包括至少一个乘 骑车 辆。所述至少一个乘骑车辆被配置成接纳乘骑乘客。乘骑系统包括被配置为由乘骑乘客穿戴的 电子 护目镜 。电子护目镜包括相机和显示器。骑乘系统包括计算机图形生成系统,其通信地耦合到电子护目镜并被配置为基于经由电子护目镜的相机所捕获的图像数据来生成真实世界环境的流媒体,生成 叠加 在真实世界环境的流媒体上的一个或多个虚拟增强,并且将真实世界环境的流媒体连同一个或多个叠加的虚拟增强一起传送以显示在电子护目镜的显示器上。,下面是用于生成增强和虚拟现实图像的系统和方法专利的具体信息内容。

1.一种乘骑系统,包括:
至少一个乘骑车辆,其中所述至少一个乘骑车辆被配置为接纳乘骑乘客;
被配置为由所述乘骑乘客穿戴的电子护目镜,其中所述电子护目镜包括相机和显示器;和
计算机图形生成系统,所述计算机图形生成系统通信地耦合到所述电子护目镜,并且被配置为:
基于经由所述电子护目镜的所述相机所捕获的图像数据生成真实世界环境的流媒体;
生成叠加在所述真实世界环境的所述流媒体上的一个或多个虚拟增强;和将所述真实世界环境的所述流媒体连同所述一个或多个叠加的虚拟增强一起传送以显示在所述电子护目镜的所述显示器上。
2.根据权利要求1所述的乘骑系统,其中,所述电子护目镜的所述显示器包括第一显示器和第二显示器,并且其中所述第一显示器被配置为将所述流媒体显示给所述乘骑乘客的第一只眼睛,并且所述第二显示器被配置为将所述流媒体显示给所述乘骑乘客的第二只眼睛。
3.根据权利要求2所述的乘骑系统,其中,所述第一显示器和所述第二显示器中的每一个包括不透明液晶显示器(LCD)或不透明有机发光二极管(OLED)显示器。
4.根据权利要求1所述的乘骑系统,其中,所述电子护目镜包括附加的相机,并且其中所述相机被配置为捕获对应于所述乘骑乘客的第一只眼睛的第一视点,并且所述附加的相机被配置为捕获对应于所述乘骑乘客的第二只眼睛的第二视点。
5.根据权利要求1所述的乘骑系统,其中,所述计算机图形生成系统被配置为在乘骑周期期间当所述至少一个乘骑车辆行驶到预定位置时、行驶了预定距离时、在预定的时间逝去之后、或其任何组合时生成所述一个或多个虚拟增强。
6.根据权利要求5所述的乘骑系统,包括含有轨道的过山车,并且其中所述计算机图形生成系统被配置为当所述至少一个乘骑车辆沿着所述轨道行驶到所述预定位置时、沿着所述轨道行驶了预定距离时、在预定的时间逝去之后、或其任何组合时生成所述一个或多个虚拟增强。
7.根据权利要求1所述的乘骑系统,其中,所述计算机图形生成系统被配置为基于所述电子护目镜的取向、所述乘骑乘客的位置、所述乘骑乘客的视点、或其组合来生成所述真实世界环境的所述流媒体。
8.根据权利要求7所述的乘骑系统,包括在所述电子护目镜内用于检测所述电子护目镜的取向的定位传感器
9.根据权利要求7所述的乘骑系统,包括监视系统,所述监视系统被配置为监视所述电子护目镜的物理属性以确定所述电子护目镜的取向。
10.根据权利要求7所述的乘骑系统,包括传感器,所述传感器被配置为检测所述乘骑乘客在所述至少一个乘骑车辆内的位置。
11.根据权利要求7所述的乘骑系统,包括在所述至少一个乘骑车辆内或在电子护目镜内的一个或多个位置传感器,并且所述一个或多个位置传感器被配置为作为确定所述乘骑乘客的视点的功能而监视所述乘骑乘客。
12.根据权利要求1所述的乘骑系统,其中,所述计算机图形生成系统被配置为以大于或等于约30/秒(FPS)的速率向所述显示器呈现所述真实世界环境的所述流媒体和所述一个或多个叠加的虚拟增强。
13.根据权利要求1所述的乘骑系统,其中,所述计算机图形生成系统被配置为:
接收与所述真实世界环境相关联的照明、对比度亮度或其组合的指示;和生成被调整以反映真实世界环境的照明、对比度、亮度或其组合的所述一个或多个叠加的虚拟增强和所述真实世界环境的所述流媒体。
14.根据权利要求1所述的乘骑系统,其中,所述计算机图形生成系统被配置为:
经由所述电子护目镜的一个或多个传感器接收所述乘骑乘客的位置和取向的指示;
至少部分地基于所述位置和所述取向生成所述真实世界环境的所述流媒体和所述叠加的虚拟增强;和
在所述显示器上呈现所述流媒体。
15.根据权利要求1所述的乘骑系统,其中,所述显示器包括第一显示器和第二显示器,并且其中所述计算机图形生成系统被配置为:
接收经由所述电子护镜的所述相机和所述附加的相机分别捕获的所述乘骑乘客的第一视点和第二视点的指示;
至少部分地基于所述第一视点和第二视点生成所述真实世界环境的所述流媒体和所述一个或多个叠加的虚拟增强;和
分别在所述第一显示器和所述第二显示器中的每一个上呈现所述流媒体,其中在所述第一显示器上呈现的所述流媒体对应于所述第一视点,并且在所述第二显示器上呈现的所述流媒体对应于所述第二视点。
16.一种可穿戴电子设备,包括:
护目镜,包括:
布置在所述护目镜的框架前面的一个或多个显示器;
被配置为捕获与主题公园的乘骑相关联的真实世界环境的图像的一个或多个相机;和处理电路,所述处理电路被配置为:
将所述真实世界环境的所述图像传送到计算机图形生成系统;
从所述计算机图形生成系统接收信号,其中所述信号包括所述真实世界环境的虚拟化的视频流连同包括在所述视频流中的至少一个增强现实(AR)图像或至少一个虚拟现实(VR)图像;和
使所述一个或多个显示器显示所述视频流。
17.根据权利要求16所述的可穿戴电子设备,其中,所述一个或多个显示器包括第一显示器和第二显示器,并且其中所述第一显示器被配置为对应于用户的第一只眼睛,并且所述第二显示器被配置为对应于用户的第二只眼睛。
18.根据权利要求16所述的可穿戴电子设备,其中,所述护目镜包括取向传感器、位置传感器、加速度计、磁计、陀螺仪或其任何组合。
19.根据权利要求16所述的可穿戴电子设备,其中,所述处理电路包括一个或多个处理器,所述一个或多个处理器被配置为生成所述真实世界环境的所述虚拟化的所述视频流和所述至少一个AR图像或所述至少一个VR图像。
20.一种方法,包括:
经由计算机图形生成系统接收实时数据,其中接收所述实时数据包括在游乐园乘骑的周期期间从电子护目镜接收实时视频数据流;
基于接收到的实时视频数据流,生成所述游乐园的真实世界环境的虚拟化;
将增强现实(AR)图像或虚拟现实(VR)图像覆盖到所述真实世界环境的所述虚拟化上;

在所述游乐园乘骑的周期期间将覆盖的AR图像或VR图像连同所述真实世界环境的所述虚拟化一起传送到所述电子护目镜。
21.根据权利要求20所述的方法,其中,接收所述实时数据包括接收与所述游乐园乘骑的乘骑乘客的位置、所述乘骑乘客的取向、所述乘骑乘客的视点,或其组合相关联的数据。
22.根据权利要求20所述的方法,包括至少部分地基于所述游乐园乘骑的乘骑乘客的位置、所述乘骑乘客的取向、所述乘骑乘客的视点,所述游乐园乘骑的乘骑车辆的地点、所述电子护目镜的取向、预定的时间段、对实时视频数据流中的一个或多个特征的识别、或其任意组合来将所述覆盖的AR图像或所述VR图像连同所述真实世界环境的所述虚拟化进行传送。
23.一种方法,包括:
经由电子护目镜的处理电路接收实时图像数据,其中接收所述实时图像数据包括在主题公园乘骑的周期期间接收经由所述电子护目镜的一个或多个相机捕获的实时视频数据流;
基于所捕获的实时图像数据,生成所述主题公园乘骑的真实世界环境的虚拟化;
将增强现实(AR)图像或(VR)图像覆盖到所述真实世界环境的所述虚拟化上;和在所述主题公园乘骑的周期期间,经由电子护目镜的显示器将所述覆盖的AR图像或VR图像连同所述真实世界环境的所述虚拟化一起进行显示。
24.根据权利要求23所述的方法,包括至少部分地基于所述电子护目镜的位置、所述电子护目镜的取向、所述主题公园乘骑的乘骑乘客的视点、所述主题公园乘骑的乘骑车辆的地点、预定的时间段、对实时视频数据流中的一个或多个特征的识别、用户可配置设置、或其任意组合来将所述覆盖的AR图像或所述VR图像连同所述真实世界环境的所述虚拟化进行显示。

说明书全文

用于生成增强和虚拟现实图像的系统和方法

技术领域

[0001] 本文所公开的主题涉及游乐园景点,并且更具体来说涉及在游乐园景点中提供加强的刺激因素和趣味组件。

背景技术

[0002] 游乐园和/或主题公园可以包括在为游乐园的顾客(例如,家庭和/或所有年龄的人们)提供享受时有用的各种娱乐景点、餐馆和乘骑。例如,景点可以包括针对儿童的诸如旋转木之类的传统乘骑以及针对寻求刺激的人的诸如过山车之类的传统乘骑。现在认识到,将趣味组件和刺激因素添加到这些景点可能是困难和受限制的。传统上,例如,在提供越来越复杂的陡峭、扭转和卷绕的过山车轨道的系统之外,这种过山车和/或其他类似的刺激乘骑的刺激因素可能受限于刺激乘骑本身的现有路线或物理性质。现在认识到,相对于传统技术,希望以灵活和有效的方式将趣味组件和刺激因素包括在这些景点中。发明内容
[0003] 与本公开的范围相称的某些实施例总结如下。这些实施例不旨在限制本公开的范围,而是这些实施例仅旨在提供本实施例的可能形式的简要概述。实际上,本实施例可以包含可以与以下阐述的实施例相似或不同的各种形式。
[0004] 在一个实施例中,乘骑系统包括至少一个乘骑车辆。所述至少一个乘骑车辆被配置为接纳乘骑乘客。乘骑系统包括被配置为由乘骑乘客穿戴的电子护目镜。电子护目镜包括相机和显示器。骑乘系统包括计算机图形生成系统,其通信地耦合到电子护目镜并且被配置为基于经由电子护目镜的相机所捕获的图像数据来生成真实世界环境的流媒体,生成叠加在真实世界环境的流媒体上的一个或多个虚拟增强,并且将真实世界环境的流媒体连同一个或多个叠加的虚拟增强一起传送以显示在电子护目镜的显示器上。
[0005] 在第二实施例中,可穿戴电子设备包括护目镜。护目镜包括布置在护目镜的框架前面的一个或多个显示器、被配置为捕获与主题公园的乘骑相关联的真实世界环境的图像的一个或多个相机、以及处理电路。处理电路被配置为将真实世界环境的图像传送到计算机图形生成系统,并且从计算机图形生成系统接收信号。该信号包括真实世界环境的虚拟化的视频流连同包括在视频流中的至少一个增强现实(AR)图像或至少一个虚拟现实(VR)图像。处理电路还被配置为使一个或多个显示器显示视频流。
[0006] 在第三实施例中,一种方法包括经由计算机图形生成系统接收实时数据。接收实时数据包括在游乐园乘骑的周期期间从电子护目镜接收实时视频数据流。该方法还包括基于接收到的实时视频数据流生成游乐园的真实世界环境的虚拟化,将增强现实(AR)图像或虚拟现实(VR)图像覆盖到真实世界环境的虚拟化上,并且在游乐园乘骑的周期期间将覆盖的AR图像或VR图像连同真实世界环境的虚拟化一起传送到电子护目镜。
[0007] 在第四实施例中,一种方法包括经由电子护目镜的处理电路接收实时图像数据。接收实时图像数据包括在主题公园乘骑的周期期间接收经由电子护目镜的一个或多个相机捕获的实时视频数据流。该方法还包括基于所捕获的实时图像数据生成主题公园乘骑的真实世界环境的虚拟化,将增强现实(AR)图像或(VR)图像覆盖到真实世界环境的虚拟化上,并且在主题公园乘骑的周期期间经由电子护目镜的显示器将覆盖的AR图像或VR图像连同真实世界环境的虚拟化一起显示。
附图说明
[0008] 当参考附图阅读以下详细描述时,将变得更好地理解本公开的这些和其它特征、方面和优点,其中遍及所有附图,相同的附图标记表示相同的部件,其中:图1图示了根据本实施例的包括一个或多个景点的游乐园的实施例;
图2是根据本实施例的增强现实(AR)或虚拟现实(VR)护目镜和计算机图形生成系统的实施例的图示;
图3是根据本实施例包括通过图2的AR/VR护目镜提供的各种AR和VR图像的图1的刺激乘骑的透视图;
图4是图示根据本实施例的通过使用图2的计算机图形生成系统在乘骑期间在创建AR体验、VR体验或混合现实体验时有用的过程的实施例的流程图;和
图5是图示根据本实施例的通过使用图2的AR/VR护目镜在乘骑期间在创建AR体验、VR体验或混合现实体验时有用的过程的实施例的流程图。

具体实施方式

[0009] 下面将描述本公开的一个或多个特定实施例。在努提供这些实施例的简明描述中,在说明书中可能不描述实际实现的所有特征。应当理解,如在任何工程或设计项目中那样,在任何这样的实际实现的开发中,必须做出诸如遵守与系统相关的和与业务相关的约束之类的许多实现特定的决定来达到开发者的特定目标,其可以从一个实现到另一个实现而变化。此外,应当理解,这样的开发努力可能是复杂和耗时的,但是对于受益于本公开的普通技术人员而言,它们不过将是设计、制造和生产的常规工作。
[0010] 本实施例涉及提供作为游乐园或主题公园中的诸如刺激乘骑之类的景点一部分的增强现实(AR)体验、虚拟现实(VR)体验、混合现实(例如,AR和VR的组合)体验、或其组合的系统和方法。在某些实施例中,可以向每个乘骑乘客提供一对在刺激乘骑的周期期间穿戴的电子护目镜或眼镜。电子护目镜可以促进AR体验、VR体验、或二者体验的组合。因此,电子护目镜可以称为AR/VR护目镜。具体来说,在一个实施例中,电子护目镜包括至少两个相机,其可以分别对应于乘骑乘客的相应视点(例如,右眼和左眼视图),并且可以用于捕获乘骑乘客和/或刺激乘骑的真实世界环境(例如,物理游乐园的各个方面)的实时视频数据(例如,实况使用期间捕获并基本上实时地传送的视频)。电子护目镜也可以包括显示器。例如,电子护目镜可以包括分别对应于使用电子护目镜的乘骑乘客的每只眼睛的至少两个显示器。
[0011] 在某些实施例中,还可以提供计算机图形生成系统。计算机图形生成系统可以从电子护目镜接收实时视频数据(例如,基本上实时地传送的实况视频),并且可以在乘骑周期期间呈现真实世界环境的视频流以及各种AR、VR、或组合的AR与VR(AR/VR)图形图像至乘骑乘客的相应电子护目镜的相应显示器。例如,在一个实施例中,基于例如在刺激乘骑周期期间乘骑乘客车辆沿着过山车轨道的位置定位、在刺激乘骑周期期间由乘客乘骑车辆所行驶的预定距离、或者是在刺激乘骑周期中的预定时间逝去之后,计算机图形生成系统可以呈现AR/VR图形图像至电子护目镜。以这种方式,通过使用电子护目镜和图形生成系统来创建AR体验、VR体验或混合现实体验,电子护目镜和计算机图形生成系统可以加强刺激乘骑的刺激因素,并且通过扩展可以加强乘骑乘客乘骑刺激乘骑时的体验。然而,应当理解,本文中所描述的技术可以不限于刺激乘骑和/或游乐园景点应用,而是可以扩展到各种应用中的任何一个,诸如例如医疗应用(例如,图像引导手术、非侵入性成像分析)、工程设计应用(例如工程模型开发)、制造、建设和维护应用(例如产品制造、新建筑建设、汽车修理)、学术和/或职业培训应用、锻炼应用(例如塑形和减肥模型)、电视(TV)应用(例如天气和新闻)等。
[0012] 利用上述思想,描述诸如如图1中所描绘的示例游乐园10之类的游乐园的实施例可能是有用的。如图所示,游乐园10可以包括刺激乘骑12、游乐园设施商场14(例如餐馆、纪念品商店等)以及附加的游乐景点16(例如摩天轮、黑暗乘骑或其他景点)。在某些实施例中,刺激乘骑12可以包括过山车或其他类似的刺激乘骑,并且因此还可以包括闭环轨道或闭环轨道系统18(例如,数英里的轨道18)。例如当乘骑乘客22、24、26、28乘骑刺激乘骑12时,可以将轨道18提供作为在其上乘客乘骑车辆20可以穿行的基础设施。轨道18因此可以限定乘骑车辆20的运动。然而,在另一个实施例中,例如,轨道18可以由受控路径代替,其中乘骑车辆20的移动可以经由电子系统、磁系统或者除了轨道18以外的其他类似系统基础设施来控制。应当理解,虽然乘客乘骑车辆20可以图示为四乘客乘骑车辆,但是在其他实施例中,乘客乘骑车辆20可以包括任何数量的乘客空间(例如,1、2、4、8、10、20或更多的空间)以容纳单组或多组乘骑乘客22、24、26、28。
[0013] 当乘客乘骑车辆20穿行轨道18时,可以向乘骑乘客22、24、26、28提供刺激乘骑12周围或附近的区域中的景的移动游览(例如,设施14、附加的游乐景点16等)。例如,这可能包括围绕刺激乘骑12的环境(例如,完全或部分置放刺激乘骑12的建筑物)。虽然乘骑乘客22、24、26、28可能会发现刺激乘骑12是非常愉快的体验,但是在某些实施例中,当乘骑乘客22、24、26、28乘骑刺激乘骑12时通过加强例如刺激乘骑12的刺激因素来加强乘骑乘客22、24、26、28的体验可能是有用的。具体来说,代替仅仅看到设施14(例如餐馆、纪念品商店等等)、附加游乐景点16(例如,摩天轮或其他景点)或游乐园10内的其他顾客或行人的物理景色,当乘骑车辆20穿行轨道18时向乘骑乘客22、24、26、28提供增强现实( AR)体验或虚拟现实(VR)体验可能是有用的。
[0014] 例如,现在转到图2,可以向乘骑乘客22、24、26、28中的每一个提供一对电子护目镜34,其在某些实施例中可以包括AV/VR眼镜。在其他实施例中,电子护目镜34可以作为以下设备的一部分而被包括:头盔、面罩、头带、一对遮眼物、一个或多个眼罩和/或其他可被乘骑乘客22、24、26、28穿戴的头部穿戴物或眼部穿戴物。如所描绘的,电子护目镜34可以经由无线网络48(例如,无线局域网[WLAN]、无线广域网[WWAN]、近场通信[NFC])而通信地耦合到计算机图形生成系统32(例如,在游乐园10内)。电子护目镜34可用于在乘骑乘客22、24、26、28乘骑刺激乘骑12时创建超现实环境30,其可以包括AR体验、VR体验,混合现实(例如,AR和VR的组合)体验、计算机中介的现实体验、它们的组合或其他针对乘骑乘客22、24、
26、28的类似超现实环境。具体来说,电子护目镜34可以在整个乘骑持续时间由乘骑乘客
22、24、26、28穿戴,使得乘骑乘客22、24、26、28可以感觉被环境30完全包围,并且可以将环境30感知为真实世界的物理环境。具体来说,如将进一步理解的,环境30可以是包括乘骑乘客22、24、26、28将看到的真实世界图像44的实时视频——即使在没有穿戴与一个或多个AR或VR图像45(例如,虚拟增加)电子地合并的电子护目镜34时。术语“实时”指示在基本上接近实际观察时间的时间内获得和/或提供图像。
[0015] 在某些实施例中,电子护目镜34可以是在创建AR体验、VR和/或其他计算机中介的体验以加强刺激乘骑12的刺激因素并通过扩展加强乘骑乘客22、24、26、28在刺激乘骑12上时的体验时可能有用的各种可穿戴电子设备中的任何一种。应当理解,如本文所讨论的电子护目镜34的眼镜实施例可以不同于诸如头戴式显示器(HMD)和/或平视显示器(HUD)之类的传统设备并且可以提供优于此类传统设备的许多优点。例如,如将进一步理解的那样,电子护目镜34可以包括可以用于跟踪乘骑乘客22、24、26、28在刺激乘骑12周期期间的位置、取向以及运动的多个取向和位置传感器(例如,加速度计、磁力计、陀螺仪、全球定位系统[GPS]接收机)。
[0016] 类似地,电子护目镜34的特征(例如,几何方面或标记)可以由监视系统(例如,一个或多个相机)监视以确定电子护目镜34的位置、定位、取向等,继而确定穿戴者的这些内容。仍然,乘骑乘客22、24、26、28可以由监视系统33(例如,相机)监视,所述监视系统33可以通信地耦合到计算机图形生成系统32,并且用于识别乘骑乘客22、24、26、28的位置、定位、取向等。骑乘车辆20还可以包括一个或多个传感器(例如,重量传感器、质量传感器、运动传感器、超声传感器),其可在监视相应乘骑乘客22、24、26、28,以用于图形生成系统32来确定相应乘骑乘客22、24、26、28的视点时有用。此外,如将进一步理解的那样,因为电子护目镜34可以包括个体相机(例如,相机40和42)和个体显示器(例如,显示器37和38),所以关于乘骑乘客22、24、26、28的每只眼睛的相应视点的数据可以由电子护目镜34捕获。使用诸如传统HMD和/或HUD之类的设备可能无法获得所有这些优点。
[0017] 在某些实施例中,为了支持环境30的创建,电子护目镜34可以包括诸如处理器35和存储器36之类的处理电路。处理器35可以可操作地耦合到存储器36以执行指令以用于执行目前所公开的生成与一个或多个AR/VR图像45合并的真实世界图像44的技术,以加强刺激乘骑12的刺激因素并在刺激乘骑12上时通过扩展加强乘骑乘客22、24、26、28的体验。可以将这些指令编码在存储于有形的非临时性计算机可读介质诸如存储器36和/或其他储存器中的程序或代码中。处理器35可以是通用处理器、片上系统(SoC)设备、专用集成电路(ASIC)或某其他类似的处理器配置。
[0018] 在某些实施例中,如进一步所图示,电子护目镜34还可以包括分别对应于乘骑乘客22、24、26、28的每只眼睛的一对显示器37和38(例如,可以将其提供在另外眼镜镜片将出现在那儿的电子护目镜34的框架前面)。在其他实施例中,可以采用统一的显示器。相应的显示器37和38可以各自包括不透明液晶显示器(LCD)、不透明有机发光二极管(OLED)显示器或在向乘骑乘客22、24、26、28显示实时图像44和AR/VR图形图像45时有用的其它类似显示器。在另一个实施例中,相应的显示器37和38可以各自包括透视LCD或透视OLED显示器,其在允许例如乘骑乘客22、24、26、28在保存通过相应的显示器37和38观看实际和物理真实世界环境(例如,游乐园10)的能力同时观看出现在相应显示器37和38上的真实世界图像44和AR/VR图形图像45时有用。
[0019] 相机40和42可以分别对应于乘骑乘客22、24、26、28的相应视点,并且可以用于捕获真实世界环境的实时视频数据(例如,实况视频)。在一些实施例中,可以采用单个相机。具体来说,在所图示的实施例中,护目镜34的相机40、42可以用于捕获从相应乘骑乘客22、
24、26、28的视点由相应乘骑乘客22、24、26、28感知的真实世界物理环境(例如,物理游乐园
10)的实时图像。如将进一步理解的那样,电子护目镜34然后可以将经由相应的相机40和42捕获的实时视频数据(例如,经由电子护目镜34中包括的一个或多个通信接口无线地)传送到计算机图形生成系统32以用于处理。然而,在其他实施例中,可以经由处理器35在电子护目镜34上处理经由相应的相机40和42捕获的实时视频数据。另外,电子护目镜34还可以传送基于经由可包括在电子护目镜34中的取向和位置的传感器(例如加速度计、磁力计、陀螺仪、全球定位系统[GPS] 接收机,等等)、运动跟踪传感器(例如,电磁和固态运动跟踪传感器)等所获得的数据而获得和/或导出的取向数据、位置数据、视点数据(例如,焦距、取向、姿势、等等),运动跟踪数据等等。
[0020] 在某些实施例中,如前所指出,也可以包括诸如处理器46(例如,通用处理器或其他处理器)和存储器47之类的处理电路的计算机图形生成系统32可以处理从电子护目镜34或监视系统33接收的实时视频数据(例如,实况视频)和取向和位置数据和/或视点数据。具体来说,计算机图形生成系统32可以使用该数据来生成参考帧以记录实时视频数据与所生成的真实世界图像44和AR/VR图形图像45。具体来说,使用基于取向数据、位置数据、视点数据、运动跟踪数据等等所生成的参考帧,图形生成系统32然后可以呈现与相应乘骑乘客22、24、26、28如果没有穿戴电子护目镜34时将感知到的内容在时间和空间上相称的真实世界图像44的视图。图形生成系统32可以不断地(例如,实时地)更新真实世界图像的呈现,以反映相应乘骑乘客22、24、26、28的相应取向、位置和/或运动的变化。
[0021] 例如,在某些实施例中,图形生成系统32可以以大于或等于约每秒20帧(FPS)、大于或等于约30FPS、大于或等于约40FPS、大于或等于约50FPS、大于或等于约60FPS、大于或等于约90FPS、或大于或等于大约120FPS的实时速率呈现图像(例如,真实世界图像44和AR/VR图像45)。此外,图形生成系统32可以为相应乘骑乘客22、24、26、28穿戴的每个相应电子护目镜34生成(例如,针对相应乘骑乘客22,24,26和28的相应取向、位置和视点所调整的)真实世界图像44。
[0022] 在某些实施例中,如前所讨论的,计算机图形生成系统32还可以生成并呈现叠加在真实世界图像44上的一个或多个AR/VR图形图像45,以创建完整的AR体验、VR体验、混合现实和/或针对乘骑乘客22、24、26、28的其他计算机中介的体验。例如,在某些实施例中,计算机图形生成系统32可以利用所讨论的视频合并和/或光学合并技术中的一个或多个来将AR/VR图形图像45叠加到真实世界图像44上,使得当乘客乘骑车辆20穿行轨道18时乘骑乘客22、24、26、28感知游乐园10的真实世界物理环境(例如,作为呈现的视频数据经由相应的显示器37和38而被提供)连同AR/VR图形图像45(例如,虚拟增强)。具体来说,如上面关于呈现真实世界图像44所讨论的那样,图形生成系统32可以呈现与真实世界图像44在时间和空间上相称的AR/VR图形图像45的视图,使得真实世界图像44可以作为与AR/VR图形图像45覆盖的背景而出现。实际上,模型可以为任何可用视点提供计算机生成的图像,并且可以将特定图像提供给电子护目镜34用于基于检测到的电子护目镜34的取向而进行显示。
[0023] 在某些实施例中,图形生成系统32还可以生成一个或多个亮度、照明或阴影模型和/或其他逼真呈现模型,以在呈现真实世界图像44和AR/VR图形图像45时生成被调整来准确地反映真实世界物理环境(例如,晴天、少天、多云天、傍晚、夜晚)的对比度和亮度的真实世界图像44和AR/VR图形图像45。例如,为了增加真实世界图像44和AR/VR图形图像45的逼真感,在一些实施例中,图形生成系统32可以从一个或多个天气预报和/或预测系统(例如,全球预报系统、多普勒雷达等)接收天气相关的数据。图形生成系统32然后可以使用天气相关的数据或其他类似数据来调整真实世界图像44和/或AR/VR图形图像45的对比度、亮度和/或其他照明效果。
[0024] 在其他实施例中,图形生成系统32可以基于从包括在电子护目镜34中的一个或多个光传感器中检测到的照明或者基于由相机40、42捕获的实时视频数据来调整真实世界图像44和/或AR/VR图形图像45的对比度、亮度和/或其他照明效果。此外,如前所指出,图形生成系统32可以不断地(例如,实时地)更新AR/VR图形图像45的呈现,以反映相应乘骑乘客22、24、26、28的相应取向、位置、视点和/或运动的变化。例如,如关于图3所进一步理解的那样,图形生成系统32可以将AR/VR图形图像45呈现在由相应乘骑乘客22、24、26、28穿戴的针对相应乘骑乘客22、24、26、28的可变的相应位置、视点和运动而被调整的每一个相应护目镜34的相应显示器37和38上。
[0025] 如将进一步理解的那样,图形生成系统32还可以在乘客乘骑车辆20沿着轨道18在预定点处穿过的时刻生成AR/VR图形图像45。因此,在某些实施例中,图形生成系统32可以使用接收到的位置数据、视点数据、运动数据连同GPS数据或地理信息系统(GIS)数据来导出针对刺激乘骑12的整个周期的围绕刺激乘骑12的即刻环境12以及例如刺激乘骑12和轨道18的照明地图。当乘骑乘客车辆24穿行轨道18时图形生成系统32然后可以使用地图在某些预定点(例如,基于定位、距离或时间的点)处引入AR/VR图形图像45。此外,在某些实施例中,经由相机40、42捕获的视频或图像数据可以由图形生成系统32使用以确定乘骑车辆20的定位点以及何时引入AR/VR图形图像45。例如,图形生成系统32可以执行一个或多个几何识别算法(例如,形状或对象识别)或光度测定识别算法(例如,面部识别或特定对象识别)来确定乘骑车辆20的位置或定位以及乘骑乘客22、24、26、28的观看位置。
[0026] 图3图示出了可以由图形生成系统32生成的或者在其它实施例中可以经由护目镜34生成的AR/VR图像45的各种示例。具体来说,如图3中所图示,在刺激乘骑12的周期期间,图形生成系统32可以通过乘骑乘客22、24、26、28的相应电子护目镜34(例如,经由相应的显示器37和38)呈现真实世界图像44以及各种AR/VR图形图像45。例如,如所描绘的,真实世界图像44可以包括所呈现的例如乘骑乘客22、24、26、28在乘骑刺激12时即使乘骑乘客22、24、
26、28没有穿戴电子护目镜34也将看到的轨道18、设施14和/或包括其他乘客22、24、26、28在内的其他顾客或对象的图像。然而,如先前关于图2所讨论的,在某些实施例中,通过将各种AR/VR图形图像45呈现至乘骑乘客22、24、26、28的相应电子护目镜34的相应显示器37和
38来加强刺激乘骑12的刺激因素可能是有用的。
[0027] 例如,如图3中进一步描绘的,图形生成系统32可以呈现AR/VR图形图像45(经由虚线图示出),其可以包括例如游乐园设施第二商场49的AR/VR图像、一个或多个虚构人物50的AR/VR图像、轨道18的分支52的AR/VR图像和/或附加的AR/VR图像54、56和58。在一个实施例中,如图3中所图示,AR/VR图像50可以包括当乘客乘骑车辆20穿行轨道18时阻挡轨道18的一部分而出现的怪物或其他类似虚构人物的图像(例如,在穿戴着电子护目镜34时从乘骑乘客22、24、26、28的度)。应当理解,除了包括添加的图像的AR/VR图形图像45(例如,虚拟增强)之外,图形生成系统32还可以呈现某些AR/VR图形图像45,其包括在乘骑乘客22、24、26、28穿戴着电子护目镜34时不再出现的一个或多个真实世界物理对象的删除。例如,设施49的AR/VR图像可以出现在其中真实世界环境中安置景点16的地方。
[0028] 如前所讨论的,在某些实施例中,图形生成系统32可以基于例如乘客乘骑车辆20在刺激乘骑12的周期期间的任何给定时刻沿着轨道18的位置或定位、乘客乘骑车辆20在刺激乘骑12的周期期间行驶的预定距离、或在预定的时间逝去之后呈现AR/VR图形图像45。例如,在一个实施例中,一旦乘客乘骑车辆行驶到点60(例如,由一定距离62或轨道18上的定位来限定),虚构人物50的AR/VR图像可以经由电子护目镜34向乘骑乘客22、24、26、28显现,好像阻挡在刺激乘骑12的给定周期期间还未被乘客乘骑车辆20穿行的轨道18上的位置一样。类似地,一旦乘骑乘车车辆20行驶到点62(例如,由一定距离62或轨道18上的定位来限定),轨道18的分支52的AR/VR图像(例如,外观为破碎的轨道)可以经由电子护目镜34向乘骑乘客22、24、26、28显现,好像乘客乘骑车辆20将遭遇没有支撑轨道18的地方一样。
[0029] 此外,在某些实施例中,由图形生成系统32生成的照明地图可以允许图形生成系统32包括在轨道18的每一英里、轨道18的每一码、轨道18的每一英尺、轨道18的每一英寸、轨道18的每一厘米或轨道18的每一毫米处的一个或多个检测和/或触发点(例如,针对其引入AR/VR图像45的触发点)。以这种方式,图形生成系统32可以基于在刺激乘骑12的周期期间的位置或定位、所行驶的距离和/或所逝去的时间以足够的精度和效率来检测何时开始呈现AR/VR图形图像45。此外,附加的AR/VR图像54、56图示出了可以向乘骑乘客22、24、26、28显现一个或多个AR/VR图形图像45,好像彼此相互作用(例如,重叠或接触)一样。类似地,AR/VR图像58图示出了可以出现在乘骑乘客22、24、26、28的视线或视点之外(例如,盲点)的AR/VR图形图像45的示例,然而其可以由乘骑乘客22、24、26、28感知到——如果乘骑乘客
22、24、26、28中的任何一个人看向AR/VR图像58的方向的话。应该注意的是,也可以将完全不同的图像提供给不同的乘骑乘客22、24、26、28使得一个或多个乘骑乘客22、24、26、28具有部分或完全不同的乘骑体验或甚至乘骑主题。
[0030] 在某些实施例中,如上面关于图2所讨论的,因为图形生成系统32可以将真实世界图像44和AR/VR图像45呈现给相应的乘骑乘客22、24、26、28中的每一个穿戴的电子护目镜34的相应显示器37和38中的每一个,所以乘骑乘客22、24、26、28可以各自感知与其相应的视点在时间上和空间上相称的真实世界图像44(例如,设施14、刺激乘骑12等)和AR/VR图像
45(例如,AR/VR图像或虚拟增强49、50、52、54、56和58),从而当乘客乘骑车辆20穿行轨道18时创建逼真效果。此外,在其他实施例中,除了AR/VR图像45(例如,AR/VR图像或虚拟增强
49、50、52、54、56和58)之外,图形生成系统32还可以触发可以与电子护目镜34上的AR/VR图像45的出现一致的一个或多个声音效果、触觉反馈效果、带香味的效果等。在一些实施例中,图形生成系统32与电子护目镜34集成。
[0031] 以这种方式,通过提供电子护目镜34和图形生成系统32以创建AR体验、VR体验和/或其他计算机中介的现实体验,电子护目镜34和图形生成系统32可以加强刺激乘骑12的刺激因素,并且通过扩展加强在刺激乘骑12上时乘骑乘客22、24、26、28的体验。此外,通过提供电子护目镜34作为AR/VR眼镜,相对于诸如传统头戴式显示器(HMD)的庞大和更加繁琐的设备来说,可以向乘骑乘客22、24、26、28提供更大的移动自由度以及更逼真的体验。例如,乘骑乘客22、24、26、28中的每一个可以能够彼此看到乘骑乘客22、24、26、28以及乘客乘骑车辆20本身,即使在穿戴电子护目镜时也是如此。此外,因为电子护目镜34可以包括个体相机40、42和个体显示器37、38,关于乘骑乘客22、24、26、28的每只眼睛的相应视点的数据可以被电子护目镜34捕获。因此,图形生成系统32可以在电子护目镜34的显示器37、38上呈现与乘骑乘客22、24、26、28的相应视点相一致的真实世界图像44和AR/VR图像45。使用诸如传统HMD之类的设备可能无法获得这样的优点。
[0032] 现在转到图4,呈现了一个流程图,其图示出了使用例如图2中所描绘的计算机图形生成系统32在刺激乘骑期间在创建AR体验、VR体验和/或其他计算机中介的体验时有用的过程64的实施例。过程64可以代表存储在非临时计算机可读介质(例如,存储器47)中并且例如由包括在计算机图形生成系统32中的处理器46执行的启动代码或指令。过程64可以开始于:处理器46接收(框66)并分析实时捕获的图像数据。例如,处理器46可以接收经由电子护目镜34的相机40、42捕获的实时视频数据(例如,实况视频)。然后,过程64可以继续:处理器46基于实时捕获的图像数据生成(框68)真实世界环境的虚拟化。例如,处理器46可以生成要在电子护目镜34的显示器37、38上显示的真实世界环境(例如,游乐园10)的视频数据流。
[0033] 然后,过程64可以继续:处理器46将一个或多个增强或虚拟现实图像覆盖(框70)或叠加到所生成的真实世界环境的虚拟化上。例如,处理器46可以生成真实世界图像44(例如,设施14、刺激乘骑12)的视频数据流,并且使用一个或多个视频合并和/或光学合并技术将AR/VR图像45(例如,AR/VR图像或虚拟增强49、50、52、54、56和58)覆盖或叠加到现实世界图像44上。如上面在前讨论的,在某些实施例中,例如,图形生成系统32的处理器46可以基于例如在刺激乘骑12的周期期间的任何给定时刻乘客乘骑车辆20沿着轨道18的位置或定位、乘客乘骑车辆20在刺激乘骑12的周期期间行驶的预定距离、或在预定的时间逝去之后呈现AR/VR图形图像45。在其他实施例中,图形生成系统32可以对经由相机40、42捕获的视频或图像数据执行一个或多个几何或光度测定识别算法,以确定乘骑车辆20的定位点以及何时引入AR/VR图形图像45。然后,过程64可以结束于:处理器46将覆盖的增强或虚拟现实图像数据(例如,AR/VR图像45)连同真实世界环境数据(例如,真实世界图像44)一起传送(框72)以显示在电子护目镜34的显示器37、38上,从而加强刺激乘骑12的刺激因素,并且通过扩展加强在在刺激乘骑12上时乘骑乘客22、24、26、28的体验。
[0034] 类似地,图5示出了使用例如图2中所描绘的电子护目镜34在刺激乘骑期间在创建AR体验、VR体验和/或其他计算机中介的体验时有用的过程74的实施例的流程图。过程74可以包括存储在非临时计算机可读介质(例如,存储器36)中并由例如包括在电子护目镜34中的处理器35执行的代码或指令。过程74可以开始于:处理器35接收(框76)并分析实时捕获的图像数据。例如,处理器35可以接收经由电子护目镜34的相机40、42捕获的实时视频数据(例如,实况视频)。然后,过程74可以继续:处理器35基于实时捕获的图像数据生成(框78)真实世界环境的虚拟化。例如,处理器35可以生成要在AR/VR护目镜34的显示器37和38上显示的真实世界环境(例如,游乐园10)的视频数据流。
[0035] 然后,过程74可以继续:处理器35将一个或多个增强或虚拟现实图像覆盖(框80)或叠加到所生成的真实世界环境的虚拟化上。例如,处理器35可以生成真实世界图像44(例如,设施14、刺激乘骑12等)的视频数据流,并且使用一个或多个视频合并和/或光学合并技术将AR/VR图像45(例如,AR/VR图像或虚拟增强49、50、52、54、56和58)覆盖或叠加在真实世界图像44上。例如,基于例如乘骑乘客22、24、26、28的位置和取向、乘客乘骑车辆20的位置和定位、预定的逝去时间、由相机40、42捕获的视频和图像数据中的某些特征的几何或光度测定识别、或者基于例如由乘骑乘客22、24、26、28在刺激乘骑12的周期之前或期间所应用的一个或多个用户可选择的设置,电子护目镜34的处理器35可以呈现AR/VR图像45(例如,AR/VR图像或虚拟增强49、50、52、54、56和58)。然后过程74可以结束于:处理器35使得相应的显示器37和38将覆盖的增强或虚拟现实图像数据(例如,AR/VR图像45)连同真实世界环境数据(例如,真实世界图像44)一起显示(82)以显示在电子护目镜34的显示器37和38上,从而加强刺激乘骑12的刺激因素并加强乘骑乘客22、24、26、28的体验。
[0036] 本实施例的技术效果涉及提供作为游乐园或主题公园中的刺激乘骑一部分的增强现实(AR)体验、虚拟现实(VR)体验、混合现实(例如,AR和VR的组合)体验、或其组合的系统和方法。在某些实施例中,可以向每个乘骑乘客提供一对在刺激乘骑的周期期间穿戴的电子护目镜(例如,AR/VR眼镜)。具体来说,电子护目镜可以包括至少两个相机,其可以分别对应于乘骑乘客的相应视点,并且可以用于捕获乘骑乘客和/或刺激乘骑的真实世界环境(例如,物理游乐园)的实时视频数据(例如,实况视频)。电子护目镜也可以包括分别对应于乘骑乘客的每只眼睛的至少两个显示器。在某些实施例中,还可以提供计算机图形生成系统。计算机图形生成系统可以将真实世界环境的视频流连同各种AR/VR图形图像一起在该刺激乘骑的周期期间呈现给乘骑乘客的相应电子护目镜的相应显示器。例如,在一个实施例中,图形生成系统32可以基于例如在刺激乘骑的周期期间的任何给定时刻乘客乘骑车辆沿着轨道的位置或定位、在刺激乘骑的周期期间乘客乘骑车辆行驶的预定距离、或在预定的时间逝去之后向电子护目镜呈现AR/VR图形图像。以这种方式,通过使用电子护目镜和图形生成系统来创建AR体验、VR体验和/或混合现实体验,电子护目镜和计算机图形生成系统可以加强刺激乘骑的刺激因素,并且通过扩展可以加强乘骑乘客在他们乘骑刺激乘骑时的体验。
[0037] 尽管在本文中仅图示出和描述了本实施例的某些特征,但是本领域技术人员将想到许多修改和变化。因此,应当理解,所附权利要求旨在覆盖落入本公开的真实精神内的所有这样的修改和变化。此外,应当理解,所公开的实施例的某些元件可以彼此组合或交换。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈