显示器的基于眼动追踪的中央凹控制

申请号 CN202311482122.4 申请日 2023-11-08 公开(公告)号 CN118015949A 公开(公告)日 2024-05-10
申请人 元平台技术有限公司; 发明人 陈刚; 崔敏赫; 庄志明; 王倩倩;
摘要 描述了显示器的基于眼动追踪的中央凹控制,还描述了一种系统,该系统包括该显示器、显示 控制器 和控制逻辑,该控制逻辑通信地耦接到显示器。该显示控制器基于显示器上焦点的坐标,来确定待 渲染 的输出图像中的第一图像区域和第二图像区域的边界。该焦点是通过追踪用户观看显示器的眼动来确定的。第一图像区域具有比第二图像区域更高的 分辨率 。显示控制器被配置为将图像数据与多个控制 信号 一起发送到控制逻辑。该多个 控制信号 使控制逻辑使用图像数据在显示器上渲染输出图像。作为渲染第二图像区域的一部分,控制逻辑将共享信号输出到多条信号线上,这些信号线耦接到一组相邻的行或列中的 光源 。
权利要求

1.一种系统,包括:
显示器,所述显示器包括排列成多行和多列的多个光源
显示控制器;以及
控制逻辑,所述控制逻辑通信地耦接到所述显示器,其中,所述显示控制器被配置为:
获取所述显示器上焦点的坐标,其中,所述焦点是通过追踪用户观看所述显示器的眼动来确定的;
基于所述焦点的坐标,确定待在所述显示器上渲染的输出图像中的第一图像区域的边界和第二图像区域的边界,其中,所述第一图像区域的分辨率高于所述第二图像区域的分辨率;以及
将图像数据与多个控制信号一起发送到所述控制逻辑,其中,所述多个控制信号使所述控制逻辑使用所述图像数据在所述显示器上渲染所述输出图像;并且
其中,所述控制逻辑被配置为:作为渲染所述第二图像区域的一部分,将共享信号输出到多条信号线上,所述多条信号线耦接到一组相邻的行或列中的光源。
2.根据权利要求1所述的系统,还包括:
眼动追踪单元,所述眼动追踪单元通信地耦接到所述显示控制器,其中,所述眼动追踪单元被配置为采集所述用户的眼睛的至少一个图像,并且其中,所述眼动追踪单元或所述显示控制器被配置为使用所述至少一个图像来确定所述焦点。
3.根据权利要求1所述的系统,其中,所述显示控制器被配置为响应于所述焦点的变化而改变至少所述第一图像区域的大小、位置、或大小和位置两者。
4.根据权利要求1所述的系统,其中,所述第二图像区域至少部分地围绕所述第一图像区域。
5.根据权利要求1所述的系统,其中,所述显示控制器被配置为根据第一视设置所述第一图像区域的大小,并根据第二视角设置所述第二图像区域的大小,并且其中,所述第一视角和所述第二视角能够根据来自所述用户的输入进行设定。
6.根据权利要求1所述的系统,其中,所述共享信号是扫描信号。
7.根据权利要求1所述的系统,其中,所述共享信号是携带中央凹图像数据的信号。
8.根据权利要求1所述的系统,其中,所述多个控制信号指示所述第一图像区域的边界和所述第二图像区域的边界。
9.根据权利要求1所述的系统,其中,所述输出图像包括至少一个附加图像区域,所述至少一个附加图像区域的分辨率低于所述第一图像区域的分辨率但高于所述第二图像区域的分辨率。
10.一种方法,包括:
通过显示控制器获取显示器上焦点的坐标,其中,所述焦点是通过追踪用户观看所述显示器的眼动来确定的;
通过所述显示控制器并基于所述焦点的坐标,来确定待在所述显示器上渲染的输出图像中的第一图像区域的边界和第二图像区域的边界,其中,所述第一图像区域的分辨率高于所述第二图像区域的分辨率;以及
通过所述显示控制器将图像数据与多个控制信号一起发送到控制逻辑,所述控制逻辑通信地耦接到所述显示器,其中:
所述显示器包括排列成多行和多列的多个光源;
所述多个控制信号使所述控制逻辑使用所述图像数据在所述显示器上渲染所述输出图像;并且
所述控制逻辑被配置为:作为渲染所述第二图像区域的一部分,将共享信号输出到多条信号线上,所述多条信号线耦接到一组相邻的行或列中的光源。
11.根据权利要求10所述的方法,还包括:
通过眼动追踪单元采集所述用户的眼睛的至少一个图像,所述眼动追踪单元通信地耦接到所述显示控制器;以及
通过所述眼动追踪单元或所述显示控制器来使用所述至少一个图像确定所述焦点。
12.根据权利要求10所述的方法,还包括:
通过所述显示控制器响应于所述焦点的变化而改变至少所述第一图像区域的大小、位置、或大小和位置两者。
13.根据权利要求10所述的方法,其中,所述第二图像区域至少部分地围绕所述第一图像区域。
14.根据权利要求10所述的方法,还包括:
通过所述显示控制器根据第一视角设置所述第一图像区域的大小、并根据第二视角设置所述第二图像区域的大小,其中,所述第一视角和所述第二视角是根据来自所述用户的输入来进行设定的。
15.根据权利要求10所述的方法,其中,所述共享信号是扫描信号。
16.根据权利要求10所述的方法,其中,所述共享信号是携带中央凹图像数据的信号。
17.根据权利要求10所述的方法,其中,所述多个控制信号指示所述第一图像区域的边界和所述第二图像区域的边界。
18.根据权利要求10所述的方法,其中,所述输出图像包括至少一个附加图像区域,所述至少一个附加图像区域的分辨率低于所述第一图像区域的分辨率但高于所述第二图像区域的分辨率。
19.一种非暂态计算机可读介质,所述非暂态计算机可读介质存储有指令,所述指令在被显示控制器的一个或多个处理器执行时,使得所述显示控制器:
获取显示器上焦点的坐标,其中,所述焦点是通过追踪用户观看所述显示器的眼动来确定的;
基于所述焦点的坐标,确定待在所述显示器上渲染的输出图像中的第一图像区域的边界和第二图像区域的边界,其中,所述第一图像区域的分辨率高于所述第二图像区域的分辨率;以及
将图像数据与多个控制信号一起发送到控制逻辑,所述控制逻辑通信地耦接到所述显示器,其中:
所述显示器包括排列成多行和多列的多个光源;
所述多个控制信号使所述控制逻辑使用所述图像数据在所述显示器上渲染所述输出图像;并且
所述控制逻辑被配置为:作为渲染所述第二图像区域的一部分,将共享信号输出到多条信号线上,所述多条信号线耦接到一组相邻的行或列中的光源。
20.根据权利要求19所述的非暂态计算机可读介质,其中,所述共享信号是扫描信号或携带中央凹图像数据的信号。

说明书全文

显示器的基于眼动追踪的中央凹控制

[0001] 相关申请的交叉引用
[0002] 本申请要求于2022年11月9日提交的、申请号为18/054,016的美国非临时申请的优先权,该申请通过引用全部结合到本文中。

技术领域

[0003] 本公开总体上涉及显示器的中央凹控制(foveation control)。具体地,本公开的各方面涉及基于追踪用户观看显示器的眼动来改变显示器上呈现的图像的不同区域的分辨率。本公开的各方面还涉及人工现实系统中的显示器。

背景技术

[0004] 人工现实系统正变得越来越普遍,在许多领域都有应用。通常,人工现实是在呈现给用户之前已经以某些方式进行了调整的现实形式。人工现实可以包括例如虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)、混合现实(mixed reality,MR)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。典型的人工现实系统包括用于渲染内容并向用户显示该内容的一个或多个设备。作为一个示例,人工现实系统可以包含头戴式显示器(head‑mounted display,HMD),该头戴式显示器由用户穿戴、且被配置为向用户输出人工现实内容。在运行期间,用户通常与人工现实系统交互以选择内容、启动软件应用、配置系统、且通常体验人工现实环境。
[0005] 现代显示设备通常基于发光二极管(light emitting diode,LED)技术。与其它应用中的电子显示器(例如,电视机或台式监控器)相比,人工现实系统中的显示设备往往更小。尽管较小,但人工现实系统中的显示设备通常是高分辨率的,具有大的像素数量和高像素密度,因为此类显示器通常是近距离观看的。为了满足小型和/或便携式形状要素中的性能要求,在人工现实环境中使用的HMD和其它显示设备有时由微型LED构成,所述微型LED可以具有小于200微米的线性尺寸(例如,直径)。
[0006] 高分辨率显示器往往消耗更多的功率并需要更多的资源,包括更重的信号处理工作量和更高的带宽要求,这是由于用于驱动显示器的图像数据量和控制信号量的增加。例如,较大的像素数量与相对较高的刷新率相结合可能超过一些显示系统的信号传输和处理速度。此外,预期显示器本身(例如,LED面板)的功耗和显示驱动器的功耗都将对应于显示分辨率而增加。产生的热量也随着功耗的增加而增加。在高温下长时间工作可能会导致像素退化,并随着时间的推移导致老化或亮度降低。因此,即使在其它方面满足了资源要求,显示器寿命仍然是一个令人担忧的问题。发明内容
[0007] 本公开的各方面涉及用于通过基于眼动追踪动态控制输出图像的不同区域的分辨率来实现中央凹成像(foveated imaging)的技术。尽管显示屏具有由显示器的像素数确定的固有分辨率(有时称为硬件分辨率),但是可以例如通过数字图像处理来操纵在显示器上渲染的输出图像,以将有效分辨率设置为不同于固有分辨率。例如,个人计算机的操作系统软件通常允许用户整体改变显示器的分辨率。中央凹成像是这样一种技术:改变显示屏上呈现的图像中不同位置处的分辨率,使得一些区域具有比其它区域更高的分辨率。
[0008] 在假设用户的注视聚焦在屏幕的中间的情况下,传统的中央凹成像在显示屏的中心处渲染具有最高分辨率的显示图像。然而,在呈现一个或多个图像的过程中,用户通常会移动其眼睛以聚焦于屏幕的不同部分。对于传统的中央凹成像,用户很有可能在某一时刻将焦点改变到图像的低分辨率区域。这会导致较差的观看体验,因为与中间分辨率区域的质量相比,低分辨率区域的图像质量更差。具体地,低分辨率区域的细节明显较少,并且可能会明显变得模糊。
[0009] 为了在解决上述关于高分辨率显示器的问题的同时改进传统的中央凹成像,本公开的各方面涉及使用眼动追踪来改变图像分辨率,使得图像的最高分辨率区域跟随用户眼睛的焦点位置。本文所描述的中央凹技术还可以降低显示控制部件(例如,显示驱动器和相关联的控制逻辑)的功耗和信号带宽,因为与以全分辨率驱动整个显示器时相比,控制部件可能不需要处理同样多的图像数据和/或发送同样多的经处理的图像数据。
[0010] 此外,本公开的各方面涉及使用控制逻辑来实现中央凹成像,该控制逻辑与显示驱动器协作地产生用于驱动显示器中的像素的信号。控制逻辑可以卸载一些成像处理,这些成像处理将由显示驱动器或其它显示控制器以其它方式来执行。具体地,控制逻辑可以被配置为更有效地并且以更少的功耗来执行中央凹操作。在一些实施例中,控制逻辑包括这样的硬件(例如,数字电路):所述硬件集成到显示面板中,并且被配置为在显示驱动器的指示下、通过选择性地对用于一组行或列的图像数据和相应的扫描信号进行组合来降低图像的一部分的分辨率。以这种方式,可以减少用于驱动显示器的信号的数量。相比之下,传统的中央凹通常涉及图像处理,以在图像数据被发送到显示驱动器之前将图像数据设置为中央凹格式。尽管图像数据是中央凹的,但是到显示器的输入仍被格式化为全分辨率图像,使得为每个像素单独提供图像数据,这可能会导致高功耗。例如,在传统方法下,显示驱动器可以通过耦接到各显示像素的信号线,为显示器的每行或每列发送单独的图像数据。此外,显示驱动器还可以为每行或每列生成单独的扫描信号。因此,输入到显示器的信号的数量可能与当显示器以全分辨率或固有分辨率驱动时相同。
[0011] 在一些实施例中,系统包括显示器、显示控制器和通信地耦接到该显示器的控制逻辑。该显示器包括排列成多行和多列的多个光源。显示控制器被配置为获取显示器上的焦点的坐标。通过追踪用户观看显示器的眼动来确定焦点。显示控制器还被配置为基于焦点的坐标来确定待在显示器上渲染的输出图像中的第一图像区域和第二图像区域的边界。第一图像区域具有比第二图像区域更高的分辨率。显示控制器还被配置为将图像数据与多个控制信号一起发送到控制逻辑。该多个控制信号使控制逻辑使用图像数据在显示器上渲染输出图像。控制逻辑被配置为:作为渲染第二图像区域的一部分,将共享信号输出到多条信号线上,该多条信号线耦接到一组相邻的行或列中的光源。
[0012] 在一些实施例中,上述系统还包括眼动追踪单元,该眼动追踪单元通信地耦接到显示控制器。眼动追踪单元被配置为采集用户的眼睛的至少一个图像。眼动追踪单元或显示控制器被配置为使用该至少一个图像来确定焦点。
[0013] 在一些实施例中,显示控制器被配置为响应于焦点的变化来改变至少第一图像区域的大小、位置或大小和位置两者。在一些实施例中,第二图像区域至少部分地围绕第一图像区域。在一些实施例中,显示控制器被配置为根据第一视设置第一图像区域的大小,并根据第二视角设置第二图像区域的大小,其中,第一视角和第二视角能够根据来自用户的输入进行设定。
[0014] 在一些实施例中,由控制逻辑输出的共享信号是扫描信号。替代地,共享信号可以是携带中央凹图像数据(foveated image data)的信号。在一些实施例中,共享扫描信号和共享数据信号被通过控制逻辑输出以驱动显示器。
[0015] 在一些实施例中,由显示控制器发送的该多个控制信号指示第一图像区域的边界和第二图像区域的边界。在一些实施例中,输出图像包括至少一个附加图像区域,该至少一个附加图像区域的分辨率低于第一图像区域的分辨率但高于第二图像区域的分辨率。
[0016] 在一些实施例中,一种在具有以多行和多列布置的光源的显示器上渲染输出图像的方法涉及通过显示控制器获取显示器上的焦点的坐标。该焦点是通过追踪用户观看显示器的眼动来确定的。该方法还涉及通过显示控制器并基于焦点的坐标来确定待渲染的输出图像中的第一图像区域和第二图像区域的边界。第一图像区域具有比第二图像区域更高的分辨率。该方法还涉及通过显示控制器将图像数据与多个控制信号一起发送到控制逻辑,该控制逻辑通信地耦接到显示器。该多个控制信号使控制逻辑使用图像数据在显示器上渲染输出图像。控制逻辑被配置为:作为渲染第二图像区域的一部分,将共享信号输出到多条信号线上,该多条信号线耦接到一组相邻的行或列中的光源。
[0017] 在一些实施例中,上述方法或本文所公开的其它方法通过存储在非暂态计算机可读介质上的指令来实现。所述指令可由一个或多个处理器(例如,显示控制器的处理器)执行,以使得该方法被执行。附图说明
[0018] 下面参考以下附图,对说明性实施例进行详细描述。
[0019] 图1是一个或多个实施例可在其中实现的示例人工现实系统环境的框图
[0020] 图2示出了可用于实现一个或多个实施例的增强现实系统的示例。
[0021] 图3示出了可用于实现一个或多个实施例的近眼显示设备的示例。
[0022] 图4是根据某些实施例的近眼显示系统的框图。
[0023] 图5是根据某些实施例的可用于实现中央凹的显示系统的框图。
[0024] 图6A示出了根据某些实施例的与中央凹图像相关联的扫描信号的示例。
[0025] 图6B示出了根据某些实施例的与中央凹图像相关联的图像数据的示例。
[0026] 图7A示出了根据某些实施例的中央凹图像的示例。
[0027] 图7B示出了根据某些实施例的可以如何通过扫描和提供图像数据之间的同步来生成图7A中的中央凹图像。
[0028] 图8A和图8B示出了根据某些实施例的使用眼动追踪生成的中央凹图像的示例。
[0029] 图9示出了根据某些实施例的当用户的眼睛聚焦在显示器的边缘附近时渲染的中央凹图像的示例。
[0030] 图10是根据某些实施例的用于使用眼动追踪来生成中央凹图像的过程的流程图
[0031] 图11是根据某些实施例的用于借助控制逻辑生成中央凹图像的过程的流程图。
[0032] 图12是可用于实现一个或多个实施例的示例电子系统的框图。
[0033] 仅出于说明的目的,附图描绘了本公开的各实施例。本领域技术人员将从以下描述中容易地认识到,在不脱离本公开的原理或所宣称的权益的情况下,可以采用所示出的结构和方法的替代实施例。
[0034] 在附图中,相似的部件和/或特征可以具有相同的附图标记。此外,同一类型的各种部件可以通过在附图标记后跟随连接号和区分多个相似部件的第二标记来区分。如果说明书中仅使用了第一附图标记,则该描述可适用于具有相同第一附图标记的多个类似部件中的任何一个部件,而不考虑第二附图标记。

具体实施方式

[0035] 本文公开了用于实现中央凹成像的技术。更具体地,但不限于,本文公开了用于基于眼动追踪动态控制显示图像中不同区域的分辨率的方法以及相应的系统和装置。中央凹成像是这样的一种方法:改变显示器上呈现的图像中不同位置处的分辨率,使得一些区域具有比其它区域更高的分辨率。根据某些实施例,在显示器上渲染的输出图像包括分辨率不同的至少两个图像区域。例如,第一图像区域可以对应于输出图像的较高分辨率(例如,固有分辨率或全分辨率)区域,而第二图像区域可以对应于较低分辨率区域。
[0036] 在一些实施例中,显示系统包括显示控制器(例如,驱动电路加上单独的图像处理器,或独立的显示驱动器)和控制逻辑,该控制逻辑通信地耦接在显示控制器和显示器之间。该显示器可以是基于LED的显示器,其中单个像素由一个或多个LED形成,该一个或多个LED例如为至少一个红色LED、至少一个绿色LED和至少一个蓝色LED。更具体地,某些实施例可以以使用微型LED形成的显示器为特征。然而,本文描述的技术适用于任何像素化显示器。因此,可以使用除LED之外的其它光源。
[0037] 显示控制器可以集成到显示器中。例如,显示控制器可以是位于与显示器的光源相同的电路板或衬底上的集成电路芯片。在一些实施例中,显示控制器可以被实现为一个或多个芯片,该一个或多个芯片例如经由柔性带状电缆、芯片到芯片互连或一些其它有线接口连接到显示器。
[0038] 如本文所使用的,术语“微型LED”是指具有小于约200微米(microns、micrometers,μm)的线性尺寸的LED。例如,微型LED的直径可以小于200μm、小于100μm、小于10μm,或在某些实例中甚至更小。
[0039] 如本文所使用的,术语“图像分辨率”是指在显示器上渲染的输出图像的分辨率。图像分辨率不一定与固有分辨率相同。固有分辨率是由显示器中的像素数量(例如竖直像素数和平像素数)确定的物理属性。相比之下,可以通过渲染输出图像使得有效像素数量不同于物理像素数,来设置图像分辨率。
[0040] 在以下描述中,出于解释的目的,阐述了具体细节以提供对本公开各示例的透彻理解。然而,将显而易见的是,可以在没有这些具体细节的情况下来实践各种示例。例如,设备、系统、结构、组件、方法和其它部件可以被示出为框图形式的部件,以免在不必要的细节中模糊这些示例。在其它实例中,可以在没有必要细节的情况下示出众所周知的设备、过程、系统、结构和技术,以免模糊这些示例。这些附图和描述不旨在是限制性的。在本公开中已使用的术语和表达均用作描述性术语而非限制性术语,并且在使用这些术语和表达时无意排除所示出和描述的多个特征或其多个部分的任何等同物。词语“示例”在本文中用于表示“用作示例、实例或说明”。本文中被描述为“示例”的任何实施例或设计不一定被解释为比其它实施例或设计优选或有利。
[0041] 图1是一个或多个实施例可在其中实现的示例人工现实系统环境100的框图。人工现实系统环境100包括近眼显示器120、成像设备150和输入/输出接口140,它们中的每一者都可以耦接到控制台110。尽管图1示出了包括一个近眼显示器120、一个成像设备150和一个输入/输出接口140的人工现实系统环境100的示例,但是在人工现实系统环境100中可以包括任何数量的这些部件,或者可以省去这些部件中的任何部件。例如,可以存在多个近眼显示器120,该多个近眼显示器由与控制台110通信的一个或多个成像设备150监控。在一些实施方式中,人工现实系统环境100可以不包括成像设备150、输入/输出接口140和/或控制台110。在其它实施方式中,在人工现实系统环境100中可以包括未描绘的部件(例如,不同的部件和/或附加的部件)。
[0042] 近眼显示器120可以是向用户呈现内容的头戴式显示器(HMD)。可由近眼显示器120呈现的内容的示例包括图像、视频、音频或它们的任意组合。在一些实施例中,可以经由外部设备(例如,扬声器和/或机)呈现音频,该外部设备接收来自近眼显示器120、控制台
110或近眼显示器和控制台这两者的音频信息,并基于该音频信息呈现音频数据。近眼显示器120可以以适合于特定应用的任何形状要素来实现(包括被实现为一副眼镜)。此外,在各种实施例中,可以在如下头戴式设备(headset)中使用本文所描述的功能:该头戴式设备将近眼显示器120外部的环境的图像与人工现实内容(例如,计算机生成的图像)相结合。因此,近眼显示器120可以利用所生成的内容(例如,图像、视频、声音等)来增强近眼显示器
120外部的物理、真实世界环境的图像,以向用户呈现增强现实。
[0043] 在各种实施例中,近眼显示器120可以包括显示电子器件122、显示光学器件124和/或眼动追踪单元130。在一些实施例中,近眼显示器120还可以包括一个或多个定位器126、一个或多个位置传感器128和惯性测量单元(inertial measurement unit,IMU)132。
近眼显示器120可以省去眼动追踪单元130、定位器126、位置传感器128和IMU 132中的任何,或者在各种实施例中,近眼显示器包括附加元件。此外,在一些实施例中,图1中所示的各种元件可以组合成单个元件。
[0044] 显示电子器件122可以根据从例如控制台110接收的数据,向用户显示图像或促进向用户显示图像。在各种实施例中,显示电子器件122可以包括一个或多个显示面板,例如液晶显示器(liquid crystal display,LCD)、有机发光二极管(organic light emitting diode,OLED)显示器、无机发光二极管(inorganic light emitting diode,ILED)显示器、微型LED显示器、有源矩阵OLED(active‑matrix OLED,AMOLED)显示器、透明OLED(transparent OLED,TOLED)显示器或一些其它类型的显示器。在近眼显示器120的一种实施方式中,显示电子器件122可以包括前TOLED面板、后显示面板、以及位于前TOLED面板和后显示面板之间的光学部件(例如,衰减器、偏振器、或者衍射膜或光谱膜)。显示电子器件122可以包括多个像素,该多个像素发射诸如红色、绿色、蓝色、白色或黄色等主要颜色的光。在一些实施方式中,显示电子器件122可以通过由二维面板产生的立体效果,来显示三维(three‑dimensional,3D)图像,以创建对图像深度的主观感知。例如,显示电子器件122可以包括被定位在用户的左眼前方的左显示器和被定位在用户的右眼前方的右显示器。左显示器和右显示器可以呈现图像的相对于彼此水平移位的副本,以创建立体效果(即,用户观看图像时对图像深度的感知)。
[0045] 显示光学器件124可以(例如,使用光波导耦合器)引导从显示电子器件122接收的图像光,放大该图像光,校正与该图像光相关联的光学误差,并向近眼显示器120的用户呈现经校正的图像光。在各种实施例中,显示光学器件124可以包括一个或多个光学元件,例如,衬底、光波导、光圈、菲涅耳(Fresnel)透镜、凸透镜、凹透镜、滤光器、输入/输出耦合器、或可影响从显示电子器件122出射的图像光的任何其它合适的光学元件。显示光学器件124可以包括不同的光学元件的组合、以及保持该组合中的各光学元件的相对间距和方位的机械耦合件。显示光学器件124中的一个或多个光学元件可以具有光学涂层,例如抗反射涂层、反射涂层、过滤涂层、或不同光学涂层的组合。
[0046] 显示光学器件124对图像光的放大可以允许显示电子器件122相比于更大的显示器在物理上更小、更轻并且消耗更少的功率。附加地,放大可以增加显示内容的视场角。可以通过调整光学元件、添加光学元件或从显示光学器件124移除光学元件,来改变显示光学器件124对图像光的放大量。在一些实施例中,显示光学器件124可以将显示图像投影到一个或多个图像平面,该一个或多个图像平面可以比近眼显示器120更远离用户的眼睛。
[0047] 显示光学器件124还可以被设计为校正一种或多种类型的光学误差,例如二维光学误差、三维光学误差或它们的任意组合。二维误差可以包括在两个维度中出现的光学像差。二维误差的示例包括桶形失真、枕形失真、纵向色差和横向色差。三维误差可以包括在三个维度中出现的光学误差。三维误差的示例包括球面像差、彗形像差、场曲和像散。
[0048] 定位器126可以是位于近眼显示器120上的彼此相关、并与近眼显示器120上的参考点相关的特定位置处的对象。在一些实施方式中,控制台110可以识别成像设备150采集的图像中的定位器126,以确定人工现实头戴式设备的位置、方位、或位置和方位这两者。定位器126可以是LED、隅角立方反射器(corner cube reflector)、反射标记、与近眼显示器120运行时所处的环境形成对比的一种类型的光源、或它们的任意组合。在定位器126是有源部件(例如,LED或其它类型的发光器件)的实施例中,定位器126可以发射处于可见波段(例如,约380纳米(nanometer,nm)至750nm)的光、处于红外(infrared,IR)波段(例如,约
750nm至1毫米(millimeter,mm))的光、处于紫外波段(例如,约10nm至约380nm)的光、处于电磁波谱的另一部分的光、或处于电磁波谱的各部分的任意组合的光。
[0049] 成像设备150可以包括一个或多个摄像头、一个或多个摄影机、能够采集包括多个定位器126中的一个或多个定位器的图像的任何其他设备、或它们的任意组合。此外,成像设备150可以包括一个或多个滤波器(例如,以增加信噪比)。成像设备150可以被配置为检测从成像设备150的视场角中的定位器126发射或反射的光。在定位器126包括无源元件(例如,回射器)的实施例中,成像设备150可以包括照亮多个定位器126中的一些或全部定位器的光源,这些定位器126可以将光回射到成像设备150中的光源。成像设备150可以向控制台110传送慢速校准数据,并且成像设备150可以接收来自控制台110的一个或多个校准参数,以调整一个或多个成像参数(例如,焦距、焦点、率、传感器温度速度、孔径等)。
[0050] 位置传感器128可以响应近眼显示器120的运动而生成一个或多个测量信号。位置传感器128的示例包括加速度计、陀螺仪、磁力计、其他运动检测传感器或纠错传感器,或它们的任意组合。在一些实施例中,位置传感器128可以包括用于测量平移运动(例如,向前/向后、向上/向下或向左/向右)的多个加速度计和用于测量转动运动(例如,俯仰、左右摇摆或侧倾)的多个陀螺仪。
[0051] IMU 132可以是基于从一个或多个位置传感器128接收的测量信号生成快速校准数据的电子设备。位置传感器128可以位于IMU 132的外部、IMU 132的内部或IMU的外部和内部两者。基于来自一个或多个位置传感器128的一个或多个测量信号,IMU 132可以生成快速校准数据,该快速校准数据指示近眼显示器120的、相对于近眼显示器120的初始位置的估计位置。例如,IMU 132可以随时间对从加速度计接收的各测量信号进行整合以估计速度矢量,并且随时间对该速度矢量进行整合以确定近眼显示器120上参考点的估计位置。替代地,IMU 132可以向控制台110提供经采样的测量信号,该控制台110可以确定快速校准数据。尽管可以将参考点笼统地定义为空间中的点,但是在各种实施例中,也可以将参考点定义为近眼显示器120内的点(例如,IMU 132的中心)。
[0052] 眼动追踪单元130可以包括一个或多个眼动追踪系统。眼动追踪可以涉及确定眼睛的位置,包括眼睛相对于近眼显示器120的方位和定位。眼动追踪系统可以包括用于对单眼或双眼进行成像的成像系统,并且可以可选地包括光发射器,该光发射器可以产生指向眼睛的光,以使得由该眼睛反射的光被成像系统采集。例如,眼动追踪单元130可以包括非相干或相干光源(例如,激光二极管)和摄像头,该非相干或相干光源发射处于可见光谱或红外光谱的光,该摄像头采集用户的眼睛所反射的光。作为另一示例,眼动追踪单元130可以采集由微型雷达单元发射的被反射的无线电波。眼动追踪单元130可以使用低功率光发射器,所述低功率光发射器以不会伤害眼睛或引起身体不适的频率和强度发射光。眼动追踪单元130可以被设置为增加眼动追踪单元130所采集的眼睛的图像的对比度,同时减小眼动追踪单元130所消耗的总功率(例如,减小包括在眼动追踪单元130中的光发射器和成像系统所消耗的功率)。
[0053] 近眼显示器120可以使用眼睛的方位来例如确定用户的瞳间距(inter‑pupillary distance,IPD)、确定注视方向、引入深度线索(depth cue)(例如,使用户的主视线之外的图像模糊)、收集关于用户交互的信息(例如,花费在任何特定主体、对象或帧上的时间随遭受到的刺激的变化),和/或基于用户的至少一只眼睛的方位执行其它操作。由于可以确定用户的双眼的方位,因此眼动追踪单元130可以能够确定用户正在看向哪里。例如,确定用户的注视方向可以包括:基于所确定的用户的左眼和右眼的方位来确定会聚点。会聚点可以是用户双眼的两个中央凹轴线(foveal axes)相交的点。用户的注视方向可以是穿过会聚点以及用户双眼的瞳孔之间的中点的线的方向。
[0054] 输入/输出接口140可以被配置为允许用户向控制台110发送动作请求。例如,动作请求可以是启动或结束软件应用或执行软件应用内的特定动作。输入/输出接口140可以包括一个或多个输入设备。示例输入设备可以包括键盘鼠标、游戏控制器、手套、按钮、触摸屏或用于接收多个动作请求并向控制台110传送所接收的动作请求的任何其它合适的设备。可以将输入/输出接口140接收到的动作请求传送到控制台110,该控制台110可以执行与所请求的动作相对应的动作。在一些实施例中,输入/输出接口140可以根据从控制台110接收的指令,向用户提供触觉反馈。例如,输入/输出接口140可以在动作请求被接收到时、或者在控制台110已经执行了所请求的动作时,提供触觉反馈。在一些实施例中,成像设备150可以用于追踪输入/输出接口140和/或追踪用户的手部移动。例如,近眼显示器120可以包括成像设备150,该成像设备150(例如,使用控制器上的光源)追踪手持控制器的定位或位置,从而可以从控制器的定位或位置的变化推断用户的手部移动。
[0055] 控制台110可以根据从成像设备150、近眼显示器120和输入/输出接口140接收的信息,向近眼显示器120提供用于呈现给用户的内容。在图1所示的示例中,控制台110可以包括应用存储库112、头戴式设备追踪模114、人工现实引擎116和眼动追踪模块118。控制台110的一些实施例可以包括与结合图1描述的那些模块不同的模块或除了结合图1所描述的那些模块之外的附加的模块。还可以以与此处所描述的不同方式将功能分布在控制台110的各部件之中。
[0056] 虚拟现实系统环境100的一个或多个部件(例如,控制台110和/或显示电子器件122)可以包括处理器和非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储有可由处理器执行的指令。处理器可以包括并行执行多个指令的多个处理单元。非暂态计算机可读存储介质可以是任何存储器,例如硬盘驱动器、可移动存储器或固态驱动器(例如,闪存或动态随机存取存储器(dynamic random‑access memory,DRAM))。在各种实施例中,结合图1描述的控制台110的各模块可以被编码为指令,所述指令在被一个或多个处理器执行时,使得该一个或多个处理器根据本文所描述的技术执行操作。
[0057] 通常,人工现实系统环境100中处理数据的任何部件可以包括一个或多个处理单元和/或一个或多个存储设备。除了控制台110之外,这些部件还可以包括近眼显示器120、输入/输出接口140和/或成像设备150。处理单元的示例包括中央处理单元(central processing unit,CPU)、图形处理单元(graphics processing unit,GPU)、现场可编程门阵列(field programmable gate array,FPGA)和集成电路。在一些实施例中,至少一些处理单元被实现为片上系统(System on Chip,SoC)。例如,控制台110和近眼显示器120可以各自包括一个或多个SoC,该一个或多个SoC用作协应用处理器、传感器聚合器、显示控制器、加密/解密引擎、手部追踪/眼动追踪/深度追踪和姿态计算元件、视频编码和渲染引擎、和/或通信控制部件等。在一个示例中,近眼显示器120可以包括第一SoC、第二SoC和第三SoC,该第一SoC用作左显示器的显示控制器,该第二SoC用作右显示器的显示控制器,该第三SoC用作眼动追踪单元130。
[0058] 应用存储库112可以存储供控制台110执行的一个或多个应用。应用可以包括指令,该指令在被处理器执行时,生成用于呈现给用户的内容。由应用生成的内容可以响应于经由用户眼动而从用户接收到的输入、或响应于从输入/输出接口140接收到的输入。可以在应用存储库112中的应用的示例包括游戏应用、会议应用、视频播放应用和/或适合于在人工现实环境中执行的其它应用。
[0059] 头戴式设备追踪模块114可以使用来自成像设备150的慢速校准信息,来追踪近眼显示器120的运动。例如,头戴式设备追踪模块114可以使用来自慢速校准信息的观察到的定位器、以及近眼显示器120的模型,来确定近眼显示器120的参考点的位置。头戴式设备追踪模块114还可以使用来自快速校准信息的位置信息,来确定近眼显示器120的参考点的位置。此外,在一些实施例中,头戴式设备追踪模块114可以使用快速校准信息、慢速校准信息或它们的任意组合中的部分,来预测近眼显示器120的未来位置。头戴式设备追踪模块114可以向人工现实引擎116提供所预测的近眼显示器120的位置。
[0060] 人工现实引擎116可以在人工现实系统环境100内执行应用程序,并且接收来自头戴式设备追踪模块114的近眼显示器120的位置信息、近眼显示器120的加速度信息、近眼显示器120的速度信息、所预测的近眼显示器120的未来位置、或它们的任意组合。人工现实引擎116还可以接收来自眼动追踪模块118的估计的眼睛位置和方位信息。基于所接收到的信息,人工现实引擎116可以确定将要提供给近眼显示器120以呈现给用户的内容。例如,如果所接收到的信息指示用户已经向左看,则人工现实引擎116可以为近眼显示器120生成在虚拟环境中反映用户眼动的内容。此外,人工现实引擎116可以响应于从输入/输出接口140接收的动作请求,执行在控制台110上执行的应用程序内的动作,并向用户提供指示该动作已被执行的反馈。该反馈可以是经由近眼显示器120呈现的视觉反馈或听觉反馈、或经由输入/输出接口140呈现的触觉反馈。
[0061] 眼动追踪模块118可以接收来自眼动追踪单元130的眼动追踪数据,并且基于该眼动追踪数据确定用户眼睛的位置。眼睛位置可以包括眼睛相对于近眼显示器120或其任何元件的方位、定位、或方位和定位这两者。除了眼动追踪和头戴式设备追踪之外或作为眼动追踪和头戴式设备追踪的替代,人工现实系统环境100的一个或多个部件可以被配置为追踪用户的其它特征和/或近眼显示器120外部的物理环境的各方面。
[0062] 在一些实施例中,眼动追踪模块118可以存储由眼动追踪单元130采集的图像与眼睛位置之间的映射,以根据由眼动追踪单元130采集的图像来确定参考眼睛位置。可选地或附加地,眼动追踪模块118可以通过将根据其确定参考眼睛位置的图像与将要根据其确定更新眼睛位置的图像进行比较,来确定相对于该参考眼睛位置的该更新眼睛位置。眼动追踪模块118可以使用来自不同成像设备或其它传感器的测量结果,来确定眼睛位置。例如,眼动追踪模块118可以使用来自慢速眼动追踪系统的测量结果,来确定参考眼睛位置,然后根据快速眼动追踪系统确定相对于参考眼睛位置的更新位置,直到基于来自慢速眼动追踪系统的测量结果确定出下一个参考眼睛位置为止。
[0063] 眼动追踪模块118还可以确定眼睛校准参数,以提高眼动追踪的精度和准确度。眼睛校准参数可以包括每当用户佩戴或调整近眼显示器120时可能改变的参数。示例眼睛校准参数可以包括估计的、眼动追踪单元130中的一部件与眼睛的一个或多个部分(例如,眼睛的中心、瞳孔、角膜边界或眼睛表面上的点)之间的距离。其它示例眼睛校准参数对于用户可以是特有的,并且可以包括估计的平均眼睛半径、平均角膜半径、平均巩膜半径、眼睛表面上特征的图和估计的眼睛表面轮廓。在来自近眼显示器120之外的光可以到达眼睛的实施例中(如在一些增强现实应用中),校准参数可以包括用于强度和色彩平衡的校正因子,该强度和色彩平衡归因于来自近眼显示器120之外的光的变化。眼动追踪模块118可以使用眼睛校准参数来确定眼动追踪单元130所采集的测量结果是否将允许眼动追踪模块118确定准确的眼睛位置(在本文中也称为“有效测量结果”)。无效测量结果(眼动追踪模块
118根据这些无效测量结果可能无法确定准确的眼睛位置)可能是由用户眨眼、调整头戴式设备或移除头戴式设备而引起的,和/或可能是由近眼显示系统120由于外部光而经历大于阈值的照度变化而引起的。在一些实施例中,眼动追踪模块118的多个功能中的至少一些功能可以由眼动追踪单元130执行。
[0064] 如上所述,显示电子器件122可以包括一个或多个显示面板。显示电子器件122还可以包括一个或多个显示控制器,例如,用于每个显示面板的单独控制器或用于多个显示面板的共享控制器。显示面板可以包括排列成多行和多列的发射器的一个或多个阵列。例如,显示面板可以包括红色LED的阵列、绿色LED的阵列和蓝色LED的阵列。显示电子器件122的一个或多个显示控制器可以被配置为结合由控制逻辑提供的功能来执行中央凹操作,该控制逻辑也可以是显示电子器件122的一部分,例如该控制逻辑集成到一个或多个显示控制器中或通信地耦接到一个或多个显示控制器。如下所述,这种控制逻辑可以负责对输入到显示面板的各种信号进行组合,以便更有效地生成中央凹图像。
[0065] 图2示出了可用于实现一个或多个实施例的增强现实系统200的示例。增强现实系统200可以包括投影仪210和组合器215。投影仪210可以包括一个或多个光源212和光学器件214。在一些实施例中,光源212操作以发射对应于供显示的图像的光。例如,光源212可以包括多个像素,该多个像素共同形成LCD显示面板或LED显示面板。在一些实施例中,光源212可以产生相干光或部分相干光。例如,光源212可以包括激光二极管、垂直腔面发射激光器、LED和/或微型LED。在一些实施例中,光源212被布置成一维阵列或二维阵列,每个光源发射与原色(例如,红色、绿色或蓝色)相对应的单色图像光。在更具体的示例中,光源212可以包括三个二维微型LED阵列,其中每个二维微LED阵列可以包括被配置为发射原色(例如,红色、绿色或蓝色)光的微型LED。在一些实施例中,光源212可以包括光学图案生成器(例如空间光调制器)或者可以光学耦合到光学图案生成器。
[0066] 光学器件214可以包括一个或多个光学部件,该一个或多个光学部件可以对光源212发射的光进行调节,例如对所发射的光进行扩展、准直、扫描或将所发射的光投射到组合器215中。这种光学部件的示例包括固体透镜、液体透镜、反射镜、光圈和/或光栅。例如,在一些实施例中,光源212可以包括一个或多个微型LED阵列(每个阵列是一维或二维的),并且光学器件214可以包括扫描装置(例如,转镜或棱镜),该扫描装置被配置为沿着一个或多个维度机械地扫描微型LED阵列以生成图像帧。
[0067] 组合器215用作波导,并且可以包括输入耦合器230,该输入耦合器230用于将来自投影仪210的光耦合到组合器215的衬底220中。组合器215可以是光透明的(穿透的),并且可以发射第一波长范围内的至少50%的光,并且反射第二波长范围内的至少25%的光。例如,第一波长范围可以是从约400nm至约650nm的可见光,并且第二波长范围可以在例如从约800nm至约1000nm的红外波段内。输入耦合器230可以包括体全息光栅、衍射光学元件(diffractive optical element,DOE)(例如,表面浮雕光栅)、衬底220的倾斜表面或折射耦合器(例如,楔形或棱镜)。例如,输入耦合器230可以包括反射体布拉格(Bragg)光栅或透射体布拉格光栅。对于可见光,输入耦合器230可以具有大于30%、50%、75%、90%或更高的耦合效率。耦合到衬底220中的光可以通过例如全内反射(total internal reflection,TIR)在衬底220内传播。
[0068] 衬底220可以具有平面或曲面,并且可以包括一种或多种类型的介电材料,例如玻璃、石英、塑料、聚合物、聚(甲基丙烯酸甲酯)(poly(methyl methacrylate),PMMA)、晶体或陶瓷。衬底220的厚度的范围可以从例如小于约1mm至约10mm或更大。在一些实施例中,为用户的每只眼睛提供单独的投影仪210和对应的组合器215。衬底220可以包括一个或多个输出耦合器240或者可以光学耦合到一个或多个输出耦合器240。每个输出耦合器240可以被配置为提取由衬底220引导并在衬底220内传播的光的至少一部分,并且将提取光260引导到适眼区(eyebox)295,其中增强现实系统200的用户的眼睛290位于该适眼区295。输出耦合器240可以复制出射光瞳以增加适眼区295的大小,使得所显示的图像在更大的区域中可见。与输入耦合器230一样,输出耦合器240可以包括光栅、DOE和/或棱镜等。例如,输出耦合器240可以包括反射体布拉格光栅或透射体布拉格光栅。
[0069] 衬底220和/或输出耦合器240可以允许来自组合器215前面的环境的光250以很少的损失或没有损失地通过。例如,在一些实施方式中,输出耦合器240可以具有非常低的衍射效率,使得光250可以以很小的损失折射或以其它方式通过输出耦合器240,并且因而具有比提取光260更高的强度。因此,用户可能能够观看所组合的如下图像:组合器215前面的环境的图像和由投影仪210投射的虚拟对象的图像。此外,输出耦合器240可以在不同位置或方向(例如,衍射角)具有不同的耦合(例如,衍射)效率。在一些实施方式中,输出耦合器240的至少一部分可以具有对光250的高衍射效率。
[0070] 图3示出了可用于实现一个或多个实施例的近眼显示(NED)设备300的示例。NED设备300可以是以下项的示例:图1中的近眼显示器120,图2中的增强现实系统200或其它类型的显示设备。NED设备300可以包括光源310、光学器件320和波导显示器330。光源310可以包括用于不同颜色的多个光发射器面板,例如红色光发射器312的面板、绿色光发射器314的面板314和蓝色光发射器316的面板。红色光发射器312被组织成阵列;绿色光发射器314被组织成阵列;以及蓝色光发射器316被组织成阵列。光发射器的尺寸和间距可以相对较小。例如,光源310中的每个光发射器的直径可以小于2μm(例如,约1.2μm),并且间距可以小于2μm(例如,约1.5μm)。这样,红光发射器312、绿光发射器314和蓝光发射器316的数量可以等于或大于显示图像中的像素的数量,例如960×720、1280×720、1440×1080、1920×1080、
2160×1080或2560×1080个像素。这允许通过光源的同时发射来生成完整的显示图像。
[0071] 光源310发射的光在到达波导显示器330之前,可以通过光学器件320进行调节,该光学器件320可以包括透镜阵列。光学器件320可以将光源310发射的光准直或聚焦到波导显示器330,该波导显示器330可以包括耦合器332,该耦合器332用于将光源310发射的光耦合到波导显示器330中。耦合到波导显示器330中的光可以通过例如上面参考图2所描述的全内反射在波导显示器330内传播。耦合器332还可以将该光在波导显示器330内传播的部分光耦合出波导显示器330并朝向用户的眼睛390。因此,耦合器332可以被配置为既用作输入耦合器又用作输出耦合器。
[0072] 图4为根据某些实施例的NED系统400的框图。NED系统400包括具有显示面板440的图像源组件410。显示面板440被配置为生成待由投影仪450投影到用户眼睛上的显示图像。例如,投影仪450可以将显示图像投射到如上参考图2和图3所描述的波导显示器上。NED系统400被示出为具有单个显示面板440。然而,在一些实施例中,NED系统400可以包括用于每只眼睛的单独显示器(例如,左面板和右面板)。可以为每个显示器提供结合显示器440所描述的部件的附加实例。替代地,NED系统400的一个或多个部件可以在各显示器之间共享。例如,NED系统400可以包括用于每个显示器的单独的控制器420、图像处理器430和/或驱动器
444。
[0073] 显示面板440包括光源442和光源442的驱动器444。光源442可以包括一个或多个发射器阵列,该一个或多个发射器阵列例如以上文关于光源310描述的方式进行配置。因此,投影仪450可以包括光学器件320和/或其它光学部件。光源442可以包括一个或多个光发射器阵列,每个阵列是一维或二维的。每个光发射器可以发射单色光,例如红色光、蓝色光、绿色光、和红外光等。虽然在本公开中经常论述RGB颜色,但本文所描述的实施例不限于使用红色、绿色和蓝色作为原色。其它颜色也可以用作NED系统400的原色。在一些实施例中,显示面板可以使用多于三种的原色。
[0074] 在一些实施例中,显示面板440中的每个像素可以对应于至少三个子像素(例如红色发射器、绿色发射器和蓝色发射器)的组合。形成单个显示像素的子像素可以位于单独的阵列上。发射器可以被实现为微型LED。微型LED可以形成为包括有源发光层和其它半导体材料层的半导体结构。半导体层可以包括不同化合物材料或具有不同掺杂剂和/或不同掺杂密度的相同的基材。例如,半导体结构可以包括n型层、具有一个或多个异质结构(例如,一个或多个量子阱)的有源区、以及p型层。在一些实施例中,每个发射器具有台面形状(例如,具有垂直、倾斜或弯曲的侧壁),该台面形状包围半导体结构中的多个层的至少一些层。例如,可以通过同时从包括各种半导体层的晶圆蚀刻台面来形成发射器阵列。
[0075] 控制器420被配置为同步控制光源442以形成用于输入到投影仪450的图像。根据实施方式,投影仪450可以包括或可以不包括电子控制部件。例如,在一些实施例中,投影仪450可以包括可重新定位的透镜或光学元件,例如以调整焦距。因此,控制器420还被显示为形成到投影仪450的输入。然而,在其它实施例中,投影仪450可以仅包括不需要电子控制的固定光学元件或其它部件。图像源组件410可以生成图像光并将该图像光输出到诸如波导显示器330等波导显示器(未示出)。如上所述,波导显示器可以在一个或多个输入耦合元件处接收图像光,并将所接收到的图像光引导到一个或多个输出耦合元件。输入耦合元件和输出耦合元件可以包括例如衍射光栅、全息光栅、棱镜或它们的任意组合。输入耦合元件可以被配置为使得在波导显示器内发生全内反射。输出耦合元件可以将经全内反射的图像光的部分耦合出波导显示器。
[0076] 控制器420被配置为控制图像源组件410的图像渲染操作,例如光源442和/或投影仪450的操作。例如,控制器420可以获取用于图像源组件410渲染一个或多个显示图像的指令。指令可以包括显示指令,并且在一些实例中可以包括扫描指令。在一些实施例中,显示指令可以包括图像文件(例如,位图文件)。控制器420可以从外部源(例如图1中的控制台110)接收指令作为输入。替代地,控制器420可以被配置为通过处理来自外部源的输入来生成显示指令和/或扫描指令。显示和/或扫描指令可以使显示面板440使用光源442生成显示图像,并且可以包括例如如下指令:所述指令指定图像光源的类型(例如,单色或多色)、扫描速率、一个或多个照明参数或它们的任意组合。
[0077] 控制器420可以使用硬件和/或软件来实现。在一些实施例中,控制器420可以是图形处理单元(GPU)或另一类型的处理器。控制器420执行的操作可以包括获取用于显示的内容并将该内容划分为多个离散部分。控制器420可以向图像源组件410提供扫描指令,所述扫描指令包括与光源442的单个发射器相对应的地址(例如,行地址和/或列地址)和/或施加到该单个发射器的电偏压。控制器420可以使光源442使用与最终显示给用户的输出图像中的一行或多行像素相对应的光发射器来顺序地呈现这些离散部分。
[0078] 图像处理器430可以是专用于执行本文所描述的功能的通用处理器和/或一个或多个专用电路。在一个实施例中,通用处理器可以耦接到存储器以执行使处理器执行本文所描述的某些过程的软件指令。在另一实施例中,图像处理器430可以是专用于执行某些图像处理操作的一个或多个电路。尽管图像处理器430被显示为与控制器420和驱动器444分开的独立单元,但在其它实施例中,图像处理器430可以是控制器420或驱动器444的子单元。换句话说,控制器420、图像处理器430和驱动器444的功能可以组合成单个部件(例如,作为片上系统)或分布在彼此通信耦接的不同部件上。另外,如下所述,一些图像处理可以由控制逻辑(图4中未示出)来执行,该控制逻辑形成到显示面板的输入。例如,显示面板440可以包括控制逻辑,该控制逻辑生成到光源442的输入信号以向光源442提供中央凹图像数据和/或扫描光源以形成输出图像。
[0079] 驱动器444被配置为基于从控制器420或图像处理器430发送的数据或指令(例如,显示指令和扫描指令),直接或在附加控制逻辑的帮助下产生用于光源442的控制信号。例如,光源442可以根据一个或多个照明参数来发光,该一个或多个照明参数由控制器420设置并且由图像处理器430和/或驱动器444(例如,结合注视点渲染(foveation rendering))潜在地调整。照明参数可以包括例如驱动电压(例如,施加到晶体管的栅极端的电压,该晶体管耦接到LED或其他光发射器)、发射电流(例如,当打开光发射器时流过该发射器的电流)、源波长、(例如,当使用脉冲宽度调制来控制发射光的强度时的)脉冲速率、脉冲幅度、波束类型(例如,连续的或脉冲的)、可能影响发射光的一个或多个其它参数或它们的任意组合。
[0080] 投影仪450可以执行一个或多个光学功能,例如对光源442发射的光进行聚焦、组合或调节。投影仪450可以包括对来自光源442的光进行光学调整和重定向的一个或多个光学部件。例如,投影仪450的光学部件可以在将光提供给波导显示器之前,对一个或多个光学误差(例如,场曲、色差)进行扩展、准直、校正,和/或执行其它调整,以调节发射光。投影仪450的光学部件可以包括例如透镜、反射镜、光圈、光栅或它们的任意组合。投影仪450可以通过一个或多个反射部分和/或折射部分对发射光进行重定向,使得发射光以特定方位向波导显示器投射。发射光被重定向到波导显示器的位置可以取决于一个或多个反射部分和/或折射部分的具体方位。
[0081] 图5是根据某些实施例的可用于实现中央凹的显示系统500的框图。图5是描绘了与中央凹相关的信号处理的部件的简化图。显示系统500被显示为包括一个或多个发射器阵列510、显示驱动器520、多路复用器(multiplexer,MUX)530和垂直扫描器(v‑扫描器)540。然而,根据实施方式,显示系统500可以包括附加的部件或更少的部件。例如,在一些实施例中,显示系统500可以包括投影光学器件(例如,图2中的光学器件214或图3中的光学器件320)、波导显示器和/或上述显示系统和设备的其它元件。此外,显示系统500可以被配置为在人工现实系统环境(例如图1中的人工现实系统环境100)中操作。在一些实施例中,显示系统500可以形成头戴式显示器,例如图4中的NED系统400。
[0082] 一个或多个发射器阵列510包括一个或多个光发射器阵列,并且例如可以包括至少一个红色发射器阵列、至少一个绿色发射器阵列和至少一个蓝色发射器阵列。与图3中的发射器一样,发射器阵列510可以被实现为微型LED,然而其它类型的光源也是可能的。发射器阵列510被配置为用作显示器的像素,并且例如可以对应于图4中的光源442。这样,发射器阵列510可以共同形成可操作以生成形成显示图像的光的显示面板。
[0083] 显示驱动器520类似于图4中的驱动器444,并且还可以包含图像处理器430和/或控制器420的功能。如图5所示,显示驱动器520接收图像数据501作为输入。可以从外部源(例如图1中的控制台110)或图像处理器430(当其被实现为单独单元时)提供图像数据501。在图5的示例中,显示驱动器520通过MUX 530和v‑扫描器540通信地耦接到显示器(即,发射器阵列510),而不是与显示器直接通信。显示驱动器520被配置为处理图像数据501以通过MUX 530传输到发射器阵列510。显示驱动器520还被配置为生成控制MUX 530和v‑扫描器
540的操作的多个控制信号。具体地,显示驱动器520可以输出多个控制信号,这些控制信号使经由MUX 530提供图像数据与由v‑扫描器540执行的竖直(例如,逐行)扫描同步,使得使用发射器阵列510来渲染输出图像。因此,由显示驱动器520生成的控制信号可以用于执行如以上参考图4所描述的显示指令和/或扫描指令。
[0084] 显示系统500被配置为渲染中央凹输出图像。例如,显示系统500可以在不同的操作模式之间切换,该不同的操作模式包括以固有分辨率渲染输出图像的全分辨率模式、和利用具有不同分辨率的图像区域来渲染输出图像的中央凹模式。在一些实施方式中,显示系统500的中央凹行为的各方面可以是用户可配置的。例如,观看显示器的用户可以对显示系统进行设定,以设置具有不同分辨率的图像区域的数量、每个图像区域的分辨率、和/或每个图像区域的大小等。
[0085] 在一些实例中,显示驱动器520可以被配置为执行中央凹操作。中央凹操作的一个示例是通过消除某些数据值并用剩余数据值的副本替换所消除的数据值来降低与图像数据501相对应的输出图像的分辨率。然而,如下所述,可以将这种工作卸载到控制逻辑532,该控制逻辑可以被配置为以节省功率的方式执行复制。因此,在一些实施例中,显示驱动器520关于中央凹的作用可以被限制为确定将以较低分辨率来渲染输出图像的哪些区域、以及将以较高分辨率来渲染该输出图像的哪些区域。例如,显示驱动器520可以被配置为设置显示图像的至少两个区域的边界并指定与每个区域相关联的分辨率。显示驱动器520可以通过将相应的控制信号与图像数据501一起输出到MUX 530,来传送关于输出图像的每个区域的信息(例如,大小、位置、分辨率等)。可以通过将显示驱动器520连接到MUX 530的一组信号线523(例如,总线)来发送图像数据和控制信号。
[0086] MUX 530被配置为通过一组信号线535将图像数据提供给发射器阵列510。在一些实施例中,信号线535可以一次传送输出图像的一整行的图像数据。例如,信号线535可以具有足够的带宽来并行地为发射器阵列的一行中的每一列传输单独的数据值。数据值在显示驱动器520的控制下被路由通过MUX 530,并且可以对应于照明参数,如上所述,该照明参数可以包括驱动电压、发射电流、源波长、脉冲速率、脉冲幅度、波束类型(连续的或脉冲的)、影响发射光的一个或多个其它参数或它们的某种组合。因此,由信号线535传送的数据可以形成到最终驱动发射器阵列510中的发射器的电子部件的输入。例如,每个发射器可以被实现为包括微型LED和一个或多个晶体管的单元电路,该一个或多个晶体管基于照明参数值产生用于微型LED的驱动电压或电流。
[0087] 如图5所示,MUX 530可以包括控制逻辑532,该控制逻辑532根据输入列信号506生成输出列信号508。在一些实例中,输出列信号508可以对应于通过信号线535传输到发射器阵列510的中央凹图像数据。中央凹图像数据是从显示驱动器520接收的图像数据的较低分辨率形式,该图像数据例如为处理(该处理可以涉及对特定列和/或特定行的数据值进行组合等)之后的图像数据501。例如,相同的图像数据值可以用于N×N或N×M个像素块中的每个像素。在一些实施例中,数据值的这种组合由控制逻辑532执行。因此,输入列信号506可以对应于非中央凹图像数据。例如,显示驱动器520可以指示控制逻辑532选择与输出图像的特定列相关联的数据值516,并且复制数据值516以用作一组相邻列(例如,连续两列或更多列)的图像数据。这样,显示驱动器520不需要直接生成中央凹图像数据。
[0088] 此外,控制逻辑532可以被配置为以节能的方式生成中央凹图像数据。例如,控制逻辑532可以将携带一组相邻列的输出列信号508的信号线一起短接,而不是为数据值516的每个输出实例生成单独的信号。因此,共享信号可以在耦接到不同发射器的列线上同时生效,并且即使物理信号线535的数量是固定的,也可以减少传送到发射器阵列510的图像数据信号的总数。
[0089] 在图5的示例中,通过列线(信号线535)提供图像数据。当通过显示器的列侧提供图像数据时,可以通过沿行维度(例如,竖直方向)扫描发射器阵列510来选择发射器。因此,v‑扫描器540可以耦接到多条信号线545,这些信号线545为发射器阵列中的各行携带单独的扫描信号。v‑扫描器540可以例如根据栅格扫描图案使用这些扫描信号沿行维度进行扫描。例如,在全分辨率模式期间,v‑扫描器540可以从上到下或从下到上顺序地、一次驱动一条线(行)上的信号线545。发射器阵列(例如,红色发射器的阵列)的每一行可以耦接到相应的信号线545,使得当扫描信号在相应的信号线上生效时,选择该行中的每个发射器。类似地,当扫描信号生效时,也可以选择其它发射器阵列(例如,绿色发射器的阵列和蓝色发射器的阵列)的对应行中的发射器。因此,可以在发射器阵列510的各个发射器阵列上同时扫描相同的行。图5示出了单个v‑扫描器540。然而,在一些实施方式中,显示系统500可以包括超过一个的扫描单元。例如,可以提供不同的v‑扫描器来控制发射器阵列的左半部分的扫描,而v‑扫描器540控制右半部分的扫描。
[0090] 如图5所示,v‑扫描器540可以包括与MUX 530的控制逻辑532分开的控制逻辑542。控制逻辑542可以与控制逻辑532同步操作。具体地,控制逻辑542可以以类似于控制逻辑
532组合图像数据的方式来对扫描信号进行组合。例如,v‑扫描器540的控制逻辑542可以被配置为将某些信号线545一起短接,以作为生成与中央凹扫描信号对应的输出行信号504的一部分。在所示的示例中,控制逻辑542复制扫描信号518作为用于一组相邻行(例如,连续两行或更多行)的共享扫描信号。控制逻辑542可以基于来自显示驱动器520的指令来对扫描信号进行组合。这样,可以使用将显示驱动器520连接到v‑扫描器540的一组信号线527来控制控制逻辑542。显示驱动器520可以使用信号线527来发送如下控制信号:所述控制信号确定将对哪些扫描信号进行组合和/或何时对特定扫描信号进行组合。在一些实施方式中,发送到控制逻辑542的控制信号可以携带如下信息:该信息还由发送到控制逻辑532的控制信号携带。例如,显示驱动器520可以使用信号线527来传送关于输出图像的每个区域的信息(例如,大小、位置、分辨率等)。因此,由控制逻辑532产生的信号的时序和控制逻辑542产生的信号的时序可以至少部分地由显示驱动器520确定。
[0091] 当作为基于共享扫描信号的组合扫描操作的一部分、同时扫描多个行时,相对于沿这些组合行对携带图像数据的数据线(例如,信号线535)进行充电,可以消耗较少的功率。这是因为对于这些组合行,只需要写入一次图像数据。此外,由于可以仅使用一个扫描周期(对应于扫描单行所花费的时间量)来扫描组合行,因此可以减少用于扫描组合行的总扫描时间。
[0092] 图6A示出了根据某些实施例的与中央凹图像相关联的扫描信号的示例。在图6A中,使用扫描信号600形成输出图像,该扫描信号600最终被组合成三个单独的扫描信号。第一扫描信号602仅被提供给一行(i),因为行i对应于该输出图像的以全分辨率渲染的区域。第二扫描信号604被提供给对应于以较低分辨率渲染的区域的两行(j和j+1)。第二扫描信号604通过一对对应的扫描线(例如,图5中的信号线545中的两条信号线)输出。尽管第二扫描信号604在单独的物理线上输出,但是第二扫描信号604可以例如通过将耦接到行j的扫描线和耦接到行j+1的扫描线一起短接来产生为共享信号。因此,可以将为两行中的一行(行j或行j+1)指定的扫描信号复制到这对扫描线上,以同时扫描行j和行j+1。第三扫描信号606被提供给对应于以更低分辨率渲染的区域的三行(k、k+1和k+2)。第二扫描信号606可以是为三行(k、k+1或k+2)中的一行指定的扫描信号,并且该扫描信号出于同时扫描所有三行的目的而被复制两次。
[0093] 图6B示出了根据某些实施例的与中央凹图像相关联的图像数据的示例。在图6B中,使用图像数据610形成输出图像,该图像数据包括中央凹数据和非中央凹数据。图像数据610可以与图6A中的扫描信号600同步地输入到显示面板(例如,一个或多个发射器阵列)以产生具有不同分辨率的三个区域的输出图像。第一组图像数据612对应于行i的照明参数,并且可以例如包括确定行i中的八个连续发射器的亮度的数据值(例如,di1到di8)。第二组图像数据614对应于行j和j+1的照明参数。此外,第三组图像数据616对应于行k、k+1和k+2的照明参数。与第二组图像数据614和第三组图像数据616不同,第一组图像数据612针对行i中的每列包括单独的(列特定的)值。因此,第一组图像数据612是非中央凹的。
[0094] 第二组图像数据614包括已经为行j指定的图像数据,但该图像数据被重复用作行j+1的图像数据,而不是向行j+1提供其自己的数据值。此外,跨给定行内的两列复制第二组图像数据614中的每个值。例如,使用数据值dj1驱动行j中的前两个发射器,使用数据值dj2驱动行j中接下来的两个发射器,以此类推。类似地,使用数据值dj1驱动行j+1中的前两个发射器,使用数据值dj2驱动j+1行中接下来的两个发射器,以此类推。因此,可以通过跨相邻行(j和j+1)以及跨相同行中的相邻列复制数据值(例如通过每隔一列重复相同的数据值)来降低图像分辨率。因此,与行j和j+1相对应的图像区域沿行维度和列维度都降低了图像分辨率。然而,在一些实例中,可以跨行复制图像数据而不进行任何行内复制,使得图像分辨率不会沿列维度降低。类似地,也可以跨列复制图像数据,而不进行跨行复制。
[0095] 第三组图像数据616包括已经为行k指定的图像数据、但是该图像数据被重复用作行k+1和行k+2的图像数据。与第二组图像数据614一样,也跨同一行中的相邻列复制图像数据。例如,使用数据值dk1驱动行k中的前三个发射器,使用数据值dk2驱动行k中接下来的三个发射器,依此类推。因此,与行j和j+1对应的图像区域相比,与行k、k+1和k+2对应的图像区域沿行维度和列维度都降低了图像分辨率。替代地,如上面关于第二组图像数据614所论述的,第三组图像数据616中的图像数据可以仅跨行复制或仅跨列复制。
[0096] 基于以上对图5、图6A和图6B的论述,将理解的是,可以产生一个或多个扫描信号和/或一个或多个数据信号作为用于输入到发射器阵列的共享信号,并且可以通过耦接到发射器阵列的行侧和/或列侧的控制逻辑来产生这样的信号。此外,显然,对发射器阵列的扫描可以与结合形成输出图像而向发射器阵列提供图像数据同步地执行。因此,在一些实例中,共享扫描信号可以用于结合携带表示照明参数的信息的共享数据信号来扫描发射器阵列的多行,以便使发射器阵列产生用于输出图像的降低分辨率区域的光。如上所述,可以在显示驱动器520的指示下执行这种同步控制。附加地或替代地,负责产生扫描信号和数据信号的控制逻辑可以协调扫描信号和数据信号的时序。因此,在一些实施例中,控制逻辑532和542可以彼此通信。此外,在一些实施例中,控制逻辑532和542可以集成到单个控制单元中。
[0097] 图7A示出了根据某些实施例的中央凹图像700的示例。中央凹图像700包括第一区域710、第二区域720和第三区域730。第一区域710是全分辨率,例如以显示器的固有分辨率或以与输入图像相同的分辨率渲染。出于说明的目的,第一区域710被描绘为在图像700内居中。然而,如下所述,当基于眼动执行中央凹时,具有不同分辨率的区域的位置可以改变。
[0098] 第二区域720的分辨率低于第一区域710的分辨率,并且该第二区域720与更接近图像700的外围的区域相对应。如图7A所示,第二区域720形成围绕第一区域710的框架或边界。因此,与第一区域710相对应的行和列中的一些也属于第二区域720。利用图像数据的合适(例如,同步)扫描和输入,即使由第一区域710覆盖的行和列范围部分地与由第二区域720覆盖的行和列范围重叠,也可以以其各自的分辨率渲染区域710和720。
[0099] 第三区域730在三个区域710、720和730中具有最低分辨率。如图所示,第三区域730以类似于第二区域720围绕第一区域710的方式围绕第二区域720。在该配置中,第三区域730形成围绕第二区域720的框架或边界。在所示的示例中,第一区域710的宽度712大于第二区域720的宽度722,第二区域的宽度又大于第三区域730的宽度732。然而,区域710、
720和730的尺寸可以根据区域如何配置而变化。区域710、720和730被示为矩形,但是其它形状也是可能的。例如,在一些实施例中,图像区域可以是圆形或椭圆形的。此外,每个图像区域的大小不需要径向均匀。如下面结合图8A和图8B所论述的,图像区域的大小和/或位置可以根据眼动而改变。
[0100] 此外,图像区域的总数量可以改变。图7A示出了三个图像区域(710、720和730)。然而,中央凹图像可以包括只有两个图像区域或多于三个图像区域(例如,在一些实施例中为五个或六个图像区域)。此外,每个图像区域不一定具有不同的分辨率,即,不同于所有其它区域的分辨率的分辨率。在一些实施例中,可以以相同的分辨率渲染输出图像的两个或更多个区域。
[0101] 图7A示出了不以静态方式渲染中央凹图像的重要性。如果在用户聚焦于图像中心(即聚焦在第一区域710内的点处)的时间期间渲染中央凹图像700,则由于第一区域710的图像质量相对较高,用户将具有良好的观看体验。然而,如果用户稍后将焦点转换到第二区域720或第三区域730内的点,则图像质量将较低,因此观看体验可能会变差。为了解决该问题,在一些实施例中可以执行眼动追踪以修改图像区域的一个或多个属性(例如,大小、形状和/或位置),使得在焦点移动时,焦点周围的区域保持高分辨率。
[0102] 图7B示出了如何通过扫描和提供图像数据之间的同步来生成中央凹图像700的示例。图7B示出了图像700的一部分的行线和列线。行线可以对应于图5中的信号线545。列线可以对应于信号线535。每条行线可以与发射器阵列的对应行相关联。类似地,每条列线可以与发射器阵列的对应列相关联。因此,为了简单起见,图7B中的信号线用其对应的行和列来表示。也就是说,行线被简称为行,列线被称为列。
[0103] 如图7A所示,图像区域沿行方向重叠。例如,第一区域710覆盖也属于第二区域720和第三区域730的行范围701。类似地,第二区域720覆盖属于第三区域730的行范围703。相比之下,第三区域730覆盖与任何其它图像区域中的行不重叠的行范围705。在一些实施例中,基于重叠行中最高分辨率区域的扫描速率来执行对重叠行的扫描。例如,可以使用针对行A和B的单独扫描信号来单独地扫描行范围701中的每一行,例如,一次扫描一行。假设分别通过组合两个相邻行和三个相邻行来设置第二区域720和第三区域730的分辨率。行范围703中的每一行可以例如使用行F和行G的共享扫描信号成对扫描。类似地,可以例如使用行L、M和N的共享扫描信号以三个一组的方式扫描行范围705中的每一行。
[0104] 当在行范围701上扫描时,可以经由列线提供中央凹图像数据和非中央凹图像数据的混合。例如,当扫描行A时,可以使用不同的数据信号将单独的(非中央凹的)图像数据提供给列A和B,因为这些列对应于第一区域710中的列范围702。同时,共享数据信号可以用于为列F和G提供中央凹图像数据,因为这些列对应于第二区域720中的列范围704。类似地,共享数据信号可以用于为列L、M和N提供中央凹图像数据,因为这些列对应于第三区域730中的列范围706。可以在完成行A的扫描之后扫描行B。当扫描行B时,列A和B的图像数据被更新,但再次使用不同的数据信号来提供。与行A的扫描一样,共享数据信号可以用于提供列F和G的中央凹图像数据(例如,当行A被扫描时向列F和G提供相同的数据值),并且另一共享数据信号可以用于提供列L、M和N的中央凹图像数据(例如,当行A被扫描时向列L、M和N提供相同的数据值)。
[0105] 行范围703不属于第一区域710。因此,当跨行范围703扫描时,可以仅提供中央凹图像数据。例如,可以使用共享扫描信号同时扫描行F和G。当扫描行F和G时,共享数据信号可以用于列A和B(第二区域720)、另一共享数据信号用于列F和G(也是第二区域720)、并且又一共享数据信号用于列L、M和N(第三区域730)。
[0106] 行范围705仅属于第三区域730。这样,可以使用共享扫描信号同时扫描行L、M和N。当扫描行L、M和N时,共享数据信号可以用于列A和B加上三列组中的另一列(例如,列C,未示出),另一共享数据信号用于列F和G加上三列组中的另一列(例如,列H,未示出),并且另一共享数据信号用于列L、M和N。
[0107] 如刚刚所描述的示例中所示,对行和列的图像数据进行组合可以涉及行侧上的信号与列侧上的信号之间的协调,使得扫描和提供图像数据被适当地同步。此外,显而易见的是,当不同分辨率的区域之间沿扫描方向存在重叠时,可能需要更大程度的协调。在一些实施例中,可以通过使显示控制器为输出图像的一些部分生成中央凹图像数据来降低控制逻辑的实现复杂性。例如,如果使用显示系统500来生成图像700,则当扫描行A时,图像处理器或显示驱动器520本身可以提供列F和G的中央凹图像数据。这将使控制逻辑532不必在行A的扫描期间为列F和G生成中央凹图像数据,但代价是具有额外的功耗。类似地,当扫描行A时,图像处理器或显示驱动器还可以提供用于列L、M和N的中央凹图像数据。
[0108] 图8A和图8B示出了根据某些实施例的使用眼动追踪生成的中央凹图像的示例。在图8A中,中央凹图像800包括第一区域810、第二区域820和第三区域830,该第一区域810、第二区域820和第三区域830分别与图7A中的第一区域710、第二区域720和第三区域730类似。如图所示,第一区域810具有完全(或最高)分辨率,第二区域820具有较低分辨率,而第三区域830具有最低分辨率。此外,第二区域820围绕第一区域810,并且第二区域820又被第三区域830包围。图像800是在用户的眼睛位置802大致沿竖直方向(y轴)居中但沿水平方向(x轴)略偏左的时候渲染的。如图8A所示,眼睛位置802对应于具有坐标(x1,y1)的焦点,该坐标例如可以用显示像素坐标来表示。第一区域810大致围绕眼睛位置802居中。也就是说,第一区域810的中间等于或接近焦点(x1,y1)。
[0109] 在图8A的示例中,第一区域810的大小与第一区域710的大小大致相同,第二区域820的大小与第二区域720的大小大致相同,并且第三区域830的大小与第三区域730的大小大致相同。然而,由于眼睛位置802相对于图像的中心略微向左移动,所以区域810、820和
830也向左移动。如图所示,区域810、820和830中的每个区域更靠近图像800的左侧。因此,沿着第二区域820的左侧的宽度822小于沿着第二区域的右侧的宽度824。类似地,沿着第三区域830的左侧的宽度832小于沿着第三区域830的右侧的宽度834。
[0110] 图8B示出了当用户的眼睛位置804大致沿竖直方向居中但沿水平方向略偏右时渲染的中央凹图像850。如图8B所示,眼睛位置804对应于具有坐标(x2,y1)的焦点。因此,眼睛位置804表示朝向显示器的右侧的眼动。可以在用户的眼睛已经从眼睛位置802移动到眼睛位置804之后的某个时间渲染图像850,使得图像800和图像850形成呈现给用户的一系列图像。图像850可以但不一定对应于与图像800相同的输入图像。在一些实例中,可以通过处理用于较早输出图像(例如图像800)的相同图像数据来渲染后续输出图像(例如图像850),使得后续输出图像表示相同的图像内容但具有不同的分辨率区域配置。
[0111] 可以基于原始输入图像或基于表示较早输出图像的图像数据来生成后续输出图像。例如,在一些实施例中,控制逻辑532可以包括存储缓冲器,该存储缓冲器存储最近的一组中央凹图像数据和/或最近的一组非中央凹图像数据。因此,显示系统500的控制逻辑可以被配置为产生输入图像的不同版本,而不需要显示驱动器520重新提供输入图像的图像数据。
[0112] 由于显示器的帧率和刷新率通常高于用户眼睛移动的速度,因此多个输出图像可以基于相同的输入图像。例如,显示器可以以每秒30帧(frames per second,Fps)或更快(例如,60fps)并且使用60赫兹(hertz,Hz)或120Hz的刷新率来操作。因此,有时可以连续地显示相同的输入图像。在其它实例中,后续输出图像可以基于不同的输入图像。因此,可以使用与用于生成图像800的图像数据不同的图像数据来生成图像850。
[0113] 如图8B所示,当用户的眼睛移动到眼睛位置804时,最高分辨率区域(810)相应地跟随。因此,第一区域810的中心(或区域810内的某个其它参考点)可以相对于用户眼睛的焦点保持相对固定。类似于图8A中的示例,其它图像区域也基于眼睛位置移动。在图8B中,第二区域820和第三区域830均向右移动。相应地,基于图8A和图8B的示例,将理解的是,图像区域可以被重新配置(例如,移动)以保持较高分辨率区域更靠近用户眼睛的焦点,并且保持较低分辨率区域更远离该焦点。
[0114] 此外,如上所述,还可以改变图像区域的大小、形状或其它属性。这样的改变也可以基于眼动追踪来执行。例如,在一些实施例中,当用户的眼睛在一段时间内保持静止时,最高分辨率区域(例如,区域810)的大小可以逐渐减小。作为另一示例,代替移动整个第一区域810,第一区域810可以朝着眼睛移动的方向被加宽(例如,被扩展以包括眼睛位置802和眼睛位置804两者),然后响应于确定用户的眼睛保持聚焦在新的眼睛位置(例如,眼睛位置804)上或周围达阈值时间段、而被缩小以排除较早的眼睛位置(例如,眼睛位置802)。这可以潜在地改善用户在多个眼睛位置之间来回切换的情况下的观看体验。
[0115] 在一些实施例中,可以基于用户偏好来配置中央凹的一个或多个任何方面。例如,显示系统500可以允许用户指定图像区域的总数量、每个区域的大小和/或每个区域的分辨率。在一个示例中,显示系统500可以预先配置有用于不同观看场景的默认设置,其包括第一设置,其中,与第二设置中的最高分辨率区域的尺寸相比,该第一设置中的最高分辨率区域的尺寸更大。例如,第一设置可以为第一区域810定义±30°的视角,而第二设置可以为第一区域810定义±20°的视角。第一设置可以是用于观看电影或玩视频游戏的推荐设置,而第二设置可以被推荐用于阅读文本文档或进行网络浏览。显示系统500可以允许用户在多个默认设置之间切换。此外,显示系统500可以例如通过图形用户界面提供如下选项:该选项用于手动配置一个或多个图像区域的大小或执行一些其它定制。例如,显示系统500可以显示表示每个图像区域的边界的框,并且允许用户例如使用拖放(drag‑and‑drop)操作来调整框的大小和/或重新定位框。显示系统500可以例如通过将用户配置的图像区域的大小映射到对应的视角并采集与用户配置的图像区域相关联的像素坐标(例如,角或中点的位置),来将用户的输入转换为对应的配置设置值。这样,用户可能能够相对于较低分辨率区域的大小和/或位置来指定较高分辨率区域的大小和/或位置。例如,用户可以设置区域810的大小和区域820的大小之间的比率,使得区域810的像素计数不同于(高于或小于)区域820。
[0116] 图9示出了根据某些实施例的当用户的眼睛聚焦在显示器的边缘附近时渲染的中央凹图像900的示例。在图9中,眼睛位置902对应于具有坐标(x3,y3)的焦点,并且非常接近显示器的左上角。与图8A和图8B中的示例图像一样,图像900被分成三个区域:第一区域910、第二区域920和第三区域930。第一区域910具有完全(或最高)分辨率,第二区域920具有较低分辨率,而第三区域930具有最低分辨率。与图8A和图8B不同,具有最高分辨率的区域(910)没有完全被较低分辨率区域包围。因为眼睛位置902靠近左上角,所以第一区域910一直延伸到图像900的上边缘和左边缘。因此,在本示例中,只有第一区域910的右侧和底侧被第二区域920包围。第三区域930围绕第二区域920的右侧和底侧。因此,第一区域910与第二区域920之间的空间关系类似于第二区域920与第三区域930之间的空间关系,但这可以根据眼动而改变。
[0117] 图7A、图8A、图8B和图9中的示例描绘了较高分辨率区域嵌套在较低分辨率区域内的图像。尽管图像分辨率通常朝着输出图像的外围降低,但输出图像不一定要遵循严格的嵌套模式。例如,在一些实施例中,较高分辨率区域(例如,区域910)可以被较低分辨率区域的混合包围。因此,第二区域920和/或第三区域930可以各自被划分为具有不同分辨率的子区域。例如,第二区域920可以由在第一分辨率与第二分辨率之间交替的多个子区域组成,其中第一分辨率和第二分辨率低于第一区域910的分辨率。
[0118] 此外,在一些实施例中,可以以全分辨率或最高分辨率渲染多个图像区域。例如,显示系统500可以基于眼动追踪和/或对输入图像的内容的分析(例如,使用计算机视觉算法人工智能的对象检测)来确定图像900中的另一位置在视觉上是显著的。在一个示例中,显示驱动器520或图像处理器可以获取指示用户想要聚焦在第一区域910之外的第二位置的眼动追踪结果。第二位置可以是这样的位置:在重复显示相同输入图像(例如,静态图像内容)的过程中或在几个输入图像的过程中,用户具有再次访问的模式的位置。因此,显示驱动器520或图像处理器可以确定第二位置周围的感兴趣区域,以便以比第二区域920或第三区域930的分辨率更高的分辨率(例如,以与第一区域910相同的分辨率)进行渲染。因此,可以应用眼动追踪结果来确定用户的当前眼睛位置周围的感兴趣区域(例如,区域910),并确定要以相对于周围区域更高的分辨率来渲染的一个或多个附加感兴趣区域。
[0119] 图10是根据某些实施例的用于使用眼动追踪来生成中央凹图像的过程1000的流程图。可以使用配备有眼动追踪单元的显示系统来执行过程1000。在一些实例中,执行过程1000的显示系统可以是人工现实系统环境中的近眼显示器,例如图1中的近眼显示器120。
参照图10描述的功能可以使用一个或多个处理单元来实现,该一个或多个处理单元通过使用图像数据和控制信号驱动显示系统的显示器来指示对输出图像的渲染。在一些实施例中,可以由形成显示驱动器和/或相关联的控制部件的处理单元来执行过程1000的一个或多个步骤。例如,可以使用如参考图4所描述的图像处理器430、驱动器444和/或控制器420来实现过程1000。在一些实施例中,执行过程1000的显示系统可以对应于图5中的显示系统
500,在这种情况下,可以使用通信地耦接到显示驱动器的控制逻辑(例如,控制逻辑532和控制逻辑542)来执行至少一些处理。
[0120] 在框1002处,启动图像传感器以采集用户眼睛的一个或多个图像。例如,图像传感器可以是互补金属化物半导体(complementary metal‑oxide‑semiconductor,CMOS)图像传感器,该CMOS图像传感器是图1中的眼动追踪单元130的一部分。图像传感器不需要连续开启,而是可以替代地被配置为周期性地采集用户眼睛的图像。具体地,图像传感器可以以比显示器更慢的帧率(例如,30fps对比60fps)操作。在一些实施例中,图像传感器可以在单个图像中采集用户的双眼。替代地,可以为每只眼睛提供单独的图像传感器。图像传感器可以在各采集操作之间关闭,以节省功率。
[0121] 在框1004处,对由图像传感器采集的一个或多个图像进行处理以确定用户的眼睛是否睁开。该确定可以由眼动追踪单元执行或由与眼动追踪单元通信的一些其它部件(例如,由图4中的图像处理器430)执行。如果用户的眼睛闭上,则过程1000前进到框1006,在框1006处将显示器置于休眠模式以节省电力。将显示器置于休眠模式可以关闭显示器的光源(例如,微型LED)。如果用户的眼睛是睁开的,则该过程前进到框1008。
[0122] 在框1008处,眼动追踪单元执行眼动追踪以监测用户眼睛的移动。通常,眼动追踪涉及一种或多种类型的眼睛测量,例如,与注视相关的测量,其中用户的注视保持固定在单个位置。眼睛测量还可以包括对扫视的测量,扫视是在两次注视之间发生的快速眼动。与扫视相关的参数可以包括例如扫视次数、幅度、速度、加速度和注视‑扫视比率。眼睛测量还可以包括对扫描路径的测量,该扫描路径包括在眼睛到达显示屏上的目标位置之前交替的一系列短注视和扫视。从扫描路径导出的移动测量可以包括例如扫描路径方向、持续时间、长度和覆盖的区域。眼动测量还可以包括:测量在眼睛离开感兴趣区域之前在该区域进行的所有注视的总和或在每个区域花费的时间的比例。眼睛测量还可以包括测量瞳孔大小和眨眼率。因此,框1008中的眼动追踪可以涉及表征用户的眼睛行为(例如,以预测下一次眼动)。
[0123] 在框1010处,基于框1008中的眼动追踪来估计焦点。焦点可以对应于用户的眼睛当前注视的位置。焦点可以被估计为特定的像素或像素区域,并且可以用像素坐标来表示。在一些实施例中,眼动追踪单元可以执行估计以将焦点作为输入提供给显示控制器或图像处理器(例如,图像处理器430)。
[0124] 在框1012处,确定一组图像区域。每个图像区域对应于待在显示器上渲染的中央凹图像内的区域。例如,图7A中的区域710、720和730中的每个区域的边界可以由图4中的图像处理器430或驱动器444来确定。如图10所示,可以根据焦点的坐标和对应的视角或视场角(field of view,fov)来确定每个图像区域。例如,最高分辨率区域(例如,区域710)可以跨越±15°的视角,次高分辨率区域(例如,区域720)可以跨越±30°的视角,并且最低分辨率区域(例如,区域730)可以跨越±90°的视角。
[0125] 在框1014处,关于在框1012中确定的图像区域的信息被传送到显示驱动器或与该显示驱动器相关联的控制逻辑。例如,在由图像处理器确定图像区域的实施例中,图像处理器可以向显示驱动器发送描述每个图像区域的边界的信息,使得显示驱动器可以相应地生成控制信号。基于在框1014中传送的信息,显示驱动器和/或控制逻辑可以驱动显示器以形成具有在框1012中确定的区域的中央凹输出图像。可以周期性地(例如,在一定数量的显示帧之后)重复过程1000,以基于更新的眼动信息生成附加的中央凹输出图像。
[0126] 图11是根据某些实施例的用于借助控制逻辑生成中央凹图像的过程1100的流程图。在一些实例中,执行过程1100的显示系统可以是人工现实系统环境中的近眼显示器,例如图1中的近眼显示器120。参照图11描述的功能可以使用一个或多个处理单元来实现,该一个或多个处理单元通过使用图像数据和控制信号驱动显示系统的显示器来指示对输出图像的渲染。在一些实施例中,可以由形成显示驱动器和/或相关联的控制部件的处理单元来执行过程1100中的一个或多个步骤。例如,可以使用如参考图4所描述的图像处理器430、驱动器444和/或控制器420来实现过程1100。在一些实施例中,执行过程1100的显示系统可以对应于图5中的显示系统500,在这种情况下,可以使用通信地耦接到显示驱动器的控制逻辑(例如,控制逻辑532和控制逻辑542)来执行至少一些处理。过程1100包含上面关于图10中的过程1000描述的功能,但可以单独地执行或结合过程1000来执行。
[0127] 在框1102处,生成用于基于输入图像来渲染输出图像的图像数据。例如,图像处理器或显示驱动器可以从主计算机系统的CPU(例如,图1中的控制台110)接收指令,以使用显示器呈现输入图像。可以以数字格式对输入图像进行编码。因此,作为生成图像数据的一部分,图像处理器或显示驱动器可以对输入图像的内容进行解析,并执行一个或多个数字图像处理操作,例如解码、解压缩、和/或色彩校正等,以准备将输入图像渲染为显示图像。图像数据可以包括一种或多种类型的照明参数,该一种或多种类型的照明参数以用于驱动显示器的光源的电信号的形式而传送到显示器。例如,在框1102中生成的图像数据可以对应于提供给如图5所示的显示器的列侧的非中央凹图像数据。
[0128] 在框1104处,获取焦点的坐标。例如,根据图10中的框1002至1010的功能,可以基于眼动追踪来确定焦点。焦点可以是用户的单眼或双眼所注视的屏幕位置或显示图像位置。例如,在显示器是被双眼观看的单个面板的实施例中,可以通过追踪两只眼睛以确定注视方向并将注视方向映射到屏幕位置来确定焦点。显示控制器可以基于眼动追踪的结果来计算焦点的坐标。替代地,如上所述,可以将焦点坐标作为输入提供给显示控制器。
[0129] 在框1106处,基于焦点的坐标确定输出图像第一区域和第二区域。第一区域是将以比第二区域更高的分辨率渲染的图像区域。例如,第一区域可以对应于图8A中的图像区域810,该第一区域位于具有坐标(x1,y1)的焦点周围。为简单起见,对过程1100的论述被限制为两个图像区域。然而,如上所述,图像区域的总数量可以更大。确定第一图像区域和第二图像区域可以涉及设置每个区域相对于焦点的边界。对边界的确定可以包括确定每个区域的位置(例如,与图像区域810的中点/中心相对应的x,y坐标)。通常,最高分辨率区域(例如,图像区域810)的中点与焦点相同,而较低分辨率区域(例如,图像区域820)的中点也是焦点或根据眼睛位置而偏离焦点。但是,并不严格要求任何图像区域(包括最高分辨率区域)的中点与焦点重合。这样,图像区域810的中点可以被计算为相对于图8A中的眼睛位置802(x1,y1)在x方向和/或y方向上的偏移量。此外,在一些实施例中,可以基于与每个区域进行关联存储的设置来确定边界。例如,在图10的框1012中,可以为每个图像区域存储单独的视角。在一些实例中,与图像区域相关的设置可以是用户配置的。
[0130] 在框1108处,将在框1102中生成的图像数据与相应的控制信号一起发送到控制逻辑。可以从显示驱动器(例如图5中的显示驱动器520)发送图像数据和控制信号。控制信号被配置为使控制逻辑使用合适的数据和扫描信号来渲染输出图像。由控制逻辑接收的控制信号可以识别每个图像区域。例如,控制信号可以指示要对每个低分辨率区域(例如,第二区域)的行和列中的哪些行和列进行组合。控制信号还可以指示每个图像区域的边界和/或这些图像区域的其它方面(例如,大小和形状)。因此,控制信号可以包括如下信号:所述信号指示控制逻辑将来自框1102的图像数据的子集作为输入图像的较低分辨率(中央凹)版本发送到显示器。
[0131] 在框1110处,通过控制逻辑向显示器传输在框1102中生成的图像数据,或者更具体地,通过控制逻辑向显示器传输重新格式化以对应于输入图像的中央凹版本之后的图像数据。在图5的示例中,可以使用控制逻辑532结合由控制逻辑542执行的扫描来传输图像数据。
[0132] 在框1112处,作为渲染第二区域的一部分,控制逻辑可以例如响应于在框1108中发送的控制信号而将共享信号输出到多条信号线上,该多条信号线耦接到一组相邻行或列中的光源。如上所述,共享信号可以是携带图像数据的列信号或共享扫描信号。两种类型的共享信号都可以用来渲染第二区域。因此,在框1108中发送到控制逻辑的控制信号可以包括指示将扫描信号输出到显示器的时序的信号,例如,与携带图像数据的列信号同步。扫描信号可以操作以选择显示器的哪些行将在任何给定时间接收由列信号携带的输入数据。以这种方式,可以在一系列扫描操作的过程中渲染输出图像,在该一系列扫描操作中,中央凹图像数据被提供给属于第二区域的驱动光源。类似地,如果第一区域要以低于全分辨率(例如,低于输入图像的分辨率或显示器的固有分辨率)来渲染,则控制逻辑可以使用与提供中央凹图像数据相关的共享信号来驱动属于第一区域的光源。
[0133] 本文所描述的实施例可以结合各种技术来使用。例如,如上所述,各实施例可以在人工现实系统环境中使用。人工现实系统(例如,头戴式显示器(HMD)系统或平视显示器(HUD)系统)通常包括被配置为呈现描绘虚拟环境中的各对象的人工图像的显示器。如在虚拟现实(VR)应用、增强现实(AR)应用或混合现实(MR)应用中,显示器可以呈现虚拟对象,或者将真实对象的图像与虚拟对象组合。例如,在AR系统中,用户例如通过透过透明显示眼镜或透镜进行观看(通常称为光学透视)、或通过观看显示的由摄像头采集的周围环境的图像(通常称为视频透视),可以观看显示的虚拟对象的图像(例如,计算机生成图像(computer‑generated image,CGI))和周围环境这两者。
[0134] 本文所公开的实施例可以用于实现人工现实系统的各部件,或者可以结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某些方式进行了调整的现实形式,该人工现实例如可以包括虚拟现实、增强现实、混合现实(mixed reality)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集的(例如,真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,并且以上中的任何一种都可以在单个通道或多个通道中呈现(例如,给观看者带来三维效果的立体视频)。此外,在一些实施例中,人工现实还可以与应用程序、产品、附件、服务或它们的某种组合相关联,这些应用程序、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容,和/或以其它方式用于人工现实(例如,在人工现实中执行动作)。提供人工现实内容的人工现实系统可以在各种平台上实现,这些平台包括连接到主计算机系统的HMD、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。
[0135] 图12是可用于实现本文所公开的多个实施例中的一个或多个实施例的示例电子系统1200的框图。例如,电子系统1200可以对应于诸如图1中所描绘的人工现实系统环境中的近眼显示器(例如,HMD)和/或控制台。电子系统1200可以包括一个或多个处理器1210和存储器1220。一个或多个处理器1210可以被配置为执行用于在多个部件处执行各操作的指令,并且可以包括例如适合在便携式电子设备内实现的通用处理器或微处理器。在一些实施例中,一个或多个处理器1210中的至少一些处理器嵌入在SoC集成电路上。一个或多个处理器1210可以与电子系统1200内的多个部件通信地耦接。为了实现这种通信耦接,一个或多个处理器1210可以通过总线1240与示出的其它部件通信。总线1240可以是适于在电子系统1200内传输数据的任何子系统。总线1240可以包括用于传输数据的多个计算机总线和附加电路。
[0136] 存储器1220可以耦接到一个或多个处理器1210。在一些实施例中,存储器1220可以提供短期存储和长期存储这两者,并且可以被划分为几个单元。存储器1220可以是易失性的,例如静态随机存取存储器(static random‑access memory,SRAM)和/或动态随机存取存储器(dynamic random‑access memory,DRAM),和/或存储器1620可以是非易失性的,例如只读存储器(read‑only memory,ROM)、和闪存等。此外,存储器1220可以包括多个可移动存储设备,例如安全数字(secure digital,SD)卡。存储器1220可以为电子系统1200提供对计算机可读指令、数据结构、软件模块和其它数据的存储。在一些实施例中,存储器1220可以分布到不同的硬件模块中。指令集和/或代码可以存储在存储器1220上。指令可以采取可执行代码、源代码和/或可安装代码的形式。
[0137] 在一些实施例中,存储器1220可以存储多个应用模块1222至1224,该多个应用模块1222至1224可以包括任意数量的应用。应用的示例可以包括游戏应用、会议应用、视频播放应用或其它合适的应用。这些应用可以包括深度感测功能或眼动追踪功能。应用模块1222至1224可以包括待由一个或多个处理器1210执行的特定指令。在一些实施例中,某些应用或应用模块1222至1224的某些部分可以能够由其它硬件模块1280执行。在某些实施例中,存储器1220还可以包括安全存储器,该安全存储器可以包括附加的安全控制,以防止复制安全信息或对安全信息的未经授权的其它访问。
[0138] 在一些实施例中,存储器1220可以包括加载在其中的操作系统1225。操作系统1225可以是可操作的,以启动执行应用程序模块1222至1224提供的指令和/或管理其它硬件模块1280并且与无线通信子系统1230交互,该无线通信子系统可以包括一个或多个无线收发器。操作系统1225可以适于跨电子系统1200中的各部件执行其它操作,该其它操作包括线程、资源管理、数据存储控制和其它类似功能。
[0139] 无线通信子系统1230可以包括例如红外通信设备、无线通信设备和/或芯片组(例如, 设备、IEEE 802.11设备、Wi‑Fi设备、WiMax设备、蜂窝通信设施等)、和/或类似的通信接口。电子系统1200可以包括用于无线通信的一个或多个天线1234,该一个或多个天线1234作为无线通信子系统1230的一部分或作为耦接到该系统的任何部分的单独部件。取决于期望的功能,无线通信子系统1230可以包括多个单独的收发器,以与基站收发台以及其它无线设备和接入点进行通信,这可以包括与不同的数据网络和/或网络类型进行通信,这些数据网络或网络类型例如为无线广域网(wireless wide‑area network,WWAN)、无线局域网(wireless local area network,WLAN)或无线个域网(wireless personal area network,WPAN)。WWAN可以是例如WiMax(IEEE 802.16)网络。WLAN可以是例如IEEE 802.11x网络。WPAN可以是例如蓝牙网络、IEEE 802.15x或一些其它类型的网络。本文所描述的技术也可以用于WWAN、WLAN和/或WPAN的任意组合。无线通信子系统1230可以允许与网络、其它计算机系统和/或本文所描述的任何其它设备交换数据。无线通信子系统1230可以包括用于使用一个或多个天线1234和一个或多个无线链路1232发送或接收数据(例如,HMD设备的标识符、位置数据、地理地图、热图、照片或视频)的装置。无线通信子系统1230、一个或多个处理器1210和存储器1220可以一起包括用于执行本文所公开的一些功能的一种或多种装置中的至少一部分。
[0140] 电子系统1200可以包括一个或多个传感器1290。一个或多个传感器1290可以包括例如图像传感器、加速度计、压力传感器、温度传感器、接近传感器、磁力计、陀螺仪、惯性传感器(例如,组合了加速度计和陀螺仪的模块)、环境光传感器、或可操作以提供感官输出和/或接收感官输入的其它任何类似模块,该模块例如为深度传感器或位置传感器。例如,在一些实施方式中,一个或多个传感器1290可以包括一个或多个惯性测量单元(IMU)和/或一个或多个位置传感器。基于从多个位置传感器中的一个或多个位置传感器接收的测量信号,IMU可以生成指示HMD设备相对于HMD设备的初始位置的估计位置的校准数据。位置传感器可以响应HMD设备的运动而生成一个或多个测量信号。上述位置传感器的示例可以包括但不限于:一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、另一种合适的检测运动的传感器、一种用于IMU的误差校正的传感器、或它们的任意组合。上述位置传感器可以位于IMU的外部、IMU的内部或它们的任意组合。至少一些传感器可以使用结构光图案进行感测。
[0141] 电子系统1200可以包括显示模块1260。显示模块1260可以是近眼显示器,并且可以向用户图形化地呈现来自电子系统1200的信息,例如图像、视频和指令。这样的信息可以从以下项中得到:一个或多个应用模块1222至1224、虚拟现实引擎1226、一个或多个其它硬件模块1280、它们的组合、或用于生成向用户呈现图形内容的任何其它合适的装置。显示模块1260可以使用LCD技术、LED技术、发光聚合物显示(light emitting polymer display,LPD)技术或某种其它显示技术。在一些实施例中,显示模块1260可以包括控制部件,该控制部件被配置为根据本文所描述的技术来执行中央凹成像。
[0142] 电子系统1200可以包括用户输入/输出模块1270。用户输入/输出模块1270可以允许用户向电子系统1200发送动作请求。动作请求可以是执行特定动作的请求。例如,动作请求可以是启动或结束应用程序或执行应用程序内的特定动作。用户输入/输出模块1270可以包括一个或多个输入设备。示例输入设备可以包括触摸屏、触摸板、一个或多个传声器、一个或多个按钮、一个或多个旋钮、一个或多个开关、键盘、鼠标、游戏控制器或用于接收动作请求并向电子系统1200传送所接收的动作请求的任何其它合适的设备。在一些实施例中,用户输入/输出模块1270可以根据从电子系统1200接收的指令向用户提供触觉反馈。例如,可以在接收到动作请求或者该动作请求已经被执行时提供触觉反馈。
[0143] 电子系统1200可以包括摄像头1250,该摄像头1250可以用于拍摄用户的照片或视频,例如,以用于追踪用户的眼睛位置。摄像头1250还可以用于拍摄环境的照片或视频,例如,以用于VR应用、AR应用或MR应用。摄像头1250可以包括例如具有几百万或几千万像素的互补金属氧化物半导体(CMOS)图像传感器。在一些实施方式中,摄像头1250可以包括可用于采集三维图像的两个或更多个摄像头。
[0144] 在一些实施例中,电子系统1200可以包括多个其它硬件模块1280。硬件模块1280可以是电子系统1200内的物理模块。一些硬件模块1280可以被临时配置为执行特定功能或被临时激活。硬件模块1280可以包括例如音频输出和/或输入模块(例如,传声器或扬声器)、近场通信(near field communication,NFC)模块、可再充电电池电池管理系统、和/或有线/无线电池充电系统等。在一些实施例中,可以在软件中实现多个硬件模块1280的一个或多个功能。
[0145] 在一些实施例中,存储器1220可以存储虚拟现实引擎1226。虚拟现实引擎1226可以执行电子系统1200内的应用,并接收来自各种传感器1209的位置信息、加速度信息、速度信息、预测未来位置、或它们的任意组合。在一些实施例中,由虚拟现实引擎1226接收的信息可以用于向显示模块1260生成信号(例如,显示指令)。例如,如果接收到的信息指示用户已经向左看,则虚拟现实引擎1226可以为显示模块1260生成反映用户在虚拟环境中的眼动的内容。此外,虚拟现实引擎1226可以响应于从用户输入/输出模块1270接收的动作请求执行应用程序内的动作并向用户提供反馈。所提供的反馈可以是视觉反馈、听觉反馈或触觉反馈。在一些实施方式中,一个或多个处理器1210可以包括执行虚拟现实引擎1226的一个或多个GPU。
[0146] 在各种实施方式中,上述的硬件和模块可以在单个设备上实现,或者在可使用有线或无线连接彼此通信的多个设备上实现。例如,在一些实施方式中,可以在与近眼显示器分开的控制台上实现一些部件或模块,例如GPU、虚拟现实引擎1226和应用(例如,眼动追踪应用)。在一些实施方式中,一个控制台可以与多于一个近眼显示器连接或者支持多于一个近眼显示器。
[0147] 在可选的配置中,在电子系统1200中可以包括不同的部件和/或附加的部件。类似地,这些部件中的一个或多个部件的功能可以以与上述方式不同的方式分布在这些部件之中。例如,在一些实施例中,可以将电子系统1200修改为包括其它系统环境,例如增强现实系统环境和/或混合现实系统环境。
[0148] 在本公开中,出于解释的目的,阐述了具体细节,以便提供对所公开示例的透彻理解。然而,将显而易见的是,可以在没有这些具体细节的情况下来实践各种示例。例如,设备、系统、结构、组件、方法和其它部件可以被示出为框图形式的部件,以免在不必要的细节中模糊这些示例。在其它实例中,可以在没有必要细节的情况下示出众所周知的设备、过程、系统、结构和技术,以免模糊这些示例。这些附图和描述不旨在是限制性的。在本公开中已使用的术语和表达均用作描述性术语而非限制性术语,并且在使用这些术语和表达时无意排除所示出和描述的多个特征或其多个部分的任何等同物。词语“示例”在本文中用于表示“用作示例、实例或说明”。本文中被描述为“示例”的任何实施例或设计不一定被解释为比其它实施例或设计优选或有利。
[0149] 以上论述的方法、系统和设备均为示例。各种实施例可以适当地省略、替换或添加各种程序或部件。例如,在替代的配置中,可以以与所描述的顺序不同的顺序来执行所描述的方法,和/或可以添加、省略和/或组合各种阶段。此外,关于某些实施例描述的特征可以在各种其它实施例中组合。可以以类似的方式组合各个实施例中的不同方面和元件。此外,技术在发展,因此许多元件都是示例,这些示例并不会将本公开的范围限制在这些具体示例中。
[0150] 在描述中给予了许多具体细节,以提供对各实施例的透彻理解。然而,可以在没有这些具体细节的情况下来实践各实施例。例如,已经在不具有非必要细节的情况下示出了众所周知的电路、过程、系统、结构和技术,以免模糊这些实施例。本描述仅提供了示例实施例,并且不旨在限制本发明的范围、适用性或配置。而是,对各实施例的前述描述将为本领域技术人员提供用于实现各种实施例的使能描述。在不脱离本公开的精神和范围的情况下,可以对各元件的功能和布置进行各种改变。
[0151] 此外,将一些实施例作为被描绘为流程图或框图的过程进行了描述。尽管每个过程都可以将各操作描述为顺序过程,但这些操作中的许多操作可以并行或同时执行。此外,这些操作的顺序可以被重新排列。过程可以具有图中未包括的附加步骤。此外,方法的各实施例可以通过硬件、软件、固件中间件、微代码、硬件描述语言或它们的任意组合来实现。当以软件、固件、中间件或微代码实现时,用于执行相关任务的程序代码或代码段可以存储在诸如存储介质的计算机可读介质中。各处理器可以执行相关任务。
[0152] 对本领域的技术人员来说将显而易见的是,可以根据多个具体的要求做出实质性的变型。例如,也可以使用定制的或专用的硬件,和/或可以在硬件、软件(包括便携式软件,例如小程序等)或硬件和软件这两者中实现特定元素。此外,可以采用与诸如网络输入/输出设备等其它计算设备的连接。
[0153] 参考附图,可包括存储器的各部件可以包括非暂态机器可读介质。术语“机器可读介质”和“计算机可读介质”可以指参与提供使机器以特定方式运行的数据的任何存储介质。在上文所提供的实施例中,各种机器可读介质可以涉及向多个处理单元和/或其它一个或多个设备提供指令/代码,以供执行。附加地或替代地,机器可读介质可以用于存储和/或携载这些指令/代码。在许多实施方式中,计算机可读介质是物理的和/或有形的存储介质。这种介质可以采用多种形式,该多种形式包括但不限于非易失性介质、易失性介质和传输介质。常见形式的计算机可读介质包括例如诸如光盘(compact disk,CD)或数字多功能光盘(digital versatiledisk,DVD)等磁介质和/或光学介质、穿孔卡、纸带、具有多个孔图案的任何其它物理介质、RAM、可编程只读存储器(programmable read‑only memory,PROM)、可擦除可编程只读存储器(erasable programmable read‑only memory,EPROM)、FLASH‑EPROM、任何其它存储芯片或盒式存储器(cartridge)、如下文描述的载波、或计算机可从其读取指令和/或代码的任何其它介质。计算机程序产品可以包括代码和/或多个机器可执行指令,该代码和/或机器可执行指令可以表示过程、功能、子程序、程序、例程、应用程序(App)、子例程、软件模块、软件包、类,或指令、数据结构或程序语句的任意组合。
[0154] 本领域技术人员将理解的是,用于传达本文所描述的消息的信息和信号可以使用各种不同科技和技术中的任何来表示。例如,整个上述描述中可能引用的数据、指令、命令、信息、信号、位、符号和芯片可以使用电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或它们的任意组合来表示。
[0155] 如本文所使用的术语“和”和“或”可以包括多种含义,这些含义还预期至少部分地基于使用这些术语时的上下文。通常,“或”如果用于关联一列表(例如A、B或C),则旨在表示A、B和C(此处用于包括性意义)、以及A、B或C(此处用于排它性意义)。此外,如本文所使用的术语“一个或多个”可以用于以单数形式描述任何特征、结构或特性,或者可以用于描述特征、结构或特性的某种组合。然而,应当注意的是,这仅仅是说明性示例,并且所要求保护的主题不限于该示例。此外,术语“中的至少一个”如果用于关联列表(例如,A、B或C),则可以被解释为表示A、B、和/或C的任何组合,例如A、AB、AC、BC、AA、ABC、AAB、AABBCCC等。
[0156] 此外,尽管已经使用硬件和软件的特定组合对某些实施例进行了描述,但是应当认识到的是,硬件和软件的其它组合也是可能的。某些实施例可以仅以硬件、或仅以软件、或使用它们的组合来实现。在一个示例中,软件可以使用包含计算机程序代码或指令的计算机程序产品来实现,该计算机程序代码或指令可以由一个或多个处理器执行,以用于执行本公开中所描述的步骤、操作或过程中的任何或所有,其中,计算机程序可以存储在非暂态计算机可读介质上。本文描述的各种过程可以在同一处理器或以任意组合的不同处理器上实现。
[0157] 在设备、系统、部件或模块被描述为被配置为执行某些操作或功能的情况下,这种配置可以例如通过如下来完成:通过设计执行该操作的电子电路,通过对(例如通过执行计算机指令或代码)执行该操作的可编程电子电路(例如微处理器)进行编程或通过对被编程为执行存储在非暂态存储介质上的代码或指令的处理器或内核进行编程,或它们的任意组合。多个进程过程可以使用多种技术进行通信,这些技术包括但不限于用于进程间通信的传统技术,并且不同的进程对可以使用不同的技术,或者同一进程对在不同的时间可以使用不同的技术。
[0158] 因此,说明书和附图应被认为是说明性的,而非限制性的。然而,将显而易见的是,在不脱离如权利要求中所阐述的更广泛的精神和范围的情况下,可以向其进行各种添加、减去、删除以及其它修改和改变。因此,尽管已经描述了多个具体实施例,但这些具体实施例并不旨在进行限制。各种修改和等同物均落入所附权利要求的范围内。
QQ群二维码
意见反馈