首页 / 专利库 / 数学与统计 / 滤波反投影 / 用于近眼显示器的压缩方法和系统

用于近眼显示器的压缩方法和系统

阅读:360发布:2022-03-10

专利汇可以提供用于近眼显示器的压缩方法和系统专利检索,专利查询,专利分析的服务。并且公开了用于 近眼显示器 系统的图像压缩方法,其降低了输入带宽和系统处理资源。目标在于匹配人类视觉系统 角 度、 颜色 和深度锐度的高阶基调制、动态 色域 、光场深度 采样 和图像数据字长截断和量化,外加使用压缩的输入显示器,在适合于移动应用的近眼显示器系统中以显著降低的输入 接口 带宽和处理资源实现了高保真视觉体验。,下面是用于近眼显示器的压缩方法和系统专利的具体信息内容。

1.一种形成近眼显示器的方法,包括:
利用至少一个对应光学元件将至少一个图像显示器元件光学耦合到近眼显示器观看者的眼睛;
 通过或者将图像处理器元件和编码器元件嵌入在所述观看者的眼睛的附近内的所述近眼显示器系统内,或者将所述图像处理器元件和编码器元件远离所述观看者的眼睛远程定位并将所述编码器元件或无线地或通过有线连接耦合到所述近眼显示器系统,将所述图像处理器元件电耦合到所述编码器元件,并将所述编码器元件电耦合到所述图像显示器元件;
光学耦合所述近眼显示器中的至少一个眼睛和头部跟踪元件以感测近眼显示器观看者的眼睛凝视方向和焦距;以及
 将所述眼睛和头部跟踪元件的输出耦合到所述图像处理器和编码器元件;
由此,所述图像处理器元件向所述编码器元件提供图像数据,并且所述编码器元件向所述近眼显示器元件提供压缩的图像数据。
2.根据权利要求1所述的方法,其中所述图像显示器元件直接显示它从所述编码器元件接收的所述压缩的图像数据的所述图像内容,而无需首先解压缩所述压缩的图像数据。
3.根据权利要求1所述的方法,其中所述编码器将所述图像数据压缩成压缩图像数据格式,并且所述图像显示器元件直接显示它从所述编码器元件接收的所述压缩图像数据格式的所述图像内容,而无需首先解压缩所述压缩的图像数据。
4.根据权利要求3的方法,其中所述压缩的图像数据是根据包括多个n×n像素的高阶宏的集合来格式化,其中所述宏的基调制系数是离散Walsh、离散小波或离散余弦图像变换的扩展系数。
5.根据权利要求3所述的方法,其中所述图像显示器元件以子速率调制所述压缩的图像数据,这使得近眼显示器系统观看者的人类视觉系统将压缩的图像数据整合并直接感知为解压缩的图像。
6.根据权利要求3所述的方法,其中所述压缩图像数据格式是根据图像帧或子帧颜色色域的,其中所述编码器元件将所述图像帧或子帧颜色色域嵌入在所述压缩图像数据格式内,并且其中所述图像显示器元件以所述压缩图像数据格式的帧或子帧速率动态地调整其颜色色域,并且直接根据嵌入在所述压缩图像数据格式中的所述图像帧或子帧颜色色域来调制所述压缩的图像数据。
7.根据权利要求4所述的方法,其中所述编码器元件包括:
视觉解压缩变换元件,其从所述图像数据提取所述基调制系数;
量化器元件,其首先基于系数集合截断准则将所述提取的基调制系数截断成提取的调制系数的子集,所述量化器元件进一步基于系数集合量化准则使用比基调制系数的所述提取子集的字长更短的字长来量化提取的调制系数的选择的子集;以及
 行程长度编码器元件,其在时间上复用提取的基调制系数的所述截断和量化子集,并且发送提取的基调制系数的复用的截断和量化子集作为所述压缩的图像数据。
8.根据权利要求7所述的方法,其中所述系数集合截断准则丢弃与具有时间响应的图像变换相关联的所提取的基调制系数,所述时间响应是比近眼显示器系统观看者的视觉系统的时间感知锐度极限更高频率的。
9.根据权利要求7的所述方法,其中所述系数集合量化准则为具有较高频率的时间响应的所述图像变换来选择连续较短的字长。
10.根据权利要求7所述的方法,其中所述系数集合量化准则进一步选择与相对于图像显示器元件标准色域大小的帧或帧区域色域大小成比例的字长,使得所述传达的帧或帧区域色域大小相对于所述图像显示器元件标准色域大小越小,用于表示所选择的图像变换的颜色坐标的所述字长越小。
11.根据权利要求4所述的方法,其中所述编码器元件进一步包括:
视觉解压缩变换元件,其基于由所述眼睛和头部跟踪元件感测的观看者的凝视方向来从所述压缩的图像数据针对(n×n)高阶宏的所述集合提取所述基调制系数;
有凹量化器元件,其利用由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向来首先基于系数集合截断准则将基调制系数的所述提取的集合截断成基调制系数的子集,所述有凹量化器元件还使用比基调制系数的所述提取的子集的字长更短的字长基于系数集合量化准则来量化基调制系数的所述子集;以及
行程长度编码器元件,其在时间上复用基调制系数的所述截断和量化子集,并且将基调制系数的所述复用的截断和量化子集作为所述压缩的图像数据耦合到所述图像显示器元件。
12.根据权利要求11所述的方法,其中所述基调制系数集合截断准则丢弃与具有时间响应的基调制系数相关联的所提取的基调制系数,所述时间响应是比近眼显示器系统观看者的视觉系统的时间感知锐度限制更高频率的。
13.根据权利要求11所述的方法,其中所述基调制系数集合截断准则为如由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向而确定的观看者的眼睛的视场的中心区域来选择更大数量的所提取的基调制系数,并且朝向所述观看者的眼睛的视场的外围区域来选择连续更少的基调制系数。
14.根据权利要求11所述的方法,其中所述基调制系数集合量化准则为具有较高频率的时间响应的所述基调制系数来选择连续较短的字长,并且还为如由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向而确定的观看者的眼睛的视场的中心区域来选择较长的字长以用于对基调制系数的所述量化,并且朝向所述观看者的眼睛的视场的外围区域来选择连续较短的字长以用于对基调制系数的所述量化。
15.根据权利要求11所述的方法,其中所述基调制系数集合截断准则为如由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向而确定的观看者的眼睛的视场的中心区域来选择所述压缩的图像数据的较高阶宏,并且为如由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向而确定的所述观看者的眼睛的视场的外围区域来连续地选择较低阶宏。
16.根据权利要求11所述的方法,其中所述基调制系数集合截断准则选择字长,使得使用连续较短的字长来基于显示器颜色色域表达基调制系数,所述字长取决于近眼显示器系统观看者的人类视觉系统的颜色锐度轮廓,所述显示器颜色色域取决于相对于所述观看者的眼睛凝视方向的所述观看者的人类视觉系统颜色锐度轮廓。
17.根据权利要求1所述的方法,使用反射器和分束器光学组件、自由形式的光楔或波导光学器件。
18.一种形成近眼光场显示器系统的方法,包括:
利用对应光学元件将至少一个光场图像显示器元件光学耦合到近眼光场显示器观看者的眼睛中的每只眼睛;
通过或者将图像处理器和编码器元件嵌入在所述观看者的眼睛的附近内的所述近眼光场显示器系统内,或者将所述图像处理器和编码器元件远离所述观看者的眼睛远程定位并将所述编码器元件或无线地或通过有线连接耦合到所述近眼光场显示器系统,将所述图像处理器元件电耦合到所述编码器元件,并将所述编码器元件电耦合到所述图像显示器元件;
光学耦合所述近眼光场显示器系统中的至少一个眼睛和头部跟踪元件以感测近眼显示器观看者的眼睛凝视方向和焦距中的每个;以及
将所述眼睛和头部跟踪元件的输出耦合到所述图像处理器和编码器元件;
由此,所述图像处理器元件向所述编码器元件提供光场图像数据,并且所述编码器元件向所述光场图像显示器元件提供压缩的光场图像数据。
19.根据权利要求18所述的方法,其中所述光场图像显示器元件使用所述近眼光场显示器系统的右侧和左侧光场图像显示器元件中的每个的多个(m×m)物理像素的组,利用要被显示到近眼光场显示器系统观看者的光场的样本,作为多个视图或作为多个焦平面样本,来调制近眼光场观看者的人类视觉系统的相应侧。
20.根据权利要求19所述的方法,其中所述光场样本由所述近眼光场显示器系统的所述右侧和左侧光场图像显示器元件来调制,每个光场样本是准直且定向调制的光束或带,其通过微光学元件的集合耦合到所述对应光学元件上,每个微光学元件与所述物理像素中的相应一个相关联,包括所述右侧和左侧光场图像显示器元件的多个(m×m)物理像素的每个组内的微光学元件的每个集合的光学孔径。
21.根据权利要求20所述的方法,其中与所述光场图像显示器元件的多个物理像素的所述组中的每个以及所述物理像素中的每个相关联的微光学元件的每个集合以带的密度校准和定向调制所述带,所述带的角密度在所述光场图像显示器元件的光学孔径的中心区域内比所述光场图像显示器元件的外围区域内的带的所述角密度更高。
22.根据权利要求21所述的方法,其中从所述光场图像显示器元件的所述中心到外围区域的带的所述角密度的分布与观看者的人类视觉系统锐度的角分布成比例,使得最高角密度的带光学耦合到观看者的眼睛的视网膜中心区域,其中系统地降低的角密度的带光学耦合到观看者的眼睛的视网膜外围区域。
23.根据权利要求18所述的方法,其中所述光场图像显示器元件的光学孔径的中心区域配备有最高密度的带,角宽度上足够宽以调节观看者的眼睛在所述近眼光场显示器系统的所述观看者的近场和远场之间的移动。
24.根据权利要求19所述的方法,其中所述光场图像显示器元件的光学孔径的中心区域配备有最高密度的带,角宽度上足够宽以调节观看者的眼睛在所述近眼光场显示器系统的所述观看者的近场和远场之间的移动,并且其中所述光场图像显示器元件向所述观看者呈现所述光场的多视图样本的集合,其中所述光场图像显示器元件的所述中心光学区域处的多个物理像素的所述组的维度在通过所述光学元件耦合到所述观看者的眼睛时投影与观看者的眼睛的视网膜中心区域的平均空间锐度相匹配的光斑大小。
25.根据权利要求18所述的方法,其中所述光场图像显示器元件将更高数量的视图调制到观看者的中心中央凹区域上,并且将更少数量的视图系统地调制到观看者的视场的外围区域上,从而匹配观看者的人类视觉系统角锐度和深度感知
26.根据权利要求19所述的方法,其中所述光场图像显示器元件直接显示从所述编码器元件接收并且以与在所述观看者的所述感测的焦点处观看者的人类视觉系统感知锐度相匹配的最高保真度调制的所述压缩的图像数据的图像内容,而无需首先解压缩所述压缩的图像数据,并且其中所述编码器元件基于由所述眼睛和头部跟踪元件提供的所述观看者的所感测的焦点而在所述观看者的眼睛聚焦的点的附近内提供压缩的图像数据,而周围区域的视觉信息以与在远离所述观看者的眼睛聚焦的点处所述观看者的人类视觉系统的成比例较低的感知锐度相匹配的保真度平进行调制,从而提供深度有凹视觉解压缩能以实现所述近眼光场显示器系统,以通过所述光场图像显示器元件实现三维有凹视觉解压缩。
27.根据权利要求19所述的方法,其中所述近眼光场显示器系统通过调制来自其右和左眼光场图像显示器元件的视觉上对应的带的对来调制对观看者可聚焦的光场,所述视觉上对应的带的对由所述观看者的人类视觉系统感知为在给定深度处的所述光场图像显示器元件的视场内的虚拟光点,如由生成了视觉上对应的带的所述对的所述右和左侧光场图像显示器元件的所述物理像素组的空间坐标所确定的。
28.根据权利要求18所述的方法,其中所述近眼光场显示器系统向观看者呈现多焦表面样本的集合,由此多焦平面是从观看者的近场深度扩展到观看者的远场深度的规范双眼单视界表面的集合,所述表面标称分开了0.6屈光度。
29.根据权利要求19所述的方法,其中所述近眼光场显示器系统通过调制来自其右和左眼光场图像显示器元件的视觉上对应的带的对来调制到观看者的可聚焦光场,所述视觉上对应的带的对由所述观看者的人类视觉系统感知为在给定深度处的所述光场图像图像显示器元件的视场内的虚拟光点,如由生成了视觉上对应的带的所述对的所述右和左侧光场图像显示器元件的所述物理像素组的空间坐标所确定的,并且其中所述近眼光场显示器系统向所述观看者呈现多焦表面样本的集合,由此多焦表面是从观看者的近场深度扩展到观看者的远场深度的规范双眼单视界表面的集合,所述规范双眼单视界表面标称分开了
0.6屈光度,所述近眼光场显示器系统使用虚拟光点来调制所述规范双眼单视界表面,从而实现一光场调制压缩增益,所述光场调制压缩增益与所述选择的规范双眼单视界表面的虚拟光点的大小相对于由所述近眼光场显示器系统的可寻址所述整个光场的虚拟光点的大小成比例。
30.根据权利要求19所述的方法,其中所述近眼光场显示器系统通过调制来自其右和左眼显示器元件的视觉上对应的带的对来调制到观看者的可聚焦光场,所述视觉上对应的带的对由所述观看者的人类视觉系统感知为在给定深度处的所述光场图像显示器元件的视场内的虚拟光点,如由生成视觉上对应的带的所述对的所述右和左侧光场图像显示器元件的所述物理像素组的空间坐标所确定的,并且其中所述近眼光场显示器系统向所述观看者呈现多焦表面样本的集合,由此多焦表面是从观看者的近场深度延伸到观看者的远场深度的规范双眼单视界表面的集合,所述规范双眼单视界表面标称分开了0.6屈光度,所述调制的虚拟光点的密度与观看者在所述规范双眼单视界表面距所述观看者的对应距离处的人类视觉系统深度以及的角锐度相匹配,所述调制的虚拟光点包括所述规范双眼单视界表面中的每个。
31.根据权利要求26所述的方法,其中所述近眼光场显示器系统通过调制来自其右和左侧光场图像显示器元件的视觉上对应的带的对来调制到观看者的可聚焦光场,所述视觉上对应的带的对由所述观看者的人类视觉系统感知为在给定深度处的所述光场图像显示器元件的视场内的虚拟光点,如由生成视觉上对应的带的所述对的所述右和左侧光场图像显示器元件的所述物理像素组的空间坐标所确定的,并且其中所述近眼光场显示器系统向所述观看者呈现多焦表面样本的集合,由此多焦表面是从观看者的近场深度延伸到观看者的远场深度的规范双眼单视界表面的集合,所述规范双眼单视界表面标称分开了0.6屈光度,所述近眼光场显示器系统使用虚拟光点调制所述规范双眼单视界表面,从而实现一光场调制压缩增益,所述光场调制压缩增益与所述选择的规范双眼单视界表面的虚拟光点的大小相对于由所述近眼光场显示器可寻址所述整个光场的v的大小成比例,以实现组合的光场调制增益和视觉压缩增益两者。
32.根据权利要求26所述的方法,其中所述压缩的光场图像数据根据包括多个m×m像素的高阶宏的集合来格式化,其中所述宏的调制基调制系数是离散Walsh、离散小波或离散余弦图像变换的基调制系数,其中由所述眼睛和头部跟踪元件提供的所述观看者的所述感测的焦点被用于标识在距所述观看者的眼睛聚焦的位置小于0.6屈光度内的所述规范双眼单视界表面,然后用来使用与在所述标识的规范双眼单视界表面的所感测的深度处的所述观看者的人类视觉系统锐度相匹配的VPoL密度并使用以最小字长截断的最大数量的所述基调制系数来调制所述标识的规范双眼单视界表面以实现最高视觉感知,其中在所述观看者的眼睛聚焦的所述点的附近内具有较少贡献的所述规范双眼单视界表面的剩余部分使用以较宽角度节距间隔开的较少VPOL并使用以较高字长截断的成比例较少数量的所述基调制系数而被调制,从而并入深度有凹视觉解压缩。
33.根据权利要求28所述的方法,还执行局部深度滤波以生成用于调制图像内容的规范双眼单视界表面的所有所述集合,其并入相称的深度提示以使得所述观看者的人类视觉系统能够感知所显示内容的捕获深度。
34.根据权利要求28所述的方法,其中所述光场图像数据包括捕获的场景内容的参考元素图像或全息像素的压缩的集合,所述压缩的集合标识贡献所述规范光场双眼单视界表面的深度处的图像内容的大部分或充分表示所述规范光场双眼单视界表面的深度处的图像内容的最小数量的捕获的元素图像或全息像素的子集,并且其中所述近眼光场显示器系统从所述捕获的场景内容的参考全息像素的所述压缩的集合中渲染针对所述规范光场双眼单视界表面的显示图像,所述捕获的场景内容的参考全息像素标识贡献所述规范光场双眼单视界表面的所述深度处的图像内容的大部分或充分表示所述规范光场双眼单视界表面的所述深度处的图像内容的所述最小数量的捕获的全息像素的所述子集,从而实现一压缩增益,所述压缩增益与参考全息像素的所述标识的子集的数据大小除以捕获的元素图像或全息像素的总数成反比。
35.根据权利要求34所述的方法,在参考全息像素的所述压缩的集合上直接使用压缩的渲染来提取要由所述右和左侧图像显示器元件显示的所述图像内容,以用于调制在所述规范双眼单视界表面处的显示器图像。
36.根据权利要求18所述的方法,使用反射器和分束器光学组件、自由形式的光楔或波导光学器件。
37.一种近眼显示器系统,包括:
至少一个图像显示器元件,其用于利用至少一个对应光学元件光学地耦合到所述近眼显示器系统观看者的眼睛;
所述图像显示器元件被电耦合以从编码器元件接收图像数据,所述编码器元件又被电耦合以从图像处理器元件接收图像输入数据;
所述编码器和处理器或者被嵌入在所述观看者的眼睛的附近内的所述近眼显示器系统内,或者远离所述观看者的眼睛而被远程定位并且或无线地或通过有线连接而被连接到所述近眼显示器系统组件;
至少一个眼睛和头部跟踪元件,其被光学地耦合以感测所述近眼显示器观看者的凝视方向和焦距;
所述眼睛和头部跟踪元件被电耦合以将感测的数据传递到所述图像处理器和编码器元件。
38.根据权利要求37所述的系统,其中所述图像显示器元件从所述编码器元件接收压缩的图像数据,并且直接显示图像,而无需首先解压缩所述图像数据。
39.根据权利要求37所述的系统,其中所述编码器元件包括:
视觉解压缩变换元件,其用于从所述输入图像数据针对包括多个(n×n)像素的高阶显示器宏的集合提取基调制系数,其中所述显示器宏的调制系数是离散Walsh、离散小波或离散余弦图像变换的扩展系数;
 量化器元件,其首先基于基调制系数集合截断准则将所述提取的基调制系数截断成基调制系数的子集;
所述量化器元件还基于基调制系数集合量化准则,使用比基调制系数的所述提取的子集的所述字长更短的字长来量化基调制系数的所述选择的子集;以及
行程长度编码器元件,其用于在时间上复用基调制系数的所述截断和量化子集,并且将基调制系数的所述复用的截断和量化子集发送到所述图像显示器元件。
40.根据权利要求37所述的系统,其中所述编码器元件还包括:
视觉解压缩变换元件,其基于由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向从所述输入图像数据提取(n×n)阶宏的集合的基调制系数;
有凹量化器元件,其使用由所述眼睛和头部跟踪元件感测的观看者的凝视方向来基于基调制系数集合截断准则将基调制系数的所述提取的集合首先截断成基调制系数的选择的子集;
所述量化器元件还基于基调制系数集合量化准则,使用比基调制系数的所述提取的子集的所述字长更短的字长来量化调制值的所述选择的子集;以及
行程长度编码器元件,其对基调制系数的所述截断和量化子集进行时分复用,然后将所述复用的数据集合耦合到所述图像显示器元件。
41.一种近眼光场显示器系统,包括:
至少一个图像显示器元件,其用于利用至少一个对应光学元件光学地耦合到所述近眼显示器系统观看者的眼睛;
所述图像显示器元件被电耦合以从编码器元件接收图像数据,所述编码器元件又被电耦合以从图像处理器元件接收图像输入数据;
所述编码器和处理器或者被嵌入在所述观看者的眼睛的附近内的所述近眼显示器系统内,或者远离所述观看者的眼睛而被远程定位并且或无线地或通过有线连接被连接到所述近眼显示器系统组件;
至少一个眼睛和头部跟踪元件,其被光学地耦合以感测所述近眼光场观看者的凝视方向和焦距中的每个;
所述眼睛和头部跟踪元件被电耦合以将感测的数据传递到所述图像处理器和编码器元件。
42.根据权利要求41所述的系统,其中图像显示器元件的所述数量是两个,左侧和右侧图像显示器元件,并且光学元件的所述数量是两个。
43.根据权利要求42所述的系统,其中所述图像显示器元件使用所述近眼光场显示器系统的所述右侧和所述左侧图像显示器元件中的每个的多个(m×m)物理像素的组将要显示到观看者的光场的多个样本作为多个视图或作为多个焦平面样本调制到所述观看者的人类视觉系统的相应侧。
44.根据权利要求43所述的系统,其中光场样本由所述近眼光场显示器系统的所述右侧和所述左侧图像显示器元件调制,每个光场样本是准直且定向调制的光束或光场带,其通过与形成光学孔径的所述像素中的每个以及与所述图像显示器元件的多个(m×m)物理像素的所述组中的每个相关联的微光学元件的集合耦合到所述对应光学元件上。
45.根据权利要求44所述的系统,其中与所述图像显示器元件的多个(m×m)物理像素的所述组中的每个以及所述像素中的每个相关联的微光学元件的所述集合以光场带的角密度校准和定向调制所述光场带,所述光场带的角密度在所述图像显示器元件光学孔径的所述中心区域内比在所述图像显示器元件的所述外围区域内的光场带的所述角密度更高。
46.根据权利要求42所述的系统,其中所述图像显示器元件通过将较高数量的视图调制到所述观看者的中心中央凹区域上并且将系统地较少数量的视图调制到所述观看者的视场的所述外围区域上来匹配所述观看者的人类视觉系统角锐度和深度感知。
47.根据权利要求42所述的系统,其中所述编码器还包括:
视觉解压缩变换元件,其基于由所述眼睛和头部跟踪元件感测的所述观看者的凝视方向从所述输入图像数据针对(n×n)阶宏的集合提取基调制系数;
有凹量化器元件,其使用观看者的凝视方向和由所述眼睛和头部跟踪元件感测的焦点,以基于基调制系数集合截断准则将基调制系数的所述提取的集合首先截断成基调制系数的选择的子集;
所述量化器元件还基于基调制系数集合量化准则,使用比基调制系数的所述提取的子集的所述字长更短的字长来量化调制值的所述选择的子集;以及
行程长度编码器元件,其将基调制系数的所述截短和量化子集进行时分复用,然后将所述复用的数据集合耦合到所述图像显示器元件;
由此,基于所述观看者的眼睛聚焦的位置获得三维有凹视觉解压缩。
48.根据权利要求42所述的系统,其中所述图像显示器元件向所述观看者呈现多焦平面样本的集合,由此所述多焦平面由从所述观看者的近场扩展到远场深度并且标称地分开了大约0.6屈光度的规范双眼单视界表面的集合所组成。
49.根据权利要求42所述的系统,其中每个光学元件包括反射器和分束器光学组件、自由形式光楔或波导光学器件。

说明书全文

用于近眼显示器的压缩方法和系统

背景技术

[0001] 1. 发明领域本发明一般涉及用于成像系统的压缩方法,更特别地,涉及用于头戴式或近眼显示器系统(其在本文中统称为近眼显示器系统)的图像和数据压缩方法。
[0002] 2. 现有技术近眼显示器设备最近已经获得广泛的公众关注。近眼显示器设备并非是新出现的,而是许多原型和商业产品可以追溯到1960年代,但是网络计算、嵌入式计算、显示技术和光学设计的最新进展已经重新引起了对这种设备的兴趣。近眼显示器系统通常与处理器(嵌入式或外部)、用于数据采集跟踪传感器、显示设备和必要的光学器件耦合。处理器通常负责处置从传感器采集的数据,并且生成要在用户的一只或两只眼睛的视场中显示为虚拟图像的数据。此数据可以从简单的警告消息或2D信息图表到复杂的浮动动画3D对象的范围。
[0003] 最近两类近眼显示器已获得了大量的关注;即,近眼增强现实(AR)和虚拟现实(VR)显示器,其作为将向观看者呈现“逼真”视觉体验的下一代显示器。此外,近眼AR显示器被视为向移动观看者呈现高分辨率3D内容的最终手段,所述内容将被融合到观看者的周围现实场景中以扩展观看者对在进行的(on the go)的信息的访问。AR显示器的主要目的是超越当前移动显示器的观看限制,并且提供不受移动设备的物理限制的观看范围,同时不降低用户的移动性。另一方面,近眼VR显示器被设想向观看者呈现使观看者沉浸在所观看的内容中的360° 3D电影观看体验。AR和VR显示技术两者都被视为移动电话和个人计算机演替之后的“下一代计算平台”,其将扩展移动用户的信息访问的增长以及提供它的信息市场和业务的增长。本文中AR/VR显示器将经常被称为“近眼”显示器以强调这样的事实:本发明的方法通常应用于近眼显示器但并不限于AR/VR显示器本身。
[0004] 现有近眼AR和VR显示器的主要缺点包括:由低刷新率显示技术引起的晕动病(motion sickness);由聚散度调节冲突(VAC)引起的眼疲劳和恶心;以及取得合理宽的视场(FOV)中的眼睛有限分辨率。解决这些缺点的现有尝试包括:使用具有更高刷新率的显示器;使用具有更多像素(更高分辨率)的显示器;或者利用多个显示器或图像平面。所有这些尝试之中的共同主题是需要更高的输入数据带宽。要应付更高的数据带宽而不对于近眼显示器系统增加庞大、复杂度和过大的功率消耗要求新的压缩方法。压缩的使用是处理大量数据的通常解决方案,但是近眼显示器的要求是独特的并且超越了由常规视频压缩算法可实现的内容。用于近眼显示器的视频压缩必须在极低功率消耗和低等待时间的附加要求的情况下实现比由现有压缩方案所提供的压缩比更高的压缩比。
[0005] 近眼显示器的高压缩比、低等待时间和低功率消耗约束要求数据压缩的新方法,诸如压缩的捕获和显示以及利用人类视觉系统(HVS)能的数据压缩方案。因此,本发明的目的在于引入克服现有技术的限制和弱点的、用于近眼压缩的方法,从而使得以下内容是可行的:创建能够满足紧凑性和功率消耗中的严格移动设备设计要求并且向此类设备的用户提供宽度范围上的2D或3D内容的增强视觉体验的近眼显示器。本发明的附加目的和优点将从参考附图而进行的其优选实施例的以下详细描述中变得显而易见。
[0006] 存在许多现有技术,其描述了用于近眼显示器的方法。作为典型示例,Maimone、Andrew和Henry Fuchs的“Computational augmented reality eyeglasses”(Mixed and Augmented Reality(ISMAR)2013 IEEE国际研讨会,pp.29-38. IEEE,2013)描述了计算增强现实(AR)显示器。尽管所描述的近眼显示器原型利用LCD来借助于堆叠层重建光场,但是它没有处理数据压缩和低等待时间要求。该AR器显示还实现了无阻碍格式(具有宽视场),并且允许相互遮挡和焦点深度提示。然而,确定LCD层图案的过程是基于计算密集的张量因式分解,这非常耗时且耗功率。由于使用了光阻挡LCD,所以该AR显示器还具有显著降低的亮度。这是显示技术如何影响近眼显示器的性能以及现有技术如何不足以解决近眼显示器领域中存在的所有问题的又一个示例。
[0007] 图1a和图1b中描述的典型现有技术近眼显示器系统100由诸如处理器、眼睛和头部跟踪元件210、显示设备103和用于将显示图像放大和传达到人类视觉系统(HVS)106中的光学器件104的元件的组合所组成,其中所述处理器可以是嵌入式处理器102或外部处理器107。处理器(102(图1a)或107(图1b))处置从眼睛和头部跟踪元件210采集的感官数据,并且生成要由显示器103显示的对应图像。该数据处理在具有嵌入式处理器102的近眼设备的内部发生(图1a),或者此类处理可以由外部处理器107来远程执行(图1b)。后一种方法允许使用诸如最新代CPU、GPU和任务专用处理设备等更强大的处理器来处置传入的跟踪数据并经由个人区域网(PAN)108将对应图像发送到近眼显示器109。使用外部处理器的优点在于,系统可以利用更强大的图像远程处理器107(其拥有为处置图像处理所需的处理吞吐量和存储器)而不会加重近眼显示器系统109的负担。另一方面,经由PAN传输数据具有其自身的挑战,诸如对低等待时间高分辨率视频传输带宽的需求。尽管用于PAN中的视频传输协议的新的低延迟协议(参见Razavi,R.;Floury,M.;Ghanbari,M.的“Low-delay video control in a personal area network for augmented reality”(Image Processing,IET,第2卷,第3期,pp.150-162,2008年六月))可以使得能够利用用于近眼显示器图像生成的外部处理器107以使得高质量的沉浸式立体VR显示器成为可能,但是这种PAN协议未能应付针对新一代近眼AR和VR显示器的高带宽数据要求,所述新一代近眼AR和VR显示器旨在向观看者呈现高分辨率3D和无VAC的观看体验。
[0008] 尽管如此,使用更先进的显示技术对整个系统施加了新的挑战。新的成像方法要求要生成并且被传输到显示器的数据量增加,并且由于近眼显示器的大小、存储器和等待时间方面的限制,用于处置增加的数据量的传统压缩方法不再适用。因此,需要新的方法来生成、压缩数据并将数据传输到近眼显示器。

附图说明

[0009] 在以下描述中,即使在不同的附图中,相同的附图标记也用于相同的元件。提供了在描述中定义的内容,诸如详细的结构和元件,以帮助全面理解示例性实施例。然而,本发明可以在没有那些具体定义的内容的情况下被实践。此外,公知的功能或结构没有被详细描述,这是因为它们将用不必要的细节而模糊本发明。为了理解本发明并看见其在实践中是如何执行的,现在将参考附图仅以非限制性示例的方式描述本发明的一些实施例,在附图中:图1a示出了并入嵌入式处理器的现有技术近眼显示器系统的框图
[0010] 图1b示出了并入连接的外部处理器的现有技术近眼显示器系统的框图。
[0011] 图2a示出了本发明的具有嵌入式处理器的近眼显示器系统的框图。
[0012] 图2b示出了本发明的具有外部处理器的近眼显示器系统的框图。
[0013] 图3a示出了在本发明的近眼显示器系统的上下文内的应用压缩显示器的视觉解压缩能力的编码器的功能框图。
[0014] 图3b示出了本发明的视觉解压缩方法的基系数调制。
[0015] 图3c示出了本发明的视觉解压缩方法的基系数截断。
[0016] 图4a示出了由本发明的有凹视觉解压缩(Foveated Visual Decompression)方法所使用的观看者凝视点周围的视场(FOV)区域。
[0017] 图4b示出了并入本发明的有凹视觉解压缩方法的近眼显示器系统的框图。
[0018] 图4c示出了本发明的“有凹视觉解压缩”方法的基系数截断。
[0019] 图5a示出了与观看者的HVS的角锐度和FOV相匹配的近眼显示器系统的光调制器元件的实现方式。
[0020] 图5b示出了本发明的近眼显示器系统的光学元件的实现方式。
[0021] 图6a示出了本发明的这种近眼光场显示器的多焦平面实施例。
[0022] 图6b示出了使用规范两眼视界表面实现多焦平面近眼显示器的本发明的实施例。
[0023] 图7示出了针对本发明的多焦平面近眼光场显示器的内容的生成。
[0024] 图8示出了实现本发明的多焦平面深度滤波方法的实施例。
[0025] 图9示出了实现压缩渲染输入到本发明的多焦平面近眼光场显示器的光场数据的实施例。

具体实施方式

[0026] 在本发明的以下详细描述中提及“一个实施例”或“一实施例”意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在该详细描述中的各位置中出现的短语“在一个实施例中”不一定全部指相同的实施例。
[0027] 向近眼显示器的观看者呈现高分辨率和宽视场(FOV)3D观看体验要求显示器分辨率接近每眼八百万像素的眼睛观看极限。显示器分辨率中所得到的增加对作为整体的近眼显示器系统施加了若干要求,其中最大的挑战是增加的数据接口带宽和处理吞吐量。本发明引入了用于通过使用压缩显示器系统(如下面定义的)来处理近眼显示器系统中的这两个挑战的方法。图2a和图2b是使用本发明的方法的近眼显示器系统200的框图图示。在图2a(其示出了近眼显示器系统200的近眼组件201的一个实施例)中,一新的设计元件(即编码器204)被添加到近眼显示器系统200,其负责压缩用于压缩显示器203(诸如基于QPI固态成像器的显示器(附图中的QPI成像器显示器),例如(序号为7,767,479和7,829,902的美国专利))的数据。除了其中每个像素从不同颜色的固态LED或激光发射器的堆叠发射光的QPI成像器之外,还已知的是从以并排布置(其中,多个固态LED或激光发射器服务于单个像素)设置的不同颜色的固态LED或激光发射器中发射光的成像器。本发明的这种设备通常会被称为发射显示设备。此外,本发明可被用于创建用于诸如DLP和LCOS的许多类型的空间光调制器(SLM,微显示器)的光源,并且也可被用作针对LCD的背光源。在本文中,术语固态成像器显示器、显示器元件、显示器以及类似术语将在本文中被用于频繁地指压缩显示器203。在图2b(其示出了近眼显示器系统200的近眼组件205的另一实施例)中,编码器204履行与图2a中的功能相同的功能,但是编码器204是作为远程驱动近眼组件205的外部数据源的一部分。图2b示出了如包括外部处理器207和编码器204的外部数据源,其中所述编码器204经由无线链路208(诸如无线个人局域网(PAN))或经由线路209连接到近眼显示器组件205。在两种情况下,编码器204利用固态成像器显示器203的压缩处理能力,以便在生成高质量图像的同时实现高压缩比。编码器204还利用由眼睛和头部跟踪设计元件210提供的感官数据来进一步增加近眼显示器系统200的数据压缩增益。
[0028] 定义-“压缩(输入)显示器”是能够直接显示所提供的直接以压缩格式输入的压缩数据的内容图像而无需首先解压缩输入数据的显示器系统、子系统或元件。这种压缩显示器能够根据高阶基以高子速率调制图像,以供由人类视觉系统(HVS)直接感知。这种显示能力(如下面定义的称为“视觉解压缩”)允许压缩显示器直接使用离散余弦变换(DCT)或离散Walsh变换(DWT)的扩展系数来调制包括(n×n)像素的高阶宏,以供HVS整合和感知为解压缩的图像。(序号为8,970,646的美国专利)
“动态色域(Dynamic Gamut)” -压缩显示器系统还可以包括称为动态色域的能力(序号为9,524,682的美国专利),其中显示器系统能够使用在帧报头内提供的字长调整的(压缩的)颜色色域数据来在逐帧的基础上动态地调整其颜色色域。在使用动态色域能力时,压缩显示器系统使用与输入帧图像的颜色色域以及HVS锐度相匹配的压缩的颜色色域来将输入数据处理并调制成对应图像。视觉解压缩和动态色域能力压缩显示器两者都降低了在显示器侧的接口带宽和处理吞吐量,这是因为输入数据不需要被解压缩并且这两种能力都由诸如例如固态成像器显示器之类的压缩显示器所支持。
[0029] “视觉解压缩”是多种多样的压缩的视觉信息调制方法,其利用HVS的固有感知能力,以便使得能够直接通过显示器来调制压缩的视觉信息,而不是首先解压缩然后显示解压缩的视觉信息。视觉解压缩降低了用于显示器的接口带宽以及将压缩的视觉信息解压缩所需的处理吞吐量。
[0030] 视觉解压缩-图3a示出了(图3a和图3b的)编码器204的功能框图,其在本发明的近眼显示器系统200的上下文内应用了压缩显示器203的视觉解压缩能力。由处理器202或207生成的输入图像301首先被视觉解压缩变换元件302变换成已知的高阶基,诸如例如DCT或DWT基。然后,由量化器303量化这些高阶基的合成系数的所选择子集。类似于使用DCT和DWT的典型压缩方案,诸如MPEG和JPEG,由本发明的近眼显示器系统200的编码器204所应用的视觉解压缩部分地通过选择具有低频率的基同时截断高频率基的子集来获得压缩增益。在本发明的一个实施例中,量化器303使用相同的量化步长,以用于量化基系数的所选择子集。在本发明的另一实施例中,量化器303利用人类视觉系统(HVS)的能力,并对高频率系数使用更大的量化步长,以便降低与由HVS较不易感知的系数相关联的数据传递带宽,从而有效地通过匹配HVS能力来实现更高的视觉解压缩增益。然后,由行程长度编码器(Run-Length Encoder)304对量化的系数进行时间(或时分)复用,所述行程长度编码器304一次将与所选择基之一相关联的系数的集合发送到能够视觉解压缩的压缩显示器203,其然后会将其接收的系数调制为其显示的相关联的基宏的大小。压缩显示器203将在一个视频子帧内一次调制基中的一个,使得调制的基在时间上不被大于HVS脉冲响应的时间常数(其通常为约5 ms)所分开。例如,如果选择了8个基来变换输入图像302,则60Hz(16.67ms)的视频帧将被分割成约2ms的子帧,其远低于HVS脉冲响应的时间常数,在所述子帧的每个期间,一个基系数将由压缩显示器203所调制。
[0031] 在另一实施例中,视觉解压缩变换框302直接从外部提供的压缩的输入数据格式(诸如MPEG和JPEG数据格式)提取DWT和DCT系数,然后将提取的DWT和DCT系数提供到量化器303。在这种情况下,量化器303将通过对高频率系数使用较大的量化步骤来进一步增大MPEG和JPEG数据格式的DWT和DCT系数,以便降低与由HVS较不易感知的系数相关联的数据传递带宽,再次以便通过匹配HVS能力来实现更高的视觉解压缩增益。
[0032] 在本发明的另一实施例中,变换302和量化303输入图像301的基系数被直接场排序304到压缩显示器203,其能够直接将视觉压缩的数据调制到HVS(参见压缩显示器的先前定义)。除了由于其实现的视觉解压缩增益而降低在显示器203处的存储器要求之外,这种直接传递和调制压缩的图像数据的方法还降低了将图像数据从处理器202或207传递到显示器203并向前到HVS 106的等待时间。为了降低观看者的不适,降低近眼显示器系统中的这种等待时间是非常重要的,所述观看者的不适通常由过度输入图像301延迟(其是相对于由眼睛和头部跟踪传感器210检测的观看者凝视方向的)引起。等待时间被降低,这是因为在这种直接传递和调制压缩的图像数据的方法中,基系数的子集在通常比HVS时间常数短的子帧时间序列处接收到它时被显示器203在时间上依次地调制到HVS 106,这允许HVS 106开始在调制的基系数的少数几个子帧内部分地整合它们并且逐渐地感知图像输入301,从而显著地降低了将由眼睛和头部跟踪210感测的凝视方向信息并入到输入图像301中的反馈延迟。在这种直接传递和调制压缩的图像数据的方法中,等待时间也被降低,这是因为作为通过由编码器204生成的所选择基系数表示的压缩的输入图像301被直接显示到HVS 
106,而没有由现有技术系统通常引入的处理延迟,所述现有技术系统首先在处理器102或
107侧压缩输入图像301数据,然后在显示器203侧解压缩它。除了降低近眼显示器系统等待时间之外,本发明的直接传递和调制压缩的图像数据的所述近眼视觉解压缩方法还将显著降低近眼系统的处理、存储器和功率消耗要求,这是因为它消除了与在处理器102或107侧的输入图像301数据的压缩以及在显示器203侧的解压缩有关的处理。值得提及的是,本发明的直接传递和调制压缩的图像数据的所述近眼视觉解压缩方法实现了降低的等待时间和处理要求,这是因为它利用了通过视觉感官时间整合的HVS 106的感知的固有能力。也就是说,本发明的直接传递和调制压缩的图像数据的所述近眼视觉解压缩方法通过匹配HVS的能力实现了降低的等待时间和处理要求。
[0033] 图3b是本发明的近眼显示器系统的视觉解压缩方法的基系数调制。代替通常在当前显示器中用于寻址(和调制)各个显示像素的行/列选择方法,在图3b中所示的近眼视觉解压缩方法中,显示器调制了表示高阶基Wij连同相同基系数值Cij的(n×n)像素的组。在视频输入图像301的子帧内,近眼压缩显示器203将(n×n)像素的作为表示显示器基元素Wij以及相关联的基系数Cij的宏来寻址。视频帧内的基系数调制子帧的时间序列将由HVS在时间上依次地整合,从而导致在那个视频帧的时间段内逐渐地感知输入图像301。如从图3b中可以看到的,近眼压缩显示器203将必须拥有用来以子帧速率接收和调制基系数的响应时间和调制能力,所述子帧速率将比视频帧速率快多倍,例如对于先前描述的示例,当具有八个子帧时,视觉解压缩子帧速率将是8×60 Hz = 480 Hz。在本发明的一个实施例中,近眼压缩显示器203使用固态成像器来实现,这是因为其高速图像调制能力。除了固态成像器的支持本发明的视觉解压缩方法的能力之外,本发明的近眼显示器系统200还将受益于由QPI 203提供的小大小(紧凑性)、低功率消耗和亮度,以便实现体积流线型的近眼显示器系统
200。
[0034] 返回参考图3a,量化器303将基于给定的截断准则来截断由视觉解压缩变换元件302计算的基系数,然后基于给定的量化准则将基系数的所选择子集量化成给定的字长。图
3c示出了由量化器303为(4×4)视觉解压缩基执行的基系数截断。如图3c中所示,量化器
303将通过选择图3c中标记的八个基系数的子集来截断16个基系数的集合。用于该选择的准则将是要丢弃超出HVS时间锐度极限的高频率基系数(在图3c中以交线作出阴影的较高索引基)。对于基系数的所选择子集,量化器303然后将从视觉解压缩变换302接收的它们对应字长截断成较少数量的比特,例如8比特字。应当注意的是,视觉解压缩变换302通常将以较高的字长(例如16比特字)执行变换计算。在另一实施例中,量化器303针对不同的基系数使用不同的字长来截断基系数的所选择子集。例如,参考图3C,低频率系数C00将被量化成8比特,而沿行系数C0j和列系数Cio的剩余基系数将分别使用连续的较低字长(例如6比特、4比特和2比特)来量化。基系数截断及其字长量化准则两者都是或者固定且由显示器203先验地已知的,或者通过数据流发信号通知(传送)到嵌入式显示器203。期望通过该实施例的近眼视觉解压缩方法实现的数据传递带宽压缩增益通常取决于用于变换输入图像301的基的维度和由量化器303使用的基系数截断准则,但是通常在从4x到6x的范围之间,这意味着通过该实施例的所述视觉解压缩方法,从处理器102或107到显示器元件203的图像数据传递带宽将被降低到4x到6x的范围之间的倍数。应当注意的是,通过使显示器与HVS的时间锐度相匹配来实现该实施例的视觉压缩增益。
[0035] 动态色域-在本发明的另一实施例中,近眼显示器系统200利用提供附加视觉解压缩机会的以下两个因素:(1)视频帧的颜色色域通常比预置的标准显示色域(例如NTSC)小得多,其中标准颜色色域内的显示器像素颜色坐标通常以具有每色原8比特的24比特字来表示;以及(2)与视觉中心区域相比,HVS外围区域的颜色锐度显著降低。在该实施例中,视觉解压缩变换块302将在每个输入视频帧报头内接收帧颜色色域原色的颜色坐标连同帧中每个像素的颜色坐标(其相对于在帧报头中传送的帧颜色色域原色而表示),并将接收的帧报头向前传给量化器303。视觉解压缩变换块302然后将其接收的帧色域报头连同其提取的高阶基系数的集合一起传给量化器块303。量化器块303然后将通过成比例地将字长(其表示那个图像帧内的每个像素的颜色坐标)截断成小于默认的24比特(每色8比特)来利用图像帧颜色色域的所降低大小,传送的帧色域大小相对于显示器标准色域大小越小,则可以使用越小于默认的24比特的字长来表示每个接收的图像帧内的每个像素的颜色坐标。还可能的是,视觉解压缩块302将在每个输入视频帧报头内接收颜色色域和图像帧内的多个图像区域的坐标,连同帧图像区域中的每个内的每个像素的颜色坐标,其相对于针对该帧图像区域的帧报头中传送的颜色色域原色而表示。在这种情况下,量化器块303将成比例地将字长(其表示每个帧图像区域内的每个像素的颜色坐标)截断成小于默认的24比特(每色8比特)。在典型的视频帧图像中,所述两种方法中的任一种都可能导致需要被转发到压缩显示器203的图像帧数据的大小降低到1/2X至1/3X倍,其中后一种方法实现更接近于该范围的较高端的压缩倍数。当帧或帧图像区域颜色色域被压缩显示器203(其如先前所定义的具有动态调整其颜色色域的能力)接收时,压缩显示器203将使用在接收的报头中传送的帧或帧区域颜色色域坐标数据来使用其原始色原合成所传送的帧或帧子区域颜色色域,然后将调制接收的(截断的)帧或帧子区域像素颜色坐标数据以调制表示帧或帧子区域像素中的每个的而生成的光。应注意的是,通过使显示器颜色色域匹配图像帧颜色色域来实现该实施例的视觉压缩增益。
[0036] 有凹视觉解压缩-图4a和4b示出了近眼显示器系统200的仍有的另一视觉解压缩方法。在该实施例中,如图4(a)和4(b)中所示,基于观看者的瞳孔间距离(IPD),观看者的凝视方向(轴)401和焦距由眼睛和头部跟踪元件210来感测和跟踪,然后用于将不同的视觉解压缩基系数截断和量化准则应用于在观看者的视场(FOV)420内显示的图像的不同区域,以便在利用HVS视觉感知的角度(锐度)分布的同时,有效地实现FOV区域(在其中观看者的眼睛聚焦)402内的最高可能的视觉感知,以在跨观看者的FOV 403-412的剩余区域(在其中HVS视觉锐度逐渐减小)上系统地实现高平的视觉压缩。实际上,在该实施例中,将以使用压缩字长(其与观看者在跨FOV上的视觉感知的角分布成比例)来匹配HVS锐度的角分布的方式来应用视觉解压缩。
[0037] 图4a示出了视觉解压缩的该实施例的方法,由此被称为“有凹视觉解压缩”,其利用这样的事实以便实现甚至更高的视觉解压缩增益,同时在观看者聚焦的区域402中实现最高的视觉感知能力:观看者的空间(角度)锐度在观看者的眼睛聚焦的区域402(视网膜的有凹区域)中最高并且在跨观看者的FOV 403-412(视网膜的近凹区域(parafovea region)403- 406和凹周区域(perifovea region)407-412)的其余部分上系统地降低。在该实施例中,观看者的眼睛的焦点和凝视方向401提示将由图4b的有凹量化器430从由眼睛和头部跟踪元件210传感器提供的感官数据提取,例如,针对每只眼睛的凝视方向将由在头部方向参考系内的每只眼睛瞳孔的位置来确定,所述每只眼睛瞳孔的位置如眼睛和头部跟踪元件
210传感器检测的。类似地,近眼显示器系统观看者的焦距(或聚散度距离,其被定义为观看者的两只眼睛聚焦和会聚的距离)将由观看者的两个瞳孔的中心之间的相对瞳孔间距离(IPD)来确定,所述相对瞳孔间距离(IPD)如由眼睛和头部跟踪元件210传感器检测的。对于观看者聚焦的FOV 420的区域402(其通常在由观看者的目镜聚焦时覆盖视网膜的中央凹(fovea)区域),通过使有凹量化器430选择尽可能大的基系数的子集并使用最大可能的字长来量化基系数的该所选择子集,最高图像分辨率将被实现。对于观看者的FOV 420的剩余区域(图4a中的区域403-412),有凹量化器430将选择较少的基系数的子集,并且还将使用较少数量的比特来量化所选择的基系数。在应用这种基系数截断和量化准则时,该实施例的有凹视觉解压缩方法将在观看者的聚焦区域402内实现最高分辨率,并且在跨观看者的FOV 420的剩余区域403-412上系统地实现较低的分辨率,而不使观看者的感知降级,同时跨这些FOV区域实现甚至更高的视觉解压缩增益。应当注意的是,在该实施例的上下文中使用的术语“有凹”意在指示显示器分辨率将适应于从观看者的眼睛中央凹的中心向外朝向观看者的眼睛视网膜的外围区域的HVS锐度轮廓(分布)。这种观看者的凝视方向相关的图像分辨率在现有技术中被称为“有凹渲染”,其示例在Guenter,B.,Finch,M.,Drucker,S.,Tan,D.和Snyder,J.的“Foveated 3D Graphics”(ACM SIGRAPH ASIA,2012年11月)中被描述,其通常通过图像渲染来使图像输入301有凹以可能地降低处理器102或107处的图像渲染计算负荷,然而,该益处不能直接转化成显示器203处的解压缩计算负荷和图像界面301带宽的降低(其可通过该实施例的所述有凹视觉解压缩方法来实现)。
[0038] 图4b示出了使用本发明的有凹视觉解压缩方法的近眼显示器系统的框图。参考图4b,在基于由眼睛和头部跟踪元件210提供的输入而知道观看者的焦点的情况下,在视觉解压缩变换302之后,有凹量化器430将选择基截断和量化,其被适应使得对应于观看者的聚焦区域402(将由眼睛聚焦到观看者的视网膜的中央凹区域上的图像区域)的所显示图像区具有最高的空间分辨率,而观看者的FOV 420的剩余区域403-412具有与观看者的眼睛跨观看者的视网膜的近凹区和凹周区上的角度(空间)锐度程度一致(或成比例)的系统地较低分辨率。图4c示出了根据本发明的有凹视觉解压缩方法的有凹量化器430的基截断和量化选择的示例。图4c示出了由有凹量化器430为(4×4)有凹视觉解压缩基执行的基系数截断的示例。如图4c的示例中所示,有凹量化器430将通过选择八个基系数(其在图4c的第一面板中被标记为与观看者的聚焦区域402对应)的最大子集来截断16个基系数的集合。对于该区域(402),有凹量化器430也将使用最高量化字长(例如每色8比特)来表示为观看者的FOV的区域402而选择的基系数。如图4c中所示,对于外围聚焦区域403,有凹量化器430将16个基系数的集合截断成七个基系数的更少子集(图4c中相应标记)。对于该区域,有凹量化器
430还可以选择较短的字长(例如7比特或6比特)来表示为观看者的FOV的区域403而选择的基系数。如图4c中所示,对于外侧外围区域404-412,有凹量化器430将16个基系数的集合系统地截断成基系数的更少子集(如图4c中相应标记),并且还可以选择更短的字长(例如少于6比特)来表示为观看者的FOV的区域403而选择的基系数。
[0039] 返回参考图4b,由有凹量化器430为多个FOV 200区域生成的截断的和量化的基系数然后由行程长度编码器435进一步编码,所述行程长度编码器435将控制数据分组(或数据报头)嵌入到编码的数据流内,所述数据分组(或数据报头)发信号通知(或指定)哪些基系数被包括在流数据中及其截断和量化字长。例如,在为发送基系数值Cij而指明的数据字段内,行程长度编码器435将附加报头,其包括指定基系数值Cij是否被包括的数据段及其相关联的量化字长。然后,所附加的基系数将作为针对所选择基之一的系数的时分复用集合一次被发送到压缩显示器203,所述压缩显示器203然后将解码由行程长度编码器435所附加的控制报头,然后相应地将其接收的系数调制为其显示的相关联基的大小。由于如图4c中所示与显示区域403-412相关联的基系数的数量被系统地降低,所以跨所显示图像的这些区域所显示图像分辨率也将与典型的HVS锐度分布成比例地被系统地降低。如先前所解释的,用于为显示区域403-412中的每个选择要被包括的基系数的准则将基于它们对应视网膜区域的角(空间)锐度,并且该准则将被设置为有凹量化器430的设计参数。
[0040] 预期由本发明的近眼有凹视觉解压缩方法实现的数据传递带宽压缩增益通常将取决于用于变换输入图像301的基的维度以及由有凹量化器430使用的基系数截断和量化准则,但是通常将超过先前描述的视觉解压缩方法的数据传递带宽压缩增益。在已知一旦眼睛聚焦,所显示图像区域402就将标称跨越观看者的眼睛中央凹区域的角度范围(约2°)时,例如,当近眼显示器系统200具有20°的总FOV时,本发明的有凹视觉解压缩方法将在所显示图像区域402中实现从4x到6x的范围之间的压缩增益,并且跨所显示图像区域403-412上系统地实现更高的压缩增益。在使用图4c中所示的基系数截断的示例中,所实现的压缩增益将针对区域403和404增加到8/7倍,然后针对区域405和406增加到8/5和8/3倍;然后针对外围区域407-412分别增加到8倍。考虑到图像区域401-412中的每个的面积(相对于所显示图像FOV)以及由于由行程长度编码器435所附加的控制数据而导致的开销,对于图4c的有凹基系数截断示例,可以通过本发明的有凹视觉解压缩方法实现的合成压缩增益将在24x到36x的范围之间,这意味着从处理器102或107到显示器元件203的图像数据传递带宽将通过本发明的有凹视觉解压缩方法被降低到从1/24x到1/36x的范围之间的倍数。应当注意的是,当先前示例的近眼显示器系统400的FOV大于20°(例如40°)时,针对外围区域407-
412所实现的压缩增益将渐近接近图像中心区域402-406中所实现的压缩增益的八倍的倍数。因为对于大的显示器FOV,外围图像区域将构成所显示的FOV的大部分,所以当近眼显示器系统200具有接近HVS的FOV(已知的是,HVS FOV大于100°)时,本发明的有凹视觉解压缩方法将能够实现甚至更高的合成压缩增益(接近高于40x的倍数)。
[0041] 在本发明的有凹视觉解压缩方法的另一实施例中,视觉解压缩变换302使用与视网膜的眼睛的中央凹402、近凹403-406和凹周407-412区域对应的图像区域的高阶基的不同值,以便实现甚至更高的压缩增益。在该实施例中,视觉解压缩变换302接收从眼睛和头部跟踪元件210输入的眼睛凝视点(方向)401,然后标识与中央凹区域402、近凹区域403-406和凹周区域407-412对应的图像区域,然后使用高基的不同值以便为每个图像区域创建变换版本。例如,视觉解压缩变换302将使用(4×4)基来创建图像区域402-406的变换版本,并且使用(8×8)基来创建图像外围区域407-412的变换版本。然后,视觉解压缩变换302将在将合成变换的图像与嵌入式控制数据(其标识用于每个图像区域的基阶)一起发送到有凹量化器430之前,将多个区域的变换的图像拼接在一起。有凹量化器430将基系数适当截断和量化准则应用到每个图像区域,然后将图像和对应控制数据向前发送到行程长度编码器304,以用于到压缩显示器203的传输。通过在与中央凹外围区域对应的图像区域中使用较高阶基,该实施例的有凹视觉解压缩方法将能够实现甚至更高的压缩增益。对于先前讨论的示例,当(4×4)基被用于图像区域402-406并且(8×8)被用于图像外围区域407-412时,该实施例的有凹视觉解压缩方法将能够实现一压缩增益,所述压缩增益将渐近接近图像中心区域402-406中实现的压缩增益的16x倍。因此,该实施例的有凹视觉解压缩方法对于20°的显示器FOV的先前示例将能够实现从32x到48x的范围之间的合成压缩增益,并且对于40°的显示器FOV可能达到64x。
[0042] 可以通过本发明的有凹视觉解压缩方法实现的压缩增益的所述水平将直接转化成显示器203侧的处理和存储器降低,这将直接转化成功率消耗、体积方面和成本的降低。应当注意,图4c的视觉解压缩块302和有凹量化器430块的处理和存储器要求将与常规图像解压缩元件的处理和存储器要求相当,除了后者扩展了图像数据带宽,因此导致显示器203侧处的处理和存储器要求的显著增加,以及功率消耗的成比例增加。此外,图4c的视觉解压缩302和有凹量化器430块的处理和存储器要求将与现有技术的有凹渲染块的处理和存储器要求相当,因此使用本发明的有凹视觉解压缩方法的近眼显示器系统200将比图1a和图
1b的现有技术的近眼显示器系统(其并入现有技术的有凹渲染并且使用常规压缩技术)要求显著更少的处理和存储器(因此降低的成本和功率消耗)。还应当注意,本发明的有凹视觉解压缩方法获得那个增益是通过匹配HVS的固有能力;即,HVS的时间整合和分级的(或有凹的)空间(角度)分辨率(锐度)。同样重要的是注意到,当要求近眼显示器系统200显示多视图或多焦光场时,可以通过本发明的有凹视觉解压缩方法实现的压缩增益的水平将是极为重要的,这是因为这样的系统的处理、存储器和接口带宽与其要求显示的视图的数量或焦平面(表面)的数量(对于良好设计的近眼显示器系统,其可以在需要显示以实现由近眼显示器观看者可接受的3D感知水平的六到12个视图的范围之间)成正比。
[0043] 有凹动态色域-在先前动态色域实施例的另一方面,视觉解压缩块302将从眼睛和头部跟踪元件210中接收关于观看者的凝视方向的信息,它然后将该信息映射到图像帧内的对应像素(宏)空间坐标(其标识观看者的视场的中心)并将该信息与它传到量化器块303的图像帧数据附加在一起。使用观看者的视场的中心的所标识的空间坐标,量化器块303然后将应用典型的HVS(角度或方向)颜色锐度轮廓,以取决于每个像素(或宏)相对于为该帧标识的观看者的视场的中心的空间坐标的位置来将图像像素(或宏)颜色坐标的默认的24比特(每色8比特)字长成比例地截断成更小大小(以比特为单位)的字长。典型的HVS(角度或方向)颜色锐度轮廓(分布)将由量化器块303维持为查找表(LUT)或生成函数,所述函数取决于像素(或宏)距观看者的视场的中心的空间距离来标识像素(或宏)颜色坐标字长量化因子。这种HVS颜色锐度轮廓LUT或生成函数将会基于典型的观看者的(角度或方向)HVS颜色锐度轮廓,并且可以取决于每个特定观看者的偏好而通过给定的因子进行调整或偏置。然后,在被发送到显示器元件203以供调制之前,行程长度编码器304将与HVS颜色锐度轮廓对应的颜色色域分布附加到像素(或宏)量化的颜色值。像素(或宏)颜色坐标字长截断的所述方法(其基于针对每帧的观看者的视场的所标识中心周围的角度或方向颜色锐度轮廓)实际上是所显示图像的颜色凹,其可导致将向显示器203转发的图像帧数据的大小降低到1/2x至1/3x倍。作为压缩显示器,显示器203将直接使用它接收的像素(或宏)截断的颜色坐标来调制图像帧。在该实施例的上下文内使用的术语“有凹”意在指示所显示颜色色域将适应于HVS颜色锐度轮廓(分布)(其从观看者的眼睛中央凹的中心向外朝向观看者的眼睛视网膜的外围区域)。应当注意的是,通过使显示器匹配HVS的颜色感知锐度分布来实现该实施例的视觉压缩增益。
[0044] 近眼光场显示器-当场景图像或视频信息的不同视角被传输到每只眼睛时,观看者的HVS将能够融合两个图像并感知由右图像与左图像之间或视频帧之间的差(差异)所传送的深度(3D感知);一种被称为立体深度感知的能力。然而,在通常使用2个视图(针对每只眼睛一个视图)的常规3D显示器中,由观看者感知的深度可能不同于在其上观看者的眼睛聚焦的深度。这导致提供给观看者的HVS的会聚和调节深度提示之间的冲突(称为聚散度-调节冲突(VAC)的效应),并且可能导致观看者的头痛、不适和眼睛疲劳。VAC可通过以下方式消除:向观看者的每只眼睛提供整个光场的相称视角,以便使观看者的HVS能够自然地调节并会聚在光场(即,可聚焦的光场)内的相同点处。呈现给观看者的每只眼睛的光场的视角可以是光场的角度或深度样本(或切片)。当呈现给观看者的每只眼睛的视角是光场的角度样本时,该方法被称为多视图光场,并且当使用深度样本时,该方法被称为多焦平面光场。尽管它们的实现方式细节可能不同,但是向观看者的HVS呈现无VAC光场的两种方法是光场的功能等效表示。在任一方法中,呈现给观看者的HVS的视觉数据的带宽将与用于表示光场视角的光场样本(视图或焦平面)的数量成比例,并且因此将比每眼呈现一个视图(或视角)的常规立体方法高得多。视觉数据带宽的增加将导致近眼显示器系统的处理、存储器、功率和体积方面的相称增加,这将使得实现利用光场原理以便消除VAC的近眼显示器更加困难。以下段落应用了所述视觉解压缩方法加上其它HVS锐度匹配方法,以便使得有可能实现利用光场原理以便消除VAC并向其观看者提供高质量的视觉体验的近眼显示器,同时实现对于实际近眼(AR或VR)显示器系统所寻求的紧凑性(流线型外表)。
[0045] 近眼光场调制器-在本发明的一个实施例中,使用分别是近眼显示器200的显示器(或光调制器)右侧元件203R和左侧元件203L的多个物理像素的组,将表示光场样本(视图或焦平面)的视觉信息呈现(或由近眼显示器系统调制)到观看者的HVS。在本文中,光调制器元件203R和203L的这种多个物理(m×m)像素组一起被称为“(m×m)调制组”或“宏像素”。简言之,光调制器元件203R和203L的各个物理(各个)像素将被称为微像素(或m像素),并且用于调制光场样本(视图或平面)的宏像素将被称为M像素。在多视图光场近眼显示器系统实现方式的情况下,各个m像素(其包括M像素中的每个)将被用于调制(或显示)被呈现给观看者的HVS的光场的多个视图,并且在多焦表面(平面)光场实现方式的情况下,M像素将被用于调制(或显示)多个深度虚拟图像表面,其表示被呈现给观看者的HVS的光场的深度平面(样本)。M像素的维度将被表示为(m×m)m像素,并且将表示近眼显示器系统将呈现给观看者的每只眼睛的光场样本的总数量。在该实施例中,近眼光场显示器200的光调制器元件
203R和203L的光学(光发射)特性将被使得与观看者的HVS的角锐度和FOV相匹配。由于HVS角锐度在观看者的眼睛中央凹区域402处处于其最高水平,并且朝向观看者的眼睛视网膜的外围区域403-412系统地降低,因而随之,观看者的HVS深度感知在观看者的眼睛中央凹区域402处处于其最高水平,并且朝着观看者的眼睛视网膜的外围区域403-412系统地降低。因此,通过匹配观看者的HVS角锐度,该实施例的近眼光场显示器200的光调制器元件
203R和203L将被使得匹配观看者的HVS的角深度锐度(如以下段落中所解释的)。
[0046] 图5a示出了将用于匹配观看者HVS的FOV与角锐度的近眼显示器系统的光调制器(显示器)元件203R和203L的实现方式。在图5a中,光调制器元件203R和203L的m像素550是包括微光学元件555的发射多色光子微尺度像素(通常在大小上为5-10微米),所述微光学元件555将从m像素发射的准直(或定向调制)光束引导到光调制器元件203R和203R发射FOV内的给定方向。此外,与图5a中所示的光调制器元件203的M像素中的每个相关联的是宏光学元件560,其将填充(或均匀地分布)从它相关联的m像素发射的光到M像素FOV上,以便实现定向调制光束(其从它相关联的m像素调制组发射)的给定角密度。从每个m像素发射的准直且定向调制的光束在本文中将被称为“光场带(light field anglet)”。如图5a中所示,M像素维度将在光调制器元件203R和203L光学孔径的光学中心处处于其最高水平,并且随着距与中央凹中心对应的图像调制区域的HVS深度感知锐度而成比例地逐渐降低。同样如图5a中所示,M像素角覆盖(或FOV)在光调制器(显示器)元件203R和203L光学孔径的光学中心处将是最窄的值,并且将随着距与中央凹中心对应的图像调制区域的HVS角锐度的减小而成反比例地逐渐增大。结果,光场带的角密度在光调制器(显示器)元件203R和203L光学孔径的中心区域内将处于其最高值,并且在其外围区域内系统地减小。实际上,图5a中所示的光调制器元件203R和203L中的每个的光学F/#在其光学孔径的中心区域将处于其最高值,并且随着距与中央凹中心对应的图像调制区域的HVS锐度分布成比例地逐渐减小。因此,实际上,在该实施例中,从光调制器元件203R和203L发射的光将匹配HVS锐度分布,使得其最高分辨率在图像区域内是可用的(以在观看者的眼睛中央凹区域402处的观看者的HVS锐度最高水平为目标)并且朝着观看者的眼睛视网膜的外围区域403-412系统地降低。应注意的是,为了匹配观看者的眼睛瞳孔从观看者的近场到远场移动的范围(约7°),如图5a中所示,光调制器元件203R及203L的最高分辨率中心区域(图5a中的中心的±5°FOV区域)将被制成足够宽以调节观看者的眼睛从观看者的近场到远场移动的范围内的所有可能的眼睛中央凹FOV区域402位置。已经描述了用于实现光学匹配HVS锐度的光场调制器的方法,下面的段落描述了在其中HVS光学匹配的光调制器元件203R和203L将与前面描述的有凹视觉解压缩方法结合使用以实现近眼光场显示器200(其使用前面讨论的多视图或多焦平面光场采样方法)的方法。
[0047] 多视图光场-图5b以高水平示出了先前实施例的光调制器(显示器)元件203R和203L与光学元件206之间的耦合。在图5b的近眼显示器系统200光学元件206设计图示中,由显示器元件203R和203L调制的图像将被适当地放大,然后由光学元件206传达到观看者的眼睛580。光学元件206可以使用反射器和分束器光学组件、自由形式的光楔或波导光学器件来实现。尽管这些光学元件206的设计选项的设计细节是不同的,但它们的共同设计准则是充分放大并将光调制器(显示器)元件203R和203L的光学输出传达到观看者的眼睛580。
通过光学元件206从光调制器元件203R和203L的微和宏光学元件(分别为555和560)的有效光学放大和所选择M像素(M×M)维度的设计准则将使得M像素(其位于光调制器元件203R和
203L的中心光学区域)的光斑大小将匹配虚拟图像的HVS(平均)空间锐度,其形成(调制)在覆盖中央凹中心区域(图4a的402-404)的近眼显示器系统200的最小观看距离(近场)处。例如,如果近眼显示器系统的最小观看距离是30 cm,并且假设在该距离处的HVS空间锐度大约为40微米,则光调制器元件203R和203L的中心光学中心区域处的M像素的节距也将为40微米,并且如果光调制器元件203R和203L的m像素的节距为10微米,则M像素的维度将会是(4×4)m像素,这将使得近眼光场显示器系统200能够调制高达4×4=16个视图到观看者的眼睛中央凹中心区域(图4a的402-404)中的每个。在此示例中,如图5a中所示,M像素的维度将逐渐降低到m像素的(3×3)、(2×2)接着(1×1),以在观看者的FOV的外围区域405-412中呈现降低数量的视图。因此,该实施例的光调制器元件203R和203L将通过将更高数量的视图调制到观看者的中央凹区域(图4a的402-404)上以及将更少数量的视图系统地调制到观看者的FOV的外围区域405-412上来匹配观看者的HVS角锐度和深度感知方面。这实际上是视觉压缩的一种形式,这是因为向观看者提供最高深度提示所需的最高数量的视图由观看者的中心中央凹区域(图4a的402-404)内的光调制器元件203R和203L所调制(如由眼睛和头部跟踪元件210感测的观看者的凝视方向和焦深所指示的)并且系统地更少数量的视图被调制到观看者的FOV的外围区域405-412上,其与HVS典型锐度角分布成比例。因此在先前的示例中,16个视图将由显示器元件203R和203L调制到观看者的眼睛中央凹中心区域(图
4a的402-404)上,其大约为2°宽,其中较少数量的视图被调制到观看者的FOV的外围区域
405-412上,从而将图像输入301带宽降低到与观看者的眼睛中央凹中心区域(图4a的402-
404)的角宽主要地成比例,所述中央凹中心区域(图4a的402-404)与近眼显示器200 FOV的全角宽成比例。也就是说,例如,当近眼光场显示器200 FOV为20°宽,并且16个视图被调制到其中心2°宽的角度区域以及在其外围区域平均4个视图时,在这种情况下,大约五个视图的有效带宽将会是足够的,这相当于3x倍的压缩增益。当然,当近眼显示器200 FOV比说明性示例中假设的20°更宽时,利用该实施例的视觉压缩方法将实现更高的压缩增益。
[0048] 多视图光场深度有凹视觉解压缩-由于HVS角(感知)锐度从FOV的中心区域朝向外围区域的系统性减小,HVS深度感知锐度也从观看者的近场(约30cm)朝向远场(约300cm)系统性减小。因此,随之,相较于针对远场深度感知,HVS针对近场深度感知要求更高数量的视图。此外,当观看者的眼睛聚焦并调节于某一点时,HVS深度感知锐度在该点的附近内处于其最高水平,并且随着与该点的深度或角度偏差而系统地降低。因此,对在其中观看者的眼睛聚焦和调节的点的附近内的视觉信息有贡献的视图对实现深度感知贡献最大,此外,随着观看者的眼睛焦点从观看者的近场朝向远场改变,这样的视图的数量系统地减少。HVS深度感知的这一属性提供了仍有的另一视觉压缩机会,其可以通过图5a的(有凹)多视图光调制器元件203R和203L与先前描述的有凹视觉解压缩方法的组合来利用。在近眼光场显示器系统200内并入图5a的多视图光调制器元件203R和203L以及先前实施例的有凹视觉解压缩方法的实施例中,由眼睛和头部跟踪元件210提供的观看者的所感测焦点被用于确定(或标识)贡献点的附近(在其中观看者的眼睛聚焦)内的最多视觉信息的光场视图,并且然后应用所述有凹视觉解压缩方法,以关于他们对在附近(在其中观看者的眼睛聚焦)内的视觉信息的贡献成比例地压缩由图5a的多视图光调制器元件203R和203L调制到观看者的光场视图。因此,实际上,利用该实施例的方法,贡献点的附近(在其中观看者的眼睛聚焦)内的最多视觉信息的光场视图将由图5a的多视图光调制器元件203R和203L来调制,以使用以其字长表示的最小截断的最高数量的调制基系数来实现最高视觉感知,同时点的附近(在其中观看者的眼睛聚焦)贡献较少的光场视图将由图5a的多视图光调制器元件203R和203L使用以较宽角节距间隔开的较少光场调制视图来调制(使用以较高字长截断的成比例较少数量的调制基系数)。该实施例的方法的净效果是三维有凹视觉解压缩动作,其中将以与观看者的焦点处的HVS感知锐度相匹配的最高保真度来调制点的附近(在其中观看者的眼睛聚焦)内的视觉信息,同时在远离观看者的眼睛所聚焦的位置的点处以与HVS的成比例较低的感知锐度相匹配的保真度水平来调制周围区域(前、后和侧区域)的视觉信息。该实施例的组合方法被统称为多视图光场深度有凹视觉解压缩。应当注意的是,在该实施例的上下文内使用的术语“有凹”意在指示显示器分辨率将适应于HVS深度感知锐度轮廓(分布),其是从观看者的眼睛中央凹的中心向外朝向观看者的眼睛视网膜的外围区域的。
[0049] 还应当注意,尽管在先前实施例中,显示器元件203R和203L会将更高数量的视图调制到观看者的眼睛中央凹中心区域(图4a的402-404)上,如由眼睛和头部跟踪元件210指示的,但是显示器元件203R和203L仍然能够跨一角度区域来调制可能的最高数量的视图,该一角度区域跨观看者的近场和远场之间的角度距离扩展(其总共大约为7°)。尽管如此,当应用了先前实施例的有凹视觉解压缩方法时,如先前所解释的,它将以匹配HVS角度感知锐度的方式截断和量化调制基系数,从而实际上复合图5a的有凹多视图光调制器元件203R和203L和有凹视觉解压缩的压缩增益。也就是说,利用先前示例,当有凹视觉解压缩(其实现32x倍的适度压缩增益)与图5a的有凹多视图光调制器元件203R和203L(其实现3x倍的压缩增益)组合时,与实现相当的观看体验并提供每眼16个视图的近眼光场显示能力的近眼显示器系统相比,可以由近眼多视图光场显示器系统200实现的复合压缩将达到96x倍的压缩增益。
[0050] 多焦平面(表面)光场-图6a示出了应用多焦平面(表面)近眼光场显示器的上下文内的本发明的视觉解压缩方法的实施例。如图6a中所示,在该实施例中,光场调制器203R和203L的m像素和M像素将被设计成生成准直且定向调制的光线束(或光场带)610R和610L(其共同地角度上跨越近眼光场显示器200的FOV)。在该实施例中,近眼光场显示器200将包括右侧和左侧光场调制器203R和203L,其中每个包括多个m像素和M像素,所述多个m像素和M像素被设计成生成多个右和左光场带对610L和610R,所述光场带对610L和610R寻址在观看者的右眼580R和左眼580L视网膜处的对应点。(视网膜对应点是观看者的相对眼睛的视网膜上的点,其感官输出被观看者的视觉皮层感知为深度处的单个点)。由右光场调制器203R和左光场调制器203L分别生成的右和左光场带对610R和610L在所述光场带610R和610L对分别寻址观看者的右眼580R和左眼580L视网膜处的对应点的集合时在本文中被称为“视觉上对应的”。近眼光场显示器200的FOV内的点(其中由右侧光场调制器203R和左侧光场调制器203L生成并且由光学元件206传达到观看者的眼睛580R和580L的“视觉上对应的”光场带对610R和610L相交)将由观看者视觉皮层双眼感知为在光场(其由近眼光场显示器系统200调制)内的虚拟光点(VPoL)620。观看者的HVS的双眼感知方面将使由光学元件206传达到观看者的眼睛580R和580L视网膜上的视觉上对应的带光束图像组合成单个视图的光点;即,在与观看者的眼睛580R和580L的对应聚散度距离相对应的深度处感知的虚拟光点(VPoL)
620。因此,在该实施例中,近眼光场显示器200通过由其右侧光场调制器203R和左侧光场调制器203L同时分别调制“视觉上对应的”光场带610R和610L的对来调制(或生成)要在显示器FOV内由观看者双眼感知的虚拟光点(VPoL)620。在近眼光场显示器200的FOV内由观看者双眼感知的虚拟光点(VPoL)620的位置将由右光场调制器203R和左光场调制器203L(其分别生成了“视觉上对应的”光场带610R和610L的对)内的m像素和/或M像素的(x,y)R和(x,y)L空间(坐标)位置来确定。因此,通过分别地寻址其右和左右光场调制器203R和左光场调制器203L的m像素和/或M像素的(x,y)R和(x,y)L空间位置,近眼光场显示器200可以调制(生成)由观看者在近眼光场显示器200的FOV内的任何深度处双眼感知的虚拟光点(VPoL)620。
实际上,利用这种VPoL 620调制方法,近眼光场显示器200可以通过由其右侧光场调制器
203R和左侧光场调制器203L分别调制“视觉上对应的”光场带610R和610R的对来调制其显示器FOV内的三维(3D)观看者可聚焦光场内容。术语“观看者可聚焦“在此上下文中被用于表示近眼光场显示器200的观看者能够任意(at will)聚焦在所调制的光场内的对象(或内容)上。这是近眼光场显示器200(其显著地有助于降低典型3D显示器所遭受的上述VAC问题)的重要特征。
[0051] 由于HVS深度感知锐度的固有能力,所以不必寻址近眼光场显示器200的FOV内的所有可能的虚拟光点(VPoL)620。原因是HVS的双眼感知方面,基于所述原因,在观看距观看者的眼睛以一给定的聚散度距离(或位置)处的对象时实现双眼深度感知,其在观看者的眼睛视网膜的对应区域(点)处形成图像。距观看者的眼睛的所有这些位置(或聚散度距离)被称为双眼单视界表面。将HVS锐度的角分布与其双眼深度感知方面相组合产生了围绕双眼单视界表面的深度区域,其被称为Panum的融合区域(或体积),贯穿该区域,即使由观看者所感知的对象实际上不处于双眼单视界表面处,也将实现双眼深度感知。双眼单视界表面的该双眼深度感知体积(其作为由围绕其的相关联Panum的融合区域所扩展)提出了一种用于将光场采样到表面的离散集合(其由它们的Panum的融合区域的近似大小分开)的方法,当然具有一些重叠,以确保光场采样表面之间的体积内的双眼深度感知的连续性。经验测量(参见Hoffman,M.;Girshick,A.R.;Akeley,K.和Banks,M.S的Vergence-accommodation conflicts hinder visual performance and cause visual fatigue”(Journal of Vision(2008)8(3):33,1-30))证实了当在观看者的视场内存在由大约0.6屈光度(D)分开的多个2D光调制表面时,可以实现双眼深度感知连续性。因此,由0.6D分开的、在观看者的FOV内的双眼单视界表面的集合对于观看者的HVS来说足以在跨越这样的多个双眼单视界表面及其相关联Panum的融合区域的体积内实现双眼感知。在本文中,将由在从观看者的近场扩展到远场的FOV内实现观看者的双眼深度感知连续性所需的距离分开的双眼单视界表面称为规范双眼单视界表面。
[0052] 在该实施例中,将近眼光场采样成由0.6D(双眼单视界表面分开距离)分开的双眼单视界表面的规范(意味着足以实现连续体积双眼深度感知)离散集合的所述方法将使用在较早实施例中描述的近眼光场显示器200的所述虚拟光点(VPoL)620调制方法来实现,这是通过在右光场调制器203R和左光场调制器203L内分别地定义m像素和/或M像素的(x,y)R和(x,y)L空间位置的集合,其将生成“视觉上对应的”光场带的集合,所述集合随后将导致在显示器系统200 FOV内的双眼单视界表面的所选择规范集合处对多个虚拟光点(VPoL)620的观看者的双眼感知。利用使用所述虚拟光点(VPoL)620调制方法来调制双眼单视界表面的规范集合的该方法,近眼光场显示器200将能够在感知上寻址观看者的整个近眼光场。
因此,实际上,该实施例的方法将实现与所选择双眼单视界调制表面的大小(以VPoL为单位)相对于由近眼光场显示器200可寻址的整个光场的大小(以VPoL为单位)成比例的光场压缩增益,这可以是被预期远远超过100x的相当大的压缩增益。值得注意的是,这样的压缩增益在匹配HVS的双眼感知和角锐度中通过近眼光场显示器200的虚拟光点(VPoL)620调制能力来实现。
[0053] 图6b示出了先前实施例的近眼光场双眼单视界采样和调制方法。图6b示出了系统地从观看者的近场(约30cm)朝向远场(约300cm)相对于观看者的眼睛610的位置的光场双眼单视界表面615、618、625、630、635和640的顶视图。如图6b所示,第一光场双眼单视界表面615将在观看者的近场距离(其位于距观看者的眼睛3.33D)处,而剩余的五个光场双眼单视界表面618、625、630、635和640将以从观看者的眼睛连续0.6D的距离分别按位于距观看者的眼睛2.73D、2.13D、1.53D、0.93D和0.33D处。图6b中所示的六个光场双眼单视界表面615、618、625、630、635和640将各自由以与HVS深度和角锐度相称的密度(或分辨率)而调制的多个VPoL 620组成;例如,在第一光场双眼单视界表面615处的调制的VPoL 620密度(光斑大小)将是40微米,以匹配该距离处的HVS空间锐度,并且在剩余的五个光场双眼单视界表面618、625、630、635和640处以匹配HVS空间和角锐度分布的方式连续变得更大。包括六个光场双眼单视界表面615、618、625、630、635和640中的每个的多个VPoL 620将由其相关联的多个“视觉上对应的”光场带对610R和610L调制(生成),这些光场带对610R和610L由分别位于近眼光场显示器200的右光场调制器203R和左光场调制器203L内的它们相应的(x,y)R和(x,y)L空间位置处的m像素和/或M像素的所定义的集合生成。右光场调制器203R和左光场调制器203L(其调制(生成)六个光场双眼单视界表面615、618、625、630、635和640中的每个)内的空间位置(x,y)R和(x,y)L将被先验计算,并且由视觉解压缩变换块302维持,以基于它从嵌入式或外部处理器102或107分别接收作为输入的光场图像数据301来寻址其对应VPoL 620(所述对应VPoL 620包括六个光场双眼单视界表面615、618、625、630、635和640中的每个)。
[0054] 多焦平面光场中的深度有凹视觉解压缩-尽管近眼光场显示器系统200的右光场调制器203R和左光场调制器203L可以可能同时调制所有六个光场双眼单视界表面615、620、625、630、635和640,但那不是必需的,因为在任何具体时刻,观看者的眼睛将聚焦在特定距离处,并且如先前所解释的,HVS深度感知锐度在该点的附近处于其最高值并且随着与该点的角度偏差或深度而系统地降低。因此,在该实施例中,本发明的多焦平面近眼显示器系统200通过使用本发明的多焦表面光场调制方法来实现视觉压缩增益,其中同时但以与观看者焦点处的HVS锐度相匹配的VPoL 620密度(分辨率)来调制六个光场双眼单视界表面
615、618、625、630、635和640。此外,在近眼显示器系统200内并入了使用VPoL 620来调制近眼光场的所述方法(其调制规范双眼单视界表面615、618、625、630、635和640,如图6b中所示)以及在先前实施例中所述的有凹视觉解压缩方法两者的实施例中,由眼睛和头部跟踪元件210传感器提供的观看者的所感测焦点被用于确定(标识)双眼单视界表面(其在观看者的眼睛聚焦的点的附近内贡献最多视觉信息),并且然后应用了所述有凹视觉解压缩方法来成比例地压缩VPoL 620,所述VPoL 620调制六个光场双眼单视界表面615、620、625、
630、635和640,所述调制是与它们对观看者的眼睛聚焦的附近内的视觉信息的贡献成比例地进行的。在该实施例中,由眼睛和头部跟踪元件210传感器提供的观看者的所感测焦点被用于标识距观看者的眼睛聚焦处(聚散度距离)小于0.6D内的光场双眼单视界表面。当观看者的焦点不直接在规范光场双眼单视界表面615、618、625、630、635和640中的一个上时,该准则将标识规范光场双眼单视界表面615、618、625、630、635和640中的最多两个,在这种情况下,将仅标识双眼单视界表面中的一个。如先前所解释的,由于观看者的HVS的双眼融合区域实际上填充了规范光场双眼单视界表面之间中的0.6D区域,因此该准则确保了观看者的聚焦区域的光学深度落入所选择的(所标识的)光场双眼单视界表面中的至少一个的双眼融合区域内。在该实施例中,使用所述选择准则标识的双眼单视界表面在点的附近(在其中观看者的眼睛聚焦和调节)内贡献了最多的视觉信息,因此,图6a的多焦平面光调制器(显示器)元件203R和203L将使用VPoL 620密度(其与这些表面的感测深度处的HVS锐度相匹配)并且还使用以最小字长截断的最大数量的调制基系数来调制这些标识的双眼单视界表面以实现最高视觉感知,而具有点的附近(在其中观看者的眼睛聚焦)内的较少贡献的双眼单视界表面的剩余部分将由图6a的多焦平面光调制器(显示器)元件203R和203L使用以较宽角节距间隔开的较少VPoL 620来调制(使用以较高字长截断的成比例较少数量的调制基系数)。该实施例的方法的净效果是三维有凹视觉解压缩动作,其中,将以与焦点处的HVS感知锐度相匹配的最高保真度来调制点的附近(在其中观看者的眼睛聚焦)内的视觉信息,同时在远离(在前、后和侧上)观看者的眼睛聚焦的点处以与HVS的成比例较低的感知锐度相匹配的保真度水平来调制周围区域的视觉信息。该实施例的组合方法被统称为多焦平面光场深度有凹视觉解压缩。应当注意的是,在该实施例的上下文内使用的术语“有凹”意在指示显示器分辨率将适应于HVS深度感知锐度轮廓(分布),其是从观看者的眼睛中央凹的中心向外朝向观看者的眼睛视网膜的外围区域的。
[0055] 应当注意的是,尽管在先前实施例中,较高密度的VPoL 620将由图6a的显示器元件203R和203L调制到观看者的眼睛中央凹中心区域(图4a的402-404)上,如眼睛和头部跟踪元件210所指示的,但是图6a的显示器元件203R和203L仍然能够跨一角度区域来调制可能的最高VPoL 620密度,该一角度区域跨观察者的近场和远场之间的角度距离扩展(其总共大约为7°)。尽管如此,当应用了先前实施例的深度有凹视觉解压缩方法时,如先前所解释的,它将以匹配HVS角度和深度感知锐度的方式截断和量化调制基系数,从而实际上复合图6a的有凹多焦平光调制器(显示)元件203R和203L和有凹视觉解压缩的压缩增益。也就是说,利用先前示例,当有凹视觉解压缩(其实现32x倍的适度压缩增益)与图6a的有凹多焦平面光调制器元件203R和203L(其实现大约3x倍的压缩增益)组合时(在选择六个规范双眼单视界表面中的仅至多两个,同时还使所有六个规范双眼单视界表面的VPoL 620密度凹时),与实现相当的观看体验并使用具有六个焦平面能力的近眼光场显示器的近眼显示器系统相比,在这种情况下,可以由近眼光场显示器系统200实现的复合压缩将达到96x倍的增益。
[0056] 图7示出了针对图6a的多焦平面近眼光场显示器200的内容的生成。在该说明性示例中,场景由相机701捕获于三个深度平面:近平面、中间平面和远平面。注意,由相机701捕获的深度平面越多,观看者在图6a的多焦平面光场近眼显示器200处的深度感知就将越好。优选地,捕获深度平面的数量应当与图6a的光场近眼显示器200可以调制的焦平面的数量相称,在先前实施例的情况下,其是图6b的六个规范双眼单视界表面615、618、625、630、635和640。该示例使用三个捕获平面来说明本发明的附加方面,然而,本领域技术人员将能够使用本文描述的方法来实现多焦平面近眼成像(意味着捕获和显示)系统,其利用多于该说明性示例的三个捕获深度平面。在该说明性示例中,三个对象被置于内容场景中,对象702更靠近捕获相机,而两个其他对象703和704更远离相机。对于多焦平面成像系统,将需要根据对象相对于(捕获)深度层的位置来调节所述对象的亮度。在图7的说明性示例中,这是通过对图像内容的亮度进行深度滤波(如滤波块705、706和707所示的)以便使图像场景对象的亮度与其深度值相称来实现的。例如,最接近的对象702被整体包含在第一深度层中,因此它将被描绘为在该特定层708中具有全亮度,但是被从其他两个层706和707完全移除。在中间对象703的情况下,它位于两个深度层(中间和远)之间,因此,它的全亮度将在两个层
706和707之间划分,以便渲染对象703的全亮度。然而,由于感知的对象亮度是所有层711的总和,因此在观看者的眼睛将以全亮度来感知到作为来自深度平面706和707两者的亮度贡献的加权总和的对象。为了实现场景的3D感知,深度层708、709和710中的每个将以其对应的深度被显示给观看者,其中,调整的亮度将与场景对象深度一致,以便有效地唤起观看者深度提示并且使得所显示内容由观看者可聚焦。观看者将看到所有层的组合,从而产生重建的立体图像711,其具有对观看者的HVS的适当的聚焦提示。如上所解释,该说明性示例的三个捕获平面的图像内容连同其相对深度信息将被渲染,以便将其图像内容颜色和亮度分布(或映射)到图6a的多焦平面近眼显示器200的多焦平面上。这个捕获图像渲染处理的最终结果是将输入图像301的内容颜色和亮度映射到一数据集合上,所述数据集合指定了多个“视觉上对应的”光场带对610R和610L的颜色和亮度数据,其将分别由近眼光场显示器
200的右光场调制器203R和左光场调制器203L内的m像素和/或M像素(x,y)R和(x,y)L空间位置的其相应集合所生成。在通过近眼光场显示器200的右光场调制器203R和左光场调制器
203L分别调制这些颜色和亮度数据集合时,观看者将感知到渲染的3D图像输入内容作为VPoL 620的调制的集合,并且将能够任意聚焦在场景中的任何所显示的3D对象702、703或
704处。应当注意的是,尽管在前述说明性示例中仅使用了三个捕获平面,但是本发明的近眼光场显示器200在这种情况下仍然将使用本实施例的所述方法将输入图像数据301渲染到图6b的其六个规范双眼单视界表面上,以用于使用其近眼光场显示能力、使用所述VPoL 
620调制方法来显示输入图像内容。
[0057] 图7中所示的多焦平面深度滤波过程实际上是根据相关联的输入图像深度信息将输入图像场景内容亮度分派(或映射)到显示器200多焦平面的过程,其目的是创建对观看者的HVS的适当的感知深度提示。在本发明的一个实施例中,本发明的多焦平面近眼光场显示器200能够执行局部深度滤波处理,以便生成由图6a的近眼光场显示器200所使用的所有深度层,在前述实施例的情况下,所述深度层是如图6b中所示的位于从观看者的近场到远场的显示器FOV内的六个规范双眼单视界表面。图8示出了该实施例的多焦平面深度滤波方法825,由此分层器802处理图像输入301及其相关联的深度映射801以生成图像深度平面或层,其对应于捕获深度平面。然后,对每个生成的层的内容进行深度滤波803,以便将输入图像301及其相关联的输入深度映射602映射到要显示的多焦平面图像上。图像渲染块804然后使用生成的多焦平面图像来生成多个“视觉上对应的”光场带对610R和610L的颜色和亮度值,所述光场带对610R和610L将由近眼光场显示器200的右光场调制器203R和左光场调制器203L内的m像素和/或M像素(x,y)R和(x,y)L空间位置的其相应集合来生成;所述近眼光场显示器200将调制多焦平面VPoL 620给显示器的观看者。
[0058] 在另一实施例中,从输入图像301生成先前实施例的近眼光场显示器200的规范光场双眼单视界表面615、620、625、630、635和640的显示图像,其包括所捕获的场景内容的参考元素图像或全息元素(全息像素(hogel))(参见美国专利申请公开号2015/0201176)的压缩集合。在该实施例中,首先处理了由场景的光场相机捕获的元素图像或全息元,以便标识最小数量的捕获的元素图像或全息像素的子集,其贡献最多或充分地表示在规范光场双眼单视界多焦表面615、620、625、630、635和640的(指定)深度处的图像内容。元素图像或全息像素的这种标识的子集在本文中称为参考全息像素。相对于由场景的源光场相机捕获的元素图像或全息像素的总数量的数据大小,包含规范多焦表面615、618、625、630、635和640的图像内容的所标识的参考全息像素的数据大小将表示与参考全息像素的所标识子集的数据大小除以所捕获的元素图像或全息像素的总数量成反比的压缩增益,所述压缩增益可以达到大于40x的压缩增益。因此,在该实施例中,将捕获的光场数据集合压缩成表示近眼光场显示器200的多焦平面的离散集合的数据集合,并且在这样做时,实现了反映规范光场双眼单视界多焦平面615、618、625、630、635和640的压缩增益,其由先前实施例的方法标识为通过匹配观看者的HVS深度感知方面来实现压缩增益的光场的压缩表示。
[0059] 压缩的渲染-在图9中所示的另一实施例中,在包括先前实施例的参考全息像素的压缩光场数据集合的所接收图像输入805上直接执行“压缩的渲染”(美国专利申请公开号2015/0201176),以便提取要由多焦平面近眼光场显示器200显示的图像,右光场调制器
203R和左光场调制器203L用于在规范光场双眼单视界表面615、618、625、630、635和640处调制光场图像。图9示出了该实施例的压缩的渲染过程806,其中包括参考全息像素的压缩光场数据集合的输入光场数据805被处理以生成到多焦平面近眼光场显示器200右光场调制器203R和左光场调制器203L的输入。在图9的压缩的渲染过程806中,首先渲染包括先前实施例的参考全息像素的光场数据集合的所接收的压缩输入图像805,以在规范光场双眼多焦平面615、620、625、630、635和640处提取光场图像。在压缩的渲染过程806的第一步810中,参考全息像素图像连同它们的相关联深度和纹理数据(包括光输入805)一起被用来合成近眼光场VPoL的颜色和亮度值,其包括规范光场双眼单视界多焦表面615、618、625、630、
635和640中的每个。由于参考全息像素是基于规范光场双眼单视界多焦表面615、618、625、
630、635和640的深度信息先验选择的,所以VPoL合成过程810将要求最小的处理吞吐量和存储器来从压缩的参考全息像素输入数据805中提取近眼光场VPoL颜色和亮度值。此外,如图9中所示,由眼睛和头部跟踪元件210感测的观看者的凝视方向和聚焦深度被VPoL合成过程810所使用以基于相对于观看者的所感测凝视方向和聚焦深度的观看者的HVS锐度分布轮廓来渲染VPoL值。与合成的近眼光场VPoL值中的每个相关联的是以下项的对,即视觉上对应的带方向以及在近眼光场显示器200的右和左光场调制器203内的其(x,y)R和(x,y)L空间位置坐标。然后,将与提取的近眼光场VPoL中的每个相关联的视觉上对应的带对的颜色和亮度值通过带合成过程815分别映射(变换)到右光场调制器203R和左光场调制器203L内的(x,y)R和(x,y)L空间位置坐标上。取决于由头部和眼睛跟踪元件210感测的观看者的凝视方向,深度有凹视觉压缩块820将利用先前实施例的所述方法来基于观看者的HVS锐度分布以压缩分别在右光场调制器203R和左光场调制器203L内的(x,y)R和(x,y)L空间位置坐标的所生成的颜色和亮度值。实质上,该实施例将组合三个先前实施例的压缩增益;即,(1)与输入到全包括规范光场多焦表面的最小参考全息像素的集合中的光场数据的压缩相关联的增益;(2)与将整个光场压缩成包括规范光场多焦表面中的每个的VPoL的集合相关联的增益;以及(3)与为匹配观看者的HVS的角度、颜色和深度锐度的调制的VPoL的深度成凹相关联的增益。这些压缩增益中的第一个将显著地降低近眼显示器系统200的接口带宽;这些压缩增益中的第二个将限制降低VPoL及其生成对应带所需的计算(处理)资源;并且这些压缩增益中的第三个将显著降低近眼显示器光场调制器203R和203L的接口带宽。应当注意的是,这些压缩增益的效果通过近眼显示器光场调制器203R和203L的压缩显示能力而进一步增强,其使得能够直接显示压缩的输入,而不需要如现有技术显示器系统中目前所做的那样首先对所述输入解压缩。
[0060] 多个实施例的前述描述呈现了用于近眼显示器系统的图像压缩方法,其降低了输入带宽和系统处理资源。目标在于匹配人类视觉系统角度、颜色和深度锐度的高阶基调制、动态色域、光场深度采样和图像数据字长截断和量化外加使用压缩的输入显示器在适合于移动应用的近眼显示器系统中以显著降低的输入接口带宽和处理资源实现了高保真视觉体验。
[0061] 本领域技术人员将容易地领会,在不偏离由所附权利要求限定且在所附权利要求中限定的范围的情况下,可以对本发明的实施例进行各种修改和改变。应当领会,本发明的上述示例仅是说明性的,并且本发明可以以其它具体形式实施而不脱离其精神或基本特征。例如,可以一起使用所公开的实施例的各种可能的组合,以便在未在前述说明性示例中具体提及的近眼显示器设计中实现另外的压缩增益。因此,所公开的实施例不应被认为在任何意义上单独地或以任何可能的组合是限制性的。本发明的范围由所附权利要求而不是前述描述来指示,并且落入其等同物的含义和范围内的所有变化都意图在被包含在其中。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈