基于场景内容的预定三维视频设置的动态调整专利检索-虚拟摄像机电脑图像专利检索查询-专利查询网

基于场景内容的预定三维视频设置的动态调整

阅读：1035发布：2020-11-09

专利汇可以提供基于场景内容的预定三维视频设置的动态调整专利检索，专利查询，专利分析的服务。并且基于场景内容可以动态地调整预定三维视频参数设置。可以确定与给定场景相关联的一个或多个三维特性。可以根据所述三维特性确定一个或多个比例因子。通过将所述比例因子应用于所述预定三维视频参数设置，可以调整所述预定三维视频参数设置。使用所得的已调整的预定三维视频参数集，可以将所述场景显示在三维显示器上。，下面是基于场景内容的预定三维视频设置的动态调整专利的具体信息内容。

权利要求

1.一种用于预定三维视频参数设置集的动态调整的方法，所述方法包括：
a)确定与给定场景相关联的一个或多个三维特性；
b)根据与所述给定场景相关联的所述一个或多个三维特性来确定一个或多个比例因子；
c)通过将所述一个或多个比例因子应用于所述预定三维视频参数设置集来调整所述给定场景的所述预定三维视频参数设置集，从而产生已调整的预定三维视频参数设置集；
并且
d)使用所述已调整的预定三维视频参数设置集将所述给定场景显示在三维显示器上。
2.如权利要求1所述的方法，其中a)包括：确定所述给定场景的近平面和远平面。
3.如权利要求1所述的方法，其中a)进一步包括：确定所述给定场景的平均深度值。
4.如权利要求2所述的方法，其中通过从场景像素深度平均值减去场景像素深度标准偏差而确定所述近平面。
5.如权利要求2所述的方法，其中通过将场景像素深度平均值加上场景像素深度标准偏差而确定所述远平面。
6.如权利要求2所述的方法，其中c)包括：根据所述一个或多个比例因子中的一个对应因子来调整所述给定场景的图像中的每个像素的位移量。
7.如权利要求1所述的方法，其中a)包括：过滤出与给定场景相关联的一个或多个可忽略的像素。
8.如权利要求1所述的方法，其中a)包括：对与给定场景相关联的每个像素进行加权。
9.如权利要求1所述的方法，其中a)包括：确定与给定场景相关联的一个或多个目标。
10.如权利要求1所述的方法，其中b)包括：确定速率因子以控制所述预定三维视频参数被调整的速率。
11.如权利要求1所述的方法，其中b)中的所述一个或多个比例因子被作为与一个或多个场景流中的所述给定场景相关联的元数据加以传输。
12.如权利要求1所述的方法，其进一步包括：d)根据所述已调整的预定三维视频参数设置集将所述给定场景显示在视觉显示器上。
13.如权利要求1所述的方法，其中所述预定三维视频参数设置集包括三维投影的边界。
14.如权利要求1所述的方法，其中a)包括：确定所述三维特性改变的速率，并且其中c)包括：在所述速率超过阈限的情况下应用默认比例因子。
15.如权利要求1所述的方法，其中所述预定三维视频设置包括立体视觉、会聚或阴影立体视觉、摄像机间的间距、会聚距离、内倾角度或焦距。
16.如权利要求1所述的方法，其中c)包括：提供用于调整用来生成所述给定场景的一个或多个视图的虚拟摄像机的一个或多个参数的信号。
17.如权利要求1所述的方法，其中c)包括：提供用于调整用来生成所述给定场景的一个或多个视图的物理摄像机的一个或多个参数的信号。
18.一种用于三维设置的动态调整的设备，所述设备包括：
处理器；
存储器；以及
计算机编码指令，其体现在所述存储器中并且可由所述处理器执行，其中所述计算机编码指令被配置来实施一种用于预定三维视频参数设置集的动态调整的方法，所述方法包括：
a)确定与给定场景相关联的一个或多个三维特性；
b)根据与所述给定场景相关联的所述一个或多个三维特性来确定一个或多个比例因子；
c)通过将所述一个或多个比例因子应用于所述预定三维视频参数设置集来调整所述给定场景的所述预定三维视频参数设置集，从而产生已调整的预定三维视频参数设置集；
并且
d)使用所述已调整的预定三维视频参数设置集将所述给定场景显示在三维显示器上。
19.如权利要求18所述的设备，其进一步包括三维视觉显示器，所述三维视觉显示器被配置来根据所述已调整的预定三维视频参数设置集来显示所述给定场景。
20.如权利要求18所述的设备，其中c)包括：提供调整用来生成所述给定场景的一个或多个视图的虚拟摄像机的一个或多个参数的信号。
21.如权利要求18所述的设备，其中c)包括：提供用于调整用来生成所述给定场景的一个或多个视图的物理摄像机的一个或多个参数的信号。

说明书全文

基于场景内容的预定三维视频设置的动态调整

[0001] 相关申请的交叉引用

[0002] 本申请涉及2011年1月7日提交的名称为“SCALING PIXEL DEPTH VALUES OF USER-CONTROLLED VIRTUAL OBJECT IN THREE-DIMENSIONAL SCENE”的共同受让、共同待决的申请号12/986,827(代理人案号SCEA10053US00)。

[0003] 本申请涉及2011年1月7日提交的名称为“MORPHOLOGICAL ANTI-ALIASING(MLAA)OF A RE-PROJECTION OF A TWO-DIMENSIONAL IMAGE”的共同受让、共同待决的申请号12/986,854(代理人案号SCEA10054US00)。

[0004] 本申请涉及2011年1月7日提交的名称为“MULTI-SAMPLE RESOLVING OF RE-PROJECTION OF TWO-DIMENSIONAL IMAGE”的共同受让、共同待决的申请号12/986,872(代理人案号SCEA10055US00)。

技术领域

[0005] 本发明的实施方案涉及用户确定的三维场景设置的动态调整。

背景技术

[0006] 过去几年来，通过许多不同的技术来以三维方式感知二维图像的能力已经变得相当大众化。向二维图像提供一个深度方面就可能为任何所描绘的场景创建出更强的真实感。三维视觉表现的这种引入大大地增强了观众体验，尤其是在视频游戏境界中的体验。

[0007] 存在许多用于给定图像的三维渲染的技术。最近，已经提出一种用于将一个或多个二维图像投影至三维空间中的技术，所述被称为基于深度图像的渲染(DIBR)。与常常依赖于“立体”视频的基本概念(即，对两个分离的视频流—一个用于左眼而一个用于右眼—的采集、传输以及显示)的以前的提案相比，这个新想法是基于对单像视频(即，单一视频流)和相关联的逐像素深度信息的更加灵活的联合传输。根据这种数据表现，然后可以借助所谓的DIBR技术在接收侧实时地生成3-D场景的一个或多个“虚拟”视图。三维图像渲染的这种新途径带来超过先前途径的若干优点。

[0008] 首先，这种途径允许调整3-D投影或显示以配合广泛范围的不同立体显示器和投影系统。因为所需要的左眼视图和右眼视图仅在3D-TV接收器处生成，所以可以针对具体的观看条件而对所述视图在‘感知深度’方面的呈现加以调适。这为观众提供了定制化的3-D体验，它是可以舒适地观看任何种类的立体或自动立体3D-TV显示器的体验。

[0009] DIBR还允许基于“运动恢复结构(structure from motion)”途径的2D至3D转换，所述转换可以用于为已被记录的单像视频素材生成所需要的深度信息。因此，对广泛范围的节目制作(programming)来说，可以根据2D视频生成3D视频，这可能在3D-TV的成功中发挥重要作用。

[0010] 头部运动视差(即，由观察角度上的变化所引起的对象的被感知位置上的表观位移或差异)可在DIBR下得到支持，以便提供另一个额外立体深度暗示。这消除了使用立体或自动立体3D-TV系统所常常体验到的众所周知的“切变扭曲”(即，立体图像表现为在观察者改变观看位置时跟随所述观察者)。

[0011] 此外，从一开始就消除了会破坏立体感的左眼视图与右眼视图之间的光度不对称性(例如，就亮度、对比度或色彩而言)，因为两个视图是从同一原始图像有效地合成的。此外，所述途径能够实现基于深度键控的自动对象分割并且允许合成3D对象到“真实世界”序列中的轻易整合。

[0012] 最后，这种途径允许观众调整对深度的重现以适合他/她的个人偏好—很像是每个常规2D-TV允许观众借助(去)饱和度控制来调整色彩再现。这是非常重要的特征，因为不同年龄组的深度鉴识度存在差异。例如，Norman等的近期研究证实：老年人对感知立体深度不如年轻人敏感。

[0013] 在每个观众可以具有独特的优选深度设置集的同时，呈现给所述观众的每个场景也可以具有独特的优选深度设置集。每个场景的内容规定深度设置的哪个范围应该用于所述场景的最佳观看。对于每个场景来说，一个再投影参数集可能不是理想的。例如，取决于有多少遥远背景处于视场中，不同的参数可以起较好的作用。因为每当场景改变场景的内容就改变，所以在确定再投影参数时，现有3D系统不会获取场景的内容。

[0014] 本发明的实施方案在这种情境下产生。附图说明

[0015] 图1A是示出根据本发明的实施方案的一种用于用户确定的三维场景设置的动态调整的方法的流程图/示意图。

[0016] 图1B是示出三维再投影的基本概念的示意图。

[0017] 图1C是示出根据本发明的实施方案的3D视频设置的虚拟摄像机调整的实施例的简化图。

[0018] 图1D是示出根据本发明的实施方案的3D视频设置的机械摄像机调整的实施例的简化图。

[0019] 图2A至图2B是示出在三维场景中用户控制的虚拟对象穿透虚拟世界的元件的问题的示意图。

[0020] 图2C是示出解决在三维场景中用户控制的虚拟对象穿透虚拟世界的元件的问题的像素深度值放缩的示意图。

[0021] 图3是示出根据本发明的实施方案的一种用于放缩三维场景中的用户控制的虚拟对象的像素深度值的方法的示意图。

[0022] 图4是示出根据本发明的实施方案的一种用于实施用户确定的三维场景设置的动态调整和/或放缩三维场景中的用户控制的虚拟对象的像素深度值的设备的方框图。

[0023] 图5是示出根据本发明的实施方案的一种用于实施用户确定的三维场景设置的动态调整和/或放缩三维场景中的用户控制的虚拟对象的像素深度值的设备的单元处理器实现方式的实施例的方框图。

[0024] 图6A示出根据本发明的实施方案的一种具有用于实施用户确定的三维场景设置的动态调整的指令的非瞬时性计算机可读存储介质的实施例。

[0025] 图6B示出根据本发明的实施方案的一种具有用于实施放缩三维场景中的用户控制的虚拟对象的像素深度值的指令的非瞬时性计算机可读存储介质的实施例。

[0026] 图7是根据本发明的一个方面的三维观看眼镜的等距视图。

[0027] 图8是根据本发明的一个方面的三维观看眼镜的系统级方框图。

具体实施方式

[0028] 对于投影的三维图像的任何观众来说，若干特性/暗示支配着他们对深度的感知。每个观众感知三维投影中的深度的能力对于他们自己的一双眼睛来说是独特的。某些暗示可以为观众提供与给定场景相关联的某些深度特性。举例而不以限制方式来说，这些双眼暗示可以包括立体视觉(stereopsis)、会聚以及阴影立体视觉。

[0029] 立体视觉是指观众通过处理由对象到每个视网膜上的不同投影所得到的信息来判断深度的能力。通过使用从稍微不同的角度所获得的同一场景的两个图像，有可能以高度的准确性将到对象的距离三角划分。如果对象遥远，那么那个图像落在两个视网膜上的像差(disparity)将会很小。如果对象靠近或接近，那么像差将很大。通过调整同一场景的不同投影之间的角度差异，观众可能能够最佳化他对深度的感知。

[0030] 会聚是深度感知的另一个双眼暗示。当两个眼球注视在同一对象上时，它们就会聚。这种会聚将会伸展眼外肌。正是这些眼外肌的动觉感帮助对深度的感知。当眼睛凝视在遥远对象上时，会聚的角度较小，而当注视在较近对象上时，会聚的角度较大。通过针对给定场景调整眼睛的会聚，观众可能能够最佳化他对深度的感知。

[0031] 阴影立体视觉是指用以对给定场景赋予深度的阴影的立体融合。增强或减小场景的阴影的强度可以进一步最佳化观众对深度的感知。

[0032] 通过调整与这些双眼暗示相关联的场景设置，观众可以最佳化他对深度的总体三维感知。虽然给定用户可能能够为观看所有场景而选择通用的三维场景设置集，但是每个场景都是独特的，并且因此，取决于那个具体场景的内容，可能需要动态地调整某些视觉暗示/用户设置。例如，在虚拟世界的情境中，观众注视给定场景中的具体对象可能是重要的。然而，观众的预定三维场景设置对于观看那个具体对象来说可能不是最有利的。这里，观众的设置将会根据所述场景而被动态地调整，以使得在更佳的三维场景设置集下感知到所述具体对象。

[0033] 图1A是示出根据本发明的实施方案的一种用于用户确定的三维场景设置的动态调整的方法的流程图。最初，观众115与被配置来使三维视频数据流向视觉显示器111的处理器113进行通信。处理器113可以呈以下形式：视频游戏控制台、计算机设备，或能够处理三维视频数据的任何其它装置。举例而不以限制方式来说，视觉显示器111可以呈3-D就绪电视机的形式，其将文本、数字、图形符号或其它视觉对象显示成将由一对3-D观看眼镜119感知的立体图像。在图7至图8中描绘并且在下文中详细描述3-D观看眼镜的实施例。3-D观看眼镜119可以呈以下形式：有源液晶快门眼镜、有源“红眼”快门眼镜、无源线性极化眼镜、无源圆形极化眼镜、干涉滤光器眼镜、互补色立体投影片或被配置来观看由视觉显示器111以三维方式投影的图像的任何一副其它的3-D观看眼镜。观众115可以借助用户接口117与处理器113进行通信，所述用户接口可以采取以下形式：摇杆、控制器、遥控器、键盘，或可以与图形用户接口(GUI)结合使用的任何其它装置。

[0034] 观众115最初可以选择有待应用于呈现给观众115的每个三维场景的一组通用三维视频设置。举例而不以限制方式来说，观众可以选择深度的外边界，三维场景就投影在所述外边界之内。作为附加实施例，用户可以设置立体视觉、会聚或阴影立体视觉的预定值。此外，如果用户不设置这些参数的预定值，那么所述预定值可以是出厂设置默认值。

[0035] 可以由用户设置并且基于场景内容而被动态地调整的其它3D视频参数设置的实例包括但不限于：3D深度效果和3D范围二者。深度控制有多少3D效果被呈现给用户。深度的外边界基本上表示范围和视差(我们的深度和效应滑动器)。在涉及再投影的实现方式中，可以如下文所述调整投影曲线。对再投影曲线的调整可以是对所述再投影曲线的形状性质的调整，所述形状可以是直线形、或也许是强调中心的S形。另外，可以调整所述形状的参数。举例而不以限制方式来说，对于直线形再投影曲线来说，可以调整端点或斜率。对于S形的再投影曲线来说，可以对S斜升多快等做出调整。

[0036] 在涉及再投影的其它实施方案中，可以提供某种边缘模糊性以修补漏洞，并且观众115可以驱动所述修补。另外，可以应用本发明的使用再投影或其它手段的实施方案以驱动色彩对比度来帮助减少重影—从而允许基于用户放缩进行逐场景调整。此外，在不涉及再投影的情况下，用户可以调整对离输入摄像机将会有多远的放缩或对摄像机角度的轻微的微调。可以以逐场景方式进行调整的其它摄像机设置包括景深设置或摄像机光圈。

[0037] 因为一个或多个观众115不同地感知三维视觉表现，所以不同的观众可以根据他们的偏好而具有不同的通用三维场景设置组合。例如，研究已经证实：老年人对感知立体深度不如年轻人敏感，并且因此，老年人可能受益于增大对深度的感知的场景设置。类似地，年轻人可能发现降低对深度的感知的设置可以减轻眼睛疲劳和疲惫，同时仍为观众提供令人愉快的三维体验。

[0038] 在观众115正在观察三维场景103的稳定流时，还未向观众显示的一个或多个场景可以存储在输出缓冲区101中。可以根据场景103的呈现顺序而对它们进行布置。场景103是指以一组共享特性为特征的一个或多个三维视频帧。例如，一组表示同一风景的不同视图的视频帧可以被表征为一个场景。然而，对象的近视图和对象的远视图可以表示不同的场景。重要的是应注意：任何数量的帧的组合可以被表征为一个场景。

[0039] 场景103在被呈现给观众之前经过两个阶段。首先处理所述场景以确定与给定场景相关联的一个或多个特性105。然后根据那些特性来确定将要被应用于用户的预定设置的一个或多个比例因子107。然后，可以将所述比例因子作为元数据109传输至处理器113并且应用于动态地调整观众的设置，如110处所指示。然后，可以使用已调整的设置将所述场景呈现在显示器111上，如112处所指示。这允许每个场景以这样一种方式呈现给观众：保留观众的基本偏好，同时通过将场景的具体化内容考虑在内而仍维持所述场景的视觉完整性。在不涉及再投影的情况下，元数据可以传输至采集装置以做出调整，调整在游戏中我们的虚拟摄像机位置，或调整例如，如在3D聊天实施例中所使用的物理摄像机。

[0040] 在说明本发明方法的实施例之前，论述关于三维视频系统的一些背景是有用的。本发明的实施方案可以应用于针对通过再投影过程根据2D视频所生成的3D视频的再投影设置。在再投影中，可以根据正常二维图像和所述图像中每个像素的相关联的逐像素深度信息来合成一个场景的左眼虚拟视图和右眼虚拟视图。这个过程可以由处理器113实施如下。

[0041] 首先，利用原始图像中每个像素的深度数据将原始图像点再投影至3D世界中。此后，将这些3D空间点投影至定位在所需观看位置处的“虚拟”摄像机的图像平面中。再投影(2D至3D)和后续投影(3D至2D)的衔接有时称为3D图像扭曲或再投影。如图1B中所示，通过与“真实”立体摄像机的操作比较，可以理解所述再投影。在“真实”、高质量立体摄像机中，常常利用两种不同方法中的一种来确立所谓的零视差设置(ZPS)，即，来选择3D场景中的会聚距离Zc。在“内倾(toed-in)”途径中，通过左眼摄像机和右眼摄像机的联合向内旋转来选择所述ZPS。在位移传感器途径中，会聚距离Zc的平面可以由图像传感器的小位移h确立，所述图像传感器用于相隔距离tc的平行放置的左眼“虚拟”摄像机和右眼“虚拟”摄像机，如图1B中所示。每个虚拟摄像机可以由确定的焦距f为特征，所述焦距表示虚拟摄像机镜头与图像传感器之间的距离。这个距离与在本文中所描述的一些实现方式中所使用的到近平面Pn的近平面距离Zn对应。

[0042] 在技术上，“内倾”途径更易于在“真实”立体摄像机中实现。然而，位移传感器途径对于再投影来说有时是更优选的，因为它不会引入不需要的垂直差异，所述垂直差异会是左眼视图与右眼视图之间的眼睛疲劳的潜在来源。

[0043] 考虑到原始2D图像中水平坐标和垂直坐标(u,v)处的每个像素的深度信息Z，可以使用位移传感器途径，根据以下方程生成左眼视图和右眼视图的对应像素坐标(u’,v’)、(u”,v”)：

[0044] 对于左眼视图来说，

[0045] 对于右眼视图来说，

[0046] 在前述方程中，αu是在水平方向上的会聚角度，如图1B中所见。thmp项是说明观众的实际观看位置的任选平移项(有时称作头部运动视差项)。

[0047] 通过以下方程，左眼视图与右眼视图的位移h可以与会聚角度αu、会聚距离Zc以及水平会聚角度αu有关：

[0048] 对于左眼视图来说，

[0049] 对于右眼视图来说，

[0050] 处理器113可以就以下方面来接收场景103：原始2D图像和逐像素深度信息连同可以应用于3D视频参数的逐场景默认放缩设置，如αu、tc、Zc、f以及thmp或其组合(例如，比率)。例如，放缩设置可以表示在0(针对没有3D感知)与大于1的某个值(针对增强的3D感知)之间变动的乘数。改变虚拟摄像机的3D视频参数设置影响3D视频的定性感知。举例而不以限制方式来说，以下表I中描述增大(+)或减小(-)所选3D视频参数的一些定性效果。

[0051] 表I

[0052]

[0053]

[0054] 在表I中，术语“屏幕视差”是指左眼视图与右眼视图之间的水平差异；术语“感知深度”是指由观众所感知到的所显示场景的表观深度；术语“对象大小”是指由所述观众所感知到的显示在屏幕111上的对象的表观大小。

[0055] 在一些实现方式中，可以就近平面Pn和远平面Pf而不是会聚角度αu和传感器间隔tc来描述以上所使用的数学方程。术语“近平面”是指由摄像机—即，图像传感器所采集的场景中的最近点。术语“远平面”是指由摄像机所采集的场景中的最远点。不对渲染超出远平面Pf，即，超出远平面距离Zf(如图1B中所描绘)的任何事物进行尝试。一种使用以上所描述的数学方程的系统可以通过选择方程内的某些变量的值而间接地选择近平面和远平面。替代地，可以基于所选近平面和远平面来调整会聚角度αu和传感器间隔tc的值。

[0056] 可以对三维再投影系统的操作要求进行如下描述：1)对给定场景的近平面的选择；2)对给定场景的远平面的选择；3)为所述给定场景的再投影界定从所述近平面到所述远平面的变换。所述变换，有时称作再投影曲线，其基本上使水平像素和垂直像素位移的量与像素深度有关；4)一种用于对不重要/重要像素进行过滤和/或加权的方法；5)一种系统，其用于使可能在场景变换过程中出现的对1至3的任何变化平滑化，以便防止由观众115所感知到的深度的不协调剪辑。三维视频系统通常还包括6)允许观众放缩三维效果的某种机制。

[0057] 典型的再投影系统将以上6个要求具体指定如下：1)场景的摄像机的近平面；2)场景的摄像机的远平面；3)像素仅水平位移的变换。将固定的位移量(通常称会聚度)调低一个与每个像素的深度值成反比的量—像素越深或越远，像素因会聚的位移就越少。例如通过以上所提供的数学方程可以描述这个要求；4)因为1至3是恒定的，所以不必进行加权；5)因为1至3是恒定的，所以不必进行平滑化；并且6)滑动器可以用来例如通过线性地放缩像素将会位移的量来调整所述变换。这等于是将来自以上的针对u’或u’’的方程中的第二(和可能第三)项加上一个恒定比例因子。这类恒定比例因子可以经由用户可调整滑动器来实施，所述用户可调整滑动器趋向于使近平面和远平面(并且因此平均效果)朝向屏幕平面移动。

[0058] 这可能导致对三维空间的较差使用。给定场景可能是不平衡的并且引起不必要的眼睛疲惫。3D视频编辑者或3D游戏开发者必须小心地构建所有场景和影片，以使得正确地布局场景内的所有对象。

[0059] 对于给定三维视频来说，存在位于靠近视觉显示器的区域中的观看舒适区121。所感知到的图像离屏幕越远，观看就越不舒适(对于大多数人来说)。因此，与给定场景相关联的三维场景设置旨在使舒适区121的使用最大化。虽然一些事物可以在舒适区121的外部，但是通常希望观众所注视的大多数事物都在舒适区121内。举例而不以限制方式来说，观众可以设置舒适区121的边界，同时处理器113可以动态地调整场景设置，以使得针对每个场景来说舒适区121的使用得以最大化。

[0060] 使舒适区121的使用最大化的简捷途径可涉及：将近平面设置成等于与给定场景相关联的最小像素深度，并且将远平面设置成等于与给定场景相关联的最大像素深度，同时保留如以上针对典型再投影系统所定义的性质3至6。这将会使舒适区121的使用最大化，但是它却未考虑到在所述场景中或外飞行的对象的效果，这可能在三维空间中引起巨大的位移。

[0061] 举例而不以限制方式来说，本发明的方法的某些实施方案可以附加地将所述场景的平均深度考虑在内。可以朝向一个目标驱动场景的平均深度。三维场景数据可以为给定场景设置目标，同时允许用户对他们感知所述场景(例如，舒适区的边界)离所述目标有多远进行放缩。

[0062] 可以对用于计算这样一个平均值的伪代码进行如下设想：

[0063]

[0064] 可以将近平面设置成对场景中的所有像素来说的最小深度值，并且可以将远平面设置成对所述场景中的所有所述像素来说的最大深度值。目标感知深度可以是由内容创建者所具体指定并且通过用户的偏好加以放缩的一个值。通过使用所计算的平均值与来自以上的变换性质3，有可能计算出平均场景深度离目标感知深度有多远。举例而不以限制方式来说，然后通过简单地调整会聚与目标增量(如表1中所示)，可以使总体感知场景深度位移。还可以使所述目标增量平滑化，如以下对近平面和远平面所做的一样。还可以使用调整目标深度的其它方法，如在3D电影中使用的用以在场景变化中确保一致深度的方法。然而，应注意：3D电影目前不能为观众提供一种调整目标场景深度的方法。

[0065] 举例而不以限制方式来说，一种确定与给定场景相关联的一个或多个三维特性的途径是确定并且使用以下两个重要的场景特性：场景的平均像素深度和那个场景的像素深度的标准偏差。可以对用于计算像素深度的平均值和标准偏差的伪代码进行如下设想：

[0066]

[0067] 然后可以将近平面设置成场景的平均像素深度减去那个场景的像素深度的标准偏差。同样地，可以将远平面设置成场景的平均像素深度加上那个场景的像素深度的标准偏差。如果这些结果是不足的，那么再投影系统可以将表示场景的数据转换成频域，以用于对给定场景的平均像素深度和标准偏差的计算。如同以上的实施例，驱动至目标深度可以同一方式完成。

[0068] 为提供一种用于对不重要的像素进行过滤和加权的方法，可以详细研究场景并且标记不重要的像素。不重要的像素很可能将会包括飞越的颗粒和其它不相干的小型几何体。在视频游戏的情境中，这可以在光栅化过程中容易地完成，否则，很可能将会使用一种用于发现小集群深度像差的算法。如果一种方法可以辨别用户所注视的地方，那么应该将附近像素的深度认为是较为重要的—我们离焦点越远，像素就越不重要。这样一种方法可包括而不限于：确定光标或标线是否在图像内和它们在图像中的位置，或通过利用来自专业化眼镜的反馈来测量眼睛的转动。这类眼镜可以包括指向佩戴者的眼球处的简单摄像机。所述摄像机可以提供图像，在所述图像中，用户的眼睛的眼白可以与深色部分(例如，瞳孔)区别开。通过分析图像以确定瞳孔的位置并且使所述位置与眼球角度相关联，可以确定眼球转动。例如，居中的瞳孔将会粗略地对应于笔直向前定向的眼球。

[0069] 在一些实施方案中，可能需要强调显示器111的中央部分内的像素，因为边缘处的值很可能较不重要。如果将像素之间的距离定以成忽略深度的二维距离，那么可以用以下伪代码对强调这类中央像素或焦点的简单有偏加权统计模型进行设想：

[0070]

[0071] 为提供一种保持图片的大部分处于舒适区121内的系统，除了或替代以上实施例中所描述的会聚之外，应该调整近平面和远平面(或以上所描述的数学方程中的其它变量)。处理器113可以被配置来实施一个过程，所述过程如同由以下伪代码所设想的过程：

[0072]

[0073] viewerScale和contentScale二者是控制变化率的介于0与1之间的值。观众115调整viewerScale的值，而内容创建者设置contentScale的值。同一平滑化可以应用于以上的会聚调整。

[0074] 在某些实现方式(如视频游戏)中，因为可能需要处理器113能够驱动场景内的对象离屏幕111更远或更近，所以增加如以下这样的目标调整步骤可能是有用的：

[0075]

[0076] 正位移将会趋向于使nearPlane和farPlane移动回到场景中。同样地，负位移将会使事物移动得更近。

[0077] 在确定给定场景的一个或多个特性(例如，近平面、远平面、平均像素深度、标准偏差像素深度等)105之后，可以确定比例因子集107。这些比例因子可以指示如何使所述场景在用户确定的舒适区121的边界内最大化。此外，这些比例因子中的一个可以用于控制在场景变换过程中修改三维设置的速率。

[0078] 一旦确定对应于给定场景的特性的比例因子，就可以将所述比例因子作为元数据109存储在三维场景数据内。场景103(和其伴随的三维数据)可以连同与那个场景相关联的元数据109一起传输至处理器113。处理器113然后可以根据所述元数据调整所述三维场景设置。

[0079] 重要的是应注意：场景可以被处理来在三维数据串流处理的不同阶段确定比例因子和元数据，并且所述场景不限于继安置在输出缓冲区101中之后被处理。此外，用户确定的三维场景设置集不限于设置三维投影的边界。举例而不以限制方式来说，用户确定的场景设置还可包括控制三维场景内的对象的清晰度或所述三维场景内的阴影的强度。

[0080] 尽管在再投影的情境下对前述实施例进行了描述，但是本发明的实施方案不限于这类实现方式。放缩再投影的深度和范围的概念可同样良好地适用于调整输入参数，所述输入参数例如用于实时3D视频的虚拟或真实立体摄像机的位置。如果摄像机馈入是动态的，那么可以实施对用于实时立体内容的输入参数的调整。图1C和图1D示出根据本发明的替代实施方案的摄像机馈入的动态调整的实施例。

[0081] 如在图1C中所见，处理器113可以根据三维数据生成场景103的左眼视图和右眼视图，所述三维数据表示对象和包括左眼摄像机114A和右眼摄像机114B的虚拟立体摄像机114在模拟环境102中的位置，如在视频游戏或虚拟世界中的位置。出于实施例的目的，虚拟立体摄像机可以被视为是具有两个单独摄像机的一个单元的部分。然而，本发明的实施方案包括以下实现方式：其中虚拟立体摄像机是单独的并且不是一个单元的部分。应注意：虚拟摄像机114A、114B的位置和方位决定了在场景中所显示的事物。例如，假设模拟环境是第一人称射击(FPS)游戏的级别，其中化身115A表示用户115。用户通过使用处理器113和适合的控制器117来控制化身115A的移动和动作。响应于用户命令，处理器113可以选择虚拟摄像机114A、114B的位置和方位。如果虚拟摄像机指向遥远对象(如非玩家角色116)，那么与所述摄像机指向附近对象(如非玩家角色118)的情况相比，所述场景可以具有更大的深度。
这些对象相对于虚拟摄像机的所有位置可以通过处理器根据由游戏的物理模拟器部件所生成的三维信息来确定。可以针对所述场景计算出对象在摄像机的视场中的深度。然后可以针对所述场景计算出平均深度、最大深度、深度范围等，并且这些逐场景值可以用于选择
3D参数(如αu、tc、Zc、f以及thmp)的默认值和/或比例因子。举例而不以限制方式来说，处理器
113可以实施使具体的3D参数与逐场景值的具体组合有关的查找表或函数。可以凭经验确定3D参数与默认逐场景值和/或比例因子之间的表格式关系或函数关系。处理器113然后可以根据用户的优选设置修改个别的默认值和/或比例因子。

[0082] 在关于图1A至图1C中所描绘的实施方案的变体中，还有可能用机动化物理立体摄像机来实施对3D参数设置的类似调整。例如，考虑视频聊天实施例，例如，如图1D中所描绘。在这种情况下，第一用户115和第二用户115’分别经由第一处理器113和第二处理器113’、第一3D视频摄像机114和第二3D视频摄像机114’以及第一控制器117和第二控制器117’进行交互。处理器113、113’通过例如网络120彼此联接，所述网络可以是有线网络或无线网络、局域网(LAN)、广域网或其它通信网络。第一用户的3D视频摄像机114包括左眼摄像机
114A和右眼摄像机114B。第一用户的环境的左眼图像和右眼图像都显示在联接至第二用户的处理器113’的视频显示器111’上。以相同方式，第二用户的3D视频摄像机114’包括左眼摄像机114A’和右眼摄像机114B’。出于实施例的目的，左眼立体摄像机和右眼立体摄像机可以是具有两个一体化摄像机的一个单元(例如，用于左视图和右视图的单独镜头单元和单独传感器)的物理部分。然而，本发明的实施方案包括以下实现方式：其中虚拟左眼摄像机和右眼摄像机在物理上彼此独立并且不是一个单元的部分。

[0083] 第二用户的环境的左眼图像和右眼图像都显示在联接至第一用户的处理器113的视频显示器111上。第一用户的处理器113可以根据左眼图像和右眼图像确定逐场景3D值。例如，两个摄像机通常对色彩缓冲区进行采集。用适合的深度恢复算法，可以根据左眼摄像机和右眼摄像机的色彩缓冲区信息恢复深度信息。处理器113可以将深度信息连同图像一起传输至第二用户的处理器113’。应注意：取决于场景内容，深度信息可以发生变化。例如，由摄像机114A’、114B’所采集的场景可以含有处于不同深度的对象，如用户115’和遥远对象118’。这些对象在所述场景内的不同深度可以影响所述场景的平均像素深度和像素深度的标准偏差。

[0084] 可以使用于第一用户的摄像机114和第二用户的摄像机114’二者的左眼摄像机和右眼摄像机机动化，以使得在可以在运行中调整用于所述左眼摄像机和右眼摄像机的参数(如f、tc以及“内倾”角度)的值。第一用户可以选择摄像机114的3D视频参数的初始设置，如摄像机间的间距tc和/或左眼摄像机114A和右眼摄像机114B(就“内倾”来说)的相对水平旋转角度。例如，如以上所描述，第二用户115’可以使用第二控制器117’和第二处理器113来调整第一用户的摄像机114的3D视频参数的设置(例如，f、tc或内倾角度)以便调整比例因子。表示对比例因子的调整的数据然后可以经由网络120传输至第一处理器113。第一处理器可以使用所述调整来调整第一用户的摄像机114的3D视频参数设置。以类似方式，第一用户115可以调整第二用户的3D视频摄像机114的设置。以这种方式，每个用户115、115’可以在舒适的3D设置下观看另一方的环境的3D视频图像。

[0085] 放缩三维场景中的用户控制的虚拟对象的像素深度值

[0086] 三维图像渲染上的改进在采用三维技术的交互式虚拟环境的区域中具有重大影响。许多视频游戏实施三维图像渲染来创建用于用户交互的虚拟环境。然而，模拟真实世界物理现象来促进与虚拟世界的用户交互是非常昂贵的并且相当难以实施。因此，在游戏的执行过程中可能出现某些不需要的视觉紊乱。

[0087] 当三维视频的伪像导致用户控制的虚拟对象(例如，角色和枪)穿透虚拟世界(例如，背景风景)中的其它元件时会出现一个问题。当用户控制的虚拟对象穿透虚拟世界中的其它元件时，大大地减弱了游戏的真实感。在第一人称射击的情境中，所述第一人称的视线可能受到阻碍或也许某些重要元件可能被遮住。因此，以三维虚拟环境内的用户控制的虚拟对象交互为特征的任何程序有必要消除这些视觉紊乱的出现。

[0088] 本发明的实施方案可以被配置来放缩用户控制的虚拟对象像素深度，以便解决用户控制的虚拟对象穿透虚拟世界的三维场景的元件的问题。在第一人称射击(FPS)视频游戏的情境中，一个可能的实施例将是如从射击者视角所看见的枪筒的末端。

[0089] 图2A至图2B示出用户控制的虚拟对象穿透使用再投影所生成的三维场景中的虚拟世界的元件的问题。当用户控制的虚拟对象穿透虚拟世界中的其它元件时，大大地减弱了游戏的真实感。如图2A中所显示，在其中未实行对用户控制的虚拟对象的像素深度值的放缩的虚拟环境(例如，场景)中，用户控制的虚拟对象201(例如，枪筒)可以穿透虚拟世界的另一个元件203(例如，墙壁)，从而引起潜在的观看阻碍和减弱的真实感，如以上所论述。在第一人称射击的情况下，第一人称的视线可能受到阻碍或也许某些重要元件(例如，枪筒的末端)可能被遮住。在图2A中以假想线展示隐藏的元件。

[0090] 二维第一人称视频游戏的常见解决方案是放缩虚拟世界中的对象的深度，以便消除二维图像中的视觉伪像(或将所述伪像换成不是同样显著的不同伪像)。通常在二维视频图像的光栅化过程中应用所述放缩。在第一人称射击实施例中，这意味着不管枪筒201的顶端是否穿过墙壁203，观众都将会看见所述枪筒的顶端。所述解决方案对于二维视频来说起到良好的作用，然而，当这个解决方案应用于三围视频时出现了问题。所述问题在于：相对于二维图像的剩余部分，放缩的深度值不再表示三维中的实点。因此，当应用再投影来生成左眼视图和右眼视图时，深度放缩引起对象在深度尺寸上呈现压缩并且处在错误位置上。例如，如图2B中所示，现在感知到枪筒201在深度方向上将会被“压碎”，并且当它应该离物理屏幕更加近时，所述枪筒被定位成极其靠近观众。再投影中的另一个问题在于：深度放缩还会在结束时在图像中留下难以填补的大的漏洞。

[0091] 此外，以来自三维场景信息的真实深度值将深度放缩回到原始值或重写深度值意味着：观众仍将会看见枪筒，但是所述枪筒将会被感知成处于墙壁的后面。尽管事实上虚拟对象201应该被墙壁203阻挡，但观众将会看见所述虚拟对象的幻像部分。这种深度刺穿效果是令人烦恼的，因为观众期望仍看见墙壁。

[0092] 为解决这个问题，本发明的实施方案将第二组放缩应用于场景中的对象，以便将它们放在所述场景内的适当感知位置中。可以在二维图像的光栅化之后、但是在所述图像的再投影之前或过程中应用所述第二放缩以生成左眼视图和右眼视图。图2C示出其中实行对用户控制的虚拟对象像素深度值的放缩的虚拟环境(例如，场景)。这里，通过如以上所论述的对像素深度的放缩，用户控制的虚拟对象201可以接近虚拟世界的另一个元件203，但是却受到限制而不能穿透元件203。第二放缩限制深度值处于近值N与远值F之间。本质上，对象可能呈现为仍在深度尺寸上被压碎，但是可以在其厚度上施加完全控制。这是一种平衡，当然，可以为观众提供这种第二放缩的控制，例如，如以上所论述。

[0093] 因此，可以消除或显著地减少由用户控制的虚拟对象穿透虚拟世界的元件所引起的视觉紊乱。

[0094] 图3是示出根据本发明的实施方案的一种用于放缩三维场景中的用户控制的虚拟对象的像素深度值的方法的示意图。

[0095] 为解决这个问题，程序可以根据有待呈现给用户的三维场景内容来应用对用户控制的虚拟对象的像素深度值的第二放缩。

[0096] 场景103在呈现给用户之前可以位于输出缓冲区101中。可以根据这些场景103的呈现顺序而对它们进行布置。场景103是指以一组共享特性为特征的一个或多个三维视频帧。例如，一组表示同一风景的不同视图的视频帧可以被表征为一个场景。然而，同一对象的近视图和远视图也可以表示不同的场景。重要的是应注意：任何数量的帧的组合可以被表征为一个场景。

[0097] 如在133处所指示，对三维场景103的二维图像的初始深度放缩。通常在二维图像的光栅化过程中使用已修改的视图投影矩阵来实行所述初始深度放缩。这将放缩的深度信息写入至所述场景的深度缓冲区中。

[0098] 在三维地(例如，作为左眼视图和右眼视图)将场景103呈现给用户之前，可以详细研究所述场景以确定对于解决以上所论述的问题来说是关键的重要特性。对于给定场景103来说，首先确定最小阈限值，如在135处指示。这个最小阈限值表示最小像素深度值，用户控制的虚拟对象的任何片段必须不落在所述最小像素深度值以下。其次，确定最大阈限值，如在137处所指示。这个最大阈限值表示最大像素深度值，用户控制的虚拟对象的任何片段必须不超过所述最大像素深度值。这些阈限值对用户控制的虚拟对象可以在虚拟环境内行进的情况设置一个限制，以使得所述用户控制的虚拟对象受到限制而不能穿透所述虚拟环境中的其它元件。

[0099] 当用户控制的虚拟对象在虚拟世界中移动时，对虚拟对象跟踪它们的像素深度值并且使其与以上所确定的阈限值的像素深度值进行比较，如在139处所指示。无论用户控制的虚拟对象的任何片段的像素深度值何时落在最小阈限值以下，都将那些像素深度值设置成低值，如在141处所指示。举例而不以限制方式来说，这个低值可以是所述最小阈限值。替代地，这个低值可以是用户控制的虚拟对象像素深度值的放缩值。例如，通过用反比例乘以落在所述最小阈限值以下的像素深度值并且然后将最小偏移加上乘积，可以确定所述低值。

[0100] 无论用户控制的虚拟对象的任何片段的像素深度值何时超过最大阈限值，都将那些像素深度值设置成高值，如在143处所指示。举例而不以限制方式来说，这个高值可以是所述最大阈限值。替代地，这个高值可以是用户控制的虚拟对象像素深度值的放缩值。例如，通过用反比例乘以超过所述最大阈限值的像素深度值并且然后从最大偏移减去乘积，可以确定所述高值。

[0101] 对于本质上细小的不需要增强的对深度的感知的虚拟对象来说，将低/高值设置成最小/最大阈限值起到尤其良好的作用。这些低/高值有效地使所述虚拟对象远离虚拟摄像机位移。然而，对于需要增强的对深度的感知的虚拟对象(如瞄准器)来说，以上所提及的放缩低/高值可以更有效地发挥作用。

[0102] 在程序由处理器113执行之前，可以由所述程序确定最小阈限值和最大阈限值。还可以在执行所述程序的内容的同时由处理器113确定这些值。在所述程序的执行过程中，由处理器113完成用户控制的虚拟对象的像素深度值与阈限值的比较。类似地，在所述程序的执行过程中，由所述处理器完成超过阈限值或落在阈限值以下的用户控制的虚拟对象像素深度的低值和高值的确立。

[0103] 在已经在像素深度值上实行第二放缩之后，处理器113可以使用二维图像并且使用所得的用户控制的虚拟对象的像素深度值集来实行再投影，以便生成三维场景的两个或更多个视图(例如，左眼视图和右眼视图)，如在145处所指示。所述两个或更多个视图可以显示在三维显示器上，如在147处所指示。

[0104] 通过将超过阈限值的用户控制的虚拟对象的任何像素深度值设置成低值和高值，解决了穿透其它虚拟世界元件的问题。虽然模拟虚拟对象与其虚拟世界的交互的物理现象将会有效地解决这个问题，但是事实上这相当难以实施。因此，根据以上所描述的方法来放缩用户控制的虚拟对象的像素深度值的能力为所述问题提供了一种简单、成本有效的解决方案。

[0105] 设备

[0106] 图4示出根据本发明的实施方案的一种可以用于实施用户确定的三维场景设置的动态调整和/或对像素深度值的放缩的计算机设备的方框图。设备200一般可以包括处理器模块201和存储器205。处理器模块201可以包括一个或多个处理器核心。使用多个处理器模块的处理系统的实施例是单元处理器，其实施例详细描述于例如Cell Broadband Engine Architecture中，它可在线地以

[0107] http://www-306.ibm.com/chip/techlib/techlib.nsf/techdocs/1AEEE1270EA2776387257060006E61BA/$file/CBEA_01_pub.pdf来获得，将其以引用方式并入本文。

[0108] 存储器205可以呈集成电路的形式，例如RAM、DRAM、ROM等。存储器205还可以是可由所有处理器模块存取的主存储器。在一些实施方案中，处理器模块201可以具有与每个核心相关联的局部存储器。程序203可以可在所述处理器模块上执行的处理器可读指令的形式存储在主存储器205中。程序203可以被配置来实行对用户确定的三维场景设置集的动态调整。程序203还可以被配置来实行对三维场景中的用户控制的虚拟对象的像素深度值的放缩，例如，如以上关于图3所述。可以任何适合的处理器可读语言(例如，C、C++、JAVA、Assembly、MATLAB、FORTRAN)和许多其它语言来写入程序203。输入数据207也可以存储在存储器中。这类输入数据207可以包括用户确定的三维设置集、与给定场景相关联的三维特性或与某些三维特性相关联的比例因子。输入数据207还可以包括与三维场景相关联的阈限值以及与用户控制的对象相关联的像素深度值。在程序203的执行过程中，程序代码和/或数据的部分可以加载至存储器或处理器核心的局部存储器中，以用于由多个处理器核心并行处理。

[0109] 设备200还可以包括众所周知的支持功能209，如输入/输出(I/O)元件211、电源(P/S)213、时钟(CLK)215以及高速缓存217。设备200可以任选地包括海量存储装置219，如磁盘驱动器、CD-ROM驱动器、磁带驱动器或类似物以存储程序和/或数据。装置200可以任选地包括显示器单元221和用户接口单元225以促进所述设备与用户之间的交互。举例而不以限制方式来说，显示器单元221可以呈3-D就绪电视机的形式，其将文本、数字、图形符号或其它视觉对象显示成将由一对3-D观看眼镜227感知的立体图像，所述3-D观看眼镜可以联接至I/O元件211。体视术是指通过将稍微不同的图像呈现给每只眼睛的二维图像中深度错觉的放大。用户接口225可以包括键盘、鼠标、摇杆、光笔，或可以与图形用户接口(GUI)结合使用的其它装置。设备200还可以包括网络接口223以允许所述装置经网络(如互联网)与其它装置进行通信。

[0110] 系统200的部件，包括处理器201、存储器205、支持功能209、海量存储装置219、用户接口225、网络接口223以及显示器221可以经由一个或多个数据总线227可操作地彼此连接。这些部件可以实施在硬件、软件或固件或这些部件中两个或更多个的一些组合中。

[0111] 存在许多其它的方式来使得使用所述设备中的多个处理器的并行处理合理化。例如，在一些实现方式中，例如通过在两个或更多个处理器核心上复制代码并且使得每个处理器核心实施所述代码以处理不同数据块，有可能“解开”处理回路。这类实现方式可以避免与设定所述循环相关联的等待时间。在应用于本发明的实施方案时，多个处理器可以并行地确定不同场景的比例因子。并行地处理数据的能力还可以节约宝贵的处理时间，从而得到用于放缩对应于三维场景中的一个或多个用户控制的虚拟对象的像素深度值的更有效和合理化的系统。并行地处理数据的能力还可以节约宝贵的处理时间，从而得到用于三维用户确定的场景设置集的动态调整的更有效和合理化的系统。

[0112] 除了能够在三个或更多个处理器上实施并行处理的处理系统之外的一个实施例是单元处理器。存在可以被分类为单元处理器的许多不同的处理器体系结构。举例而不限制地来说，图5示出一种类型的单元处理器。单元处理器300包括主存储器301、单电源处理器元件(PPE)307，以及八个协同处理器元件(SPE)311。替代地，所述单元处理器可以被配置有任何数量的SPE。参照图3，存储器301、PPE 307以及SPE 311可以经环形元件互连总线317而彼此通信并且与I/O装置315通信。存储器301含有具有与以上所描述的输入数据相同的特征的输入数据303和具有与以上所描述的程序相同的特征的程序305。SPE 311中的至少一个可以在其局部存储器(LS)中包括程序指令313和输入数据303的有待进行并行处理的部分，例如，如以上所描述。PPE307可以在其L1高速缓存中包括程序指令309。程序指令309、313可以被配置来实施本发明的实施方案，例如，如以上关于图1或图3所描述。举例而不以限制方式来说，指令309、313可以具有与以上所描述的程序203相同的特征。指令309、313和数据303还可以存储在存储器301中以用于在需要时由SPE 311和PPE 307存取。

[0113] 举例而不以限制方式来说，指令309、313可以包括用于实施如以上关于图1所描述的用户确定的三维场景设置的动态调整指令的指令。替代地，指令309、313可以被配置来实施对用户控制的虚拟对象的像素深度值的放缩，例如，如以上关于图3所描述。

[0114] 举例来说，PPE 307可以是具有相关联的高速缓存的64位PowerPC处理器单元(PPU)。PPE 307可以包括任选的矢量多媒体扩展单元。每个SPE 311包括协同处理器单元(SPU)和局部存储器(LS)。在一些实现方式中，局部存储器可以具有用于程序和数据的例如约256千字节的存储器容量。SPU是与PPU相比较不复杂的计算单元，因为所述SPU通常不实行系统管理功能。SPU可以具有单指令多数据(SIMD)能力并且通常处理数据并且初始化任何所需要的数据传送(受制于由PPE所设定的存取性质)，以便实行它们获分配的任务。SPU允许系统实施需要更高计算单元密度的应用程序并且可以有效地使用所提供的指令集。由PPE所管理的系统中的大量SPU允许经广泛范围的应用程序进行成本有效的处理。举例来说，单元处理器的特征可以为被称为单元带宽引擎体系结构(CBEA)的体系结构。在CBEA兼容体系结构中，多个PPE可以组合成一个PPE组，并且多个SPE可以组合成一个SPE组。出于实施例的目的，单元处理器被描绘为具有带有单SPE的单SPE组和带有单PPE的单PPE组。替代地，单元处理器可以包括多组功率处理器元件(PPE组)和多组协同处理器元件(SPE组)。CBEA兼容处理器详细描述于例如Cell Broadband Engine Architecture中，它可在线地以https://www-306.ibm.com/chips/techlib/techlib.nsf/techdocs/
1AEEE1270EA277638725706000E61BA/$file/CBEA_01_pub.pdf来获得，将其以引用方式并入本文。

[0115] 根据另一个实施方案，用于用户确定的三维场景设置的动态调整的指令可以存储在计算机可读存储介质中。举例而不以限制方式来说，图6A示出根据本发明的实施方案的非瞬时性计算机可读存储介质400的实施例。存储介质400含有以一种可以由计算机处理装置检索、解译并且执行的格式存储的计算机可读指令。举例而不以限制方式来说，计算机可读存储介质可以是计算机可读存储器，如随机存取存储器(RAM)或只读存储器(ROM)、用于固定磁盘驱动器(例如，硬盘驱动器)的计算机可读存储磁盘，或可移动磁盘驱动器。另外，计算机可读存储介质400可以是闪存装置、计算机可读磁带、CD-ROM、DVD-ROM、蓝光光碟(Blu-Ray)、HD-DVD、UMD，或其它光学存储介质。

[0116] 存储介质400含有用于用户确定的三维场景设置的动态调整的指令401。用户确定的三维场景设置的动态调整的指令401可以被配置来根据以上关于图1所描述的方法来实施动态调整。具体来说，动态调整指令401可以包括确定场景的三维特性的指令403，所述指令用于确定给定场景的与所述场景的三维观看设置的最佳化有关的某些特性。动态调整指令401可以进一步包括确定比例因子的指令405，所述指令被配置来基于给定场景的特性确定一个或多个比例因子以表示将要做出的某些最佳化调整。

[0117] 动态调整指令401还可以包括调整用户确定的三维设置的指令407，所述指令被配置来将所述一个或多个比例因子应用于所述用户确定的三维场景设置，以使得结果是：将用户偏好和固有场景特性二者考虑在内的场景的3-D投影。所述结果是场景根据用户的预定设置的视觉表现，所述用户的预定设置可以根据与所述场景相关联的某些特性加以修改，以使得可以独特地最佳化每个用户对给定场景的感知。

[0118] 动态调整指令401另外可以包括显示场景的指令409，所述指令被配置来根据以上所获得的已动态调整的三维场景设置将场景显示在视觉显示器上。

[0119] 根据另一个实施方案，用于放缩三维场景中的用户控制的虚拟对象的像素深度值的指令可以存储在计算机可读存储介质中。举例而不以限制方式来说，图6B示出根据本发明的实施方案的非瞬时性计算机可读存储介质410的实施例。存储介质410含有以一种可以由计算机处理装置检索、解译并且执行的格式存储的计算机可读指令。举例而不以限制方式来说，计算机可读存储介质可以是计算机可读存储器，如随机存取存储器(RAM)或只读存储器(ROM)、用于固定磁盘驱动器(例如，硬盘驱动器)的计算机可读存储磁盘，或可移动磁盘驱动器。另外，计算机可读存储介质410可以是闪存装置、计算机可读磁带、CD-ROM、DVD-ROM、蓝光光碟、HD-DVD、UMD，或其它光学存储介质。

[0120] 存储介质410含有用于放缩三维场景中的用户控制的虚拟对象的像素深度值的指令411。用于放缩三维场景中的用户控制的虚拟对象的像素深度值的指令411可以被配置来根据以上关于图3所描述的方法来实施像素深度放缩。具体来说，像素深度放缩指令411可以包括初始放缩指令412，所述初始放缩指令在被执行时可以实行三维场景的二维图像的初始放缩。指令411可以进一步包括用于确定最小阈限值的确定三维场景的最小阈限的指令413，针对具体场景来说，用户控制的虚拟对象的像素深度值可能不会落在所述最小阈限值以下。类似地，像素深度放缩指令411还可以包括用于确定最大阈限值的确定三维场景的最大阈限的指令415，针对具体场景来说，用户控制的虚拟对象的像素深度值可能不会超过所述最大阈限值。

[0121] 像素深度放缩指令411还可以包括比较虚拟对象像素深度的指令417，所述指令用于将与用户控制的虚拟对象相关联的像素深度与以上所确定的阈限值进行比较。通过将用户控制的虚拟对象的像素深度值与阈限值的像素深度值进行比较，可以连续地跟踪用户控制的虚拟对象的位置以确保它不会穿透三维场景中的其它虚拟元件。

[0122] 像素深度放缩指令411可以进一步包括将虚拟对象像素深度设置成低值的指令419，所述指令限制虚拟对象的深度的任何部分不会落在最小阈限值以下。指派给虚拟对象的过低像素深度值的低值可以是所述最小阈限值本身，或低像素深度值的放缩值，如以上所论述。

[0123] 像素深度放缩指令411此外可以包括将虚拟对象像素深度设置成高值的指令421，所述指令限制虚拟对象的深度的任何部分不超过最大阈限值。指派给虚拟对象的过高像素深度值的高值可以是所述最大阈限值本身，或高像素深度值的放缩值，如以上所论述。

[0124] 像素深度放缩指令可以进一步包括再投影指令423，所述指令使用所得的用户控制的虚拟对象的像素深度值集对二维图像实行再投影以产生三维场景的两个或更多个视图。像素深度放缩指令411另外可以包括显示场景的指令425，所述指令被配置来使用所得的虚拟对象像素深度设置集将场景显示在视觉显示器上。

[0125] 如以上所提及，本发明的实施方案可以利用三维观看眼镜。图7中展示根据本发明的一个方面的三维观看眼镜501的实施例。眼镜可以包括用于固持左LCD眼镜镜片510和右LCD眼镜镜片512的框架505。如以上所提及，每个眼镜镜片510和512可以快速地并且选择性地变黑，以便防止佩戴者看穿镜片。左耳机530和右耳机532也优选地连接至框架505。用于发送和接收无线信息的天线520也可以包括在框架505中或上。可以经由任何手段来跟踪眼镜以确定所述眼镜是否正看向屏幕。例如，眼镜的正面还可以包括用于检测所述眼镜朝向监测器的方位的一个或多个光电检测器540。

[0126] 可以使用各种已知技术来提供来自视频馈入的图像的替代显示。图1的视觉显示器111可以被配置来对在屏幕上共享的每个视频馈入以渐进扫描模式进行操作。然而，本发明的实施方案还可以被配置来对交错视频起作用，如所描述。对于标准电视监测器，如使用交错NTSC或PAL格式的那些电视监测器来说，两个视屏馈入的图像可以交错并且来自一个视频馈入的一个图像的多个行可以与来自另一个视频馈入的一个图像的多个行交错。例如，显示从来自第一视频馈入的图像获取的奇数行，并且然后显示从来自第二视频馈入的图像获取的偶数行。

[0127] 图8中展示可以与本发明的实施方案结合使用的眼镜的系统级图解。眼镜可以包括处理器602，其执行来自存储在存储器604中的程序608的指令。存储器604还可以存储将要提供给处理器602和眼镜的任何其它存储检索/存储元件或从所述处理器和所述眼镜的任何其它存储检索/存储元件输出的数据。处理器602、存储器604以及眼镜的其它元件可以经总线606彼此进行通信。这类其它元件可以包括LCD驱动器610，其提供选择性地遮档左LCD镜片612和右LCD镜片614的驱动信号。LCD驱动器可以在不同的时间和以不同持续时间单独地，或在相同时间或以相同持续时间一起遮挡左LCD镜片和右LCD镜片。

[0128] 遮挡LCD镜片时的频率可以提前存储器在眼镜中(例如，基于NTSC的已知频率)。替代地，可以借助于用户输入616(例如，调整或键入所需频率的旋钮或按钮)来选择频率。另外，所需频率以及初始遮挡开始时间，或指示时间段的其它信息(在所述时间段期间，应该或不应该遮挡LCD镜片，不管这类时间段是否在设置频率和持续期间下)可以经由无线发射器接收器601或任何其它输入元件传输至眼镜。无线发射器/接收器601可以包括任何无线发射器，包括蓝牙发射器/接收器。

[0129] 音频放大器620也可以接收来自无线发射器/接收器601的信息，即，将要提供给左扬声器622或右扬声器624的音频的左声道和右声道。眼镜还可以包括麦克风630。麦克风630可以与游戏联合使用以提供语音通信；语音信号可以经由无线发射器/接收器601传输至游戏控制台或另一个装置。

[0130] 眼镜还可以包括一个或多个光电检测器634。光电检测器可以用于确定眼镜是否朝向监测器定向。例如，光电检测器可以检测入射所述光电检测器的光的强度并且将信息传输至处理器602。如果所述处理器检测到可能与用户目光转移离开监测器有关的光强度上的实质下降，那么所述处理器可以终止对镜片的遮挡。还可以使用确定眼镜(并且因此用户)是否朝向监测器定向的其它方法。例如，可以使用代替光电检测器的一个或多个摄像机，并且由处理器602检查所采集的图像以确定眼镜是否朝向监测器定向使用这样一个摄像机的几个可能的实施方案可以包括：检验对比度水平以检测所述摄像机是否指向所述监测器，或尝试检测所述监测器上的亮度测试图案。通过经由无线发射器/接收器601将信息传输至处理器602，向所述监测器提供多个馈入的装置可以指示这类测试图案的存在。

[0131] 应注意：例如，通过在处理器602上实施的软件或固件，可以通过眼镜来实施本发明的实施方案的某些方面。例如，可以在所述眼镜中实施由内容驱动的并且由用户放缩/调整的色彩对比度或校正设置，并使额外的元数据流发送至眼镜。另外，随着无线和LCD的改进，处理器113可以直接向眼镜119播送左眼图像数据和右眼图像数据，从而消除对单独显示器111的需要。替代地，可以从显示器111或处理器113向所述眼镜馈送单像图像和相关联的像素深度值。这二者意味着再投影过程实际上将会在所述眼镜上出现。

[0132] 尽管已经描述其中使用无源或有源3D观看眼镜来观看立体3D图像的实现方式的实施例，但是本发明的实施方案不限于这类实现方式。明确来说，本发明的实施方案可以适用于不依赖于头部跟踪或无源或有源3D观看眼镜的立体3D视频技术。这类“免带眼镜”的立体3D视频技术的实施例有时称作自动立体技术或自由体视术。这类技术的实施例包括但不限于基于透镜状镜片的使用的技术。透镜状镜片是放大镜的阵列，其被设计来使得当从稍微不同的角度观看时，放大不同的图像。可以选择不同的图像以在以不同的角度观看透镜状屏幕时提供三维观看效果。所生成的图像的数量成比例地增加至所述屏幕的视点数量。

[0133] 更明确来说，在透镜状镜片视频系统中，可以根据原始2D图像和所述图像中的每个像素的深度信息来生成场景的来自稍微不同的观看角度的再投影图像。使用再投影技术，可以根据所述原始2D图像和深度信息来生成所述场景的来自渐进地不同观看角度的不同视图。表示不同视图的图像可以被分成条带并且以交错样式显示在自动立体显示器上，所述自动立体显示器具有位于透镜状镜片阵列与观看位置之间的显示器屏幕。构成所述透镜状镜片的镜片可以是与所述条带对齐并且一般是所述条带两倍宽的圆柱形放大镜。取决于观看屏幕的角度，观众感知到场景的不同视图。可以选择不同的视图来提供深度在所显示的场景中的幻觉。

[0134] 尽管已经参照本发明的某些优选型式对本发明进行相当详细的描述，但是其它型式是有可能的。因此，所附权利要求书的精神和范围应该不限于对本文所含的优选型式的描述。相反，应该参照所附权利要求书连同它们等效物的全部范围来确定本发明的范围。

[0135] 本说明书(包括任何随附的权利要求、摘要以及图式)中所公开的所有特征可以由用于相同、等价或类似目的替代特征替换，除非另有明确规定。因此，除非另有明确规定，所公开的每个特征仅是一系列通用等价或类似特征的一个实施例。任何特征(不论是否是优选的)可以与任何其它特征(不论是否是优选的)组合。在随附的权利要求书中，不定冠词“一(个/种)”是指所述冠词之后的项中的一个或多个的量，除非另有明确规定为例外的情况。如在美国法典第35篇第112条第6款中所指定，一条权利要求中未明确规定用于实行指定功能的“装置”的任何要素将不会被解释为“装置”或“步骤”条款。具体来说，本文权利要求书中“步骤(step of)”的使用不意图援引美国法典第35篇第112条第6款的规定。

[0136] 读者可将注意力转向与本说明书同时提交并且与本说明书一起公开供公众审查的所有文件和公文，并且任何文件和公文的内容以引用方式并入本文。

标题	发布/更新时间	阅读量
一种模块化虚拟舞台	2020-05-11	238
一种基于路侧PTZ相机的高速公路路面图像拼接方法	2020-05-12	564
管道内周向液膜特征光学畸变校正与测量方法	2020-05-08	617
一种虚拟现实系统的测试装置及方法	2020-05-08	616
一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统	2020-05-11	910
一种基于VR现实的视觉教学系统	2020-05-11	662
具有通过显示器运动实现的调节功能的虚拟镜装置	2020-05-13	428
一种基于虚拟场景训练的机器人避障方法	2020-05-12	525
一种基于增强现实技术的拆装训练方法和装置	2020-05-08	150
一种微气流喷射阵列虚拟操控平台	2020-05-11	967

基于场景内容的预定三维视频设置的动态调整

基于场景内容的预定三维视频设置的动态调整

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：