使用二维机构(如屏幕)所显示的图像内容可以通过使用立体(使 用分离的左和右图像)方法以再现人双目视觉来给出第三维。当人观看 其周围时，眼睛之间的间隔提供了与所给场景的略微不同的视图。左眼 所见内容和右眼所见内容之间的差异(disparity)是在判断物体的相对距 离时大脑所使用的线索。大脑通过立体融合(stereoscopic fusion)来合 并不同的图像以产生我们所感知的三维远景。
大多数立体观看机构只能近似于由观看真实世界的人眼完成的立 体融合。在真实世界中，眼将聚焦(适应)和会聚(定向)到感兴趣的 物体，并且是此组合来提示大脑感知深度的。然而，在大多数观看系统 中，焦距(到屏幕的距离)保持为静态且只有眼的会聚是变化的以提供 物体在屏幕之前或在屏幕之后的感知。此不同会导致观看系统所需的立 体融合的变坏-我们的大脑通过适应和会聚相链接的真实世界观看得到 训练；当它们相差太大时，左和右图像将不融合成单个物体，并且在屏 幕处将看到双图像。
如果视野小于典型的人视觉系统，立体融合也会变坏。眼提供给出 很宽视野的包括周围视觉的超过180度的视野。物体的边缘是用于在例 如TV的窄视野中合并左和右图像的很重要的线索，在物体的某些边缘 将要消失于至少一个眼中之前不能将物体很远地拿到立体空间中。当此 发生时，眼将屏幕的边缘解释为图像的部分，并且立体融合再次变坏。
另外，用于立体数据的特定观看系统的性质经常是未知的或者已知 为变化的。例如，电影内容能够且将要在各种不同的屏幕尺寸上给用户 示出。在如头戴式显示器(HMD)的更现代的应用中，焦距和其他几何 因子在装置类型之间显著地变化。因此，必须以在具有很不相同的几何 形状的不同显示系统上可见的方式将内容收集和再现。然而，在适应变 化的几何形状中所作的折衷经常导致眼疲劳和不舒服并且导致立体效果 的显著减小。

本发明指向基于观看系统的几何形状和用于生成立体内容的几何 形状来帮助控制应何时和如何观看该内容的方法和系统。一个实例实施 例利用用于捕获图像数据的系统的规范来确定图像内容的几何形状，并 且将此内容几何形状与所存储的图像数据一起编码。然后由显示系统来 分析该内容几何形状数据以确定用于观看系统的适当的几何形状。
根据本发明的一个实施例所设置的数据是表示图像或场景的立体 远景视图的一系列数字存储的视频帧。使用特定的内容几何形状来再现 此远景视图，并且此几何形状被数字编码并与数字图像数据一起存储或 嵌入在数字图像数据中。
根据本发明的一个实施例所设置的一实例显示系统能够读取数字 视频文件，并且读取与每个帧的远景相关联的内容几何形状。此实例显 示机构还能够改变其自身的观看几何形状以适应多个不同的内容几何形 状。
可替选的实例系统可与包含未再现的三维信息的图像数据一起使 用。该系统可以使用适合于观看机构的已知观看几何形状的内容几何形 状来再现三维图像信息的立体远景视图。
另一实例显示系统是这样的系统：知道其自身几何形状，并且读取 在视频流中编码的几何形状以决定显示什么。在所编码的内容几何形状 将不适合于该显示系统的观看几何形状所给出的立体显示的情形中，该 系统将替代为没有立体效果地显示内容。
前面已经相当宽广地略述了本发明的特征和技术优点，以便其后的 本发明的详细描述可以被更好地理解。下文中将描述构成本发明的权利 要求的主题的本发明的附加特征和优点。本领域技术人员应该理解所公 开的概念和特定实施例可以容易地作为基础而得到利用，以便对用于执 行本发明的相同用途的其他结构进行修改或设计。本领域技术人员也应 该认识到这样的等效结构不脱离所附权利要求中所述本发明的精神和范 围。当结合附图考虑时，通过以下的描述，关于其组织和操作方法都被 认为是本发明的特性的新颖特征与另外的目的和优点一起将被更好地理 解。但是应该确切地理解，提供每个附图以便只是用于说明和描述的目 的，并非作为对本发明的限制。

为了更完整地理解本发明，现在对下面的结合附图的描述进行参 考，在附图中：
图1说明用于本发明的一个实施例中的几何形状；
图2说明本发明的一个实施例中的图像的显示；以及
图3说明用于本发明的一个实施例中的几何形状。

立体视法(Stereoscopy)是一种用于为使用如视频屏幕的二维显示 机构来观看图像的观看者再造深度感的方法。当观看物体时，观看者将 通过单视场(如调焦范围或适应、尺寸、透视(perspective)、遮挡 (occlusion)、明暗处理(shading)、亮度)和双眼线索(聚散度和差异) 来感知深度。聚散度是当聚焦在物体上时眼会聚或发散多少的量度。差 异是当图像出现在视网膜上时，左和右视野之间的物体的图像的相对不 同。大多数所显示的图像能够再造单视场的视觉线索。为了再造双眼线 索，立体方法对右和左眼示出不同的图像。视差是由右和左眼所观看的 焦点(有深度地观看的物体)之间的水平距离(在二维显示屏幕或多个 屏幕的平面内)的量度；视差直接地和差异相关。
图1说明根据本发明的一个实施例的观看立体图像的几何形状。在 图1中，观看者101正在观看显示在计算机监视器屏幕102上的图像。 正常的图像显示将在监视器102上显示单个的二维图像，将所有的深度 感知(沿Z轴距观察者的距离)留给单视场线索。然而，使用立体技术， 如果对每个眼示出了不同的图像，则观看者101可以被给予深度感知的 双眼线索。如系统100的显示系统中的传统方法将通过选择性地使图像 通过的眼镜(未示出)或其他类似装置来完成此。典型的实例是对每个 眼具有不同偏振的偏振滤光器，或基于屏幕上的图像意在用于左眼还是 右眼而交替地打开和关闭的快门眼镜。头戴式显示器(HMD)也经常用 于立体观看。一些HMD利用单个屏幕并且然后使用偏振、快门、或不 同光路来将不同的图像引导到每个眼。其他HMD包含用于左眼和右眼 的独立的显示器，并且因此仅依赖于为每个屏幕对适当内容进行解码， 并且不依赖于切换方法。其它立体观看机构包括自动立体系统，其不需 要用户戴任何类型的眼镜，而代替为依赖于使用双凸透镜或其他类似方 法将不同的图像投射到每个眼。本发明的实施例不限于将不同图像显示 到每个眼的任何具体方法，而是可适于与任何适当的方法一起使用。附 加的实例显示机构和方法可以在上面标识的共同未决和公共受让的申请 中找到，其内容通过引用结合于此。
图1说明了如观察者101所感知的物体的三个分离的深度。具有零 深度的物体意在由观察者101感知为在监视器102的x-y平面上。在x 和y轴上通过使意在用于左眼的图像与意在用于右眼的图像一致，使用 于该物体的焦点之间的距离为零，立体方法提供用于此深度的双眼线索。 线110a和110b代表用于相应的眼的焦线，并且将他们相应的眼的中心 与用于该眼的焦点连接。这些线达到代表一致图像的位置的点110。在 图1的观看几何形状中，对于左眼的图像和对于右眼的图像被称作具有 零度的视差。
使用如那些在图2中示出的图像，对观看者101示出了意在由观看 者101感知为在x-y平面之前或之后的物体。左图像201被略微从右图 像202移置。如果右眼被示出右图像201，并且左眼被示出左图像201， 物体将出现在监视器102之后。如果右眼被示出左图像201，并且左眼 被示出右图像202，物体将出现在监视器102之前。回到图1，我们看到 用于这些不同的感知深度的焦线。意在被感知为在监视器101之后的物 体被给出具有正视差的图像，其最极端的情形是在无穷远处的物体。焦 线120a将左眼103的中心连接到焦点120b，并且焦线120c将右眼104 连接到焦点120d。焦线120a和120b是平行的，并且观看者101将感知 监视器102之后无穷远处的物体。意在在屏幕102之前的点130e处被感 知的物体将具有负视差。焦线130a连接左眼103的中心、点130e和焦 点130b。焦线130c连接右眼104的中心、点130e和焦点130d。
在每个情形中，图像将保持在从眼到屏幕的近似相同的距离，使得 聚焦没有改变。双目线索通过由眼103和104所看到的图像之间的不同 (差异)、以及它们的视差的量和符号(图像是否翻转)而被馈送到观看 者101。然而，如上面提到的，如果聚散度的量(视差的大小)太大， 则适应(聚焦)的缺乏将导致立体融合变坏。在典型的应用中，相对于 零的正或负1.5度的总视差(分别地，线110a和110b)对于大多数观看 者是舒适的并且不会引起立体融合的变坏。为了快速地将物体移出屏幕， 此关系可以被进一步推进，有时将物体置于观看者的20cm内。
本发明的实施例比典型方法更完全地分解了立体现象的性质，并且 利用了如何感知立体信息的更完全的描述。典型地，使用两个平行设置 的相机会聚地(略微面向内)或发散地(略微指向外)产生立体内容。 平行的相机将以与相机的透镜之间的距离相同的差异来对远处的物体成 像，并且可用于对以水平看的真实世界几何形状进行近似。会聚的相机 以负的视差来对远处物体(物体的左和右图像交换)成像。发散的相机 对比透镜之间的距离更远的远处物体成像。不同的相机设置是由内容的 制作者作出的创造性的选择，并且其可逐场景地改变或在场景内动态地 改变。每个提供一种增强区域(前台、屏幕或远处)的立体效果的装置， 因此强调了内容制作者感兴趣的区域。
典型地，意在用于左眼的图像和意在用于右眼的图像覆盖相同的视 野。然而，在更极端的应用中，有可能在左和右眼之间的仅具有部分的 重叠。不同的视野可导致某些物体仅在一个眼中看到。经常地，这是真 实世界的表示，例如，在大视野中，左眼可以看到右眼看不到的周围物 体。当以立体方法对真实世界进行近似时，不同的视野可以增强总的体 验-例如周围物体中的单视场深度线索可以有助于总的深度感知。然而， 当视野的边缘(例如，电影院银幕的边缘)没有通常感知宽时，与边缘 重叠的物体可能出现在银幕之后(这被公知为“窗口效应”；如果你仅能 看到部分物体-则它必定是在窗口之外)。但是，如果此物体意在处于银 幕之前，则不同的线索将导致立体融合变坏。
立体效果的关键方面是意在用于左眼和右眼的图像的分离，其导致 待出现的成像物体以观察者离屏幕的距离的一百分比移出屏幕(或进入 屏幕)。但是，如果观察者不在与相机焦距相同的距离处，则用于该用户 的效果将不同于内容制造者意图的效果。这可导致立体融合的变坏。不 同的量值及其对融合变坏的影响可以通过对图1和图3中的不同的几何 形状进行比较来评价，其中图1中所观看的图像的大小可能小于原始内 容，且图3中所观看的图像的大小可能大于原始内容。
在图1中，观看者101的瞳间距离(IPD)105是6cm，并且该观看 者正处于距监视器102(其为60cm宽)的观看距离106(60cm)。图3 示出在电影院中观看立体图像的几何形状。在图3中，观看者101具有 6cm的IPD，但处于距600cm宽的电影屏幕302的观看距离306(800cm)。
表1以屏幕尺寸的百分比的形式详细给出对于图1和图3的几何形 状的典型的视差值。

根据表1，如果物体意在处在屏幕深度，则在图1和图3中，通过 限定，视差为零。但是，如果物体在无穷远处(眼直地向前聚焦)，则对 于图1的监视器，图像间隔6cm，为监视器宽度的10％，而同样的6cm 仅是电影屏幕的1％。因此，如果为监视器102(具有10％的视差)创建 的典型内容将示出在屏幕302上(其中10％比瞳间距离宽得多)，将迫 使观看者101的眼显著发散以融合图像，几乎必然导致立体融合变坏。
内容典型地仅生成一次。为了使立体效果最大化，基于所意图的观 看环境在内容生成期间作出假设。如果意图在电影院，则无穷远处的物 体将以6cm/600cm的差异或1％的屏幕宽度被拍摄(作为实例，本发明 的实施例不限于内容创建的任何具体方式)。如果此内容在图1的监视器 102上示出，则无穷远处的物体仍将具有为屏幕宽度的1％的左和右图像 的差异。但是在监视器102上，这是60cm×0.01＝0.6cm。左和右图像 的0.6cm的分离将几乎不产生立体效果，且内容创建者的意图已经失去。 在另一方向上，如果已假定在监视器102上观看而创建了内容，则无穷 远处的物体将具有6cm、或10％的左和右图像的分离。如果此内容代替 为在屏幕302上示出，将是600cm×0.10＝60cm的分离，引起我们的 眼宽地发散并导致融合变坏。
某些应用尝试使用高达1度的发散(即，眼彼此远离地实际所指)， 将物体置于“超过无穷远”。监视器102上这样的内容将允许高达监视器 宽度的12％，但是计仅为电影屏幕302的3.3％。通过保持+或-1.5度内 的聚散度，传统知识要求产生要在多种屏幕上示出的内容。这样的受限 窗口经常排除了试图立体效果。另外，“安全”数字仍然不能保证保护融 合不变坏。如果我设想例如在监视器102的几何形状中观看，我可以使 用IPD以生成最大的“在屏幕之后”效果，并且使用距观看者20cm作 为屏幕之外的最大值。在图1的几何形状中，20cm给出为监视器102 的20％的负视差(60cm*0.2＝12cm视差，其中左图像对右并且右图像 对左)。如果内容创建者考虑图1几何形状，在图2的几何形状中必须牺 牲显著量的“屏幕之外”立体效果，其中可接受一致达到38％的视差以 达到20cm的极限。如果内容创建者代替为考虑图3的几何形状，在图1 的几何形状中必须牺牲显著量的“进入屏幕”立体效果。试图为两者设 计内容如此严重地限制了可获得的立体效果使得经常不值得创建它们。
这些问题的出现很大程度上是因为IPD是静态常数，而观看的几何 形状可以彻底地改变。因为内容制作者必须把自身限制为在所有可能的 观看环境上可观看的立体效果，所以这是使他们受挫的关键源由。如果 内容将全部可看，则可能环境的变化越多，可能的立体效果越受限制。 当考虑变化的观看角度时出现了进一步复杂情况。这里所使用的所有实 例已假设接近90度的观看角度。在真实世界中，从锐角观看物体改变了 处于不同深度的所有物体之间的相对角度。但是当观看屏幕时，视差是 静态的、与观看角度无关。因此内容制作者必须将立体效果进一步限制 为只对所有可能的观看角度可见。通常，可能的观看环境是如此变化的 几何形状使得有可能没有立体效果。
为了安全，以电影和DVD发行为目标的内容创作者(例如)将不 得不选择很安全的设置，以便二者进入屏幕和在屏幕最大值之外。另一 方面，对优选地点的创建，可能使某些效果对其他几何形状不能支持。 例如，以38％的视差将快速移动的物体移出屏幕将在电影内起作用，但 是在监视器将使该物体很接近地移动到观看者而导致他们斜视。本发明 的实施例认识到内容几何形状与观看的几何形状之间的不同可使立体效 果成为负担。如果不同达到极端，则仅有的解决方案可能是简单地关掉 立体效果。可替选地，本发明的实施例可以改变观看的几何形状以满足 内容几何形状的需求(这可以例如在头戴显示器(HMD)中通过改变观 看光学器件而实现)。为了成功地适合于几何形状之间的不同，本发明的 实施例将用于创建该内容的几何形状与限定该内容的数据组合在一起。
为了这样做，本发明的实施例还将内容分成两个概括化的目录：再 现的和原生的。再现的内容是已经投射到x-y平面上的内容。其典型实 例将是电视节目、电影或在很多DVD上所使用的运动图片专家组-版 本II编码机制-(MPEG-II)。在再现的内容中，深度(或z-轴)信息存 在于左和右眼图像的差异和视差中。相比之下，原生的内容是具有可用 的完整的三维信息的内容。它的实例将是某些MPEG-IV内容(其可包 含三维描述)，或如游戏的虚拟环境的计算机表示。
对于再现的内容，本发明的实施例包括有描述图像的数据，内容创 建者所意图的几何形状。此信息可以在再现时捕获，或者在已再现后通 过检查、软件或其他装置来确定。这可在内容被捕获时(例如使用相机 技术)或者投影被创建(例如在3D模型的再现期间)时发生。例如， 对于使用传统相机技术所生成的内容，内容几何形状可以包括：左和右 相机透镜之间的距离，相机透镜的会聚(或发散)角，两个相机的焦距， 两个透镜的视野，视野的重叠。所捕获的内容将独立地包含纵横比和分 辨率。可以使用虚拟相机为计算机所再现的内容存储相同的信息。
当观看预期是相似的而结果是极大地不同的几何形状时，这样的实 施例是很有用的，例如，IMAX屏幕范围可从50英尺之下的对角线到多 于125英尺。因此，为所有的IMAX电影院创建单个版本的立体图形胶 片的是不理想的。使用本发明的实施例，通过例如由例如使投射机会聚 来改变投射几何形状以改变屏幕上的有效差异，已知的观看几何形状可 以用于为每个电影院生成更合适的内容。
另外，经常需要逐场景地、或甚至在场景内动态地改变电影(或其 他内容)的内容几何形状。具有小窗口的可用效果经常使此成为不可管 理的，但是本发明的实施例认识到内容几何形状与观看几何形状之间的 关联，并且使用关于二者的知识来更有效地管理此动态立体内容的处理。 需要用于作出这些确定的信息可以如上述地捕获，并且被包括有每个场 景的图像数据，或甚至有每个帧。使其有可能动态地管理立体效果。
有很多方法用于在所再现的数据中存储几何形状。本发明的实施例 不限于任何具体的方法，而是可以使用将内容几何形状成功地与内容数 据合并的任何方法。例如，在传统的相机技术中，相机间的距离、左相 机的焦距、右相机的焦距、视野、相机之间的角度(平行、会聚、发散)、 视野重叠、或者捕获环境的其他几何形状描述中的每个可使用可以合并 到数字图像数据中的数字来表示，并使其适合于符合该领域普通技术人 员当前可用和已知的许多不同方法和格式中的任何一个。如果要将数据 的量最小化，如焦距与视野的比率的较小描述可以是要存储的足够的信 息。无论如何，每个数字可以标有其描述的属性，例如(“左焦距”， 300cm)。另外，可以建立标准使得属性和/或测量单位的顺序可以固定， 在该情形中可能不需要标签和描述符。因此，某些实施例可以将任何这 些格式存储为一系列简单的数字。
在某些实施例中，本发明的很多方面涉及以清楚理解和可检索的方 式简单地将一组数字存储在内容流中。其某些实例为：
1.在用于TV信号的消隐间隔内使用标准编码技术(例如其中存储 了闭路字幕(close captioning))。
2.在用于未压缩的视频的边带信息内-例如在头部或尾部内。此头 部或尾部可以是用于整个胶片的，或者其可以是用于每个场景的或者每 个视频帧的头部或尾部。
3.在用于压缩的视频的头部信息内-例如在MPEG头部的用户数据 部分内。
4.在水印内-即在视频自身的内容内。这可以这样的方式来完成， 使得其经受住了压缩/解压缩循环以及数字到模拟到数字的转换。
本发明的实施例不限于这些方法，而是可以使用适于对分析内容与 观看的几何形状之间的不同所必要的信息进行编码的任何方法或功能 性。
在适合于使用传统相机技术的一实例实施例中，三个数字(相机间 距离、焦距以及相机之间的角度)存储在视频的每个视频帧中。这允许 在示出内容时容易读取和改变基本几何形状。也允许在视频中的任何点 检索几何形状(例如用户将在中间开始电影)，而不需要读取视频流之前 的信息。根据本实施例，三个数字在简单的水印内存储为单字节。另外， 水印已定位在视频的预定区域内，使得检索该数据是不费时的。在此情 形中，这三个字节被表示为视频的最后八个线的蓝通道的低频变化-这 允许该数据经受住MPEG和其它编码机制。但是此发明不限于如何存储 数据。
以上所有的编码描述和实例也可用于原生内容。但是，原生内容可 以提供系统灵活性的显著增加，因为所限定的观看世界的范围已经嵌入 在内容中。能够处理原生内容的系统典型地再现内容本身，并且因此可 具有改变内容几何形状的能力。在此情形中，本发明的实施例可将立体 图像再现以便与观看几何形状一致。可替选实施例可以在原生内容自身 内将创造性控制置于立体效果之上。即，可将虚拟相机位置的等价物记 录在内容内，并且它们可以用作用于转换到观看几何形状的参考。因为 内容的创造性意图可以在从PC到TV到家庭影院到电影院到大屏幕格 式的多个观看场景之间再现，再现成观看几何形状的原生内容可以利用 本发明的很多方面的特别的优点。在可替选实施例中，用户可以影响内 容几何形状(例如所选的观看点)以影响针对立体效果的量的个人选择。
尽管已经描述了本发明及其优点，应该理解可以在不脱离由所附的 权利要求限定的本发明的精神和范围的情况下在其中进行各种改变、替 换和变更。另外，本发明的范围并非意在局限于说明书中所描述的过程、 机器、制造、物质成分、装置、方法和步骤的特别实施例。本领域普通 技术人员从本发明的公开中容易理解：可以根据本发明来利用与这里描 述对应的实施例执行基本相同功能或得到基本相同结果的当前存在或以 后要开发的过程、机器、制造、物质成分、装置、方法和步骤。因此， 所附权利要求意在其范围中包括这样的过程、机器、制造、物质成分、 装置、方法或步骤。
相关申请的交叉引用
本申请要求于2004年2月3日提交的、标题为“SYSTEM AND METHOD FOR MANAGING STEREOSCOPIC VIEWING”的、代理人案 号为No.TGS-HP1的临时专利申请和于2005年2月2日提交的、标题为 “SYSTEM AND METHOD FOR MANAGING STEREOSCOPIC VIEWING”的、代理人案号为No.054792-P007US的非临时专利申请的 优先权。其公开通过引用结合于此。本申请涉及当前未决的和共同受让 的、于2003年11月18日提交的、标题为“OPTICAL ARRANGEMENTS FOR HEAD MOUNTED DISPLAYS；”的、申请序列号为10/715,911的 申请，于2003年11月18日提交的、标题为“MULTIPLE IMAGING ARRANGEMENTS FOR HEAD MOUNTED DISPLAYS；”的、申请序 列号为10/716,192的申请，以及于2004年9月22日提交的、标题为 “SYSTEM AND METHOD FOR PROCESSING VIDEO IMAGES.”的、 申请序列号为10/946,955的申请。其公开通过引用结合于此。