自从引入显示装置以来，许多人开始梦想着逼真的3-D显示装置。 已经研究了许多可以实现这样的显示装置的原理。一些原理试图在一 定空间中创建逼真的3-D对象。例如，A.Sullivan在proceedings of SID’03(1531-1533，2003)的文章“Solid-state Multi-planar Volumetric Display”中公开了一种显示装置，其通过快速投影仪在 一系列平面上移动可视数据。每个平面是一个可切换的散射器。如果 平面的数量足够大，则人脑组合图画并观察到逼真的3-D对象。该原 理允许观看者在一定范围里环顾对象。在此显示装置中，所有对象都 是(半)透明的。
许多其它的原理试图只基于双目视差来创建3-D显示装置。在这 些系统中，观看者的左右眼感知不同图像，因此观看者感知到3-D图 像。可以在Princeton University Press，1993的图书《Stereo Computer Graphics and Other True 3-D Technologies》(D.F. McAllister(Ed.))中找到这些概念的概述。第一个原理使用立体眼 镜与例如CRT组合。如果显示奇数帧，则对左眼阻断光，并且如果显 示偶数帧，则对右眼阻断光。
不需要附加工具来显示3-D的显示装置被称为自动-立体镜显示装 置。
第一个无眼镜显示装置包括遮光板，以创建针对准观看者的左右 眼的锥形光。例如，所述锥形光例如相应于奇数和偶数子像素列。利 用适宜的信息对这些列进行寻址，如果观看者处于正确的位置点，则 在他的左右眼中获得不同的图像，并能够感知到3-D图画。
第二个无眼镜显示装置包括一系列透镜，以将奇数和偶数子像素 列的光成像给观看者的左眼和右眼。
上述无眼镜显示装置的缺陷在于观看者必须保持在固定位置。为 了引导观看者，已经提议使用指示器来显示处在正确位置的观看者。 例如参见美国专利US5986804，其中遮光板与红和绿发光二极管组合 在一起。在观看者正确定位的情况下，他看到绿光或红光。
为了观看者免于处在固定的位置，已经提出了多视点自动-立体镜 显示装置。例如参见美国US60064424和US20000912。在US60064424 和US20000912所公开的显示装置中，使用倾斜的双凸透镜，由此双凸 透镜的宽度大于两个子像素。这种方式中存在着若干相邻的图像，并 且观看者可以稍显自由地向左右移动
为了在多视点显示装置上生成3-D印象，必须从不同的虚拟视点 渲染图像。这需要有多个输入视图或一些3-D或深度的信息。该深度 信息可以从多视点照像系统记录、生成，或从传统的2-D视频材料生 成。为了从2-D视频生成深度信息，可以采用几种深度暗示：例如运 动结构、聚焦信息、几何形状和动态隐面(dynamic occlusion)。 目的是生成密集深度图，即每个像素一个深度值。接下来，将深度图 用于渲染多视点图像以供给观看者深度印象。在P.A.Redert，E.A. Hendriks和J.Biemond的文章“Synthesis of multi Viewpoint images at non-intermediate positions” (Proceedings of International Conference on Acoustics，Speech and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEE Computer Society，Los Alamitos，California，1997)中公开了 一种提取深度信息以及基于输入图像和深度图对多视点图像进行渲染 的方法。多视点图像是将由多视点显示装置显示以创建3-D印象的一 组图像。典型地，基于输入图像创建该组图像。通过将输入图像的像 素移位相应的偏移量来创建这些图像之一。这些偏移量被称为视差。 因此，典型地，对于每个像素来说存在一个对应的视差值，它们一起 形成视差图。典型地，视差值和深度值成反比，即：
$S=\frac{C}{D}---\left(1\right)$
其中S为视差，C为常数和D为深度。创建深度图视为等同于创建 视差图。
对于2-D输入图像的均匀区域，即基本上无纹理的区域来说，难 以或有时不可能从多视点显示装置来推断其深度是多少。通常，这将 作为相应于处于屏幕水平的均匀区域的对象而被感知。在具有例如蓝 天的均匀背景的情况下，所感知的多视点显示装置的深度相对较小。 在天空无云的情况下，天空被感知处于屏幕水平，因此对于正确的深 度印象，不可能将其它对象置于屏幕后面，这严重降低了深度印象。

本发明的一个目的是提供一种首段中描述的方法，从而增加深度 印象。
本发明的上述目的是这样实现的，该方法包括：
-创建包括不规则形状对象的调制图像；
-在调制图像的其他像素值的基础上调制输入图像的一部分的像 素值，从而形成中间图像；和
-通过在视差数据的基础上扭曲(warping)中间图像而生成多视 点图像。
在多视点显示装置上给观看者3-D印象取决于将第一输出图像示 于左眼和将第二输出图像示于右眼。这些输出图像之间的差别通过人 脑而被演绎成3-D图像。通过相对于彼此移位输入图像的各对象，构 建输出图像。偏移量由对象的深度决定。大脑以不同的视点识别对象 之间的对应，即输出图像，并从差别来推断几何形状。如果对象基本 上无纹理，则难以形成这样的对应，因为不存在眼睛“锁定”的特征。 成像一个均匀黑表面。将它移位到左或右都不会改变它。因此，基于 视差并不能推断该表面所处的深度。
通过基于调制图像的其他像素值来调制输入图像的一部分的像素 值，引入特征。这些对应于不规则形状对象的特征首先在输入图像的 基本上均匀的区域中是可见的。接着，可以对看起来在某些区域有所 不同的第一输出图像和第二输出图像进行渲染，该区域对应于在进行 调制之前基本上是均匀的那部分输入图像。现在，用户可以在第一和 第二输出图像中所各自引入的不规则形状对象之间形成对应。
优选地，不规则形状对象的尺寸与视差数据相关。例如，不规则 形状对象的平均尺寸和视差数据的平均值具有相同的数量级。假设视 差数据包括1-15个像素范围内的值，则优势在于尺寸，即不规则形状 对象的高度和宽度，基本上在相同的范围中。优选地，不规则形状对象 的平均直径对于1000*1000像素的图像大约为7-8个像素。平均直径 是指两个边缘之间的平均距离。
输入图像的像素值的调制可以覆盖遍布在输入图像上的像素。该 调制优选地覆盖对应于基本上均匀的区域的那部分输入图像。优选 地，该调制是这样的，提高输入图像的第一部分像素的亮度值，同时 降低输入图像的第二部分像素的亮度值。例如，输入图像的第一部分 像素对应于代表不规则形状对象的调制图像的像素集合，而输入图像 的第二部分像素对应于代表背景的调制图像的另一个像素集合。优选 地，平均亮度值不受调制影响，即输入图像的平均亮度值和中间图像 的平均亮度值基本上彼此相等。
在根据本发明的方法的实施例中，创建调制图像包括：
-通过生成噪声而创建第一图像；
-使用低通滤波器过滤第一图像，从而形成第二图像；和
-通过阈值来划分第二图像的像素，从而形成调制图像。
优选地，由随机噪声发生器生成噪声。低通滤波器的特点优选地 与视差数据相关，以便创建具有适宜尺寸的不规则形状对象。这样进 行划分，即将已连接的像素组标记为属于各自的不规则形状对象，同 时将已连接的像素的其它组标记为背景。
在根据本发明的方法的实施例中，基于视差数据调制像素值。优 选地，亮度值的提高和降低取决于局部深度值，并因此取决于像素的 局部视差值。优选地，对于远离观看者的输入图像的对象而言，提高 和/或降低的量较高。
在根据本发明的方法的实施例中，基于运动矢量创建调制图像， 所述运动矢量是在输入图像所属的一系列输入图像的基础上计算的。 假设把根据本发明的方法应用于代表运动的一系列输入图像，例如一 系列视频图像。例如对应于摇拍照相机。如果该输入图像序列的每个 输入图像都由相同调制图像进行调制，并被显示在多视点显示装置 上，则结果可能就好像是在通过脏的窗户观看输出图像序列。为了防 止这个，优选每个输入图像通过自己的调制图像来进行调制。用于调 制特定输入图像的调制图像可以基于其它调制图像，该其它调制图像 是为之前的输入图像(即在特定输入图像之前的图像)而创建的。优 选地，所述其它调制图像基于在一个方向上为调制特定输入图像而对 调制图像进行移位，并且所述其它调制图像与场景中的运动相关。优 选地，为获得所述其它调制图像，采用一运动矢量来移位用于调制特 定输入图像的调制图像，其中，该运动矢量是通过分析或模拟对应于 特定输入图像的运动矢量场而计算的。
本发明的另一目的是提供一种首段中描述的渲染单元，从而增加 深度印象。
本发明的上述目的是这样实现的，该渲染单元包括：
-用于创建包括不规则形状对象的调制图像的创建器件；
-用于在调制图像的其他像素值的基础上调制输入图像的一部分 的像素值而形成中间图像的调制器件；和
-通过在视差数据的基础上扭曲中间图像而生成多视点图像。
本发明的另一目的是提供一种包括首段所述的渲染单元的图像处 理设备，从而增加深度印象。
本发明的上述目的是这样实现的，所述渲染单元包括：
-用于创建包括不规则形状对象的调制图像的创建器件；
-用于在调制图像的其他像素值的基础上调制输入图像的一部分 的像素值从而形成中间图像的调制器件；和
-通过在视差数据的基础上扭曲中间图像而生成多视点图像。
本发明的另一目的是提供一种首段所述的计算机程序产品，从而 增加深度印象。
本发明的上述目的是这样实现的，上述计算机程序产品在被加载 之后，向所述处理器件提供执行下列操作的能力：
-创建包括不规则形状对象的调制图像；
-在调制图像的其他像素值基础上调制输入图像的一部分的像素 值，从而形成中间图像；和
-通过在视差数据的基础上扭曲中间图像而生成多视点图像。
渲染单元的修改及其变化可以对应于图像处理设备、方法和计算 机程序产品的修改及其变化。
附图说明
参照下面对执行和实施例的描述并参考附图，根据本发明的渲染 单元、图像处理设备、方法和计算机程序产品的这些和其它方面将变 得明显并得以阐明，附图中：
图1示出根据本发明的调制图像、输入图像和中间图像；
图2示意性地示出了根据本发明的渲染单元的实施例；
图3示意性地示出了包括根据本发明的渲染单元的实施例的多视 点图像生成单元；
图4示意性地示出了调制图像创建装置的实施例；和
图5示意性地示出了根据本发明的图像处理设备的实施例。
所有附图中相同的附图标记用于表示相似的部件。

图1示出根据本发明的调制图像100、输入图像102和中间图像 104。输入图像102是来自视频序列的图像。调制图像100和输入图像 102具有相同的尺寸，即包括相同数量的像素。则直接用调制图像100 对输入图像102进行调制。对于输入图像102的每个像素，在调制图 像100中存在相应的像素，其直接与各自的亮度值的提高量或降低量 相关。或者，调制图像100和输入图像102具有彼此不同的尺寸。则 通过多次应用调制图像100或只应用调制图像100的一部分来执行对 输入图像102的调制。或者，只对输入图像的一部分像素进行调制。
优选地，调制图像100包括第一组已连接的像素114和第二组像 素，其中，第一组像素共同形成背景，而第二组像素形成前景对象 106-112。这些前景对象是不规则形状对象。这些不规则形状对象 106-112看起来象污点。优选地，这些不规则形状对象106-112的形 状与输入图像102中的对象的形状并不相关。
这些不规则形状对象106-112的平均尺寸与视差量相关，并且因 此与深度相关。注意，不同的不规则形状对象106-112可能具有彼此 不同的尺寸。而且，典型地，输入图像102的不同像素的视差量显示 出偏离，并且因此中间图像104的视差量也显示出偏离。然而，视差 的平均尺寸和不规则形状对象106-112的平均尺寸优选地具有相同的 数量级。
图1示出根据本发明的中间图像104。不规则形状对象106-112 清楚可见。注意，所示中间图像104只是示例，以说明被夸张的调制 效果。优选地，不规则形状对象较难觉察得到。这就意味着它们不应 当是如此明显的。典型地，调制图像100中明显的亮度值的范围和数 量与输入图像102中亮度值的数量相比相对较小。假设输入图像102 的亮度值范围包括256个不同值。则典型地调制图像100的亮度值范 围包括值[-2，2]。例如，第一组像素的亮度值，即背景114的亮度值， 都等于-2或-1，同时第二组像素的亮度值，即不规则形状对象106-112 的亮度值，都等于+2或+1。
图2示意性地示出了根据本发明的渲染单元200的实施例。渲染 单元200用于在输入图像102的基础上对包括第一输出图像和第二输 出图像的多视点图像进行渲染。在图像输入连接器208处提供输入图 像102。渲染单元200在它的图像输出连接器210和212处提供第一 输出图像和第二输出图像。所述渲染单元200包括：
-调制图像创建装置206，用于创建包括不规则形状对象106-112 的调制图像100；
-调制装置202，用于在调制图像100的其他像素值的基础上调制 输入图像102的一部分的像素值，从而形成中间图像104；和
-生成装置204，用于生成第一输出图像和第二输出图像其中，第 一输出图像是通过在基于视差数据的第一转化的基础上扭曲中间图像 而生成的，第二输出图像是通过在基于视差数据的第二转化的基础上 扭曲中间图像而生成的。
可以使用一个处理器来实现调制图像创建装置206、调制装置202 和生成装置204。通常，在软件程序产品的控制下执行这些功能。在执 行期间，通常将软件程序产品载入例如RAM的存储器，并从那里执行。 所述程序可以从后台存储器，例如ROM、硬盘或磁和/或光存储器加载， 亦或经由如互联网的网络而加载。可选地，专用集成电路提供所述功 能。
结合图4，描述调制图像创建装置206的实施例。
优选地，将调制装置202设置为执行如等式2所规定的功能。
Lout(x，y)＝Lin(x，y)+g(x，y)*Lmod(x，y)    (2) 其中，
-Lin(x，y)是输入图像102的坐标为(x，y)的像素的亮度值；
-Lout(x，y)是中间图像104的坐标为(x，y)的像素的亮度值，即调 制装置的输出；
-Lmod(x，y)是调制图像100的坐标为(x，y)的像素的亮度值；和
-g(x，y)是增益因子，优选地它可以由用户调节。所述增益g(x，y) 对于所有像素可以是相等的，但是优选地，每个像素拥有其自己的增 益因子。可以通过增益输入连接器214提供增益g(x，y)的实际值。
将生成装置204设置为渲染第一输出图像和第二输出图像。例如， 该渲染正如在P.A.Redert、E.A.Hendriks和J.Biemond的文章 “Synthesis of multi Viewpoint images at non-intermediate positions”(Proceedings of International Conference on Acoustics，Speech and Signal Processing，Vol.IV，ISBN 0- 8186-7919-0，第2749-2752页，IEEE Computer Society，Los Alamitos，California，1997)中所描述的。或者，该渲染正如在R.P. Berretty和F.E.Ernst的文章“High-quality images from 2.5D video”(Proceedings Eurographics，Granada，2003，Short Note 124)中所描述的。为了该渲染，生成装置204需要视差输入连接器216 所提供的视差或深度信息。
调制图像创建装置206可以包括下列两个可选输入连接器：清晰 度输入连接器220和运动矢量输入连接器218。
优选地，在输入图像中引入不规则形状对象仅限于基本上均匀的 那部分输入图像。这可以通过只在局部，即在基本上均匀的区域中， 调制输入图像而实现。或者，调制图像创建装置206考虑了关于输入 图像的图像内容的信息，特别是均匀区域的存在和位置。该信息可以 通过外部清晰度计算装置302提供，或者可以由渲染单元200自己计 算。在两种情况下，基于对图像像素的清晰度值的计算，来确定清晰 度信息。优选地，它是特定的输入图像，调制图像可以加入其中，或 者调制图像可以与之合并。或者，基于对另一图像像素的清晰度值的 计算，来确定清晰度信息，其中该另一图像来自该特定输入图像所属 的图像序列。
优选地，通过计算特定像素的亮度和/或色彩值与该特定像素的邻 接像素的亮度和/或色彩值之间的差别，来确定该特定像素的清晰度 值。通过计算图像的各个像素的清晰度值，来形成清晰度图。亮度和/ 或色彩值之间的相对较大的差别意味着相对较高的清晰度值。接下 来，分析并选择性地修改清晰度图。这意味着确定了具有较多清晰度 值较低的像素的第一区域，并确定了具有较多清晰度值较高的像素的 第二区域。假设第一区域为均匀区域，设第二区域为纹理区域或细节 区域(detailed region)。基于该划分，确定增益因子g(x，y)的值， 并创建调制图像100。典型地，这意味着对应于第一区域的调制图像 100的亮度值Lmod(x，y)是这样的，即在调制期间它们对输入图像100 没有或基本没有任何影响，例如Lmod(x，y)＝0，同时对应于第二区域的 调制图像100的亮度值Lmod(x，y)是这样的，即在调制期间它们对输入 图像100有影响，例如Lmod(x，y)＝-2、-1、1或2。
通过清晰度输入连接器220将包括划分信息的清晰度图提供给渲 染单元200。
对应于后续的输入图像，创建后续的调制图像可以彼此完全独立 地进行。或者，在创建特定调制图像和后续调制图像之间存在关联。 通过创建后续的调制图像而考虑后续输入图像之间的运动是有益的。 通过分析特定输入图像及其后续者之间的动作，可以确定移位。优选 地，将该移位应用于移位特定调制图像，以便获得下一调制图像。优 选地，后续的输入图像之间的运动取决于在运动矢量场的基础上建立 运动模型。通过运动估计器确定该运动矢量场。该运动估计器例如可 见于G.de Haan等人的文章“True-Motion Estimation with 3-D Recursive Search Block Matching”(IEEE Transactions on circuits and systems for video technology，vol.3，no.5，1993 年10月，368-379页)。
通过运动矢量输入连接器218将运动信息提供给渲染单元200。
图3示意性地示出了包括根据本发明的渲染单元200的实施例的 多视点图像生成单元300。将多视点图像生成单元300设置为在一系列 视频图像的基础上生成一系列多视点图像。多视点图像生成单元300 在输入连接器308处备有视频图像流，并分别在输出连接器310和312 处提供两个相关的视频图像流。将这两个相关的视频图像流提供给多 视点显示装置，所述多视点显示装置用于使基于该相关视频图像流中 的第一个视频图像流的第一系列视图可视化，并使基于该相关视频图 像流中的第二个视频图像流的第二系列视图可视化。如果用户，即观 看者，用他的左眼观察第一系列视图，并用他的右眼观察第二系列视 图，则他获得3-D印象。相关的视频图像流中的第一个视频图像流可 以对应于接收到的视频图像序列，并且，根据本发明的方法可以基于 接收到的视频图像序列对相关的视频图像流中的第二个视频图像流进 行渲染。优选地，基于接收到的视频图像序列，根据本发明的方法对 两个视频图像流进行渲染。
多视点图像生成单元300还包括：
-清晰度计算装置302，用于确定输入图像的哪些区域是均匀的。 通过清晰度输入连接器220将清晰度计算装置302的输出提供给渲染 单元200。
-运动估计器304，用于估计后续输入图像之间的运动。通过运动 矢量输入连接器218将运动估计器304的输出提供给渲染单元200； 和
-深度创建单元306，用于确定输入图像中各个对象的深度信息。 基于该深度信息确定视差图，所述视差图通过视差输入连接器216被 供给渲染单元300。
注意，虽然将多视点图像生成单元300设计为处理视频图像，但 也可以设置多视点图像生成单元300的替代实施例，以基于单独的图 像，即静止画面，来生成多视点图像。
注意，虽然所述多视点图像生成单元300具有两个输出连接器310 和312，但也可以有替代的输出方式。除此之外，形成一个多视点图像 的输出图像的数量并不严格限于2个。
图4示意性地示出了根据本发明的调制图像创建装置206的实施 例。所述调制图像创建装置包括：
-用于创建第一图像的随机噪声发生器402；
-低通滤波器404，用于过滤第一图像，从而形成第二图像。低通 滤波器的特点与视差数据相关，以便创建具有适宜尺寸的不规则形状 对象；和
-比较装置406，用于将第二图像的像素值与预定阈值进行比较， 以便划分第二图像的像素，从而形成调制图像。这样进行划分，即将 已连接的像素的组标记为属于各不规则形状对象，同时将已连接的像 素的其它组标记为背景。
图5示意性地示出了根据本发明的图像处理设备500的实施例， 包括：
-接收单元502，用于接收表示输入图像的视频信号；
-多视点图像生成单元300，用于基于接收到的输入图像生成多视 点图像，如结合图3所述；和
-多视点显示装置504，用于显示由多视点图像生成单元300提供 的多视点图像。
视频信号可以是经由天线或线缆接收到的广播信号，但也可以是 来自例如VCR(录像机)或数字化通用光盘(DVD)之类的存储装置的 信号。在输入连接器506处提供信号。图像处理设备500例如可以是 TV。或者，图像处理设备500不包括可选的显示装置，而是向包括显 示装置504的设备提供输出图像。则图像处理设备500可以是例如机 顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选地，图像 处理设备500包括例如硬盘的存储器件或用于在例如光盘的可移动介 质上进行存储的器件。图像处理设备500还可以是由电影公司或广播 公司所应用的系统。
应该注意，上述实施例说明而非限制本发明，并且，本领域技术 人员可以设计替代实施方式，而不脱离权利要求的范围。权利要求中， 括号中的任何附图标记不构成对权利要求的限制。词语“包括”不排 除权利要求中未列举的元件或步骤。元件前面的词语“一”或“一个” 不排除存在多个这样的元件。通过包括若干确切的元件的硬件和通过 合适的编程计算机可以实现本发明。在列举了若干器件的单元权利要 求中，这些器件中的一些可以由一个和相同项的硬件实现。词语第一、 第二和第三等等的使用不指示任何排序。可以将这些词语解释为相 同。