在立体图像中以相对深度插入三维对象专利检索-手持设备电脑零配件专利检索查询-专利查询网

在立体图像中以相对深度插入三维对象

阅读：709发布：2021-06-06

专利汇可以提供在立体图像中以相对深度插入三维对象专利检索，专利查询，专利分析的服务。并且提供了用于将至少一个对象渲染到显示设备的立体图像中的技术。接收对象的作为观看者距离的分数的感知深度数据。可以将该感知深度数据归一化。根据感知深度数据计算具体显示设备的像素分离偏移。以该像素分离偏移将对象的左眼图像和右眼图像分别插入到立体图像中。对于具体实施例，对象包括要插入的说明文字。，下面是在立体图像中以相对深度插入三维对象专利的具体信息内容。

权利要求

1.一种用于将至少一个对象渲染到显示设备的立体图像中的方法，所述方法包括：
接收所述至少一个对象的作为观看者距离的分数的感知深度数据；
根据所述感知深度数据计算所述显示设备的像素分离偏移；
将所述至少一个对象的第一对象图像插入到所述立体图像的第一图像中；以及将所述至少一个对象的第二对象图像插入到所述立体图像的第二图像中，其中，以所述像素分离偏移来偏移所述第一对象图像和所述第二对象图像。
2.根据权利要求1所述的方法，其中，所述至少一个对象是说明文字文本。
3.根据权利要求1所述的方法，其中，所述第一对象图像和所述第一图像是左眼图像，所述第二对象图像和所述第二图像是右眼图像。
4.根据权利要求1所述的方法，在所述插入之后还包括：在数据流中输出所述第一图像和所述第二图像。
5.根据权利要求1所述的方法，其中，按照每毫米宽度一个像素，将所述感知深度数据归一化。
6.根据权利要求1所述的方法，其中，所述显示设备是蜂窝式电话、手持媒体播放器、电视机、计算机监视器和电影院投影仪中的至少之一。
7.一种用于将至少一个对象渲染到显示设备的立体图像中的方法，所述方法包括：
接收所述至少一个对象的作为观看者距离的分数的归一化感知深度数据；
根据所述归一化感知深度数据和显示器尺寸计算所述显示设备的像素分离偏移；以及将所述至少一个对象的第一对象图像和第二对象图像插入到所述立体图像中，其中，以所述像素分离偏移来偏移所述第一对象图像和第二对象图像。
8.一种用于将对象插入到立体图像中的方法，所述方法包括：
将所述立体图像发送到第一播放设备；
将至少一个对象的作为观看者距离的分数的感知深度数据发送到所述第一播放设备，所述第一播放设备能够根据所述感知深度数据计算第一像素分离偏移；
将所述立体图像发送到第二播放设备；
将作为所述分数的所述感知深度数据发送到所述第二播放设备，所述第二播放设备能够根据所述感知深度数据计算第二像素分离偏移，
其中，所述第一像素分离偏移不等于所述第二像素分离偏移。
9.根据权利要求8所述的方法，其中，所述第一播放设备的屏幕宽度至多是所述第二播放设备的屏幕宽度5分之1。
10.根据权利要求9所述的方法，其中，所述第一播放设备是手持设备。
11.根据权利要求8所述的方法，其中，所述第二播放设备包括两个投影仪。
12.一种生成用于三维(3D)图像中的对象渲染的归一化深度数据的方法，所述方法包括：
接收包括第一图像和第二图像的立体图像；
识别所述第一图像和所述第二图像内的至少一个特征；
计算所述至少一个特征在所述第一图像和所述第二图像之间的空间偏移，以确定3D空间中的位置；
定义所述至少一个特征在3D空间中占据的体积；
接收包括第一对象图像和第二对象图像的立体对象；
确定所述立体对象的几何形状；
计算至少一个对象空间偏移，以在避开所述体积的情况下，将所述立体对象布置在3D空间中；
将所述至少一个对象空间偏移所确定的感知深度归一化；以及
输出所述至少一个对象空间偏移的数字数据。
13.根据权利要求12所述的方法，还包括：接收所述立体图像的深度图。
14.一种用于生成输出信号的装置，包括：
(a)输入端；
(b)输出端；以及
(c)信号处理电路，其耦合到所述输入端和所述输出端，
其中，所述信号处理电路适合于：
接收至少一个对象的作为观看者距离的分数的感知深度数据；
使用所述感知深度数据计算像素分离偏移；以及
分别将所述至少一个对象的左眼对象图像和右眼对象图像插入到立体图像的左眼图像和右眼图像中，
其中，以所述像素分离偏移来偏移所述左眼对象图像和所述右眼对象图像。
15.一种记录指令的程序的存储介质，显示设备执行所述程序以执行用于生成输出信号的方法，所述方法包括：
接收至少一个对象的作为观看者距离的分数的归一化感知深度数据；
根据所述归一化感知深度数据和显示器尺寸计算所述显示设备的像素分离偏移；
将所述至少一个对象的第一对象图像插入到所述立体图像的第一图像中；以及将所述至少一个对象的第二对象图像插入到所述立体图像的第一图像中，其中，以所述像素分离偏移来偏移所述第一对象图像和第二对象图像。

说明书全文

在立体图像中以相对深度插入三维对象

[0001] 相关申请的交叉引用

[0002] 本申请要求2009年6月24日提交的美国临时专利申请第61/220,007号的优先权，其全部内容通过引用合并于此。

技术领域

[0003] 本发明涉及三维(3D)成像领域，尤其涉及用于感知深度布置的对象处理。

背景技术

[0004] 对于二维(2D)显示，可以通过视频播放设备或者通过合成软件将说明文字(captioning)(例如，字幕、隐藏式说明文字(closed-captioning)等)任意地渲染到预先存在的2D图像中。将通过遮挡(occlusion)使所插入的2D说明文字显现在预先存在的图像中的特征的前面或后面。与说明文字一起提供的辅助数据可以指定简单的2D布置位置和风格。例如，来自广播的说明文字的辅助数据可以指定滚出式(roll-up)、弹出式(pop-up)或者画上式(paint-on)说明文字。滚出式说明文字一般出现在屏幕的底部，而弹出式说明文字出现在屏幕上的任何位置。画上式说明文字使用屏幕上的预定固定块。

[0005] 然而，这些常规技术不适合预先存在的3D图像。在3D空间中对说明文字的任意渲染导致存在于背景中(例如在预先存在的特征后面)的说明文字却被渲染到前景中(例如在预先存在的特征前面)，或者相反地，存在于前景中的说明文字却被渲染到背景中。换句话说，说明文字可能通过遮挡而出现在特征前面，然而由于双眼视差而出现在同一特征后面。这种冲突搅乱人的视觉系统，这破坏了3D图像中的深度感，并且导致观看者眼睛疲劳。

[0006] 可以在后期制作期间使用对每个3D说明文字插入的人工肉眼分析(eyes-on analysis)来避免这些隐患。也就是说，由人类编辑确认每个插入的适当性。可以想象，该过程耗时、成本高、并且容易出现人为错误。人工肉眼分析对于预先记录的内容是不实用的，而对于直播则几乎是不可能的。

[0007] 此外，人工肉眼分析是针对特定显示设备尺寸进行的，而对于不同的显示设备经常产生意料之外的结果。感知深度对于像素视差(pixel disparity)是非线性的，像素视差是像素分离偏移和每个显示设备的像素分辨率的函数。因此，即使使用相同的像素分离偏移，插入的说明文字也可能出现在不希望的位置。例如，说明文字可能在不同的显示设备上显现为存在于无限远之外，导致观看者的眼睛发散。当说明文字的右眼图像和左眼图像之间的像素视差大于观看者的双眼间隔时(对于成人，双眼间隔通常大约为65毫米)，说明文字显现在无限远之外。意料之外的结果还可能包括说明文字的非法定位，诸如在观看者后面，这不可能在显示器上实现。

[0008] 从上面可以看出，通常自动定位和/或不依赖于显示设备的3D说明文字以及3D对象插入，相对于常规2D和3D技术可以提供许多优点。

发明内容

[0009] 提供用于将至少一个对象渲染到显示设备的立体图像中的方法和装置。立体图像可以包括单独被操控或合成到一起的两个图像(例如右眼图像和左眼图像)。在一个实施例中，方法包括接收该对象的作为观看者距离的分数的感知深度数据。使用感知深度计算具体显示设备的像素分离偏移。使用该像素分离偏移分别将对象的第一图像和第二图像(诸如左眼图像和右眼图像)插入到立体图像中。

[0010] 在本发明的另一实施例中，针对说明文字的至少一部分提供作为观看者距离的分数的深度数据。使用深度数据来确定说明文字的第一和第二图像之间的适当像素分离偏移，以实质上获得希望的感知深度。使用所确定的像素分离偏移将字幕的第一和第二图像插入到立体图像或图像比特流中。在具体实施例中，针对代表性显示设备(例如每毫米一个像素的分辨率，1米宽)将所提供的深度数据归一化。

[0011] 在又一实施例中，提供了一种将对象插入到立体图像中的方法。将立体图像直接或间接发送到第一播放设备(诸如移动电话、计算机、电视机、电影院投影仪等)。还将至少一个对象的作为观看者距离的分数的感知深度数据发送到第一播放设备。第一播放设备能够根据感知深度数据计算第一像素分离偏移。将该立体图像以及相同的感知深度数据直接或间接发送到第二播放设备。第二播放设备能够根据感知深度数据计算第二像素分离偏移。在第一和第二播放设备具有不同的屏幕宽度尺寸或像素分辨率的情况下，则第一像素分离偏移不等于第二像素分离偏移。

[0012] 在本发明的另一实施例中，提供一种生成用于3D立体图像中的对象渲染的归一化深度数据的方法。该方法包括例如通过分割来识别立体图像中的特征。针对该特征确定立体图像中的空间偏移(例如像素分离偏移)。可以可选地使用多个空间偏移来形成立体图像的视差图。空间偏移与感知深度相关，因此可以确定特征在3D空间中的位置和所占据的体积。该方法还包括确定要插入到立体图像中的立体对象图像的几何形状。计算一个或更多个对象空间偏移，以在避开所占据的体积并且满足任意其它布置限制的情况下，在3D空间中布置立体对象。可以将所计算的一个或更多个对象空间偏移中的每个归一化，以使其不依赖于显示设备，并且将其表示为其相应的作为观看者距离的分数的感知深度。可以输出每个感知深度的数据流。在具体实施例中，还使用立体图像的深度图来更精确地调整感知深度，相应地调整特征的位置和所占据的体积。

[0013] 在本发明的另一实施例中，一种用于生成输出信号的装置包括输入端、输出端以及耦合到输入端和输出端的信号处理电路。信号处理电路适合于接收至少一个对象的作为观看者距离的分数的感知深度数据，以及计算合适的像素分离偏移。信号处理电路分别将至少一个对象的左眼对象图像和右眼对象图像插入到立体图像的左眼图像和右眼图像中。以该像素分离偏移来偏移左眼对象图像和右眼对象图像。

[0014] 在本发明的另一实施例中，一种生成用于对象渲染的深度数据的装置包括输入端、输出端以及耦合到输入端和输出端的信号处理电路。信号处理电路适合于识别立体图像内的特征，以及确定特征的空间偏移。信号处理电路可以可选地使用空间偏移，以形成视差图。信号处理电路还适合于确定要插入到立体图像中的立体对象图像的几何形状，以及计算一个或更多个对象空间偏移，以在避开所占据的体积以及满足任意其它布置限制的情况下，在3D空间中布置立体对象。可以将所计算的一个或更多个对象空间偏移中的每个归一化，以使其不依赖于显示设备，并且将其表示为相应的作为观看者距离的分数的感知深度。可以通过输出端输出每个感知深度的数据流。

[0015] 作为本发明的另一实施例，提供一种记录指令的程序的存储介质。能够由显示设备执行该程序，以执行用于生成输出的方法。该方法包括：接收至少一个对象的作为观看者距离的分数的归一化感知深度数据。根据归一化感知深度数据和显示器尺寸，针对该显示设备计算像素分离偏移。将该至少一个对象的第一和第二对象图像插入到立体图像的第一和第二图像中。以该像素分离偏移来偏移第一和第二对象图像。显示设备视觉输出该立体图像和所插入的对象。

[0016] 参考下面的详细描述和附图，可以更充分地理解本发明的各种附加目的、特征和优点。

附图说明

[0017] 通过结合附图参考下面的详细描述将更好地理解本发明及其许多优点，因此将容易获得对本发明及其许多优点的更完全的理解，在附图中：

[0018] 图1示出根据本发明实施例的3D定位布局；

[0019] 图2A作为示例示出图像视差与双眼间隔之间的三角关系；

[0020] 图2B示出根据本发明实施例的对于示例性7米宽显示器的作为像素视差的函数的感知深度；

[0021] 图3示出根据本发明实施例的针对归一化屏幕的3D定位布局；

[0022] 图4示出根据本发明实施例的3D对象布置的简化流程图；

[0023] 图5A-5F示出根据本发明实施例的3D对象布置的简化流程图的示例性结果；

[0024] 图6A-6B示出深度图及其与分割视差图的组合；以及

[0025] 图7示出根据本发明实施例的3D投影仪系统的简化图。

具体实施方式

[0026] 下面的描述和附图是对本发明的说明，而不构成对本发明的限制。描述了大量具体细节以提供对本发明的全面理解。然而，在特定实例中，不描述公知或常规细节，以避免模糊对本发明的描述。对本公开中的一个或一实施例的引用不一定是对同一实施例的引用；这种引用意为对至少一个实施例的引用。

[0027] 图1示出根据本发明实施例的3D定位系统100。使用位置数据来确定在将对象渲染到目标3D图像中时，将对象放置在什么位置。对象可以包括下列对象中的任意对象：字幕文本、隐藏式说明文字、屏幕上信息条、滚动新闻带(news sticker)、电视节目指南、记分牌、屏幕上播放设备控制(可选地显示的触摸屏控制)、频道标志覆盖、抬头显示(HUD)信息或其它图形对象。为了允许播放期间的设备无关性，使用百分比定位系统。将3D空间中的位置表示为屏幕宽度(x轴)、屏幕高度(y轴)和观看者与屏幕的距离(z轴)的百分比。

[0028] 例如，在2048像素宽的图像中在左眼图像和右眼图像之间具有19个像素的x轴正视差的立体对象，表示图像宽度的大约0.927％(19/2048)。作为示例，结果是该立体对象显现在屏幕平面的前面，观看者和屏幕的中间(例如观看者与屏幕平面的距离的大约50％)。现在，对于7米宽的屏幕，根据本发明实施例，可以按照屏幕宽度的0.927％，64.94毫米(7米＊0.927％)或者大约27个像素(假设1998像素水平宽度)，来分离该立体对象。如由图2A的三角关系和图2B中的点201所证实的，这再次使得该立体对象显现在大约观看者和屏幕的中间。相比之下，7米宽的屏幕上的19正像素视差(表示屏幕宽度的
0.951％(19/1998))使得感知深度显著地更接近屏幕平面，如图2B中的点203所示。

[0029] 从上面的示例可以看出，按比例定位对于不同设备保持深度感知，而绝对像素视差则不然。希望的是z轴上的感知深度与显示设备尺寸无关地保持恒定。换句话说，当从不同的播放设备观看时，虽然像素视差可能明显改变，但是3D图像应当是一致的。实际上，从一个播放设备到另一个播放设备，像素视差的改变一般是非线性的。

[0030] 因为3D定位系统100中的观看者距离可能显著变化，因此感知深度的设备无关性是有利的。例如，对于手持设备(例如蜂窝式电话、个人数字助理(PDA)、便携式媒体播放器-Apple的视频iPod等)，观看者距离的范围可以从大约15厘米到大约1米。对于膝上型计算机、台式计算机、电视机和游乐场游戏(arcade game)显示器，观看者距离可能增加到大约0.5米到大约5米。在公共场所，对于电影院投影仪、体育场显示器和广告牌，观看者距离的范围可以从大约3米到大约100米或更远。因此，播放设备的显示器大小基于预期的观看者距离而有很大的变化。一个播放设备的屏幕宽度与另一个播放设备相比可能更大、大5倍、大10倍、或者大100倍或更多。

[0031] 根据本发明的实施例，可以将z轴上的位置值(深度)定义为观看者与屏幕平面间的距离的百分比Zpv。以这种方式，位置深度值可以是设备无关的。例如，返回参考图1，与绝对观看者位置或显示器尺寸无关地，+50％(点101)处的第一对象总是被感知为在观看者和屏幕平面的中间。在0％(点103)和-50％(点105)处和的第二和第三对象分别总是在第一对象距离的两倍距离(在屏幕平面上)和三倍距离(在屏幕平面后面)。将一个播放设备与另一个播放设备相比，当观看者移动得更接近屏幕平面时，绝对地说，对象将显现为与她更接近。当她移动得远离屏幕平面时，对象显现得远离。然而，重要的是，对象将显现在观看者距离的相同比例处。

[0032] 在特定实施例中，为了将Zpv转换成对于播放设备可使用的值，知道或传送了所采用的用于深度布置的显示设备的物理屏幕宽度ws。换句话说，播放设备将接收至少x、y、Zpv和ws值作为位置数据。使用所提供的信息，播放设备能够针对其自己的显示器尺寸计算适当的x轴上的像素视差，以获得感知深度Zpv。

[0033] 在另一实施例中，可以使用归一化的1米屏幕宽度，诸如每个像素分辨率1毫米的1000像素宽的屏幕。归一化提供如下优点：播放设备仅需要知道其自己的屏幕宽度，以在某一深度适当地渲染对象，并且合成软件可以使用归一化的屏幕宽度来进行虚拟渲染(例如不使用物理屏幕来进行对象深度决定)。也就是说，由于先验地知道ws值，因此不需要传送ws值。

[0034] 应当理解，Zpv的该数值表示可能产生超出特定播放设备(主要是小型低分辨率的遗留设备)的能力的值。例如，移动电话视频显示器可能小至26毫米宽(或者甚至更小)，因此其局限于+29％的最大深度。现今的播放设备提供具有大大提高的分辨率的更大的显示器大小，并且能够以更大的深度进行渲染-然而，这些设备仍然不能实现+100％的观看者距离。因为+100％深度几乎总是不希望的，因此这种局限性不是实际障碍。被布置得非常接近观看者的对象的像素视差使得观看者难以聚焦在对象上并会聚该对象。

[0035] 另外，观看者距离的百分比Zpv的数值表示不足以表示无限远平面处或超出无限远平面的深度。通过理解当观看者的眼睛的视觉轴平行时对象将显现在无限远处，可以克服这种不足。因此，可以将无限远平面指定为在双眼间隔的负值(对于成人，大约为-65毫米)处或附近。对于归一化的1像素/毫米屏幕，可以将无限远平面建立为具有-65像素或大约-65像素的像素分离偏移。

[0036] 使用如图3所示的用于归一化屏幕的3D定位布局300，在被提供了3个位置值：作为屏幕宽度的百分比的x、作为屏幕高度的百分比的y和作为感知的归一化深度的百分比的zn时，播放或合成设备能够适当地将诸如说明文字的对象插入到3D图像中。然后，至少可以如下(但不限于此)计算归一化的像素分离偏移Sp：

[0037] 其中，0≤zn＜100(即，对象朝向观看者位置位于屏幕平面前面或屏幕平面上)；以及

[0038] Sp＝0.65zn其中，zn＜0(即，对象远离观看者位置位于屏幕平面后面)。

[0039] 归一化的像素分离偏移允许不依赖于显示器大小或观看者距离地在3D空间中关于观看者的感知深度进行对象布置。播放设备可以使用例如作为比特流中的元数据被接收到的归一化的像素分离偏移(Sp)，通过使用其自己的像素间距的因子进行调整，来计算设备特定像素分离偏移(Sd)。在该示例中，如果播放设备的像素间距是0.5毫米，而不是归一化屏幕的1毫米，则Sd＝Sp/0.5。

[0040] 图4示出了根据本发明实施例的例如由合成设备进行的3D对象布置的简化流程图400。在步骤401中，接收预先存在的立体图像、目标图像。在步骤403中标识图像的特征的位置和范围，这例如可以通过对每个立体图像对(例如左眼图像和右眼图像)进行分割分析来实现。分割分析按照颜色分离每个特征(例如图像中的预先存在的对象)，然后对每个不同的区域施加边界，以形成分割图。

[0041] 接下来，在步骤405中，针对特征确定空间偏移。这可以通过将左眼图像的分割图与右眼图像进行比较来完成。左眼图像和右眼图像的分割图类似，相应地，该对的一个图中的特征或部分形状自然与其互补图像中的具有类似形状和位置的特征或部分相关。可以比较这一对图，以确定该对中的互补特征之间的x轴空间偏移。

[0042] 在可选步骤407中使用这些空间偏移以产生合法图(legal map)。合法图定义用于对象布置可用3D体积。也就是说，合法图指示未被特征占据的体积。可以在要被布置到目标图像中的对象的整个持续期间动态地更新该合法图。

[0043] 在步骤409和411中，接收要布置的对象，并且确定用于定义边界限制的几何形状。在简单情况下，如下面针对图5F讨论的，可以由围绕整个对象的具有任意需要的间隙(例如对象与目标图像中的任意特征之间的最小距离)的简单的边界框来定义对象几何形状。在复杂情况下，对象几何形状可能需要比简单边界框更严格的定义。例如，如下面针对图5E讨论的，可以由针对每个字符成形的边界框来表征对象几何形状。

[0044] 接下来，在图4的步骤413中，按照简单布置规则将对象布置在3D体积中，优选将简单布置规则设计为使人的视觉系统的疲劳最小化。简单布置规则通常具有如下属性中的一个或更多个：没有与原始图像中的特征的冲突；对象总是在前面(或者，对象总是在后面)；简单的对象几何形状；文本或对象大小；深度最大值和最小值；以及静态布置。

[0045] 简单布置规则可以是原点和分级选项的集合。例如，对于要作为屏幕平面上的中心屏幕的对象的简单布置规则可以是：

[0046] 原点：0：x＝0y＝0z＝0

[0047] 选项：1：x＝-20

[0048] 2：x＝+20

[0049] 3：x＜0

[0050] 4：x＞0

[0051] 5：0＜z≤50

[0052] 5a：x＜0

[0053] 5b：x＞0

[0054] 6：错误

[0055] 如果位置x＝0、y＝0、z＝0不可用，则优选左20％，之后为右20％、左边任意位置、右边任意位置、前面任意位置直到最大50％，然后转到左边，最后转到右边。如果这些优选位置都不可用，则可以返回错误。

[0056] 在步骤415中，代替步骤413或除了步骤413之外，可选地按照复杂布置规则。复杂布置规则可以包含动态改变，以允许对象基于原始图像中的特征的运动而运动。复杂布置通常需要比简单边界框更严格的定义，因此经常使用复杂对象几何形状。实际上，在复杂布置中，由于对象的变形以满足复杂布置偏好，对象几何形状可能与原始的不同，如下面要讨论的图5F所示。

[0057] 可以将复杂布置概括为具有以下属性中的一个或更多个：动态规则；允许与原始图像中的对象冲突；允许遮挡；复杂对象几何形状；以及动态布置。复杂布置的一个示例是看上去从(i)原始图像中的特征后面到(ii)该特征前面且更接近观看者地移动的动态图形对象。在该示例中，动态图形对象正在进行动态缩放、旋转和移动，而对象几何形状也是动态的。其最初与场景中的原始特征冲突，并且被该原始特征遮挡，然后其避开并且遮挡该原始特征。

[0058] 最后，在图4的步骤417中，可以输出反映对象的布置的位置值。可以将位置值表示为屏幕宽度的百分比、屏幕高度的百分比和感知深度的百分比。可以针对代表性显示设备将感知深度的百分比归一化。在具体实施例中，代表性显示设备的特征在于具有1毫米每像素宽度分辨率的归一化的1000像素宽的屏幕。

[0059] 应当理解，这里描述的流程图400仅仅用于说明的目的，本领域技术人员可以根据其想到各种变型或改变。在可选实施方式中，流程图400中注明的步骤可以以图4中注明的顺序之外的顺序进行，可以包括附加步骤，和/或可以将一些步骤一起省略。例如，实际上，可以按顺序执行、同时执行或按照相反顺序执行步骤401和409。所有这些变型和变化旨在被包括在本公开的范围内。

[0060] 图5A-5F示出了根据本发明实施例的3D对象布置的上述简化流程图400的示例性结果。图5A示出了可以在步骤401中接收到的预先存在的立体图像的左眼图像和右眼图像。在图5B中示出了在步骤403中描述的分割图，在图5C中将该分割图重叠以示出两者之间的分离视差。如果利用简单几何形状，则与步骤411相对应，在图5D中示出了具有简单边界限制、单个框的“文本对象”。作为比较，图5E示出了具有复杂对象几何形状的同一“文本对象”，其中针对每个字符严格地定义边界限制。对于步骤415，如果使用复杂布置和复杂几何形状两者，则“文本对象”可以变形，并且展现如图5F中所指示的运动属性。

[0061] 虽然未在流程图400中示出，但是例如由合成设备进行的3D对象布置还可以包括根据本发明实施例的对深度图的使用。由于深度图基于空间偏移分析更精确地定义对象的3D形状，因此深度图可以针对预先存在的图像中的特征，尤其是针对多视点3D图像(例如polyscopic图像)，细化对深度的确定。图6A是图4A的立体图像对的深度图600的示例。
深度图600是单色的，并且通过亮度来表示深度。高亮度是正z，朝向观看者，而低亮度是负z，远离观看者。深度图还可以包括相关联的“置信”值，置信值定义图像的每个部分中的测量深度的准确度。可以将深度图600本身与其置信值作为因子考虑到对象布置的规则中，以提高避免插入的对象和原始图像中的特征之间的冲突的可能性。

[0062] 图6B示出了分割分析与深度图600的组合使用。如上所述，深度图600提供改进的3D形状确定；然而，分割视差图更准确地定义原始图像中的特征的感知深度。因此，将分割视差和深度图两者组合以对原始3D图像进行高级分析是有利的。其结果是在分割的边界内，形状由深度图来定义。事实上，显著提高了深度图的置信值。

[0063] 在本发明的另一实施例中，播放设备或合成设备应用归一化深度技术来针对舒适观看深度范围调整已有立体图像。换句话说，针对显示器大小以及个人喜好(例如立体艺术家或者播放设备端用户的喜好)调整屏幕平面前面和后面的可用深度。尽管舒适观看深度范围是个人喜好，但是适当的合理规则集合如下：

[0064] (i)非常大的屏幕(例如电影院/I-Max)。全部可利用深度在前面，其中，无限远在屏幕平面上，而最大正深度是观看者距离的60％。

[0065] (ii)大屏幕(例如电影院)。屏幕平面前面的可利用深度比后面更多(例如大约前面2/3的深度，后面1/3的深度)。

[0066] (iii)小屏幕(例如电视机、家庭投影剧场)。屏幕平面后面的可利用深度比前面更多(例如大约前面1/3的深度，后面2/3的深度)。

[0067] (iv)非常小的屏幕(例如蜂窝式电话显示器或便携式电视机)。无限远位于屏幕平面后面尽可能远，屏幕前面没有正深度。

[0068] 作为用于说明上述规则的示例，假设使用无限远点Zni＝-100掌握了原始立体图像，而最大正深度是Zn＝-40(使得场景的总深度为Z＝|Zni-Zni|＝60)，则校正后的无限远的深度位置Zci如下：

[0069] (i)非常大的屏幕。Zci＝Zni+100；无限远在屏幕平面上，相对屏幕超过观看者距离的60％的最大对象偏离。

[0070] (ii)大屏幕。Zci＝Zni+80；无限远在屏幕平面后面20％，相对屏幕超过观看者距离的40％的最大对象偏离。

[0071] (iii)小屏幕。Zci＝Zni+60；无限远在屏幕平面后面40％，相对屏幕超过观看者距离的20％的最大对象偏离。

[0072] (iv)非常小的屏幕。Zci＝Zni+40；无限远在屏幕平面后面60％，没有相对于屏幕的对象偏离。

[0073] 调整立体图像的设备可以使用以下的一个或更多个：元数据中的归一化深度值、指示要调整的图像的标志、以及描述多个预定大小的显示器的希望的调整偏移的附加元数据。对于未包含在这些预定大小中的显示器大小，设备可以使用最接近的预定大小来内插中间调整偏移值(例如，元数据指定的加权比例、求平均、求平均并取整、或者显式加权)，或者简单地使用与最接近的预定大小相关联的值。当使用这种调整技术时，应当完整地提供过扫描(over-scan)的左眼图像和右眼图像。过扫描应当足以允许在调整偏移值的两个极值点(例如希望的播放设备的最小和最大屏幕)处的调整。

[0074] 另外，可以使用上述对已有立体图像的调整，来校正立体图像捕获中的不足。例如，当拍摄会聚时，两个照相机的成像平面相对于彼此成角度，并且会聚在所关注的对象上。因此，会聚点取决于输入照相机的物理布置，但是播放对象与观看者的距离仍然是依赖于屏幕的。可以在后期制作中通过相对于彼此水平地偏移左图像和右图像来调整会聚性。

[0075] 作为本发明的另一实施例，提供记录程序指令的存储介质。存储介质可以是如下介质中的至少之一：随机存取存储器(RAM)、SDRAM、只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘(例如CD-ROM、CD-RW、DVD、DVD-RW、蓝光盘、超致密光(UDO)盘、压缩盘等)、磁介质(例如磁带、软盘、硬盘驱动器等)、纸带(例如穿孔卡片)、全息照相存储器和分子存储器。显示设备可以执行程序以执行用于生成视觉输出的方法。该方法包括：接收针对至少一个对象的作为观看者距离的分数的归一化感知深度数据。根据归一化感知深度数据，计算针对显示设备的尺寸的像素分离偏移。将至少一个对象中的第一和第二对象图像插入到立体图像的第一和第二图像中。第一和第二对象图像被偏移该像素分离偏移。显示设备可视地输出立体图像和所插入的对象。

[0076] 图7示出了根据本发明实施例的3D双投影仪系统700的简化图。系统700进行立体投影的技术可以包括如下技术的任何技术：

[0077] (i)立体技术(Anaglyph)-通过两个滤色器，通常针对一只眼为红色、针对另一只眼为青色，来完成左眼通道图像和右眼通道图像分离。需要的眼睛佩戴物包括针对一只眼的第一滤波器(例如红色滤波器)和正对另一只眼的第二滤波器(例如青色滤波器)。

[0078] (ii)线偏振-在投影仪处通过经由竖直取向的线性偏振器过滤一个眼睛的图像而经由水平取向的线性偏振器过滤另一个眼睛的图像来完成左眼通道图像和右眼通道图像的分离。需要的眼睛佩戴物包括用于一只眼的竖直取向的线性偏振器和用于另一只眼的水平取向的偏振器。

[0079] (iii)圆偏振-在投影仪处通过经由左手圆偏振器过滤一个眼睛的图像而经由右手圆偏振器过滤另一个眼睛的图像来完成左眼通道图像和右眼通道图像的分离。需要的眼睛佩戴物包括用于一只眼的左手圆偏振器和用于另一只眼的右手圆偏振器。

[0080] (iv)光闸眼镜-通过对图像进行分时复用来完成左眼通道图像和右眼通道图像的分离。需要的眼睛佩戴物包括与投影仪的帧速率同步地电开合透镜的光闸眼镜。通常使用无线或红外信号来提供对光闸眼镜的定时基准。

[0081] (v)光谱分离-在投影仪处通过进行光谱滤波来完成左眼通道图像和右眼通道图像的分离。针对左眼图像和右眼图像的滤波器各自通过红、绿和蓝光谱中的一部分，从而提供全色图像。左眼滤波器的带通光谱与右眼滤波器的带通光谱互补。需要的眼睛佩戴物包括具有与投影仪所使用的总体光谱特性相同的总体光谱特性的滤波器。

[0082] 在系统700中，服务器703根据存储在盘驱动器701上(或者通过适当的网络或传输接收而接收到)的数据，得出左眼通道图像和右眼通道图像，对左眼通道图像和右眼通道图像进行解码、检索或重构。类似地，可以将要插入到左眼通道图像和右眼通道图像中的立体对象以及其比例位置值存储在盘驱动器701上(或者通过适当的网络或传输接收而接收)。服务器703基于一个或更多个比例位置值(诸如接收到的归一化深度)计算对象的像素分离偏移，并且将对象以该偏移插入到通道图像中。

[0083] 在插入之后，将左眼通道图像和右眼通道图像从左通道投影仪705和右通道投影仪706投影到屏幕709上，以用于通过3D眼镜711观看。如果3D投影仪系统700利用线性或圆形偏振用于左眼图像和右眼图像通道的分离，则屏幕709保留偏振。因为可用作屏幕709的偏振保留型屏幕的独特颜色，通常将其称为“银幕”。

[0084] 将上述系统700描述为了双投影仪系统(一个用于左眼，一个用于右眼)；然而，可以使用单个D电影院投影仪(例如数字投影仪)。在可选的单D电影院投影仪系统中，左眼通道图像和右眼通道图像是时间复用的。除了不需要投影滤波器的光闸眼镜的情况之外，这意味着投影滤波器必须以左/右复用频率进行改变。这可以通过与复用频率同步的D电影院投影仪中的滤波器轮，或者使用电开关的滤波器来进行。

[0085] 应当理解，盘驱动器701、适当的网络(例如因特网、WAN、LAN、WiFi、光纤、视频线缆、卫星广播等)或者多个适当的网络可以各自串行地、同步地或者在需要时向多个播放设备提供诸如比例位置数据的相同数据。各种播放设备的显示尺寸可以不同，并且对于本发明的某些实施例可能是非常显著的。例如，具有内置显示器的蜂窝式电话可以接收与大得多的家用电视机相同的图像和对象插入数据，并且不管大小差异，通过适当地调整像素分离偏移，仍然获得相同的显示结果。

[0086] 本发明可以适当地包括这里描述的任意元素(本发明的各个部分或特征)及其等同物，由其构成，或实质上由其构成。此外，可以在没有任意元素(不管是否在这里具体公开)的情况下实施在此说明性地公开的本发明。按照上述教导，可以对本发明进行大量变型和变化。因此，应当理解，在所附权利要求的范围内，可以以除了这里具体描述的方式之外的方式实施本发明。

标题	发布/更新时间	阅读量
建立电气连接的方法及电气连接器	2021-04-10	1
基于无线传感器网络的电子标签系统的便携式手持设备	2022-01-16	1
一种NFC芯片中零功耗的精确场强检测方法和电路	2020-08-05	0
一种解决显示屏显示异常的方法及系统	2021-05-17	1
HAND HELD APPLIANCE	2020-08-29	0
Methods and systems for interacting with printed articles, such as posters	2022-04-24	1
PROTECTION COVER ALLOWING HANDHELD DEVICE TO REVERSELY DISCHARGE	2021-05-19	0
Managing Medical Case Chronology Data	2021-11-17	1
HAND-HELD DEVICE HOLDER	2020-08-03	1
WIRELESS GAMING ENVIRONMENT	2023-04-05	0

在立体图像中以相对深度插入三维对象

在立体图像中以相对深度插入三维对象

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：