带有深度的低复杂度多层图像
| 热词 | 位移 深度 图像 绘制 解码 粗略 生成 编码 数据 3d | ||
| 专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; |
| 专利有效性 | 实质审查 | 当前状态 | 实质审查 |
| 申请号 | CN202280031452.9 | 申请日 | 2022-04-25 |
| 公开(公告)号 | CN117242769A | 公开(公告)日 | 2023-12-15 |
| 申请人 | 皇家飞利浦有限公司; | 申请人类型 | 企业 |
| 发明人 | B·克龙; | 第一发明人 | B·克龙 |
| 权利人 | 皇家飞利浦有限公司 | 权利人类型 | 企业 |
| 当前权利人 | 皇家飞利浦有限公司 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份： | 城市 | 当前专利权人所在城市： |
| 具体地址 | 当前专利权人所在详细地址：荷兰艾恩德霍芬 | 邮编 | 当前专利权人邮编： |
| 主IPC国际分类 | H04N13/275 | 所有IPC国际分类 | H04N13/275 |
| 专利引用数量 | 0 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 15 | 专利文献类型 | A |
| 专利代理机构 | 永新专利商标代理有限公司 | 专利代理人 | 寇锐; |
| 摘要 | 本 发明 提供一种用于生成多层图像的方法。所述方法包括接收场景的三维3D源数据，以及生成在虚拟3D场景中不同深度处的多个层，其中,每个层对应于相对于原点的特定层深度值。基于所述3D源数据，生成针对每个层的图像数据，其中，所述图像数据包括纹理数据和透明度数据，并且基于所述3D源数据和所述层的所述深度值，生成针对所述层的位移图。所述位移图定义对应层上不同的点相对于所述层深度的深度，其中，所述位移图的生成被限制为使得如由任意位移图定义的深度表面不与所述虚拟3D场景中的任意其他深度表面相交。深度表面被定义为位移图到所述对应层上的映射。 | ||
| 权利要求 | 1.一种用于生成多层图像(310)的方法，所述方法包括： |
||
| 说明书全文 | 带有深度的低复杂度多层图像技术领域[0001] 本发明涉及多层图像。本发明尤其涉及多层图像的生成和绘制。 背景技术[0002] 多平面图像(MPI)是针对沉浸式视频的多视角及深度(MVD)格式的潜在替代方案。比较两种格式的典型绘制误差，MVD受物体边界上的噪声的困扰而MPI常常模糊视窗。 [0003] 多平面图像(MPI)由多重表面定义。取代一组平面，也有可能是一组球面(洋葱环)或任意其他类型的表面。球面对于全向内容而言是有用的，例如，三自由度加(3DoF+)。因此，针对本申请术语“多平面图像”将被一般化为“多层图像”。 [0004] MVD类型的误差是由像素具有单一深度值的假设导致的。这在物体边缘以及对于半透明物体而言并不是真实的。深度编码噪声放大了该问题。为了对此进行补偿，需要使视点更紧密间距，而这增大了比特率和像素率，因此增加了创建位流的处理成本(例如，更多硬件)。 [0005] MPI类型的误差是由未与图像平面重合的物体表面导致的。为了对此进行补偿，需要使层更紧密间距，而这增大了比特率和像素率，因此增加了创建位流的处理成本(例如，更多硬件)。 [0007] 因此，存在着对于一种图像格式的需要，该图像格式减少了两种类型的误差，同时还降低了用于绘制它们的计算能力。 发明内容[0009] 根据与本发明的一方面相一致的范例，提供一种用于生成多层图像的方法，所述方法包括： [0010] 接收场景的三维3D源数据； [0011] 生成虚拟3D场景中不同深度处的多个层,其中，每个层对应于相对于原点的特定层深度值； [0012] 基于所述3D源数据来生成每个层的图像数据，其中，所述图像数据包括纹理数据和透明度数据；以及 [0013] 基于所述3D源数据和所述层的所述深度值来生成针对所述层的位移图，所述位移图定义对应层上不同的点相对于所述层深度的深度，其中： [0014] 所述位移图的生成被限制为使得如由任意位移图定义的深度表面不与所述虚拟3D场景中的任意其他深度表面相交，其中，深度表面被定义为位移图到对应层上的映射。 [0015] 多层图像(无位移图)经受由于物体表面未与任意层的深度值重合而导致的模糊。可以增加更多的层，但这是以计算和/或时间成本为代价的。可以通过使层上具有位移图来给这些层增加深度，所述位移图定义了层上每个点(相对于层深度值)的深度。 [0016] 然而，给每个层增加额外的深度可能造成层相交，这显著增加了用于绘制多层图像所需要的计算资源，并且有可能造成最终图像中的伪影。在绘制单个多层图像时，或者在预绘制多层视频时，解码和绘制所占的时间和资源通常无关紧要。然而，为了实况广播3D多层视频，优选地使3D视频与其2D对应物同步。 [0017] 本发明部分基于对于一些绘制算法较之其他更快的认识。发明人已观看到，较快的绘制算法通常假设层(在被投影到视窗时)不相交。该假设隐含着这些算法通常用于绘制没有位移图的多层图像。例如，所谓的画家算法可以被用于绘制具有位移图的多层图像/视频，只要层不相交。 [0019] 将位移图映射到对应层可以包括，例如，当层为平面时，从原点到对应层的平移。此外，如果位移图已被归一化，则其可能需要被拉伸。 [0020] 所述方法还可以包括生成针对具有对应位移图的深度表面的最大深度值和最小深度值，其中，所述位移图的生成还被限制为使得第一深度表面的最大深度值与相邻第二深度表面的最小深度值之间的差大于或等于预定裕度。 [0021] 编码视频是有用的，因为其使需要被传输的数据的量得以最小化。然而，对数据的后续解码并不保证经解码的数据会与初始(预解码)数据完全相同。因此，通过在每层之间留有裕度，保证即使在一些编码/解码误差后，经解码的层也不相交。 [0022] 所述裕度可以是，例如，(没有位移图的)每层之间的距离的至少1％。确切距离可以取决于所用的编码/解码算法以及针对这些算法对应的误差裕度。 [0023] 所述方法还可以包括确定来自原点的视线与垂直于深度表面的法向量之间的多个第一角度，其中，位移图的所述生成还被限制为使得所述第一角度小于或等于第一预定角度。 [0024] 当具有额外深度的层的表面(即，深度表面)的法向量与视线(来自原点的直线)形成大角度时，所述层自身在其被绘制时拉伸，这降低了经绘制的多层图像的质量。这通常是由于像素(所述层上的点)具有单一深度值的假设导致的。此外，具有大角度的表面在从原点被观看时，在短的空间里包含大量数据。 [0025] 如果深度表面具有高“深度梯度”(即，深度在短的空间里显著改变)，则像素之间深度上的差异大。这可以通过在视线与被映射到层上的位移图的表面的法向量之间的角度(第一角度)来测量。因此，(绘制时的)拉伸可以通过限制该角度(第一角度)而得以限制。 [0026] 所述第一预定角度可以被限制为最大70度。优选地，所述第一预定角度最多为60度。 [0027] 所述方法还可以包括确定来自观看空间的视线与垂直于具有对应位移图的深度表面的法向量之间的多个第二角度，其中，所述观看空间定义能够从其观看所述多层图像的空间，并且其中，所述位移图的生成还被限制为使得所述第二角度小于或等于第二预定角度。 [0028] 类似于针对限制所述第一角度的理由，限制所述“第二角度”减小了在绘制多层图像时的拉伸效应。然而，在第二角度的情况里，考虑了观看空间，其定义观看者能够从其观看所述多层图像的空间。 [0029] 换言之，所有角度都被视为来自能够从其观看所述多层图像的所有的点(不仅仅是原点)。通过限制来自观看空间中任意点的第二角度，所述多层图像不会(在具有高深度梯度的点处)变得从能够从其观看该多层图像的任意点被拉伸(同时满足不交叉的要求)。 [0030] 位移图的生成还可以被限制为使得在由所述位移图定义的所述深度表面上任意点处的曲率小于或等于预定曲率值。 [0031] 表面的曲率(即，表面的二阶导数)定义表面从为一平面而偏离的量。针对2D曲线，范例为圆的2D曲率，圆具有等于其半径的倒数的曲率。较小的圆弯曲得更厉害，并因此具有更大的曲率。 [0032] 因此，针对多层图像，限制位移图的曲率以避免深度的急剧变化是有利的。此外，具有相对较小曲率的表面更为平滑，并因此通常更容易绘制。 [0033] 位移图的生成可以包括： [0034] 基于所述3D源数据生成粗略位移图，其中，所述粗略位移图的生成不受限制； [0035] 编码所述粗略位移图； [0036] 解码经编码的粗略位移图；以及 [0037] 基于经解码的粗略位移图和一组限制来生成重建滤波器，其中，所述位移图基于所述粗略位移图和所述重建滤波器。 [0038] 编码和解码数据可能导致初始(预编码)与最终(解码后)数据之间的轻微变化。因此，被应用于生成位移图预编码的限制(即，非交叉层、层之间的裕度、角度限制和/或曲率限制)可以不应用于被解码后的位移图。 [0039] 因此，了解编码和解码会如何改变粗略位移图(没有任何限制)并然后生成重建滤波器是有利的，该重建滤波器在被应用于经解码的粗略位移图时，应用限制。 [0040] 所述方法还可以包括基于针对层的所述图像数据，将该层分成多个子层，其中，位移图是基于对应于子层的所述图像数据，针对该子层生成的。 [0041] 例如，层的一些区域可以是完全透明的，并且因此可以不需要在这些区域上生成位移图。因此，可以基于图像数据(即，纹理数据和透明度数据)将层分成子层，并且可以针对子层而不是针对整个层生成位移图。此外，可以对每个子层的位移图应用不同的限制。这给了编码器更多空间来优化对内容的呈现，而不增加解码或绘制复杂度。 [0042] 本发明还提供一种用于绘制多层图像的方法，所述方法包括： [0043] 获得适用于生成多层图像的多个层、多个位移图和图像数据； [0044] 获得对限制的指示，其中，所述对限制的指示包括涉及利用其生成位移图的限制的信息，并且其中，对限制的指示表示(signal)由任意位移图定义的深度表面不与虚拟3D场景中的任意其他深度表面相交，其中，深度表面被定义为位移图到对应层上的映射； [0045] 基于对限制的指示来确定绘制方法；以及 [0046] 使用所确定的绘制方法，基于所述层、所述位移图和所述图像数据来绘制所述多层图像。 [0047] 获得位移图可以基于获得没有限制而生成的对应于位移图的粗略位移图，获得重建滤波器，以及将所述重建滤波器应用于所述粗略位移图。 [0048] 本发明还提供一种包括计算机程序代码装置的计算机程序产品，当所述计算机程序代码产品在具有处理系统的计算设备上被运行时，引起所述处理系统执行用于生成和/或绘制所述多层图像的所述方法的所有步骤。 [0049] 本发明还提供一种用于生成多层图像的系统，所述系统包括处理器，所述处理器被配置为： [0050] 接收场景的三维3D源数据； [0051] 生成虚拟3D场景中不同深度处的多个层，其中，每个层对应于相对于原点的特定层深度值； [0052] 基于所述3D源数据来生成针对每个层的图像数据，其中，所述图像数据包括纹理数据和透明度数据；以及 [0053] 基于所述3D源数据和所述层的深度值来生成针对所述层的位移图，所述位移图定义对应层上不同的点相对于所述层深度的深度，其中： [0054] 所述位移图的生成被限制为使得由任意位移图定义的深度表面不与所述虚拟3D场景中的任意其他深度表面相交，其中，深度表面被定义为位移图到对应层上的映射。 [0055] 所述处理器还可以被配置为生成针对具有对应的位移图的深度表面的最大深度值和最小深度值，其中，所述位移图的生成还被限制为使得第一深度表面的最大深度值与相邻第二深度表面的最小深度值之间的差大于或等于预定裕度。 [0056] 所述处理器还可以被配置为确定来自原点的视线与垂直于深度表面的法向量之间的多个第一角度，其中，位移图的生成还被限制为使得所述第一角度小于或等于第一预定角度。 [0057] 所述处理器还可以被配置为确定来自观看空间的视线与垂直于具有对应位移图的深度表面的法向量之间的多个第二角度，其中，所述观看空间定义能够从其观看所述多层图像的空间，并且其中，所述位移图的所述生成还被限制为使得所述第二角度小于或等于第二预定角度。 [0058] 位移图的生成还可以被限制为使得在由所述位移图定义的所述深度表面上任意点处的曲率小于或等于预定曲率值。 [0059] 所述处理器还可以被配置为通过以下步骤生成位移图： [0060] 基于所述3D源数据来生成粗略位移图，其中，所述粗略位移图的生成不受限制； [0061] 编码所述粗略位移图； [0062] 解码经编码的粗略位移图；以及 [0063] 基于经解码的粗略位移图和一组限制来生成重建滤波器，其中，所述位移图包括所述粗略位移图和所述重建滤波器。 [0064] 所述处理器还可以被配置为基于针对层的图像数据将层分成多个子层，其中，位移图是基于对应于子层的所述图像数据，针对该子层生成的。 [0066] 为了更好地理解本发明，以及为了更清楚地示出如何将本发明付诸实施，现在将仅以举例的方式来参考附图，附图中： [0067] 图1a示出多层图像中的层的图示； [0068] 图1b示出具有额外深度的多层图像中的层的图示； [0069] 图2示出对深度表面上的限制的图示； [0070] 图3示出用于生成具有限制的多层图像的方法的第一范例；以及 [0071] 图4示出用于生成、传输和绘制具有限制的多层图像的方法的第二范例。 具体实施方式[0072] 将参考附图来描述本发明。 [0073] 应理解，具体实施方式及具体范例，在表明装置、系统和方法的示范性实例时，意图仅用于说明的目的而非意图限制本发明的范围。根据后面的具体实施方式、所附权利要求书和附图，会更好地理解本发明的装置、系统和方法的这些及其他特征、方面和优点。应理解，附图仅为示意性的而非按比例绘制。还应理解，所有附图中相同的附图标记指代相同或相似的部分。 [0074] 本发明提供一种用于生成多层图像的方法。所述方法包括接收场景的3D源数据，并生成虚拟3D场景中的不同深度处的多个层，其中，每个层对应于相对于原点的特定层深度值。基于所述3D源数据来生成每个层的图像数据，其中，所述图像数据包括纹理数据和透明度数据，并且基于所述3D源数据和所述层的所述深度值来生成针对所述层的位移图。所述位移图定义对应层上不同的点相对于所述层深度的深度，其中，所述位移图的生成被限制为使得由任意位移图定义的深度表面不与所述虚拟3D场景中的任意其他深度表面相交。深度表面被定义为位移图到对应层上的映射。 [0075] 图1a示出了多层图像中的层102的图示。每个层102表示虚拟场景内的不同深度值。为每个层102中的每个像素赋予纹理和透明度值。在该情况下，第一层102a将对应于物体104最接近第一层102a的表面的前方。因此，仅对应于物体104的前方的像素将具有纹理，并且剩下的像素将具有100％的透明度值。 [0076] 类似地，第二层102b将对应于物体104的前方的表面中相比于第一层102a更接近第二层102b的剩下部分。第四层102c将对应于背景106。然而，层102并不精确地与物体104对应，这可能导致因层102之间的视差而造成的模糊。 [0077] 在该范例中，层102是平均间隔的并且由平面来表示。然而，层102之间的距离可以不同(例如相对于离原点的距离)，并且层102可以例如为球形而非平面。 [0078] 图1b示出了具有额外深度的多层图像中的层102的图示。额外深度能够由每个层102的位移图来定义。在该情况下，层102朝向物体表面翘曲，这大大减少了源于层102之间的视差的模糊。然而，具有额外深度的多层图像通常需要显著的计算资源来绘制(比不具有额外深度的多层图像所需要的资源大得多)。因此，提出对位移图施加限制，并在位流中表示这些限制。 [0079] 图2示出了深度表面202上的限制的图示。限制被选择为使得客户端能够使用更简单的绘制算法(例如，逆画家算法)，并进一步减少绘制多层图像所需要的时间和/或计算资源。了解了限制，编码器和解码器可以以多种方式来使用它们。 [0080] 限制是就“深度表面”202来定义的。深度表面202实质上是虚拟空间中具有额外深度的层102(即，具有施加到层102的位移图)。限制是： [0081] ‑生成位移图以使得深度表面202不在虚拟空间里相交。 [0083] ‑限制来自深度表面202的任意法向量206与来自虚拟场景原点208的视线204的角度。 [0084] ‑限制来自深度表面202的任意法向量206与穿过定义的观看空间210的任意视线204的角度。 [0085] ‑限制深度表面202的曲率。 [0086] 层102之间的间距一般与其离场景原点208的距离(r[m])相称。亦即，它们在归一‑1化差异(1/r[m ])方面等间距。当层102不交叠，并且两个层102具有参考距离rn [0087] 每个深度表面202都可以通过虚拟空间中的窄盒(或洋葱环)来定义，以将非相交限制包含在在对位移图的定义中。位移图可以被编码为德尔塔深度值：rn+Δrn(u，v)∈(rn，min，rn，max)或归一化差异dn+Δdn(u，v)∈(dn，min，dn，max)。两种选择都是可接受的并且没有显著差异，除非允许最终的层102被放置得非常远或是在无限深度处(即，零归一化差异)。在那种情况下，可能需要使用归一化差异。 [0088] 也有可能使连续深度表面202的深度范围交叠，但仍限制它们不相交。在那种情况下，可能是，例如，将深度表面202的最小距离限制为相邻层102的层深度值(即rn，min＝rn‑1和rn，max＝rn+1)。在该情况下，根据位移图定义，限制是不清楚的，并且需要被分别限制。非相交限制也可能需要在传输时被分别表示，例如，通过对位流增加指示(即，标记(flag))。 [0089] 位移图可以被编码为亮度图像，并且亮度值可以被线性映射在层102的德尔塔深度或德尔塔归一化差异范围上。 [0090] 当深度表面202不相交，并且在观看区域不与任意的层102相交的情况下，层102的深度次序是已知的，并且因此能够从前到后地绘制深度表面202(逆画家算法)。当深度表面202确实相交时，则需要多得多的分析(例如分裂、重新排序等)来将深度表面融合到一起。 [0091] 当深度表面202之间的裕度212得以表示时，则rn,远 [0092] 可以指定裕度为一比率，由此“零”定义没有额外深度的多层图像而“一”定义具有非交叠但可能接触的深度表面202的多层图像。裕度212可以针对所有深度表面202都相同，或者可以例如通过明确提供针对一些或全部深度表面202的最大和小深度值(rn，min，rn，max)来针对个体层102进行指定。 [0093] 编码和解码误差可能导致初始非相交的深度表面202在位移图已被编码、传输和解码之后而相交。因此，定义深度表面202之间的裕度212确保它们不会在被编码/解码之后相交。 [0094] 当来自深度表面202的法向量206与来自原点208的视线204形成一大角度时，深度表面202可能在绘制期间拉伸，并且这可能降低质量。通常，绘制算法不得不补偿该拉伸(例如在绘制多视点+深度图像时)，这需要额外的时间和/或计算资源。因此，通过限制角度，可以保持所需要的整体计算资源和处理时间相对低且一致。 [0095] 如果期望多层图像的观看者待在原点208，则仅需要限制来自原点的视线204。然而，如果期望观看者走来走去，则可能有必要限制来自观看空间210内部的任意点的视线204。 [0096] 深度表面202的曲率也影响绘制多层图像所需要的时间/计算资源。深度表面202的急剧改变(即，高曲率)难以绘制，而平滑表面(即，小曲率)倾向于相对更容易绘制。如果将曲率限制为针对深度表面202中的一个或多个的最大曲率，则可以进一步保持所需要的时间/计算资源低且一致。 [0097] 图3示出了用于生成具有限制302的多层图像210的方法。从例如多个相机获取场景的三维3D源数据304。生成在虚拟3D场景的不同深度处的多个层，使得每个层对应于相对于原点的特定层深度值。基于3D源数据304来生成针对每个层的图像数据308，图像数据包括纹理数据和透明度数据。 [0098] 基于3D源数据304和层的深度值来生成针对层中的每一个的位移图306，位移图306定义对应层上的不同点相对于层深度的深度。位移图306的生成还基于限制302。限制 302必须至少包括上文解释的非相交限制。 [0099] 位移图306和图像数据308可以被绘制为多层图像310。备选地，位移图306和图像数据308可以被编码并传输到客户端，以由客户端来绘制。 [0100] 可选地，客户端(即，解码器)具有滤波器，以在编码之后重建位移图306，编码通过经表示的(一个或多个)限制302来参数化。例如，解码器可以采用模糊滤波器或形态滤波器以去除快速过渡。滤波器的强度取决于经表示的限制，并且在一些情况下可以局部改变。 [0101] 图4示出了用于生成、传输和绘制具有限制302的多层图像的方法。限制302必须至少包括“非相交层”限制。限制302可以从用户输入或从预定的限制列表获得。3D源数据304可以从一个或多个相机和/或额外的深度传感器获得。限制302和3D源数据304可以被发送到服务器401，以使其将必要数据传输到客户端403以绘制多层图像。 [0102] 3D源数据304和限制302被用于由服务器401生成粗略位移图402。然后编码404、解码406粗略位移图402，并应用重建滤波器408。编码404通常包括数据压缩或某种类型的数据缩减，以减少传输的数据量。因此，当在步骤406解码经编码的数据时，得到的解码数据不等于编码408之前的原始数据(例如，更低的质量)。 [0103] 重建滤波器408根据限制302对经解码的位移图进行滤波，以确保最终的位移图具有所应用的限制。滤波器例如可以操纵位移图值，以避免深度层相交，并减小它们的深度梯度和曲率。因此，编码及解码步骤加重建滤波器的组合实现了位移图在限制302内的传输，并且因为仅粗略位移图被输入到编码器404而具有较低的比特率，并且允许编码器应用数据缩减技术。 [0104] 3D源数据304也被用于生成针对层102的图像数据308(即，透明度和纹理/颜色值)。因此，能够将粗略位移图402和图像数据408进行编码404，并且例如从服务器401传输到客户端403。纹理和透明度数据可以基于经重建的位移图得以优化。 [0105] 客户端403然后可以解码406所传输的数据，并对粗略位移图402应用重建滤波器408。因此，能够根据经滤波的位移图和经解码的图像数据来绘制401多层图像。 [0106] 例如，服务器401(即，编码器)可以通过传输粗糙的且具有快速过渡的粗略位移图402，利用重建滤波器408。对于视频编解码器而言，更有效的是使用离散余弦变换(DCT)仅编码404针对代码块的DC值。例如，当块具有均一值时，仅需要一个系数来编码该块。在这么应用时，粗略位移图402看起来是“阶梯式的”。这只是可能，因为重建滤波器408会对数据向下过滤，以减小深度梯度和曲率。这可以利用合适的低通滤波器来实现。 [0107] 这可以更有效地进行编码404，并且编码器和解码器两者均可以应用特定的重建滤波器408来在所表示的限制内重建位移图。然后服务器401处的编码器可以基于经滤波的位移图来计算针对每个层102的透明度和纹理/颜色的合适的值。以此方式，实现编码增益。 [0108] 此外，客户端403可以有回退绘制法，用于在所意图的观看空间210外部进行绘制410，在此不再保证限制302是合适的。这可能涉及缩放以降低复杂度，限制被用于绘制的层 102的数目，和/或逼近融合操作。 [0109] 多层图像中的层102通常是稀疏的，并且通常针对每个层仅存储一些(矩形)片块。有可能将每个片块视作具有单独的参数的单独的子层。这给了编码器更大的空间以优化对内容的表现，而不增加解码或绘制复杂度。 [0110] 本领域技术人员在实践所要求保护的发明时，通过对附图、公开内容和所附权利要求书的研究，能够理解并实现对所公开的实施例的变型。在权利要求书中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。 [0111] 单个处理器或其他单元可以实现权利要求书中记载的若干项目的功能。 [0113] 计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质，但是也可以被分布为其他形式，例如经由互联网或其他的有线或无线电信系统。 [0115] 权利要求书中的任何附图标记均不应被解释为对保护范围的限制。 |
||
