用于减少基于投影的帧中的伪影的方法和装置专利检索-混合现实显示技术专利检索查询-专利查询网

用于减少基于投影的 帧中的伪影的方法和装置

阅读：473发布：2020-05-08

专利汇可以提供用于减少基于投影的帧中的伪影的方法和装置专利检索，专利查询，专利分析的服务。并且一种示例性视频处理方法包括：接收对应于球体的全向内容；根据金字塔投影从球体的全向内容中获得多个投影面；创建至少一个填充区域；通过将投影面和至少一个填充区域封装成金字塔投影布局来生成基于投影的帧。在金字塔投影布局中封装多个投影面，其中包括第一投影面。在金字塔投影布局中封装至少一个填充区域，其中包括第一填充区域。第一填充区域至少与第一投影面连接，并至少形成金字塔投影布局的一个边界的一部分。，下面是用于减少基于投影的帧中的伪影的方法和装置专利的具体信息内容。

权利要求

1.一种视频处理方法，包括：
接收对应于球体的全向内容；
根据金字塔投影从该球体的该全向内容中获得多个投影面；
通过填充电路产生至少一个填充区域；以及
通过封装在金字塔投影布局中的该多个投影面和该至少一个填充区域，来产生基于投影的帧，其中封装在该金字塔投影布局的该多个投影面包括第一投影面；封装在该金字塔投影布局中的该至少一个填充区域包括第一填充区域；该第一填充区域至少与该第一投影面连接，并至少形成该金字塔投影布局的一个边界的一部分。
2.根据权利要求1所述的视频处理方法，其特征在于，该多个投影面包括封装在该金字塔投影布局中的基部投影面，第一侧部投影面，第二侧部投影面，第三侧部投影面和第四侧部投影面；该基部投影面的第一边与该第一侧部投影面的第一边连接；该第一侧部投影面的第二边与该第二侧部投影面的第一边连接；该第二侧部投影面的第二边与该第三侧部投影面的第一边连接；该第三侧部投影面的第二边与该第四侧部投影面的第一边连接；该第四侧部投影面的第二边与该第一侧部投影面的第三边连接；以及该第一投影面是该基部投影面，该第一侧部投影面，该第二侧部投影面，该第三侧部投影面和该第四侧部投影面中的一个。
3.根据权利要求2所述的视频处理方法法，其特征在于，在该金字塔投影布局中封装的该至少一个填充区域还包括第二填充区域，第三填充区域和第四填充区域；该第一填充区域与该基部投影面的第二边和该第二侧部投影面的第三边连接，并形成该金字塔投影布局的第一边界；该第二填充区域与该第三侧部投影面的第三边连接，并形成该金字塔投影布局的第二边界；该第三填充区域与该基部投影面的第三边连接，并形成该金字塔投影布局的第三边界；该第四填充区域与该基部投影面的第四边和该第四侧部投影面的第三边连接，并形成该金字塔投影布局的第四边界。
4.根据权利要求1所述的视频处理方法，其特征在于，该产生至少一个填充区域的步骤包括：
将几何填充应用于该第一投影面，以确定包括在该第一填充区域中的像素的像素值。
5.根据权利要求4所述的视频处理方法，其特征在于，该产生至少一个填充区域的步骤包括：
通过复制包括在该第一投影面中的特定像素的像素值，来设置包括在该第一填充区域中的像素的像素值。
6.根据权利要求5所述的视频处理方法，其特征在于，该第一填充区域与该第一投影面的一个边连接，并且该特定像素包括位于该第一投影面的该一个边的边界像素。
7.根据权利要求5所述的视频处理方法，其特征在于，该第一填充区域与该第一投影面的一个边连接，并且该特定像素不包括位于该第一投影面的该一个边的边界像素。
8.根据权利要求1所述的视频处理方法，其特征在于，还包括：
编码具有封装在该金字塔投影布局中的该多个投影面和该至少一个填充区的该基于投影的帧，以生成比特流的一部分。
9.根据权利要求8所述的视频处理方法，其特征在于，还包括：
解码该比特流的一部分以生成解码的基于投影的帧，该解码的基于投影的帧具有封装在该金字塔投影布局中的该多个投影面和该至少一个填充区域，包括：
通过混合在该第一投影面中的第一个位置的像素的解码像素值和在该至少一个填充区域中的第二个位置的像素的解码像素值，重建该第一个位置的像素。
10.根据权利要求9所述的视频处理方法，其特征在于，在编码/压缩前，在该基于投影的帧中的至少一个填充区域中的该第二个位置的像素的像素值是通过复制该第一投影面中的该第一个位置的像素的像素值来生成的。
11.根据权利要求10所述的视频处理方法，其特征在于，通过使用以下公式计算该第一个位置的像素的重建像素值：
其中，SREC表示该第一个位置的像素的该重建像
素值，S表示该第一个位置的像素的该解码像素值，T表示该第二个位置的像素的该解码像素值，M表示混合宽度，以及N表示该第一个位置的像素和与该第一填充区域连接的该第一投影面的边界之间的距离。
12.一种视频处理方法，包括：
根据360度虚拟现实投影从球体的全向内容中获得多个投影面，其中包括第一投影面和第二投影面，如果该第一投影面的一个边与该第二投影面的一个边连接，则在该第一投影面的该一个边与该第二投影面的该一个边之间存在图像内容连续性边缘；
通过填充电路产生至少一个填充区域，其中包括第一填充区域；以及
该至少一个填充区域和该多个投影面被封装在投影布局中，其中该第一填充区域与该第一投影面的该一个边连接，并且该第一填充区域与该第二投影面的一个边连接，该第一填充区域用于将该第一投影面与该第二投影面隔离开。
13.根据权利要求12所述的视频处理方法，其特征在于，还包括：
编码具有封装在该360度虚拟现实投影布局中的该至少一个填充区域和该多个投影面的基于投影的帧，以生成比特流的一部分。
14.根据权利要求12所述的视频处理方法，其特征在于，获得多个投影面的步骤包括：
解码比特流的一部分以获得封装在该360度虚拟现实投影布局中的该多个投影面，其中根据该360度虚拟现实投影布局，该第一投影面的一个边与该第二投影面的该一个边连接。
15.根据权利要求12所述的视频处理方法，其特征在于，生成至少一个填充区域的步骤包括：
将几何填充应用于该第一投影面和该第二投影面，以确定包括在该第一填充区域中的像素的像素值。
16.根据权利要求12所述的视频处理方法，其特征在于，生成至少一个填充区域的步骤包括：
通过复制包括在该第一投影面中的第一个位置的像素的像素值和包括在该第二投影面中的第二个位置的像素的像素值，来设置包括在该第一填充区域中的像素的像素值。
17.根据权利要求12所述的视频处理方法，其特征在于，第一种基于投影的帧包括封装在第一种360度虚拟现实投影布局中的该至少一个填充区域和该多个投影面，将具有该第一360度虚拟现实投影布局的该第一种基于投影的帧转换为具有第二种360度虚拟现实投影布局的第二种基于投影的帧时，在该至少一个填充区域中的像素会被用于插值计算，其中该第二种360度虚拟现实投影布局与该第一种360度虚拟现实投影布局不同。
18.根据权利要求12所述的视频处理方法，其特征在于，第一种基于投影的帧包括封装在第一种360度虚拟现实投影布局中的该至少一个填充区域和该多个投影面，并且具有该第一种360度虚拟现实投影布局的该第一种基于投影的帧被转换为具有第二种360度虚拟现实投影布局的第二种基于投影的帧，其中该第二种360度虚拟现实投影布局不同于该第一种360度虚拟现实投影布局；通过对该第一种基于投影的帧中的像素执行插值来确定该第二种基于投影的帧中的像素，其中插值来源的像素沿着投影方向定位，该投影方向不是直线方向。
19.一种视频处理方法，包括：
接收对应于球体的全向内容；
从该球体的该全向内容获得多个投影面，其中包括对应于主视图的第一投影面和对应于非主视图的至少一个第二投影面；以及
通过将该多个投影面封装在基于视埠的投影布局中并至少对该至少一个第二投影面的一部分应用平滑滤波，来生成基于投影的帧。
20.根据权利要求19所述的视频处理方法，其特征在于，该至少一个第二投影面包括对应于不同视场范围的第一区域和第二区域；以及应用平滑滤波的步骤包括：将具有第一平滑滤波强度的第一平滑滤波操作应用于该第一区域；以及
将具有第二平滑滤波强度的第二平滑滤波操作应用于该第二区域，其中该第二平滑滤波强度不同于该第一平滑滤波强度。

说明书全文

用于减少基于投影的帧中的伪影的方法和装置

[0001] 交叉申请

[0002] 相关申请的交叉引用：本发明主张在2017年08月18日提出的第62/547,126号的美国临时专利申请和在2017年09月27日提出的第62/563,787号的美国临时专利申请的优先权。相关申请的全部内容，包括第62/547,126号的美国临时专利申请和第62/563,787号的美国临时专利申请，在此引入作为参考。

技术领域

[0003] 本发明的所公开实施例涉及处理全向图像/视频内容，且更具体而言，涉及用于减少基于投影的帧中的伪影的方法和装置。

背景技术

[0004] 具有头戴式显示器(head-mounted displays，HMDs)的虚拟现实(VR)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，从而产生对应于球体的全向图像/视频内容。随着摄像机装备和HMDs的进步，由于表示这种360度图像/视频内容所需的高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。

[0005] 通常，对应于球体的全向图像/视频内容被变换为图像序列，每个图像是基于投影的帧，其具有由在360度虚拟现实(360VR)投影布局中排列的一个或多个投影面表示的360度图像/视频内容，然后基于投影的帧的序列被编码成比特流以进行传输。如果未正确设计所采用的360VR投影布局，则可能通过基于投影的帧的编码和/或基于投影的帧的投影布局转换引入伪影，从而导致图像质量劣化。

发明内容

[0006] 本发明的目的之一是提供一种用于减少基于投影的帧中的伪影的方法和装置。

[0007] 根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收对应于球体的全向内容；根据金字塔投影从该球体的该全向内容中获得多个投影面；通过填充电路产生至少一个填充区域；通过封装在金字塔投影布局中的该多个投影面和该至少一个填充区域来生成基于投影的帧，其中封装在该金字塔投影布局中的该多个投影面包括第一投影面；封装在该金字塔投影布局中的该至少一个填充区域包括第一填充区域；该第一填充区域至少与该第一投影面连接，并至少形成该金字塔投影布局的某个边界的一部分。

[0008] 根据本发明的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：根据360度虚拟现实投影从球体的全向内容获得多个投影面，其中该多个投影面包括第一投影面和第二投影面。如果该第一投影面的一个边与该第二投影面的一个边连接，则在该第一投影面的该一个边与该第二投影面的该一个边之间存在图像内容连续性边缘；通过填充电路产生至少一个填充区域，其中该至少一个填充区域包括第一填充区域；以及该至少一个填充区域和该多个投影面被封装在投影布局中，其中该第一填充区域与该第一投影面的该一个边连接，并且第一填充区域同时与该第二投影面的该一个边连接，该第一填充区域用于将该第一投影面与该第二投影面隔离开。

[0009] 根据本发明的第三方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收对应于球体的全向内容；从该球体的该全向内容获得多个投影面，其中该多个投影面包括对应于主视图的第一投影面和对应于非主视图的至少一个第二投影面；以及通过将该多个投影面封装在基于视埠的投影布局中并至少对该至少一个第二投影面的一部分应用平滑滤波，来生成基于投影的帧。

[0010] 在阅读了各个附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的无疑将对所属领域中具有普通技术人员变得显而易见。

附图说明

[0011] 图1是根据本发明的实施例的第一种360度虚拟现实(360VR)系统的示意图。

[0012] 图2是根据本发明的实施例的金字塔投影(pyramid projection)方法的示意图。

[0013] 图3是根据本发明的实施例的基于视埠的金字塔投影布局(viewport-based pyramid projection layout)的示意图。

[0014] 图4是根据本发明的实施例的具有边界填充的基于视埠的金字塔投影布局的示意图。

[0015] 图5是根据本发明实施例的通过像素复制生成的边界填充区域的示意图。

[0016] 图6是根据本发明的实施例的第二种360VR系统的示意图。

[0017] 图7是根据本发明的实施例的水平混合操作的示意图。

[0018] 图8是根据本发明的实施例的垂直混合操作的示意图。

[0019] 图9是根据本发明的实施例的第三种360VR系统的示意图。

[0020] 图10是在图3所示的基于视埠的金字塔投影布局中，跨越两个连续投影面连接边缘的多个对象的示意图。

[0021] 图11是根据本发明的实施例的在连续投影面之间具有边缘填充的基于视埠的金字塔投影布局的示意图。

[0022] 图12是根据本发明的实施例的在连续投影面之间具有边缘填充的赤道圆柱投影布局(equatorial cylindrical projection layout)的示意图。

[0023] 图13是根据本发明的实施例的在连续投影面之间具有边缘填充的四面体(tetrahedron)投影布局的示意图。

[0024] 图14是根据本发明的实施例的在连续投影面之间具有边缘填充的八面体(octahedron)投影布局的示意图。

[0025] 图15是根据本发明的实施例的在连续投影面之间具有边缘填充的立方体(cubemap)投影布局的示意图。

[0026] 图16是根据本发明的实施例的在连续投影面之间具有边缘填充的截断的正方形(truncated square)金字塔投影布局的示意图。

[0027] 图17是根据本发明的实施例的在连续投影面之间具有边缘填充的基于视埠的立方体投影布局的示意图。

[0028] 图18是根据本发明的实施例的在连续投影面之间具有边缘填充的另一基于视埠的金字塔投影布局的示意图。

[0029] 图19是根据本发明的实施例的第四种360VR系统的示意图。

[0030] 图20是根据本发明的实施例的投影布局转换的示意图。

[0031] 图21是根据本发明的实施例的第五种360VR系统的示意图。

[0032] 图22是根据本发明的实施例的基于视埠的金字塔投影布局中的经度线(longitude line)和纬度线(latitude line)的分布的示意图。

[0033] 图23是根据本发明的实施例的非主视图的部分图像的第一种分区设计的示意图。

[0034] 图24是根据本发明的实施例的非主视图的部分图像的第二种分区设计的示意图。

[0035] 图25是根据本发明的实施例的从ERP布局导出的基于视埠的投影布局的示意图。

具体实施方式

[0036] 在说明书及后续的权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有习知技术者应可理解，电子装置制造商可能会用不同的名词来称呼同一个组件。本说明书及后续的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的「包含」系为开放式的用语，故应解释成「包含但不限定于」。以外「，耦接」一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接到第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。

[0037] 图1是根据本发明的实施例的第一种360度虚拟现实(360VR)系统的示意图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目的电子设备104)。源电子设备102包括视频捕获设备112，转换电路114和视频编码器116。例如，视频捕获设备112可以是用于提供对应于球体的全向图像/视频内容(例如，覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114耦接在视频捕获设备112和视频编码器116之间。转换电路114根据全向图像/视频内容S_IN生成具有360度虚拟现实投影布局L_VR的基于投影的帧IMG。基于投影的帧IMG可以是包括在从转换电路114生成的基于投影的帧的序列中的一个帧。视频编码器116是用于编码/压缩基于投影的帧IMG以生成比特流BS的一部分的编码电路。此外，视频编码器116经由传输装置103将比特流BS输出到目的电子设备104。例如，可以将基于投影的帧的序列编码到比特流BS中，并且传输装置103可以是有线/无线通信链路或存储介质。

[0038] 目的电子设备104可以是头戴式显示器(HMD)装置。如图1所示，目的电子设备104包括解码电路122、图形渲染电路124和显示屏幕126。解码电路122从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS，然后，执行视频解码器功能，用于解码所接收的比特流BS的一部分以生成解码帧IMG'。例如，解码电路122通过对接收的比特流BS进行解码来生成解码帧的序列，其中解码帧IMG'是包括在解码帧的序列中的一个帧。在该实施例中，由编码器侧的视频编码器116编码的基于投影的帧IMG具有360VR投影格式和投影布局。因此，在解码器侧的解码电路122对比特流BS进行解码之后，解码帧IMG'具有相同的360VR投影格式和相同的投影布局。换句话说，解码帧IMG'是解码的基于投影的帧(decoded projection-based frame)，其具有由转换电路114采用的相同的360VR投影布局L_VR。图形渲染电路124耦接在解码电路122和显示屏幕126之间。图形渲染电路124根据解码帧IMG'在显示屏幕126上渲染并显示输出图像数据。例如，与由解码帧IMG'承载的360度图像/视频内容的一部分相关联的视端口区域可以经由图形渲染电路124显示在显示屏幕126上。

[0039] 在该实施例中，360VR投影布局L_VR可以是具有边界填充的金字塔投影布局。图2是根据本发明的实施例的金字塔投影方法的示意图。图3是根据本发明的实施例的基于视埠的金字塔投影布局的示意图。根据示例性金字塔投影类型，金字塔204完全位于球体202内，其中金字塔204由基部(base)206和多个侧部投影面(lateral projection face)208组成。在该示例中，基部206的形状是正方形，每个侧部投影面208的形状是三角形。球体202的全向图像/视频内容被映像/投影到金字塔204的基部206和侧部投影面208上，从而产生包括一个基部投影面(标记为“FR”)和四个侧部投影面(标记为“U”，“L”，“B”和“R”)的五个投影面。

[0040] 如图3的顶部所示，基部投影面FR的形状是正方形，并且每个侧部投影面U，L，B和R的形状是三角形。另外，基部投影面FR和侧部投影面U，L，B和R布置在对应于展开的金字塔的金字塔投影布局300中，使得侧部投影面U，L，B和R分别连接基部投影面FR的四个边/边缘。值得注意的是，在侧部投影面U和基部投影面FR之间存在图像内容连续性边缘，在侧部投影面L和基部投影面FR之间存在图像内容连续性边缘，在侧部投影面B和基部投影面FR之间存在图像内容连续性边缘，并且在侧部投影面R和基部投影面FR之间存在图像内容连续性边缘。每个侧部投影面U/B/L/R的宽度(即三角形底边的长度)为W，每个侧部投影面U/B/L/R的高度(即三角形顶部到三角形底边的距离)为H。值得注意的是，每个侧部投影面U/B/L/R的宽度W等于基部投影面FR的边缘长度。

[0041] 基于视埠的金字塔投影布局302可以通过投影面重采样(re-sampling)(例如，投影面缩小(down-scaling))来从金字塔投影布局300导出。如图3的中间部分所示，侧部投影面U'是通过利用预定义的重采样因子s(s＝H/h)对侧部投影面U在其高度方向上重采样(例如，缩小)而获得的重采样投影面，侧部投影面B'是通过利用预定义的重采样因子s(s＝H/h)对侧部投影面B在其高度方向上重采样(例如，缩小)而获得的重采样投影面，侧部投影面L'是通过利用预定义的重采样因子s(s＝H/h)对侧部投影面L在其高度方向上重采样(例如，缩小)而获得的重采样投影面，并且侧部投影面R'是通过利用预定义的采样因子s(s＝H/h)对侧部投影面R在其高度方向上重采样(例如，缩小)获得的重采样的投影面。可以通过均匀映像或非均匀映像来执行重采样，这取决于实际的设计考虑。

[0042] 在该示例中，基部投影面FR的形状是正方形，并且每个侧部投影面U'，B'，L'和R'的形状是直角三角形。具体而言，基部投影面FR具有四个边S11，S12，S13和S14；侧部投影面U'具有一个斜边S21和两个直角边(腿)S22和S23；侧部投影面L'具有一个斜边S31和两个直角边(腿)S32和S33；侧部投影面B'具有一个斜边S41和两个直角边(腿)S42和S43；侧部投影面R'具有一个斜边S51和两个直角边(腿)S52和S53。

[0043] 此外，金字塔投影布局300中的基部投影面FR对应于用户的视端口(即，主视图)，并且可以直接用作基于视埠的金字塔投影布局302所需的基部投影面。基部投影面FR(对应于主视图的正方形投影面)和四个侧部投影面U'，B'，L'和R'(对应于非主视图的直角三角形投影面)封装(pack)在基于视埠的金字塔投影布局302中。如图3的底部所示，侧部投影面R'的斜边S51与基部投影面FR的边S14连接，侧部投影面R'的直角边S52与侧部投影面U'的直角边S23连接，侧部投影面R'的直角边S53与侧部投影面B'的直角边S42连接，侧部投影面L'的直角边S33与侧部投影面U'的直角边S22连接，并且侧部投影面L'的直角边S32与侧部投影面B'的直角边S43连接。

[0044] 如上所述，金字塔投影布局300对应于展开的金字塔，其中在侧部投影面U和基部投影面FR之间存在图像内容连续性边缘，在侧部投影面L和基部投影面FR之间存在图像内容连续性边缘，在侧部投影面B和基部投影面FR之间存在图像内容连续性边缘，并且在侧部投影面R和基部投影面FR之间存在图像内容连续性边缘。由于侧部投影面U'是侧部投影面U的重采样版本，侧部投影面B'是侧部投影面B的重采样版本，侧部投影面L'是侧部投影面L的重采样版本，以及侧部投影面R'是侧部投影面R的重采样版本，因此，在侧部投影面R'的斜边S51和基部投影面FR的边S14之间存在图像内容连续性边缘，在侧部投影面R'的直角边S52与侧部投影面U'的直角边S23之间存在图像内容连续性边缘，在侧部投影面R'的直角边S53和侧部投影面B'的直角边S42之间存在图像内容连续性边缘，在侧部投影面L'的直角边S33和侧部投影面U'的直角边S22之间存在图像内容连续性边缘，以及在侧部投影面L'的直角边S32和侧部投影面B'的直角边S43之间存在图像内容连续性边缘。

[0045] 与金字塔投影布局300相比，由于基于视埠的金字塔投影布局302的形状是矩形的事实，基于视埠的金字塔投影布局302更紧凑。通过这种方式，实现了基于视埠的紧凑型金字塔投影布局(compact viewport-based pyramid projection layout)，并且可以由基于投影的帧IMG使用，以避免在基于投影的帧IMG中使用虚拟区域(例如，黑色区域，灰色区域或白色区域)。此外，360度图像/视频内容连续地表示在基部投影面FR和侧部投影面U'，B'，L'和R'中，没有图像内容不连续。也就是说，没有由投影面的封装引起的图像内容不连续边缘。以这种方式，基于视埠的金字塔投影布局302不会降低编码效率。

[0046] 然而，编码之后的基于投影的帧IMG可能由于基于视埠的金字塔投影布局302的不连续边界而具有伪影。如图3所示，金字塔投影布局300中的基部投影面FR与侧部投影面U之间的图像内容连续性边缘在基于视埠的金字塔投影布局302中不存在，使得基部投影面FR的边S11和侧部投影面U'的斜边S21形成基于视埠的金字塔投影布局302的不连续的顶部边界。类似地，金字塔投影布局300中的基部投影面FR与侧部投影面L之间的图像内容连续性边缘在基于视埠的金字塔投影布局302中不存在，使得基部投影面FR的边S12形成基于视埠的金字塔投影布局302的不连续的左边界，并且，侧部投影面L'的斜边S31形成基于视埠的金字塔投影布局302的不连续的右边界；金字塔投影布局300中的基部投影面FR与侧部投影面B之间的图像内容连续性边缘在基于视埠的金字塔投影布局302中不存在，使得基部投影面FR的边S13和侧部投影面B'的斜边S41形成基于视埠的金字塔投影布局302的不连续的底部边界。

[0047] 为解决上述问题，本发明提出了一种创新的具有边界填充的金字塔投影布局设计，其能够在编码之后减少金字塔投影布局(例如，基于视埠的金字塔投影布局302)的边界处的伪影。例如，转换电路114从视频捕获设备112接收球体202的全向图像/视频内容，并根据金字塔投影从球202的全向图像/视频内容获得多个投影面(例如，基部投影面FR和侧部投影面U'，B'，L'，R')。如图1所示，转换电路114具有填充电路115，其被设置为产生至少一个填充区域。转换电路114通过在所提出的具有边界填充的金字塔投影布局中封装投影面(例如，基部投影面FR和侧部投影面U'，B'，L'，R')和至少一个填充区域(例如，四个填充)，来创建基于投影的帧IMG。例如，在所提出的具有边界填充的金字塔投影布局中封装的投影面包括第一投影面。在所提出的金字塔投影布局中封装的至少一个填充区域包括第一填充区域。第一填充区域至少与第一投影面连接，并至少形成所提出的金字塔投影布局的一个边界的一部分(即，部分或全部)。

[0048] 图4是根据本发明的实施例的具有边界填充的基于视埠的金字塔投影布局的示意图。由转换电路114使用的360VR投影布局L_VR可以由图4中所示的所提出的金字塔投影布局400来设置。填充电路115将填充区域PR_T添加到基于视埠的金字塔投影布局302的顶部边界，将填充区域PR_B添加到基于视埠的金字塔投影布局302的底部边界，将填充区域PR_L添加到基于视埠的金字塔投影布局302的左边界，并且将填充区域PR_R添加到基于视埠的金字塔投影布局302的右边界。因此，添加的填充区域PR_T形成基于视埠的金字塔投影布局400的顶部边界，添加的填充区域PR_B形成基于视埠的金字塔投影布局400的底部边界，添加的填充区域PR_L形成基于视埠的金字塔投影布局400的左边界，并且添加的填充区域PR_R形成基于视埠的金字塔投影布局400的右边界。

[0049] 在第一种示例性边界填充设计中，填充电路115将几何填充(geometry padding)应用于投影面，以确定包括在与投影面连接的填充区域中的像素的像素值。因此，填充区域PR_T包括左侧几何映像区域和右侧几何映像区域。球体上(例如，图2中所示的球体202)部分区域的内容被映像到填充区域PR_T的左侧几何映像区域，其中球体上的该部分区域与获得基部投影面FR的区域相邻。另外，球体上(例如，图2中所示的球体202)部分区域的内容被映像到填充区域PR_T的右侧几何映像区域，其中球体上的该部分区域与获得侧部投影面U'的区域相邻。因此，在基部投影面FR与填充区域PR_T的左侧几何映像区域之间存在图像内容连续性，并且在侧部投影面U'和填充区域PR_T的右侧几何映像区域之间存在图像内容连续性。即，内容在基部投影面FR和填充区域PR_T的左侧几何映像区域中连续地表示，并且内容在侧部投影面U'和填充区域PR_T的右侧几何映像区域中连续地表示。

[0050] 填充区域PR_B包括左侧几何映像区域和右侧几何映像区域。球体上(例如，图2中所示的球体202)部分区域的内容被映像到填充区域PR_B的左侧几何映像区域，其中球体上的该部分区域与获得基部投影面FR的区域相邻。类似地，球体上(例如，图2中所示的球体202)部分区域的内容被映像到填充区域PR_B的右侧几何映像区域，其中球体上的该部分区域与获得侧部投影面B'的区域相邻。因此，在基部投影面FR与填充区域PR_B的左侧几何映像区域之间存在图像内容连续性，并且在侧部投影面B'和填充区域PR_B的右侧几何映像区域之间存在图像内容连续性。也就是说，内容在基部投影面FR和填充区域PR_B的左侧几何映像区域中连续地表示，并且内容在侧部投影面B'和填充区域PR_B的右侧几何映像区域中连续地表示。

[0051] 填充区域PR_L包括单个几何映像区域。球体上(例如，图2中所示的球体202)部分区域的内容被映像到填充区域PR_L的单个几何映像区域，其中球体上的该部分区域与获得基部投影面FR的区域相邻。因此，在基部投影面FR和填充区域PR_L之间存在图像内容连续性。也就是说，内容在基部投影面FR和填充区域PR_L中连续地表示。

[0052] 填充区域PR_R包括单个几何映像区域。球体上(例如，图2中所示的球体202)部分区域的内容被映像到填充区域PR_R的单个几何映像区域，其中球体上的区域与获得侧部投影面L'的区域相邻。因此，在侧部投影面L'和填充区域PR_R之间存在图像内容连续性。也就是说，内容在侧部投影面L'和填充区域PR_R中连续地表示。

[0053] 在第二种示例性边界填充设计中，填充电路115通过复制包括在与填充区域连接的投影面中的像素的像素值来设置填充区域中包括的像素的像素值。图5是根据本发明实施例的通过像素复制生成的边界填充区域的示意图。图像IMG_A由在基于视埠的金字塔投影布局302中封装的基部投影面和多个侧部投影面表示，没有填充。基于视埠的金字塔投影布局302具有顶部边缘(top side)S_T，底部边缘S_B，左侧边缘S_L和右侧边缘S_R。顶部边缘S_T，底部边缘S_B，左侧边缘S_L和右侧边缘S_R是基于视埠的金字塔投影布局302的四个边界。另外，图像IMG_A具有多个图像区域(由标记为参考数字“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。图像区域“1”-“3”形成一个部分区域，并包括顶部边缘S_T处的边界像素。图像区域“3”-“5”形成一个部分区域，并且包括右侧边缘S_R处的边界像素。图像区域“5”-“7”形成一个部分区域，并包括底部边缘S_B处的边界像素。图像区域“7”-“8”和“1”形成一个部分区域，并且包括左侧边缘S_L处的边界像素。

[0054] 转换电路114采用的360VR投影布局L_VR可以通过具有填充的基于视埠的金字塔投影布局来设置(例如，图4中所示的基于视埠的金字塔投影布局400)。如图5所示，基于视埠的金字塔投影布局400是通过像素复制从基于视埠的金字塔投影布局302导出的。通过复制图像IMG_A的图像区域“3”-“5”来生成与图像IMG_A的左侧边缘S_L连接的第一填充区域(例如，图4中所示的填充区域PR_L的至少一部分)。通过复制图像IMG_A的图像区域“1”，“8”和“7”，生成与图像IMG_A的右侧边缘S_R连接的第二填充区域(例如，图4所示的填充区域PR_R的至少一部分)。通过复制图像IMG_A的图像区域“1”-“3”以获得复制的部分区域，然后将复制的部分区域旋转180°来生成与图像IMG_A的顶部边缘S_T连接的第三填充区域(例如，填充区域PR_T的至少一部分)。通过复制与图像IMG_A的图像区域“5”-“7”以获得复制的部分区域，然后将复制的部分区域旋转180°来生成与图像IMG_A的底部边缘S_B连接的第四填充区域(例如，填充区域PR_B的至少一部分)。

[0055] 为了使基于视埠的金字塔投影布局400的形状变为矩形，通过复制图像区域“1”以获得复制的填充区域，然后将复制的填充区域旋转180°来生成左上角填充区域；通过复制图像区域“3”以获得复制的填充区域，然后将复制的填充区域旋转180°来生成右上角填充区域；通过复制图像区域“7”以获得复制的填充区域，然后将复制的填充区域旋转180°来生成左下角填充区域；并通过复制图像区域“5”以获得复制的填充区域，然后旋转复制的填充区域180°来生成右下角填充区域。

[0056] 如上所述，解码电路122从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流BS，并执行视频解码器功能，用于解码接收的比特流BS的一部分以生成解码帧IMG'，解码帧IMG'是解码的基于投影的帧，其具有由转换电路114采用的相同的360VR投影布局L_VR。在360VR投影布局L_VR是由具有边界填充的金字塔投影布局(例如，如图4所示的基于视埠的金字塔投影布局400)设置的情况下，解码帧IMG'具有位于金字塔投影布局的边界处的填充区域。在一个实施例中，解码电路122可以裁剪(crop)填充区域，使得仅重构原始区域(例如，图5中所示的图像IMG_A)。在替代设计中，可以修改解码电路122以在重建原始区域(例如，图5中所示的图像IMG_A)时将填充区域与原始区域中的对应像素(例如，图5中所示的图像IMG_A)混合。

[0057] 图6是根据本发明的实施例的第二种360VR系统的示意图。360VR系统100和600之间的主要区别在于目的电子设备604的解码电路622具有混合电路624，其被配置为在解码之后执行混合。解码电路622被布置为解码比特流BS的一部分，以生成具有封装在360VR投影布局L_VR(如图4所示基于视埠的金字塔投影布局400)中的投影面(例如，图4中所示的基部投影面FR和侧部投影面U'，B'，L'，R')和填充区域(例如，图4中所示的填充区域PR_T，PR_B，PR_L，PR_LR)的解码帧(即，解码的基于投影的帧)IMG'。在生成解码帧IMG'的解码处理期间，解码电路622解码得到来自投影面(例如，基部投影面FR和侧部投影面U'，B'，L'，R'中的一个)中的第一个位置的像素和来自填充区域(例如，填充区域PR_T，PR_B，PR_L，PR_R中的一个)中的第二个位置的像素，并通过使用混合电路624来混合两个位置的像素，来重建属于投影面的第一位置的像素。举例说明第一位置和第二位置像素的关系，包含在编码/压缩前的基于投影的帧IMG封装中的填充区域中的第二位置的像素，是通过复制包含在基于投影的帧IMG中封装的投影面中的第一位置的像素来生成的。在一个实施例中，混合电路624可以采用基于距离的加权方案(distance-based weighting scheme)。

[0058] 图7是根据本发明的实施例的水平混合操作的示意图。假设图4中所示的填充区域PR_T，PR_B，PR_L，PR_R是基于像素复制来生成，如图5所示。因此，在编码器侧(例如，图6中所示的源电子设备102)，与图像IMG_A的左侧边缘连接的一个填充区域(例如，图4中所示的填充区域PR_L的至少一部分)，是通过复制图像IMG_A的图像区域“3”-“5”来生成的，以及与图像IMG_A的右侧边缘连接的另一个填充区域(例如，图4中所示的填充区域PR_R的至少一部分)，是通过复制图像IMG_A的图像区域“1”，“8”和“7”来生成的。具体地，在编码器侧(例如，图6中所示的源电子设备102)，复制位于原始区域中的图像区域“8”的左上角的8×8区块，以设置位于右侧填充区域中的图像区域“8”的左上角的8×8区块。因此，在解码器侧(例如，图6中所示的目的电子设备604)，位于原始区域(即，图像IMG_A)中的图像区域“8”的左上角的8×8区块中的解码像素可以与位于右侧填充区域中的图像区域“8”的左上角的8×8区块中的解码像素混合。如图7中所示的像素“A”的重建像素值可以使用如下所示的基于水平距离的加权来计算。

[0059]

[0060] 在上面的公式(1)中，AREC表示第一位置像素(例如，图7中所示的像素“A”)的重建像素值，A表示第一位置像素的解码像素值，B表示第二位置像素(例如，图7中所示的像素“B”)的解码像素值，M表示填充/混合宽度，N表示第一位置像素和与相邻填充区域连接的相关投影面的边界之间的距离。在图7中，水平距离N由8×8区块中标记为“1”-“3”的像素表示。在该示例中，对于水平混合，M＝8并且N＝3。

[0061] 图8是根据本发明的实施例的垂直混合操作的示意图。假设图4中所示的填充区域PR_T，PR_B，PR_L，PR_R是基于像素复制生成的，如图5所示。因此，在编码器侧(例如，图6中所示的源电子设备102)，通过复制图像IMG_A的图像区域“1”-“3”以获得复制的部分区域，然后将复制的部分区域旋转180°，来生成与图像IMG_A的顶部边缘S_T连接的一个填充区域(例如，填充区域PR_T的至少一部分)；并且通过复制图像IMG_A的图像区域“5”-“7”以获得复制的部分区域，然后将复制的部分区域旋转180°，来生成与图像IMG_A的底部边缘S_B连接的另一个填充区域(例如，填充区域PR_B的至少一部分)。具体地，在编码器侧(例如，图6中所示的源电子设备102)，位于原始区域(即，图像IMG_A)中的图像区域“2”的左上角的8×8区块被复制，以设置位于顶部填充区域中的180°旋转图像区域“2”的右下角的8×8区块。
因此，在解码器侧(例如，图6中所示的目的电子设备604)，位于原始区域(即，图像IMG_A)中的图像区域“2”的左上角的8×8区块中的解码像素可以与位于顶部填充区域中的180°旋转图像区域“2”的右下角的8×8区块中的解码像素相混合。图8中所示的像素“C”的重建像素值可以使用如下所示的基于垂直距离的加权来计算。

[0062]

[0063] 在上面的公式(2)中，CREC表示第一位置像素的重建像素值(例如，图8中所示的像素“C”)，C表示第一位置像素的解码像素值，D表示第二位置像素(例如，图8中所示的像素“D”)的解码像素值，M表示填充/混合宽度，N表示第一像素和与相邻的填充区域连接的相关投影面的边界之间的距离。在图8中，垂直距离N由8×8区块中标记为“1”-“5”的像素来表示。在该示例中，对于垂直混合，M＝8并且N＝5。

[0064] 对于某些应用，可以在目的电子设备中实施转换电路，以将具有第一种360VR投影布局的解码帧转换为投影布局不同的第二种360VR投影布局的转换帧。例如，从解码电路生成的解码帧可以是将投影面封装为金字塔投影布局的帧，通过转换电路生成并由图形渲染电路使用的转换帧可以是将投影面封装在等矩形投影(equirectangular projection，ERP)布局中的帧。

[0065] 位于转换帧中的整数位置(即(x，y)，其中x和y是整数)的像素可能被映像到位于解码帧中的非整数位置(即(x'，y')，其中x'不是整数和/或y'不是整数)的像素。也就是说，当执行投影布局转换时，转换电路需要通过位于解码帧中的非整数位置的像素来设置位于转换帧中的整数位置处的像素。由于位于非整数位置像素的像素值在解码帧中不可直接获得，因此转换电路可通过使用插值滤波器处理位于解码帧中的整数位置的像素，来确定位于解码帧中的非整数位置像素的像素值。在具有非整数位置的像素处于在解码帧中封装的第一投影面和第二投影面之间的边缘处或附近的情况下，插值滤波器使用的像素可以包括从第一投影面中选择的至少一个像素和从第二投影面选择的至少一个像素。如果第一种360度投影布局中的第一投影面和第二投影面是在连接边缘处具有图像内容连续性的连续面，由于采用360VR投影，则跨越第一投影面和第二投影面之间的边缘的物体可能会严重失真。如此一来，插值滤波器使用的像素可能属于不同的对象，从而导致转换帧中产生伪影。

[0066] 为解决上述问题，本发明提出了一种创新的投影布局设计，其在连续投影面之间创建并插入边缘填充，以减少由用于投影布局转换的插值而引入的伪影。图9是根据本发明的实施例的第三种360VR系统的示意图。转换电路923包括在目的电子设备904中，以将具有一种360VR投影布局的解码帧IMG'转换为具有不同的360VR投影布局的转换帧IMG”。例如，解码帧IMG'可以是将投影面封装为金字塔投影布局的帧，转换后的帧IMG”可以是将投影面封装为等矩形投影(ERP)布局的帧。源电子设备902中的转换电路914用于根据全向图像/视频内容S_IN生成具有360VR投影布局L_VR的基于投影的帧IMG。值得注意的是，解码帧IMG'是解码的基于投影的帧，其具有由转换电路914采用的相同的360VR投影布局L_VR。在该实施例中，360VR投影布局L_VR由具有连续投影面之间的边缘填充的创新投影布局来设置。具体地，填充电路915包括在转换电路914中，并且被设置为在连续投影面之间创建并插入一个填充区域，以减少由错误插值抽头引起的伪影。

[0067] 请结合参考图3和图10。图10是在图3所示的基于视埠的金字塔投影布局302中，跨越两个连续投影面连接边缘的多个对象的示意图。关于图3中所示的基于视埠的金字塔投影布局302，在侧部投影面R'的斜边S51和基部投影面FR的边S14之间存在图像内容连续性边缘，在侧部投影面R'的直角边S52和侧部投影面U'的直角边S23之间存在图像内容连续性边缘，在侧部投影面R'的直角边S53和侧部投影面B'的直角边S42之间存在图像内容连续性边缘，在侧部投影面L'的直角边S33和侧部投影面U'的直角边S22之间存在图像内容连续性边缘，在侧部投影面L'的直角边S32和侧部投影面B'的直角边S43之间存在图像内容连续性边缘。假设当由视频捕获设备112捕获时，对象1002，1004，1006，1008，和1010中的每一个为直(straight)的形状。由于金字塔投影的固有特性，对象1002在侧部投影面R'和基部投影面FR之间的图像内容连续性边缘处弯曲(bent)，对象1004在侧部投影面R'和U'之间的图像内容连续性边缘处弯曲，对象1006在侧部投影面B'和L'之间的图像内容连续性边缘处弯曲，对象1008在侧部投影面B'和R'之间的图像内容连续性边缘处弯曲，并且对象1010在侧部投影面L'和U'之间的图像内容连续性边缘处弯曲。当将具有基于视埠的金字塔投影布局302的解码帧转换为具有不同投影布局的转换帧时，针对任何图像内容连续性边缘执行的垂直/水平插值，都可能由于使用位于垂直/水平方向的相邻像素设置的错误的插值抽头，而将伪影引入转换帧中。

[0068] 为了有效地减少伪影，可以在投影布局中的连续投影面之间的每个图像内容连续性边缘周围引入填充，并且用于投影格式转换的插值抽头可以使用填充的像素。例如，通过360-VR投影将全向图像/视频内容映像到投影面上，其中投影面包括第一投影面和第二投影面，如果第一投影面的第一边与第二投影面的第一边连接，则在第一投影面的第一边和第二投影面的第一边之间存在图像内容连续性边缘。填充电路915产生至少一个填充区域，其中包括第一填充区域。转换电路914组合上述投影面和该至少一个填充区域，其中该第一填充区域与第一投影面的第一边和第二投影面的第一边连接，用于将第一投影面的第一边和第二投影面的第一边隔离开。

[0069] 图11是根据本发明的实施例的在连续投影面之间具有边缘填充的基于视埠的金字塔投影布局的示意图。例如，转换电路914使用的360VR投影布局L_VR可以由图11所示的提出的金字塔投影布局1102来设置。填充电路915将填充区域PR_1添加到侧部投影面R'和基部投影面FR之间的图像内容连续性边缘处，将填充区域PR_2添加到侧部投影面R'和U'之间的图像内容连续性边缘处，将填充区域PR_3添加到侧部投影面U'和L'之间的图像内容连续性边缘处，将填充区域PR_4添加到侧部投影面B'和L'之间的图像内容连续性边缘处，并添加填充区域PR_5到侧部投影面B'和R'之间的图像内容连续性边缘处。

[0070] 在第一种示例性边缘填充设计中，填充电路915将几何填充应用于基部投影面FR和侧部投影面R'，以确定填充区域PR_1中包括的像素的像素值；将几何填充应用于侧部投影面R'和U'，以确定填充区域PR_2中包括的像素的像素值；将几何填充应用于侧部投影面U'和L'，以确定填充区域PR_3中包括的像素的像素值；将几何填充应用于侧部投影面对L'和B'，以确定填充区域PR_4中包括的像素的像素值；并将几何填充应用于侧部投影面B'和R'，以确定填充区域PR_5中包括的像素的像素值。

[0071] 因此，填充区域PR_1包括从基部投影面FR的一个边延伸的一个几何映像区域(geometry mapping region)和从侧部投影面R'的一个边延伸的另一个几何映像区域；填充区域PR_2包括从侧部投影面R'的一个边延伸的一个几何映像区域和从侧部投影面U'的一个边延伸的另一几何映像区域；填充区域PR_3包括从侧部投影面U'的一个边延伸的一个几何映像区域和从侧部投影面L'的一个边延伸的另一几何映像区域；填充区域PR_4包括从侧部投影面L'的一个边延伸的一个几何映像区域和从侧部投影面B'的一个边延伸的另一几何映像区域；填充区域PR_5包括从侧部投影面B'的一个边延伸的一个几何图形区域和从侧部投影面R'的一个边延伸的另一几何图形区域。如上所述，通过将球体(例如，图2中所示的球体202)上的区域的内容映像到几何映像区域上，来获得从投影面的一个边延伸的几何映像区域，其中位于球体上的该区域与获得投影面的区域相邻。

[0072] 在第二种示例性边缘填充设计中，填充电路915通过复制包括在基部投影面FR中的像素的像素值和包括在侧部投影面R'中的像素的像素值来设置填充区域PR_1中包括的像素的像素值，通过复制包括在侧部投影面R'中的像素的像素值和包括在侧部投影面U'中的像素的像素值来设置填充区域PR_2中包括的像素的像素值，通过复制包括在侧部投影面U'中的像素的像素值和包括在侧部投影面L'中的像素的像素值来设置包括在填充区域PR_3中的像素的像素值，通过复制包括在侧部投影面L'中的像素的像素值和包括在侧部投影面B'中的像素的像素值来设置包括在填充区域PR_4中的像素的像素值，并通过复制包括在侧部投影面B'中的像素的像素值和包括在侧部投影面R'中的像素的像素值来设置包括在填充区域PR_5中的像素的像素值。

[0073] 因此，填充区域PR_1包括从基部投影面FR的一个边延伸的一个复制区域和从侧部投影面R'的一个边延伸的另一复制区域；填充区域PR_2包括从侧部投影面R'的一个边延伸的一个复制区域和从侧部投影面U'的一个边延伸的另一个复制区域；填充区域PR_3包括从侧部投影面U'的一个边延伸的一个复制区域和从侧部投影面L'的一个边延伸的另一复制区域；填充区域PR_4包括从侧部投影面L'的一个边延伸的一个复制区域和从侧部投影面B'的一个边延伸的另一个复制区域；填充区域PR_5包括从侧部投影面B'的一个边延伸的一个复制区域和从侧部投影面R'的一个边延伸的另一个复制区域。

[0074] 如上所述，可以在投影布局中的连续投影面之间的每个图像内容连续性边缘周围的引入填充，并且用于投影格式转换的插值抽头可以使用填充的像素。值得注意的是，图11中所示的基于视埠的金字塔投影布局1102仅仅是一个例子。实际上，添加填充到连续投影面之间的图像内容连续性边缘的概念可以应用于其他投影布局，包括基于立方体的投影布局，基于三角形的投影布局，赤道圆柱投影布局等。

[0075] 图12是根据本发明的实施例的在连续投影面之间具有边缘填充的赤道圆柱投影布局的示意图。图13是根据本发明的实施例的在连续投影面之间具有边缘填充的四面体投影布局的示意图。图14是根据本发明的实施例的在连续投影面之间具有边缘填充的八面体投影布局的示意图。图15是根据本发明的实施例的在连续投影面之间具有边缘填充的立方体投影布局的示意图。图16是根据本发明的实施例的在连续投影面之间具有边缘填充的截断的正方形金字塔投影布局的示意图。图17是根据本发明的实施例的在连续投影面之间具有边缘填充的基于视埠的立方体投影布局的示意图。所提出的投影布局中的边缘填充区域如图12-图17中的粗线所示。

[0076] 如果第一投影面的第一边与第二投影面的第一边连接，则在第一投影面的第一边和第二投影面的第一边之间存在图像内容连续性边缘。但是，跨越投影布局中连续投影面的物体可能会遇到严重的失真。结果，投影格式转换所使用的插值可能由于错误的插值抽头而引入伪影。如上所述，可以使用几何映像来创建填充区域，该填充区域与第一投影面的第一边和第二投影面的第一边连接，以将第一投影面的第一边与第二投影面的第一边隔离开。填充区域包括从第一投影面的第一边延伸的第一几何映像区域和从第二投影面的第一边延伸的第二几何映像区域。通过将球体(例如，图2中所示的球体202)上的区域的内容映像到几何映像区域上，来获得从投影面的一个边延伸的几何映像区域，其中球体上的区域与获得投影面的区域相邻。如果第一几何映像区域与第二几何映像区域连接，则在填充区域的第一几何映像区域和第二几何映像区域之间会出现图像内容不连续边缘，并且可能对编码效率产生影响。为了减轻由几何映射生成的边缘填充引起的编码效率降低，可以创建混合区域并将其插入填充区域中的第一几何映像区域和第二几何映像区域之间。

[0077] 图18是根据本发明的实施例的在连续投影面之间具有边缘填充的另一基于视埠的金字塔投影布局的示意图。类似于图11中所示的基于视埠的金字塔投影布局1102，基于视埠的金字塔投影布局1802包括插入在基部投影面FR和侧部投影面R'之间的填充区域，插入在侧部投影面R'和U'之间的填充区域，插入在侧部投影面U'和L'之间的填充区域，插入在侧部投影面L'和B'之间的填充区域，以及插入在侧部投影面B'和R'之间的填充区域。在该实施例中，插入在基部投影面FR和侧部投影面R'之间的填充区域包括从基部投影面FR的一个边延伸的一个几何映像区域PR_11，从侧部投影面R'的一个边延伸的另一个几何映像区域PR_12，以及插入在几何映像区域PR_11和PR_12之间的一个混合区域BL_1；插入在侧部投影面R'和U'之间的填充区域包括从侧部投影面R'的一个边延伸的一个几何映像区域PR_21，从侧部投影面U'的一个边延伸的另一个几何映像区域PR_22，以及插入在几何映像区域PR_21和PR_22之间的一个混合区域BL_2；插入在侧部投影面U'和L'之间的填充区域包括从侧部投影面U'的一个边延伸的一个几何映像区域PR_31，从侧部投影面L'的一个边延伸的另一个几何映像区域PR_32，以及插入在几何映像区域PR_31和PR_32之间的一个混合区域BL_3；插入在侧部投影面B'和L'之间的填充区域包括从侧部投影面B'的一个边延伸的一个几何映像区域PR_41，从侧部投影面L'的一个边延伸的另一个几何映像区域PR_42，以及插入在几何映像区域PR_41和PR_42之间的一个混合区域BL_4；插入在侧部投影面R'和B'之间的填充区域包括从侧部投影面R'的一个边延伸的一个几何映像区域PR_51，从侧部投影面B'的一个边延伸的另一个几何映像区域PR_52，以及插入在几何映像区域PR_51和PR_52之间的一个混合区域BL_5。

[0078] 在一个示例性混合设计中，可以通过对从几何映像区域(例如，PR_11和PR_12)获得的像素进行混合(插值)来生成混合区域(例如，BL_1)。在另一示例性混合设计中，可以通过将混合区域的第一几何映像结果和混合区域的第二几何映像结果进行混合来生成混合区域(例如，BL_1)，其中混合区域的第一几何映像结果是从一个几何映像区域(例如，PR_11)扩展得到的，并且混合区域的第二几何映像结果是从另一个几何映像区域(例如，PR_
12)扩展得到的。然而，这些仅用于说明目的，并不意味着是对本发明的限制。

[0079] 如图9所示，填充电路915包括在编码器侧(即，源电子设备902)的转换电路914中。因此，在编码之前执行边缘填充。在替代设计中，可以在编码之后执行边缘填充。也就是说，填充电路可以实现在解码器侧，用于将边缘填充添加到解码帧，该解码帧具有封装在不具有边缘填充的投影布局中的多个投影面。

[0080] 图19是根据本发明的实施例的第四种360VR系统的示意图。360VR系统900和1900之间的主要区别在于，编码器侧(即，源电子设备1902)的转换电路1914没有用于边缘填充的填充电路，以及解码器侧(即，目的电子设备1904)的转换电路1923具有用于边缘填充的填充电路1924。转换电路1914采用的360VR投影布局L_VR由不具有边缘填充的投影布局来设置。因此，从解码电路122生成的解码帧IMG'是基于投影的帧，其具有封装在不具有边缘填充的投影布局中的多个投影面。填充电路1924的功能和操作与填充电路915的功能和操作相同/相似。例如，填充电路1924生成一个填充区域，该填充区域被添加到在解码帧IMG'中封装的连续投影面之间的图像内容连续性边缘。具体地，封装在解码帧IMG'中的投影面包括第一投影面和第二投影面，其中第一投影面的第一边与第二投影面的第一边连接，并且在第一投影面的第一边和第二投影面的第一边之间存在图像内容连续性边缘。填充电路1924产生至少一个填充区域，其中包括第一填充区域。转换电路1923将由解码电路122产生的解码帧IMG'中的投影面和由填充电路1924产生的填充区域组合起来，其中第一填充区域与第一投影面的第一边和第二投影面的第一边连接，用于将第一投影面的第一边与第二投影面的第一边隔离开。在生成具有边缘填充的投影布局(例如，图11-图17中所示的投影布局之一)的帧之后，转换电路1923将具有边缘填充的投影布局(例如，具有边缘填充的金字塔投影布局)的帧转换为具有不同投影布局的转换帧IMG”(例如，不具有边缘填充的典型ERP布局)。

[0081] 如上所述，由于在连续投影面之间的边缘上的物体可能被所采用的360VR投影严重扭曲的事实，可能由错误的插值抽头引入伪影。为解决这个问题，一种解决方案是使用在连续投影面之间具有边缘填充的投影布局设计，以减少由用于投影布局转换的插值引入的伪影。本发明还提出了一种替代解决方案，其改变插值方向以实现减少由用于投影布局转换的插值引入的伪影的相同目的。

[0082] 图20是根据本发明的实施例的投影布局转换的示意图。由转换电路923/1923执行的投影布局转换包括用于将第一种360VR投影格式的投影布局L_VR1转换为第二种360VR投影格式的投影布局L_VR2的格式转换操作。例如，投影布局L_VR1可以是基于视埠的金字塔投影布局，并且投影布局L_VR2可以是ERP布局。在图20中，位于具有投影布局L_VR2的转换帧IMG”中的整数位置(即(x，y)，其中x和y是整数位置)的像素P被映射到位于具有投影布局L_VR1的解码帧中的非整数位置(即(x'，y')，其中x'不是整数位置和/或y'不是整数位置)的像素Q。也就是说，转换电路923/1923可以将转换帧中的像素P由解码帧中的像素Q转换得到。转换电路923/1923可以通过使用插值滤波器来处理位于解码帧中的整数位置处的像素，以确定于解码帧中的非整数位置处的像素Q的像素值。

[0083] 假设具有非整数位置的像素Q位于具有投影布局L_VR1的解码帧中封装的第一投影面和第二投影面之间的边缘处或附近，插值滤波器使用的像素可以包括从第一投影面选择的至少一个像素和从第二投影面选择的至少一个像素。如果在第一投影布局L_VR1中封装的第一投影面和第二投影面是在两者之间的边缘处具有图像内容连续性的连续面，则由于采用360VR投影，跨越第一投影面和第二投影面之间的边缘的物体可能会严重失真。例如，像素P1，P2和P3位于具有投影布局L_VR1的解码帧中的整数位置，其中像素P1和P3位于沿着投影的方向并且属同一对象，并且像素P2和P3位于沿着直线方向(例如，垂直方向)并且属于不同的物体。如果通过沿垂直方向对像素(包括P2和P3)执行垂直插值来确定像素Q的像素值，则由于错误的插值抽头而在像素P的整数位置处引入伪影。为解决该问题，转换电路923/1923被布置为改变插值方向，使得通过沿投影方向对像素(包括P1和P3)执行插值来确定像素Q的像素值。在该示例中，投影方向不是作为直线方向的原始插值方向。

[0084] 在基于视埠的投影布局(例如，基于视埠的金字塔投影布局，截断的正方形金字塔投影布局或基于视埠的立方体投影布局)中封装的投影面包括对应于用户的视端口(即，主视图)的第一投影面和对应于非主视图的第二投影面。例如，采用图3中所示的基于视埠的金字塔投影布局302作为示例，基部投影面FR对应于主视图，并且四个侧部投影面U'，B'，L'和R'对应于非主视图。由于用户关注的内容是主视图投影面中表示的图像内容，因此在主视图投影面中表示的图像内容比在非主视图投影面中表示的图像内容更重要。基于这样的观察，本发明提出将平滑滤波应用于在非主视图投影面中表示的图像内容的至少一部分(即，部分或全部)，以减少伪影并提高编码效率。

[0085] 图21是根据本发明的实施例的第五种360VR系统的示意图。编码器侧(即，源电子设备2102)的转换电路2111根据全向图像/视频内容S_IN生成具有360VR投影布局L_VR的基于投影的帧IMG。在该实施例中，360VR投影布局L_VR由基于视埠的投影布局(例如，基于视埠的金字塔投影布局，截断的正方形金字塔投影布局或基于视埠的立方体投影布局)设置。因此，基于投影的帧IMG具有封装在基于视埠的投影布局中的主视图投影面和多个非主视图投影面。源电子设备2102还具有耦接在转换电路2111和视频编码器116之间的平滑滤波器2112。平滑滤波器2112被布置为对在非主视图投影面中所表示的图像内容的至少一部分(即，部分或全部)应用平滑滤波，并输出平滑滤波帧IMG”到视频编码器116。例如，平滑滤波器2112可以是能够应用不同平滑滤波操作(例如，具有不同强度的平滑滤波)到在非主视图投影面中表示的图像内容中的不同区域的自适应平滑滤波器。视频编码器116是用于编码/压缩平滑滤波帧IMG”以产生比特流BS的一部分的编码电路。此外，视频编码器116经由传输装置103将比特流BS输出到目的电子设备104。平滑滤波器(例如，自适应平滑滤波器)2112的进一步细节描述如下。

[0086] 图22是根据本发明的实施例的基于视埠的金字塔投影布局中的经度线和纬度线的分布的示意图。经度和纬度ERP地图(longitude and latitude ERP map)将转换为基于视埠的金字塔投影布局。部分图像2202由对应于主视图的基部投影面表示，并且部分图像2204由对应于非主视图的四个侧部投影面表示。不同的水平视场(field of view，FOV)范围可以由图22中所示的经度线定义。不同的垂直FOV范围可以由图22中所示的纬度线定义。
因此，可以根据FOV范围将非主视图的部分图像2204划分为若干区域。

[0087] 图23是根据本发明的实施例的非主视图的部分图像2204的第一分区设计的示意图。部分图像2204中的区域可以由垂直FOV范围(vFOV)和水平FOV范围(hFOV)来定义。在该实施例中，部分图像2204被划分为多个区域RA，RB，RC和RD。区域RA具有由vFOV≥180°和hFOV≥180°限定的FOV范围。区域RB具有由180°>vFOV≥150°和180°>hFOV≥150°限定的FOV范围。区域RC具有由150°>vFOV≥120°和150°>hFOV≥120°限定的FOV范围。区域RD具有由120°>vFOV≥90°和120°>hFOV≥90°限定的FOV范围。然而，这仅用于说明目的，并不意味着是对本发明的限制。实际上，可以根据FOV范围的不同组合将部分图像2204划分成多个区域。

[0088] 区域RD中表示的图像内容比区域RC中表示的图像内容更接近主视图，区域RC中表示的图像内容比区域RB中表示的图像内容更接近主视图，并且区域RB中表示的图像内容比区域RA中表示的图像内容更接近主视图。因此，平滑滤波器2112将具有第一平滑滤波强度S1的第一平滑滤波操作应用于区域RD，将具有第二平滑滤波强度S2的第二平滑滤波操作应用于区域RC，将具有第三平滑滤波强度S3的第三平滑滤波操作应用到区域RB，并且将具有第四平滑滤波强度S4的第四平滑滤波操作应用于区域RA，其中S4>S3>S2>S1。当采用更强的平滑滤波强度时，从平滑滤波器2112输出更模糊的区域，并且可以使用更少数量的位来编码。当采用较弱的平滑滤波强度时，从平滑滤波器2112输出较少模糊的区域，并且可以使用较大数量的位对其进行编码。

[0089] 为了简化平滑滤波器2112的实际实现，可以采用矩形边界来定义部分图像2204中的多个区域。图24是根据本发明的实施例的非主视图的部分图像2204的第二分区设计的示意图。可以从垂直FOV范围(vFOV)和水平FOV范围(hFOV)计算部分图像2204中的区域的矩形边界。在该实施例中，根据矩形边界将部分图像2204划分为多个区域RA'，RB'，RC'和RD'。例如，图24中所示的区域RA'可以与图23中所示的区域RA相同。因此，区域RA'是具有由vFOV≥180°和hFOV≥180°定义的FOV范围的正方形区域。图24中所示的区域RB'小于图23中所示的区域RB，其中区域RB'的外矩形边界完全在由180°>vFOV≥150°和180°>hFOV≥150°限定的FOV范围内。图24中所示的区域RC'小于图23中所示的区域RC，其中区域RC'的外矩形边界完全在由150°>vFOV≥120°和150°>hFOV≥120°限定的FOV范围内。图24中所示的区域RD'大于图23中所示的区域RD，其中区域RD'的内矩形边界不完全在由120°>vFOV≥90°和120°>hFOV≥90°限定的FOV范围内。

[0090] 区域RD'中表示的图像内容比区域RC'中表示的图像内容更接近主视图，区域RC'中表示的图像内容比区域RB'中表示的图像内容更接近主视图，并且在区域RB'中表示的图像内容比在区域RA'中表示的图像内容更接近主视图。因此，平滑滤波器2112将具有第一平滑滤波强度S1'的第一平滑滤波操作应用于区域RD'，将具有第二平滑滤波强度S2'的第二平滑滤波操作应用于区域RC'，将具有第三平滑滤波强度S3'的第三平滑滤波操作应用于区域RB'，并将具有第四平滑滤波强度S4'的第四平滑滤波操作应用于区域RA'，其中S4'>S3'>S2'>S1'。当采用更强的平滑滤波强度时，从平滑滤波器2112输出更模糊的区域，并且可以使用更少数量的位来编码。当采用较弱的平滑滤波强度时，从平滑滤波器2112输出较少模糊的区域，并且可以使用较大数量的位对其进行编码。

[0091] 图25是根据本发明的实施例的从ERP布局导出的基于视埠的投影布局的示意图。ERP布局2502可以直接转换为所提出的基于视埠的投影布局2504。可以通过球体(例如，图2中所示的球体202)的全向图像/视频内容的等角矩形投影获得单个投影面。可以通过ERP布局2502的经度来定义不同的水平FOV范围。可以通过ERP布局2502的纬度来定义不同的垂直FOV范围。因此，ERP布局2502中的单个投影面根据FOV范围被划分为多个区域(用字母标记为“A”，“B”，“C”，“D”，“E”和“F”)。在该实施例中，区域“A”的图像内容对应于用户的视端口(即，主视图)，并且区域“B”-“F”的图像内容对应于非主视图。图25中的符号“vFOV 90”表示vFOV＝90°。图25中的符号“vFOV 180”表示vFOV＝180°。图25中的符号“hFOV 90”符号表示hFOV＝90°，并且图25中的符号“hFOV 180”表示hFOV＝180°。在该示例中，区域“A”具有由vFOV 90和hFOV 90定义的FOV范围。然而，区域“A”可以是可调节的，其中hFOV和vFOV可在{0°，180°}的范围内调节。

[0092] 在ERP布局2502中的单个投影面被划分为区域“A”-“F”之后，对区域“B”-“F”中的每一个进行适当的重采样以调整其形状和/或尺寸，然后区域“A”和重采样区域“B”-“F”被封装到基于视埠的投影布局2504中。值得注意的是字母“A”/“B”/“C”/“D”/“E”/“F”的方向，表示由字母“A”/“B”/“C”/“D”/“E”/“F”标记的相应区域的方向。

[0093] 所属领域中具有普通技术人员将容易地观察到，可以在不偏离本发明的范围和精神的情况下，可以对装置和方法进行各种变形。因此，上述公开内容应被解释为仅受所附权利要求的范围和界限的限制。

标题	发布/更新时间	阅读量
用于减少基于投影的帧中的伪影的方法和装置	2020-05-08	473
一种3D打印高强度Al-Cr-Sc合金	2020-05-11	45
一种基于Hololens的远程手术指导装置及操作方法	2020-05-12	701
利用像素移位的抽取式残像补偿	2020-05-12	926
一种禾本科植物抗倒伏有机水溶肥制造工艺	2020-05-13	569
具有物理视频面板的同步全息显示和3D对象	2020-05-11	626
一种融合AR技术的多维合成指挥系统	2020-05-11	682
一种利用声障原理络合有机碘工艺	2020-05-13	537
一种基于混合现实的实时监控方法及装置	2020-05-08	655
一种可降低氮氧化物的含硫尾气分级焚烧炉	2020-05-12	753

用于减少基于投影的帧中的伪影的方法和装置

用于减少基于投影的帧中的伪影的方法和装置

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：