向后兼容的HDR视频多层压缩技术
阅读：152发布：2020-05-12
专利汇可以提供向后兼容的HDR视频多层压缩技术专利检索，专利查询，专利分析的服务。并且可缩放编码系统将 视频编码 为 基层 表示和增强层表示。基层 编码器 可编码源视频的LDR表示。预测器可从经编码的基层数据来预测源视频的HDR表示。比较器可生成表示源视频的HDR表示与源视频的预测HDR表示之间的差异的预测残差。量化器可将残差向下量化到LDR表示。增强层编码器可编码LDR残差。在其他实施方案中，增强层编码器可直接编码LDR转换的HDR视频。，下面是向后兼容的HDR视频多层压缩技术专利的具体信息内容。
1.一种视频编码器，包括：
基层编码器，所述基层编码器用于编码视频序列的第一表示；
比较器，所述比较器具有用于所述视频序列的第二表示的输入并且具有用于预测视频数据的输入，所述第二表示相比所述第一表示具有较高动态范围；
层间预测器，所述层间预测器从所述基层编码器以所述较高动态范围生成的编码视频数据来生成所述预测视频数据；
选择器，所述选择器选择来自所述比较器的输出或者所述视频序列的第二表示用于输入到量化器；
量化器，所述量化器将由所述选择器选择的来自所述比较器或者所述视频序列的第二表示的数据向下量化到较低动态范围；和
增强层编码器，所述增强层编码器对从所述量化器输出的数据进行编码。
2.根据权利要求1所述的视频编码器，还包括转换器，所述转换器具有用于所述视频序列的第二表示的输入，以将所述视频序列的第二表示转换为所述视频序列的第一表示。
3.根据权利要求1所述的视频编码器，其中所述量化器基于所述选择器是否选择来自所述比较器的输出而被控制。
4.根据权利要求1所述的视频编码器，其中所述量化器使用不同的量化值来量化来自所述视频序列的公共帧的数据的两个部分。
5.根据权利要求1所述的视频编码器，还包括参数选择器，所述参数选择器联合地选择所述基层编码器和所述增强层编码器的编码参数。
6.根据权利要求5所述的视频编码器，其中所述编码参数为速率分配、帧类型、模式判决以及对预测基准的选择中的一者。
7.根据权利要求5所述的视频编码器，其中所述编码参数为时间编码帧次序和帧组(GOP)结构中的一者。
8.根据权利要求1所述的视频编码器，还包括失真建模器，所述失真建模器用于基于对编码的增强层数据的失真的估计来控制所述量化器，所述失真的估计基于所述量化器、所述增强层编码器和所述基层编码器的失真。
9.根据权利要求1所述的视频编码器，其中所述基层编码器和所述增强层编码器是在基层编码和增强层编码之间基于时间共享操作的同一编码器。
10.一种方法，包括：
在基层中对源视频的第一表示进行编码，
从编码的第一表示来预测所述源视频的第二表示，所述第二表示相比所述第一表示具有较高动态范围，
从处于所述较高动态范围的源视频与所预测的第二表示的比较来生成残差，选择所述残差或者所述第二表示作为增强层数据，
将所述增强层数据量化到较低动态范围，所述增强层数据为所述残差或者所述第二表示，以及
在增强层中对所量化的所述增强层数据进行编码。
11.根据权利要求10所述的方法，还包括将处于所述较高动态范围的输入源视频下变换以生成所述源视频的第一表示。
12.根据权利要求10所述的方法，还包括联合地选择基层编码和增强层编码的编码参数。
13.根据权利要求12所述的方法，其中所述编码参数为速率分配、帧类型、模式判决以及对预测基准的选择中的一者。
14.根据权利要求12所述的方法，其中所述编码参数为时间编码帧次序和帧组(GOP)结构中的一者。
15.根据权利要求10所述的方法，还包括：
对所述源视频的第二部分进行量化和增强层编码而不生成残差，
其中编码的增强层数据包括标记，以将对具有残差的视频数据应用了增强层编码的部分与对不具有残差的视频数据应用了增强层编码的另一部分进行区别。
16.根据权利要求15所述的方法，其中所述量化按照所述标记的指示对不具有残差的视频数据比具有残差的视频数据使用相对较大的步长大小。
17.根据权利要求15所述的方法，其中所述增强层编码按照所述标记的指示针对所述视频数据的出现在不具有残差的所述视频数据的区域与具有残差的视频数据的区域之间的边界处的部分禁用帧内编码。
18.根据权利要求10所述的方法，其中所述量化针对所述源视频的公共帧的不同部分应用不同量化值。
19.根据权利要求10所述的方法，其中所述量化从基层编码的编码参数导出量化值。
20.根据权利要求10所述的方法，还包括基于量化、增强层编码和基层编码的失真来估计经增强层编码的数据的失真。
21.一种视频解码器，包括：
基层解码器，所述基层解码器用于解码视频序列的第一编码表示以生成处于较低动态范围的解码数据；
增强层解码器，所述增强层解码器解码所述视频序列的第二编码表示；
反向量化器，所述反向量化器将从所述增强层解码器输出的数据缩放到较高动态范围以生成第一重建视频数据；
层间预测器，所述层间预测器从所述基层解码器以所述较高动态范围生成的解码视频数据来生成预测视频数据；和
加法器，所述加法器将所述第一重建视频数据与所述预测视频数据合并以生成第二重建视频数据；以及
选择器，所述选择器选择第一重建视频数据或者第二重建视频数据作为处于所述较高动态范围的解码视频数据。
22.根据权利要求21所述的视频解码器，其中所述视频解码器具有用于处于所述较高动态范围的解码视频数据和用于处于所述较低动态范围的解码视频数据两者的视频输出。
23.根据权利要求21所述的视频解码器，其中所述视频解码器具有仅用于处于所述较高动态范围的解码视频数据的视频输出。
24.一种解码方法，包括：
解码视频序列的基层编码表示以生成处于较低动态范围的解码数据；
解码所述视频序列的增强层编码表示；
将解码的增强层数据缩放到较高动态范围以生成第一重建视频数据；
从解码的基层数据来生成处于所述较高动态范围的预测视频数据；
将第一重建视频数据与预测视频数据合并以生成第二重建视频数据；以及选择第一重建视频数据或第二重建视频数据作为处于所述较高动态范围的解码视频数据。
25.根据权利要求24所述的解码方法，其中该方法输出用于处于所述较高动态范围的解码视频数据和用于处于所述较低动态范围的解码数据两者的视频。
26.根据权利要求24所述的解码方法，其中该方法输出仅用于处于所述较高动态范围的解码视频数据的视频。
27.一种其上存储有程序指令的计算机可读介质，所述程序指令在由处理设备执行时使得该设备执行根据权利要求10-20和24-26中任一项所述的方法。
28.一种设备，包括：
处理器，以及
存储设备，在所述存储设备上存储有程序指令，所述程序指令在由所述处理器执行时使得所述处理器执行根据权利要求10-20和24-26中任一项所述的方法。
29.一种包括用于执行根据权利要求10-20和24-26中任一项所述的方法的部件的装置。
向后兼容的HDR视频多层压缩技术
[0001] 相关申请的引用
[0002] 本申请要求于2015年5月5日提交的美国专利申请14/704,707，该美国专利申请享受于2014年11月5日提交的美国临时申请62/075,563的优先权，其公开内容以引用方式并入本文。
背景技术
[0003] 本公开涉及视频编码系统，尤其涉及编码高动态范围(“HDR”)视频内容的系统。
[0004] 现代视频输送和显示系统在其可支持的视频信号的动态范围方面是不同的。如果可使用8位或10位深度颜色值限定图像数据值，较新图像处理应用生成12位或大概16位值的此类图像数据值。增大的动态范围允许比以前通过表示比低动态范围(“LDR”)表示更大范围的亮度和颜色信息更细量化水平来呈现图像内容。因此，对HDR图像内容的支持可以更高图像质量支持视频输送和显示。
[0007] 图2示出了根据本公开的实施方案的编码端子。
[0008] 图3示出了根据本公开的又一实施方案的系统。
[0009] 图4示出了根据本公开的另一实施方案的编码端子。
[0010] 图5示出了根据本公开的又一实施方案的编码端子。
[0011] 图6示出了根据本公开的实施方案的方法。
具体实施方式
[0012] 本公开的实施方案提供使用LDR编码器对HDR内容进行编码的技术。系统可将视频编码为基层表示以及增强层表示。基层编码器可编码源视频的LDR表示。预测器可从经编码的基层数据预测源视频的HDR表示。比较器可生成表示源视频的HDR表示与源视频的预测HDR表示之间的差异的预测残差。量化器可将残差向下量化到LDR表示。增强层编码器可编码LDR残差。在其他实施方案中，增强层编码器无需预测可直接编码LDR转换的HDR视频。
[0013] 存在此类系统的若干益处。由于仅使用低位深度编码解码器，所以较容易在设备上部署该系统而无需高位深度解码器。基层位流可使得向后兼容仅限于LDR的设备。
[0014] 图1示出了根据本公开的实施方案的系统100。系统100可包括通过通信信道190耦接的编码端子110和解码端子150。编码端子110可包括基层编码器115、层间预测器120、减法器125、开关控制器130、增强层预处理器135、非线性量化器140和增强层编码器145。解码端子150可包括基层解码器155、层间预测器160、增强层解码器165、反向非线性量化器170、增强层后处理器175、开关控制器180和加法器185。
[0015] 在图1的实施方案中，编码端子110可编码源视频的两个实例-高动态范围实例和较低动态范围实例。典型地，LDR实例表示比HDR实例较小位深度、以8位或10位值表示的颜色分量数据的视频，HDR实例可表示较高位深度(例如，10位或12位值)的图像数据。在一些实施方案中，LDR视频可被编辑用于呈现在比HDR视频具有较低动态范围的显示设备上。因此，LDR和HDR实例各自可被调节用于不同类型的显示设备，并且因此它们可具有针对此设备中的差异而定制的图像数据。
[0016] 基层编码器115可编码LDR源视频以实现比特率压缩。例如，基层编码器115可执行运动补偿预测，运动补偿预测利用LDR源视频中的空间和/或时间冗余来开发LDR源视频的压缩表示。基层编码器115可将压缩的基层视频输出到信道190。在实施方案中，基层编码器115可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0017] 基层编码器115还可解码压缩的LDR视频(未示出)用于本地使用来开发预测基准以将稍后接收的LDR源视频编码为时间预测的一部分。基层编码器115还可解码压缩的LDR视频用于本地使用在层间预测中。
[0018] 层间预测器120可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器120可生成从基层编码器115可用的解码LDR视频的HDR表示并且将HDR表示输出到减法器125。层间预测器120可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。另外，如果HDR源视频在与LDR视频比较时包括颜色偏移或强度映射以解决HDR和LDR显示环境中的差异，则层间预测器120可向解码的LDR视频施加效果以将LDR视频适应HDR视频。
[0020] 开关控制器130可选择像素残差或者HDR源视频用于输入到增强层编码器145。开关控制器130可响应于由编码端子110的控制器(未示出)执行的估计来执行其选择，该控制器估计将由基于预测的信号的编码或HDR源视频的直接编码实现的相对效率和得到的编码质量。切换判决可由输入视频的不同部分自适应地执行，诸如不同序列、场景、帧、或帧中的块。可响应于这些判决来开发切换标记，切换标记可作为包含在编码的增强层数据中的元数据流被传输到解码端子150。
[0021] 增强层预处理器135可施加预处理操作以使得HDR信号与编码的稍后阶段相符。典型地，增强层预处理器135可执行缩放和信号成形以在增强层编码器145编码之前减小分辨率以及复杂度。
[0022] 非线性量化器140可在编码之前量化输入视频。非线性量化器140可量化输入视频以将其位深度减小到适合用于增强层编码器145编码的水平。在一个示例中，增强层编码器145可基于对具有8位的位深度的输入视频数据进行编码的LDR编码器，在此类实施方案中，非线性量化器140可将其输入数据向下量化为8位的位深度。非线性量化器140可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化。量化中的变化可作为编码视频数据中的元数据报告给解码端子150。
[0023] 增强层编码器145可编码量化后的视频以实现比特率压缩。例如，增强层编码器145可执行运动补偿预测，运动补偿预测利用量化后的视频中的空间和/或时间冗余来开发量化后的视频的压缩表示。增强层编码器145可将压缩的增强层视频输出到信道190。在实施方案中，增强层编码器145可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0024] 在实施方案中，增强层编码器145可指代开关控制器130在针对输入到其中的视频数据做出编码判决时切换标记。例如，增强层编码器145可针对表示存在层间预测残差的区域以及存在HDR视频的区域之间的边界的帧的空间区禁用预测(帧内和帧间预测两者)。此类技术将有可能使得增强层编码器145更快，并且减小解码视频中不利的视觉伪影。
[0025] 类似地，非线性量化器140可在其操作中使用该标记。例如，非线性量化器140可在标记指示输入数据直接取自HDR源数据(例如，非残差数据)时使用比在标记指示输入数据由预测残差表示时相对更大的量化步长大小。
[0026] 编码端子110的元件布置可不同于图1中示出的实施例。例如，如果需要，非线性量化器140可提供在增强层处理器135的上游。另外，如果需要，增强层处理器135可提供在开关控制器130的上游，在此情况下，增强层处理器135可复制和布置在HDR源路径和像素残差路径中。在此实施方案中，增强层处理器135的操作可针对每种类型的数据而定制。
[0027] 尽管图1将基层编码器115和增强层编码器145示为独立功能块，但是在编码端子110中实现时这些单元可实现为公共的基于硬件的编码器。与基于软件的编码器相比，基于硬件的编码器典型地以高吞吐量和减小的计算资源操作。基于硬件的编码器可基于时间共享操作，在一些操作时段操作在LDR源视频上以及在其他操作时段操作在量化的HDR视频上。
[0028] 编码视频数据可分发到多种解码端子150。一些解码端子(未示出)可与LDR显示器相关联，它们仅需要接收编码的基层数据来生成解码的LDR视频用于呈现。其他解码端子150，诸如图1中示出的端子可与HDR显示器相关联并且可接收编码基层数据和编码增强层数据两者用于解码。
[0029] 图1还示出了用于解码HDR数据的解码端子150。基层解码器155可对编码基层视频进行解码以从中获得解码的视频信号。基层解码器155可颠倒编码端子110的基层编码器115施加的编码操作。基层解码器155可从中输出解码的LDR视频。
[0030] 层间预测器160可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器160可生成从基层解码器155可用的解码LDR视频的HDR表示并且将HDR表示输出到加法器185。层间预测可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。另外，如果HDR源视频在与LDR视频比较时包括颜色偏移或强度映射以解决HDR和LDR显示环境中的差异，则层间预测器160可向解码的LDR视频施加效果以将LDR视频适应HDR视频。
[0031] 增强层解码器165可对编码增强层视频进行解码以从中获得解码的视频信号。增强层解码器165可颠倒编码端子110的增强层编码器145施加的编码操作。增强层解码器165可从中输出恢复的视频。
[0032] 反向非线性量化器170可缩放由增强层解码器165输出的视频。反向非线性量化器170可缩放该视频以将其位深度返回到HDR源视频的水平。因此，如果非线性量化器140将输入数据从10位位深度量化到8位位深度，则反向非线性量化器170可将视频缩放回到10位位深度。然而，不要求输出的HDR视频的位深度匹配HDR源视频的位深度。相反，反向量化器可将该视频缩放到显示器的位深度，解码端子150与该显示器相关联。例如，如果解码端子与输出具有10位位深度的HDR视频的显示设备相关联，则反向非线性量化器170可将视频缩放到10位值，即使编码端子以12位位深度操作在HDR源视频上。反向非线性量化器170可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化，如在编码视频数据中存在的元数据所标识。
[0033] 开关控制器180可将如由包含在编码视频中的切换标记确定的视频或者直接从解码端子150输出或者输出到增强层后处理器175。如图所示，切换标记可在操作期间由编码端子110通过各种系数动态分配。因此，开关控制器180可将视频的不同部分输出到用于不同序列、场景、帧或帧中的块的不同输出。
[0034] 增强层后处理器175可施加后处理操作以改进从反向非线性量化器170输出的HDR视频的图像质量。此类后处理操作例如可包括去块滤波。
[0035] 加法器185可将从增强层后处理器175输出的像素残差添加到由层间预测器160提供的预测的像素内容。加法器185可从解码端子150输出重构帧数据。
[0036] 与编码端子110一样，解码端子150元件布置可不同于图1中示出的示例。例如，如果需要，反向非线性量化器170可提供在增强层后处理器175的下游。另外，如果需要，增强层后处理器175可提供在开关控制器180的下游，在此情况下，增强层后处理器175可复制和布置在HDR源路径和像素残差路径两者中。在此实施方案中，增强层处理器175的操作可针对每种类型的数据而定制。
[0037] 因此，编码端子110可生成包括表示LDR源视频的LDR编码的编码基层数据以及表示下变换HDR视频的LDR编码的编码增强层数据(或者HDR源视频或者与层间预测的残差)的HDR视频的编码表示。编码增强层数据可包括表示由层间预测器120、开关控制器130、增强层预处理器135和非线性量化器140做出的编码判决的元数据。来自这些单元的元数据可由解码端子150中的其对应单元消耗以颠倒其编码操作。
[0038] 图2示出了根据本公开的实施方案的编码端子200。编码端子200可编码源视频的两个实例-高动态范围实例和较低动态范围实例。再者，LDR实例可以比HDR实例较低动态范围提供源视频的表示。典型地，LDR实例表示比HDR实例较小位深度、以8位或10位值表示的颜色分量数据的视频，HDR实例可表示较高位深度(例如，10位或12位值)的图像数据。在一些实施方案中，LDR视频可被编辑用于呈现在比HDR视频具有较低动态范围的显示设备上。因此，LDR和HDR实例各自可被调节用于不同类型的显示设备，并且因此它们可具有针对此设备中的差异而定制的图像内容。
[0039] 编码端子200可包括基层编码器210、层间预测器220、减法器230、增强层预处理器240、非线性量化器250、增强层编码器260以及参数选择器270。
[0040] 基层编码器210可编码LDR源视频以实现比特率压缩。例如，基层编码器210可执行运动补偿预测，运动补偿预测利用LDR源视频中的空间和/或时间冗余来开发LDR源视频的压缩表示。基层编码器210可将压缩的基层视频输出到信道。在实施方案中，基层编码器210可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0041] 基层编码器210还可解码压缩的LDR视频(未示出)用于本地使用来开发预测基准以将稍后接收的LDR源视频编码为时间预测的一部分。基层编码器210还可解码压缩的LDR视频用于本地使用在层间预测中。
[0042] 层间预测器220可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器220可生成从基层编码器210可用的解码LDR视频的HDR表示并且将HDR表示输出到减法器230。层间预测可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。另外，如果HDR源视频在与LDR视频比较时包括颜色偏移或强度映射以解决HDR和LDR显示环境中的差异，则层间预测器220可向解码的LDR视频施加效果以将LDR视频适应HDR视频。
[0043] 减法器230可在HDR源视频的帧以及层间预测器220输出的预测视频之间执行逐像素比较。减法器230可输出表示在HDR源视频以及层间预测器220输出的预测视频之间的差异的像素残差信号。
[0044] 增强层预处理器240可施加预处理操作以使得HDR像素残差与编码的稍后阶段相符。典型地，增强层编码器可施加空间平滑滤波来在编码之前对图像内容进行平滑滤波。
[0045] 非线性量化器250可在编码之前量化输入视频。非线性量化器250可量化视频以将其位深度减小到适合用于增强层编码器260编码的水平。在一个示例中，增强层编码器260可基于对具有8位的位深度的输入视频数据进行编码的LDR编码器，在此类实施方案中，非线性量化器250可将其输入数据向下量化为8位的位深度。非线性量化器250可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化。量化中的变化可作为编码视频数据中的元数据报告给解码端子(未示出)。
[0046] 增强层编码器260可编码量化后的视频以实现比特率压缩。例如，增强层编码器260可执行运动补偿预测，运动补偿预测利用量化后的视频中的空间和/或时间冗余来开发量化后的视频的压缩表示。增强层编码器260可将压缩的增强层视频输出到信道。在实施方案中，增强层编码器260可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0047] 尽管图2将基层编码器210和增强层编码器260示为独立功能块，但是在编码端子200中实现时这些单元可实现为公共的基于硬件的编码器。与基于软件的编码器相比，基于硬件的编码器典型地以高吞吐量和减小的计算资源操作。基于硬件的编码器可基于时间共享操作，在一些操作时段操作在LDR源视频上以及在其他操作时段操作在量化的HDR视频上。
[0048] 参数选择器270可共同优化由基层编码器210和增强层编码器做出的编码判决。例如，参数选择器270可共同考虑以下编码判决中的一个或多个：
[0049] ·速率分配：参数选择器270可将源视频序列的部分其间的比特率预算共同应用到LDR和HDR视频的并置部分。联合速率分配可能会更流行，并且可用于满足对熵编码吞吐量的约束条件。
[0050] ·帧类型/编码次序/GOP结构/时间预测判决：参数选择器270可将共同编码判决(诸如编码模式、量化步长大小和预测基准的选择)应用到LDR和HDR视频的公共部分。当来自不同层的位流具有相同时间编码帧次序或者相同GOP结构时，它们可容易封装而不存在额外编码延迟。具有来自共享相同帧类型的不同层的位流在编码效率方面也会是有益的。例如，基层中的编码误差可被传播到增强层，并且因此，在增强层的编码中应用类似时间预测可对改进编码质量有贡献。作为另一示例，针对给定区域的量化步长大小可由相应基层区域中的像素值确定，如果基层编码器对图像内容的暗区域编码，则增强层编码器可利用更精细量化来量化相应的增强层视频数据。
[0051] ·块模式判决和运动估计：某些计算可在层之间共享，诸如模式判决和运动估计以减小复杂度。
[0052] 图3示出了根据本公开的另一实施方案的系统300。系统300可包括通过通信信道390耦接的编码端子310和解码端子350。图3的实施方案给出编码场景中的应用，其中基层位流无需与其他LDR显示器兼容。编码端子310可对基层和增强层两者中的源视频的单个实例-HDR源视频进行编码。在该应用中，编码端子310可对基层编码器315中的HDR源视频的最高有效位表示进行编码。增强层编码器340可对层间预测器320生成的像素残差进行编码。
[0053] 编码端子310可包括基层编码器315、层间预测器320、减法器325、增强层预处理器330、非线性量化器335、增强层编码器340以及HDR到LDR转换器345。
[0054] HDR到LDR转换器345可将HDR源视频从HDR表示转换到LDR表示。因为基层编码器315不操作在独立LDR源视频上，所以HDR到LDR转换器345无需改变HDR源视频的属性(诸如色域)。例如，基层位流可仅为向下移位到预先确定的位深度，诸如8位的HDR源视频。
[0055] 基层编码器315可编码HDR源视频的下变换表示以实现比特率压缩。例如，基层编码器315可执行运动补偿预测，运动补偿预测利用下变换源视频中的空间和/或时间冗余来开发下变换视频的压缩表示。基层编码器315可将压缩的基层视频输出到信道390。在实施方案中，基层编码器315可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0056] 基层编码器315还可解码压缩的视频(未示出)用于本地使用来开发预测基准以将稍后接收的视频编码为时间预测的一部分。基层编码器315还可解码压缩的视频用于本地使用在层间预测中。
[0057] 层间预测器320可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器320可生成从基层编码器315可用的解码视频的HDR表示并且将HDR表示输出到减法器325。在此情况下，层间预测器320可仅通过将预测视频向上移位到HDR域来实现。
[0058] 减法器325可在HDR源视频的帧以及层间预测器320输出的预测视频之间执行逐像素比较。减法器325可输出表示在HDR源视频以及层间预测器320输出的预测视频之间的差异的像素残差信号。
[0059] 增强层预处理器330可施加预处理操作以使得HDR像素残差与编码的稍后阶段相符。典型地，增强层预处理器330可执行缩放和信号成形以在增强层编码器340编码之前减小分辨率以及复杂度。
[0060] 非线性量化器335可在编码之前量化输入视频。非线性量化器335可量化视频以将其位深度减小到适合用于增强层编码器345编码的水平。在一个示例中，增强层编码器340可基于对具有8位的位深度的输入视频数据进行编码的基层编码器，在此类实施方案中，非线性量化器335可将其输入数据向下量化为8位的位深度。非线性量化器335可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化。量化中的变化可作为编码视频数据中的元数据报告给解码端子350。
[0061] 增强层编码器340可编码量化后的视频以实现比特率压缩。例如，增强层编码器340可执行运动补偿预测，运动补偿预测利用量化后的视频中的空间和/或时间冗余来开发量化后的视频的压缩表示。增强层编码器340可将压缩的增强层视频输出到信道390。在实施方案中，增强层编码器340可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0062] 尽管图3将基层编码器315和增强层编码器340示为独立功能块，但是在编码端子310中实现时这些单元可实现为公共的基于硬件的编码器。与基于软件的编码器相比，基于硬件的编码器典型地以高吞吐量和减小的计算资源操作。基于硬件的编码器可基于时间共享操作，在一些操作时段操作在LDR源视频上以及在其他操作时段操作在量化的HDR视频上。
[0063] 图3示出了用于解码HDR数据的解码端子350。解码端子350可包括基层解码器355、层间预测器360、增强层解码器365、反向非线性量化器370、增强层后处理器375和加法器380。
[0064] 基层解码器355可对编码基层视频进行解码以从中获得解码的视频信号。基层解码器355可颠倒编码端子310的基层编码器315施加的编码操作。基层解码器355可从中输出解码的LDR视频。
[0065] 层间预测器360可生成预测视频数据用于开发针对HDR源视频的预测基准。即，层间预测器360可生成从基层解码器355可用的解码LDR视频的HDR表示并且将HDR表示输出到加法器380。层间预测器360可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。
[0066] 增强层解码器365可对编码增强层视频进行解码以从中获得解码的视频信号。增强层解码器365可颠倒编码端子310的增强层编码器340施加的编码操作。增强层解码器365可从中输出恢复的视频。
[0067] 反向非线性量化器370可缩放由增强层解码器365输出的视频。反向非线性量化器370可缩放该视频以将其位深度返回到HDR源视频的水平。因此，如果非线性量化器335将输入数据从10位位深度量化到8位位深度，则反向非线性量化器370可将视频缩放回到10位位深度。然而，不要求输出的HDR视频的位深度匹配HDR源视频的位深度。相反，反向非线性量化器370可将该视频缩放到显示器的位深度，解码端子350与该显示器相关联。例如，如果解码端子与输出具有10位位深度的HDR视频的显示设备相关联，则反向非线性量化器370可将视频缩放到10位值，即使编码端子以32位位深度操作在HDR源视频上。反向非线性量化器
370可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化，如在编码视频数据中存在的元数据所标识。
370可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化，如在编码视频数据中存在的元数据所标识。
[0068] 增强层后处理器375可施加后处理操作以改进从反向非线性量化器370输出的HDR视频的图像质量。此类后处理操作例如可包括去块滤波。
[0069] 加法器380可将从增强层后处理器375输出的像素残差添加到由层间预测器360提供的预测的像素内容。加法器380可从解码端子350输出重构帧数据。
[0070] 图4示出了根据本公开的另一实施方案的编码端子400。编码端子400可编码源视频的两个实例-高动态范围实例和较低动态范围实例。LDR实例可以比HDR实例较低动态范围提供源视频的表示。典型地，LDR实例表示比HDR实例较小位深度、以8位或10位值表示的颜色分量数据的视频，HDR实例可表示较高位深度(例如，10位或12位值)的图像数据。在一些实施方案中，LDR视频可被编辑用于呈现在比HDR视频具有较低动态范围的显示设备上。因此，LDR和HDR实例各自可被调节用于不同类型的显示设备，并且因此它们可具有针对此设备中的差异而定制的图像内容。
[0071] 编码端子400可包括基层编码器410、层间预测器420、减法器430、增强层预处理器440、非线性量化器450、增强层编码器460以及预滤波器470。
[0072] 基层编码器410可编码LDR源视频以实现比特率压缩。例如，基层编码器410可执行运动补偿预测，运动补偿预测利用LDR源视频中的空间和/或时间冗余来开发LDR源视频的压缩表示。基层编码器410可将压缩的基层视频输出到信道。在实施方案中，基层编码器410可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0073] 基层编码器410还可解码压缩的LDR视频(未示出)用于本地使用来开发预测基准以将稍后接收的LDR源视频编码为时间预测的一部分。基层编码器410还可解码压缩的LDR视频用于本地使用在层间预测中。
[0074] 层间预测器420可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器420可生成从基层编码器410可用的解码LDR视频的HDR表示并且将HDR表示输出到减法器430。层间预测器420可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。另外，如果HDR源视频在与LDR视频比较时包括颜色偏移或强度映射以解决HDR和LDR显示环境中的差异，则层间预测器420可向解码的LDR视频施加效果以将LDR视频适应HDR视频。
[0075] 预滤波器470可对HDR源视频执行滤波操作以减小针对增强层的信号熵。例如，预滤波器470可平滑滤波HDR源视频。可使用各种滤波操作，只要它们保留HDR源视频信号的本地平均即可。可使用变换域滤波器，只要DC项的变化保持为低即可。例如，可使用优先在低频内容上丢弃(或减小)高频图像内容的频域滤波器。
[0076] 减法器430可在经滤波的HDR源视频以及层间预测器420输出的预测视频的帧之间执行逐像素比较。减法器430可输出表示在经滤波的源视频以及层间预测器420输出的预测视频之间的差异的像素残差信号。
[0077] 增强层预处理器440可施加预处理操作以使得HDR像素残差与编码的稍后阶段相符。典型地，增强层编码器可施加空间平滑滤波来在编码之前对图像内容进行平滑滤波。
[0078] 非线性量化器450可在编码之前量化输入视频。非线性量化器450可量化视频以将其位深度减小到适合用于增强层编码器460编码的水平。在一个示例中，增强层编码器460可基于对具有8位的位深度的输入视频数据进行编码的LDR编码器，在此类实施方案中，非线性量化器450可将其输入数据向下量化为8位的位深度。非线性量化器450可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化。量化中的变化可作为编码视频数据中的元数据报告给解码端子(未示出)。
[0079] 增强层编码器460可编码量化后的视频以实现比特率压缩。例如，增强层编码器460可执行运动补偿预测，运动补偿预测利用量化后的视频中的空间和/或时间冗余来开发量化后的视频的压缩表示。增强层编码器460可将压缩的增强层视频输出到信道。在实施方案中，增强层编码器460可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0080] 尽管图4将基层编码器410和增强层编码器460示为独立功能块，但是在编码端子400中实现时这些单元可实现为公共的基于硬件的编码器。与基于软件的编码器相比，基于硬件的编码器典型地以高吞吐量和减小的计算资源操作。基于硬件的编码器可基于时间共享操作，在一些操作时段操作在LDR源视频上以及在其他操作时段操作在量化的HDR视频上。
[0081] 图5示出了根据本公开的另一实施方案的编码端子500。编码端子500可对源视频的两个实例-HDR和LDR进行编码。LDR实例可以比HDR实例较低动态范围提供源视频的表示。典型地，LDR实例表示比HDR实例较小位深度、以8位或10位值表示的颜色分量数据的视频，HDR实例可表示较高位深度(例如，10位或12位值)的图像数据。在一些实施方案中，LDR视频可被编辑用于呈现在比HDR视频具有较低动态范围的显示设备上。因此，LDR和HDR实例各自可被调节用于不同类型的显示设备，并且因此它们可具有针对此设备中的差异而定制的图像内容。
[0082] 编码端子500可包括基层编码器510、层间预测器520、减法器530、增强层预处理器540、非线性量化器550、增强层编码器560以及失真建模器570。
[0083] 基层编码器510可编码LDR源视频以实现比特率压缩。例如，基层编码器510可执行运动补偿预测，运动补偿预测利用LDR源视频中的空间和/或时间冗余来开发LDR源视频的压缩表示。基层编码器510可将压缩的基层视频输出到信道。在实施方案中，基层编码器510可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0084] 基层编码器510还可解码压缩的LDR视频(未示出)用于本地使用来开发预测基准以将稍后接收的LDR源视频编码为时间预测的一部分。基层编码器510还可解码压缩的LDR视频用于本地使用在层间预测中。
[0085] 层间预测器520可生成预测数据用于开发针对HDR源视频的预测基准。即，层间预测器520可生成从基层编码器510可用的解码LDR视频的HDR表示并且将HDR表示输出到减法器530。层间预测可采用HDR数据信号的位深度生成解码的LDR视频的上变换表示。另外，如果HDR源视频在与LDR视频比较时包括颜色偏移或强度映射以解决HDR和LDR显示环境中的差异，则层间预测器520可向解码的LDR视频施加效果以将LDR视频适应HDR视频。
[0086] 减法器530可在经滤波的HDR源视频以及层间预测器520输出的预测视频的帧之间执行逐像素比较。减法器530可输出表示在经滤波的源视频以及层间预测器520输出的预测视频之间的差异的像素残差信号。
[0087] 增强层预处理器540可施加预处理操作以使得HDR像素残差与编码的稍后阶段相符。典型地，增强层编码器可施加空间平滑滤波来在编码之前对图像内容进行平滑滤波。
[0088] 非线性量化器550可在编码之前量化输入视频。非线性量化器550可量化视频以将其位深度减小到适合用于增强层编码器560编码的水平。在一个示例中，增强层编码器560可基于对具有8位的位深度的输入视频数据进行编码的LDR编码器，在此类实施方案中，非线性量化器550可将其输入数据向下量化为8位的位深度。非线性量化器550可对视频序列的不同部分施加不同量化水平，量化水平可随不同序列、场景、帧或帧中的块而变化。量化中的变化可作为编码视频数据中的元数据报告给解码端子(未示出)。
[0089] 增强层编码器560可编码量化后的视频以实现比特率压缩。例如，增强层编码器560可执行运动补偿预测，运动补偿预测利用量化后的视频中的空间和/或时间冗余来开发量化后的视频的压缩表示。增强层编码器560可将压缩的增强层视频输出到信道。在实施方案中，增强层编码器560可根据诸如在ITU H.263、H.264、H.265等中定义的预先确定的编码协议进行操作。
[0090] 失真建模器570可基于对可能产生于来自量化的解码视频的失真的估计改变由非线性量化器550应用的量化分布。失真建模器570可基于HDR源视频、基层编码器输出的失真估计以及其他源的统计值进行其估计。
[0091] 在一些实施方案中，非线性量化器550可利用死区量化或者可利用劳氏最大量化。非线性量化器550和相关联的反向量化器(未示出)可动态应答HDR源视频的统计值，以及像素残差信号。这可实现为区域自适应量化器，其中在信道中发信号通知添加侧信息。另选地，非线性量化器550可使用在解码器侧可用的层间预测信号Pred(压缩(BL))。
[0092] 在增强层编码中，失真建模器570可针对式子的最终HDR重构误差测量编码器引入的失真：
[0093] HDR-(Q-1(Compress(Q(EL)))+Pred(Compress(BL))) 公式1
[0094] 或者
[0095] EL-Q-1(Compress(Q(EL))) 公式2
[0096] 不只是量化域中的失真
[0097] Q(EL)-Compress(Q(EL))。 公式3
[0098] 其中Q(·)表示量化操作，Q-1(·)表示反向量化操作，Pred(·)指的是层间预测操作，Compress(·)表示单层压缩操作，EL指的是增强层内容以及BL指的是与增强层内容相关联的基层内容。由于非线性量化，这两个将不相同并且前者为对整体失真的测量。在实践中，可使用数学近似或基于LUT的技术来减小计算成本。
[0099] 图5的编码端子500还可包括诸如图4中所示的预滤波。实际上，实施方案允许在非线性量化器550之后提供预滤波器470(图4)。在此类实施方案中，失真建模还可解决可能由预滤波器引入的信号降级。
[0100] 在自适应增强层编码的情况下，量化器550可制成自适应于当前信号是层间预测残差或HDR源。由于两种类型的信号可能具有完全不同的特征，所以系统从效率上说可具有两个量化器。例如，HDR源视频可仅线性量化到8位，而层间预测残差可由8位死区量化器量化。量化器选择将被输送作为元数据流的一部分。
[0101] 尽管图5将基层编码器510和增强层编码器560示为独立功能块，但是在编码端子500中实现时这些单元可实现为公共的基于硬件的编码器。与基于软件的编码器相比，基于硬件的编码器典型地以高吞吐量和减小的计算资源操作。基于硬件的编码器可基于时间共享操作，在一些操作时段操作在LDR源视频上以及在其他操作时段操作在量化的HDR视频上。
[0102] 图6示出了根据本公开的实施方案的方法600。根据方法600，源视频的LDR表示可在基层中编码(框610)。该方法可确定是否将预测性地执行增强层编码(框620)。如果是，则该方法600可从基层数据预测源视频的HDR表示(框630)以及可从HDR源视频与预测的HDR表示的对比生成HDR残差(框640)。如果不是，或者在框640中的操作结束，该方法600可将HDR残差量化到较低动态范围(框650)。方法600随后可在增强层中对残差的LDR表示进行编码(框660)。方法600可将编码的基层和增强层数据传输到信道(框670)。
[0103] 前述讨论已在实施编码器和/或解码器的端子的情境下描述了本公开的实施方案的操作。通常，这些部件作为电子设备而提供。它们可嵌入到集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。另选地，它们可嵌入到在个人计算机、笔记本或平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序典型地存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，在那里它们在操作系统控制下被读取到处理器并且被执行。类似地，解码器可实施在集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中，或者它们可实施在个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上存储和执行的计算机程序中。解码器通常封装在消费电子设备诸如游戏系统、DVD播放器、便携式媒体播放器等中，并且它们还可封装在消费软件应用诸如视频游戏、基于浏览器的媒体播放器等中。并且，当然，这些部件可提供作为混合系统，根据需要混合系统在专用硬件部件和编程通用处理器上分发功能性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频采集设备、系统及视频信号传输方法 | 2020-05-08 | 300 |
| 使用序列结束网络抽象层单元的改进视频编码 | 2020-05-11 | 927 |
| 向后兼容的HDR视频多层压缩技术 | 2020-05-12 | 152 |
| 具有低延迟的视频编码方法及装置 | 2020-05-11 | 341 |
| 针对高效率视频编码标准的跳过编码模式提前判决方法 | 2020-05-12 | 579 |
| 一种信息中心网络多层次视频媒体系统及其使用方法 | 2020-05-08 | 529 |
| 基于Sobel算子和线性回归的高清视频编码码率控制方法 | 2020-05-08 | 694 |
| 压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
| 仿射模型的多个假设 | 2020-05-08 | 85 |
| 基于rtmp的音视频数据加解密方法、装置及可读存储介质 | 2020-05-11 | 127 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈