色度去块的方法
阅读：990发布：2020-05-11
专利汇可以提供色度去块的方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及按 块 形式编码的视频画面的解码。与H.264/AVC所使用的特征不同，是根据另外的特征来确定在编码的 色度 块之间使用去块滤波。，下面是色度去块的方法专利的具体信息内容。
1.一种在视频解码中用于减小块方式编码视频画面中第一和第 二色度块之间的块效应的方法，其特征在于：
如果所述第一和第二色度块中至少一个是内编码的，则在所述第 一和第二色度块之间边界的每侧在与所述边界相邻的像素上执行去块 滤波操作，或者
如果在包括具有非零变换系数的一个或多个块的相邻块的集合中 包含所述第一和第二色度块中的至少一个，则在所述第一和第二色度 块之间边界的每侧在与所述边界相邻的像素上执行去块滤波操作。
2.如权利要求1的方法，其特征在于：执行去块操作的步骤还包 括：
对于跨所述边界的每个像素，通过下述公式计算Δ值：
Δ＝(c-4d+4e-f)/8
其中d是所述第一色度块中最靠近所述边界的像素位置，c是所述 第一色度块中第二靠近所述边界的像素位置，e是所述第二色度块中最 靠近所述边界的像素位置，f是所述第二色度块中第二靠近所述边界的 像素位置，通过查找剪辑表执行所述Δ值的剪辑，当编码视频画面时所使用 的所述Δ值和量化值作为输入，并且标记Δ的值(Δ’)作为输出，
通过加或减所述标记Δ的值来修改所述最靠近的像素位置。
技术领域
背景技术
在各种应用，如电视会议、网络开会、TV广播和可视电话等，都 使用运动画面的实时传输。
但是，表示运动画面需要大量的信息，因为数字图像一般通过用 8位(1字节)表示画面中的每个像素来描述。这样的未压缩视频数据 造成大的位量，并且由于带宽受限不能在常规的通信网络和传输线路 上进行实时传输。
因此，实现实时的视频传输要求很大程度的数据压缩。而数据压 缩会损坏图像质量。因此，已经做了大量工作以开发压缩技术，使得 可在有限带宽的数据连接上进行实时高质量视频传输。
在图像压缩系统中，主要目的是用尽可能小的存储容量表示视频 信息。存储容量用位(bit)定义，或是固定的值或是位数/时间单位。 在这两种情况中，主要目的数减少位的数目。
在MPEG*和H.26*标准中说明了最常用的视频编码方法。在传输 前视频数据经过四个主要的处理，即，预测，变换，量化和熵编码。
预测处理显著减小在待传送的视频序列中每个画面所需的位量。 它利用该序列的部分与序列的其他部分的相似性。由于预测器部分对 编码器和解码器是已知的，所以仅传输其差异。这个差异一般要求很 小的用于表示它的存储容量。预测主要基于表示移动的向量。预测处 理一般按方块规模(如16×16像素)来进行。应注意，在某些情况， 使用基于相同画面中相邻像素预测，而不是前面画面的像素预测。这 称为内(intra)预测，与互(inter)预测相反。因此，当通过内预测编 码块中的像素时，块被称为内编码的。
表示成数据块(如4×4像素)的残差(residual)仍含有内相关。利 用这一点的熟知的方法是进行两维块变换。在H.263中，使用8×8离 散余弦变换(DCT)，而H.264使用4×4整数型变换。这将4×4的像 素变换成4×4变换系数，通常能够用比像素表示更少的位数来表示它 们。具有内部相关的4×4像素矩阵的变化可能会造成变换系数的4×4 块具有比原始4×4像素块更少的非零值。
对许多应用来说，变换系数的直接表示仍然成本太高。为了进一 步降低数据表示，进行量化处理。因此，对变换系数进行量化。量化 的简单形式是用数来除参数值，产生可以用更少的位表示的更小的数。 应注意，这种量化处理使得重构的图像序列稍不同于未压缩的序列。 这个现象称为“有损编码”。从量化部分获得的结果称为量化的变换 系数。
熵编码指的是指不同类型参数的无损表示，这些参数如附加数据 (overhead data)或系统说明、预测数据(通常是运动向量)和来自量 化处理的量化变换系数。后者通常表示最大的位消耗。
这种编码在视频画面的块形式的部分上进行。宏块由几个用于亮 度以及用于色度的子块构成。通常存在两个色度分量(Cr，Cb)，与亮 度相比具有一半的水平和垂直分辨率。在图1中，宏块由16×16亮度 像素和各带有8×8像素的两个色度分量构成。每个分量进一步分成4×4 块，它们用小方块表示。为了编码，亮度和色度4×4块读组成8×8的 子块，并用标号Y0～Y3和Cr、Cb来标记。
当前的视频标准H.261、H.262、H.263、H.264/AVC、MPEG1、 MPEG2、MPEG4都使用基于块的编码。这就是，根据签名编码和解码 的画面的基于块的预测，以及残差信号的基于块的编码。
基于块的编码/解码业已证明上很有效的。但是，缺点之一是，重 构的图像会具有对应于预测和残差信号编码中所使用块的可见的块效 应(artifact)。这个现象通常被称为块化(blocking)或块化效应。
但是，表示运动画面需要大量的信息，因为数字图像一般通过用 8位(1字节)表示画面中的每个像素来描述。这样的未压缩视频数据 造成大的位量，并且由于带宽受限不能在常规的通信网络和传输线路 上进行实时传输。
因此，实现实时的视频传输要求很大程度的数据压缩。而数据压 缩会损坏图像质量。因此，已经做了大量工作以开发压缩技术，使得 可在有限带宽的数据连接上进行实时高质量视频传输。
在图像压缩系统中，主要目的是用尽可能小的存储容量表示视频 信息。存储容量用位(bit)定义，或是固定的值或是位数/时间单位。 在这两种情况中，主要目的数减少位的数目。
在MPEG*和H.26*标准中说明了最常用的视频编码方法。在传输 前视频数据经过四个主要的处理，即，预测，变换，量化和熵编码。
预测处理显著减小在待传送的视频序列中每个画面所需的位量。 它利用该序列的部分与序列的其他部分的相似性。由于预测器部分对 编码器和解码器是已知的，所以仅传输其差异。这个差异一般要求很 小的用于表示它的存储容量。预测主要基于表示移动的向量。预测处 理一般按方块规模(如16×16像素)来进行。应注意，在某些情况， 使用基于相同画面中相邻像素预测，而不是前面画面的像素预测。这 称为内(intra)预测，与互(inter)预测相反。因此，当通过内预测编 码块中的像素时，块被称为内编码的。
表示成数据块(如4×4像素)的残差(residual)仍含有内相关。利 用这一点的熟知的方法是进行两维块变换。在H.263中，使用8×8离 散余弦变换(DCT)，而H.264使用4×4整数型变换。这将4×4的像 素变换成4×4变换系数，通常能够用比像素表示更少的位数来表示它 们。具有内部相关的4×4像素矩阵的变化可能会造成变换系数的4×4 块具有比原始4×4像素块更少的非零值。
对许多应用来说，变换系数的直接表示仍然成本太高。为了进一 步降低数据表示，进行量化处理。因此，对变换系数进行量化。量化 的简单形式是用数来除参数值，产生可以用更少的位表示的更小的数。 应注意，这种量化处理使得重构的图像序列稍不同于未压缩的序列。 这个现象称为“有损编码”。从量化部分获得的结果称为量化的变换 系数。
熵编码指的是指不同类型参数的无损表示，这些参数如附加数据 (overhead data)或系统说明、预测数据(通常是运动向量)和来自量 化处理的量化变换系数。后者通常表示最大的位消耗。
这种编码在视频画面的块形式的部分上进行。宏块由几个用于亮 度以及用于色度的子块构成。通常存在两个色度分量(Cr，Cb)，与亮 度相比具有一半的水平和垂直分辨率。在图1中，宏块由16×16亮度 像素和各带有8×8像素的两个色度分量构成。每个分量进一步分成4×4 块，它们用小方块表示。为了编码，亮度和色度4×4块读组成8×8的 子块，并用标号Y0～Y3和Cr、Cb来标记。
当前的视频标准H.261、H.262、H.263、H.264/AVC、MPEG1、 MPEG2、MPEG4都使用基于块的编码。这就是，根据签名编码和解码 的画面的基于块的预测，以及残差信号的基于块的编码。
基于块的编码/解码业已证明上很有效的。但是，缺点之一是，重 构的图像会具有对应于预测和残差信号编码中所使用块的可见的块效 应(artifact)。这个现象通常被称为块化(blocking)或块化效应。
发明内容
本发明公开一种视频解码的方法，用于在块形式编码的视频画面 中的第一和第二色度块之间减少的块效应，其中如果第一和第二色度 块至少一个是内编码的，则在所述第一和第二色度块之间的边界每侧 在与所述边界相邻的像素上执行去块滤波操作，或如果在包括具有非 零变换系数的一个或多个块的相邻块的集合中包括所述第一和第二色 度块的至少一个，则在所述第一和第二色度块之间的边界每侧在与所 述边界相邻的像素上执行去块滤波操作。
附图说明
为了更易于理解本发明，下面的讨论参考下面的图和表：
图1示出编码时如何划分16×16亮度像素和带有8×8像素的相应 两个色度分量的宏块；
图2示出两个块之间边界和相邻像素位置处的线；和
图3是出自H.264/AVC规范的剪辑(clipping)表。
附图说明
为了更易于理解本发明，下面的讨论参考下面的图和表：
图1示出编码时如何划分16×16亮度像素和带有8×8像素的相应 两个色度分量的宏块；
图2示出两个块之间边界和相邻像素位置处的线；和
图3是出自H.264/AVC规范的剪辑(clipping)表。
具体实施方式
本发明是消除块化效应和量化噪音的现有技术方法的改进。该方 法在ITU-T Rec.H.264|ISO/IEC14496-10AVC中说明，下面说明其基本 概念。
在H.264/AVC中，在编码循环(coding loop)中应用自适应去块 滤波器(deblocking filter)。也就是说，在经滤波的图像上执行进一步 的预测。设计该滤波器尽可能多地消除块化效应和量化噪音，并尽可 能保持图像内容。把量化噪音和图像内容分离常常是个难题。这就是 为什么滤波器是高度内容自适应的原因，并且计算操作是复杂的。
在图2中，示出在两个画面块之间的边界。字母d和e表示在该 边界每侧上的两个相邻像素位置，其他字母表示与这两个最先提到的 像素最接近的6个水平像素。根据H.264/AVC，像素b、c、d、e、f、 g可以根据每个像素的值和该边界本身的特征来修改。这种修改是为了 补偿上面提到的块效应。因此，仅在块效应可能发生时进行这种修改。 当检测到下面情况中的一个或多个时，在两个块之间可能发生块效应：
a)如果在边界每侧的两个块中的任何一个是内编码，即根据本画 面中已编码块来编码的。
b)如果在边界每侧的两个块中的任何一个包括非零变换系数。
c)如果用于预测边界每侧块的运动向量的大小超过特定阈值。
当上述测试指示了块效应，则对跨边界的每个像素线执行平滑操 作。该操作通过从靠近该边界的像素计算Δ值开始。使用图2中的像 素标记，Δ值的公式是：
Δ＝(c-4d+4e-f)/8
然后该Δ值用于剪辑(clipping)过程，产生标记Δ的值。该标记 Δ的值依赖于在当前编码中使用的量化值，即，量化间隔的大小，并 依赖上述列出的判据。根据H.264/AVC，通过在指定的表中查找来发 现剪辑。图3示出来自H.264/AVC规范的这样的表的例子。在该表中， 标引A对应于量化值，并且bS＝1、2、3分别对应于判据c、b、a。因 此，用于判定的判据a、b、c也表述边界特征。例如，如果量化值是 32，边界特征符合判据b，这对应于bS＝2，则该表指出值2。这表示， 应在间隔{-2，2}内剪辑带标记Δ的值。即，当Δ大于2时，标记Δ的值 应被赋予值2，当Δ小于-2时，带标记Δ值被赋予值-2，以及当Δ在 {-2，2}内时，标记Δ的值被赋予Δ值。
最后，标记Δ的值用于修改靠近所述边界的像素。例如，d和e 的新值计算如下：
d′＝d+Δ′， e′＝e-Δ′
在各亮度块上执行上面列出的判据，但还确定其结果以用于相应 的色度块。使用如上所述的相同的滤波过程，但是在较少的像素上执 行。
如上所述进行去块滤波是H.264中最需要资源的操作之一。即使 色度滤波相对简单，色度滤波也代表这种计算工作负担的大部分。例 如，由于亮度边缘特征也用于色度，色度滤波必须考虑与亮度滤波一 样多的边缘特征。
通常情况是这样，同亮度去块滤波相比，色度去块滤波产生少得 多的感观(subjective)质量改进。
最终，依赖相应亮度去块滤波的H.264中的当前色度去块滤波的 定义导致次佳的色度去块滤波。
根据对色度去块滤波的需要比对亮度去块滤波的需要小的事实， 本发明公开一种确定边界特征的简化方法。对当前的H.264/AVC的情 况，色度去块滤波较之相应的亮度去块滤波使用得不频繁，并且它仅 取决于色度编码特征本身，而不依赖于亮度滤波。
根据本发明，上面列出的确定判据由新的确定判据代替，新的确 定判据用于确定是否进行去块滤波。与当前的H.264/AVC相反，该判 据用于色度块特征。在本发明的一个实施例中，在检测到以下情况时 块效应可能发生在两个块之间：
d)在块边界每侧的各块中至少一个必须是内编码的。
在本发明第二实施例中，在检测出下述情况时，在两个块之间可 能发生块效应。
e)在块边界每侧的至少一个块是其中非零变换系数用于色度画面 重构的块的集合的一部分。
注意，在e)判据中的术语块集合可以是对一个特定色度分量的的 一个单独的块，对于每个色度分量(Cr，Cb)或几个色度分量的块集 合(宏块)。
在本发明第三实施例中，当d)和e)的组合发生时，在两个块之间 可能发生块效应。
在本发明优选实施例中，对于残差信号的8×8色度块编码，修改 块边界每侧上最多2像素，即，图2中的cdef。对于残差信号的4×4 块编码，修改块边界每侧上最多1个像素，即图2中的de.
如在当前的H.264/AVC中所述的，执行包括Δ和剪辑的平滑边缘 的像素计算。
但是，由于本发明优选地调查了一种特征，所以能够使用比图3 所示的表更简化的表。为此用途的简化的表可以是图3的表中对应于 bS＝3的行。
在H.264/AVC中，在编码循环(coding loop)中应用自适应去块 滤波器(deblocking filter)。也就是说，在经滤波的图像上执行进一步 的预测。设计该滤波器尽可能多地消除块化效应和量化噪音，并尽可 能保持图像内容。把量化噪音和图像内容分离常常是个难题。这就是 为什么滤波器是高度内容自适应的原因，并且计算操作是复杂的。
在图2中，示出在两个画面块之间的边界。字母d和e表示在该 边界每侧上的两个相邻像素位置，其他字母表示与这两个最先提到的 像素最接近的6个水平像素。根据H.264/AVC，像素b、c、d、e、f、 g可以根据每个像素的值和该边界本身的特征来修改。这种修改是为了 补偿上面提到的块效应。因此，仅在块效应可能发生时进行这种修改。 当检测到下面情况中的一个或多个时，在两个块之间可能发生块效应：
a)如果在边界每侧的两个块中的任何一个是内编码，即根据本画 面中已编码块来编码的。
b)如果在边界每侧的两个块中的任何一个包括非零变换系数。
c)如果用于预测边界每侧块的运动向量的大小超过特定阈值。
当上述测试指示了块效应，则对跨边界的每个像素线执行平滑操 作。该操作通过从靠近该边界的像素计算Δ值开始。使用图2中的像 素标记，Δ值的公式是：
Δ＝(c-4d+4e-f)/8
然后该Δ值用于剪辑(clipping)过程，产生标记Δ的值。该标记 Δ的值依赖于在当前编码中使用的量化值，即，量化间隔的大小，并 依赖上述列出的判据。根据H.264/AVC，通过在指定的表中查找来发 现剪辑。图3示出来自H.264/AVC规范的这样的表的例子。在该表中， 标引A对应于量化值，并且bS＝1、2、3分别对应于判据c、b、a。因 此，用于判定的判据a、b、c也表述边界特征。例如，如果量化值是 32，边界特征符合判据b，这对应于bS＝2，则该表指出值2。这表示， 应在间隔{-2，2}内剪辑带标记Δ的值。即，当Δ大于2时，标记Δ的值 应被赋予值2，当Δ小于-2时，带标记Δ值被赋予值-2，以及当Δ在 {-2，2}内时，标记Δ的值被赋予Δ值。
最后，标记Δ的值用于修改靠近所述边界的像素。例如，d和e 的新值计算如下：
d′＝d+Δ′， e′＝e-Δ′
在各亮度块上执行上面列出的判据，但还确定其结果以用于相应 的色度块。使用如上所述的相同的滤波过程，但是在较少的像素上执 行。
如上所述进行去块滤波是H.264中最需要资源的操作之一。即使 色度滤波相对简单，色度滤波也代表这种计算工作负担的大部分。例 如，由于亮度边缘特征也用于色度，色度滤波必须考虑与亮度滤波一 样多的边缘特征。
通常情况是这样，同亮度去块滤波相比，色度去块滤波产生少得 多的感观(subjective)质量改进。
最终，依赖相应亮度去块滤波的H.264中的当前色度去块滤波的 定义导致次佳的色度去块滤波。
根据对色度去块滤波的需要比对亮度去块滤波的需要小的事实， 本发明公开一种确定边界特征的简化方法。对当前的H.264/AVC的情 况，色度去块滤波较之相应的亮度去块滤波使用得不频繁，并且它仅 取决于色度编码特征本身，而不依赖于亮度滤波。
根据本发明，上面列出的确定判据由新的确定判据代替，新的确 定判据用于确定是否进行去块滤波。与当前的H.264/AVC相反，该判 据用于色度块特征。在本发明的一个实施例中，在检测到以下情况时 块效应可能发生在两个块之间：
d)在块边界每侧的各块中至少一个必须是内编码的。
在本发明第二实施例中，在检测出下述情况时，在两个块之间可 能发生块效应。
e)在块边界每侧的至少一个块是其中非零变换系数用于色度画面 重构的块的集合的一部分。
注意，在e)判据中的术语块集合可以是对一个特定色度分量的的 一个单独的块，对于每个色度分量(Cr，Cb)或几个色度分量的块集 合(宏块)。
在本发明第三实施例中，当d)和e)的组合发生时，在两个块之间 可能发生块效应。
在本发明优选实施例中，对于残差信号的8×8色度块编码，修改 块边界每侧上最多2像素，即，图2中的cdef。对于残差信号的4×4 块编码，修改块边界每侧上最多1个像素，即图2中的de.
如在当前的H.264/AVC中所述的，执行包括Δ和剪辑的平滑边缘 的像素计算。
但是，由于本发明优选地调查了一种特征，所以能够使用比图3 所示的表更简化的表。为此用途的简化的表可以是图3的表中对应于 bS＝3的行。
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
色度热门专利
QQ群二维码
意见反馈
意见反馈