视频编码方法和装置
专利汇可以提供视频编码方法和装置专利检索，专利查询，专利分析的服务。并且一种混合式 视频编码 器在变换域中进行 运动估计 和补偿(8)。在这种 编码器 中，从存储在变换域 帧 存储器 (7)中的以前编码的 块 (Z)计算预测块()需要大量的乘法运算。这特别适用于运动估计 算法 。根据本 发明 ，只计算候选预测块的几个DCT系数，例如DC系数和一些AC系数。在最佳 实施例 中，根据正被考虑的运动向量自适应地选择AC系数。然后比较候选预测块的计算出的系数和现时输入的图象块(Y)的相应系数，以识别最佳匹配的预测块。，下面是视频编码方法和装置专利的具体信息内容。
1.一种编码视频图象的方法，包括下列步骤：
将视频图象的图象块变换成变换系数，以及
将各经过变换的图象块的变换系数与通过把运动估计应用于以 前编码的图象所获得的预测块的相应变换系数之差进行编码，该 运动估计包括下列步骤：
计算多个候选预测块(23)，
将各候选预测块与经过变换的图象块进行比较(24)，以及
选择其中一个候选预测块作为预测块(26)，
其中，针对所述候选预测块和变换的图象块的变换系数的子集， 进行计算候选预测块的步骤(23)，以及将各候选预测块与经过变 换的图象块进行比较的步骤(24)，
其特征在于：根据与所述候选预测块相关的候选运动向量自适 应地选择所述变换系数的子集。
2.根据权利要求1的方法，其特征在于：所述变换系数的子集 包括DC系数和预定数量的AC系数。
3.根据权利要求1的方法，其特征在于：所述变换系数的子集 包括候选预测块的前M排前N个系数，M和N是分别根据所述候选运 动向量的水平和垂直分量选出的。
4.根据权利要求3的方法，其特征在于：对于具有基本上垂直 的分量的候选运动向量，N＝1，而对于具有基本上水平的分量的候 选运动向量，M＝1。
5.根据权利要求1的方法，其特征在于：所述将各候选预测块 与经过变换的图像块进行比较的步骤(24)包括比较空间上相应的 系数，预定的加权因子Wu，v加到所述空间上相应的系数。
6.根据权利要求1的方法，其特征在于：根据3维递归块匹配 算法选择所述候选预测块。
7.一种以块为基础的混合式视频编码器，包括一个用以把视频 图象的图象块变换成变换系数的变换编码电路(1)，以及一个用以 将各经过变换的图象块与通过把运动估计应用于以前编码的图象所 获得的预测块之差进行编码的预测编码器(2-8)，该预测编码器 包括一个运动估计器(8)，所述运动估计器(8)配置成：
计算多个候选预测块，
将各候选预测块与经过变换的图象块进行比较，以及
选择其中一个候选预测块作为预测块，
所述运动估计器(8)配置成针对所述候选预测块和变换的图象 块的变换系数的子集进行候选预测块的所述计算，以及将候选预测 块与经过变换的图象块进行比较，其特征在于：所述运动估计器进 一步配置成根据与所述候选预测块相关的候选运动向量自适应地选 择所述变换系数的子集。
技术领域
本发明涉及编码视频图象的方法，它包括下列步骤：把视频图象 的图象块变换成变换系数，对各经过转换的图象块的变换系数和通过 将运动估计应用于以前编码的图象所得到的预测块的相应变换系数之 差进行编码。本发明还涉及实施这种方法的装置。
背景技术
现在，正在研究开发在变换域进行预测编码。在混合式编码器的 这个实施例中，首先变换图象，然后将预测编码应用于变换系数。现 在可以省去反DCT。马里兰大学已经在互联网上(http：//dspserv.eng. umd.edu：80..\~koc\/project/Video_Coding.html)公布了这种混合 视频编码器的简化图。
先有技术的混合视频编码器的缺点在于变换域中的运动估计和 补偿比象素域中更为复杂，这是因为计算预测块涉及大量的矩阵相 乘。尤其是，运动估计是一个困难的问题。运动估计包括下列步骤： 计算多个候选预测块，将每个候选预测块与变换的图象块进行比较， 以及选择其中一个候选预测块作为预测块。对于多个候选预测块的每 一个，涉及大量的所述计算。
发明内容
将视频图象的图象块变换成变换系数，以及
将各经过变换的图象块的变换系数与通过把运动估计应用于以 前编码的图象所获得的预测块的相应变换系数之差进行编码，该运动 估计包括下列步骤：
计算多个候选预测块，
将各候选预测块与经过变换的图象块进行比较，以及
选择其中一个候选预测块作为预测块，
其中，针对所述候选预测块和变换的图象块的变换系数的子集， 进行计算候选预测块的步骤，以及将各候选预测块与经过变换的图象 块进行比较的步骤，
其特征在于：根据与所述候选预测块相关的候选运动向量自适应 地选择所述变换系数的子集。
根据本发明的另一个方面，一种以块为基础的混合式视频编码 器，包括一个用以把视频图象的图象块变换成变换系数的变换编码电 路，以及一个用以将各经过变换的图象块与通过把运动估计应用于以 前编码的图象所获得的预测块之差进行编码的预测编码器，该预测编 码器包括一个运动估计器，所述运动估计器配置成：
计算多个候选预测块，
将各候选预测块与经过变换的图象块进行比较，以及
选择其中一个候选预测块作为预测块，
所述运动估计器配置成针对所述候选预测块和变换的图象块的 变换系数的子集进行候选预测块的所述计算，以及将候选预测块与经 过变换的图象块进行比较，其特征在于：所述运动估计器进一步配置 成根据与所述候选预测块相关的候选运动向量自适应地选择所述变换 系数的子集。
本发明基于这样的认识：用于编码图象块的大多数比特通常用在 几个变换系数，这有助于将对最相似的预测块的检索限于这些系数。 从而使相乘的数量显著减少，尤其是在诸如运动补偿应用于包括四个8 ×8亮度块的16×16宏块的MPEG等的编码标准。要指出的是仍然全 部计算运动补偿的最终选择的预测块。这样就不会影响图象的质量。
有利的是，变换系数的子集包括DC系数和预定数量的邻接的AC 系数，例如构成在8×8块的左上角的2×2或3×3子矩阵的系数。子 矩阵可以沿水平方向伸展(例如2×3和3×4)，这是由于在一般视 频镜头中所看到的大多数运动都是水平的。当只计算单排或单列的系 数时，相乘的数量甚至进一步减少。
在一个最佳实施例中，系数是根据候选预测块所表示的进行选择 的，并且用其相关的候选运动向量予以表达。如果候选运动向量表示 水平运动，则选择基本上沿水平方向的伸展的子矩阵。如果候选运动 向量表示垂直运动，选择的子矩阵基本上沿垂直方向。
附图说明
图1表示根据本发明在变换域中进行运动估计的混合式编码器。
图2表示运动物体在象素域中的两个阶段。
图3表示预测块相对于变换域中以前编码的块的相对位置的实 例。
图4A-4C和5A-5D表示为进行运动估计所选的系数的子集的实 例。
图6表示一个例示图1所示的运动估计和补充电路的操作的流程 图。
图7表示预测宏块相对于变换域中以前编码的块的相对位置的实 例。
具体实施方式
在一个预测环中，量化的差系数在反量化器5中经受反量化，通 过加法器6加到现时的预测块上，且写入帧存储器7，以更新其中所 存储的以前编码的图象。存储在帧存储器7的图象块用Z表示。要指 出的是它们存储在变换域中。运动估计和运动补偿电路8接收现时的 图象块，并且在帧存储器7中搜索与所述图象块最相似的预测块Y。 这样找到的预测块的位置用运动向量mv识别，运动向量mv限定预测 块相对于现时块位置的位置。运动向量mv加到可变长度编码器4上， 成为输出比特流的一部分。
过去，常常是在象素域中进行运动补偿的。这通过图2中所示的 实例予以说明，图2中示出了运动物体10在象素域中的两个阶段。在 这幅图中示出了图象部分11和对应的图象部分12，图象部分11包括 所要编码图象的十二个8×8象素块，图象部分12则是存储在帧存储 器中的以前编码的图象。标号13表示一个所要编码的8×8象素块X， 标号14则表示帧存储器中最相似的预测块X。还示出了与预测块X相 关的运动向量mv。一旦通过运动估计找到了这个运动向量，通过从帧 存储器读出预测块X的相关象素就能轻易地获得预测块。
相比之下，图1中所示的混合解码器存储在变换域中以前编码的 图象。现在必须从存储在存储器中的系数块Z计算预测块Y的系数。 这通过图3中的实例予以说明，图3示出了要从四个基础系数块Z1、 Z2、Z3、和Z4计算预测块Y的系数。在数学表示中，预测块是从以下公 式得出的：
式中Hi和Wi是表示块Y相对于基础块的相对位置的变换矩阵。Hi和Wi 具有格式 和 的其中一个，式中I是单位矩阵，0是零 的矩阵。除了其它情况之外，公式(1)的理论背景可以在美国专利 US-A-5,408,274中找到。
预测块的系数的上述计算假设了有关矩阵H和W的知识，即运动 向量mv的知识。运动估计器(包含在图1的电路8中)的用途是确定 最相似于现时输入块的预测块的运动向量。甚至在象素域中，运动估 计也是很复杂的过程，已经作了许多研究工作，寻找成本有效和性能 良好的运动估计算法。其实，运动估计是一种将运动补偿应用于多个 候选预测块以及从所述候选预测块中选择最佳预测块的重复过程。后 文通过实例参考一种称为3维递归搜索(3DRS)块匹配算法的算法。 除了其它情况之外，申请人的美国专利US-A-5,072,293中公开了这 种算法。3DRS运动估计算法的有趣特性是只需要估算数量有限的候选 运动向量。
鉴于认识到运动估计类似于将运动补偿重复应用于多个候选预 测块，变换域中的运动补偿需要若干次计算公式(1)。这就需要大量 的乘法运算。根据本发明，只对数量有限的系数按照公式(1)进行各 候选预测块的计算。这就显著地减少了乘法运算的数量，使得在变换 域中运行的单片MPEG2编码器成为可行。不消说，这在数字视频处理 领域是一个巨大的跃进。
可以固定地选择用于运动估计目的的所要计算的系数。最好，它 们包括表示较低空间频率的一些AC系数和DC系数。这是由于这些系 数决定输出信号中的大多数比特，因此是最值得在差块(图1中的减 法器2的输出)被减至最少的。图4A-4C示出了最佳选择的几个实例。 在每个实例中，左上方系数是DC系数。在图4A中，这些系数构成一 个3×3(或者任何其它规模)子矩阵。在图4B中，选择的系数是折 线扫描序列的前几个系数。鉴于已经获得的用于折线扫描系数块的电 路，这种选择是很有好处的。在图4C中，子矩阵沿水平方向伸展。根 据在平面视频镜头中所看到的大多数运动都是水平运动的特性，后一 种选择是有益的。
在本发明的最佳实施例中，根据正被估算的候选运动向量自适应 地选择为了运动估计目的所要计算的系数。如果候选运动向量表示水 平运动(如果以前已经发现基本水平运动，在3DRS算法中就会是这种 情况)，就选择沿水平方向伸展的子矩阵。在图5A和5B中示出了它 的实例。如果候选运动向量表示垂直运动，如图5C和5D所示，子矩 阵沿垂直方向伸展。图5B和5D所示出的实例是特别有利的，这是由 于计算单排或单列的系数对节省乘法运算的数量是非常有帮助的(构 成单排的8个系数计算起来比构成2×4子矩阵的8个系数更经济)。 还要指出的是所选择的AC系数与DC系数不一定要邻接。由于少量的 运动在差块中表现为较高的空间频率(图1中的减法器2的输出)， 估算表示少量运动的较高空间频率的AC系数的值也可以是有利的。
现在描述(图1)运动估计和运动补偿电路8的运行情况。由于 必须连续地进行多个各自涉及若干计算的相同运算，这个电路最好作 为微处理器控制的运算单元予以实施。这种单元的结构对于本领域的 技术人员是熟知的，因此就不详细予以说明。为了公开本发明，图6 表示由控制运算单元的微处理器执行的运算的流程图。假定采用3DRS 运动估计算法，预先知道候选运动向量mvk(k＝1......K)。
在第一步20，处理器确定考虑DCT系数的哪个子集用于运动估计 过程。如上文所已经讨论的，可以固定地选择(参阅图4A-4C)或者 根据候选运动向量自适应地(参阅图5A-5D)选择这个集。在步2 0中， 用表示它们在系数矩阵中的位置的指数(u＝0......7，v＝0.......7)表示 系数。
在步21中2，微处理器选择候选运动向量mvk的其中之一。然后， 在步22中，处理器从帧存储器中检索出四个作为与这个运动向量相关 的候选预测块的基础的系数块。根据公式(1)，所述四个块表示为 Z1......Z4。
在步23中，根据公式(1)计算候选预测块的相关系数。这些系 数表示为yu，v。要指出的是只计算具有在考虑了在步20中所确定的指 数(u，v)的系数yu，v。
在步24中，微处理器将系数yu，v的集与现时输入块的相应系数yu，v 相比较。其结果作为现时候选运动向量mvk的相似物指示符Rk。在这个 实例中，相似物指示符表示变换域中的输入块和候选预测块之间的平 均绝对差：
式中Wu，v是表示各系数的相对相关性的加权因子。在诸如MPEG等的视 频压缩方案中，量化器矩阵提供适当的加权因子。在一个简单的实施 例中，所有加权因子wu，v可以设定为一。
在步25中，测试是否所有候选运动向量mvk(k＝1......K)都以这种 方式予以处理。只要情况不是这样，对于其它的候选运动向量mvk重复 步21-24。如果已经处理了所有的候选运动向量，运动估计过程进行 步26，在步26中，确定在所存储的相似物指示符Rk(k＝1......K)中哪 一个具有最小值。现在已经识别出候选预测块中最佳匹配的一个，运 动估计过程就结束了。
运算单元现在进行运动补偿。为此，在步30中再次选择刚找到的 最佳匹配预测块的运动向量mvk。在步31中，从帧存储器中重新读出 四个基础块Z1......Z4。在步32中，根据公式(1)计算预测块Y的所有 系数。注意在这步32与在运动估计过程中宣称相似的步23的区别。 在步32中，计算所有的系数，而步23只用于几个系数。块Y加到混 合式编码器的减法器2(参阅图1)。
在上述实施例中，候选预测块与作为基础的以前编码的块具有相 同的规模。诸如H.263的某些编码标准提供一种选择(“高级运动估 计”)，以传输各8×8块的运动向量。上述实施例可以根据这个标准 在混合式编码器中有利地予以实施。诸如MPEG的其它编码标准为每个 包括四个8×8块的宏块传输一个运动向量。对于这些编码标准，运动 根估计和补偿的过程稍微不同，现在参照图7予以说明。
图7表示一个包括四个8×8块Y1-Y4的(候选)预测宏块40。 现在宏块覆盖九个以前编码的系数块Z1-Z9。为了算出宏块的系数， 根据公式(1)从其四个基础块个别地计算每个8×8块。再如上所述参 照图6进行运动估计和运动补偿过程。为了运动动偿的目的，(在步32 中)计算所有的系数(总共4×64)。为了运动补偿的目的，只计算 所选择的系数(步23)，从输入的宏块中取出相应的系数，用以确定 相似物指示符(步25)。
总之，公开了一种在变换域中进行运动估计和运动补偿的(8)的 的混合式编码器。在这种编码器中，从存储在变换域帧存储器7的以 前编码的块(Z)计算预测块(Y)需要大量的乘法运算。这特别应用 于运动估计算法。根据本发明，只计算候选预测块的几个DCT系数， 例如DC系数和一些AC系数。在最佳的实施例中，根据正被考虑的运 动向量自适应地选择AC系数。然后比较候选预测块的计算的系数和现 时输入的图象块(Y)的相应的系数，以识别最佳匹配的预测块。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仿信鸽地貌感知归巢机制的无人机自主导航方法 | 2020-05-12 | 527 |
| 一种AVS2视频编解码标准优化方案 | 2020-05-14 | 664 |
| 一种语义驱动的相机定位与地图重建方法和系统 | 2020-05-15 | 328 |
| 用于视频编码的运动估计的系统和方法 | 2020-05-15 | 844 |
| 一种计算机视频数据处理方法 | 2020-05-14 | 140 |
| 视频图像处理方法、装置、设备及存储介质 | 2020-05-15 | 360 |
| 一种基于FPGA的机载吊舱实时图像场景锁定装置及方法 | 2020-05-08 | 462 |
| 一种视频图像超分辨率重建方法及装置 | 2020-05-11 | 422 |
| 一种遥测数据和视频图像数据的离线同步方法及装置 | 2020-05-11 | 483 |
| 运动估计的方法、装置、电子设备及计算机可读存储介质 | 2020-05-08 | 133 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
