首页 / 专利库 / 视听技术与设备 / 运动补偿预测 / 用于进行视频图像解码的方法和装置

用于进行视频图像解码的方法和装置

阅读:423发布:2021-07-30

专利汇可以提供用于进行视频图像解码的方法和装置专利检索,专利查询,专利分析的服务。并且在一个 实施例 中,一种进行视频图像解码的方法包括如下步骤。在频域中一个压缩视频图像被向下 采样 。向 下采样 的视频图像被逆变换。在空间域中对向下采样图像进行运动位移补偿。,下面是用于进行视频图像解码的方法和装置专利的具体信息内容。

1.一种执行视频图像解码的方法,包括:
在频域中向下采样一种压缩视频图像;
反向变换该向下采样的压缩视频图像;以及
在空间域里对向下采样的压缩视频图像执行运动补偿,执行运动 补偿包括按照向下采样比率换算运动矢量,所述运动矢量规定来自宏 模参考数据的相对距离。
2.按照权利要求1所述的方法,其中在频域中的压缩视频图像包括 一种离散余弦变换图像。
3.按照权利要求2所述的方法,其中离散余弦变换图像遵照MPEG规 范存储。
4.按照权利要求3所述的方法,其中离散余弦变换图像存为一种 类型图像。
5.按照权利要求4所述的方法,其中运动补偿包括帧预测类型运 动补偿。
6.按照权利要求3所述的方法,其中离散余弦变换图像存为一种 域类型图像。
7.按照权利要求6所述的方法,其中运动补偿包括域预测类 型运动补偿。
8.按照权利要求1所述的方法,进一步包括显示向下采样的空间图 像以便得到在向下采样空间图像中的数据信号行的非均匀垂直线间距 离,其中向下采样空间图像在计算机监视器上呈现均匀。
9.按照权利要求1所述的方法,其中向下采样使用一个整数比率执 行。
10.按照权利要求1所述的方法,其中换算运动矢量包括执行一种 内插法操作。
11.按照权利要求10所述的方法,其中内插法操作包括一种双线性 插值法操作。
12.按照权利要求11所述的方法,其中双线性插值法操作在三维管 线硬件上实现。
13.按照权利要求1所述的方法,其中向下采样包括用一种线性滤波 器实现一种双线性插值法操作。
14.按照权利要求13所述的方法,其中双线性插值法操作在三维管 线硬件上实现。
15.一种执行视频图像解码的方法,包括:
反向变换一种压缩视频图像;
在空间域里对反向变换的压缩视频图像向下采样;以及
在该空间域里对于该向下采样的反向变换的压缩视频图像执行运 动补偿,执行运动补偿包括按照向下采样比率换算运动矢量,所述运 动矢量规定来自宏模块参考数据的相对距离。
16.按照权利要求15所述的方法,其中压缩视频图像包括一种离散 余弦变换图像。
17.按照权利要求16所述的方法,其中离散余弦变换图像遵照MPEG 规范存储。
18.按照权利要求17所述的方法,其中离散余弦变换图像包括存为 帧宏模块的宏模块以及存为域宏模块的宏模块。
19.按照权利要求18所述的方法,进一步地包括:在空间域里向下 采样之前转换该帧宏模块为域宏模块。
20.按照权利要求18所述的方法,其中运动补偿包括域预测类型运 动补偿。
21.按照权利要求15所述的方法,其中换算运动矢量包括实现一种 内插法操作。
22.按照权利要求21所述的方法,其中内插法操作包括一种双线性 插值法操作。
23.按照权利要求22所述的方法,其中双线性插值法操作在三维管 线硬件上实现。
24.按照权利要求15所述的方法,其中向下采样包括用一种线性滤 波器实现一种双线性插值法操作。
25.按照权利要求24所述的方法,其中双线性插值法操作在三维管 线硬件上实现。

说明书全文

技术领域

发明涉及视频处理并尤其涉及视频图像。

背景技术

由于实现的限制,在视频解码中使用的运动位移补偿硬件典型的 设计为一个特定的视频图像分辨率。例如,如果没有限制,MPEG2 规范,ISO/IEC 13818-2 MPEG-2视频编码标准,“Information technology-Generic coding of moving pictures and associated audio information:Video”,1995年3月,下文称为“MPEG2”,可强制使 用720×480每秒30的视频分辨率。在传统设计中,典型的执行解 码的引擎只在压缩视频比特流规定的视频分辨率上生成图像。由于保 存解码图像使用存储空间数量的原因,更高分辨率的压缩视频比特 流,例如用于数字电视(DTV)内容的MPEG2比特流,将不能运行 在这样的系统上。如果有足够的存储空间在全部规定的分辨率上进行 解码,且用户选择在一个计算机平台上用较小的窗口浏览视频,例 如,在显示时把解码图像实际尺寸压缩,则因此,实际上就仍使用分 辨率解码。因此,需要有一种方法或技术让一个系统操作或产生视频 分辨率而不是由提供视频或图像数据的压缩视频比特流规定分辨 率。

发明内容

本发明提供了一种执行视频图像解码的方法,包括:
在频域中向下采样一种压缩视频图像;
反向变换该向下采样的压缩视频图像;以及
在空间域里对向下采样的压缩视频图像执行运动补偿,执行运动 补偿包括按照向下采样比率换算运动矢量,所述运动矢量规定来自宏 模参考数据的相对距离。
本发明还提供了一种执行视频图像解码的方法,包括:
反向变换一种压缩视频图像;
在空间域里对反向变换的压缩视频图像向下采样;以及
在该空间域里对于该向下采样的反向变换的压缩视频图像执行 运动补偿,执行运动补偿包括按照向下采样比率换算运动矢量,所述 运动矢量规定来自宏模块参考数据的相对距离。
本发明还提供了一种存储指令的存储介质,当执行指令进行操作 时包括以下步骤:
在频域中向下采样一种压缩视频图像;
反向变换该向下采样的压缩视频图像;以及
在空间域里对于向下采样的反向变换的压缩视频图像执行运动 补偿,执行运动补偿包括按照向下采样比率换算运动矢量,所述运动 矢量规定来自宏模块参考数据的相对距离。
本发明还提供了一种存储指令的存储介质,当执行指令进行操作 时包括以下步骤:
反向变换一种压缩视频图像;
在空间域里向下采样该反向变换的压缩视频图像;以及
在空间域里对于该向下采样的反向变换的压缩视频图像执行运 动补偿,执行运动补偿包括按照向下采样比率换算运动矢量,所述运 动矢量规定来自宏模块参考数据的相对距离。
附图说明
本发明的主题被特别的指出并在详述的结束部分明确提出了权 利要求。而关于本发明的组织结构和操作方法,目标,特性及其中的 优势,在利用其中附图阅该时,可参考下列详述获得最佳的理解:
图1是一个描述压缩数字视频图像解码传统流线实施例的框 图;
图2是一个描述按照本发明进行视频图像解码的装置的实施例框 图;
图3是一个描述在宏模块上按照本发明的方法进行视频解码应用 实施例的结果的示意图。
图4是一个描述在宏模块上按照本发明的方法进行视频解码应用 另一实施例的结果的示意图。
图5是一个描述在宏模块上按照本发明的方法进行视频解码应用 另一实施例的结果的示意图。
图6是一个描述在宏模块上按照本发明的方法进行视频解码应用 另一实施例的结果的示意图。
图7是一个描述用于实现按照本发明的方法进行视频解码的实施 例的硬件实施例的框图
图8通过覆盖图描述图7来示意性描述3维视图流水线的对应实 施例。
图9是一个描述象素双线性内插操作的示意图,例如可应用于按 照本发明进行视频解码的方法实施例中。
图10是一个描述双线性内插实施例的框图,例如可应用于按照 本发明进行视频解码的方法实施例中。
图11是一个描述与视频显示子系统耦合的视频解码器子系统实 施例的框图,例如可应用于按照本发明进行视频解码的方法实施例 中。
图12是一个具有均匀定位区域的规则交错视频数据的空间位置 情况示意图,其中在底部区域中的线段定位于顶部区域的两线段之间 的中间处,例如可应用于按照本发明的实施例中。
图13是一个具有非均匀定位区域的规则交错视频数据的空间位 置情况示意图,其中在底部区域中的线段定位于顶部区域两相邻线段 之间的1/4处,例如可应用于按照本发明的实施例中。
图14是一个具有非均匀定位区域的规则交错视频数据的空间位 置情况示意图,其中在底部区域中的线段定位于顶部区域两相邻线段 之间的1/8处,例如可应用于按照本发明的实施例中。
图15是一个描述用于均匀定位交错的视频源的基于DDA的垂直 定标操作结果的示意图,例如可应用于按照本发明的实施例中。
图16是一个描述用于非均匀定位交错的视频源的基于DDA的垂 直定标操作结果的示意图,例如可应用于按照本发明的实施例中。

具体实施方式

为了提供对发明的全面理解,在接下来的详细描述中会提出大量 特别的细节。然而,本领域的技术人员可以理解本发明可以不需要这 些特殊细节而被实施。在其它情况,公知的方法,过程,元件和电路 没有详细描述以便避免使本发明模糊不清。
按照惯例,如前所示一个通常为指定的最大分辨率所设计的视频 解码和显示系统典型的不运行在规定较高视频分辨率的比特流上。同 样如果一个用户选择在较小的窗口浏览视频,压缩比特流按惯例在显 示时实现,因此,仍然会产生全分辨率解码。因为全分辨率解码伴随 着规模减小,所以就以附加计算,附加存储,附加存储带宽及在显示 时的复杂的规模压缩的形式增加了成本,如果比特流的规模压缩可以 不需要全分辨率解码而实现,则上述的增加的成本是值得的。
在这点上虽然本发明在范围上不受限制,图7是一个描述硬件运 动位移补偿引擎实施例的示意图,其中硬件运动位移补偿引擎可用于 实现按照本发明进行视频解码方法的实施例。例如下面将更详细的描 述,一个三维(3D)流水线可用于有效执行运动位移补偿,如图8中 所示,虽然其它的硬件平台而不是3D流水线可用于实现执行按照本 发明的实施例的视频解码的方面的例子。图7和8将在下面进行更详 细的描述。
图1是一个描述用于进行视频图像解码的传统流水线实施例的框 图。图2是一个描述按照本发明进行视频图像解码的装置的实施例框 图;在按照本发明的一个实施例中,下面将更详细描述,一个在频域 中的压缩视频图像在230处向下采样并在220处逆变换。在210处, 在空间域中在向下采样的图像上进行运动位移补偿。换句话说,下面 将更详细的描述,在240处,在频域中的压缩图像逆变换并且在空 间域中向下采样并进行运动位移补偿。虽然本发明不局限于这点的范 围,在频域中的压缩视频图像的一个例子包括一个离散余弦变换 (DCT)图像。同样,虽然本发明不局限于这点的范围,例如一个 DCT图像可与MPEG2规范一致,正象下面就要叙述的那样。关于这 点,虽然最好采样MPEG2,包括分隔图像成16×16宏模块的方式, 本发明不局限于采用MPEG的范围,包括MPEG2,采用特殊尺寸和 形状的宏模块甚至采样所有的宏模块。
如图2中所示将更详细描述,DCT图像可在被传送给运动位移补 偿引擎之前向下采样。同样,如上所示,取决于不同的因素,向下采 样可在反向DCT之前应用于该实施例中,例如在230处,或者在反 向DCT之后,例如在240处。
在特定实施例中,虽然本发明不限于这方面的范围,图2中所示 的模块在垂直线之前的以软件实现,在垂直线之后的模块以硬件实 现。按照惯例,这种可实现向下采样的视频处理过程以硬件实现;然 而,按照本发明执行视频解码的方法的实施例的优点是它提供至少部 分的由于与传统方法相比较高的处理效率以软件执行处理过程的能 。因此该方法的一个优点是它提供较高的适应性。在此实施例中, 解码器软件将向下采样的预测误差传送给运动位移补偿硬件并且运 动矢量可按照向下采样率而充分调整,如下所述。在特定实施例中, 虽然本发明在这方面不限于范围,沿着水平,垂直或者两个方向可以 提供1∶1,2∶1,4∶1和8∶1的向下采样率。使用MPEG2的特定 实施例中,由于本来的8×8MPEG2模块尺寸向下采样率限制小于8∶ 1。然而该限制不可以应用在其它替代实施例中。进一步,在替代实 施例中,甚至对于MPEG2,可实现并非2的向下采样率,例如3∶1。
如附图2中所示,运动位移补偿硬件可直接在向下采样比特流上 操作。在采样MPEG2的特定实施例中,向下采样率可以为n,其中n =1,2,4和8。在运动位移补偿处理过程中,处理的宏模块的运动 矢量规定来自要处理的宏模块参考数据的相对距离。(Vx,Vy)= (vector[r][0],vector[r][1])是原始的用于宏模块的运动矢量,其中 Vx和Vy是运动矢量的横向和纵向元素,以16比特信号值的形式存 在,虽然本发明不局限于这方面的范围。按照MPEG2的标准,Vx和 Vy的最低有效位(LSB)用于指示半象素分辨率参考值。用(DxY, DyY)指示对亮度分量的整个象素运动位移,而由(FxY,FyY)指示 对亮度分量的少量偏移。由于有限的下一象素预测,少量偏移(FxY, FyY)也可被称为半象素偏移标志。当没有对比特流的采样时,这可 通过运动矢量由如下公式算出:
D x Y = V x > > 1 , D y Y = V y > > 1 , - - - [ 1 ]


其中“>>”表示右移操作而“&”表示“逻辑与”操作。如果FxY 或者正好非零,水平内插,例如计算一个平均值,可被应用于参考象 素。如果FyY被设置,垂直内插,例如计算平均值,可被应用于参考 象素。如果均被设置,可在两个方向上应用内插。
色度运动位移也可由运动矢量信号信息的同样设置导出。对于 YUV4∶2∶0色空间格式,例如既然色度度数(Cb,Cr)图像是水平 和垂直两个方向上亮度分量图像的一半,则对于处理的宏模块亮度分 量的整个象素位移(DxC,DyC)和少量位移(FxC,FyC)可由如下确 定:
D x C = ( V x / 2 ) > > 1 , D y C = ( V y / 2 ) > > 1 , - - - [ 3 ]


其中符号‘/’表示具有向零截短结果的常整数除法。注意到在本 例中色度少量位移也可在一半亮度象素分辨率中。
忽略亮度和色度项上标(Dx,Dy)和(Fx,Fy),在实施例中 运动预测操作可以用简单的加法器和移位器以下列描述的伪代码来 实现。
MC_Prediction(p,q) { if(Fx!=1 && Fy!=1) /*full-pel prediction in both directions */ P[q][p]=R[n][m]; if(Fx==1 && Fy!=1) /*full-pel vertical,half-pel horizontal*/ P[q][p]=(R[n][m]+R[n][m+1])//2; if(Fx!=1 && Fy==1) /*half-pel vertical,full pel horizontal*/ P[q][p]=(R[n][m]+R[n+1][m])//2; if(Fx==1 && Fy==1) /*half-pel prediction in both directions */ P[q][p]=(R[n][m]+R[n][m+1]+R[n+1][m]+R[n+1][m+1])//4; }//end Mc_Prediction(p,q)
在此例中,除号“//”表示向上舍入较大的整数(舍入远离零)。 符号p和q分别代表在目标图像中沿水平和垂直方向的整型指数。符 号m和n分别代表在参考图像中沿水平和垂直方向的整型指数。参考 象素位置(m,n)可分别从运动矢量导出。参考象素位置(m,n) 可从运动矢量位移项(Dx,Dy)。
在本发明的特定实施例中,提供给向下采样比特流的运动位移补 偿的预测使用向下采样参考图像和从压缩比特流解码得到的原始运 动矢量直接执行。用于预测的运动矢量也可参考向下采样的图像通过 运动位移(DxY,DyY),(DxC,DyC)和运动少量偏移(FxY,FyY), (FxC,FyC)规定。如前所述,与传统的运动少量偏移相反,在MPEG2 中只有一个比特值,在按照本发明的特定实施例中更多的预测在向下 采样操作中保存为(FxY,FyY),(FxC,FyC)。因此,上述简单平 均值操作可由更精确的内插操作来代替,例如在一个内插实施例中, 虽然本发明不局限于这点的范围但是双线性内插单元可用于运动位 移补偿的运动预测计算中。视频和图像再现质量也可通过使用较高阶 内插单元而提高。双线性内插器典型的使用硬件多于基于平均的内插 器。然而,在表示引擎或者用于图像换算或者过滤的图像处理器的3 维(3D)结构流水线中可以发现一个共同的特性。因此在一个实施例 中,如图8所示3D流水线可包括一个双线性内插器,标记为820和 830,例如一个具有6比特内插相位值的内插器,如图10中所示。在 一个实施例中虽然本发明不局限于这点,运动位移和运动少量偏移可 通过运动矢量计算得到,运动矢量如下从压缩比特流中解码:
D x Y = V x > > Sub D x D y Y = V y > > Sub D y

D x C = ( V x / 2 ) > > Sub D x D y C = ( V y / 2 ) > > Sub D y - - - [ 5 ]




由于这些关系和实施例,可以确定至少部分的基于向下采样率的 用于二次抽样位移偏移subDx和subDy,二次采样微量掩码 FmaskDx,FmaskDy和二次采样双线性内插相移subRx和subRy。这 可在下面表1中用于具有6比特内插相位值范围。相似地,可以理解 对于具有不同内插精度的系统的值可如期导出。可以理解用于具有不 同内插过滤器而不是双线性内插过滤器的系统的相应内插参数也可 如期导出。
表1:用于设置双线性内插参数的变量,其中的参数用于向下采 样。                   向下取样率   1∶1   2∶1   4∶1   8∶1   SubDx或SubDy   1   2   3   4   FMaskDx或FMaskDy   0×01   0×03   0×07   0×0F   SubRx或SubRy   5   4   3   2
具有定义运动位移和运动微量值的上述等式,运动位移补偿预测 可通过下面的双线性内插关系而描述:
P[q][p]={(0×40-F′y)?[(0×40-F′x)?R[n][m]+Fx?R[n][m+1]]
         +Fy?[(0×40-Fx)?R[n+1][m]+Fx?R[n+1][m+1]]}//0×80
       ={
         (0×40-Fy)?[(0×40-Fx)?R[g+Dy][p+Dx]+Fx?R[g+Dy][p+Dx+1]]  [7]
         +Fy?[(0×40-Fx)?R[g+Dy+1][p+Dx]+Fx?R[g+Dy+1][p+Dx+1]]
         }//0×80.
其中参考象素位置(m,n)从运动矢量位移中导出,其中参考象 素位置(m,n)从运动位移矢量(Dx,Dy)导出。
图9表明提供给用于该实施例的重建象素的预测的4个参考象素 的空间关系。如上所示,双线性内插器的一个实施例在图10中表示。 在该实施例中,双线性内插器1001由两个线性内插器1020和1030 构成,其中1020和1030沿由另一个线性内插器1040跟随的一个空间 方向操作,1040沿正交方向操作。从线性内插器1040输出的信号穿 过舍入和饱和单元1050,该单元使输出信号转变成一个规定的有限精 度的形式,虽然本发明不局限于这点,这仅仅是一个双线性内插器实 施例中的一个例子,进一步,本发明不仅限于使用双线性内插。
对于该实施例,虽然本发明不仅局限于这一方面,但是上述的运 动位移补偿操作可通过硬件运动位移补偿系统实现,例如表示在图7 中的701。这里然而如上所述,该操作应用在宏模块基础上,这仅仅 是MPEG2的一个特性并且替代的实施例也是可能的。特定实施例的 操作这里将详细描述。指令分析程序和地址发生器单元810接收对于 给定的宏模块的运动位移补偿指令并产生目标地址并传送该目标地 址给纠正数据存储器界面单元815和目标数据存储器界面单元825。 纠正数据存储器界面单元815使用该目标地址加载来自纠正数据缓存 器(没有示出)的纠正数据。目标数据存储器界面单元825使用该目 标地址来发送来自运动位移补偿引擎的最终输出数据给目标缓存器 (没有示出)。指令分析程序和地址发生器单元810使用关于当前宏 模块和它的运动矢量信息在参考图片和图像中产生预测地址并且发 送给参考数据存储器界面单元835。参考数据存储器界面单元使用这 些加载来自前项参考缓存器或者后项参考缓存器或者既有前项参考 缓存器又有后项参考缓存器的数据(没有示出)。
指令分析程序和地址发生器单元还产生下一象素微量信息以应 用于双线性内插单元820和830。这两个双线性内插单元,一个执行 向前预测而一个执行向后预测。这里每一双线性内插单元使用微量信 息内插来自参考缓冲器中的数据。可以想象这两个双线性内插单元可 由单一硬件单元实现。在单一硬件双线性内插单元实现的情况下,如 果要求向前和向后双向预测,则此双线性内插单元可被依次使用。
来自向前双线性内插单元和向后双线性内插单元的输出信号在 联合单元850被加在一起。根据一个压缩标准,例如,MPEG2,联合 预测单元对数据执行适当的换算和饱和。对此实施例,来自联合预测 单元的输出信号随后被发送至预测纠正单元860并且纠正数据被添加 至运动预测数据并生成最终输出数据。来自预测纠正单元的输出数据 随后通过目标数据存储器界面被发送至存储器。
如图8所示,上述运动位移补偿实施例可使用现有的3D再现硬 件实现,该3D再现硬件在图形控制硬件中是一个公共特性。为适于 描述的目的,在虚线中的方框将刚刚描述的实施例的运动位移补偿方 面映射为一些3D硬件单元。当然其它硬件映射和硬件再用也是可能 的并且现在在本领域可通过普通技术来实现。在此特定实施例中,参 考缓冲器被映射为结构缓冲器。所以,结构存储器和结构高速缓冲存 储器可被用于获取加载自存储器的参考数据。此后,典型的包括双线 性内插器或甚至三线性内插器的3D结构流水线可被用于在运动位移 补偿中执行双线性内插或预测联合操作。然后,3D结构混合单元可 被用于执行预测纠正操作。3D颜色和目标存储器界面单元可被用于 将运动位移补偿信号写至存储器。
使用MPEG2编码的一些实施例将被描述。如前所述,本发明对 这些实施例不局限于此范围。可使用其它多个视频或者图像编码规范 和/或存储格式中的任何一个。尽管如此,这些实施例作为实现按照本 发明执行视频图像解码的方法的例子提供。关于这点,将描述MPEG2 编码类型的3种主要种类。一种编码类型包括一个具有帧预测或者使 用帧运动位移补偿的帧图像。关于这点,术语帧图像或者帧类型是指 用于一个图像的数据信号的顺序序列显示,例如通常运行在具有监视 器的计算机平台上。术语帧预测或者帧运动位移补偿指用于预测误差 和通过编码器编码或者产生的运动矢量的特殊格式。为了执行解码以 便重现产生信号信息的图像,期望知道以比特流编码的信号信息的格 式。因此,使用帧预测或者帧解码,那么预测误差以帧格式存储,类 似于用于帧图像的格式。第二种编码类型包括一个具有域运动位移补 偿或者域预测的域图像。术语域图像或者域类型通常指用于电视设备 或者电视显示设备的技术,其中图像的一半在允许人眼合成图像的速 率分别显示。在这种格式中,域数据行,也就是说来自域图像的信号 数据行以交错格式存储。因此,顶部区域和底部区域线在数据信号的 一帧中交替或者交错。术语域运动位移补偿或者域预测指预测误差和 运动矢量所存储的格式,其中预测可以基于所谓的顶部区域或者底部 区域而分别预测。在一个域编码图像中,顶部和底部区域作为分离的 图像分别编码,并且以交错形式显示。在此情况中,用于顶部和底部 的运动预测数据部分地基于最近解码的域。一个用于本文中的第三种 MPEG2编码类型包括,一个具有域运动位移补偿或者域预测的帧图 像。在此格式中,所有的区域作为单独的图像编码,但是用于两个区 域中每一个的运动位移补偿数据部分地基于先前解码的域。在 MPEG2中,第三种格式有两个变形,在一个变形中,如图5所示, 亮度DCT数据以帧为基础编码,而在另一个变形中,如图6中所示, 亮度DCT数据存储在域基础上。该编码类型位于上述的两个编码类 型之间,其中两个格式交替在宏模块基础上。更特别的,在宏模块基 础上,数据信号可被作为具有域或者帧预测的帧图像存储。
因为这些特定实施例与用于MPEG2编码类型的DCT域向下采样 实施有关,所以将采样向下采样与应用于垂直方向的运动位移补偿。 在视频帧中的垂直方向类似于上述的MPEG2编码类型而处理,因 此,在本实施例中,垂直方向用与下面所描述的具有帧预测的帧图像 的方法的相似方式处理,虽然在按照本发明的视频图像解码的特定实 施例中,这个方面可以变化。进一步,这里给出的图例说明仅用于亮 度元件的技术。然而,曾经描述的本技术扩展,处理MPEG的色度成 分是本领域技术人员力所能及的。进一步,例如在其它具有以比特流 编码的多成分应用中,但不限于RGB编码的JPEG图像,这里所描 述的对每一个组件的扩展也是本领域技术人员力所能及的。
图3是一个按照本发明的进行视频图像解码方法的实施例示意 图,其中采用与MPEG2规范一致的DCT图像。在特定实施例中,如 上所述一个具有帧运动位移补偿的帧图像是所采用的MPEG2编码类 型。图3表示两个在宏模块中的8×8亮度模块,其中向下采样发生 在DCT域中。列1表示先于向下采样的两个模块数据行的空间位置。 列2表示在向下采样之后数据行的空间位置。因此,列2表示在DCT 域中向下采样数据位置的影响,并且执行反向DCT。同样,如图3所 示,列3表示比率为4∶1的向下采样,与用于列2的2∶1比率相反。 如图3所示,向下采样行在向下采样之后在空间上均匀分布并逆变 换。在本实施例中对于水平方向的向下采样象素将以相似方式产生。 因此,向下采样帧图像和帧运动矢量可以是相似于提供给原始图像的 方法的方式。向下采样的结果是将16×16的宏模块和它们所包含的8 ×8的模块转换成更小的模块。例如,在2∶1水平二次采样和4∶1 垂直二次采样之后,每个8×8模块解码成一个4×2模块,每个16× 16宏模块解码成8×4宏模块。因此对于任何给定的向下采样模块的 运动位移补偿,例如在本实施例中尺寸为4×4,4×2,2×4,2×2 或者1×1的模块,可使用定标的运动矢量直接实施在向下采样参考 值,其中在特定实施例中运动矢量采用先前所描述的技术,因此虽然 本发明不局限于这方面的范围,先前所述的运动位移补偿硬件可有效 的使用来执行信号处理操作。
图4是表示按照本发明进行视频图像解码的方法的实施例的示意 图,其中采用另一个MPEG2编码类型。在特定实施例中,如上所述 采用具有域运动位移补偿的一个域图像。考虑到用于一帧的两个临时 分离特性,基于向下采样的域可产生空间混叠和/或来自两个域的线的 非均匀定位。可以导致的非均匀定位在图4中说明,其中向下采样以 及反向DCT被再次应用,以说明对该编码类型的影响。然而,非均 匀线距没有影响运动矢量。同样地,对图4中说明的行位置的调整, 例如预测误差,可以使用例如双线性插值法的内插法完成。此外,可 以使用先前描述的3D硬件流水线执行该内插法。因此,在特定实施 例中,运动补偿以及向下采样单元的空间位置应该包括用于每个领域 的精确的行位置。
在另一个实施例中,不使用图4中说明的产生非均匀垂直线间距 的方法,选择的脉冲线可以用于顶域以及底域行以产生在垂直方向上 均匀间隔的一个向下采样图像。例如,虽然本发明在这方面不限制范 围,可以使用两个空间的滤波器,每一个分别地对应底域和顶域。另 外,一个类似方法可以替代地用于本频率域,例如DCT域。在它所被 使用的频率域中,变换的数据信号可以相移,而不是空间地移位。空 间移位和它的相应的变换域操作的关系可以使用特定变换的卷积特 性导出。
图5和6每个说明按照本发明用于执行视频图像解码的方法的 实施例的一部分,其中本发明用于描述为具有域运动补偿帧图像的 MPEG2编码类型。图5说明按照本发明用于执行视频解码的方法的实 施例的一部分,其中宏模块作为具有域预测和帧DCT的帧类型保存在 该格式中。相反,图6说明按照本发明用于执行视频解码的方法的实 施例的一部分,其中宏模块作为具有域预测和域DCT的帧类型保存在 该格式中。可能便于将图像数据和预测或者运动补偿数据转换为一个 格式,帧或者域。同样地,转换为帧格式通常包括暂时的滤波,其中 可以包括先前说明的3D管线硬件。然而,当然本发明在这方面没有限 制,该方法可以带有硬件流水线使用,例如,包含这些特征。然而, 在该特定实施例中,执行该操作以便放置该帧数据进入一个域格式, 并且放置该帧运动补偿数据成为域运动补偿格式。在特定实施例里, 每个域然后分别地处理进入该空间域以完成运动补偿。
一个改进,用于该特定实施例是将一个帧压缩宏模块转换成为一 个域压缩宏模块。在图5所示的特定实施例里,由来自DCT域的逆变 换通过在该空间域里在完全垂直分辨力上宏模块中单元的重建而完 成,隔行扫描该单元成为两个域并且在该空间域里垂直地压缩它。因 此,对于该实施例,如附图1中所示,在执行该反向DCT之后,垂直 压缩有效地移动。同样地,如上所述运动补偿在每个域上分别地执 行。如果在该实施例里,运动补偿是基于帧的,使用被说明的该方法 预测误差可以变为基于域的。转换帧运动矢量为基于域的,帧运动矢 量可以用于全部情况域运动矢量的每一个。图5和图6中所述的实施 例之间的差异是宏模块被存为帧宏模块还是域宏模块。与先前论述一 样,如果它存为帧宏模块,隔行扫描按照图5。中说明的那样执行。相 反,按照图6中说明的那样执行,如果宏模块存为一个域宏模块,那 么隔行扫描按照说明的执行,并且数据线可以按照对于一种隔行扫描 域格式的先前描述而处理。
虽然本发明在这方面不限制范围,按照本发明实施例的一个方面 是在频域中压缩视频图像,例如在DCT域中的MPEG2图像。这可以通 过参考一维(1D)信号论述。由于操作的分离性,用于2D信号的结果 是该方法的扩展。同样地,2∶1压缩的情况将要作为其它压缩比的代表 而论述。通常,在频域中执行压缩是公知的并且存在许多公知的方法 实现它。本发明对于一个特定的方法不限制范围并且该论述仅仅作为 一个例子提供。
在抽样域里有限长的数字信号的滤波使用卷积执行。例如,通过 一个该信号和滤波器的周期性扩展可以获得一个公知的圆周卷积。该 卷积通过该信号和滤波器的离散傅里叶变换的简略乘法可以在离散 傅里叶变换(DFT)域中高效地执行并且应用该反向DFT到该结果。 对于DCT,可以应用一个与DFT卷积相关但是又不同于它的卷积。例 如,在1994年5月第42卷第5号,电气电子工程师学会信号处理上的论 文集中S.Martucci所著的″对称卷积和离散正弦和余弦变换″中描述 了,并且包含该信号和滤波器的对称扩充、线性卷积,并且应用一个 窗口到该结果。例如,假定该信号表示为s(n),n=0......N-1,并且 它的相应的变换(DCT域)系数表示为S(u),u=0......N-1,,并 且该滤波器表示为h(m),m=0......M-1,那么该DCT可以表示为矩 阵形式作为S=C*s,带有S,S是该信号的列向量形式并且它的DCT 系数和C是DCT矩阵,如下:
        Cu,n=(2/N)1/2k(u)cos[π(u(2n+1)/2N)],其中u,n=0,...,N-1 [8]
其中
        k(u)=
        ·1/√2,其中u=0                                              [9]
        ·1,u=1,...,N-1
假定一个对称低通均匀长度滤波器h(m)带有滤波长度M,其中 M=2*N,用于该滤波器的DCT系数H(u)可以通过应用如上所述的 回旋的形式到该滤波器的右半部而获得,该系数等于系数的右半部与 该变换矩阵相乘:
Du,m=2cos[πu(2m+1)/2n],其中u,m=1,...,N-1                       [10]
该滤波通过信号DCT系数和该滤波器DCT系数的元素与元素相 乘执行并且获得DCT域相乘结果的适当的反向DCT变换:
  Y(u)=S(u)*H(u),其中u=0,....,N-1                                  [11]
不仅滤波,还有向下采样可以在DCT域里执行。对于通过两个向 下采样,元素与元素相乘的结果通过四分中二点折叠并且做减法然后 按照1N2.换算。数学上,这表示为:
  [Y(u)-Y(N-u)]/√2,其中u=0,...(N/2)-1                               [12]
通过应用长度N/2的反向DCT变换获得十中抽一信号。有一些有 效地应用在该实施例里的特别的情况,虽然本发明不限制在这方面。 例如可以执行在DCT域里一个带有系数[11110000]的理想滤波器更进 一步的通过双向操作简化DCT域向下采样。特别地,该特别的滤波器 形状避免折叠和附加。另一个带有系数[1111 0.5 0 0O]的滤波器通过 两个操作对于该向下采样提供消除混叠滤波器的一个变换函数。当然 其它滤波器也可以同时使用。
同样地,可以理解在一个特定实施例里,执行一个低通、线性插 值滤波器以便执行向下采样;虽然如此,本发明不限制在这方面的范 围。例如,除了低通滤波器线性滤波器,或者替代地非线性的滤波 器,例如中值滤波器、自适应的边缘增强滤波器也都可以使用。当然, 虽然本发明不局限于此方方面,可以理解使用运动补偿硬件和双线性 插值法可以有效地实现一些线性滤波器。
在运动补偿或者向下采样之后滤波可以同时被应用。更具体地 说,所得到的图像透明度中的偏差可能变成对人眼明显,特别作为在 该序列里被观察的图像。在一些实施例里,需要平滑该偏差或者换句 话说,增强具有较少透明度的图像。因此,可以使用大量滤波器中任 何一个的,线形的或者非线性的。例如,虽然本发明在这方面不限制, 可以应用一个边缘增强图像。此外,可以理解使用一个3D硬件流水线 和双线性插值法可以有效地实现一些线性滤波器。
当然,如前所述,本发明不限于先前所述实施例的范围。例如, 在一个替代的实施例里,其中使用一个3D硬件流水线以便实现一个双 线性插值法操作,一个3x3 4x4或者更大的内插法操作可以替代2×2双 线性插值法操作而实现。同样地,在另一个替代的实施例里,为了跟 上被提供或者接收的图象比特流量,作为显著的计算资源由该解码器 所需求,为了允许在提供的图像质量上的适度退化该解码器可以适合 于在较高比率上向下采样。同样,该解码器也可以适合于执行反向。
在另一个实施例里,代替向下采样所有视频图像,该解码器可以 适合于仅仅对一些视频图象向下采样。例如,可以选择特殊的图像用 于向下采样,例如通过传送一个信号指示,或者该解码器可以至少部 分地基于一个预先决定的标准适合于对接收的视频图像的一个子集 向下采样,例如,作为一个例子,在二次采样B帧的同时在完全分辩 率上解码I和P帧。因此,可以使用许多方法中的任何一个并且本发明 不限制在任何特定方法的范围内。虽然本发明在这方面不限制范围, 按照本发明实施例的另一个方面是解码的视频图像的显示也就是说 在频域中向下采样,例如在DCT域中的MPEG2图像。在该特定的实施 例里,上述讨论到的视频解码器子系统与图10.中所示的一个视频显示 子系统联系在一起。视频解码器子系统和视频显示子系统可与存贮器 子系统接在一起,其中解码的视频图像存在该存贮器子系统上。如图 10中所示,在存贮器子系统中,解码的视频图像被标记为视频缓冲器 1,视频缓冲器2等等。解码的视频图像的数目n可以按照视频解码器 和视频显示子系统来选择。在这样一个实施例里,除典型信息之外, 例如解码的图像尺寸(X,Y),视频解码器子系统可以和带有附加信 号的视频显示子系统接在一起,例如涉及变换域向下采样操作的图像 类型(PICT)和垂直辅助取样因数(VSFF)。例如PICT和VSFF的信 号可能用来调整视频显示子系统适当地显示解码的视频图像也就是 说使用一个按照本发明的实施例在变换域里向下采样。
视频显示子系统操作在屏幕上显示器解码的视频图像。所要求的 显示视频窗口的尺寸未必同源视频图像相同。在该情况下,源视频可 以扩大或者压缩与分别地相应于内插法和抽取的处理的显示窗口尺 寸匹配。性能比例包括源视频数据的恰当滤波以减少混叠效应。在一 种方法中,有限脉冲响应(FIR)滤波器是一个在视频显示子系统里 实现比例滤波器的例子,其中输入象元的仅仅有限数有助于特定的输 出象元。用于视频信号的空间比例的一个滤波器通常是两维(2D)功 能。实际上,可分离的滤波器可能用来减少硬件复杂性和成本。换句 话说,视频信号的比例被分别用于垂直的和水平方向。在下文中,阐 明垂直比例尺操作,因为它与提出的视频解码器产生的均匀和非均匀 场扫描行分配有关。
对于给定的源大小Nsrc和目标尺寸Ndest,正向的定标因数(与随后 规定的反向定标因数形成对照)定义为基于目标尺寸的源大小的比率:
S f = N src N dest . - - - [ 13 ]
标志源采样步骤作为单一,我们可以规定一个用于假设输出线的 DDA(数字微分分析机)值作为到源线垂直位置的相对位置。通常, 一个DDA电池包括一个定点值。由int(DDA)表示的DDA值的整数部 分指示最接近的源线数字,而由fnact(DDA)表示的DDA值的分数部 分相应于自源线起的相对距离。比例操作的初相位定义为与自该比例 滤波器起与第一个输出线相联系的DDA蓄电池(DDA0=DDA(0)) 的初始值。那么随后的输出线的抽样位置可以由定标因数积累的DDA 值所描述。
            DDA(n)=DDA(n-1)+Sf,for n=1,Ndest-1,
            [14]
其中n是输出视频线的指数。对于一个由上述的视频解码器子系 统产生的并且处于带有图3中源视频图像所述的变换域向下采样的 帧类型中的源视频图像来说,虽然定标因数是不同的,但是它的显示 类似于非向下采样视频图像。
对于一个由上述的视频解码器子系统产生的并且处于带有图12 中所述的均匀分布的扫描行的变换域向下采样的域类型中的源视频 图像来说,虽然定标因数是不同的,但是它的显示类似于非向下采样 域视频图像。然而,对于一个上述的视频解码器子系统产生的并且处 于带有图13和图14中所述的变换域向下采样而不带有非均匀分布的 扫描行的域类型中的源视频图像来说,传统的域视频显示方法不能应 用于这种视频图像。相反,使用恰当的垂直位置调整以便正确地显示 变换域向下抽样视频图像的全部域。使一个域里两个邻线之间的距离 为1单位。如图12中所示,对于非向下采样域类型视频图像,在顶域 (行0)里第一行下面的底域(行1)里的第一行是0.5单元。对于随后 的全部域中的行,也是成立的。用于均匀地定位隔行扫描视频源的基 于DDA的垂直比例操作的结果表示在图15.里。该例子显示3∶8.的扩展 因数。图15(A)是从带有DDA[0]=0.0的初相位的顶域测量的一种情 况,图15(B)是从带有DDA[0]=-0.5的初相位的底域测量的一种情 况。当通过两个的垂直向下采样在该变换域里执行时,在顶域(行0) 中的第一行下面的底域(行1)中的第一行是0.25单元,如附图13中所 说明的那样。图16说明用于非均匀地定位隔行扫描视频源的基于DDA 垂直比例操作的结果。该例子显示3∶8.扩展因数。图16(A)是是从带 有DDA[0]=0.0的初相位的顶域测量的一种情况,图16(B)是从带有 DDA[01=-0.25的初相位的底域测量的一种情况。
同样地,图14说明当通过四个进行的垂直向下采样在变换域里执 行时,顶域里第一行下面的底域里的第一行是0.125单位。
当然,可以理解虽然一个特定的实施例刚被描述,本发明不限制 在一个特定的实施例或者实施的范围中。例如一个实施例可以在硬件 里,然而另一个实施例也许在软件里。同样地,一个实施例也许在固 件里,或者任何硬件软件或者固件的组合,例如同样地虽然本发明不 限制在这方面,一个实施例可能包括一个产品,例如一个存储介质。 例如上述一个存储介质,例如一个光盘或者一个磁盘,其上也许已经 存储有指令,当通过一个系统执行时,例如一个计算机系统或者平台 或者一个成像系统,可以导致按照本发明执行视频图像解码的一个方 法,例如先前描述的实施例中的一个。
虽然本发明的特定特征已经作为此处的描述说明了,本领域的技 术人员会想到许多改进、替换、变化和等效。因此,可以理解附加的 权利要求覆盖所有的落入本发明实质范围的上述实施例和其变化。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈