首页 / 专利库 / 广播 / 帧内预测 / 编码设备和编码方法、解码设备和解码方法、记录介质以及程序

编码设备和编码方法、解码设备和解码方法、记录介质以及程序

阅读:566发布:2024-01-20

专利汇可以提供编码设备和编码方法、解码设备和解码方法、记录介质以及程序专利检索,专利查询,专利分析的服务。并且最好应用于对图像 信号 编码,以便以比传统压缩率高的压缩率执行传输或存储的编码设备和方法、解码设备和方法、记录介质以及程序。在算术编码单元(58),首先利用 帧 /字段标志上下文模型(91)对帧/字段标志(收到的图像压缩信息的语法单元之一)执行编码。在对要处理的宏 块 进行基于帧的编码时,应用当前由H.26L标准定义的帧基(frame base)上下文模型(92)。相反,在对要处理的宏块执行字段编码时,对其它语法单元应用字段基上下文模型(94)。本 发明 可以应用于用于对图像信息编码的 编码器 和用于对图像信息解码的 解码器 。,下面是编码设备和编码方法、解码设备和解码方法、记录介质以及程序专利的具体信息内容。

1、一种以隔行扫描图像信息作为输入在宏级自适应地执行基 于字段或基于的编码处理的编码设备,该编码处理包括根据 CABAC方案执行的无损编码处理,该编码设备包括:
无损编码装置,用于利用与表示在宏块级的编码处理是基于 字段还是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于 执行基于帧的编码处理的语法单元对应的上下文模型以及与用于执行 基于字段的编码处理的语法单元对应的上下文模型,来执行无损编码 处理。
2、根据权利要求1所述的编码设备,其中与用于执行基于字段 的编码处理的语法单元对应的上下文模型包括与I图像的MB_type、 P/B图像的MB_type、运动矢量信息、基准字段参数以及intra预测 模式对应的上下文模型中至少之一。
3、根据权利要求1所述的编码设备,其中满足表达式 ctx_fifr_flag(C)=a+2ba,
其中ctx_fifr_flag(C)是与宏块C的帧/字段标志相关的上下文模 型,而a和b是与宏块C相邻的相应宏块A和B的帧/字段标志的值。
4、根据权利要求1所述的编码设备,其中如果对包括在P图像 内的宏块C进行基于字段的编码,则满足表达式:
ctx_mb_type_inter_field(C)=((A==skip)?0:1)+2((B==skip)?0:1),
其中ctx_mb_type_inter_field(C)是对应于宏块C的MB_type的 第一上下文模型,而((A==skip)?0:1)和((B==skip)?0:1)是根据与宏块C 相邻的各宏块A和B是否是跳越模式,表示0或1的算子。
5、根据权利要求4所述的编码设备,其中如果对包括在P图像 内的宏块C进行基于字段的编码,则对应于宏块C的MB_type的 Code_Number 0至7被分别二值化为0、100、101、11000、11001、 11010、11011以及11100。
6、根据权利要求1所述的编码设备,其中如果对包括在B图像 内的宏块C进行基于字段的编码,则满足表达式:
ctx_mb_type_inter_field(C)=((A==Direct)?0:1)+2((B==Direct)?0 :1),
其中ctx_mb_type_inter_field(C)是对应于宏块C的MB_ype的 第一上下文模型,而((A==Direct)?0:1)和((B==Direct)?0:1)是根据与 宏块C相邻的各宏块A和B是否是直接模式,表示0或1的算子。
7、根据权利要求6所述的编码设备,其中如果对包括在B图像 内的宏块C进行基于字段的编码,则对应于宏块C的MB_type的 Code_Number 0至13被分别二值化为0、100、101、11000、11001、 11010、11011、11100、111000、1110001、1110010、1110011、1110100、 1110101以及1110110。
8、根据权利要求1所述的编码设备,其中如果对宏块C执行基 于字段的编码,则满足表达式:如果ek(C)<3,ctx_mvd_field(C,k)=0; 如果32<ek(C),ctx_mvd_field(C,k)=1;或者如果3≤ek(C)≤32, ctx_mvd_field(C,k)=2,
其中ctx_mvd_field(C,k)是对应于宏块C的运动矢量信息的 第一至第三上下文模型,而ek(C)是计算为 ek(C)=|mvdk(A)|+|mvdk(B)|的评估函数,其中|mvdk(A)|和 |mvdk(B)|分别是与宏块C相邻的宏块A和宏块B的运动矢量信息。
9、根据权利要求8所述的编码设备,其中与宏块C相邻的宏块 A和B与宏块C属于相同的奇偶校验字段。
10、根据权利要求8所述的编码设备,其中如果对宏块C进 行基于字段的编码,并且已对与宏块C相邻的宏块X(X是A或B) 进行了基于帧的编码,则通过根据表达式mvd1_field(X)=mvd1_field(X)/2, 将对应于宏决X的运动矢量的垂直分量变换为基于字段的编码的等效 值,来计算评估函数ek(C),
其中mvd1_field(X)是宏块X的运动矢量的垂直分量。
11、根据权利要求8所述的编码设备,其中如果对宏块C进 行基于字段的编码,则上下文模型ctx_mvd_field(C,k)被用于宏块C 的运动矢量的第二bin和第三项目,上下文模型ctv_mvd_field(C,k) 与基于帧的上下文模型ctx_mvd(C,k)相同。
12、根据权利要求1所述的编码设备,其中如果对宏块C进 行基于帧的编码,则满足表达式:如果ek(C)<3,ctx_mvd(C,k)=0;如 果32<ek(C),ctx_mvd(C,k)=1;或者如果3≤ek(C)≤32,ctx_mvd(C,k)=2,
其中ctx_mvd(C,k)是对应于宏块C的运动矢量信息的第一至第 三上下文模型,而ek(C)是计算为ek(C)=|mvdk(A)|+|mvdk(B)|的评估 函数,其中|mvdk(A)|和|mvdk(B)|分别是与宏块C相邻的相应宏块A 和宏块B的运动矢量信息。
13、根据权利要求12所述的编码设备,其中如果对宏块C进 行基于帧的编码,并且已对与宏块C相邻的宏块X(X是A或B)进 行了基于字段的编码,则通过根据表达式:
mvd0_frame(A)=(mvd0_top(A)+mvd0_bottom(A))/2以及mvd1_frame(A)= (mvd1_top(A)+mvd1_bottom(A)),将对应于宏块X的运动矢量的平分量 和垂直分量变换为基于帧的编码的等效值,来计算评估函数ek(C),
其中mvd0_field(X)是对应于宏块X的运动矢量的水平分量,而 mvd1_field(X)是对应于宏块X的运动矢量的垂直分量。
14、根据权利要求1所述的编码设备,其中如果对宏块C进 行基于字段的编码,则满足表达式ctx_ref_field_top(C)=at+2bt以及 ctx_ref_field_bot(C)=ab+2bb,
其中ctx_ref_field_top(C)是对应于宏块C的第一字段的基准字 段的第一上下文模型,ctx_ref_field_bot(C)是对应于宏块C的第二字 段的基准字段的第一上下文模型,at是与相邻宏块A的第一字段相关 的参数,ab是与相邻宏块A的第二字段相关的参数,bt是与相邻宏块 B的第一字段相关的参数,bb是与相邻宏块B的第二字段相关的参数,
其中如果基准字段是紧接先前编码字段,则at,ab,bt和bb=0,而 如果基准字段不是紧接先前编码字段,则at,ab,bt和bb=1。
15、根据权利要求1所述的编码设备,其中如果对宏块C进 行基于字段的编码,则除Code_Number不表示基准帧,而表示基准 字段外,对应于宏块C的第一字段和第二字段的第二bin和第三bin 的上下文模型与以帧模式编码的宏块的上下文模型ctx_ref_frame(C) 相同。
16、根据权利要求1所述的编码设备,其中如果对宏块C进 行基于字段的编码,则以与帧模式的宏块的上下文模型 ctx_intra_pred_field(c)相同的方式,定义intra预测模式的上下文模型 ctx_intra_pred_field(c)。
17、根据权利要求15所述的编码设备,其中如果对宏块C进 行基于字段的编码,则以与帧模式的宏块的上下文模型 ctx_intra_pred(c)相同的方式,定义intra预测模式的上下文模型 ctx_intra_pred_field(c),而不考虑与宏块C相邻的宏块A和B是字段 模式还是帧模式。
18、一种以隔行扫描图像信息作为输入在宏块级自适应地执 行基于字段或基于帧的编码处理的编码方法,该编码处理包括根据 CABAC方案执行的无损编码处理,该编码方法包括:
无损编码步骤,用于利用与表示在宏块级的编码处理是基于字段 还是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行 基于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于 字段的编码处理的语法单元对应的上下文模型,来执行无损编码处理。
19、一种具有记录于其上的用于以隔行扫描图像信息作为输 入在宏块级自适应地执行基于字段或基于帧的编码处理的计算机可读 程序的记录介质,该编码处理过程包括根据CABAC方案执行的无损 编码处理,该程序包括:
无损编码步骤,用于利用与表示在宏块级的编码处理是基于字段 还是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行 基于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于 字段的编码处理的语法单元对应的上下文模型,来执行无损编码处理。
20、一种用于以隔行扫描图像信息作为输入在宏块级自适应 地执行基于字段或基于帧的编码处理的程序,该编码处理包括根据 CABAC方案执行的无损编码处理,使计算机执处理过程的程序包括:
无损编码步骤,用于利用与表示在宏块级的编码处理是基于字段 还是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行 基于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于 字段的编码处理的语法单元对应的上下文模型,来执行无损编码处理。
21、一种用于解码图像压缩信息以恢复隔行扫描图像信息的 解码设备,该解码设备包括:
解码装置,用于对利用与表示在宏块级的编码处理是基于字段还 是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行基 于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于字 段的编码处理的语法单元对应的上下文模型进行了编码的图像压缩信 息进行解码。
22、一种用于解码图像压缩信息以恢复隔行扫描图像信息的 解码方法,该解码方法包括:
解码步骤,用于对利用与表示在宏块级的编码处理是基于字段还 是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行基 于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于字 段的编码处理的语法单元对应的上下文模型进行了编码的图像压缩信 息进行解码。
23、一种具有记录于其上的用于解码图像压缩信息以恢复隔 行扫描图像信息的计算机可读程序的记录介质,该程序包括:
解码步骤,用于对利用与表示在宏块级的编码处理是基于字段还 是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行基 于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于字 段的编码处理的语法单元对应的上下文模型进行了编码的图像压缩信 息进行解码。
24、一种用于解码图像压缩信息以恢复隔行扫描图像信息的 程序,使计算机执处理过程的程序包括:
解码步骤,用于对利用与表示在宏块级的编码处理是基于字段还 是基于帧的编码处理的帧/字段标志对应的上下文模型、与用于执行基 于帧的编码处理的语法单元对应的上下文模型以及与用于执行基于字 段的编码处理的语法单元对应的上下文模型进行了编码的图像压缩信 息进行解码。

说明书全文

技术领域

发明涉及一种编码设备、编码方法、解码设备、解码方法、记 录介质以及程序。例如,本发明涉及一种适于以高压缩比编码图像信 号以进行传输或存储的编码设备、编码方法、解码设备、解码方法、 记录介质以及程序。

背景技术

当今,广播电台进行信息分发以及家庭进行信息接收都正在广泛 使用例如符合MPEG(运动图像专家组)的设备和运动补偿(motion compensation),其中MPEG是基于诸如离散余弦变换的正交变换的 图像压缩标准,而运动补偿是利用特定于图像信息的冗余度将图像处 理成数字信号,以进行有效传输和累积这种数字信号
特别是,MPEG2(ISO/IEC 13818-2)压缩技术是被确定为包 括隔行扫描图像和逐行扫描图像以及标准分辨率图像和高清晰度图像 的通用图像压缩方案的标准。因此,专业人员和一般消费者广泛使用 MPEG2,例如在DVD(数字通用光盘)标准中看到的那样。
通过对具有720×480像素的标准分辨率的隔行扫描图像分配例 如4至8Mbps的位速率,而对具有1920×1088像素的高清晰度的隔 行扫描图像分配例如18×22Mbps的位速率,使用MPEG2压缩方案 可以实现高压缩比和高图像质量
由于MPEG2主要在于适于广播的高质量编码技术,所以它不支 持高压缩比的编码方案。这就是MPEG4编码系统被标准化为高压缩 比编码方案的原因。在1998年12月,该图像编码方案被批准为国际 标准ISO/IEC 14496-2。
此外,ITU-T(国际电信联盟-电信标准化部)促进对最初 用于视频会议的图像编码的H.26(ITU-T Q6/16 VCEG)进行标准 化。
H.26L被称为实现高编码效率的标准,但是与已知的诸如 MPEG2和MPEG4相比,它需要对编码处理过程和解密处理过程进 行大量算术运算。
此外,当前的MPEG4活动之一包括与ITU-T联合促进的增强 压缩视频编码联合模型(Joint Model of Enhanced-Compression Video Coding),用于对实现基于H.26L的高编码效率并采用H.26L不支持 的功能的编码方案进行标准化。
现在,将参考图1说明基于诸如离散余弦变换或Karhunen-Loeve 变换的正交变换的已知图像信息编码设备以及运动补偿。图1示出已 知图像信息编码设备的典型结构。
在相关图像信息编码设备中,A/D变换部分1将作为模拟信号的 输入图像信号变换为数字信号,然后,将该数字信号送到图像分类缓 冲器2。根据相关图像信息编码设备输出的图像压缩信息的GOP(图 像组),图像分类缓冲器2对A/D变换部分1输出的图像信息中的各 进行重新排列。
首先,说明被intra编码(在图像内编码)的图像。在图像分类 缓冲器2中,通过加法器3,将要进行intra编码的图像的图像信息送 到正交变换部分4。
在正交变换部分4,对图像信息进行正交变换(例如,离散余弦 变换或Karhunen-Loeve变换),然后,将获得的变换系数送到量化 部分5。在量化部分5,在速率控制部分8的控制下,根据累积 (accumulate)在累积缓冲器7内的变换系数数据的数量,对正交变 换部分4提供的变换系数进行量化处理。
在无损编码部分6,根据量化部分5提供的量化变换系数、量化 比例等,确定编码模式,然后,对确定的编码模式进行无损编码(例 如,可变长度编码或算术编码),以形成要存储到图像编码单元的标 题的信息。此外,将被编码的编码模式送到累积缓冲器7进行累积。 累积在累积缓冲器7内的编码的编码模式被输出到后续级,作为图像 压缩信息。
此外,在无损编码部分6,对量化的变换系数进行无损编码,并 将编码的变换系数累积到累积缓冲器7。还将累积在累积缓冲器7内 的编码变换系数输出到后续级,作为图像压缩信息。
在去量化部分9,对量化部分5量化的变换系数进行去量化。在 逆正交变换部分10,对去量化变换系数进行逆正交变换处理,然后, 产生解码的图像信息。将产生的解码的图像信息累积到存储器11。
现在,说明被inter编码(在图像间进行编码)的图像。在图像 分类缓冲器2,将要进行inter编码的图像的图像信息送到加法器3和 运动预测/补偿部分12。
在运动预测/补偿部分12,从帧存储器11读出受到inter编码且 对应于图像分类缓冲器2输出的图像的作为基准的图像信息,并对其 进行运动预测/补偿处理,以产生基准图像信息,之后,将该基准图像 信息送到加法器3。此外,将通过在运动预测/补偿部分12内进行运动 预测/补偿处理获得的运动矢量信息送到无损编码部分6。
在加法器3,根据图像分类缓冲器输出的、被进行inter编码处 理的图像的图像信息,将运动预测/补偿部分12输出的基准图像信息 变换为微分信号(differential signal)。
在对被inter编码的图像进行处理时,在正交变换部分4内对微 分信号进行正交变换,然后,将获得的变换系数送到量化部分5。在 量化部分5,在速率控制部分8的控制下,对正交变换部分4提供的 变换系数进行量化处理。
在无损编码部分6,根据变换系数和量化部分5量化的量化比例 以及运动预测/补偿部分12输出的运动矢量信息和其它信息,确定编 码模式。然后,对确定的编码模式进行无损编码,以产生要存储到图 像编码单元的标题的信息。将编码的编码模式累积到累积缓冲器7。 输出累积在累积缓冲器7内的、被编码的编码模式,作为图像压缩信 息。
此外,在无损编码部分6,对运动预测/补偿部分12输出的运动 矢量信息进行无损编码处理,以产生要存储到图像编码单元的标题的 信息。
在对被inter编码的图像进行处理时,以与intra编码相同的处理 方式,进行去量化部分9内的处理以及后续处理,因此不作说明。
现在,将参考图2说明接收图1所示已知图像信息编码设备输出 的图像压缩信息的已知图像信息解码设备。图2示出已知图像信息解 码设备的典型结构。
在相关图像信息解码设备中,将已经输入的图像压缩信息临时存 储到累积缓冲器21,并传送到无损解码部分22。根据图像压缩信息的 预定格式,无损解码部分22(例如,可变长度解码或算术解码)对图 像压缩信息进行无损解码,以获取存储在标题内的编码模式信息,然 后,将它送到去量化部分23。无损解码部分22还获取量化变换系数, 以将它送到去量化部分23。此外,如果已经对要编码的帧进行了inter 编码,则无损解码部分22还对存储到图像压缩信息的标题的运动矢量 信息进行解码处理,并将该信息送到运动预测/补偿部分28。
去量化部分23对无损解码部分22提供的量化变换系数进行去量 化,然后,将获得的变换系数送到逆正交变换部分24。根据图像压缩 信息的预定格式,逆正交变换部分24对变换系数进行逆正交变换(例 如,离散余弦逆变换或Karhunen-Loeve逆变换)。
如果对相关帧进行intra编码,则通过加法器25,将被进行逆正 交变换的图像信息存储到图像分类缓冲器26,D/A变换部分27将它 变换为模拟信号,然后,将它输出到后续级。还将被逆正交变换的图 像信息存储到帧存储器29。
此外,如果对相关帧进行了inter编码,则根据无损解码部分22 输出的运动矢量信息和存储在帧存储器29内的图像信息,运动预测/ 补偿部分28产生基准图像,然后,将它送到加法器25。在加法器25, 将运动预测/补偿部分28输出的基准图像与逆正交变换部分25的输出 组合在一起,以产生图像信息。以对帧进行intra编码处理的同样方 式,进行其它处理,因此不对此作说明。
根据H.26L,将两种类型的编码定义为无损编码方案:UVLC(通 用可变长度代码),一种类型的可变长度编码,以及CABAC(基于 上下文的自适应二进制算术编码),一种类型的算术编码。因此,用 户可以选择UVLC和CABAC之一作为无损编码方案。在图像压缩信 息中,包括在RTP层的RTP参数设置分组内的被称为熵编码的字段 规定用于表示所采用的无损编码方案是UVLC还是CABAC的信息。
现在,将说明CABAC所属的算术编码。在算术编码过程中,任 何消息(包括多个字母符号)均被表示为一个半开间隔0.0≤x<1.0中 的点,并根据该点的坐标产生代码。
首先,根据包括在字母序列中的符号的出现概率,将半开间隔 0.0≤x<1.0分割为各子间隔,每个子间隔对应于一个符号。
图3示出具有其相应子间隔的符号s1至s7的出现概率的例子。在 算术编码过程中,根据每个符号的累加出现概率,确定子间隔的上限 和下限,如图3所示。符号si(i=1,2,...7)的子间隔的下限等于先前 符号si-1的上限,而符号si的子间隔的上限等于通过将符号si的出现概 率与符号si的子间隔的下限相加获得的值。
我们假定输入(s2s1s3s6s7)作为消息。在此,假定符号s7是表示 消息结束的终端符号。总之,消息以该终端符号结束。算术编码方案 计算对应于包括在该消息(s2s1s3s6s7)内的每个符号的子间隔,如图4 所示。换句话说,与后续符号的累加出现概率成正比,分割如图3所 示分配的间隔。最终获得的子间隔是包括表示该消息的值的范围。这 样,该范围内的任何值均可以唯一地恢复相应消息。然而,请注意, 考虑到编码效率,可以利用半开间隔内的2的幂表示的值表示该消息。
更具体地说,在该例中,根据如下所示的表达式(1),利用如 下所示的表达式(2)获得的值表示包括在半开间隔0.21164≤x<0.2117 内的消息。
2-1=0.5
2-2=0.25
2-3=0.125
2-4=0.06255
2-5=0.03125
2-6=0.0156255
2-7=0.078125
2-8=0.0390625
2-9=0.01953125
2-10=0.009765625
2-11=0.00048828125
2-12=0.000244140625
                                                     ...(1)
2-3+2-4+2-6+2-7+2-11+2-12=0.211669921875       ...(2)
因此,对于对应于消息(s2s1s3s6s7)的代码长度,12位的代码长 度足够,因此可以表示从2-1到2-12的值,以将该消息(s2s1s3s6s7)编 码为(001101100011)。
现在,将说明H.26L定义的CABAC。文献“Video Compression Using Context-Based Adaptive Arithmetic Coding”,Marpe等,ICI01 (以下称为文献1)对CABAC进行了详细说明。与也是在H.26L内 定义的UVLC相比,CABAC具有以下3个特点。
第一个特点是,能够通过根据独立概率模型,利用适于要编码的 每个符号的上下文模型进行算术编码,来减小符号间的冗余度。
第二个特点是,能够在算术编码过程中,对每个符号指定非整数 值的位速率,即,能够实现类似于熵的编码效率的编码效率。
例如,运动矢量的统计数据在空间和时间上以及相对于位速率和 序列是可变的。第三个特点是能够通过进行自适应编码,响应于这些 改变来执行编码。
图5示出对其应用CABAC的CABAC编码器的典型结构。在相 关CABAC解码器中,上下文建模部分31首先根据历史将图像压缩信 息中任何语法单元(syntax element)的符号变换为正确的上下文模型。 这种建模过程被称为上下文建模。下面将说明图像压缩信息中的每个 语法单元的上下文模型。
二值化部分32二值化未被二值化的符号。然后,在自适应二进 制算术编码部分33,概率估计部分34对二值化符号进行概率估计, 然后,根据该概率估计值,编码引擎35进行自适应算术编码。进行了 自适应算术编码处理之后,更新相关模型,并且每个模型可根据实际 图像压缩信息的统计数据进行编码处理。
在此,现在,将说明对作为图像压缩信息中的语法单元的 MB_type(MB_type)、运动矢量信息(MVD)以及基准帧参数 (Ref_frame)执行算术编码的上下文模型。
分别对两种情况:intra编码和inter编码说明MB_type的上下 文模型生成过程。
如图6所示,在intra帧排列宏A、B和C,根据如下所示的 表达式(3),确定对应于宏块C的MB_type的上下文模型 ctx_mb-type_intra(C)。intra帧宏块的模式是Intra4×4或Intra16×1。
ctx_mb_type_intra(C)=A+B                            ...(3)
在表达式(3)中,当宏块A是Intra4×4时,A是0,或者当宏 块A是Intra16×1时,A是1。同样,当宏块B是Intra4×4时,B是 0,或者当宏块B是Intra16×1时,B是1。因此,上下文模型 ctx_mb_type_intra(C)取0、1和2之一。
如果如图6所示,宏块A、B和C排列在是P图像的inter帧, 则根据如下所示的表达式(4)确定对应于宏块C的MB_type的上下 文模型ctx_mb_type_inter(C)。如果相关inter帧是B图像,则根据如 下所示的表达式(5)确定上下文模型ctx_mb_type_inter(C)。
ctx_mb_type_inter(C)
    =((A==Skip)?0:1)+((B==Skip)?0:1)        ...(4)
ctx_mb_type_inter(C)
    =((A==Direct)?0:1)+((B==Direct)?0:1)    ...(5)
在表达式(4)中,如果宏块A处于跳越(Skip)模式,则算子 ((A==Skip)?0:1)表示0,或者如果宏块A不处于跳越模式,则 算子((A==Skip)?0:1)表示1。同样,如果宏块B处于跳越(Skip) 模式,则算子((B==Skip)?0:1)表示0,或者如果宏块B不处于 跳越模式,则算子((B==Skip)?0:1)表示1。
在表达式(5)中,如果宏块A处于直接(Direct)模式,则算 子((A==Direct)?0:1)表示0,或者如果宏块A不处于直接(Direct) 模式,则算子((A==Direct)?0:1)表示1。同样,如果宏块B处 于直接(Direct)模式,则算子((B==Direct)?0:1)表示0,或 者如果宏块B不处于直接模式,则算子((B==Direct)?0:1)表示 1。
因此,对于P图像和B图像中的每个,存在3种对应于inter帧 (P图像)上的宏块C的MB_type的上下文模型 ctx_mb_type_inter(C)。
现在,将说明运动矢量信息(MVD)的上下文模型生成过程。
从对应于相邻宏块的运动矢量,将包括在图像压缩信息内的、对 应于感兴趣宏块的运动矢量信息编码为预测误差。根据如下所示的表 达式(6),确定如7所示排列的宏块A、B和C中的感兴趣宏块C 的评估函数ek(C)。在表达式(6)中,k=0表示平分量,而k=1表 示垂直分量。
    ek(C)=|mvdk(A)|+|mvdk(B)|               ...(6)
这里,mvdk(A)和mvdk(B)分别表示与宏块C相邻的宏块A和B 的运动矢量预测误差。
在表达式(6)中,如果宏块C设置在图像帧的左边缘,即,如 果不存在宏块A和B之一,则不能获得与相应运动矢量预测误差 mvdk(A)或mvdk(B)有关的信息,因此,忽略表达式(6)右边的相应 项。根据下面的表达式(7-1)至(7-3),确定上面描述的对应于 ek(C)的上下文模型ctx_mvd(C,k)。
     ctx_mvd(C,k)=0    ek(C)<3    (7-1)
ctx_mvd(C,k)=1    32<ek(C)        (7-2)
ctx_mvd(C,k)=2    3≤ek(C)≤32     (7-3)
如图8所示,进行运动矢量信息(MVD)的上下文模型生成过 程。更具体地说,宏块C的运动矢量预测误差mvdk(C)被划分为绝对 值|mvdk(C)|和正负号。对绝对值|mvdk(C)|进行二值化。利用上述上 下文模型ctx_mvd(C,k),编码二值化的绝对值|mvdk(C)|的第一bin(最 左边的值)。利用上下文模型3,编码第二bin(从左侧开始的第二个 值)。同样,分别利用上下文模型4和5,编码第三和第四bin。利用 上下文模型6,编码第五bin和后续bin。利用上下文模型7,编码 mvdk(C)的正负号。如上所述,利用8种上下文模型,编码运动矢量 信息(MVD)。
现在,将说明用于编码基准帧参数(Ref_frame)的上下文模型。
当两个或者更多个基准帧用于inter帧时,对inter帧的每个宏块 设置与基准帧有关的信息。如果对于如图6所示排列的宏块A、B和 C,宏块A和B的基准帧参数被分别表示为A和B,则根据如下所示 的表达式(B)确定宏块C的上下文模型ctx_ref_frame(C)。
ctx_ref_frame(C)=((A==0)?0:1)+2((B==0)?0:1)    ...(8)
在表达式(8)中,当宏块A的基准帧参数是0时,算子((A ==0)?0:1)是0,或者当宏块A的基准帧参数不是0时,算子((A ==0)?0:1)是1。同样,当宏块B的基准帧参数是0时,算子((B ==0)?0:1)是0,或者当宏块B的基准帧参数不是0时,算子((B ==0)?0:1)是1。
因此,根据表达式(8)确定4种用于编码基准帧参数(Ref_frame) 的上下文模型。此外,确定第二bin的上下文模型和第三bin以及后 续bin的上下文模型。
现在,说明用于对码块图样(CBP)、intra预测模式(IPRED) 以及(RUN,LEVEL)信息进行算术编码的上下文模型,其中所述码 块图样是与根据H.26L包括在图像压缩信息内的纹理信息有关的语法 单元。
从与码块图样有关的上下文模型开始进行说明。下面确定处理不 是Intral6×16宏块的码块图样的过程。
即,作为亮度信号的CBP位,Intral6×16宏块的4个8×8块的 每一个内分别包括一个CBP位,即,全部4个CBP位。当如图6所 示排列宏块A、B和C时,根据如下所示的表达式(9),确定对应 于宏块C的亮度信号的上下文模型ctx_cbp_luma(C)。
      ctx_cbp_luma(C)=A+2B              ...(9)
在表达式(9)中,A表示宏块A的亮度信号的CBP位,而B 表示宏块B的亮度信号的CBP位。
CBP字段内的剩余2位与色度信号有关。根据如下所示的表达式 (10),确定对应于宏块C的色度信号的上下文模型 ctx_cbp_chroma_sig(C)。
      ctx_cbp_chroma_sig(C)=A+2B             ...(10)
在表达式(10)中,A表示宏块A的色度信号的CBP位,而B 表示宏块B的色度信号的CBP位。
在此,如果对应于宏块C的色度信号的上下文模型 ctx_cbp_chroma_sig(C)不是0,即,如果存在色度信号的AC分量, 则需要对根据如下所示的表达式(11)确定的宏块C的色度信号的 AC分量的上下文模型ctx_cbp_chroma_ac(C)进行编码。
       ctx_cbp_chroma_ac(C)=A+2B             ...(11)
在表达式(11)中,A表示对应于宏块A的cbp_chroma_ac判 定,而B表示对应于宏块B的cbp_chroma_ac判定。
由于对intra宏块和inter宏块,分别确定根据表达式(9)至(11) 确定的上下文模型,所以确定全部24(=2×3×4)种上下文模型。
此外,对于Intral6×16宏块,对二值化AC判定,确定一种上下 文模型,而对色度信号的每个分量,分别确定一种上下文模型。
现在,将说明与intra预测模式(IPRED)有关的上下文模型。 现在,将参考图9和10说明H.26L定义的6种intra预测模式(标记 0至5)。图9示出存在于通过分割宏块产生的4×4块内的像素a至p 和存在于相邻4×4块内的像素A至I。图10中的标记1至5表示具有 不同方向的intra预测模式。标记0表示的intra预测模式是DC预测 模式(DC预测)。
在标记0的intra预测模式中,根据如下所示的表达式(12)预 测像素a至p。
像素a至p=(A+B+C+D+E+F+G+H)//8             ...(12)
在表达式(12)至(15)中,A至I分别表示像素A至I,而符 号“//”意味着这样的算术运算,以使分割结果四舍五入为整数。
在标记0表示的intra预测模式下,如果在图像帧内不存在8个 像素A至H的4个像素(例如,像素A至D),则不需要表达式(12), 而将剩余4个像素(在这种情况下,像素E至H)的均值用作像素a 至p的预测值。此外,如果在图像帧内不存在8个像素A至H中的任 何一个,则不使用表达式(12),而将预定值(例如,128)用作像素 a至p的预测值。
标记1表示的intra预测模式被称为垂直/对预测。仅当图像帧 内存在4个像素A至D时,使用标记1的intra预测模式。在这种情 况下,根据如下所示的表达式(13-1)至(13-6)预测像素a至p。
    像素a=(A+B)//2                           ...(13-1)
    像素e=B                                  ...(13-2)
    像素b,i=(B+C)//2                        ...(13-3)
    像素f,m=C                               ...(13-4)
    像素c,j=(C+D)//2                        ...(13-5)
    像素d,g,h,k,l,n,o,p=D             ...(13-6)
标记2表示的intra预测模式被称为垂直预测。仅当图像帧内存 在4个像素A至D时,使用标记2的intra预测模式。例如,像素A 用作例如像素a、e、i和m的预测值,而像素B用作例如像素b、f 和n的预测值。
标记3表示的intra预测模式被称为对角预测。仅当图像帧内存 在9个像素A至I时,使用标记1的intra预测模式。在这种情况下, 根据如下所示的表达式(14-1)至(14-7)预测像素a至p。
    像素m=(H+2G+F)//4                  ...(14-1)
    像素i,n=(G+2F+E)//4               ...(14-2)
    像素e,j,o=(F+2E+I)//4            ...(14-3)
    像素a,f,k,p=(E+2I+A)//4         ...(14-4)
    像素b,g,l=(I+2A+B)//4            ...(14-5)
    像素c,h=(A+2B+C)//4               ...(14-6)
    像素d=(B+2C+D)//4                  ...(14-7)
标记4表示的intra预测模式被称为水平预测。仅当图像帧内存 在4个像素E至H时,使用标记4的intra预测模式。在这种情况下, 像素E用作例如像素a、b、c和d的预测值,而像素F用作例如像素 e、f、g和h的预测值。
标记5表示的intra预测模式被称为水平/对角预测。仅当图像帧 内存在4个像素E至H时,使用标记5的intra预测模式。在这种情 况下,根据如下所示的表达式(15-1)至(15-6)预测像素a至p。
    像素a=(E+F)//2                  ...(15-1)
    像素b=F                         ...(15-2)
    像素c,e=(F+G)//2               ...(15-3)
    像素f,d=G                      ...(15-4)
    像素i,g=(G+H)//2               ...(15-5)
    像素h,j,k,l,m,n,o,p=H    ...(15-6)
对标记0至5的intra预测模式中的每个分别确定两个上下文模 型。更具体地说,对于每种模式,两个上下文模型之一是第一bin, 而对于每种模式,两个上下文模型之另一是第二bin。除了这些上下 文模型外,在Intral6×16模式下,对两位分别确定一个上下文模型。 因此,对intra预测模式总共确定14个上下文模型。
现在,将说明与(RUN、LEVEL)有关的上下文模型。
在H.26L中,将图11A和11B所示的两种扫描方法定义为用于 将二维离散余弦变换系数重新排列为一维系数的方法。在不是其中量 化参数QP小于24的情况下,图11A所示的单扫描技术用于intra宏 块的亮度信号。在不能使用单扫描技术时,使用图11B所示的双扫描 技术。
在量化参数QP为24或者更大的inter宏块和intra宏块,对于 4×4宏块,存在一个非零系数的平均值,总之,一个一位EOB(块末 尾)信号足够了。对于量化参数QP小于24的intra宏块亮度信号, 存在两个或者更多个非零系数,并且一个一位EOB信号不够。这是 采用图11B所示双扫描技术的原因。
如图12所示,根据上述扫描方法的区别、DC块类型与AC块类 型之间的区别、亮度信号与色度信号之间的区别以及intra宏块与 inter宏块之间的区别,对(RUN,LEVEL)确定9种上下文模型。
将LEVEL信息分割为正负号和绝对值。根据图12所示的相应 Ctx_run_level,确定4个上下文模型。更具体地说,对正负号确定第 一上下文模型,对第一bin确定第二上下文模型,对第二bin确定第 二上下文模型以及对后续bin确定第四上下文模型。
当LEVEL不是0时(即,当LEVEL不是EOB时),对以下 描述的RUN编码。对于RUN,对图12所示的每个Ctx_run_level, 确定两个上下文模型:一个用于第一bin,而另一个用于第二和后续 bin。
现在说明用于与量化有关的参数Dquant的上下文模型,可以根 据H.26L在图像压缩信息中的宏块级设置该与量化有关的参数。
当宏块的码块图样包括非零正交变换系数,或者在对该宏块进行 16×16 Intra编码时,设置该参数Dquant。参数Dquant可以在-16 至16的范围内。根据如下所示的、采用图像压缩信息内的参数Dquant 的表达式(16),计算宏块的量化参数QUANTnew。
QUANTnew=modulo32(QUANTold+DQUANT+32)      ...(16)
在表达式(16)中,QUANTold是用于先前编码或解码的量化参 数。
根据如下所示的表达式(17)确定如图6所示排列的宏块C的参 数Dquant的第一上下文模型ctx_dquant(C)。
         ctx_dquant(C)=(A!=0)    ...(17)
在表达式(17)中,A表示宏块A的参数Dquant的值。对第一 bin确定第二上下文模型,而对第二和后续bin确定第二上下文模型。
如果未对输入到上述上下文模型的符号进行二值化,则在可以将 该符号输入到上下文模型之前,必须二值化该符号。根据图13所示的 关系,二值化非MB_type的语法单元。
根据图14A所示的关系对MB_type进行二值化,其中对P图像 确定了10种MB_type。此外,根据图14B所示的关系对MB_ype进 行二值化,其中对B图像确定17种MB_type。
利用预计算值,预初始化上述各种上下文模型的寄存器,并且当 对符号进行编码时,连续更新一系列上下文模型的各bin的出现频率, 以确定后续符号的编码过程。
如果给定上下文模型的出现频率超过预定值,则频率计数器递 减。通过这样进行周期性缩放处理,容易处理符号的动态出现率。
对于H.26L内的二值化符号的算术编码方案,从本说明书的开 头,就采用文献“Arithmetic Coding for Data Compression”(Witten et al.of the ACM,30(6),1987,pp520-541)(以下称为文献2)中描述的 方法。
在MPEG2中,如果要输入的图像信号是隔行扫描格式,可以在 宏块级进行字段/帧自适应编码处理。
尽管当前在H.26L中没有确定这种规范,但是文献“Interlace Coding Tools for H.26L Video Coding(L.Wang et al.,VCEG-037,Dec. 2001)”(以下称为文献3)建议对H.26L规范进行扩展,以在宏块级 支持字段/帧自适应编码处理。
现在,将说明文献3中建议的在宏块级进行字段/帧自适应编码 处理的过程。
根据当前的H.26L,如图15所示,有七种类型的模式(模式1 至7)被定义为宏块内的运动预测/补偿单元。
文献3建议将帧/字段标志设置在Run与MB_type之间,作为对 应于图像压缩信息内的宏块的语法,如图16所示。如果帧/字段标志 的值是0,则它表示要对相关宏块进行基于帧的编码。相反,如果帧/ 字段标志的值是1,则它表示要对相关宏块进行基于字段的编码。
如果帧/字段标志的值是1,即,如果进行基于字段的编码,则按 行重新排列宏块内的各像素,如图17所示。
如果帧/字段标志的值是1,则将如图18所示的5种类型的模式 (模式1a至5a),即对应于图15所示的模式3至7的5种模式定义 为宏块中的运动预测/补偿单元。
例如,在图18所示的模式2a,通过分割宏块产生的4个8×8块 0至3中的块0和1属于相同的字段奇偶性,并且块2和3属于相同 的字段奇偶性。此外,例如,在图18所示的模式3a下,通过分割宏 块产生的8个4×8块0至8中的块0至3属于相同的字段奇偶性,而 块4至7属于相同的字段奇偶性。
现在,将说明帧/字段标志的值是1时的intra预测模式。还是在 帧/字段标志的值是1时,例如,利用设置在相邻4×4块上的像素A 至I,对图9所示的、设置在4×4块内的像素a至p进行intra预测。 在这种情况下,应该注意,所有像素a至p和像素A至I属于相同的 字段奇偶性。
现在,将参考图19说明在像素A至I和像素a至p属于同一个 宏块时的情况。利用设置在相邻块2、3和6的边缘上的像素A至I, 对存在于通过将宏块分割为16份产生的4×4块7内的像素a至p进 行intra预测。
现在,将参考图20A和20B说明在像素A至I属于不同于像素a 至p所属宏块的宏块的情况。
图20A示出位于用于进行处理的宏块的左侧和上方的宏块的帧/ 字段标志值是1。在这种情况下,根据将左侧的宏块分割为16份产生 的4×4块A内的各像素以及将上面的宏块分割为16份产生的4×4宏 块B内的各像素,对存在于通过将目标宏块分割为16份产生的4×4 块C内的各像素进行intra预测。根据存在于4×4块A’内的各像素和 存在于4×4块B’内的各像素,对存在于4×4块C’内的各像素进行intra 预测。
图20B示出其中用于进行处理的目标宏块的帧/字段标志的值是 1的例子,而左侧和上面的各宏块的帧/字段标志的值是0。在这种情 况下,根据将左侧的宏块分割为16份产生的4×4块A内的各像素以 及将上面的宏块分割为16份产生的4×4宏块B内的各像素,对存在 于通过将目标宏块分割为16份产生的4×4块C内的各像素进行intra 预测。根据存在于4×4块A’内的各像素和存在于4×4块B’内的各像 素,对存在于4×4块C’内的各像素进行intra预测。
现在,将参考图21说明色度信号的intra预测过程。当帧/字段 标志的值是1时,仅确定色度信号的一种类型的intra预测模式。
图21中的A至D分别表示色度信号中的4×4块。块A和B属 于第一字段,而块C和D属于第二字段。s0至s2是存在于属于第一字 段奇偶性并与块A至D相邻的块内的色度信号的和。s3至s5是存在于 属于第二字段奇偶性并与块A至D相邻的块内的色度信号的和。
如果s0至s5全部存在于图像帧内,则根据如下所示的表达式(18) 预测分别对应于块A至D的预测值A至D。
    A=(s0+s2+4)/8
    B=(s1+2)/4
    C=(s3+s5+4)/8
    D=(s4+2)/4                                 ...(18)
如果s0至s5中仅s0、s1、s3以及s4存在于图像帧中,则根据如下 所示的表达式(19),预测分别对应于块A至D的预测值A至D。
A=(s0+2)/4
    B=(s1+2)/4
    C=(s3+2)/4
    D=(s4+2)/4 ...(19)
如果s0至s5中仅s2和s5存在于图像帧中,则根据如下所示的表 达式(20),预测对应于块A至D的预测值。
A=(s2+2)/4
    B=(s2+2)/4
    C=(s5+2)/4
    D=(s5+2)/4                             ...(20)
图22示出在如上所述进行了intra预测后,对色度信号的剩余分 量进行编码的方法。更具体地说,分别对每个4×4块进行正交变换处 理,利用第一字段和第二字段的DC分量产生该图所示的2×2块,再 次进行正交变换处理。
现在,说明当帧/字段标志的值是1时进行的运动预测/补偿处理。 当帧/字段标志的值是1时,存在6种类型的运动预测/补偿模式: inter-16×16模式、inter-8×16模式、inter-8×8模式、inter-4×8模式以 及inter-4×4模式。
例如,inter-16×16模式是其中第一字段的运动矢量信息、第二字 段的运动矢量信息以及inter-8×16模式内的基准帧等效的模式。
分别对Code number 0至5分配这6种运动预测/补偿模式。
在当前的H.26L中,规定了允许提供如图23所示的多个基准帧 的多帧预测过程。在当前的基于帧的H.26L标准中,以这样的方式在 宏块级确定与基准帧有关的信息,以致对先前编码帧分配 Code_number 0,而对位于具有Code_number 0的帧之前1倍至5倍 的帧分别分配Code_number 1至Code_number 5。
相反,对于基于字段的编码过程,对先前编码帧的第一字段分配 Code_number 0,而对同一个帧的第二字段分配Code_number 1。对 位于具有Code_number 0的帧之前的帧的第一字段分配 Code_number 2,而对相关帧的第二字段分配Code_number 3。对位 于具有Code_number 2的帧之前的帧的第一字段分配Code_number 4,而对相关帧的第二字段分配Code_number 5。
此外,对于被进行基于字段编码的宏块,互相独立地规定第一字 段的基准字段和第二字段的基准字段。
现在,将参考图24说明当前的H.26L中规定的中值预测过程, 然后,说明在帧/字段标志的值是1时的运动矢量信息预测方法。利用 与宏块A至C相邻的运动矢量信息的中值,预测图24所示的、对应 于16×16宏块E的16×16、8×8或4×4运动矢量信息。
然而,对于中值计算过程,假定不存在于图像帧内的宏块A至C 之任一的运动矢量信息值是0。例如,如果宏块D、B和C不存在于 图像帧中,则对应于宏块A的运动矢量信息用作预测值。此外,如果 在该图像帧内不存在宏块C,则利用宏块D的,而非宏块C的运动矢 量信息,计算中值。
不需要宏块A至D的基准帧相同。
现在,将参考图25A至25D说明在宏块的块大小是8×16、16×8、 8×4或4×8时的情况。假定如图24所示排列感兴趣宏块E和相邻宏块 A至D。
图25A示出其中宏块E1和E2的块大小是8×16的例子。对于左 侧的宏块E1,如果左侧的相邻宏块A与宏块E1参照同一个帧,则宏 块A的运动矢量信息用作预测值。如果左侧的相邻宏块A参照的帧不 同于宏块E1参照的帧,则进行上述中值预测。
关于右侧的宏块E2,如果右上角的相邻宏块C与宏块E2参照 同一个宏块,则宏块C的运动矢量信息用作预测值。如果右上角的相 邻宏块C参照的帧不同于宏块E2参照的帧,则进行上述中值预测。
图25B示出其中宏块E1和E2的块大小是16×8的例子。关于上 部宏块E1,如果上面的相邻宏块B与宏块E1参照同一个帧,则宏块 B的运动矢量信息用作预测值。如果上面的相邻宏块B与宏块E1参 照不同的帧,则进行上述中值预测。
关于上部宏块E2,如果左侧的相邻宏块A与宏块E2参照同一 个帧,则宏块A的运动矢量信息用作预测值。如果左侧的相邻宏块A 与宏块E2参照不同的帧,则进行上述中值预测。
图25C示出其中宏块E1至E8的块大小是8×4的例子。对左侧 宏块E1至E4进行上述中值预测,而将左侧宏块E1至E4的运动矢 量信息用作右侧宏块E5至E8的预测值。
图25D示出其中宏块E1至E8的块大小是4×8的例子。对上部 宏块E1至E4进行上述中值预测,而将上部宏块E1至E4的运动矢 量信息用作下部宏块E5至E8的预测值。
此外,如果帧/字段标志的值是1,则根据上述方法,预测运动矢 量信息的水平方向分量。然而,关于垂直方向分量,将基于字段的块 与基于帧的块混合,然后,进行如下处理。假定如图24所示排列感兴 趣宏块E和相邻宏块A至D。
当在已经对相邻宏块A至D之一进行了基于字段的编码的情况 下,对宏块E进行基于帧的编码时,将第一字段的运动矢量信息的垂 直方向分量与第二字段的运动矢量信息的垂直方向分量之间的均值乘 2,并且将该结果用做用于进行预测处理的基于帧的运动矢量信息的等 效物。
当在已经对相邻宏块A至D之一进行了基于帧的编码的情况下, 对宏块E进行基于字段的编码时,将运动矢量信息的垂直方向分量值 除2,并且将该结果用做用于进行预测处理的基于字段的运动矢量信 息的等效物。
根据文献3,添加在宏块级进行字段/帧编码所需的语法单元,此 外,改变诸如运动矢量信息的语法单元的语义。然而,在文献3中, 没有引入新的上下文模型,或者未响应于上述添加和变更,对现有上 下文模型进行更新。因此,文献3提供的信息不足以在宏块级利用 CABAC方案进行字段/帧编码。
已知CABAC是可以实现较高编码效率的方案,尽管与UVLC 相比,它需要大量算术运算进行编码处理,因此,最好即使在输入图 像信息具有隔行扫描格式时,CABAC仍可以在宏块级进行字段/帧编 码。

发明内容

鉴于上述情况,本发明的目的是即使在输入图像信息具有隔行扫 描格式时,也能够利用CABAC方案在宏块级进行字段/帧编码。
根据本发明的编码设备包括:无损编码装置,用于利用与表示在 宏块级的编码处理是基于字段还是基于帧的编码处理的帧/字段标志 对应的上下文模型、与用于执行基于帧的编码处理的语法单元对应的 上下文模型以及与用于执行基于字段的编码处理的语法单元对应的上 下文模型,来执行无损编码处理。
与用于执行基于字段的编码处理的语法单元对应的上下文模型 包括与I图像的MB_type、P/B图像的MB_type、运动矢量信息、基 准字段参数以及intra预测模式对应的上下文模型中至少之一。
根据本发明的编码方法包括:无损编码步骤,用于利用与表示在 宏块级的编码处理是基于字段还是基于帧的编码处理的帧/字段标志 对应的上下文模型、与用于执行基于帧的编码处理的语法单元对应的 上下文模型以及与用于执行基于字段的编码处理的语法单元对应的上 下文模型,来执行无损编码处理。
位于第一记录介质上的根据本发明的程序包括:无损编码步骤, 用于利用与表示在宏块级的编码处理是基于字段还是基于帧的编码处 理的帧/字段标志对应的上下文模型、与用于执行基于帧的编码处理的 语法单元对应的上下文模型以及与用于执行基于字段的编码处理的语 法单元对应的上下文模型,来执行无损编码处理。
根据本发明的第一程序使计算机执行无损编码步骤,在该无损编 码步骤,利用与表示在宏块级的编码处理是基于字段还是基于帧的编 码处理的帧/字段标志对应的上下文模型、与用于执行基于帧的编码处 理的语法单元对应的上下文模型以及与用于执行基于字段的编码处理 的语法单元对应的上下文模型,来执行无损编码处理。
根据本发明的解码设备包括:解码装置,用于对利用与表示在宏 块级的编码处理是基于字段还是基于帧的编码处理的帧/字段标志对 应的上下文模型、与用于执行基于帧的编码处理的语法单元对应的上 下文模型以及与用于执行基于字段的编码处理的语法单元对应的上下 文模型进行了编码的图像压缩信息进行解码。
根据本发明的解码方法包括:解码步骤,用于对利用与表示在宏 块级的编码处理是基于字段还是基于帧的编码处理的帧/字段标志对 应的上下文模型、与用于执行基于帧的编码处理的语法单元对应的上 下文模型以及与用于执行基于字段的编码处理的语法单元对应的上下 文模型进行了编码的图像压缩信息进行解码。
第二记录介质上的根据本发明的程序包括:解码步骤,用于对利 用与表示在宏块级的编码处理是基于字段还是基于帧的编码处理的帧 /字段标志对应的上下文模型、与用于执行基于帧的编码处理的语法单 元对应的上下文模型以及与用于执行基于字段的编码处理的语法单元 对应的上下文模型进行了编码的图像压缩信息进行解码。
根据本发明的第二程序使计算机执行解码步骤,解码步骤用于对 利用与表示在宏块级的编码处理是基于字段还是基于帧的编码处理的 帧/字段标志对应的上下文模型、与用于执行基于帧的编码处理的语法 单元对应的上下文模型以及与用于执行基于字段的编码处理的语法单 元对应的上下文模型进行了编码的图像压缩信息进行解码。
在根据本发明的编码设备、编码方法以及第一程序中,利用对应 于表示在宏块级进行的编码处理是基于字段还是基于帧的编码的帧/ 字段标志的上下文模型、与用于进行基于帧的编码处理的语法单元对 应的上下文模型以及与用于进行基于字段的编码处理的语法单元对应 上下文模型,来进行无损编码。
在根据本发明的解码设备、解码方法和第二程序中,对利用对应 于表示在宏块级进行的编码处理是基于字段还是基于帧的编码的帧/ 字段标志的上下文模型、与用于进行基于帧的编码处理的语法单元对 应的上下文模型以及与用于进行基于字段的编码处理的语法单元对应 上下文模型进行了编码的图象压缩信息进行解码。
编码设备和解码设备可以是互相独立的设备,也可以是在信号处 理设备内进行编码和解码的模块。
附图说明
图1是示出利用正交变换和运动补偿进行图像压缩的已知图像信 息编码设备的结构的方框图
图2是示出与图1所示图像信息编码设备对应的图像信息解码设 备的结构的方框图。
图3是示出算术编码中的符号出现概率与其相应子间隔之间关系 的例子。
图4是示出算术编码的例子的示意图。
图5是示出CABAC编码器的典型结构的方框图。
图6是示出MB_type的上下文模型的示意图。
图7是示出运动矢量信息MVD的上下文模型的示意图。
图8是示出根据上下文模型对运动矢量信息MVD进行编码的示 意图。
图9是示出在H.26L内确定的intra预测模式的示意图。
图10是示出标记1至5表示的intra预测模式的各方向的示意图。
图11A是示出在H.26L内确定的单扫描技术的示意图。
图11B是示出在H.26L内确定的双扫描技术的示意图。
图12是示出在H.26L内确定的对应于(RUN,LEVEL)的上下 文模型的示意图。
图13是示出不是H.26L中的MB_type的语法单元进行的二值化 过程的示意图。
图14A是示出H.26L中P图像的MB_type的二值化过程的示意 图。
图14B是示出H.26L中B图像的MB_type的二值化过程的示意 图。
图15是示出作为宏块中的运动预测/补偿单元、在H.26L内确定 的几种模式的方框图。
图16是示出用于扩展的图像压缩信息的语法,以致可以在宏块 级进行字段/帧自适应编码的示意图。
图17是示出在对宏块进行基于字段的编码时,重新排列宏块的 各像素的示意图。
图18是示出在对宏块进行基于字段的编码时,被定义为运动预 测/补偿单元的5种模式的示意图。
图19是示出在对宏块进行基于字段的编码时,intra预测的操作 原理的示意图。
图20A是示出在对宏块进行基于字段的编码时,对宏块进行intra 预测的操作原理的示意图。
图20B是示出在对宏块进行基于字段的编码时,对宏块进行intra 预测的操作原理的示意图。
图21是示出在对宏块进行基于字段的编码时,对色度信号进行 intra预测的操作原理的示意图。
图22是示出在对宏块进行基于字段的编码时,用于编码色度信 号的剩余分量的操作原理的示意图。
图23是示出H.26L规定的多帧预测的示意图。
图24是示出在对宏块进行基于字段的编码时,用于预测运动矢 量信息的方法的示意图。
图25A是示出在H.26L规定的预测模式下,产生运动矢量信息 的预测值的示意图。
图25B是示出在H.26L规定的预测模式下,产生运动矢量信息 的预测值的示意图。
图25C是示出在H.26L规定的预测模式下,产生运动矢量信息 的预测值的示意图。
图25D是示出在H.26L规定的预测模式下,产生运动矢量信息 的预测值的示意图。
图26是示出根据本发明实施例的图像信息编码设备的典型结构 的方框图。
图27是示出图26所示算术编码部分58的典型结构的方框图。
图28A是示出在对宏块进行基于字段的编码时,用于二值化属于 P图像的宏块的MB_type的表的图。
图28B是示出在对宏块进行基于字段的编码时,用于二值化属于 B图像的宏块的MB_type的表的图。
图29是示出根据本发明实施例的图像信息解码设备、对应于图 26所示图像信息编码设备的解码设备的典型结构。

具体实施方式

现在,将参考图26说明对其应用本发明的图像信息编码设备。 即使在输入图像信息基于隔行扫描格式时,相关的图像信息编码设备 也能够采用CABAC方案进行编码。
在相关的图像信息编码设备中,A/D变换部分51将作为模拟信 号的输入图像信号变换为数字信号,然后,将它输出到图像分类缓冲 器52。根据从相关的图像信息编码设备输出的图像压缩信息的GOP 结构,图像分类缓冲器52重新排列A/D变换部分51输出的输入图像, 然后,将它输出到加法器54。
字段/帧确定部分53确定基于帧的编码和基于字段的编码哪个可 以提供更高的编码效率,以对要处理的图像的宏块进行编码,产生正 确的帧/字段标志,然后,将该结果输出到字段/帧变换部分55和算术 编码部分58。
在对要处理的宏块进行inter编码时,加法器54产生通过字段/ 帧确定部分53的输入图像与运动预测/补偿部分64输出的基准图像的 微分图像(differential image),然后,将微分图像输出到字段/帧变 换部分55和正交变换部分56。另一方面,当对要处理的宏块进行intra 编码时,加法器54通过字段/帧确定部分53将输入图像原样输出到字 段/帧变换部分55以及正交变换部分56。
在对要处理的图像进行基于字段的编码时,字段/帧变换部分55 将来自加法器的输入图像变换为字段结构,然后,将该结果输出到正 交变换部分56。正交变换部分56对输入图像信息进行正交变换(例 如,离散余弦变换或Karhunen-Loeve变换),然后,将获得的变换 系数提供给量化部分57。在速率控制部分65的控制下,量化部分57 对正交变换部分56提供的变换系数进行量化处理。
根据CABAC方案,算术编码部分58对从量化部分57和运动预 测/补偿部分64输入的每个语法单元以及来自字段/帧确定部分53的 帧/字段标志进行算术编码,然后,将该结果送到累积缓冲器59进行 累积。累积缓冲器59将累积的图像压缩信息输出到后续级。
去量化部分60去量化被量化的正交变换系数,然后,将它输出 到逆正交变换部分61。逆正交变换部分61对去量化变换系数进行逆 正交变换处理,产生解码的图像信息,将它送到帧存储器62,进行累 积。在对要处理的宏块进行基于字段的编码时,字段/帧变换部分63 将累积在帧存储器62内的解码图像信息变换为字段结构,然后,将它 输出到运动预测/补偿部分64。
通过进行运动预测处理,运动预测/补偿部分64产生最佳预测模 式信息和运动矢量信息,然后,将它输出到算术编码部分58。此外, 运动预测/补偿部分64产生预测图像,以将它输出到加法器54。根据 累积在累积缓冲器59内的数据的数量,速率控制部分65对量化部分 57的操作进行反馈控制。根据记录在记录介质67上的控制程序,控 制部分66对相关的图像信息编码设备的每个部分进行控制。
现在,将参考图27说明算术编码部分58的操作原理。图27示 出算术编码部分58的典型结构。在输入图像压缩信息的语法单元中, 首先利用算术编码部分58内的帧/字段标志上下文模型91,对图16 所示的帧/字段标志进行编码。
在对要处理的宏块进行基于帧的编码时,采用当前的H.26L标准 规定的基于帧的上下文模型92。对于具有非二值化值的语法单元,这 样的值被二值化部分93二值化,然后,进行算术编码。
另一方面,当对要处理的宏块进行字段编码时,对以下所述语法 单元应用基于字段的上下文模型94。对于具有非二值化值的语法单 元,这样的值被二值化部分95二值化,然后,进行算术编码。更具体 地说,第一语法单元是I图像的MB_type,第二语法单元是P/B图像 的MB_type,第三语法单元是运动矢量信息,第四语法单元是基准字 段参数,第五语法单元是intra预测模式。
下面的描述假定如图6所示排列宏块A、B和C。现在,说明与 帧/字段标志有关的上下文模型。根据如下所示的表达式(21),确定 与宏块C的帧/字段标志有关的上下文模型ctx_fifr_flag(C)。
     ctx_fifr_flag(C)=a+2b                  ...(21)
在表达式(21)中,a和b分别是宏块A和B的帧/字段标志的 值。
现在,说明与I图像的MB_type有关的上下文模型。在帧/字段 标志是1时,根据如下所示的表达式(22),确定对应于包括在I图 像内的宏块C的MB_type的上下文模型ctx_mb_type_intra_field(C), 与利用表达式(3)相同。
     ctx_mb_type_intra_field(C)=A+B                 ...(22)
表达式(22)中的A和B与表达式(3)中的各相应部分相同。 而与是否对相邻宏块A和B进行基于字段的编码或基于帧的编码无 关。
现在,说明与P/B图像的MB_type有关的上下文模型。当宏块 C包括在P图像内时,根据如下所示的表达式(23),确定对应于宏 块C的MB_type的上下文模型ctx_mb_type_inter_field(C)。此外, 当宏块C包括在B图像中时,根据如下所示的表达式(24),确定对 应于宏块C的MB_type的上下文模型ctx_mb_type_inter_field(C)。
ctx_mb type_inter_field(C)
    =((A==skip)?0:1)+2((B==skip)?0:1)        ...(23)
ctx_mb_type_inter_field(C)
    =((A==direct)?0:1)+2((B==direct)?0:1)    ...(24)
表达式(23)中的算子((A==skip)?0:1)和((A==skip)?0:1) 与表达式(4)中的算子相同,而表达式(24)中的算子 ((A==Direct)?0:1)和((B==Direct)?0:1)与表达式(5)中的 算子相同。与是否对相邻宏块A和B进行基于字段的编码还是基于帧 的编码无关。
根据图28A所示的表,二值化未二值化的P图像的MB_type。 此外,根据图28B所示的表,二值化未二值化的B图像的MB_type。
在自适应二进制算术编码部分96中,概率估计部分97对二值化 符号进行概率估计,然后,根据概率估计,编码引擎98进行自适应算 术编码。在进行了自适应算术编码处理后,更新相关模型。这使得每 个模型能够根据实际图像压缩信息的统计数据进行编码处理。
对于对其进行基于帧的编码的宏块,如果该宏块属于P图像,则 确定10种MB_type。另一方面,对于对其进行基于字段的编码的宏 块,如果宏块属于P图像,则不定义上述16种类型的模型中的16×16 模式和8×16模式。总之,对于对其进行了基于字段的编码的与P图 像相关的宏块,确定8种类型的MB_type。
对于对其进行基于帧的编码的、与B图像相关的宏块,定义18 种类型的MB_type。另一方面,对于对其进行了基于字段的编码并且 属于B图像的宏块,未在上述18种模式中确定正向16×16模式、反 向16×16模式、正向8×16模式以及反向8×16模式。总之,对于对其 进行了基于字段的编码的、与B图像有关的宏块,确定14种类型的 MB_type。
现在,将说明运动矢量信息的上下文模型。当帧/字段标志的值 是1时,根据如下所示的表达式(25-1)至(25-3),确定对应于 宏块C的运动矢量信息的第一至第三上下文模型ctx_mvd_field(C,k)。
       ctx_mvd_field(C,k)=0                  ek(C)<3 (25-1)
ctx_mvd_field(C,k)=1  32<ek(C)             (25-2)
ctx_mvd_field(C,k)=2  3≤ek(C)≤32          (25-3)
在表达式(25-1)至(25-3)中,根据如下所示的表达式(26), 确定评估函数。宏块A和B存在于同一个奇偶字段内。
     ek(C)=|mvdk(A)|+|mvdk(B)|                ...(26)
如果对宏块A进行了基于帧的编码,对于垂直方向分量的运动矢 量信息mvd1(A),将根据如下所示表达式(27)计算的mvd1_field(A)代 入表达式(26)。在对宏块B进行基于帧的编码时,也可以应用它。
     mvd1_field(A)=mvd1_field(A)/2             ...(27)
相反,如果对宏块C进行基于帧的编码,并且对相邻块A进行 基于字段的编码,则对于mvdk(A)的水平方向分量和垂直方向分量, 将根据表达式(28-1)和(28-2)计算的mvd1_frame(A)分别代入表 达式(26)。
mvd0_frame(A)=(mvd0_top(A)+mvd0_bottom(A))/2      ...(28-1)
mvd1_frame(A)=(mvd1_top(A)+mvd1_bottom(A))/2      ...(28-2)
现在,说明与基准字段参数相关的上下文模型。当帧/字段标志 的值是1时,根据如下所示的表达式(29-1),确定对应于第一字段 的第一上下文模型ctx_ref_field_top(C)。此外,根据如下所示的表达 式(29-2),定义对应于第二字段的第一上下文模型 ctx_ref_field_bot(C)。
ctx_ref_field_top(C)=at+2bt         ...(29-1)
ctx_ref_field_top(C)=ab+2bb         ...(29-2)
在表达式(29-1)至(29-2)中,参数at与相邻宏块A的第 一字段相关,参数ab与相邻宏块A的第二字段相关,参数bt与相邻 宏块B的第一字段相关,参数bb与相邻宏块B的第二字段相关,正 如如下所示的表达式(30-1)和(30-2)确定的那样。
at,ab,bt,bb=0
(当基准字段是紧接先前编码字段时)                ...(30-1)
at,ab,bt,bb=1
(否则)                                          ...(30-2)
以与利用表达式(8)所示的上下文模型ctx_ref_frame(C)同样方 式,分别确定对应于第二bin和后续bin的上下文模型。然而,应该 注意,不是对帧而是对字段分配要编码的Code_number。
现在,将说明与intra预测模式有关的上下文模型。在帧/字段标 志的值是1时,在帧模式下,以与用于宏块的上下文模型 cts_intra_pred(C)同样的方式,定义与对应于宏块C的intra预测模式 相关的上下文模型ctx_intra_pred_field(C)。对相邻宏块A进行基于 字段的编码还是进行基于帧的编码无关紧要。
如上所述,通过引入新上下文模型并改变现有上下文模型,可以 进行采用CABAC方案的字段/帧编码。
图29示出对应于图26所示图像信息编码设备的解码设备的典型 结构。
在相关的图像信息解码设备中,累积缓冲器101累积输入图像压 缩信息,然后,在需要时,将它输出到算术解码部分102。算术解码 部分102对根据CABAC方案编码的图像压缩信息进行算术解码,将 解码的帧/字段标志输出到字段/帧变换部分105和110,将量化的正交 变换系数输出到去量化部分103,以及将预测模式信息和运动矢量信 息输出到运动预测/补偿部分111。
去量化部分103去量化算术解码部分102解码的被量化的正交变 换系数。逆正交变换部分104对去量化的正交变换系数进行逆正交变 换。如果已经对要处理的宏块进行了基于字段的编码,则字段/帧变换 部分105将作为逆正交变换的结果获得的输出图像或微分图像变换为 帧结构。
如果要处理的宏块是inter宏块,则加法器106将来自逆正交变 换部分104的微分图像和来自运动预测/补偿部分111的基准图像组合 在一起,以产生输出图像。根据输入图像压缩信息的GOP结构,图 像分类缓冲器107重新排列输出图像,然后,将它输出到D/A变换部 分108。D/A变换部分108将作为数字信号的输出图像变换为模拟信 号,然后,将它输出到后续级。
帧存储器109存储加法器106产生的图像信息,即从其产生基准 图像的图像信息。在已对要处理的宏块进行基于字段的编码时,字段/ 帧变换部分110将存储在帧存储器111内的图像信息变换为字段结构。 根据包括在图像压缩信息内的每个宏块的预测模式信息和运动矢量信 息,运动预测/补偿部分111利用存储在帧存储器内的图像信息产生基 准图像,然后,将该基准图像输出到加法器106。
根据如上构造的图像信息解码设备,可以将图26所示的图像信 息编码设备输出的图像压缩信息解码为原始图像信息。
不仅可以利用硬件并且可以利用软件实现上述一系列处理过程。 如果利用软件实现这一系列处理过程,则将构成该软件的程序从图26 所示的记录介质67安装到内置在专用硬件中的计算机内,或者安装到 例如需要安装程序以执行相应功能的通用个人计算机。
记录介质67可以是封装介质,该封装介质包括:磁盘(包括软 盘);光盘(包括压缩光盘-只读存储器,即,CD-ROM和数字通 用光盘,即,DVD);磁光盘(包括小型光盘、即MD);或者半导 体存储器,如果单独由用户计算机提供这种程序。如果通过预先安装 在用户计算机上的方式提供记录介质上的程序,则该记录介质可以是 ROM或用户计算机的硬盘
在本发明中,记录在记录介质上的程序步骤可以采用也可以不采 用所描述步骤的时间顺序。此外,可以并行执行也可以互相独立执行 各步骤。
工业应用
如上所述,根据本发明,即使在输入图像信息具有隔行扫描格式 时,仍可以执行采用CABAC方案的字段/帧编码过程。
此外,根据本发明,通过解码具有在宏块级利用CABAC方案进 行字段/帧编码的隔行扫描格式的图像信息的压缩图像信息,可以恢复 隔行扫描格式的图像信息。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈