图像信息编码装置和方法以及图像信息解码装置和方法
阅读：1发布：2021-01-22
专利汇可以提供图像信息编码装置和方法以及图像信息解码装置和方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及图像信息编码装置和方法、以及图像信息解码装置和方法。提供一种基于输入图像 信号 的 色度 分量 分辨率 和彩色空间进行图像内预测编码的图像信息编码装置。在此图像信息编码装置(10)中，一个 帧 内预测 单元(23)基于色度格式信号?它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个?和彩色空间信号?它指示彩色空间是YCbCr，RGB和XYZ等中的哪一个?适应地改变 块 大小，产生一个预测图像。此外， 正交 变换单元(14)和量化单元(15)也按照色度格式信号和彩色空间信号改变正交变换方法和量化方法。可逆编码单元(16)对色度格式信号和彩色空间信号进行编码，将所获得的已 编码信号 包含在图像压缩信息中。，下面是图像信息编码装置和方法以及图像信息解码装置和方法专利的具体信息内容。
1.一种对图像信号进行编码的编码装置，其特征在于，具备：
图像内预测单元，在表示上述图像信号的色差信号的分辨率的色度格式信号是4∶2∶2格式、彩色空间信号指示YCbCr的情况下，在以在纵方向排列了8×8像素的块的8×16像素块单位通过DC预测方式对上述色差信号进行图像内预测编码时，分为8×8像素块使用上边和左边相邻块的像素来计算它们的平均值，由此生成预测图像；
变换单元，仅集合以4×4像素块单位对由上述图像内预测单元生成的预测图像与原图像的差分信号进行整数精度离散余弦变换而得到的4×4块的DC系数而构成2×4块的色度DC块，以2×4块单位对所构成的色度DC块进行离散Hadamard变换；
量化单元，按照上述变换单元所进行的变换适应地改变量化方法，对上述变换单元所产生的变换系数进行量化；以及
编码单元，对上述量化单元所量化的上述变换系数、上述色度格式信号和上述彩色空间信号进行编码。
2.一种对图像信号进行编码的编码方法，其特征在于，具有：
图像内预测步骤，在表示上述图像信号的色差信号的分辨率的色度格式信号是4∶2∶2格式、彩色空间信号指示YCbCr的情况下，在以在纵方向上排列了8×8像素的块的8×16像素块单位通过DC预测方式对上述色差信号进行图像内预测编码时，分为8×8像素块使用上边和左边相邻块的像素来计算它们的平均值，由此生成预测图像；
变换步骤，仅集合以4×4像素块单位对在上述图像内预测步骤中生成的预测图像与原图像的差分信号进行整数精度离散余弦变换而得到的4×4块的DC系数来构成2×4块的色度DC块，以2×4块单位对所构成的色度DC块进行离散Hadamard变换；
量化步骤，按照上述变换步骤所进行的变换适应地改变量化方法，对上述变换步骤所产生的变换系数进行量化；以及
编码步骤，对上述量化步骤所量化的上述变换系数、上述色度格式信号和上述彩色空间信号进行编码。
3.一种解码装置，其特征在于，具备：
解码单元，对量化和编码后的变换系数、指示彩色信号分辨率的色度格式信号和指示彩色空间的彩色空间信号进行解码；
逆量化单元，根据色度格式信号和彩色空间信号适应地改变逆量化方法，针对以2×4块单位对仅集合以4×4像素块单位进行整数精度离散余弦变换而得到的4×4块的DC系数而构成的2×4块的色度DC块进行离散Hadamard变换而得到的变换系数进行逆量化；
逆变换单元，在表示图像信号的色差信号的分辨率的色度格式信号是4∶2∶2格式、彩色空间信号指示YCbCr的情况下，以2×4块单位对上述逆量化后的变换系数进行逆离散Hadamard变换，将逆离散Hadamard变换后的系数作为与在纵方向上排列了8×8像素的块的
8×16像素块对应的8个4×4块的各DC系数而进行整数精度逆离散余弦变换；以及图像内预测单元，使用由上述逆变换单元变换后的系数，以在纵方向上排列了8×8像素的块的8×16像素块单位对上述色差信号通过DC预测方式进行图像内预测解码时，分为8×8像素块使用上边和左边相邻块的像素来计算它们的平均值，由此生成预测图像。
4.一种解码方法，其特征在于，具有：
解码步骤，对量化和编码后的变换系数、指示彩色信号分辨率的色度格式信号和指示彩色空间的彩色空间信号进行解码；
逆量化步骤，根据色度格式信号和彩色空间信号适应地改变逆量化方法，针对以2×4块单位对仅集合以4×4像素块单位进行整数精度离散余弦变换而得到的4×4块的DC系数而构成的2×4块的色度DC块进行离散Hadamard变换而得到的变换系数进行逆量化；
逆变换步骤，在表示图像信号的色差信号的分辨率的色度格式信号是4∶2∶2格式、彩色空间信号指示YCbCr的情况下，以2×4块单位对上述逆量化后的变换系数进行逆离散Hadamard变换，将逆离散Hadamard变换后的系数作为与在纵方向上排列了8×8像素的块的
8×16像素块对应的8个4×4块的各DC系数而进行整数精度逆离散余弦变换；以及图像内预测步骤，使用通过上述逆变换步骤变换后的系数，以在纵方向上排列了8×8像素的块的8×16像素块单位对上述色差信号通过DC预测方式进行图像内预测解码时，分为8×8像素块使用上边和左边相邻块的像素来计算它们的平均值，由此生成预测图像。
图像信息编码装置和方法以及图像信息解码装置和方法
技术领域
[0002] 本发明涉及图像信息编码装置和方法以及图像信息解码装置和方法，用于通过诸如卫星广播服务，有线TV(电视)或因特网等网络媒体接收或在诸如光盘，磁盘或闪存等存储媒体上处理图像压缩信息(比特流)，该图像压缩信息通过诸如离散余弦变换或Karhunen-Loeve变换等正交变换以及如MPEG(运动图像专家组)、H.26x等那样的运动预测/补偿而被压缩。
背景技术
[0003] 近年来，依照诸如MPEG等系统的装置已普遍用于广播台等的信息分配(递送)和普通家庭的信息接收，在这些装置中图像信息作为数字信息被处理，利用图像信息特有的冗性通过诸如离散余弦变换等正交变换和的运动预测/补偿来图像压缩信息，以达到高效传输/存储信息的目的。
[0004] 特别是MPEG2(ISO/IEC 13818-2)被确定为通用图像编码系统，并且目前已广泛应用于专业和消费领域作为标准，包括隔行扫描图像和顺序扫描图像，以及标准清晰度图像和高清晰度图像。通过应用MPEG2压缩系统，在具有例如720×480像素的标准清晰度隔行扫描图像的情况下指配4至8Mbps的码量(比特率)，在具有1920×1088像素的高清晰度隔行扫描图像的情况下指配18至22Mbps的码量(比 特率)，从而可以实现高压缩率和满意的图像质量。
[0005] MPEG2主要针对主要适合广播用编码系统的高图像质量编码，而不符合比MPEG1码量(比特率)更低即压缩率更高的编码系统。然而，相信对这种编码系统的需求将来会随着便携(移动)终端的普及而增长。与此对应，MPEG4编码系统的标准化已经完成。关于图像编码系统，它的标准已经作为国际标准ISO/IEC 14496-2在1998年12月被批准。
[0006] 此外，近年来随着实现用于电视会议的图像编码作为当初的目的，H.264标准(ITU-T Q6/16 VCEG)正在开发中。已经知道，H.264比MPEG2或MPEG4等常规编码系统需要更大的运算量来进行编码/解码，可以实现更高的编码效率。另外，其中具有不被H.264支持的功能并以H.264作为基础来实现更高编码效率的标准化目前正在被JVT(联合视频组)执行，作为MPEG4工作的一部分。
[0007] 图1示出用于通过诸如离散余弦变换或Karhnen-Loeve变换等正交变换和运动预测/补偿实现图像压缩的图像信息编码系统结构示意图。如图1所示，图像信息编码装置100包括一个A/D(模拟/数字)变换单元101，一个图像分类缓冲器102，一个相加器103，一个正交变换单元104，一个量化单元105，一个可逆编码单元106，一个存储缓冲器107，一个逆量化单元108，一个逆正交变换单元109，一个相加器110，一个帧存储器111，一个运动预测/补偿单元112，一个帧内预测单元113和一个速率控制单元114。
[0009] 在此例中，图像分类缓冲器102对于进行帧内(图像内)编码的图像提供全部帧的图像信息到正交变换单元104。正交变换单元104对图像信息进行诸如离散余弦变换或Karhnen-Loeve变换等正交变换，提供变换系数到量化单元105。量化单元105对正交变换单元104所提供的变换系数进行量化处理。
[0010] 可逆编码单元106对量化的变换系数进行诸如可变长度编码或算术编码等可逆编码，提供已编码变换系数给存储缓冲器107，在那里将它们存储起来。获得的已编码变换系数作为图像压缩信息输出。
[0011] 量化单元105的操作受速率控制单元114的控制。量化单元105还提供已量化的变换系数到逆量化单元108。此逆量化单元108对所提供的变换系数进行逆量化。逆正交变换单元109对逆量化的变换系数进行逆正交变换处理，产生解码的图像信息，提供所产生的信息给帧存储器111，将信息存储在那里。
[0012] 另一方面，图像分类缓冲器102对于进行帧间(图像间)编码的图像提供图像信息给运动预测/补偿单元112。运动预测/补偿单元112同时从帧存储器111取出参考图像信息进行运动预测/补偿，从而产生参考图像信息。运动预测/补偿单元112将它产生的参考图像信息提供给相加器103。相加器103变换参考图像信息为一个参考图像信息和被提供的图像信息之间的差信号。此外，运动预测/补偿单元112同时提供运动矢量信息给可逆编码单元106。
[0013] 可逆编码单元106对被提供的运动矢量信息进行诸如可变长度编码或算术编码等可逆编码处理，形成插入到图像压缩信息的头部的信息。应指出，因为其它的处理相同于对进行帧内编码的图像压缩信息的处理，对它们的说明被省略。
[0014] 这里，在实现上面说明的JVT标准(下面称为JVT编解码)的编码系统中应用帧内预测编码，在进行帧内编码时由块四周的像素产生预测图像，再对与预测图像的预测图像差值进行编码。即对于进行帧内编码的图像，预测图像由已完成编码的像素块附近的像素产生，相对预测图像的差值然后被编码。逆量化单元108和逆正交变换单元109分别对已帧内编码的像素进行逆量化和逆正交变换。相加器110将逆正交变换单元109的输与用于对像素块编码的预测图像相加，提供得到的相加值给帧存储器111，将它们存储在那里。在像素块被帧内编码的情况下，帧内预测单元113读出已经编码的、存储在帧存储器111中的相邻像素以产生预测图像。这时，根据用于产生预测图像 的帧内预测方式，可逆编码单元106完成可逆编码处理，输出被处理信息到图像压缩信息中。
[0015] 接着，对应于上面所述图像信息编码装置100的图像信息解码装置的结构示意图被示于图2中。如图2所示，图像信息解码装置120包括一个存储缓冲器121，一个可逆解码单元122，一个逆量化单元123，一个逆正交变换单元124，一个相加器125，一个图像分类缓冲器126，一个D/A(数字/模拟)变换单元127，一个运动预测/补偿单元128，一个帧存储器129，以及一个帧内预测单元130。
[0016] 图2中，存储缓冲器121暂时存储输入的图像压缩信息，然后传送图像压缩信息到可逆解码单元122。可逆解码单元122基于预先规定的图像压缩信息格式对图像压缩信息进行诸如可变长度解码或算术解码等处理，并提供量化的变换系数给逆量化单元123。在对应的帧是帧间编码帧的情况下，可逆解码单元122还解码存储在图像压缩信息头部的运动矢量信息，提供此被解码信息给运动预测/补偿单元128。
[0017] 逆量化单元123对可逆解码单元122提供的量化的变换系数进行逆量化，提供所获得的变换系数给逆正交变换单元124。逆正交变换单元124基于预先规定的图像压缩信息格式对变换系数进行诸如逆离散余弦变换或逆Karhunen-Loeve变换等逆正交变换。
[0018] 在相应帧为帧内编码帧的情况下，已经完成逆正交变换处理的图像信息被存储到图像分类缓冲器126，并在D/A变换单元127中经D/A变换处理后被输出。
[0019] 另一方面，在相应帧为帧间编码帧的情况下，运动预测/补偿单元128基于可逆解码处理已得到的运动矢量和存储在帧存储器129中的图像信息产生参考图像，并将所产生的参考图像提供给相加器125。相加器125合成参考图像和可逆正交变换单元124的输出。应指出，因为其它处理相同于对帧内编码帧的处理，它们的说明被省略。
[0020] 在此例中，因为帧内预测编码系统在JVT编解码中被采用，在相应帧是帧内编码帧的情况下，帧内预测单元130从帧存储器129读出图像，按照在可逆解码单元122实现的可逆解码处理所得到的帧内预 测方式产生预测图像。相加器125将逆正交变换单元124的输出与预测图像相加。
[0021] 上面已经说明的图像信息编码装置100和图像信息解码装置120已在例如日本专利申请公报No.2001-199818和No.2002-20953公开。
[0022] 如上所述，在JVT编解码(H.264|MPEG-4 AVC)实现的帧内编码中采用了所述一个帧内预测编码系统，从块四周的像素产生预测图像并编码与预测图像的差值。
[0023] 这里，对于亮度分量，应用两种预测系统：一个是帧内4×4预测方式，其中预测基于4×4像素块进行；另一个是帧内16×16预测方式，其中预测基于16×16像素块(宏块)进行。
[0024] 另一方面，对于色差分量，基于Cb，Cr各8×8块进行预测。这个预测编码方法相同于帧内16×16预测方式的编码方法，只是预测方式改变为8×8块单位的预测方式。图3示出色差分量帧内预测编码中的预测方式。如图3所示，在JVT编解码中规定了以下4种预测方式：
[0025] (a)垂直方式(方式0) (b)水平方式(方式1)
[0026] (c)DC方式(方式2) (d)面预测方式(方式3)
[0027] 按照具有最小预测差(残留)的预测方式产生预测图像。下面说明4种预测方式中产生预测图像的方法。
[0028] (a)垂直方式(方式0)
[0029] 在垂直方式中，色差块的上边相邻色差块(在4:2:0格式的情况下，上宏块)的像素被复制，被复制的像素作为相应块的预测图像，若上边相邻块的像素表示为P[X，-1]，色差块的预测图像predc则由下面式(1)表示。注意：此方式只用在上边相邻块存在的情况下。
[0030] predc[x，y]＝p[x，-1] (x，y＝0..7)
[0031] …(1)
[0032] (b)水平方式(方式1)
[0033] 在水平方式中，色差块的左边相邻块(在4:2:0格式的情况下，左宏块)的像素被复制，复制的像素作为相应块的预测图像。若左边相邻块的像素表示为P[-1，Y]，则色差块的预测图像predc由下面式 (2)表示。注意：此方式只用在左边相邻块存在的情况下。
[0034] predc[x，y]＝P[-1，y] (x，y＝0..7)
[0035] …(2)
[0036] (c)DC方式(方式2)
[0037] 在DC方式中，色差块的上边和左边相邻块的像素被使用，它们的平均值构成预测图像。注意，在相邻像素不存在的情况下，值128被用作预测信号。
[0038] 换言之，在X，Y＝0...3的情况下，预测图像predc[X，Y]用相邻的上边像素P[X，-1]和相邻的左边像素P[-1，Y]产生(在此例中，X，Y＝0...3)。具体说在以下四种情况下预测图像分别用下面的式(3)至(6)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0039] (x，y＝0..3)
[0040] …(3)
[0041] (x，y＝0..3)
[0042] …(4)
[0043] (x，y＝0..3)
[0044] …(5)
[0045] predc[x，y]＝128 (x，y＝0..3)
[0046] …(6)
[0047] 类似地，在X＝4...7，Y＝0...3的情况下，预测图像predc[X，Y]用相邻的上边像素P[X，-1]和相邻的左边像素P[-1，Y]产生(在此例中，X＝4...7，Y＝0...3)。具体说，在以下三种情况下预测图像分别用 以下式(7)至(9)产生：情况(i)：像素P[X，-1]存在；情况(ii)：像素P[X，-1]不存在，且像素P[-1，Y]存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0048] (x＝4..7，y＝0..3)
[0049] …(7)
[0050] (x＝4..7，y＝0..3)
[0051] …(8)
[0052] predc＝128 (x＝4..7，y＝0..3)
[0053] …(9)
[0054] 类似地，在X＝0...3，Y＝4...7的情况下，预测图像predc[X，Y]用相邻的上边像素P[X，-1]和相邻的左边像素P[-1，Y]产生(在此例中，X＝0...3，Y＝4...7)。具体说，在以下三种情况下预测图像分别用以下式(10)至(12)产生：情况(i)：像素P[-1，Y]存在；情况(ii)：像素P[X，-1]存在，且像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0055] (x＝0..3，y＝4..7)
[0056] …(10)
[0057] (x＝0..3，y＝4..7)
[0058] …(11)
[0059] predc＝128 (x＝0..3，y＝4..7)
[0060] …(12)
[0061] 类似地，在X，Y＝4...7的情况下，预测图像predc[X，Y]用相邻的上边像素P[X，-1]和相邻的左边像素P[-1，Y]产生(在此例中，X， Y＝4...7)。具体说，在以下四种情况下预测图像分别用以下式(13)至(16)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0062] (x，y＝4..7)
[0063] …(13)
[0064] (x，y＝4..7)
[0065] …(14)
[0066] (x，y＝4..7)
[0067] …(15)
[0068] predc[x，y]＝128 (x，y＝4..7)
[0069] …(16)
[0070] (d)面预测方式(方式3)
[0071] 在面预测方式中，预测图像是色差块相邻的左边块(在4:2:0格式的情况下，左宏块)的像素和相邻的上边块的像素的面近似。若相邻的左边块的像素和相邻的上边块的像素分别用P[-1，Y]和P[X，-1]表示，则色差预测图像predc由式(17)表示。其中Clip1表示限制到0至255的范围内。
[0072] predc[x，y]＝Clip1((a+b×(x-3)+c×(y-3)+16)＞＞5) (x，y＝0..7)[0073] …(17)[0074] 其中
[0075]
[0076] 上述方式中，在色差分量的帧内预测用四种预测方式中的任一种完成，产生预测图像后，在相加器103中产生当前图像块与预测图像间的差信号。正交变换单元104基于4×4像素块对8×8块的差信号进行4×4整数变换。若通过从当前像素块中减去预测图像得到的差信号用F4×4表示，则4×4整数变换由下面的式(18)表示。
[0077]
[0078] 其中
[0079]
[0080] 此外，在JVT编解码中在4×4整数变换完成后，在8×8块中的4个4×4块的(0，0)系数(DC系数)如图4所示那样被集合起来构成2×2块，并对2×2块进行2×2 Hadmard变换。这是因为用在色差中的帧内预测效率不太高，并且相邻4×4块的(0，0)系数仍存在相关。为了利用此相关性进一步改善(提高)编码效率，只将4×4块中的(0，0)系数集合起来构成2×2块并对其进行2×2 Hadamard变换。若2×2的色度DC块用fdc2×2表示，经2×2 Hadamard变换后的色度DC块f’dc2×2由下面式(19)表示。
[0081]
[0082] 其中
[0083]
[0084] 在整数变换处理后相应的系数被量化。如果用于确定亮度量化系数的参数是Qpy，则用于确定色差量化系数的参数Qpc以下述方法计算出。
[0085] 首先，按照下面的式(20)由编码在图像压缩信息中的Qpy(它取0至51范围内的值)和色差量化系数的偏置值chroma-qp-offset计算QPi。在此情况下QPi是被限制到0到51的范围内。
[0086] QPi＝QPy+chroma_qp_offset
[0087] …(20)
[0088] 然后，此QPi被用来从下面列出的表1确定色差的参数QPc。
[0089] 表1
[0090] QPi ＜30 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51
QPc ＝QPi 29 30 31 32 32 33 34 34 35 35 36 36 37 37 37 38 38 38 39 39 39 39 [0091] 如果量化前对应AC系数值是f，量化后相应AC系数值是f’，量化系数值由下面式(21)表示。
QPc ＝QPi 29 30 31 32 32 33 34 34 35 35 36 36 37 37 37 38 38 38 39 39 39 39 [0091] 如果量化前对应AC系数值是f，量化后相应AC系数值是f’，量化系数值由下面式(21)表示。
[0092] f′[i，j]＝(f[i，j]×Q(QPc％6，i，j)+r)＞＞(15+QPc/6) (i，j＝0..3)[0093] …(21)[0094] 其中
[0095]
[0096] 另一方面，若量化前对应DC系数值是fdc，量化后相应DC系数是fdc’，量化系数值由下面式(22)表示。在此情况下式(22)中的 r是用于取整处理的常数。
[0097] fdc′[i，j]＝(fdc[i，j]×Q(QPc％6，0，0)+r)＞＞(16+QPc/6) (i，j＝0..1)[0098] …(22)[0099] 此外，若逆量化后的AC系数是f”，AC系数的逆量化由下面式(23)表示。
[0100] f″[i，j]＝(f′[i，j]×IQ(QPc％6，i，j)+r)＜＜(QPc/6) (i，j＝0..3)[0101] …(23)[0102] 其中
[0103]
[0104] 另一方面，若逆量化后的DC系数是fdc”，DC系数的逆量化在QPc为6或更大的情况下由下面式(24)表示，在QPc小于6的情况下由下面式(25)表示。
[0105] fdc″[i，j]＝(fdc′[i，j]×IQ(QPc％6，i，j))＜＜(QPc/6-1) (i，j＝0..3)[0106] …(24)[0107] fdc″[i，j]＝(fdc′[i，j]×IQ(QPc％6，i，j))＞＞1 (i，j＝0..3)[0108] …(25)[0109] 当帧内预测编码处理以上述方式在JVT编解码中进行时，存在以下问题：即使应用上面所述的方法，由于在色差的帧内预测编码中块大小较小，编码效率比亮度的低。
[0110] 此外，还存在以下问题：上述方法仅适用于4:2:0格式和YCbCr彩色空间，因而不能在4:2:2格式，4:4:4格式，RGB彩色空间，XYZ彩色空间等情况下进行编码。
发明内容
[0111] 本发明所解决的问题
[0112] 本发明是针对上述传统的实际情况提出的，本发明的目的在于提供一种图像信息编码装置和方法以及一种图像信息解码装置和方法，它们能更高效地实现甚至包括4:2:2格式，4:4:4格式，RGB彩色空间和/或XYZ彩色空间等在内的图像的编码/解码。
[0113] 解决问题的手段
[0114] 本发明的图像信息编码装置是指这样的图像信息编码装置：它将输入图像信号分块，基于块进行正交变换，并进行量化，它包括：图像内预测装置-它用于基于一个指示彩色信号分辨率的色度格式信号和一个指示彩色空间的彩色空间信号适应地改变块大小，产生一个进行彩色信号的图像内编码的预测图像；变换装置-用于基于规定的块大小对图像内预测装置产生的预测图像与原始图像的差信号进行整数变换；量化装置-用于按照变换装置进行的变换处理相应地改变量化方法，对变换装置产生的变换系数进行量化；以及编码装置-用于对量化装置所量化的变换系数，色度格式信号和彩色空间信号进行编码。
[0115] 此外，本发明的图像信息编码方法是指这样的图像信息编码方法：将输入图像信号分块，基于块进行正交变换，并进行量化，它包括：一个图像内预测步骤-它基于一个指示彩色信号分辨率的色度格式信号和一个指示彩色空间的彩色空间信号适应地改变块大小产生一个进行彩色信号的帧内预测编码的预测图像；一个变换步骤-它基于规定的块大小对图像内预测步骤中产生的预测图像与原始图像的差信号进行整数变换；一个量化步骤-它按照在变换步骤中进行的变换处理相应地改变量化方法，对变换步骤中产生的变换系数进行量化；以及一个编码步骤-对量化步骤中所量化的变换系数，色度格式信号和彩色空间信号进行编码。
[0116] 在这种图像信息编码装置和方法中进行输入图像信号的图像内预测编码中，产生预测图像中的块大小是基于色度格式信号-它指示彩 色分量的分辨率是例如4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是例如YCbCr，RGB和XYZ等中的哪一个-而适应地变化。此外，在图像信息编码装置和方法中，色度格式信号和彩色空间信号与已量化的变换系数一起被编码。
[0117] 此外，本发明的图像信息解码装置是指这样的图像信息解码装置：它解码通过对图像压缩信息-其中输入图像信号被分块，基于块进行正交变换和量化-进行逆量化和逆正交变换而获得的信息，它包括：解码装置-它用于对已量化和编码的变换系数，指示彩色信号分辨率的色度格式信号和指示彩色空间的彩色空间信号进行解码；逆量化装置-它用于按照色度格式信号和彩色空间信号适应地改变逆量化方法，对解码装置解码的变换系数进行逆量化；逆变换装置-它用于对已逆量化的块进行整数变换；以及图像内预测装置-它通过应用逆变换装置的输出信号以对应于色度格式信号和彩色空间信号的块大小实现彩色信号的帧内预测解码，产生一个预测图像。
[0118] 此外，本发明的图像信息解码方法是指这样的图像信息解码方法；它解码通过对图像压缩信息-其中输入图像信号被分块，基于块进行正交变换和量化-进行逆量化和逆正交变换而获得的信息，它包括：一个解码步骤-它对已量化和编码的变换系数，指示彩色信号分辨率的色度格式信号和指示彩色空间的彩色空间信号进行解码；一个逆量化步骤-它按照色度格式信号和彩色空间信号适应地改变逆量化方法，对解码步骤中解码的变换系数进行逆量化；一个逆变换步骤-它对已逆量化的块进行整数变换；以及一个图像内预测步骤-它通过应用逆变换步骤中的输出信号以对应于色度格式信号和彩色空间信号的块大小实现彩色信号的帧内预测解码，产生一个预测图像。
[0119] 在这种图像信息解码装置和方法中，色度格式信号-它指示彩色分量的分辨率是例如4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是例如YCbCr，RGB和XYZ等中的哪一个-被解码，以对应于色度格式信号和彩色空间信号的块大小实现彩色信号的帧内预测解码，产生预测图像。
[0120] 本发明的效果/优点
[0121] 按照本发明的图像信息编码装置和方法以及本发明的图像信息解码装置和方法，编码/解码可以通过图像内预测而有效地实现，不仅对于4:2:0格式和YCbCr彩色空间的情况，而且对于4:2:2格式，4:4:4格式，RGB彩色空间和/或XYZ彩色空间等都可以高效实现编码/解码。
附图说明
[0123] 图1是一个方框图，它简要示出一个传统的图像信息编码装置，它通过诸如离散余弦变换或Karhnen-Loeve变换等正交变换和运动预测/补偿实现图像压缩。
[0124] 图2是一个方框图，它简要示出一个传统的图像信息解码装置，此装置对应于图1所示图像信息编码装置。
[0125] 图3用于说明JVT编解码中的四种帧内预测方式。
[0126] 图4示出在8×8块中的4个4×4块的DC系数被集合构成2×2块的情况。
[0127] 图5示出本发明的一个图像信息编码装置的结构方框图。
[0128] 图6是示出本发明的图像信息编码装置中帧内预测单元结构例的方框图。
[0129] 图7示出本发明的图像信息编码装置中正交变换单元结构例。
[0130] 图8示出两个8×8块中在纵向上连续的8个4×4块的DC系数被集合，构成2×4块。
[0131] 图9是示出本发明的图像信息编码装置中量化单元结构例的方框图。
[0132] 图10是示出本发明的图像信息编码装置中逆量化单元结构例的方框图。
[0133] 图11是示出本发明的图像信息编码装置中逆正交变换单元结构 例的方框图。
[0134] 图12是示出本发明的图像信息解码装置结构的方框图。
具体实施方式
[0135] 现在借助附图详细说明本发明实施例，应该指出，本发明不限制于这些实施例，当然，在不脱离本发明的要点的范围内可以做各种变化或改动。
[0136] (1)图像信息编码装置的结构和工作
[0137] 首先，图5示出本发明的图像信息编码装置的结构概要。如图5所示，图像信息编码装置10包括：一个A/D(模拟/数字)变换单元11，一个图像分类缓冲器12，一个相加器13，一个正交变换单元14，一个量化单元15，一个可逆编码单元16，一个存储缓冲器17，一个逆量化单元18，一个逆正交变换单元19，一个相加器20，一个帧存储器21，一个运动预测/补偿单元32，一个帧内预测单元23，以及一个速率控制单元24。
[0138] 图5中，A/D变换单元11将输入的图像信号变换为一个数字信号。然后，图像分类缓冲器12按照图像信息编码装置10输出的图像压缩信息的GOP(图像组)结构进行帧的分类。在这个例子中，对于进行帧内(图像内)编码的图像，图像分类缓冲器12提供全部帧的图像信息给正交变换单元14，正交变换单元14对图像信息进行诸如离散余弦变换或Karhunen-Loeve变换等正交变换，提供变换系数给量化单元15，量化单元15对正交变换单元14提供的变换系数进行量化处理。
[0139] 可逆编码单元16对量化的变换系数进行诸如可变长度编码或算术编码等可逆编码，提供编码的变换系数给存储缓冲器17，将它们存储在缓冲器中。编码的变换系数作为图像压缩信息被输出。
[0140] 量化单元15的操作受速率控制单元24控制。而且，量化单元15提供量化的变换系数给逆量化单元18。逆量化单元18将提供给它的变换系数逆量化。逆正交变换单元19对经过逆量化的变换系数进行逆正交变换处理，产生解码的图像信息，提供所产生的信息给帧存储器 21，将它们存储在帧存储器中。
[0141] 另一方面，对于进行帧间(图像间)编码的图像，图像分类缓冲器12提供图像信息给运动预测/补偿单元22。运动预测/补偿单元22同时从帧存储器21取出被参考的图像信息，产生参考图像信息。运动预测/补偿单元22提供所产生的参考图像信息给相加器13。相加器13变换参考图像信息为参考图像信息与相应图像信息之间的差信号。此外，运动预测/补偿单元22同时提供运动矢量信息给可逆编码单元16。
[0142] 可逆编码单元16对所输入的运动矢量信息进行诸如可变长度编码或算术编码等可逆编码处理，形成插入到图像压缩信息头部的信息。应指出，因为其它的处理相同于进行帧内编码的图像压缩信息的处理，对它们的说明被省略。
[0143] 在这个例子中，在上述JVT编解码中实现帧内编码时采用帧内预测编码系统，它由块四周的像素产生预测图像，以便对图像之间的差值进行编码。也就是说，对于进行帧内编码的图像(I图像，I片，帧内宏块等)，由被编码像素块附近的已编码像素值产生预测图像，与预测图像的差值被编码。逆量化单元18和逆正交变换单元19分别对已进行帧内编码的像素进行逆量化和逆正交变换。相加器20将逆正交变换单元19的输出和编码相应像素块所用的预测图像相加，获得的相加值提供给帧存储器21，存储此相加值到帧存储器中。在要帧内编码像素块的情况下，帧内预测单元23读出存储在帧存储器21中的已编码相邻像素，以产生预测图像。这时，可逆编码单元16对产生预测图像所用的帧内预测方式进行可逆编码处理，提供一个输出到图像压缩信息中。
[0144] (2)图像信息编码装置中应用本发明的部分
[0145] (2-1)帧内预测单元
[0146] 帧内预测单元23的一个结构例示于图6。帧内预测单元23基于色度格式信号-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是YCbCr，RGB和XYZ等中的哪一个-切换预测方法。在比例中，色 度格式信号和彩色空间信号预先被外部使用者等设置并提供给图像信息编码装置10。
[0147] 在图6所示帧内预测单元23中，色度格式信号和彩色空间信号被提供给开关30，32。开关30，32基于色度格式信号和彩色空间信号选择一个帧内预测器31a，31b，31c，提供已从帧存储器21读出的帧信号到所选择的帧内预测器，并从所选择的帧内预测器输出预测图像。开关30，32选择同一个帧内预测器。应指出：上述对图6的说明基于三种帧内预测器
31a，31b，31c中的任一个被选择，然而帧内预测器的数目，即预测系统的数目可以任意设置。
31a，31b，31c中的任一个被选择，然而帧内预测器的数目，即预测系统的数目可以任意设置。
[0148] (2-1-1)
[0149] 首先，帧内预测器31a的工作将被解释。帧内预测器31a对8×8块进行预测，对于色度格式信号指示4:2:0格式且彩色空间信号指示YCbCr的图像信号，以8×8块作为一个单元。应指出，因为帧内预测器31a的工作相同于前面所述预测器的工作，对它的详细说明被省略。
[0150] (2-1-2)
[0151] 下面说明帧内预测器31b的工作。在帧内预测器31b上存在四种帧内色差预测方式：垂直方式，水平方式，DC方式和面预测方式。帧内预测器31b对8×16块进行预测，此8×16块通过集合宏块中在纵向上连续的两个8×8块而构成，对于色度格式信号指示4:2:2格式且彩色空间信号指示YCbCr的图像信号，8×16块作为一个单元。在帧内预测器31b上根据四种预测方式产生预测图像的方法将在下面被说明。
[0152] (a)垂直方式(方式0)
[0153] 在垂直方式中，色差块上边相邻块的像素被复制，被复制的像素作为相应块的预测图像，如果上边相邻块的像素用P[X，-1]表示，则色差的预测图像predc由下面的式(26)表示。注意：此方式仅用于上边相邻块存在的情况下。
[0154] predc[x，y]＝p[x，-1] (x＝0..7，y＝0..15)
[0155] …(26)
[0156] (b)水平方式(方式1)
[0157] 在水平方式中，色差块的左边相邻块的像素被复制，被复制的像素作为相应块的预测图像。如果左边相邻块的像素用P[-1，Y]表示，则色差的预测图像predc由下面的式(27)表示。注意：此方式仅用于左边相邻块存在的情况下。
[0158] predc[x，y]＝p[-1，y] (x＝0..7，y＝0..15)
[0159] …(27)
[0160] (c)DC方式(方式2)
[0161] 在DC方式中，色差块的上边和左边相邻块的像素被使用，它们的平均值构成预测图像。注意，在相邻像素不存在的情况下，值128被用作预测信号。
[0162] 换言之，在X，Y＝0...3的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中X，Y＝0...3)。具体说，在以下四种情况下预测图像分别用下面的式(28)至(31)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0163] (x，y＝0..3)
[0164] …(28)
[0165] (x，y＝0..3)
[0166] …(29)
[0167] (x，y＝0..3)
[0168] …(30)
[0169] predc[x，y]＝128 (x，y＝0..3)
[0170] …(31)
[0171] 类似地，在X＝4...7，Y＝0...3的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中X＝4...7，Y＝0...3)。具体说，在以下三种情况下预测图像分别用下面的式(32)至(34)产生：情况(i)：像素P[X，-1]存在；情况(ii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0172] (x＝4..7，y＝0..3)
[0173] …(32)
[0174] (x＝4..7，y＝0..3)
[0175] …(33)
[0176] predc＝128 (x＝4..7，y＝0..3)
[0177] …(34)
[0178] 类似地，在X＝0...3，Y＝4...7的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中，X＝0...3，Y＝4...7)。具体说，在以下三种情况下预测图像分别用下面的式(35)至(37)产生：情况(i)：像素P[-1，Y]存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0179] (x＝0..3，y＝4..7)
[0180] …(35)
[0181] (x＝0..3，y＝4..7)
[0182] …(36)
[0183] predc＝128 (x＝0..3，y＝4..7)
[0184] …(37)
[0185] 类似地，在X，Y＝4...7的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中，X，Y＝4...7)。具体说，在以下四种情况下预测图像分别用下面的式(38)至(41)产生：情况(i)：像素P[X，-1]和像素P[1-，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0186] (x，y＝4..7)
[0187] …(38)[0188] (x，y＝4..7)
[0189] …(39)
[0190] (x，y＝4..7)
[0191] …(40)
[0192] predc[x，y]＝128 (x，y＝4..7)
[0193] …(41)
[0194] 类似地，在X＝0...3，Y＝8...11的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中， X＝0...3，Y＝8...11)。具体说，在以下三种情况下预测图像分别用下面的式(42)至(44)产生：情况(i)：像素P[-1，Y]存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0195] (x＝0..3，y＝8..11)
[0196] …(42)
[0197] (x＝0..3，y＝8..11)
[0198] …(43)
[0199] predc＝128 (x＝0..3，y＝8..11)
[0200] …(44)
[0201] 类似地，在X＝4...7，Y＝8...11的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中，X＝4...7，Y＝8...11)。具体说，在以下四种情况下预测图像分别用下面的式(45)至(48)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0202] (x＝4..7，y＝8..11)
[0203] …(45)[0204] (x＝4..7，y＝8..11)
[0205] …(46)
[0206] (x＝4..7，y＝8..11)
[0207] …(47)[0208] predc[x，y]＝128 (x＝4..7，y＝8..11)
[0209] …(48)
[0210] 类似地，在X＝0...3，Y＝12...15的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中，X＝0...3，Y＝12...15)。具体说，在以下三种情况下预测图像分别用下面的式(49)至(51)产生：情况(i)：像素P[-1，Y]存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0211] (x＝0..3，y＝12..15)
[0212] …(49)
[0213] (x＝0..3，y＝12..15)
[0214] …(50)
[0215] predc＝128 (x＝0..3，y＝12..15)
[0216] …(51)
[0217] 类似地，在X＝4...7，Y＝12...15的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中，X＝4...7，Y＝12...15)。具体说，在以下四种情况下预测图像分别用下面的式(52)至(55)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0218] (x＝4..7，y＝12..15)
[0219] …(52)[0220] (x＝4..7，y＝12..15)
[0221] …(53)
[0222] (x＝4..7，y＝12..15)
[0223] …(54)
[0224] predc[x，y]＝128 (x＝4..7，y＝12..15)
[0225] …(55)
[0226] 这里，在上面所述的预测方法中，因为上边块的8个像素和左边块的16个像素的平均值被简单地作为预测图像，求此平均值必需实现被24除的除法。这样就存在运算量变大的问题。为此预测方法改变为下面所述的方法，使除法变为被16(＝24)除的除法，这样做可减小运算量。
[0227] 也就是说，在X，Y＝0...7的情况下，预测图像predc[X，Y]用相邻的上边像素P[X，-1]和左边像素P[-1，Y]产生(在比例中，X，Y＝0...7)。具体说，在以下四种情况下预测图像分别用下面的式(56)至(59)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：
像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0228] (x，y＝0..7)
[0229] …(56)[0230] (x，y＝0..7)
[0231] …(57)
[0232] (x，y＝0..7)
[0233] …(58)
[0234] predc[x，y]＝128 (x，y＝0..7)
[0235] …(59)
[0236] 类似地，在X＝0...7，Y＝8...15的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中，X＝0...7，Y＝8...15)。具体说，在以下三种情况下预测图像分别用下面的式(60)至(62)产生：情况(i)：像素P[-1，Y]存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0237] (x＝0..7，y＝8..15)
[0238] …(60)
[0239] (x＝0..7，y＝8..15)
[0240] …(61)
[0241] predc[x，y]＝128 (x＝0..7，y＝8..15)
[0242] …(62)
[0243] (d)面预测方式(方式3)
[0244] 在面预测方式中，预测图像是色差块相邻的左边块像素和上边块像素的面近似。若相邻的左边和上边块像素分别用P[-1，Y]和P[X， -1]表示，则色差的预测图像predc由下面的式(63)表示。式(63)中的Clip1表示限制到0至255的范围内。
[0245] predc[x，y]＝Clip1((a+b×(x-3)+c×(y-7)+16)＞＞5) (x＝0..7，y＝0..15)[0246] …(63)[0247] 其中
[0248]
[0249] (2-1-3)
[0250] 下面说明帧内预测器31c的工作。在帧内预测器31c上存在四种帧内色差预测方式：垂直方式，水平方式，DC方式和面预测方式。帧内预测器31c对16×16块进行预测，此16×16块通过集合宏块中纵向和横向上连续的4个8×8块而构成，对于色度格式信号指示4:4:4格式且彩色空间信号指示YCbCr，RGB或XYZ的图像信号，16×16块作为一个单元。在帧内预测器31c上根据四种预测方式产生预测图像的方法将在下面被说明。
[0251] (a)垂直方式(方式0)
[0252] 在垂直方式中，色差块上边相邻块的像素被复制，被复制的像素作为相应块的预测图像，如果上边相邻块的像素用P[X，-1]表示，则色差的预测图像predc由下面的式(64)表示。注意：此方式仅用于上边相邻块存在的情况下。
[0253] predc[x，y]＝p[x，-1] (x，y＝0..15)
[0254] …(64)
[0255] (b)水平方式(方式1)
[0256] 在水平方式中，色差块的左边相邻块的像素被复制，被复制的像 素作为相应块的预测图像。如果左边相邻块的像素用P[-1，Y]表示，则色差块的预测图像predc由下面的式(65)表示。注意：此方式仅用于左边相邻块存在的情况下。
[0257] predc[x，y]＝p[-1，y] (x，y＝0..15)
[0258] …(65)
[0259] (c)DC方式(方式2)
[0260] 在DC方式中，色差块的上边和左边相邻块的像素被使用，它们的平均值构成预测图像。注意，在相邻像素不存在的情况下，值128被用作预测信号。
[0261] 换言之，在X，Y＝0...15的情况下，预测图像predc[X，Y]用上边相邻像素P[X，-1]和左边相邻像素P[-1，Y]产生(在此例中X，Y＝0...15)。具体说，在以下四种情况下预测图像分别用下面的式(66)至(69)产生：情况(i)：像素P[X，-1]和像素P[-1，Y]都存在；情况(ii)：像素P[X，-1]存在，像素P[-1，Y]不存在；情况(iii)：像素P[X，-1]不存在，像素P[-1，Y]存在；情况(iv)：像素P[X，-1]和像素P[-1，Y]都不存在。
[0262] (x，y＝0..15)
[0263] …(66)[0264] (x，y＝0..15)
[0265] …(67)
[0266] (x，y＝0..15)
[0267] …(68)
[0268] predc[x，y]＝128 (x，y＝0..15)
[0269] …(69)
[0270] (d)面预测方式(方式3)
[0271] 在面预测方式中，预测图像是色差块相邻的左边块像素和上边块像素的面近似。若相邻的左边和上边块像素分别用P[-1，Y]和P[X，-1]表示，则色差的预测图像predc由下面的式(70)表示。式(70)中的Clip1表示限制到0至255的范围内。
[0272] predc[x，y]＝Clip1((a+b×(x-7)+c×(y-7)+16)＞＞5) (x，y＝0..15)[0273] …(70)[0274] 其中
[0275]
[0276] (2-2)正交变换单元
[0277] 色度格式信号和彩色空间信号也被提供给正交变换单元14。
[0278] 图7示出正交变换单元14的一个结构例。正交变换单元14基于色度格式信号-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是YCbCr，RGB和XYZ等中的哪一个-切换正交变换系统。
[0279] 在图7所示正交变换单元14中，色度格式信号和彩色空间信号被提供给开关40，42。开关40，42根据色度格式信号和彩色空间信号选择正交变换元件41a，41b，41c中的一个，提供相加器13的输出给所选择的正交变换元件，并从所选择的正交变换元件输出信号。
开关40，42选择同一个正交变换元件。应指出：上述对图7的说明基于三种正交变换元件
41a，41b，41c中的任一个被选择，然而正交变换元件的数目，即正交变换系统的数目可以任意设置。
开关40，42选择同一个正交变换元件。应指出：上述对图7的说明基于三种正交变换元件
41a，41b，41c中的任一个被选择，然而正交变换元件的数目，即正交变换系统的数目可以任意设置。
[0280] (2-2-1)
[0281] 首先说明正交变换元件41a的工作。正交变换元件41a对于色度 格式信号指示4:2:0格式且彩色空间信号指示YCbCr的图像信号进行正交变换。应指出，因为正交变换元件
41a的工作相同于以前说明的现有技术的工作，详细说明被省略。
41a的工作相同于以前说明的现有技术的工作，详细说明被省略。
[0282] (2-2-2)
[0283] 下面说明正交变换元件41b的工作。正交变换元件41b对于色度格式信号指示4:2:2格式且彩色空间信号指示YCbCr的图像信号进行正交变换。
[0284] 具体说，在色差帧内预测完成后，基于8×8块中的4×4像素块进行4×4整数变换。若通过相应像素块减去预测图像而得到的差信号表示为f4×4，4×4正交变换处理由下面的式(71)表示。
[0285]
[0286] 其中
[0287]
[0288] 在4×4整数变换处理完成后，两个8×8块中在纵向上连续的8个4×4块的(0，0)系数被集合，构成2×4块，对此2×4块进行2×4变换处理。这是因为绝差中所用的帧内预测效率不够高，在相邻4×4块的(0，0)系数间仍存在相关。为了进一步通过利用此相关性来改善(提高)编码效率，只有4×4块的(0，0)系数被集合构成2×4块，然后对它进行2×4变换处理。若2×4色度DC块表示为fdc2×4，对色度DC块的变换处理由下面的式(72)表示。
[0289]
[0290] 其中
[0291]
[0292]
[0293] (2-2-3)
[0294] 接着说明正交变换元件41c的工作。正交变换元件41c对色度格式信号指示4:4:4格式且彩色空间信号指示YCbCr，RGB或XYZ的图像信号进行正交变换。
[0295] 具体说，进行指示4:4:4格式，YCbCr，RGB或XYZ的色差的4×4整数变换后，以与亮度相同的方法集合宏块中的16个(0，0)系数，构成4×4DC块，再对它进行4×4变换处理。此变换处理由下面的式(73)表示。
[0296]
[0297] 其中
[0298]
[0299] (2-3)量化单元
[0300] 色度格式信号和彩色空间信号也被提供给量化单元15。
[0301] 一个量化单元15的结构例示于图9。量化单元15基于色度格式信号-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是YCbCr，RGB和XYZ等中的哪一个-切换量化系统。
[0302] 在图9所示量化单元15中，色度格式信号和彩色空间信号被提供给开关50，52。开关50，52基于色度格式信号和彩色空间信号选择量化器51a，51b，51c中的一个，提供正交变换单元14的输出给所选 择的量化器，并从所选择的量化器输出信号。开关50，52选择同一个量化器。应指出，上述对图9的说明基于三种量化器51a，51b，51c中的任一个被选择，然而量化器的数目，即量化系统的数目可以任意设置。
[0303] (2-3-1)
[0304] 首先说明量化器51a的工作。量化器51a对色度格式信号指示4:2:0格式且彩色空间信号指示YCbCr的图像信号进行量化。应指出，因为量化器51a的工作相同于前面所述的现有技术的工作，其详细说明被省略。
[0305] (2-3-2)
[0306] 下面说明量化器51b的工作。量化器51b对色度格式信号指示4:2:2格式且彩色空间信号指示YCbCr的图像信号进行量化。
[0307] 这里，用于4:2:0格式情况下色度DC变换处理中的Hadamard变换由下面的式(74)表示。
[0308]
[0309]
[0310] 其中
[0311]
[0312] 另一方面，用于4:2:2格式情况下色度DC变换处理中的2×4变换由下面的式(75)表示
[0313]
[0314]
[0315] 其中
[0316]
[0317]
[0318] 相应地，在4:2:0格式中变换处理的归一化系数是1/2，而在4:2:2格式中变换处理的归一化系数是1/2 然而，因为在此情况下包含实数运算，2×4变换像以下的式(76)所示那样被简化。
[0319]
[0320]
[0321]
[0322] 因为归一化系数与量化标度一起计算，如下面所述在4:2:2格式的变换处理情况下改变量化方法是必要的。
[0323] 若量化的DC系数是Qfdc’[i，j]，则2×4色度DC块的量化系数值由例如下面的式(77)给出。这里，式(77)中的r是用于改变取整处理的参数。应指出，因为对于AC系数的量化相同于4:2:0格式的情况，其说明被省略。
[0324] Qfdc′[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0)+r)＞＞(15+QPc/6) (i＝0..1，j＝0..3)
[0325] …(77)
[0326] (2-3-3)
[0327] 接着说明量化器51c的工作。量化器51c对色度格式信号指示4:4:4且彩色空间信号指示YCbCr，RGB或XYZ的图像信号进行量化。
[0328] 这里，用在色度DC变换处理中的Hadamard变换由下面的式(78)表示。相应地，在此情况下变换处理的归一化系数等于1/4。
[0329]
[0330]
[0331] 其中
[0332]
[0333] 若量化的直流系数是Qfdc’[i，j]，4×4色度DC块的量化系数值由例如下面的式(79)给出。这里，式(79)中的r是用于改变取整处理的参数。
[0334] Qfdc′[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0)+r)＞＞(15+QPc/6) (i，j＝0..3)[0335] …(79)[0336] (2-4)逆量化单元
[0337] 色度格式信号和彩色空间信号也被提供给逆量化单元18。
[0338] 逆量化单元18的一个结构例示于图10。逆量化单元18基于色度格式信号-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是YCbCr，RGB和XYZ等中的哪一个-切换逆量化系统。
[0339] 在图10所示逆量化单元18中，色度格式信号和彩色空间信号被提供给开关60，62。开关60，62基于色度格式信号和彩色空间信号选择逆量化器61a，61b，61c中的一个，提供量化单元15的输出给所选择的逆量化器，并从所选择的逆量化器输出信号。开关60，62选择同一个逆量化器。应指出，上述对图10的说明基于三种逆量化器61a，61b，61c中的任一个被选择，然而逆量化器的数目，即逆量化系统的数目可以任意设置。
[0340] (2-4-1)
[0341] 首先说明逆量化器61a的工作。逆量化器61a对色度格式信号指示4:2:0格式且彩色空间信号指示YCbCr的图像信号进行逆量化。应指出，因为逆量化器61a的工作相同于前面所述现有技术的工作，其详细说明被省略。
[0342] (2-4-2)
[0343] 下面说明逆量化器61b的工作。逆量化器61b对色度格式信号指示4:2:2格式且彩色空间信号指示YCbCr的图像信号进行逆量化。
[0344] 具体说，若逆量化的DC系数是fdc”，则在QPc为6或更大的情况下，2×2色度DC块的逆量化DC系数值由下面的式(80)表示，在QPc小于6的情况下由下面的式(81)表示。应指出，因为对于AC系数的逆量化相同于4:2:0格式的情况，其说明被省略。
[0345] fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＜＜(QPc/6-2) (i＝0..1，j＝0..3)[0346] …(80)[0347] fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＞＞(2-QPc/6) (i＝0..1，j＝0..3)[0348] …(81)[0349] (2-4-3)
[0350] 接着说明逆量化器61c的工作。逆量化器61c对色度格式信号指示4:4:4且彩色空间信号指示YCbCr，RGB或XYZ的图像信号进行逆量化。
[0351] 具体说，若逆量化的DC系数是fdc”，则在QPc为6或更大的情况下，4×4色度DC块的逆量化系数值由下面的式(82)表示，在QPc小于6的情况下由下面的式(83)表示。应指出，对于AC系数的逆量化相同于4:2:0格式的情况，其说明被省略。
[0352] fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＜＜(QPc/6-2) (i，j＝0..3)[0353] …(82)[0354] fdc″[i，j]＝(fdc′[i，j]×Q(QPc％6，0，0))＞＞(2-QPc/6) (i，j＝0..3)[0355] …(83)[0356] (2-5)逆正交变换单元
[0357] 色度格式信号和彩色空间信号也被提供给逆正交变换单元19。
[0358] 逆正交变换单元19的一个结构例示于图11。逆正交变换单元19基于色度格式信号-它指示彩色分量的分辨率是4:2:0格式，4:2:2格式和4:4:4格式等中的哪一个-和彩色空间信号-它指示彩色空间是YCbCr，RGB和XYZ等中的哪一个-切换逆正交变换系统。
[0359] 在图11所示逆正交变换单元19中，色度格式信号和彩色空间信号被提供给开关70，72。开关70，72基于色度格式信号和彩色空间信号选择逆正交变换元件71a，71b，71c中的一个，提供逆量化单元18的输出到所选择的逆正交变换元件，从所选择的逆正交变换元件输出信号。开关70，72选择同一个逆正交变换元件。应指出，上述对图11的说明基于三种逆正交变换元件71a，71b，71c中的任一个被选择，然而逆正交变换元件的数目，即逆正交变换系统的数目可以任意设置。
[0360] (2-5-1)
[0361] 首先说明逆正交变换元件71a的工作。逆正交变换元件71a对色度格式信号指示4:2:0格式且彩色空间信号指示YCbCr的图像信号进行逆正交变换。应指出，因为逆正交变换元件71a的工作相同于前面所述现有装置的工作，其详细说明被省略。
[0362] (2-5-2)
[0363] 下面说明逆正交变换元件71b的工作。逆正交变换元件71b对色度格式信号指示4:2:2格式且彩色空间信号指示YCbCr的图像信号进行逆正交变换。
[0364] 具体说，对2×4 DC块进行2×4逆变换处理。若逆变换后的2×4色度DC块表示为fdc”’2×4，对于色度DC块的逆变换由下面的式(84)表示。
[0365]
[0366] 其中
[0367]
[0368]
[0369] 若色度DC系数是如图8所示4×4块的(0，0)系数，各4×4块的逆变换被进行。若4×4块-其中逆变换后的色度DC fdc”’2×4为(0，0)系数-的相应系数表示为F’4×4，而对应逆变换后4×4块的解码差信号表示为F”4×4，则逆变换处理由下面的式(85)表示。
[0370]
[0371] 其中
[0372]
[0373] (2-5-3)
[0374] 接着说明逆正交变换元件71c的工作。逆正交变换元件71c对色度格式信号指示4:4:4且彩色空间信号指示YCbCr，RGB或XYZ的图像信号进行逆正交变换。
[0375] 具体说，对4×4 DC块进行4×4逆变换处理。若逆变换后4×4色度DC块表示为fdc”’4×4，则对色度DC块的逆变换处理由以下式(86)表示。
[0376]
[0377] 其中
[0378]
[0379] 若色度DC系数是AC系数4×4块的(0，0)系数，逆变换处理对相应的4×4块进行。若4×4块-其中逆变换后的色度DC fdc”’4×4为(0，0)系数-的相应系数表示为F’4×4，而对应逆变换后4×4块的解码差信号表示为F”4×4，则逆变换处理由下面的式(87)表示。
[0380]
[0381] 其中
[0382]
[0383] (2-6)其它功能块
[0384] 色度格式信号和彩色空间信号也被提供给可逆编码单元16，在此单元这些信号被进行可变长度编码或算术编码。编码所得到的信号输出到图像压缩信息中。
[0385] 色度格式信号和彩色空间信号例如以下面所示的语法被编码：
[0386] seq_parameter_set_rbsp(){
[0387] ：
[0388] chroma_format_idc u(2)
[0389] color_space_idc u(2)
[0390] ：
[0391] }
[0392] 这里作为u(2)被编码的语法被可变长度码例如“001x1x0”编码。其中x1和x0对应于被编码语法的两个比特。
[0393] (3)图像信息解码装置的结构和工作
[0394] 对应于上面已说明的图像信息编码装置10的图像信息解码装置的结构简示于图12中。如图12所示，图像信息解码装置80包括一个存储缓冲器81，一个可逆解码单元82，一个逆量化单元83，一个逆正交变换单元84，一个相加器85，一个图像分类缓冲器86，一个D/A(数字/模拟)变换单元87，一个运动预测/补偿单元88，一个帧存储器89和一个帧内预测单元90。
[0395] 图12中，作为输入的图像压缩信息首先存储到存储缓冲器81中，然后被传递给可逆解码单元82。可逆解码单元82基于预定的图像压缩信息格式进行可变长度解码或算术解码等。在对应帧是帧间编码帧的情况下，可逆解码单元82也对存储在图像压缩信息头部的运动矢量信息进行解码，将获得的已解码信息传递到运动预测/补偿单元88。而且，可逆解码单元82将色度格式信息和彩色空间信号解码，提供所获得的已解码信号给逆量化单元83，逆正交变换单元84和帧内预测单元90。
[0396] 可逆解码单元82输出的量化的变换系数被提供给逆量化单元83，在其上它们被作为变换系数输出。逆正交变换单元84基于预定的图像压缩信息格式对变换系数进行诸如逆离散余弦变换或逆Karhunen-Loeve变换等逆变换。在相应的帧是帧内编码帧的情况下，已经进行逆正交变换的图像信息被存储到图像分类缓冲器86中，并在进行D/A变换处理后输出。
[0397] 这里，在对应帧或宏块是帧内编码的帧或宏块的情况下，解码处理利用与上面说明过的相同的逆量化方法、逆正交变换方法和帧内预测方法基于已在可逆解码单元82中解码的色度格式信号和彩色空间信号进行。
[0398] 另一方面，在对应帧是帧间编码帧的情况下，基于已进行可逆解码处理的运动矢量信息和存储在帧存储器89中的图像信息产生参考图像。所产生的参考图像和逆正交变换单元84的输出在相加器85中合成。因为其它的处理相同于帧内编码帧的处理，其说明被省略。
[0399] 应指出，本发明已按照附图所示并在上面详细说明的某些优选的 实施例而被说明，然而本发明不限于这些实施例，各种改动、替代的结构或等价物可以被实现，而不脱离如后附权利要求所述的本发明的范围和精神。
[0400] 工业应用性
[0401] 本发明可以不仅对相应格式为4:2:0格式且彩色空间为YCbCr的输入图像信号，而且对于相应格式为4:2:2格式或4:4:4格式，而彩色空间是RGB或XYZ等的输入图像信号，通过图像内预测编码而高效地实现编码处理。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于融合神经网络的视频中人体行为识别方法 | 2020-05-08 | 306 |
| 视频解码方法 | 2020-05-08 | 251 |
| 基于视觉显著性的HEVC优化算法 | 2020-05-08 | 55 |
| 视频编码方法及装置 | 2020-05-08 | 832 |
| 目标跟踪方法及存储介质 | 2020-05-08 | 545 |
| 安全预警方法、装置、计算设备及存储介质 | 2020-05-08 | 144 |
| 触控检测装置及其控制方法、显示模组 | 2020-05-08 | 177 |
| 一种编解码方法、装置及其设备 | 2020-05-11 | 480 |
| 编码方法、解码方法、编码设备和解码设备 | 2020-05-08 | 984 |
| 基于多模态注意力机制的视频内容描述方法、系统、装置 | 2020-05-08 | 261 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈