首页 / 专利库 / 数学与统计 / 快速傅立叶变换 / 频率抽取 / 定宽度变长度像素样值串匹配增强的图像压缩方法和装置

定宽度变长度像素样值串匹配增强的图像压缩方法和装置

阅读:961发布:2022-09-28

专利汇可以提供定宽度变长度像素样值串匹配增强的图像压缩方法和装置专利检索,专利查询,专利分析的服务。并且本 发明 提供一种图像压缩方法和装置。对编码 块 进行编码时,在 位置 标号互不相交的第一、第二和第三重构参考 像素 样值集之中,按照预定的评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串。每个匹配串用匹配相对位置和匹配长度来表征。未找到匹配的样值,则从邻近样值计算出仿匹配样值。匹配串搜索,可仅在一个像素分量平面内进行,也可在3种分量单个交叉排列的叠包格式的像素空间内进行。对匹配相对位置、匹配长度、匹配残差,再施行可选的量化或变换-量化编码、预测编码、差分编码和 熵编码 。匹配可有多种样值划分方式和排列方式,从中选择一种最优的。对同一编码单元,同时进行基于传统预测的混合编码,最后选择最优的。,下面是定宽度变长度像素样值串匹配增强的图像压缩方法和装置专利的具体信息内容。

1.一种图像编码方法,其特征在于:对一个编码像素样值,在重构参考像素样值集内搜索得到一个匹配参考样值子集,与所述编码块内的一个匹配当前样值子集相匹配,所述匹配参考样值子集内的样值被称为匹配样值;把在匹配编码过程中产生的与匹配解码有关的参数放入压缩码流。
2.根据权利要求1所述的编码方法,其特征在于:所述参数包括但不限于关于所述匹配参考样值子集的位置和大小的参数。
3.根据权利要求1或2所述的编码方法,其特征在于:所述参数包括但不限于所述匹配参考样值子集与所述匹配当前样值子集之间的匹配关系的参数,用匹配相对位置和匹配长度这两个匹配参数来表示,所述匹配相对位置和所述匹配长度是对所述匹配当前样值子集进行编码的编码结果。
4.根据权利要求1或2或3所述的编码方法,其特征在于:如果所述编码块内存在未在重构参考像素样值集内找到匹配的未匹配样值(也被称为不可匹配样值),则用下列方法之一补全未匹配样值位置上缺少的编码结果:
从已经完成若干阶段的编码和重构的邻近样值计算出仿匹配样值作为编码结果或者
从边界缺省样值计算出仿匹配样值作为编码结果
或者
直接用未匹配样值本身作为编码结果
或者
从所述仿匹配样值和所述未匹配样值本身计算出未匹配样值的变体作为编码结果。
5.根据权利要求1或2或3或4所述的编码方法,其特征在于:所述编码块是下列情况之一:
编码块是编码单元(Coding Unit简称CU)

编码块是预测单元(Prediction Unit简称PU)

编码块是最大编码单元(Largest Coding Unit简称LCU)

编码块是编码树单元(Coding Tree Unit简称CTU);
所述匹配参考样值子集是固定宽度可变长度匹配串;
所述匹配当前样值子集是固定宽度可变长度匹配串;
所述重构参考像素样值集由第一重构参考像素样值集,第二重构参考像素样值集,第三重构参考像素样值集三部分组成;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空。
6.根据权利要求1或2或3或4或5所述的编码方法,其特征在于包括但不限于以下步骤的全部或部分:
步骤1)对一个编码块的原始像素或其变体进行固定宽度可变长度串匹配编码,产生出(1)匹配相对位置及匹配长度和(2)匹配样值:在位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)、第二重构参考像素样值暂存区(即第二重构参考像素样值集)和第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照预先规定的匹配模式和某种评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串(称为匹配参考串);一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;固定宽度可变长度串匹配编码的结果是所述一个或多个匹配相对位置及匹配长度和匹配样值以及可能的未匹配样值(未找到匹配的所述编码块的原始像素或其变体的样值,也称为不可匹配样值);所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
步骤2)如果有未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值,也可能可选地计算出未匹配像素的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
步骤3)可选地用仿匹配样值补全未匹配样值的位置;把所述匹配样值和所述未匹配样值和/或所述仿匹配样值作为第一重构参考像素样值放入所述第一重构参考像素样值暂存区;输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;这些表征参数经过后续的熵编码(也包括分别可选的基于1维或
2维邻近参数的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码等)后被写入压缩码流。
7.根据权利要求1或2或3或4或5或6所述的编码方法,其特征在于:所述编码方法与预测编码(含变换编码、量化编码、熵编码)的步骤集成在一起,形成包括但不限于以下步骤的全部或部分的编码方法:
步骤1)读入一个编码块的原始像素或其变体;
步骤2)对所述编码块进行内预测编码和帧间预测编码,统称为预测编码,产生出(1)预测残差和(2)预测模式和运动矢量
步骤3)对所述编码块进行固定宽度可变长度串匹配编码,产生出(1)匹配相对位置及匹配长度和(2)匹配样值;也就是在位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)、第二重构参考像素样值暂存区(即第二重构参考像素样值集)和第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照预先规定的匹配模式和某种评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串(称为匹配参考串);一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;
固定宽度可变长度串匹配编码的结果是所述一个或多个匹配相对位置及匹配长度和匹配样值以及可能的未匹配样值(未找到匹配的当前编码块的原始像素或其变体的样值,也称为不可匹配样值);所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
步骤4)如果有未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值,也可能可选地计算出未匹配样值的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
步骤5)可选地用所述仿匹配样值补全所述未匹配样值的位置,把所述匹配样值和所述未匹配样值和/或所述仿匹配样值作为第一重构像素的样值放入所述第一重构参考像素样值暂存区;输出匹配相对位置及匹配长度和可选的未匹配样值或其变体;
步骤6)计算匹配残差,从所述原始像素样值和所述第一重构像素的样值计算出匹配残差;
步骤7)对步骤2)和6)产生的预测残差和匹配残差进行变换编码和量化编码,变换编码和量化编码都是分别可选的,也就是如果变换编码达不到更好的数据压缩效果,就不进行变换编码,或者不但不进行变换编码,也不进行量化编码;
步骤8)对步骤2)、7)的预测-变换-量化编码方式(即基于预测的编码方式,简称为预测方式)的结果进行所述预测方式的逆运算,对步骤3)至7)的匹配-变换-量化编码方式(即基于匹配的编码方式,简称为匹配方式)的结果进行所述匹配方式的逆运算,这些逆运算统称为重构,得到所述编码块的对应于多种预测模式和多种匹配模式的多种第二重构像素,用于后续步骤11)的率-失真成本计算,并在后续步骤11)确定了对所述编码块的最优编码方式之后,把所述最优编码方式的第二重构像素放入第二重构参考像素样值暂存区;
步骤9)对所述最优编码方式的所述第二重构像素进行去块效应滤波和像素补偿运算,产生第三重构像素,然后把所述第三重构像素放入第三重构参考像素样值暂存区,用作后续预测编码和固定宽度可变长度串匹配编码的参考像素;
步骤10)对序列、图像、CU的头信息、步骤2)的编码结果之二预测模式和运动矢量、步骤5)的匹配编码输出即所述匹配相对位置及匹配长度和可选的未匹配样值或其变体、以及步骤7)产生的匹配残差和预测残差(可能经过了变换-量化运算或量化运算)进行熵编码并产生压缩码流的比特率,熵编码也包括对匹配模式、匹配相对位置、匹配长度、未匹配样值或其变体、匹配残差等熵编码对象的样值先进行分别可选的基于1维或2维邻近样值的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码;
步骤11)从原始像素、多种第二重构像素及其压缩码流的比特率或者比特率估计值,计算得到率-失真成本,根据率-失真性能选择所述编码块的最优编码方式(基于匹配的编码方式还是基于预测的编码方式)、最优匹配模式或最优预测模式并输出所述编码块的压缩码流数据;压缩码流中至少含有匹配相对位置、匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;
步骤12)判断是否已完成所有编码块的编码,如果是,则结束编码,否则回到步骤1),开始对下一个编码块的编码。
8.一种图像解码方法,其特征在于:解析压缩码流,获取与匹配解码有关的参数;根据所述参数,对一个解码块,从重构参考像素样值集内的一个位置复制一个匹配参考样值子集,并将所述匹配参考样值子集的全部样值(被称为匹配样值)移动和粘贴到所述解码块的当前解码位置,得到一个匹配当前样值子集。
9.根据权利要求8所述的解码方法,其特征在于:所述参数包括但不限于关于所述匹配参考样值子集的位置和大小的参数。
10.根据权利要求8或9所述的解码方法,其特征在于:使用匹配相对位置及匹配长度这两个表示匹配关系的匹配参数以及所述当前解码位置来确定所述匹配参考样值子集的位置和大小。
11.根据权利要求8或9或10所述的解码方法,其特征在于:如果在所述解码块的当前解码位置上没有来自重构参考像素样值集的匹配参考样值子集,则用下列方法之一补全所述当前解码位置上缺少的当前样值:
从已经完成若干阶段的解码和重构的邻近样值计算出仿匹配样值作为当前样值或者
从边界缺省样值计算出仿匹配样值作为当前样值
或者
直接用从输入的未匹配样值本身作为当前样值
或者
从所述仿匹配样值和输入的未匹配样值的变体计算出未匹配样值作为当前样值。
12.根据权利要求8或9或10或11所述的解码方法,其特征在于:所述解码块是下列情况之一:
解码块是编码单元(Coding Unit简称CU)

解码块是预测单元(Prediction Unit简称PU)

解码块是最大编码单元(Largest Coding Unit简称LCU)

编码块是编码树单元(Coding Tree Unit简称CTU);
所述匹配参考样值子集是固定宽度可变长度匹配串;
所述匹配当前样值子集是固定宽度可变长度匹配串;
所述重构参考像素样值集由第一重构参考像素样值集,第二重构参考像素样值集,第三重构参考像素样值集三部分组成;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空。
13.根据权利要求8或9或10或11或12所述的解码方法,其特征在于包括但不限于以下步骤的全部或部分:
步骤1)解析压缩码流,获取与匹配解码有关的输入参数,使用获取的输入匹配参数匹配相对位置D及匹配长度L进行固定宽度可变长度串匹配解码;也就是从位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)或第二重构参考像素样值暂存区(即第二重构参考像素样值集)或第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照已知的匹配模式和固定宽度,复制长度为L的整个匹配串(称为匹配参考串)的所有样值,并将整个匹配串移动和粘贴到当前解码块中的被匹配串(也称为匹配当前串)的位置,复原出整个被匹配串;一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理或变换或处理与变换的组合;这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
步骤2)如果输入的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存区或第二重构参考像素样值暂存区或第三重构参考像素样值暂存区的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;
也可能可选地读取输入的未匹配样值或其变体,或可选地计算出未匹配样值;
步骤3)可选地用仿匹配样值补全未匹配样值位置上缺少的匹配样值,把步骤1)复制的匹配样值和步骤2)计算的仿匹配样值和/或步骤2)从输入读取的未匹配样值和/或步骤2)从输入读取后再计算的未匹配样值合起来得到匹配解码的完整的第一重构像素的样值,并把所述第一重构像素的样值放入所述第一重构参考像素样值暂存区;
使用以上3个步骤依次复制、移动、粘贴一个一个匹配串,或者一个一个读出和/或计算出未匹配样值(包括用仿匹配样值补全未匹配样值的位置),最终复原出整个当前解码块的所有样值;也就是说,解码一个解码块时,所有的匹配当前串和不可匹配样值合起来覆盖整个解码块;当一个解码块内的匹配当前串有不同的固定宽度时,一个当前匹配串也可能覆盖另一个当前匹配串的一部分;这时,按照解码顺序,后解码的当前匹配串的样值取代其覆盖部分的先解码的当前匹配串的样值。
14.根据权利要求8或9或10或11或12或13所述的解码方法,其特征在于:所述解码方法与预测等非固定宽度可变长度串匹配解码(含逆变换解码、反量化解码、熵解码)的步骤集成在一起,形成包括但不限于以下步骤的全部或部分的解码方法:
步骤1)进行一个解码块的熵解码,解析得到所述解码块的头信息和数据信息,头信息包括后续对所述解码块进行解码时采用预测等非固定宽度可变长度串匹配(简称预测等非串匹配)解码步骤还是固定宽度可变长度串匹配(简称串匹配)解码步骤,熵解码也可能包括对匹配模式、匹配相对位置、匹配长度、附加的标记位、未匹配样值或其变体、串匹配残差等熵解码对象的分别可选的基于1维或2维邻近样值的一阶或高阶差分解码、预测解码、匹配解码、映射解码、逆变换解码、反量化解码、索引解码、游程解码以及二值化解码;
步骤2)对可能经过了变换-量化运算或量化运算的预测等非串匹配残差或串匹配残差进行所述运算的逆运算,即反量化-逆变换解码运算或反量化解码运算或恒等运算,产生出预测等非串匹配残差或串匹配残差;本步骤是可选的,如果码流中既没有预测等非串匹配残差也没有串匹配残差,就不进行本步骤的运算;
步骤3)如果步骤1)解析出对所述解码块进行解码时采用预测等非串匹配解码步骤,则进行帧内预测解码或帧间预测等非串匹配解码,统称为预测等非串匹配解码,产生出预测等非串匹配解码的初步重构像素,并把所述初步重构像素的样值放入第二重构参考像素样值暂存区,然后跳至步骤8),否则,顺序执行下一步骤;
步骤4)使用步骤1)得到的一对或多对匹配相对位置D及匹配长度L进行一个解码块的固定宽度可变长度串匹配解码,从位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)或第二重构参考像素样值暂存区(即第二重构参考像素样值集)或第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照已知的匹配模式和固定宽度,复制长度为L的整个匹配串(称为匹配参考串)的所有样值,并将整个匹配串移动和粘贴到所述解码块中的被匹配串(也称为匹配当前串)的位置,复原出整个被匹配串,如此逐个复原所有被匹配串;一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理或变换或处理与变换的组合;
这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
步骤5)如果步骤1)得到的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存区或第二重构参考像素样值暂存区或第三重构参考像素样值暂存区的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取输入的未匹配样值或其变体,或可选地计算出未匹配样值;
步骤6)如果在当前解码位置缺少匹配样值,则可选地用步骤5)计算的仿匹配样值补全缺少的匹配样值,把步骤4)复制的匹配样值和步骤5)计算的仿匹配样值和/或未匹配样值合起来得到匹配解码的完整的第一重构像素(即第一重构参考像素)的样值,并把所述第一重构像素的样值放入所述第一重构参考像素样值暂存区;
步骤7)串匹配补偿,即用步骤2)产生的所述串匹配残差对步骤6)产生的所述第一重构像素的样值进行补偿,产生出串匹配解码的第二重构像素的样值,并把所述第二重构像素的样值放入所述第二重构参考像素样值暂存区;
步骤8)对步骤3)预测解码的初步重构像素或步骤7)串匹配解码的第二重构像素进行去块效应滤波和像素补偿运算等后处理,然后把经过这些运算后产生的第三重构像素的样值放入所述第三重构参考像素样值暂存区,用作后续预测等非串匹配解码和固定宽度可变长度串匹配解码的参考像素;
步骤9)输出完全重构解码块的像素,即所述解码块的第三重构像素的样值;
步骤10)判断是否已经完成对所有解码块的压缩码流数据的解码,如果是,则结束解码,否则回到步骤1),开始对下一个解码块的解码。
15.一种图像编码装置,其特征在于包括但不限于以下模块的全部或部分:匹配参考样值子集搜索编码模块,重构参考像素样值暂存模块,输出压缩码流模块。
16.根据权利要求15所述的编码装置,其特征在于:还包括以下模块:计算仿匹配样值模块。
17.根据权利要求15或16所述的编码装置,其特征在于:还包括以下模块:补全未匹配样值位置上缺少的编码结果的模块。
18.根据权利要求15或16或17所述的编码装置,其特征在于包括但不限于以下模块的全部或部分:
模块1)固定宽度可变长度的串匹配搜索编码模块:对输入视频像素样值施行固定宽度可变长度的串匹配编码,在位置标号互不重叠的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)、第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)和第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中,搜索固定宽度可变长度的最优匹配串(称为匹配参考串),并输出(1)最优匹配串的匹配样值、(2)最优匹配串的匹配相对位置D及匹配长度L,(3)可能的未匹配样值,即未找到匹配的当前编码中的原始像素或其变体的样值,也称为不可匹配样值;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
模块2)从邻近样值计算仿匹配样值模块:如果对某些输入视频像素样值,在第一重构参考像素样值暂存模块、第二重构参考像素样值暂存模块和第三重构参考像素样值暂存模块中,都没有找到任何最优匹配样值,即这些输入视频像素样值是未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地计算出未匹配像素的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
模块3)用仿匹配样值补全未匹配样值模块:用计算出来的所述仿匹配样值补全没有找到任何最优匹配样值的所述未匹配样值的位置;模块1)搜索找到的所述匹配样值与所述未匹配样值和/或模块2)计算得到的所述仿匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块可以被旁路,这时,模块1)搜索找到的所述匹配样值与所述未匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;这些表征参数经过后续的熵编码(也包括但不限于分别可选的基于1维或2维邻近参数的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码等)后被写入压缩码流;本模块也可能可选地输出所述匹配样值与所述仿匹配样值和/或所述未匹配样值;
模块4)第一重构参考像素样值暂存模块:用来暂存由找到的所述匹配样值与所述未匹配样值和/或计算的所述仿匹配样值合在一起形成的第一重构像素的样值,用作后续串匹配搜索编码时的第一参考像素样值。
19.根据权利要求15或16或17或18所述的编码装置,其特征在于:所述编码模块与预测编码(含变换编码、量化编码、熵编码)的模块集成在一起,形成包括但不限于以下模块的全部或部分的编码装置:
模块1)预测编码模块:对输入视频像素样值施行帧内预测编码和帧间预测编码,并输出(1)预测残差和(2)预测模式和运动矢量;
模块2)固定宽度可变长度的串匹配搜索编码模块:对所述输入视频像素样值施行固定宽度可变长度的串匹配编码,在位置标号互不重叠的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)、第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)和第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中,搜索固定宽度可变长度的最优匹配串,并输出(1)最优匹配串的匹配样值、(2)最优匹配串的匹配相对匹配位置D及匹配长度L,(3)可能的未匹配样值,即未找到匹配的当前编码中的原始像素或其变体的样值,也称为不可匹配样值;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
模块3)从邻近样值计算仿匹配样值模块:如果对某些输入视频像素样值,在第一重构参考像素样值暂存模块、第二重构参考像素样值暂存模块和第三重构参考像素样值暂存模块中,都没有找到任何最优匹配样值,即这些输入视频像素样值是未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地计算出未匹配像素的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
模块4)用仿匹配样值补全未匹配样值模块:用计算出来的所述仿匹配样值补全没有找到任何最优匹配样值的所述未匹配样值的位置,模块2)搜索找到的所述匹配样值与所述未匹配样值和/或模块3)计算得到的所述仿匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块可以被旁路,这时,模块2)搜索找到的所述匹配样值与所述未匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;这些表征参数经过后续的熵编码(也包括分别可选的基于1维或2维邻近参数的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码等)后被写入压缩码流,本模块也可能可选地输出所述匹配样值与所述未匹配样值和/或所述仿匹配样值;
模块5)第一重构参考像素样值暂存模块:用来暂存由找到的所述匹配样值与所述未匹配样值和/或计算的所述仿匹配样值合在一起形成的第一重构像素的样值,用作后续串匹配搜索编码时的第一参考像素样值;
模块6)匹配残差计算模块:从所述输入视频像素样值和所述第一重构像素的样值计算出匹配残差;
模块7)变换模块:对所述匹配残差和所述预测残差施行变换运算,输出变换系数,对某些类型的屏幕图像像素,变换运算并不能起到压缩数据的效果,在这种情形,就不施行变换运算,也就是变换模块被旁路,直接输出所述匹配残差或所述预测残差;
模块8)量化模块:对所述变换系数(在变换模块未旁路的情形)或所述匹配残差或所述预测残差(在变换模块被旁路的情形)施行量化运算,输出预测编码的量化变换系数或量化预测残差,并输出匹配编码的量化变换系数或量化匹配残差,变换模块和量化模块也可以都被旁路,直接输出所述预测残差和所述匹配残差;
模块9)熵编码模块:对模块2)至模块4)及模块6)至模块8)施行的匹配编码方式的结果如所述匹配相对位置、所述匹配长度、所述可选的未匹配样值或其变体、所述量化变换系数或所述量化匹配残差等施行熵编码;对模块1)、模块7)、模块8)施行的预测编码方式的结果如所述预测模式、所述运动矢量、所述量化变换系数或所述量化预测残差等施行熵编码,包括对所述熵编码对象的样值先施行分别可选的基于1维或2维邻近样值的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码;
模块10)重构模块:施行预测编码模块、变换模块、量化模块这三个模块的预测编码方式的逆运算;施行固定宽度可变长度的串匹配搜索编码模块、从邻近样值计算仿匹配样值模块、用仿匹配样值补全未匹配样值模块、匹配残差计算模块、变换模块、量化模块这六个模块的匹配编码方式的逆运算;这些逆运算产生第二重构像素的样值,将所述第二重构像素输出到基于率-失真性能的最优预测模式与匹配模式选择模块用于率-失真成本的计算;在基于率-失真性能的最优预测模式与匹配模式选择模块确定了最优编码方式(匹配编码方式或者预测编码方式)之后,把所述最优编码方式对应的第二重构像素放入第二重构参考像素样值暂存模块;
模块11)去块效应滤波和补偿模块:对所述最优编码方式的第二重构像素进行去块效应滤波和像素补偿运算,产生第三重构像素,然后把所述第三重构像素放入第三重构参考像素样值暂存模块,用作后续预测编码和固定宽度可变长度串匹配编码的参考像素;
模块12)第二重构参考像素样值暂存模块:本模块暂存第二重构像素,提供固定宽度可变长度的串匹配搜索编码模块所需的第二参考像素样值;
模块13)第三重构参考像素样值暂存模块:本模块暂存第三重构像素,提供预测编码和固定宽度可变长度串匹配编码的第三参考像素;
模块14)基于率-失真性能的最优预测模式与匹配模式选择模块:根据率-失真性能选择最优编码方式(匹配编码方式或者预测编码方式)、最优匹配模式、最优预测模式;输出视频压缩码流;压缩码流中至少含有匹配相对位置、匹配长度和可选的未匹配样值(也称为不可匹配样值)或其变体等固定宽度可变长度串匹配方式的表征参数。
20.一种图像解码装置,其特征在于包括但不限于以下模块的全部或部分:解析压缩码流和获取匹配解码有关参数模块,复制匹配参考样值子集以复原匹配当前样值子集模块,重构参考像素样值暂存模块。
21.根据权利要求20所述的解码装置,其特征在于:还包括以下模块:计算仿匹配样值模块。
22.根据权利要求20或21所述的解码装置,其特征在于:还包括以下模块:补全未匹配样值位置上缺少的当前样值的模块。
23.根据权利要求20或21或22所述的解码装置,其特征在于包括但不限于以下模块的全部或部分:
模块1)固定宽度可变长度的串匹配解码模块:本模块的功能是对从压缩码流中获取的输入的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运算,即按照已知的匹配模式和固定宽度,从位置标号互不相交的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)或第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)或第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中由匹配相对位置指定的地方复制得到长度为匹配长度的整个匹配串(即匹配参考串),然后把所述整个匹配串移动和粘贴到当前解码块中的当前被匹配串(即匹配当前串)的位置,在当前解码块中复原出整个被匹配串;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理或变换或这些处理与变换的组合;这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
模块2)从邻近样值计算仿匹配样值模块:如果输入的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存模块或第二重构参考像素样值暂存模块或第三重构参考像素样值暂存模块的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取输入的未匹配样值或其变体,或可选地计算出未匹配样值;
模块3)用仿匹配样值补全未匹配样值模块:可选地用计算出来的仿匹配样值补全在第一、第二或第三重构参考像素样值暂存模块中不存在任何匹配样值的当前解码位置上的像素样值;模块1)复制和粘贴的匹配样值与模块2)计算的仿匹配样值和/或模块2)从输入得到的未匹配样值和/或模块2)从输入得到后再计算的未匹配样值合在一起就是匹配解码的第一重构像素的样值,也是本模块的输出;本模块可以被旁路,这时,模块1)复制和粘贴的匹配样值与模块2)从输入得到的未匹配样值合在一起就是匹配解码的第一重构像素的样值;
模块4)第一重构参考像素样值暂存模块:用来暂存所述第一重构像素的样值,用作后续固定宽度可变长度串匹配解码所需的第一参考像素的样值。
24.根据权利要求20或21或22或23所述的解码装置,其特征在于:所述解码模块与预测等非固定宽度可变长度串匹配解码(含逆变换解码、反量化解码、熵解码)的模块集成在一起,形成包括但不限于以下模块的全部或部分的解码装置:
模块1)熵解码模块:对输入压缩码流数据施行熵解码,得到当前解码序列、当前解码图像、当前解码块的头信息和数据信息;熵解码也可能包括对预测等非固定宽度可变长度串匹配(简称预测等非串匹配)解码方式的预测模式和运动矢量等各非串匹配解码参数、固定宽度可变长度串匹配(简称串匹配)解码方式的匹配模式、匹配相对位置、匹配长度、附加的标记位、未匹配样值或其变体、预测等非串匹配残差和串匹配残差(可能经过了变换-量化运算或量化运算)等熵解码对象的分别可选的基于1维或2维邻近样值的一阶或高阶差分解码、预测解码、匹配解码、映射解码、逆变换解码、反量化解码、索引解码、游程解码以及二值化解码;熵解码还包括从输入压缩码流数据中解析出当前解码块采用的是预测等非串匹配解码方式还是串匹配解码方式,逆变换运算和反量化运算是否被旁路等信息;在串匹配方式下,所述当前解码块的数据信息可以含有一个或多个匹配串的信息;
模块2)反量化模块:如果反量化运算未被旁路,则施行反量化运算,输出变换系数,否则,本模块被旁路,不施行反量化运算,直接输出预测等非串匹配残差或串匹配残差;
模块3)逆变换模块:如果逆变换运算未被旁路,则施行逆变换运算,输出预测等非串匹配残差或串匹配残差,否则,本模块被旁路,不施行逆变换运算,这时,反量化模块也必定被旁路,本模块直接输出预测等非串匹配残差或串匹配残差;
模块4)预测等非串匹配解码模块:施行帧内预测解码或帧间预测等非串匹配解码,得到并输出预测等非串匹配解码的初步重构像素;
模块5)固定宽度可变长度的串匹配解码模块:本模块的功能是对来自熵解码模块的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运算,即按照已知的匹配模式和固定宽度,从位置标号互不相交的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)或第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)或第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中由匹配相对位置指定的地方复制得到长度为匹配长度的整个匹配串(即匹配参考串),然后把所述整个匹配串移动和粘贴到当前解码块中的当前被匹配串(即匹配当前串)的位置,在当前解码块中复原出整个被匹配串;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理或变换或处理与变换的组合;这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;
这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
模块6)从邻近样值计算仿匹配样值模块:如果来自熵解码模块的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存模块或第二重构参考像素样值暂存模块或第三重构参考像素样值暂存模块的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取来自码流的未匹配样值或其变体,或可选地计算出未匹配样值;
模块7)用仿匹配样值补全未匹配样值模块:可选地用计算出来的仿匹配样值补全在第一、第二或第三重构参考像素样值暂存模块中不存在任何匹配样值的当前解码位置上的像素样值;模块5)复制和粘贴的匹配样值与模块6)计算的仿匹配样值和/或模块6)从输入码流得到的未匹配样值和/或模块6)从输入码流得到后再计算的未匹配样值合在一起就是匹配解码的第一重构像素的样值;所述匹配样值与所述仿匹配样值和/或所述未匹配样值也是本模块的输出;本模块可以被旁路,这时,模块5)复制和粘贴的匹配样值与模块
6)从输入码流得到的未匹配样值合在一起就是匹配解码的第一重构像素的样值,所述匹配样值与所述未匹配样值也是本模块的输出;
模块8)第一重构参考像素样值暂存模块:用来暂存所述第一重构像素的样值,用作后续固定宽度可变长度串匹配解码所需的第一参考像素的样值;
模块9)串匹配补偿模块:把模块3)输出的所述串匹配残差与模块7)输出的所述第一重构像素的样值相加,产生出串匹配解码的第二重构像素的样值即本模块的输出;
模块10)去块效应滤波和补偿模块等后处理:对模块4)输出的初步重构像素或模块
9)输出的第二重构像素进行去块效应滤波和像素补偿运算等后处理,产生第三重构像素,然后把所述第三重构像素放入第三重构参考像素样值暂存模块,用作后续固定宽度可变长度串匹配解码和预测等非串匹配解码的参考像素;第三重构像素通常也是整个集成的解码装置的最终输出像素;
模块11)第二重构参考像素样值暂存模块:本模块暂存第二重构像素,提供后续固定宽度可变长度串匹配解码所需的第二参考像素样值;
模块12)第三重构参考像素样值暂存模块:本模块暂存第三重构像素,提供后续预测等非串匹配解码和固定宽度可变长度串匹配解码所需的第三参考像素。
25.根据权利要求 8或9或10或11或12或13或14或20或21或22或23或24所
述的解码方法或解码装置,其特征在于:解码一个完整的所述解码块至少需要一个或多个表明在当前解码位置是否缺少匹配样值的输入标记位(简记为F或Fi)和一对或多对输入的(匹配相对位置,匹配长度),依解码顺序排列成下列情形之一:
情形一:
F1,(D1,L1)或空白,F2,(D2,L2)或空白,… …,Fn,(Dn,Ln)或空白其中标记位Fi取一个值时表明后面跟着一个匹配串的匹配相对位置Di和匹配长度Li,而Fi取另一个值时表明当前解码位置缺少匹配样值从而后面是空白;
情形二:
当Fi的取值表明当前解码位置缺少匹配样值时,用一个附加的从码流中获取的输入像素样值即未匹配像素样值或其变体Pi来替代缺少的匹配样值:
F1,(D1,L1)或P1,F2,(D2,L2)或P2,… …,Fn,(Dn,Ln)或Pn其中标记位Fi取一个值时表明后面跟着一个匹配串的匹配相对位置Di和匹配长度Li,而Fi取另一个值时表明当前解码位置缺少匹配样值从而后面跟着输入像素样值或其变体Pi;
情形三:
情形一与情形二的组合:
F1,(D1,L1)或空白或P1,F2,(D2,L2)或空白或P2,… …,Fn,(Dn,Ln)或空白或Pn其中标记位Fi取第1个值时表明后面跟着一个匹配串的匹配相对位置Di和匹配长度Li,Fi取第2个值时表明当前解码位置缺少匹配样值并用仿匹配样值来补全从而后面是空白;而Fi取第2+m(1≤m≤M)个值时表明当前解码位置缺少匹配样值但后面不是空白而是跟着仿匹配样值与输入像素样值或其变体的M种组合和运算之中的第m种组合和运算的结果Pi;M通常小于10。
26.根据权利要求8或9或10或11或12或13或14或20或21或22或23或24或
25 所述的解码方法或解码装置,其特征在于:所述输入标记位,输入匹配相对位置,输入匹配长度,输入像素样值或其变体等不同类型的解码输入参数,其记述和表达形式可以是这些参数经过熵编码、一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码、二值化编码后的存在于比特流中的语法元素;所述不同类型的语法元素在比特流中的放置顺序,可以是下列两种之一或其组合:
顺序1)不同类型的单个数值交叉放置;
顺序2)同一类型的所有数值集中放置。
27.根据权利要求 8或9或10或11或12或13或14或20或21或22或23或24或
25或26所述的解码方法或解码装置,其特征在于:
所述匹配相对位置Di或其变体是单分量参数或双分量参数或三分量参数;所述匹配相对位置Di或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
一个匹配串的匹配相对位置Di或其变体对应的语法元素:d(一个分量)
或者
一个匹配串的匹配相对位置Di或其变体对应的语法元素:d[0], d[1](两个分量)或者
一个匹配串的匹配相对位置Di或其变体对应的语法元素:d[0], d[1], d[2](三个分量)
所述匹配长度Li或其变体是单分量参数或双分量参数或三分量参数;所述匹配长度Li或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
一个匹配串的匹配长度Li或其变体对应的语法元素:r(一个分量)
或者
一个匹配串的匹配长度Li或其变体对应的语法元素:r[0], r[1](两个分量)或者
一个匹配串的匹配长度Li或其变体对应的语法元素:r[0], r[1], r[2](三个分量)所述未匹配像素Pi或其变体是单分量参数或双分量参数或三分量参数;所述未匹配像素Pi或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
未匹配像素Pi或其变体对应的语法元素:p(一个分量)
或者
未匹配像素Pi或其变体对应的语法元素:p[0], p[1] 两个分量)
或者
未匹配像素Pi或其变体对应的语法元素:p[0], p[1], p[2](三个分量)。
28.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27所述的编码方
法或解码方法或编码装置或解码装置,其特征在于:所述压缩码流的序列参数集码流段含有但不限于载入了下列信息的语法元素:
在本序列中是否采用串匹配工具的标记位:string_matching_enable
当所述标记位取一个值时,本序列采用串匹配工具,当所述标记位取另一个值时,本序列不采用串匹配工具。
29.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28所述的编
码方法或解码方法或编码装置或解码装置,其特征在于:所述压缩码流的CTU头信息码流段含有但不限于载入了下列信息的语法元素:
当前CTU中是否采用串匹配工具的标记位:ctu_ISC_enable
当所述标记位取一个值时,当前CTU采用串匹配工具,当所述标记位取另一个值时,当前CTU不采用串匹配工具。
30.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29所
述的编码方法或解码方法或编码装置或解码装置,其特征在于:所述压缩码流的CU头信息码流段含有但不限于载入了下列信息的语法元素:
当前CU中是否采用串匹配工具的标记位:cu_ISC_enable
当所述标记位取一个值时,当前CU采用串匹配工具,当所述标记位取另一个值时,当前CU不采用串匹配工具。
31.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30所述的编码方法或解码方法或编码装置或解码装置,其特征在于:所述压缩码流的编码块或解码块或PU或CU或CTU或LCU部分压缩码流段含有但不限于载入了下列参数或其变体的语法元素的全部或部分:
第一类模式,
第二类模式,
第三类模式,
第四类模式,
匹配标记位1,样值集编号1或空,(匹配相对位置1,长度1)或未匹配样值1或空,匹配标记位2,样值集编号2或空,(匹配相对位置2,长度2)或未匹配样值2或空,… … … …
更多的匹配标记位,样值集编号或空,(匹配相对位置,长度)或未匹配样值或空,… … … …
匹配标记位N,样值集编号N或空,(匹配相对位置N,长度N)或未匹配样值N或空,匹配残差或空;
所有所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;任何语法元素也可以不存在于某个编码块或解码块或PU或CU或CTU或LCU的压缩码流段中;
压缩码流段中的匹配相对位置,匹配长度,未匹配像素样值等参数,可以是这些参数本身,也可以是这些参数经过预测编码、匹配编码、变换编码、量化编码、DPCM、一阶和高阶差分编码、映射编码、游程编码、索引编码等各种常用技术编码后的变体;
所述匹配相对位置、匹配长度、,未匹配像素分别可以仅有一个参数分量,也可以有两个参数分量,或者进一步划分成三个参数分量甚至更多参数分量
所述样值集编号可以是匹配相对位置的一部分,或者只有一个样值集,这时,样值集编号为空。
32.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31所述的编码方法或解码方法或编码装置或解码装置,其特征在于:所述重构参考像素样值集、匹配参考样值子集、匹配当前样值子集、匹配参考串、匹配当前串、匹配串、被匹配串的像素样值是下列情形之一:
像素样值以叠包格式排列
或者
像素样值被分解成3个分量样值平面,所述匹配参考样值子集、匹配当前样值子集、匹配参考串、匹配当前串、匹配串、被匹配串实际都有3个分量,分别位于3个分量平面内;
或者
像素样值是索引像素。
33.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或30
或31或32所述的编码方法或解码方法或编码装置或解码装置,其特征在于:所述第一重构参考像素样值集由离当前编码或解码样值最接近的位置上的第一重构参考像素样值构成;
所述第二重构参考像素样值集由比第一重构参考像素样值集更前面(离当前编码或解码样值更远)的位置上的第二重构参考像素样值构成;所述第三重构参考像素样值集由比第二重构参考像素样值集更前面(离当前编码或解码样值最远)的位置上的第三重构参考像素样值构成。
34.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33所述的编码方法或解码方法或编码装置或解码装置,其特征在于:所述第一重构参考像素样值集由当前正在编码或解码的CU中当前编码或解码样值之前已经完成阶段性重构(处于其特有重构阶段)的位置上的第一重构参考像素样值构成;所述第二重构参考像素样值集由当前正在编码或解码的LCU中已经完成阶段性重构(处于其特有重构阶段)的CU(不包括当前正在编码或解码的CU)的位置上的第二重构参考像素样值以及前一个刚完成编码或解码的阶段性重构(处于其特有重构阶段)的LCU的位置上的第二重构参考像素样值构成;所述第三重构参考像素样值集由比刚完成编码或解码的阶段性重构(处于其特有重构阶段)的LCU更前面的位置上的若干个LCU的第三重构参考像素样值构成。
35.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或33或34所述的编码方法或解码方法或编码装置或解码装置,其特征在于:
任意一个重构参考像素样值集有独立(即不一定但也可以与其他任意一个重构参考像素样值集一致)的下列分量排列格式、色彩格式、像素样值排列方式之一:
叠包格式、YUV色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
叠包格式、YUV色彩格式、LCU或CU内平扫描1维串形排列方式
或者
叠包格式、YUV色彩格式、图像固有的2维排列方式
或者
叠包格式、GBR色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
叠包格式、GBR色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
叠包格式、GBR色彩格式、图像固有的2维排列方式
或者
平面格式、YUV色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
平面格式、YUV色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
平面格式、YUV色彩格式、图像固有的2维排列方式
或者
平面格式、GBR色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
平面格式、GBR色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
平面格式、GBR色彩格式、图像固有的2维排列方式
或者
空集。
36.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或33或34或35所述的编码方法或解码方法或编码装置或解码装置,其特征在于重构参考像素样值集的三个部分(也被称为三个重构参考像素样值集)的像素具有下列表现格式之一:
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集为空,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集为空,第三重构参考像素样值集为空。
37.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36所述的编码方法或解码方法或编码装置或解码装置,其特征在于:
所述固定宽度可变长度串匹配的固定宽度在一个编码块或解码块或PU或CU或若干个CU或一幅图像或一个序列中是一个常数W;
或者
所述固定宽度可变长度串匹配的固定宽度W在一个水平(或垂直)方向的总样值数为X的编码块或解码块或PU或CU或CTU或LCU内可以取下列前后成2倍关系的固定值之一:
1,2,4,……,X;当编码或解码一个匹配当前串时,由另外一个编码或解码变量参数来确定取哪个固定值,因此,不同的匹配当前串可能取相同的固定值,也可能取不同的固定值;
或者
所述固定宽度可变长度串匹配的固定宽度W在一个水平(或垂直)方向的总样值数为X的编码块或解码块或PU或CU或CTU或LCU内可以取下列K个固定值之一:1,2,……,k,……,K-1,K;当编码或解码中匹配串的名义长度L满足(k-1)X + 1 ≤ L ≤ kX时,W取值k,因此,不同的匹配串可能取相同的固定值,也可能取不同的固定值。
38.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37所述的编码方法或解码方法或编码装置或解码装置,其特征在于匹配相对位置D和匹配长度L的取值包括但不限于下列情形之一:
匹配参考串和匹配当前串可以有互相重叠的样值位置,即匹配串的匹配相对位置D和匹配长度L满足下列关系:D当D=1当D=2P1P2P1P2……P1P2,即匹配当前串的L个样值都是P1P2的重复;
当D=2当D=3当D=4当D或者
在一个水平(或垂直)方向的总样值数为X的编码块或解码块或PU或CU或CTU或LCU内,匹配参考串在匹配当前串的相邻正上方(或正左边),即匹配串的匹配相对位置D和匹配长度L满足下列关系:D=X,L≤X;当这种情况出现的频度很高时,D=X用一个特殊的较短的码放入码流;
或者
在一个水平(或垂直)方向的总样值数为X的编码块或解码块或PU或CU或CTU或LCU内,匹配参考串在匹配当前串的正上方(或正左边)但并不一定相邻,即匹配串的匹配相对位置D满足下列关系:D=nX;当这种情况出现的频度很高时,D=nX用若干特殊的较短的码来表示n并放入码流。
39.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38所述的编码方法或解码方法或编码装置或解码装置,其特征在于参考像素样值与重构像素样值之间的关系包括但不限于下列情形之一:
参考像素样值是重构像素样值经过数值量化和反量化运算的样值;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用编码或解码量化参数来计算;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用参考像素样值所在CU的编码或解码量化参数来计算;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用参考像素样值所在CU的编码或解码量化参数来计算,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用当前CU的编码或解码量化参数来计算;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用当前CU的编码或解码量化参数来计算,每编码或解码一个CU,要重新计算一次;
或者
参考像素样值是重构像素样值经过颜色量化的样值;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用基于颜色的像素聚类获得的一个调色板来计算;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的动态更新部分内容的调色板来计算,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与当前编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与当前编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算,每编码或解码一个编码块或解码块或PU或CU或CTU或LCU,要重新计算一次;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个全局的基于颜色的像素聚类获得的调色板来计算。
40.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39所述的编码方法或解码方法或编码装置或解码装置,其特征在于匹配相对位置以及其在压缩数据比特流中对应的语法元素包括但不限于下列情形之一:
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式排列成一个1维的数组,数组中每个样值都有一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的线性地址减去所述匹配当前串的第一个样值的线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个单变量参数即只有1个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式排列成一个1维的数组,数组中每个样值都有一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的线性地址减去所述匹配当前串的第一个样值的线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个单变量参数即只有1个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式排列成一个2维的数组,数组中每个样值都有一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的平面坐标减去所述匹配当前串的第一个样值的平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式排列成一个2维的数组,数组中每个样值都有一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的平面坐标减去所述匹配当前串的第一个样值的平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个2维的数组,区域和数组中每个样值都有一个区域编号和一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和平面坐标减去所述匹配当前串的第一个样值的区域编号和平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个三变量参数即有3个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个2维的数组,区域和数组中每个样值都有一个区域编号和一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和平面坐标减去所述匹配当前串的第一个样值的区域编号和平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个三变量参数即有3个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个1维的数组,区域和数组中每个样值都有一个区域编号和一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和线性地址减去所述匹配当前串的第一个样值的区域编号和线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前编码块或解码块或PU或CU或CTU或LCU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个1维的数组,区域和数组中每个样值都有一个区域编号和一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和线性地址减去所述匹配当前串的第一个样值的区域编号和线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量。
41.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39或40所述的编码方法或解码方法或编码装置或解码装置,其特征在于匹配长度以及其在压缩数据比特流中对应的语法元素包括但不限于下列情形之一:
匹配当前串的匹配长度L是一个单变量参数;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的单变量参数经过熵编码的语法元素;
或者
匹配当前串的匹配长度L是一个单变量参数;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的单变量参数与其他匹配长度的单变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;
或者
在一个水平(或垂直)方向的总样值数为X的编码块或解码块或PU或CU或CTU或LCU内,匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数经过熵编码的语法元素;
或者
在一个水平(或垂直)方向的总样值数为X的编码块或解码块或PU或CU或CTU或LCU内,匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数与其他匹配长度的双变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;
或者
其第一个像素样值与当前编码块或解码块或PU或CU或CTU或LCU的右边界(或下边界)之间的水平(或垂直)距离为X的匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数经过熵编码的语法元素;
或者
其第一个像素样值与当前编码块或解码块或PU或CU或CTU或LCU的右边界(或下边界)之间的水平(或垂直)距离为X的匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数与其他匹配长度的双变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素。
42.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39或40或41所述的编码方法或解码方法或编码装置或解码装置,其特征在于未匹配样值在压缩数据比特流中对应的语法元素包括但不限于下列情形之一:
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过熵编码的语法元素;
或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未匹配样值经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;
或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过量化运算后再经过熵编码的语法元素;
或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未匹配样值经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过量化运算后再经过熵编码的语法元素。
43.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39或40或41或42所述的编码方法或解码方法或编码装置或解码装置,其特征在于第一重构参考像素样值集由一部分重构像素样值组成,仅用来进行匹配长度为1的串匹配(这种特殊的串匹配也被称为点匹配);所述第一重构参考像素样值集内的每一个像素样值都有一个唯一的地址,当前CU的当前样值在所述第一重构参考像素样值集内找到的串匹配的匹配长度都是1而匹配相对位置就是匹配参考串的第一个样值(也是唯一的样值)的地址;所述第一重构参考像素样值集也被称为点匹配重构参考像素样值集或点匹配参考集或调色板,所述匹配相对位置即所述地址也被称为索引。
44.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39或40或41或42或43所述的编码
方法或解码方法或编码装置或解码装置,其特征在于编码或解码一个当前编码块或当前解码块时,点匹配重构参考像素样值集的更新包括但不限于下列情形之一:
不更新,
或者
更新部分内容;
或者
更新全部内容;
编码或解码一个当前编码块或当前解码块时,点匹配重构参考像素样值集内的内容(参考样值)按照预先规定的策略来更新,点匹配重构参考像素样值集内的参考样值的数目也按照预先规定的策略而变化;在压缩码流的编码块或解码块或PU或CU或CTU或LCU部分压缩码流段含有但不限于载入了下列参数或其变体的语法元素的全部或部分:
是否需要更新点匹配参考集的标记位:pt_matching_ref_set_update_flag需要更新的点匹配参考集的样值的数目:pt_matching_ref_set_update_num当pt_matching_ref_set_update_flag取一个值时表示需要更新点匹配重构参考像素样值集,当pt_matching_ref_set_update_flag取另一个值时表示不需要更新点匹配重构参考像素样值集;当不需要更新点匹配参考集时,码流段中不存在pt_matching_ref_set_update_num,当需要更新点匹配参考集时,pt_matching_ref_set_update_num指定了需要更新的点匹配参考集的样值的数目。
45.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或30
或31或32或33或34或35或36或37或38或39或40或41或42或43或44所述的编
码方法或解码方法或编码装置或解码装置,其特征在于两个或三个参考像素样值集各自对应的当前图像的两个或三个区域有互相重叠的部分的情形包括但不限于下列情形之一:
第一重构参考像素样值集对应的当前图像的区域,第二重构参考像素样值集对应的当前图像的区域,第三重构参考像素样值集对应的当前图像的区域这三个区域完全重叠,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域,都是当前CU以及当前CU之前已经完成阶段性重构(处于各重构阶段)的N(N小于几百)个CU,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域,都是当前LCU以及当前LCU之前已经完成阶段性重构(处于各重构阶段)的N(N小于几百)个LCU,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域,都是当前编码或解码样值之前已经完成阶段性重构(处于各重构阶段)的N(N在几千至几百万之间)个样值,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集对应的当前图像的区域部分重叠,第二重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠,但第一重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域不重叠,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集对应的当前图像的区域部分重叠,第二重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠,第一重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域是第二重构参考像素样值集对应的当前图像的区域的一部分,第二重构参考像素样值集对应的当前图像的区域是第三重构参考像素样值集对应的当前图像的区域的一部分,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号。
46.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39或40或41或42或43或44或45
所述的编码方法或解码方法或编码装置或解码装置,其特征在于参考像素样值集的个数被扩展成包括但不限于下列情形之一:
三个参考像素样值集被扩展成四个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四重构参考像素样值集,匹配参考串来自所述四个参考像素样值集之一;
或者
三个参考像素样值集被扩展成五个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四、第五重构参考像素样值集,匹配参考串来自所述五个参考像素样值集之一;
或者
三个参考像素样值集被扩展成六个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四、第五、第六重构参考像素样值集,匹配参考串来自所述六个参考像素样值集之一;
或者
三个参考像素样值集被扩展成N(通常N小于10)个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四、第五、……、第N个重构参考像素样值集,所述匹配参考串来自所述N个参考像素样值集之一。
47.根据权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14
或15或16或17或18或19或20或21或22或23或24或25或26或27或28或29或
30或31或32或33或34或35或36或37或38或39或40或41或42或43或44或45
或46所述的编码方法或解码方法或编码装置或解码装置,其特征在于参考像素样值集所在图像从当前图像被扩展成包括但不限于下列情形之一:
定宽度变长度像素样值串匹配的参考像素样值集从当前图像扩展到当前图像之前已经完成阶段性重构(处于各重构阶段)的N(N<15)帧图像;
或者
第一、第二、第三重构参考像素样值集在当前图像中,第四重构参考像素样值集在已经完成阶段性重构(处于各重构阶段)的前一帧图像中;
或者
第一、第二重构参考像素样值集在当前图像中,第三重构参考像素样值集跨越当前图像和已经完成阶段性重构(处于各重构阶段)的前一帧图像,即部分在当前图像中,部分在已经完成阶段性重构(处于各重构阶段)的前一帧图像中;
或者
第一重构参考像素样值集在当前图像中,第二重构参考像素样值集跨越当前图像和已经完成阶段性重构(处于各重构阶段)的前一帧图像,即部分在当前图像中,部分在已经完成阶段性重构(处于各重构阶段)的前一帧图像中,第三重构参考像素样值集也跨越当前图像和已经完成阶段性重构(处于各重构阶段)的前一帧图像,即部分在当前图像中,部分在已经完成阶段性重构(处于各重构阶段)的前一帧图像中。

说明书全文

定宽度变长度像素样值串匹配增强的图像压缩方法和装置

[0001]

技术领域

[0002] 本发明涉及一种数字视频压缩编码及解码系统,特别是计算机屏幕图像和视频的编码及解码的方法和装置。
[0003]

背景技术

[0004] 随着以远程桌面为典型表现形式的新一代计算与信息处理模式及平台的发展和普及,多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端(云)到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量很大,以平板电脑2048x1536像素分辨率且60/秒刷新率的24位真彩色屏幕图像为例,需要传输的数据达每秒2048x1536x60x24=4320兆比特,如此多的数据要想在现实的网络条件下实现实时传输是不可能的,因此对于计算机屏幕图像的有效的数据压缩必不可少。
[0005] 计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(pixel pattern)。例如,计算机屏幕图像中常出现的中文或外文文字,都是由少数几种基本笔划所构成,同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等,也具有很多相似或相同的图样。现有的图像和视频压缩技术中采用的帧内预测(intra prediction)方式,仅参考相邻的像素样值,无法利用一帧图像中的相似性或相同性来提高压缩效率。现有技术中的帧内运动补偿(intra motion compensation)方式,仅用到几种固定大小,如8x8,16x16,32x32,64x64像素的匹配(block matching),也不能找到各种不同大小和形状的匹配。因此,必须寻求新的编码工具来充分发掘和利用计算机屏幕图像中存在的相似或相同图样,以大幅度提高压缩效果。
[0006] 充分利用计算机屏幕图像的特点,对计算机屏幕图像进行超高效率的压缩,也是正在制定中的最新国际视频压缩标准HEVC(High Efficiency Video Coding)和其他若干国际标准、国内标准、行业标准的一个主要目标。
[0007] 屏幕图像的数字视频信号的自然形式是图像的序列。一幅图像通常是由若干像素组成的矩形区域,如果一个数字视频信号每秒有50幅图像,那么一段30分钟的数字视频信号就是一个由30x60x50=90000幅图像组成的视频图像序列,有时也简称为视频序列或序列。对数字视频信号进行编码就是对一幅一幅图像进行编码。在任一时刻,正在编码中的那一幅图像称为当前编码图像。同样,对数字视频信号的压缩码流(码流也称为比特流)进行解码就是对一幅一幅图像的压缩码流进行解码。在任一时刻,正在解码中的那一幅图像称为当前解码图像。当前编码图像或当前解码图像都统称为当前图像。
[0008] 在几乎所有视频图像编码的国际标准如MPEG-1/2/4,H.264/AVC以及HEVC中,对一幅图像进行编码时,都是把一幅图像划分成若干块MxM像素的子图像,称为“编码单元(Coding Unit简称CU)”,以CU为基本编码单位,对子图像一块一块进行编码。常用的M的大小是8,16,32,64。因此,对一个视频图像序列进行编码就是对各个编码单元依次进行编码。同样,解码时也是对各个编码单元依次进行解码,最终重构出整个视频图像序列。
[0009] 为适应一幅图像内各部分图像内容与性质的不同,有针对性地进行最有效的编码,一幅图像内各CU的大小可以是不同的,有的是8x8,有的是64x64,等等。为了使不同大小的CU能够无缝拼接起来,一幅图像通常先划分成大小完全相同具有NxN 像素的“最大编码单元(Largest Coding Unit简称LCU)”,然后每个LCU再进一步划分成多个大小不一定相同的CU。例如,一幅图像先划分成大小完全相同的64x64像素的LCU(N =64)。其中某个LCU由3个32x32像素的CU和4个16x16像素的CU构成。而另一个LCU由2个32x32像素的CU、3个16x16像素的CU和20个8x8像素的CU构成。
[0010] 对一幅图像进行编码,就是依次对一个一个CU进行编码。在任一时刻,正在编码中的CU称为当前编码CU。对一幅图像进行解码,也是依次对一个一个CU进行解码。在任一时刻,正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU都统称为当前CU。
[0011] 在本发明专利申请中,CU(即编码单元)是指一幅图像中的一个区域。
[0012] 在本发明专利申请中,编码块或解码块是指一幅图像中对其施行编码或解码的一个区域。
[0013] 因此,在本发明专利申请中,对于编码来说,“CU”与“编码块”是同义词,对于解码来说,“CU”与“解码块”是同义词,根据上下文,可以明确“CU”是表示“编码块”还是表示“解码块”, 如果从上下文不能明确,那么就是同时表示两者之任一。
[0014] 一个彩色像素通常有3个分量(component)组成。最常用的两种像素色彩格式(pixel color format)是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度(luma)分量及两个色度(chroma)分量组成的YUV色彩格式。通称为YUV的色彩格式实际包括多种色彩格式,如YCbCr色彩格式。因此,对一个CU进行编码时,可以把一个CU分成3个分量平面(G平面、B平面、R平面或Y平面、U平面、V平面),对3个分量平面分别进行编码;也可以把一个像素的3个分量绑组合成一个3元组,对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像(及其CU)的平面格式(planar format),而后一种像素及其分量的排列方式称为图像(及其CU)的叠包格式(packed format)。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。
[0015] 除了像素的3分量表现格式,像素的另一种常用的现有技术的表现格式是调色板索引表现格式。在调色板索引表现格式中,一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的3个分量的数值或近似数值,调色板的地址被称为这个地址中存储的像素的索引。一个索引可以表现像素的一个分量,一个索引也可以表现像素的3个分量。调色板可以是一个,也可以是多个。在多个调色板的情形,一个完整的索引实际上由调色板编号和该编号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。像素的索引表现格式在现有技术中也被称为像素的索引颜色(indexed color)或仿颜色(pseudo color)表现格式,或者常常被直接称为索引像素(indexed pixel)或仿像素(pseudo pixel)或像素索引或索引。索引有时也被称为指数。
把像素用其索引表现格式来表现也称为索引化或指数化。
[0016] 其他的常用的现有技术的像素表现格式包括CMYK表现格式和灰度表现格式。
[0017] YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式:1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式;左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式;左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值(pixel sample)或简单地称为一个样值(sample)。
[0018] 编码或解码时的最基本元素可以是一个像素,也可以是一个像素分量,也可以是一个像素索引(即索引像素)。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值(sample),有时也通称为一个像素值,或简单地称为一个样值。
[0019] 在本发明专利申请中,“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词,根据上下文,可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确,那么就是同时表示三者之任一。
[0020] 在本发明专利申请中,CU(即编码单元)是由若干像素值组成的一个区域。CU的形状可以是矩形、正方形、平行四边形、梯形、多边形、圆形、椭圆形及其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线(即线段或线形)的矩形。一幅图像中,各个CU可以具有各不相同的形状和大小。一幅图像中,某些或全部CU可以有互相重叠部分,也可以所有CU都互不重叠。一个CU,可以由“像素”组成,也可以由“像素的分量”组成,也可以由“索引像素”组成,也可以由这3者混合组成,也可以由这3者中之任意2种混合组成。
[0021] 包括屏幕图像在内的各种类型图像和视频序列的编码技术中,使用最多的现有技术的编码方法的流程示意图如图1所示。现有技术的编码方法包括如下步骤:1)读入一个CU的原始像素;
2)对一个CU进行帧内预测编码和帧间(即当前编码帧与以前已编码帧之间)预测编码,统称为预测编码,产生出(1)预测残差和(2)预测模式和运动矢量
3)对步骤2)的编码结果之一预测残差进行变换编码和量化编码。变换编码和量化编码都是分别可选的,也就是如果变换编码达不到更好的数据压缩效果,就不进行变换编码,而如果要进行无损编码,则不但不进行变换编码,也不进行量化编码;
4)对步骤2)~3)的编码结果进行所述编码的逆运算,即重构运算,初步重构出所述CU的像素,用于后续步骤7)的率-失真成本(Rate-distortion cost)计算;
5)对初步重构像素进行去块效应滤波和像素补偿运算,产生重构像素,然后把重构像素放入历史像素(重构像素)暂存区,用作后续预测编码的参考像素。由于编码可能是有损的,重构像素并不一定等于输入原始像素;
6)对序列、图像、CU的头信息、步骤2)的编码结果之二预测模式和运动矢量以及步骤
3)产生的预测残差(可能经过了变换-量化运算或量化运算)进行熵编码并产生压缩码流的比特率;
7)从原始像素、重构像素、压缩码流的比特率或者比特率估计值,计算得到率-失真成本,根据率-失真性能选择此CU的最优预测模式并输出此CU的压缩码流数据;
8)判断是否已完成所有CU的编码,如果是,则结束编码,否则回到步骤1),开始对下一个CU的编码。
[0022] 现有技术的解码方法的流程示意图如图2所示。现有技术的解码方法包括如下步骤:1)进行一个CU的熵解码,得到该CU的头信息和数据信息。头信息主要包括该CU采用帧内预测还是帧间预测,是否进行逆变换解码;
2)对可能经过了变换-量化运算或量化运算的预测残差进行所述运算的逆运算,即反量化-逆变换解码运算或反量化解码运算或恒等运算,产生出预测残差;
3)进行帧内预测解码或帧间预测解码,统称为预测解码,产生出初步重构像素;
4)对初步重构像素进行去块效应滤波和像素补偿运算,然后把经过这些运算的重构CU的像素放入历史像素(重构像素)暂存区,用作后续预测解码的参考像素;
5)输出重构CU的像素;
6)判断是否已经完成对所有CU的压缩码流数据的解码,如果是,则结束解码,否则回到步骤1),开始对下一个CU的解码。
[0023] 现有技术的编码装置示意图如图3所示。整个编码装置由以下模块组成:1)预测编码模块。对输入视频像素样值施行帧内预测编码和帧间预测编码,并输出(1)预测残差和(2)预测模式和运动矢量;
2)变换模块。对预测残差施行变换运算,输出变换系数。对某些类型的屏幕图像像素,变换运算并不能起到压缩数据的效果,在这种情形,就不施行变换运算,也就是变换模块被旁路,直接输出预测残差;
3)量化模块。对变换系数(在变换模块未旁路的情形)或预测残差(在变换模块被旁路的情形)施行量化运算,产生量化变换系数或量化预测残差。在进行无损编码的情形,变换模块和量化模块都被旁路,直接输出预测残差;
4)熵编码模块。对预测模式、运动矢量、量化变换系数、量化预测残差或预测残差施行熵编码,包括对某些熵编码对象的样值先施行基于1维或2维邻近样值的差分编码、游程编码以及二值化(binarization)编码;
5)重构模块。施行预测编码模块、变换模块、量化模块这三个模块的逆运算,初步重构出所述CU的像素并输出到基于率-失真性能的最优预测模式选择模块和历史像素(重构像素)暂存模块;
6)去块效应滤波和补偿模块。进行去块效应滤波和像素补偿运算,然后把经过这些运算的重构像素放入历史像素(重构像素)暂存模块,用作后续预测编码的参考像素;
7)历史像素(重构像素)暂存模块。本模块提供预测编码的参考像素;
8)基于率-失真性能的最优预测模式选择模块。根据率-失真性能选择最优预测模
式。输出视频压缩码流。
[0024] 现有技术的的解码装置示意图如图4所示。整个解码装置由以下模块组成:1)熵解码模块。对输入压缩码流数据施行熵解码。熵解码也包括对预测模式、运动矢量、量化变换系数、量化预测残差、预测残差等熵解码对象的基于1维或2维邻近样值的差分解码、游程解码以及二值化(binarization)解码;
2)反量化模块。施行反量化运算,输出变换系数或预测残差;
3)逆变换模块。如果编码时变换运算未被旁路,则施行逆变换解码,输出预测残差,否则,不施行逆变换解码,直接输出预测残差;
4)预测解码模块。施行帧内预测解码或帧间预测解码,输出初步重构像素;
5)去块效应滤波和补偿模块。对初步重构像素施行去块效应滤波和像素补偿运算,然后把经过这些运算的重构像素放入历史像素(重构像素)暂存模块,用作后续预测解码的参考像素;
6)历史像素暂存模块。本模块提供预测解码的参考像素。
[0025] 如上所述,现有技术中,编码的第一步都是对编码单元CU进行帧内预测编码或者帧间预测编码。在整幅图像都是自然图像的场合,现有技术是有效的。
[0026] 随着多媒体技术在计算机中的普及,今天和未来的日常使用计算机的屏幕图像中,一幅图像中常常含有很多字母、数字、文字、菜单、小图标、大图形、图表、表格等组成的位图(bitmap)。一幅这样的图像中有很多完全相同或相似的图案(pattern)。如英文仅有52个不同的字母(26个大写字母和26个小写字母),中文更是仅有很少几种不同的笔划构成。因此,在计算机屏幕图像中,找到各种形状的匹配像素样值串,就可以用匹配串的长度和与被匹配串之间的距离(1维距离或2维距离)这两个参数来代表被匹配串的全部信息,去除了图像像素中存在的冗余度,起到显著的图像数据压缩作用。
[0027] 但是,现有技术中,基于邻近像素样值的帧内预测编码和基于方块(block)的帧间预测编码,都不能有效地找到图像中具有各种形状或大小的匹配图案,对这类图像和图案的编码效率很低。

发明内容

[0028] 为了解决图像视频编码和解码的现有技术中的这一问题,本发明提供了一种基于固定宽度可变长度的像素样值串匹配的图像编码与解码的方法和装置。
[0029] 本发明的主要技术特征如图5所示。图5表示的是一幅平面格式图像的一个分量(样值)平面。但本发明也同样适用于叠包格式图像的编码和解码。
[0030] 本发明的编码方法和装置中,固定宽度可变长度串匹配编码方式的最基本的特有技术特征就是在对当前编码单元CU编码时,在位置标号互不相交的第一重构参考像素样值集、第二重构参考像素样值集和第三重构参考像素样值集之中,按照预先规定的某种评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串(也称为匹配参考串)。对找不到匹配的当前编码单元CU的样值(称为未匹配样值,也称为不可匹配样值),则从邻近样值计算出仿匹配样值(pseudo matching sample)。每个匹配串用匹配相对位置(distance)D和匹配长度(length)L这两个参数来表征。未匹配样值和/或仿匹配样值的情况则用一个标记位(flag)或匹配相对位置和匹配长度的一种特定值来表示。匹配相对位置D是第一重构参考像素样值集或第二重构参考像素样值集或第三重构参考像素样值集(以下有时统称为重构参考样值集或参考样值集或样值集或重构参考像素样值集或参考像素样值集)中找到的相应的匹配串的第一个像素样值与当前编码CU中被匹配串(也称为匹配当前串)的第一个像素样值之间的线性(1维)距离或平面(2维)距离,其单位是样值或若干样值。匹配相对位置有时也称为帧内运动矢量(Intra Motion Vector)。匹配长度L是匹配串的长度,其单位也是样值或若干样值。显然,匹配串的长度也是被匹配串的长度。固定宽度可变长度串匹配编码方式的输出是匹配串的表征参数对(D, L),(D, L)的某些特定值或者附加的标记位输出表示找不到匹配,在找不到匹配时,则从未匹配样值的邻近样值计算出仿匹配样值,输出未匹配样值(见后续的实施和变体例6)和/或仿匹配样值和/或未匹配样值的变体。未匹配样值可以是未找到匹配的原始像素值或其各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等前处理的像素值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的像素值或经过多重处理与变换的像素值变体。未匹配样值的变体可以是所述未匹配样值与仿匹配样值之间的差或差的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的差或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的差或经过多重处理与变换的变体。一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值集这三个集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定。第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理(如颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等)或变换(如色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等)或这些处理与变换的组合。这三个参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分。这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空。这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合。
[0031] 在本发明专利申请中,“重构样值”和“参考样值”有时被统称为“重构参考像素样值”。 根据上下文,可以明确“重构参考像素样值”是表示“重构样值”还是“参考样值”还是同时表示两者之任一。如果从上下文不能明确,那么就是同时表示两者之任一。
[0032] 在本发明专利申请中,“重构参考样值集”和“重构参考像素样值集”是同义词,在不引起混淆的情况下,有时也被简称为“样值集”。
[0033] 从匹配串的路径形状(path shape)来分,至少有4种基本匹配模式。
[0034] 基本匹配模式1是垂直路径1维串形匹配的匹配模式。图5的序号为m的CU(CU m)采用本匹配模式进行宽度为1的固定宽度可变长度样值串匹配。在本匹配模式中,参考样值集先以LCU序号或CU序号的顺序排列,而在一个LCU或CU内,样值逐列排列,每列中样值垂直扫描自上而下排列。这样,参考样值集最终排列成一个一维的样值串。例如,在图5中,一个CU的大小是16x16样值。参考样值排列成的一维样值串中的第一个样值是序号为0的CU(CU 0)的左边第1列的顶端第一个样值。一列样值中,以垂直扫描方式自上而下排列。因此,所述一维样值串中的第二个样值是CU 0的第1列的顶端数下来第二个样值。第1列之后排列的是第2列,同样也是以垂直扫描方式自上而下排列样值。这样逐列排列一直到CU 0的第16列,之后排列的是图5中序号为1的CU(CU 1)的左边第一列像素,依次类推。图5所示一幅图像的一个平面中,平方向共有h个CU。因此,序号为h-
1的CU(CU h-1)的第16列样值(有16个样值)是第一个CU行(共有h个CU)的最后1列样值(有16个样值),之后排列的是序号为h的CU(CU h)的左边第1列样值(有16个样值),也就是第二个CU行的最左边1列样值(有16个样值)。图5的序号为m的CU m中画出了固定宽度可变长度样值串匹配中的前3个被匹配串。
[0035] 第一个被匹配串(图5 的CU m中用1种特选图案表示的样值串)有25个样值。在参考样值集之中找到的对应的匹配串在CU 0和CU 1中(也用同样特选图案表示),前5个样值是CU 0的第16列的最后5个样值,而后20个样值是CU 1的第1和2列中的最前20个样值,其中16个样值在第1列中,4个样值在第2列中。在适当定义了图像中样值的线性地址或平面坐标之后,匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=25。
[0036] 第一个被匹配串之后,有5个未匹配样值,在图5 的CU m中用5个空白圆圈表示。所以需要通过计算得到5个仿匹配样值。
[0037] 第二个被匹配串(图5 的CU m中用第2种特选图案表示的样值串)有33个样值。在参考样值集之中找到的对应的匹配串在CU 0中(也用同样特选图案表示),其前7个样值是CU 0的第3列的最后7个样值,而其最后4个样值是CU 0的第5列的最前4个样值。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=33。
[0038] 第二个被匹配串之后,有1个未匹配样值,故需要通过计算得到1个仿匹配样值。
[0039] 第三个被匹配串(图5 的CU m中用第3种特选图案表示的样值串)有21个样值。在参考样值集之中找到的对应的匹配串在CU h-1和CU h中(也用同样特选图案表示),前13个样值是CU h-1的第16列的最后13个样值,而后8个样值是CU h的第1列的最前8个样值。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=21。
[0040] 基本匹配模式2是水平路径1维串形匹配的匹配模式。基本匹配模式2是上述基本匹配模式1的对偶模式。把基本匹配模式1中的“垂直”置换成“水平”,“列”置换成“行”,“ 自上而下”置换成“自左而右”,“左边”置换成“上边”,“顶端”置换成“左端”,基本匹配模式3是垂直路径2维保形(2D-shape-preserved)匹配的匹配模式。图5的序号为m+1的当前编码CU(CU m+1)采用本匹配模式进行宽度为1的固定宽度可变长度样值串匹配。在本匹配模式中,参考样值集保留原始图像平面固有的2维排列方式,而在当前编码CU内,样值则以垂直扫描方式逐列排列并且在1列内自上而下排列。在参考样值集之中搜索匹配样值串时,在当前编码CU内,被匹配样值以垂直扫描方式自上而下移动,一列扫描和匹配完了之后,接着扫描和匹配右边相邻的一列。在参考样值集之中找到的匹配样值串必须与当前编码CU中的被匹配样值串保持完全一致的2维形状。图5的CU m+1中画出了采用本匹配模式的固定宽度可变长度样值串匹配中的前2个被匹配串。
[0041] 第一个被匹配串(图5 的CU m+1中用第4种特选图案表示的样值串)有31个样值。在参考样值集之中找到的对应的匹配串在CU 1和CU h+1中(也用同样特选图案表示)。这个匹配串跨越2个CU的边界,6个样值在CU 1中,而另外25个样值在CU h+1中。参考样值集之中的匹配串与当前编码CU中的被匹配串具有完全相同的2维形状,也就是,匹配串和被匹配串都分别由2列组成,第1列有16个样值,第2列有15个样值,第1列与第2列的顶部对齐,匹配串和被匹配串的垂直高度(含上、下端点样值)都是16个样值,等同于当前编码CU m+1的高度。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=31。
[0042] 第一个被匹配串之后,有16个未匹配样值,故需要通过计算得到16个仿匹配样值。
[0043] 第二个被匹配串(图5 的CU m+1中用第5种特选图案表示的样值串)有36个样值。在参考样值集之中找到的对应的匹配串跨越了CU 1,CU 2,CU h+1,CU h+2这4个CU。这个匹配串(也用同样特选图案表示)的2个样值在CU 1中,4个样值在CU 2中,15个样值在CU h+1中,15个样值在CU h+2中。参考样值集之中的匹配串与当前编码CU中的被匹配串具有完全相同的2维形状。也就是,匹配串和被匹配串都分别由4列组成,第1列有1个样值,第2、3列分别有16个样值,第4列有3个样值,第1列、第2列与第3列的底部对齐,而第2列、第3列与第4列的顶部对齐,匹配串和被匹配串的垂直高度(含上、下端点样值)都是16个样值,等同于当前编码CU m+1的高度。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=36。
[0044] 基本匹配模式4是水平路径2维保形(2D-shape-preserved)匹配的匹配模式。基本匹配模式4是上述基本匹配模式3的对偶模式。图5的序号为m+2的当前编码CU(CU m+2)采用本匹配模式进行宽度为1的固定宽度可变长度样值串匹配。在本匹配模式中,参考样值集保留原始图像平面固有的2维排列方式,而在当前编码CU内,样值则以水平扫描方式逐行排列并且在1行内从左向右排列。在参考样值集之中搜索匹配样值串时,在当前编码CU内,被匹配样值以水平扫描方式从左向右移动,一行扫描和匹配完了之后,接着扫描和匹配下边相邻的一行。在参考样值集之中找到的匹配样值串必须与当前编码CU中的被匹配样值串保持完全一致的2维形状。图5的CU m+2中画出了采用本匹配模式的固定宽度可变长度样值串匹配中的前3个被匹配串。
[0045] 第一个被匹配串(图5 的CU m+2中用第6种特选图案表示的样值串)有24个样值。在参考样值集之中找到的对应的匹配串在CU 1和CU 2中(也用同样特选图案表示)。这个匹配串跨越2个CU的边界,14个样值在CU 1中,而另外10个样值在CU 2中。参考样值集之中的匹配串与当前编码CU中的被匹配串具有完全相同的2维形状。也就是,匹配串和被匹配串都分别由2行组成,第1行有16个样值,第2行有8个样值,第1行与第2行的左端对齐,匹配串和被匹配串的水平宽度(含左、右端点样值)都是16个样值,等同于当前编码CU m+2的宽度。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=24。
[0046] 第一个被匹配串之后,有7个未匹配样值,故需要通过计算得到7个仿匹配样值。
[0047] 第二个被匹配串(图5 的CU m+2中用第7种特选图案表示的样值串)有23个样值。在参考样值集之中找到的对应的匹配串在CU h和CU h+1中(也用同样特选图案表示)。这个匹配串跨越2个CU的边界,12个样值在CU h中,而另外11个样值在CU h+1中。参考样值集之中的匹配串与当前编码CU中的被匹配串具有完全相同的2维形状。也就是,匹配串和被匹配串都分别由3行组成,第1行有1个样值,第2行有16个样值,第3行有6个样值,第1行与第2行的右端对齐,第2行与第3行的左端对齐,匹配串和被匹配串的水平宽度(含左、右端点样值)都是16个样值,等同于当前编码CU m+2的宽度。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=23。
[0048] 第二个被匹配串之后,有6个未匹配样值,故需要通过计算得到6个仿匹配样值。
[0049] 第三个被匹配串(图5 的CU m+2中用第8种特选图案表示的样值串)有29个样值。在参考样值集之中找到的对应的匹配串在CU 1和CU 2中(也用同样特选图案表示)。这个匹配串跨越2个CU的边界,6个样值在CU 1中,而另外23个样值在CU 2中。参考样值集之中的匹配串与当前编码CU中的被匹配串具有完全相同的2维形状。也就是,匹配串和被匹配串都分别由3行组成,第1行有4个样值,第2行有16个样值,第3行有9个样值,第1行与第2行的右端对齐,第2行与第3行的左端对齐,匹配串和被匹配串的水平宽度(含左、右端点样值)为16个样值,等同于当前编码CU m+2的宽度。匹配相对位置D就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。而其匹配长度L=29。
[0050] 从以上4种基本匹配模式还可以衍生出其他各种匹配模式,如宽度为2、3、…、W个样值的匹配模式、路径走向交替变换(奇数列自上而下移动,偶数列自下而上移动)的匹配模式,等等。宽度W是固定的,并不是仅指W在一个视频序列或一幅图像中是一个常数,而是指下列情形:不同于长度L是一个独立的编解码变量参数,宽度W不是一个独立的编解码变量参数,而是一个由其他编解码变量参数确定(固定)的数,随着其他编解码变量参数的确定而固定下来,取一个固定值。例如:例1.宽度W=1。
[0051] 例2.宽度W=2。
[0052] 例3.宽度W=X,这里X是当前CU的水平(或垂直)方向的总样值数。
[0053] 例4.宽度W=X/2,这里X是当前CU的水平(或垂直)方向的总样值数。
[0054] 例5.宽度W=X/4,这里X是当前CU的水平(或垂直)方向的总样值数。
[0055] 例6.宽度W=f(X),这里X是当前CU的水平(或垂直)方向的总样值数,而f是一个预先规定的以X为自变量的函数。
[0056] 例7.宽度W= ,这里X是当前CU的水平(或垂直)方向的总样值数,V是匹配当前串的第一个像素样值与当前CU的左边界(或右边界或上边界或下边界)之间的水平(或垂直)距离。
[0057] 例8.宽度W=f(X, V),这里X是当前CU的水平(或垂直)方向的总样值数,V是匹配当前串的第一个像素样值与当前CU的左边界(或右边界或上边界或下边界)之间的水平(或垂直)距离,而f是一个预先规定的以X和V为自变量的函数。
[0058] 例9.宽度W= ,这里X是当前CU的水平(或垂直)方向的总样值数,L是匹配长度,其取值范围是闭区间[1,2X]。
[0059] 例10.宽度W= ,这里X是当前CU的水平(或垂直)方向的总样值数,L是名义上的经熵编码后写入压缩码流的匹配长度,而真正的实际上的匹配长度是从L(取值范围是闭区间[1,kX])和X通过计算得到的LL(取值范围是闭区间[1,X]):LL= 。
[0060] 例11.宽度W=f(X, L),这里X是当前CU的水平(或垂直)方向的总样值数,L是匹配当前串的名义上的经熵编码后写入压缩码流的匹配长度,而真正的实际上的匹配长度LL是LL=g(X, L) 。所述f和g是两个预先规定的以X和L为自变量的函数。
[0061] 例12.宽度W= ,这里V是匹配当前串的第一个像素样值与当前CU的左边界(或右边界或上边界或下边界)之间的水平(或垂直)距离,L是名义上的经熵编码后写入压缩码流的匹配长度,而真正的实际上的匹配长度是从L和V通过计算得到的LL:LL= ,其中,L的取值范围是闭区
间[1,kV] ,LL的取值范围是闭区间[1,V]。
[0062] 例13.宽度W=f(V, L),这里V是匹配当前串的第一个像素样值与当前CU的左边界(或右边界或上边界或下边界)之间的水平(或垂直)距离,L是匹配当前串的名义上的经熵编码后写入压缩码流的匹配长度,而真正的实际上的匹配长度LL是LL=g(V, L) 。所述f和g是两个预先规定的以V和L为自变量的函数。
[0063] 例14.宽度W=f(A, B),这里A和B是两个独立的编解码变量参数,而f是一个预先规定的以A和B为自变量的函数。
[0064] 在以上各例中,匹配长度的单位通常是1个样值,也可以是W个样值。
[0065] 本发明的解码方法和装置中,固定宽度可变长度串匹配解码方式的最基本的特有技术特征就是在对当前解码CU的压缩码流数据进行解码时,首先从码流数据中解析出该序列或该图像或该CU采用的匹配模式(如以上所述匹配模式之一),然后从码流数据中依次读出一个一个匹配串的表征参数即匹配相对位置D和匹配长度L。在得到了一个匹配串的匹配位置和匹配长度对(D, L)之后,解码工作就是根据匹配模式,从当前解码的被匹配串(也称为匹配当前串)的第一个样值的位置和匹配相对位置计算出参考样值集之中的匹配串(也称为匹配参考串)的第一个样值的位置。然后,再根据匹配模式,就可以从参考样值集之中复制长度为匹配长度L的整个匹配串的所有样值,并将整个匹配串移动和粘贴到当前解码中的被匹配串的位置,复原出整个被匹配串。对于未匹配样值(也称为不可匹配样值)所在的位置,则从已解码(已完成部分解码或完全解码)的邻近样值或边界缺省样值(当未匹配样值没有任何已解码的邻近样值的时候,如未匹配样值是一幅图像的最左上的像素)计算出仿匹配样值补全未匹配样值的位置,或者从压缩码流中读出未匹配样值(见后续的实施和变体例6)或其变体后计算出未匹配样值。这样依次复制、移动、粘贴一个一个匹配串,或者一个一个读出和/或计算出未匹配样值(包括用仿匹配样值补全未匹配样值的位置),最终复原出整个当前解码CU的所有样值。也就是说,解码一个CU时,所有的匹配当前串和不可匹配样值合起来覆盖整个CU。当一个CU内的匹配当前串有不同的固定宽度时,一个当前匹配串也可能覆盖另一个当前匹配串的一部分。这时,按照解码顺序,后解码的当前匹配串的样值取代其覆盖部分的先解码的当前匹配串的样值。在从参考样值集之中复制匹配串时,根据匹配参考串位置来决定是从第一重构参考像素样值集还是从第二重构参考像素样值集还是从第三重构参考像素样值集之中复制。一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值集这三个集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定。第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理(如颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等)或变换(如色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等)或这些处理与变换的组合。这三个参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分。这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空。这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合。
[0066] 在对图5中的CU m进行解码和重构时,首先从参考样值集之中复制长度为25的第一个样值匹配串,并将其移动和粘贴到当前解码CU中。然后从邻近样值计算出5个仿匹配样值。然后从参考样值集之中复制长度为33的第二个样值匹配串,并将其移动和粘贴到当前解码CU中。然后从邻近样值计算出4个仿匹配样值。然后从参考样值集之中复制长度为21的第三个样值匹配串,并将其移动和粘贴到当前解码CU中。重复这一过程,一直到最终复原出CU m的所有样值。
[0067] 使用同样方法,可以对图5中的CU m+1和CU m+2进行解码和重构。
[0068] 一幅图像中,可以所有CU都使用同一种匹配模式。这样解码器就仅需要从一幅图像的头信息中解析出该图像采用哪一种匹配模式,而不需要每个CU都解析出该CU采用哪一种匹配模式。编码器也仅需要在一幅图像的头信息中写入匹配模式。一个视频序列中,可以所有图像和所有CU都使用同一种匹配模式。这样解码器就仅需要从一个序列的头信息中解析出该序列采用哪一种匹配模式,而不需要每个图像、每个CU都解析出该图像、该CU采用哪一种匹配模式。编码器也仅需要在一个序列的头信息中写入匹配模式。有些CU也可以再划分成若干个子区域,各个子区域采用不同的匹配模式。
[0069] 以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在不背离本发明的精神下进行各种修饰或改变。
[0070] 本发明专利申请中使用的术语也可以用其他来自物理学或数学的名词来称呼,如匹配相对位置也可以被称为以下别名之一:匹配位置,
位置,
距离,
相对距离,
位移量,
位移矢量,
移动量,
移动矢量,
偏移量,
偏移矢量,
补偿量,
补偿,
线性地址,
地址,
2维坐标,
1维坐标,
坐标,
索引,
指数,
等等。匹配长度也可以被称为以下别名之一:
匹配行程,
匹配个数,
匹配计数,
匹配游程,
长度,
行程,
个数,
计数,
游程,
等等。串匹配也可以被称为串复制等等。
[0071] 本发明的编码方法的主要特征是对一个编码块的像素样值,在重构参考像素样值集内搜索得到一个匹配参考样值子集,与所述编码块内的一个匹配当前样值子集相匹配,所述匹配参考样值子集内的样值被称为匹配样值;把在匹配编码过程中产生的与匹配解码有关的参数放入压缩码流。所述参数包括但不限于关于所述匹配参考样值子集的位置和大小的参数。所述匹配参考样值子集与所述匹配当前样值子集之间的匹配关系的参数可以用匹配相对位置和匹配长度这两个匹配参数来表示,所述匹配相对位置和所述匹配长度是对所述匹配当前样值子集进行编码的编码结果。如果所述编码块内存在未在重构参考像素样值集内找到匹配的未匹配样值(也被称为不可匹配样值),则用下列方法之一补全未匹配样值位置上缺少的编码结果:从已经完成若干阶段的编码和重构的邻近样值计算出仿匹配样值作为编码结果
或者
从边界缺省样值计算出仿匹配样值作为编码结果
或者
直接用未匹配样值本身作为编码结果
或者
从所述仿匹配样值和所述未匹配样值本身计算出未匹配样值的变体作为编码结果。
[0072]本发明的编码方法的流程示意图如图6所示。本发明的编码方法包括如下步骤的全部或部分:
1)对一个CU的原始像素或其变体进行固定宽度可变长度串匹配编码,产生出(1)匹配相对位置及匹配长度和(2)匹配样值;也就是在位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)、第二重构参考像素样值暂存区(即第二重构参考像素样值集)和第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照预先规定的匹配模式和某种评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串(称为匹配参考串);一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;固定宽度可变长度串匹配编码的结果是所述一个或多个匹配相对位置及匹配长度和匹配样值以及可能的未匹配样值(未找到匹配的当前编码CU的原始像素或其变体的样值,也称为不可匹配样值);所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
2)如果有未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值,也可能可选地计算出未匹配像素的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
3)可选地用仿匹配样值补全未匹配样值的位置;把所述匹配样值和所述未匹配样值和/或所述仿匹配样值作为第一重构参考像素样值放入所述第一重构参考像素样值暂存区;输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;这些表征参数经过后续的熵编码(也包括分别可选的基于1维或2维邻近参数的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码等)后被写入压缩码流。
[0073] 集成了以上本发明的编码方法的一个实施例如图7所示。这个实施例包括如下步骤的全部或部分:1)读入一个CU的原始像素或其变体;
2)对所述CU进行帧内预测编码和帧间预测编码,统称为预测编码,产生出(1)预测残差和(2)预测模式和运动矢量;
3)对所述CU进行固定宽度可变长度串匹配编码,产生出(1)匹配相对位置及匹配长度和(2)匹配样值;也就是在位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)、第二重构参考像素样值暂存区(即第二重构参考像素样值集)和第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照预先规定的匹配模式和某种评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串(称为匹配参考串);一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;固定宽度可变长度串匹配编码的结果是所述一个或多个匹配相对位置及匹配长度和匹配样值以及可能的未匹配样值(未找到匹配的当前编码CU的原始像素或其变体的样值,也称为不可匹配样值);所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
4)如果有未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值,也可能可选地计算出未匹配样值的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
5)可选地用所述仿匹配样值补全所述未匹配样值的位置。把所述匹配样值和所述未匹配样值和/或所述仿匹配样值作为第一重构参考像素样值放入所述第一重构参考像素样值暂存区;输出匹配相对位置及匹配长度和可选的未匹配样值或其变体;
6)计算匹配残差。从输入原始像素样值和所述第一重构像素的样值计算出匹配残差;
7)对步骤2)和6)产生的预测残差和匹配残差进行变换编码和量化编码。变换编码和量化编码都是分别可选的,也就是如果变换编码达不到更好的数据压缩效果,就不进行变换编码,而如果要进行无损编码,则不但不进行变换编码,也不进行量化编码;
8)对步骤2)、7)的预测-变换-量化编码方式(即基于预测的编码方式,简称为预测方式)的结果进行所述预测方式的逆运算,对步骤3)至7)的匹配-变换-量化编码方式(即基于匹配的编码方式,简称为匹配方式)的结果进行所述匹配方式的逆运算,这些逆运算统称为重构,得到所述CU的对应于多种预测模式和多种匹配模式的多种第二重构像素,用于后续步骤11)的率-失真成本计算,并在后续步骤11)确定了对当前编码CU的最优编码方式之后,把所述最优编码方式的第二重构像素放入第二重构参考像素样值暂存区;
9)对所述最优编码方式的所述第二重构像素进行去块效应滤波和像素补偿运算,产生第三重构像素,然后把所述第三重构像素放入第三重构参考像素样值暂存区,用作后续预测编码和固定宽度可变长度串匹配编码的参考像素;
10)对序列、图像、CU的头信息、步骤2)的编码结果之二预测模式和运动矢量、步骤5)的匹配编码输出即所述匹配相对位置及匹配长度和可选的未匹配样值或其变体、以及步骤
7)产生的匹配残差和预测残差(可能经过了变换-量化运算或量化运算)进行熵编码并产生压缩码流的比特率。熵编码也包括对匹配模式、匹配相对位置、匹配长度、未匹配样值或其变体、匹配残差等熵编码对象的样值先进行分别可选的基于1维或2维邻近样值的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码,以去除样值之间的相关性,提高熵编码的效率;
11)从原始像素、多种第二重构像素及其压缩码流的比特率或者比特率估计值,计算得到率-失真成本,根据率-失真性能选择此CU的最优编码方式(基于匹配的编码方式还是基于预测的编码方式)、最优匹配模式或最优预测模式并输出此CU的压缩码流数据;压缩码流中至少含有匹配相对位置、匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;
12)判断是否已完成所有CU的编码,如果是,则结束编码,否则回到步骤1),开始对下一个CU的编码。
[0074] 本发明的解码方法的主要特征是解析压缩码流,通过熵解码和分别可选的基于1维或2维邻近样值的一阶或高阶差分解码、预测解码、匹配解码、映射解码、逆变换解码、反量化解码、索引解码、游程解码以及二值化解码获取与匹配解码有关的参数。根据所述参数,对一个解码块,从重构参考像素样值集内的一个位置复制一个匹配参考样值子集,并将所述匹配参考样值子集的全部样值(被称为匹配样值)移动和粘贴到所述解码块的当前解码位置,得到一个匹配当前样值子集。所述参数包括但不限于关于所述匹配参考样值子集的位置和大小的参数。使用匹配相对位置及匹配长度这两个表示匹配关系的匹配参数以及所述当前解码位置来确定所述匹配参考样值子集的位置和大小。如果在所述解码块的当前解码位置上没有来自重构参考像素样值集的匹配参考样值子集,则用下列方法之一补全所述当前解码位置上缺少的当前样值:从已经完成若干阶段的解码和重构的邻近样值计算出仿匹配样值作为当前样值
或者
从边界缺省样值计算出仿匹配样值作为当前样值
或者
直接用输入的未匹配样值本身作为当前样值
或者
从所述仿匹配样值和输入的未匹配样值的变体计算出未匹配样值作为当前样值。
[0075] 本发明的解码方法的流程示意图如图8所示。本发明的解码方法包括如下步骤的全部或部分:1)解析压缩码流,获取与匹配解码有关的输入参数,使用获取的输入匹配参数匹配相对位置及匹配长度进行固定宽度可变长度串匹配解码;也就是从位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)或第二重构参考像素样值暂存区(即第二重构参考像素样值集)或第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照已知的匹配模式和固定宽度,复制长度为匹配长度的整个匹配串(称为匹配参考串)的所有样值,并将整个匹配串移动和粘贴到当前解码CU中的被匹配串(也称为匹配当前串)的位置,复原出整个被匹配串;一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理(如颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等)或变换(如色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等)或这些处理与变换的组合。这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
2)如果输入的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存区或第二重构参考像素样值暂存区或第三重构参考像素样值暂存区的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取输入的未匹配样值或其变体,或可选地计算出未匹配样值;
3)可选地用仿匹配样值补全未匹配样值位置上缺少的匹配样值;把步骤1)复制的匹配样值和步骤2)计算的仿匹配样值和/或步骤2)从输入读取的未匹配样值和/或步骤2)从输入读取后再计算的未匹配样值合起来得到匹配解码的完整的第一重构像素的样值,并把所述第一重构像素的样值放入所述第一重构参考像素样值暂存区;
使用以上3个步骤依次复制、移动、粘贴一个一个匹配串,或者一个一个读出和/或计算出未匹配样值(包括用仿匹配样值补全未匹配样值的位置),最终复原出整个当前解码CU的所有样值;也就是说,解码一个CU时,所有的匹配当前串和不可匹配样值合起来覆盖整个CU;当一个CU内的匹配当前串有不同的固定宽度时,一个当前匹配串也可能覆盖另一个当前匹配串的一部分;这时,按照解码顺序,后解码的当前匹配串的样值取代其覆盖部分的先解码的当前匹配串的样值。
[0076] 集成了以上本发明的解码方法的一个实施例如图9所示。这个实施例包括如下步骤的全部或部分:1)进行一个CU的熵解码,解析得到所述CU的头信息和数据信息。头信息包括后续对所述CU进行解码时采用预测等非固定宽度可变长度串匹配(简称预测等非串匹配)解码步骤还是固定宽度可变长度串匹配(简称串匹配)解码步骤。熵解码也可能包括对匹配模式、匹配相对位置、匹配长度、附加的标记位、未匹配样值或其变体、串匹配残差等熵解码对象的分别可选的基于1维或2维邻近样值的一阶或高阶差分解码、预测解码、匹配解码、映射解码、逆变换解码、反量化解码、索引解码、游程解码以及二值化解码;
2)对可能经过了变换-量化运算或量化运算的预测等非串匹配残差或串匹配残差进行所述运算的逆运算,即反量化-逆变换解码运算或反量化解码运算或恒等运算,产生出预测等非串匹配残差或串匹配残差;本步骤是可选的,如果码流中既没有预测等非串匹配残差也没有串匹配残差,就不进行本步骤的运算;
3)如果步骤1)解析出对所述CU进行解码时采用预测等非串匹配解码步骤,则进行帧内预测解码或帧间预测等非串匹配解码,统称为预测等非串匹配解码,产生出预测等非串匹配解码的初步重构像素,并把所述初步重构像素的样值放入第二重构参考像素样值暂存区,然后跳至步骤8),否则,顺序执行下一步骤;
4)使用步骤1)得到的一对或多对匹配相对位置D及匹配长度L进行一个CU的固定宽度可变长度串匹配解码。也就是从位置标号互不相交的第一重构参考像素样值暂存区(即第一重构参考像素样值集)或第二重构参考像素样值暂存区(即第二重构参考像素样值集)或第三重构参考像素样值暂存区(即第三重构参考像素样值集)中,按照已知的匹配模式和固定宽度,复制长度为L的整个匹配串(称为匹配参考串)的所有样值,并将整个匹配串移动和粘贴到所述CU中的被匹配串(也称为匹配当前串)的位置,复原出整个被匹配串,如此逐个复原所述CU的所有被匹配串;一个匹配参考串本身可以跨越第一、第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个,其属于哪个暂存区由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理(如颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等)或变换(如色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等)或这些处理与变换的组合。这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
5)如果步骤1)得到的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存区或第二重构参考像素样值暂存区或第三重构参考像素样值暂存区的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取输入的未匹配样值或其变体,或可选地计算出未匹配样值;
6)如果在当前解码位置缺少匹配样值,则可选地用步骤5)计算的仿匹配样值补全缺少的匹配样值;把步骤4)复制的匹配样值和步骤5)计算的仿匹配样值和/或未匹配样值合起来得到匹配解码的完整的第一重构像素(即第一重构参考像素)的样值,并把所述第一重构像素的样值放入所述第一重构参考像素样值暂存区;
7)串匹配补偿,即用步骤2)产生的所述串匹配残差对步骤6)产生的所述第一重构像素的样值进行补偿,产生出串匹配解码的第二重构像素的样值,并把所述第二重构像素的样值放入所述第二重构参考像素样值暂存区;
8)对步骤3)预测解码的初步重构像素或步骤7)串匹配解码的第二重构像素进行去块效应滤波和像素补偿运算等后处理,然后把经过这些运算后产生的第三重构像素的样值放入所述第三重构参考像素样值暂存区,用作后续预测等非串匹配解码和固定宽度可变长度串匹配解码的参考像素;
9)输出所述CU的第三重构像素的样值;
10)判断是否已经完成对所有CU的压缩码流数据的解码,如果是,则结束解码,否则回到步骤1),开始对下一个CU的解码。
[0077] 本发明的编码装置示意图如图10所示。整个编码装置由以下模块的全部或部分组成:1)固定宽度可变长度的串匹配搜索编码模块:对输入视频像素样值施行固定宽度可变长度的串匹配编码,在位置标号互不重叠的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)、第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)和第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中,搜索固定宽度可变长度的最优匹配串(称为匹配参考串),并输出(1)最优匹配串的匹配样值、(2)最优匹配串的匹配相对位置D及匹配长度L,(3)可能的未匹配样值,即未找到匹配的当前编码中的原始像素或其变体的样值,也称为不可匹配样值;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
2)从邻近样值计算仿匹配样值模块:如果对某些输入视频像素样值,在第一重构参考像素样值暂存模块、第二重构参考像素样值暂存模块和第三重构参考像素样值暂存模块中,都没有找到任何最优匹配样值,即这些输入视频像素样值是未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地计算出未匹配像素的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
3)用仿匹配样值补全未匹配样值模块:用计算出来的所述仿匹配样值补全没有找到任何最优匹配样值的所述未匹配样值的位置;模块1)搜索找到的所述匹配样值与所述未匹配样值和/或模块2)计算得到的所述仿匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块可以被旁路,这时,模块1)搜索找到的所述匹配样值与所述未匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;这些表征参数经过后续的熵编码(也包括但不限于分别可选的基于1维或2维邻近参数的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码等)后被写入压缩码流;
本模块也可能可选地输出所述匹配样值与所述仿匹配样值和/或所述未匹配样值;
4)第一重构参考像素样值暂存模块:用来暂存由找到的所述匹配样值与所述未匹配样值和/或计算的所述仿匹配样值合在一起形成的第一重构像素的样值,用作后续串匹配搜索编码时的第一参考像素样值。
[0078] 集成了以上本发明的编码装置的一个实施例如图11所示。这个实施例由以下模块的全部或部分组成:1)预测编码模块:对输入视频像素样值施行帧内预测编码和帧间预测编码,并输出(1)预测残差和(2)预测模式和运动矢量;
2)固定宽度可变长度的串匹配搜索编码模块:对所述输入视频像素样值施行固定宽度可变长度的串匹配编码,在位置标号互不重叠的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)、第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)和第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中,搜索固定宽度可变长度的最优匹配串,并输出(1)最优匹配串的匹配样值、(2)最优匹配串的匹配相对匹配位置D及匹配长度L,(3)可能的未匹配样值,即未找到匹配的当前编码中的原始像素或其变体的样值,也称为不可匹配样值;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;所述三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
3)从邻近样值计算仿匹配样值模块:如果对某些输入视频像素样值,在第一重构参考像素样值暂存模块、第二重构参考像素样值暂存模块和第三重构参考像素样值暂存模块中,都没有找到任何最优匹配样值,即这些输入视频像素样值是未匹配样值,则从已经完成编码并且完成部分或完全重构的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地计算出未匹配像素的变体;输出匹配相对位置及匹配长度、仿匹配样值和/或未匹配样值和/或其变体;
4)用仿匹配样值补全未匹配样值模块:用计算出来的所述仿匹配样值补全没有找到任何最优匹配样值的所述未匹配样值的位置;模块2)搜索找到的所述匹配样值与所述未匹配样值和/或模块3)计算得到的所述仿匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块可以被旁路,这时,模块2)搜索找到的所述匹配样值与所述未匹配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值;本模块输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数;这些表征参数经过后续的熵编码(也包括分别可选的基于1维或2维邻近参数的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码等)后被写入压缩码流,本模块也可能可选地输出所述匹配样值与所述未匹配样值和/或所述仿匹配样值;
5)第一重构参考像素样值暂存模块:用来暂存由找到的所述匹配样值与所述未匹配样值和/或计算的所述仿匹配样值合在一起形成的第一重构像素的样值,用作后续串匹配搜索编码时的第一参考像素样值;
6)匹配残差计算模块:从所述输入视频像素样值和所述第一重构像素的样值计算出匹配残差;
7)变换模块:对所述匹配残差和所述预测残差施行变换运算,输出变换系数。对某些类型的屏幕图像像素,变换运算并不能起到压缩数据的效果,在这种情形,就不施行变换运算,也就是变换模块被旁路,直接输出所述匹配残差或所述预测残差;
8)量化模块:对所述变换系数(在变换模块未旁路的情形)或所述匹配残差或所述预测残差(在变换模块被旁路的情形)施行量化运算,输出预测编码的量化变换系数或量化预测残差,并输出匹配编码的量化变换系数或量化匹配残差。变换模块和量化模块也可以都被旁路,直接输出所述预测残差和所述匹配残差;
9)熵编码模块:对模块2)至模块4)及模块6)至模块8)施行的匹配编码方式的结果如所述匹配相对位置、所述匹配长度、所述可选的未匹配样值或其变体、所述量化变换系数或所述量化匹配残差等施行熵编码;对模块1)、模块7)、模块8)施行的预测编码方式的结果如所述预测模式、所述运动矢量、所述量化变换系数或所述量化预测残差等施行熵编码,包括对所述熵编码对象的样值先施行分别可选的基于1维或2维邻近样值的一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码以及二值化编码;
10)重构模块:施行预测编码模块、变换模块、量化模块这三个模块的预测编码方式的逆运算;施行固定宽度可变长度的串匹配搜索编码模块、从邻近样值计算仿匹配样值模块、用仿匹配样值补全未匹配样值模块、匹配残差计算模块、变换模块、量化模块这六个模块的匹配编码方式的逆运算;这些逆运算产生第二重构像素的样值,将所述第二重构像素输出到基于率-失真性能的最优预测模式与匹配模式选择模块用于率-失真成本的计算;在基于率-失真性能的最优预测模式与匹配模式选择模块确定了最优编码方式(匹配编码方式或者预测编码方式)之后,把所述最优编码方式对应的第二重构像素放入第二重构参考像素样值暂存模块;
11)去块效应滤波和补偿模块:对所述最优编码方式的第二重构像素进行去块效应滤波和像素补偿运算,产生第三重构像素,然后把所述第三重构像素放入第三重构参考像素样值暂存模块,用作后续预测编码和固定宽度可变长度串匹配编码的参考像素;
12)第二重构参考像素样值暂存模块:本模块暂存第二重构像素,提供固定宽度可变长度的串匹配搜索编码模块所需的第二参考像素样值;
13)第三重构参考像素样值暂存模块:本模块暂存第三重构像素,提供预测编码和固定宽度可变长度串匹配编码的第三参考像素;
14)基于率-失真性能的最优预测模式与匹配模式选择模块:根据率-失真性能选择最优编码方式(匹配编码方式或者预测编码方式)、最优匹配模式、最优预测模式;输出视频压缩码流;压缩码流中至少含有匹配相对位置、匹配长度和可选的未匹配样值(也称为不可匹配样值)或其变体等固定宽度可变长度串匹配方式的表征参数。
[0079] 本发明的解码装置示意图如图12所示。整个解码装置由以下模块的全部或部分组成:1)固定宽度可变长度的串匹配解码模块:本模块的功能是对从压缩码流中获取的输入的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运算,即按照已知的匹配模式和固定宽度,从位置标号互不相交的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)或第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)或第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中由匹配相对位置指定的地方复制得到长度为匹配长度的整个匹配串(即匹配参考串),然后把所述整个匹配串移动和粘贴到当前解码CU中的当前被匹配串(即匹配当前串)的位置,在当前解码CU中复原出整个被匹配串;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理(如颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等)或变换(如色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等)或这些处理与变换的组合。这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
2)从邻近样值计算仿匹配样值模块:如果输入的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存模块或第二重构参考像素样值暂存模块或第三重构参考像素样值暂存模块的匹配样值,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取输入的未匹配样值或其变体,或可选地计算出未匹配样值;
3)用仿匹配样值补全未匹配样值模块:可选地用计算出来的仿匹配样值补全在第一、第二或第三重构参考像素样值暂存模块中不存在任何匹配样值的当前解码位置上的像素样值;模块1)复制和粘贴的匹配样值与模块2)计算的仿匹配样值和/或模块2)从输入得到的未匹配样值和/或模块2)从输入得到后再计算的未匹配样值合在一起就是匹配解码的第一重构像素的样值,也是本模块的输出;本模块可以被旁路,这时,模块1)复制和粘贴的匹配样值与模块2)从输入得到的未匹配样值合在一起就是匹配解码的第一重构像素的样值;
4)第一重构参考像素样值暂存模块:用来暂存所述第一重构像素的样值,用作后续固定宽度可变长度串匹配解码的第一参考像素的样值。
[0080] 集成了以上本发明的解码装置的一个实施例如图13所示。这个实施例由以下模块的全部或部分组成:1)熵解码模块:对输入压缩码流数据施行熵解码,得到当前解码序列、当前解码图像、当前解码CU的头信息和数据信息;熵解码也可能包括对预测等非固定宽度可变长度串匹配(简称预测等非串匹配)解码方式的预测模式和运动矢量等各非串匹配解码参数、固定宽度可变长度串匹配(简称串匹配)解码方式的匹配模式、匹配相对位置、匹配长度、附加的标记位、未匹配样值或其变体、预测等非串匹配残差和串匹配残差(可能经过了变换-量化运算或量化运算)等熵解码对象的分别可选的基于1维或2维邻近样值的一阶或高阶差分解码、预测解码、匹配解码、映射解码、逆变换解码、反量化解码、索引解码、游程解码以及二值化解码;熵解码还包括从输入压缩码流数据中解析出当前解码CU采用的是预测等非串匹配解码方式还是串匹配解码方式,逆变换运算和反量化运算是否被旁路等信息;在串匹配方式下,所述当前解码CU的数据信息可以含有一个或多个匹配串的信息;
2)反量化模块:如果反量化运算未被旁路,则施行反量化运算,输出变换系数,否则,本模块被旁路,不施行反量化运算,直接输出预测等非串匹配残差或串匹配残差;
3)逆变换模块:如果逆变换运算未被旁路,则施行逆变换运算,输出预测等非串匹配残差或串匹配残差,否则,本模块被旁路,不施行逆变换运算,这时,反量化模块也必定被旁路,本模块直接输出预测等非串匹配残差或串匹配残差;
4)预测等非串匹配解码模块:施行帧内预测解码或帧间预测等非串匹配解码,得到并输出预测等非串匹配解码的初步重构像素;
5)固定宽度可变长度的串匹配解码模块:本模块的功能是对来自熵解码模块的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运算,即按照已知的匹配模式和固定宽度,从位置标号互不相交的第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值)或第二重构参考像素样值暂存模块(暂存第二重构参考像素样值集的样值)或第三重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中由匹配相对位置指定的地方复制得到长度为匹配长度的整个匹配串(即匹配参考串),然后把所述整个匹配串移动和粘贴到当前解码CU中的当前被匹配串(即匹配当前串)的位置,在当前解码CU中复原出整个被匹配串;一个匹配参考串本身可能跨越第一、第二和第三重构参考像素样值集的两个或三个,其属于哪个集由它的起始像素样值的位置来决定;第一、第二、第三重构参考像素样值集这三个参考像素样值集,除了位置上和/或重构阶段上的差别之外,可能还各自分别经过不同的处理(如颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等)或变换(如色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等)或这些处理与变换的组合。这三个重构参考像素样值集,虽然他们的位置标号互不相交,但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分;
这三个重构参考像素样值集的一个或两个可以为空,但不能三个都为空;这三个重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
6)从邻近样值计算仿匹配样值模块:如果来自熵解码模块的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串(样值)的位置上没有来自第一重构参考像素样值暂存模块或第二重构参考像素样值暂存模块或第三重构参考像素样值暂存模块的匹配样值,,即在当前解码位置缺少匹配样值,则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值;也可能可选地读取来自码流的未匹配样值或其变体,或可选地计算出未匹配样值;
7)用仿匹配样值补全未匹配样值模块:可选地用计算出来的仿匹配样值补全在第一、第二或第三重构参考像素样值暂存模块中不存在任何匹配样值的当前解码位置上的像素样值;模块5)复制和粘贴的匹配样值与模块6)计算的仿匹配样值和/或模块6)从输入码流得到的未匹配样值和/或模块6)从输入码流得到后再计算的未匹配样值合在一起就是匹配解码的第一重构像素的样值;所述匹配样值与所述仿匹配样值和/或所述未匹配样值也是本模块的输出;本模块可以被旁路,这时,模块5)复制和粘贴的匹配样值与模块6)从输入码流得到的未匹配样值合在一起就是匹配解码的第一重构像素的样值,所述匹配样值与所述未匹配样值也是本模块的输出;
8)第一重构参考像素样值暂存模块:用来暂存所述第一重构像素的样值,用作后续固定宽度可变长度串匹配解码所需的第一参考像素的样值;
9)串匹配补偿模块:把模块3)输出的所述串匹配残差与模块7)输出的所述第一重构像素的样值相加,产生出串匹配解码的第二重构像素的样值即本模块的输出;
10)去块效应滤波和补偿等后处理模块:对模块4)输出的初步重构像素或模块9)输出的第二重构像素进行去块效应滤波和像素补偿等后处理运算,产生第三重构像素,然后把所述第三重构像素放入第三重构参考像素样值暂存模块,用作后续固定宽度可变长度串匹配解码和预测等非串匹配解码的参考像素;第三重构像素通常也是整个解码装置实施例的最终输出像素;
11)第二重构参考像素样值暂存模块:本模块暂存第二重构像素,提供后续固定宽度可变长度串匹配解码所需的第二参考像素样值;
12)第三重构参考像素样值暂存模块:本模块暂存第三重构像素,提供后续预测等非串匹配解码和固定宽度可变长度串匹配解码所需的第三参考像素。
[0081] 以上所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明直接有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
[0082] 以下是本发明的更多的实施细节和变体。
[0083] 在固定宽度可变长度串匹配编码和解码中,未找到匹配的情形,也就是有未匹配像素样值(不可匹配像素样值)的情形,即可以用匹配长度L=0来表示,也可以用匹配相对位置D=0(当前像素样值自己与自己匹配)来表示。
[0084] 串匹配可以是无损即精确的,也可以是有损即近似的。设第一、第二、第三重构参考像素样值集之中的一个像素样值的候选匹配串是x=(sn, sn+1, ……, sn+m-1),当前编码CU中当前位置的被匹配串是y=(sc, sc+1, ……, sc+m-1),那么这对像素样值串的匹配长度是m,而匹配性能可以用一个长度-失真成本(Length-Distortion Cost简称LDcost)函数LDcost = f(m, |sc - sn|, |sc+1 - sn+1|, …… , |sc+m-1 - sn+m-1|)来表示。最简单的一种长度-失真成本函数是LDcost = (MaxStringLength - m) + λ(|sc - sn| + |sc+1 - sn+1| + …… + |sc+m-1 - sn+m-1|),其中MaxStringLength是预设的最大匹配长度,如300,λ是拉格朗日乘数因子,如0.25,用于平衡匹配长度和匹配失真的权重。在更为复杂的长度-失真成本函数中,每一个像素样值误差项|sc+q-1 - sn+q-1|可能有自己的乘数因子,乘数因子也可以随长度m而变化。长度-失真成本函数可以用来作为一种评估准则,在搜索匹配串时,用来评估匹配串的匹配性能,选择最优匹配串。如果在搜索匹配串时,强制规定所有像素样值误差项|sc+q-1 - sn+q-1|=0,则得到的就是无损即精确匹配,否则,得到的就是有损或近似匹配。
[0085] 固定宽度可变长度串匹配编码搜索时可以使用的另外一种评估准则是满足|sc - sn| ≤ E,|sc+1 - sn+1| ≤ E,… … ,|sc+m-1 - sn+m-1| ≤ E的最大m,即所有样值都小于某个匹配误差阈值E的具有最大匹配长度的匹配串。如果E=0,就是无损即精确匹配。E可以是一个固定的数,也可以随匹配长度而变。
[0086] 本发明适用于叠包格式图像的编码和解码。当前编码CU的像素和第一、第二、第三重构参考像素样值集的像素都以叠包格式排列。匹配串和被匹配串都以叠包格式排列,即以由3个分量样值单个交叉叠在一起形成的单个像素为单位排列,形成3个分量样值单个交叉排列的样值串,在这样的样值串中搜索最优匹配样值串。图14是本发明的固定宽度可变长度串匹配、编码和解码都以叠包格式进行的实施例。当前编码CU有8x8像素=24列x8行分量,以叠包格式排列。第一、第二、第三重构参考像素样值集之中的样值也以叠包格式排列。当前编码CU内的长条框显示了一个最优被匹配串,由14个样值组成。第一、第二、第三重构参考像素样值集内的长条框显示了相应的最优匹配串,同样由14个样值组成。
[0087] 本发明也同样适用于分量平面格式图像的编码和解码。当前编码CU的像素和第一、第二、第三重构参考像素样值集的像素都分解成3个分量平面,所有像素的一个分量形成一个平面。一对匹配串和被匹配串都仅包含一个分量的样值。串匹配搜索可以在3个平面内分别进行。但为了减少搜索时间,同时由于3个平面有很大相关性,故通常搜索仅在一个平面内进行(Y平面或G平面)。在一个平面中搜索得到的最优匹配串的匹配相对位置和匹配长度同时用于对3个平面的串匹配编码和解码。也就是,放到码流中的匹配相对位置和匹配长度是由3个平面共享的。图15是本发明的固定宽度可变长度串匹配、编码和解码都以3个平面格式进行的实施例。当前编码CU分解成3个平面即Y平面、U平面、V平面,每个平面由8x8个分量样值。第一、第二、第三重构参考像素样值集也分解成3个平面。仅在Y平面中搜索最优匹配串,得到最优匹配串的匹配相对位置和匹配长度。当前编码CU的Y平面内的一个折线框显示了搜索得到的一个最优被匹配串,由10个样值组成。第一、第二、第三重构参考像素样值集的Y平面内的折线框显示了相应的最优匹配串,同样由10个样值组成。在U平面和V平面内,用同一匹配相对位置和匹配长度对其样值进行串匹配编码和解码。显然,可省略U平面和V平面内的最优匹配串搜索。
[0088] 本发明也同样适用于索引像素的编码块或解码块的编码或解码。
[0089] 本发明的分量平面格式图像的固定宽度可变长度串匹配编码和解码,如果应用于YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式等对色度分量U和V进行下采样的情形,那么Y平面的匹配相对位置和匹配长度应用到U平面和V平面时,要根据下采样的比例对匹配相对位置和匹配长度进行相应的变换和调整。
[0090] 第一、第二、第三重构参考像素样值集这3个重构参考像素样值集的像素可以具有互不相同的分量排列格式、色彩格式和像素样值排列方式。
[0091] 第一重构参考像素样值集通常是离当前编码或解码样值最接近的位置上的已完成阶段性重构(处于其特有重构阶段)的第一重构参考像素样值。第二重构参考像素样值集通常是比第一重构参考像素样值集更前面的位置上的已完成阶段性重构(处于其特有重构阶段)的第二重构参考像素样值。第三重构参考像素样值集则通常是比第二重构参考像素样值集更前面的位置上的已完成·1的第三重构参考像素样值。图16是位置标号互不相交的第一、第二、第三重构参考像素样值集(暂存区或暂存模块)的一个实施例。第一重构参考像素样值集是当前正在编码或解码的CU中已经完成阶段性重构(处于其特有重构阶段)的位置上的第一重构参考像素样值。第二重构参考像素样值集是当前正在编码或解码的LCU m中已经完成阶段性重构(处于其特有重构阶段)的CU(不包括当前正在编码或解码的CU)的位置上的第二重构参考像素样值,以及前一个刚完成阶段性重构(处于其特有重构阶段)的LCU m-1的位置上的第二重构参考像素样值。第三重构参考像素样值集则是更早完成阶段性重构(处于其特有重构阶段)的LCU m-2、LCU m-3、LCU m-4、… … 等若干个LCU的位置上的第三重构参考像素样值。
[0092] 第一、第二、第三重构参考像素样值集的一个或两个可以为空,但不能三个都为空。
[0093] 实施和变体例1 重构参考像素样值集是出现频度较高因而匹配概率较大的重构像素样值,而串匹配是点匹配第一重构参考像素样值集由出现频度较高因而匹配概率较大的部分重构像素样值组成,仅用来进行匹配长度为1的串匹配(这种特殊的串匹配也被称为点匹配);所述第一重构参考像素样值集内的每一个像素样值都有一个唯一的地址,当前CU的当前样值在所述第一重构参考像素样值集内找到的串匹配的匹配长度都是1而匹配相对位置就是匹配参考串的第一个样值(也是唯一的样值)的地址;所述第一重构参考像素样值集也被称为点匹配重构参考像素样值集或点匹配参考集或调色板,所述匹配相对位置即所述地址也被称为索引。
[0094] 实施和变体例2 点匹配重构参考像素样值集的更新和样值数目变化编码或解码一个当前编码块或当前解码块时,点匹配重构参考像素样值集的更新包括但不限于下列情形之一:
不更新,
或者
更新部分内容;
或者
更新全部内容;
编码或解码一个当前编码块或当前解码块时,点匹配重构参考像素样值集内的内容(参考样值)按照预先规定的策略(如根据样值在历史重构图像中出现的频度)来更新,点匹配重构参考像素样值集内的参考样值的数目也按照预先规定的策略而变化;在压缩码流的编码块或解码块或PU或CU或CTU或LCU部分压缩码流段含有但不限于载入了下列参数或其变体的语法元素的全部或部分:
是否需要更新点匹配参考集的标记位:pt_matching_ref_set_update_flag
需要更新的点匹配参考集的样值的数目:pt_matching_ref_set_update_num
当pt_matching_ref_set_update_flag取一个值时表示需要更新点匹配参考集,当pt_matching_ref_set_update_flag取另一个值时表示不需要更新点匹配参考集;当不需要更新点匹配参考集时,码流段中不存在pt_matching_ref_set_update_num,当需要更新点匹配参考集时,pt_matching_ref_set_update_num指定了需要更新的点匹配参考集的样值的数目。
[0095] 实施和变体例3 匹配串扩展样值替代仿匹配样值本发明的另一个实施形态(变体)是:当一个最优匹配串(匹配相对位置=D和匹配长度=L)后面有P个未匹配样值的时候,就把这个最优匹配串扩展成匹配相对位置=D和匹配长度=L+Q的扩展匹配串,其中Q满足0 < Q ≤ P。这样就可以把未匹配样值即仿匹配样值的数目从P减少为P-Q。Q可以通过逐个计算扩展样值与原始被匹配样值之间的误差(称为扩展误差)和仿匹配样值与原始被匹配样值之间的误差(称为仿匹配误差)并比较这两个误差的大小来决定。如果扩展误差不大于仿匹配误差(或再乘以或加上一个权重因子),就逐一增加Q。也可以简单地把Q设为P,这样就完全用扩展样值来代替仿匹配样值。
[0096] 实施和变体例4 (D, L)的特定值表明缺少匹配样值本发明的解码方法和解码装置中,可以用匹配相对位置D和匹配长度L的一种特定值来表明在当前解码位置缺少匹配样值从而需要计算仿匹配样值的情况。解码一个完整的CU需要一对或多对输入的(匹配相对位置,匹配长度),依解码顺序排列为
(D1,L1),(D2,L2),(D3,L3),… …(Dn-1,Ln-1),(Dn,Ln)。
[0097] 实施和变体例5 用标记位表明缺少匹配样值本发明的解码方法和解码装置中,也可以用一个附加的输入标记位来表明在当前解码位置缺少匹配样值从而需要计算仿匹配样值的情况。解码一个完整的CU需要一个或多个输入标记位(简记为F)和一对或多对输入的(匹配相对位置,匹配长度),依解码顺序排列为F1,(D1,L1)或空白,F2,(D2,L2)或空白,… …,Fn,(Dn,Ln)或空白。
[0098] 其中标记位Fi取一个值时表明后面跟着一个匹配串的匹配相对位置Di和匹配长度Li,而Fi取另一个值时表明当前解码位置缺少匹配样值从而后面是空白。
[0099] 实施和变体例6 用附加的像素样值替代缺少的匹配样值本发明的解码方法和解码装置中,当Fi的取值表明当前解码位置缺少匹配样值时,也可以用一个附加的输入像素样值即未匹配像素样值(可以是原始像素或经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等前处理的像素或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的像素或经过多重处理与变换的像素变体)Pi来替代缺少的匹配样值;解码一个完整的CU需要一个或多个输入标记位(简记为F)和一对或多对输入的(匹配相对位置,匹配长度)或输入像素样值,依解码顺序排列为
F1,(D1,L1)或P1,F2,(D2,L2)或P2,… …,Fn,(Dn,Ln)或Pn
其中标记位Fi取一个值时表明后面跟着一个匹配串的匹配相对位置Di和匹配长度Li,而Fi取另一个值时表明当前解码位置缺少匹配样值从而后面跟着输入像素样值或其变体Pi。
[0100] 实施和变体例7 实施和变体例5和实施和变体例6的组合本发明的解码方法和解码装置中,当Fi的取值表明当前解码位置缺少匹配样值时,也可以用仿匹配样值和一个附加的输入像素样值即未匹配像素样值(可以是原始像素或经过颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等前处理的像素或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的像素或经过多重处理与变换的像素变体)的多种组合和运算结果之一Pi(可以为空)来替代缺少的匹配样值;解码一个完整的CU需要一个或多个输入标记位(简记为F)和一对或多对输入的(匹配相对位置,匹配长度)或输入像素样值,依解码顺序排列为
F1,(D1,L1)或空白或P1,F2,(D2,L2)或空白或P2,… …,Fn,(Dn,Ln)或空白或Pn其中标记位Fi取第1个值时表明后面跟着一个匹配串的匹配相对位置Di和匹配长度Li,Fi取第2个值时表明当前解码位置缺少匹配样值并用仿匹配样值来补全从而后面是空白;而Fi取第2+m(1≤m≤M)个值时表明当前解码位置缺少匹配样值但后面不是空白而是跟着仿匹配样值与输入像素样值或其变体的M种组合和运算之中的第m种组合和运算的结果Pi。M通常小于10。
[0101] 本发明的解码方法和解码装置中,所述输入标记位Fi,输入匹配相对位置Di,输入匹配长度Li,输入像素样值或其变体Pi等不同类型的解码输入参数,其记述和表达形式可以是这些参数经过熵编码、一阶或高阶差分编码、预测编码、匹配编码、映射编码、变换编码、量化编码、索引编码、游程编码、二值化编码后的存在于比特流(或称码流即bitstream)中的语法元素。这些不同类型的语法元素在比特流中的放置顺序,可以是不同类型的单个数值交叉放置,如:F1,(D1,L1)或P1,F2,(D2,L2)或P2,… …,Fn,(Dn,Ln)或Pn。
[0102] 也可以是同一类型的所有数值集中放置,如:F1,… Fn,D1或空白,… Dn或空白,L1或空白,… Ln或空白,P1或空白,… Pn或空白。
[0103] 也可以是以上两种放置顺序的组合,如:F1,…... Fn,(D1,L1)或空白,……(Dn,Ln)或空白,P1或空白,…… Pn或空白。
[0104] 实施和变体例8 匹配参数是单分量参数或双分量参数或三分量参数匹配相对位置Di或其变体是单分量参数或双分量参数或三分量参数;所述匹配相对位置Di或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
一个匹配串的匹配相对位置Di或其变体对应的语法元素:d(一个分量,如位置线性地址或索引)
或者
一个匹配串的匹配相对位置Di或其变体对应的语法元素:d[0], d[1] (两个分量,如位置水平分量,位置垂直分量或样值集编号,位置线性地址)
或者
一个匹配串的匹配相对位置Di或其变体对应的语法元素:d[0], d[1], d[2](三个分量,如样值集编号,位置水平分量,位置垂直分量)
匹配长度Li或其变体是单分量参数或双分量参数或三分量参数;所述匹配长度Li或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
一个匹配串的匹配长度Li或其变体对应的语法元素:r(一个分量)
或者
一个匹配串的匹配长度Li或其变体对应的语法元素:r[0], r[1](两个分量)
或者
一个匹配串的匹配长度Li或其变体对应的语法元素:r[0], r[1], r[2](三个分量)未匹配像素Pi或其变体是单分量参数或双分量参数或三分量参数;所述未匹配像素Pi或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
未匹配像素Pi或其变体对应的语法元素:p(一个分量)
或者
未匹配像素Pi或其变体对应的语法元素:p[0], p[1](两个分量)
或者
未匹配像素Pi或其变体对应的语法元素:p[0], p[1], p[2](三个分量)。
[0105] 实施和变体例9 压缩码流含有的语法元素压缩码流的编码块或解码块或PU或CU或CTU或LCU部分压缩码流段含有但不限于载
入了下列参数或其变体的语法元素的全部或部分:
第一类模式(如编解码模式),
第二类模式(如串匹配模式),
第三类模式(如像素样值排列方式),
第四类模式(如参数编码模式),
匹配标记位1,样值集编号1或空,(匹配相对位置1,长度1)或未匹配样值1或空,匹配标记位2,样值集编号2或空,(匹配相对位置2,长度2)或未匹配样值2或空,… … … …
更多的匹配标记位,样值集编号或空,(匹配相对位置,长度)或未匹配样值或空,… … … …
匹配标记位N,样值集编号N或空,(匹配相对位置N,长度N)或未匹配样值N或空,匹配残差或空;
所有所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;任何语法元素也可以不存在于某个编码块或解码块或PU或CU或CTU或LCU的压缩码流段中;
压缩码流段中的匹配相对位置,匹配长度,未匹配像素样值等参数,可以是这些参数本身,也可以是这些参数经过预测编码、匹配编码、变换编码、量化编码、DPCM、一阶和高阶差分编码、映射编码、游程编码、索引编码等各种常用技术编码后的变体;
所述匹配相对位置、匹配长度、,未匹配像素分别可以仅有一个参数分量,也可以有两个参数分量,或者进一步划分成三个参数分量甚至更多参数分量
所述样值集编号可以是匹配相对位置的一部分,或者只有一个样值集,这时,样值集编号为空。
[0106] 实施和变体例10 三个重构参考像素样值集的分量排列格式、色彩格式和像素样值排列方式任意一个重构参考像素样值集有独立(即不一定但也可以与其他任意一个重构参考像素样值集一致)的下列分量排列格式、色彩格式、像素样值排列方式:
叠包格式、YUV色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
叠包格式、YUV色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
叠包格式、YUV色彩格式、图像固有的2维排列方式
或者
叠包格式、GBR色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
叠包格式、GBR色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
叠包格式、GBR色彩格式、图像固有的2维排列方式
或者
平面格式、YUV色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
平面格式、YUV色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
平面格式、YUV色彩格式、图像固有的2维排列方式
或者
平面格式、GBR色彩格式、LCU或CU内垂直扫描1维串形排列方式
或者
平面格式、GBR色彩格式、LCU或CU内水平扫描1维串形排列方式
或者
平面格式、GBR色彩格式、图像固有的2维排列方式
或者
空集。
[0107] 实施和变体例11 三个重构参考像素样值集的像素表现格式第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集为空,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用3分量表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用3分量表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集采用索引表现格式,第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用3分量表现格式,第二重构参考像素样值集为空,第三重构参考像素样值集为空。
[0108] 实施和变体例12 固定宽度W的取值所述固定宽度可变长度串匹配的固定宽度在一个CU或若干个CU或一幅图像或一个序列中是一个常数W;
或者
所述固定宽度可变长度串匹配的固定宽度W在一个水平(或垂直)方向的总样值数为X的CU内可以取下列前后成2倍关系的固定值之一:1,2,4,……,X;当编码或解码一个匹配当前串时,由另外一个编码或解码变量参数来确定取哪个固定值,因此,不同的匹配当前串可能取相同的固定值,也可能取不同的固定值;
或者
所述固定宽度可变长度串匹配的固定宽度W在一个水平(或垂直)方向的总样值数为X的CU内可以取下列K个固定值之一:1,2,……,k,……,K-1,K;当编码或解码中匹配串的名义长度L满足(k-1)X + 1 ≤ L ≤ kX时,W取值k,因此,不同的匹配串可能取相同的固定值,也可能取不同的固定值。
[0109] 实施和变体例13 匹配串和其匹配相对位置及匹配长度的例(复制左边,复制上边)匹配参考串和匹配当前串可以有互相重叠的样值位置,即匹配串的匹配相对位置D和匹配长度L满足下列关系:D当D=1当D=2P1P2P1P2……P1P2,即匹配当前串的L个样值都是P1P2的重复;
当D=2次后再加上P1:P1P2P1P2……P1P2P1,即匹配当前串的L个样值都是P1P2的重复,最后再加上P1;
当D=3当D=4当D或者
在一个水平(或垂直)方向的总样值数为X的CU内,匹配参考串在匹配当前串的相邻正上方(或正左边),即匹配串的匹配相对位置D和匹配长度L满足下列关系:D=X,L≤X;当这种情况出现的频度很高时,D=X用一个特殊的较短的码放入码流;
或者
在一个水平(或垂直)方向的总样值数为X的CU内,匹配参考串在匹配当前串的正上方(或正左边)但并不一定相邻,即匹配串的匹配相对位置D满足下列关系:D=nX;当这种情况出现的频度很高时,D=nX用若干特殊的较短的码来表示n并放入码流。
[0110] 实施和变体例14 参考像素样值是重构像素样值的变体的例参考像素样值是重构像素样值经过数值量化和反量化运算的样值;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用编码或解码量化参数来计算;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用参考像素样值所在CU的编码或解码量化参数来计算;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用参考像素样值所在CU的编码或解码量化参数来计算,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用当前CU的编码或解码量化参数来计算;
或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用当前CU的编码或解码量化参数来计算,每编码或解码一个CU,要重新计算一次;
或者
参考像素样值是重构像素样值经过颜色量化的样值;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用基于颜色的像素聚类获得的一个调色板来计算;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的动态更新部分内容的调色板来计算,计算一次之后,不再变动;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与当前编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与当前编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算,每编码或解码一个编码块或解码块或PU或CU或CTU或LCU,要重新计算一次;
或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个全局的基于颜色的像素聚类获得的调色板来计算。
[0111] 实施和变体例15 匹配相对位置的变体(差分等)和格式(1维或2维等)非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个1维的数组,数组中每个样值都有一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的线性地址减去所述匹配当前串的第一个样值的线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个单变量参数即只有1个分量;或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个1维的数组,数组中每个样值都有一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的线性地址减去所述匹配当前串的第一个样值的线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个单变量参数即只有1个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个2维的数组,数组中每个样值都有一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的平面坐标减去所述匹配当前串的第一个样值的平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个2维的数组,数组中每个样值都有一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的平面坐标减去所述匹配当前串的第一个样值的平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个2维的数组,区域和数组中每个样值都有一个区域编号和一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和平面坐标减去所述匹配当前串的第一个样值的区域编号和平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个三变量参数即有3个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个2维的数组,区域和数组中每个样值都有一个区域编号和一个平面坐标,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和平面坐标减去所述匹配当前串的第一个样值的区域编号和平面坐标;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个三变量参数即有
3个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个1维的数组,区域和数组中每个样值都有一个区域编号和一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和线性地址减去所述匹配当前串的第一个样值的区域编号和线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有2个分量;
或者
非空的第一、第二、第三重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个1维的数组,区域和数组中每个样值都有一个区域编号和一个线性地址,匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和线性地址减去所述匹配当前串的第一个样值的区域编号和线性地址;所述匹配相对位置在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述匹配相对位置通常是一个双变量参数即有
2个分量。
[0112] 实施和变体例16 匹配长度的变体(差分等)和格式(单变量或双变量等)匹配当前串的匹配长度L是一个单变量参数;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的单变量参数经过熵编码的语法元素;或者
匹配当前串的匹配长度L是一个单变量参数;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的单变量参数与其他匹配长度的单变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;
或者
在一个水平(或垂直)方向的总样值数为X的CU内,匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数经过熵编码的语法元素;
或者
在一个水平(或垂直)方向的总样值数为X的CU内,匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数与其他匹配长度的双变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;
或者
其第一个像素样值与当前CU的右边界(或下边界)之间的水平(或垂直)距离为X的匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数经过熵编码的语法元素;
或者
其第一个像素样值与当前CU的右边界(或下边界)之间的水平(或垂直)距离为X的匹配当前串的匹配长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X + 1 ≤ L ≤ kX的一个正整数,而LL=L-(k-1)X;所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参数与其他匹配长度的双变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素。
[0113] 实施和变体例17 未匹配样值的变体(差分等)未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过熵编码的语法元素;
或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未匹配样值经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;
或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过量化运算后再经过熵编码的语法元素;
或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未匹配样值经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过量化运算后再经过熵编码的语法元素。
[0114] 实施和变体例18 两个或三个参考像素样值集各自对应的当前图像的两个或三个区域有互相重叠的部分的例第一重构参考像素样值集对应的当前图像的区域,第二重构参考像素样值集对应的当前图像的区域,第三重构参考像素样值集对应的当前图像的区域这三个区域完全重叠,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域,都是当前CU以及当前CU之前已经完成阶段性重构(处于各重构阶段)的N(N小于几百)个CU,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域,都是当前LCU以及当前LCU之前已经完成阶段性重构(处于各重构阶段)的N(N小于几百)个LCU,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域,都是当前编码或解码样值之前已经完成阶段性重构(处于各重构阶段)的N(N在几千至几百万之间)个样值,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集对应的当前图像的区域部分重叠,第二重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠,但第一重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域不重叠,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集对应的当前图像的区域部分重叠,第二重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠,第一重构参考像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域是第二重构参考像素样值集对应的当前图像的区域的一部分,第二重构参考像素样值集对应的当前图像的区域是第三重构参考像素样值集对应的当前图像的区域的一部分,第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号,第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号。
[0115] 实施和变体例19 参考像素样值集扩展成多于三个三个参考像素样值集被扩展成四个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四重构参考像素样值集,匹配参考串来自所述四个参考像素样值集之一;
或者
三个参考像素样值集被扩展成五个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四、第五重构参考像素样值集,匹配参考串来自所述五个参考像素样值集之一;
或者
三个参考像素样值集被扩展成六个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四、第五、第六重构参考像素样值集,匹配参考串来自所述六个参考像素样值集之一;
或者
三个参考像素样值集被扩展成N(通常N小于10)个参考像素样值集,即除了第一、第二、第三重构参考像素样值集之外,还有第四、第五、……、第N个重构参考像素样值集,所述匹配参考串来自所述N个参考像素样值集之一。
[0116] 实施和变体例20 定宽度变长度像素样值串匹配和参考像素样值集扩展到多帧图像定宽度变长度像素样值串匹配的参考像素样值集从当前图像扩展到当前图像之前已经完成阶段性重构(处于各重构阶段)的N(N<15)帧图像;
或者
第一、第二、第三重构参考像素样值集在当前图像中,第四重构参考像素样值集在已经完成阶段性重构(处于各重构阶段)的前一帧图像中;
或者
第一、第二重构参考像素样值集在当前图像中,第三重构参考像素样值集跨越当前图像和已经完成阶段性重构(处于各重构阶段)的前一帧图像,即部分在当前图像中,部分在已经完成阶段性重构(处于各重构阶段)的前一帧图像中;
或者
第一重构参考像素样值集在当前图像中,第二重构参考像素样值集跨越当前图像和已经完成阶段性重构(处于各重构阶段)的前一帧图像,即部分在当前图像中,部分在已经完成阶段性重构(处于各重构阶段)的前一帧图像中,第三重构参考像素样值集也跨越当前图像和已经完成阶段性重构(处于各重构阶段)的前一帧图像,即部分在当前图像中,部分在已经完成阶段性重构(处于各重构阶段)的前一帧图像中。
附图说明
[0117] 图1是现有技术中编码方法流程示意图图2是现有技术中解码方法流程示意图
图3是现有技术中编码装置的模块组成示意图
图4是现有技术中解码装置的模块组成示意图
图5是宽度为1个像素样值的固定宽度可变长度像素样值串匹配编码示意图
图6是本发明中固定宽度可变长度像素样值串匹配编码方法核心流程示意图,图中CU也可以是PU或LCU或CTU或编码块
图7是本发明的编码方法的一种实施的流程示意图,图中CU也可以是PU或LCU或CTU或编码块
图8是本发明中固定宽度可变长度像素样值串匹配解码方法核心流程示意图
图9是本发明的解码方法的一种实施的流程示意图,图中CU也可以是PU或LCU或CTU或解码块
图10是本发明中定宽变长像素样值串匹配编码装置的核心模块组成示意图
图11是本发明的编码装置的一种完整实施的模块组成示意图
图12是本发明中定宽变长像素样值串匹配解码装置的核心模块组成示意图
图13是本发明的解码装置的一种完整实施的模块组成示意图
图14是本发明的串匹配搜索、编码和解码都以叠包格式进行的实施例
图15是本发明的串匹配搜索在单个平面内进行而编码和解码在3个平面内分别进行的实施例
图16是本发明的位置标号互不相交的第一、第二和第三重构参考像素样值集(暂存区、暂存模块)的实施例。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈