[0063] 结合第四方面或者上述任何一种可能的实现方式，在第五种可能的实现方式中，第四方面的解码装置还包括：第一获取模块，用于从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0064] 结合第四方面或者上述任何一种可能的实现方式，在第六种可能的实现方式中，该生成模块根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0065] 结合第四方面或者上述任何一种可能的实现方式，在第七种可能的实现方式中，第四方面的解码方式还包括：存储模块，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。
[0066] 结合第四方面或者上述任何一种可能的实现方式，在第八种可能的实现方式中，第四方面的解码方式还包括：第一确定模块，用于根据预设的准则确定图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；删除模块，用于在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
[0067] 结合第四方面或者第八种可能的实现方式，在第九种可能的实现方式中。第四方面的编码装置还包括：第一获取模块，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；删除模块，用于在根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
[0068] 结合第四方面或者上述任何一种可能的实现方式，在第十种可能的实现方式中，该生成模块对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0069] 结合第四方面或者第一方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，该生成模块将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。
[0070] 结合第四方面或者第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第四方面的解码装置还包括：第二确定模块，用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0071] 结合第四方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，第二标识信息被预先设置在解码端，或者从码流中获取。
[0072] 结合第四方面或者第四方面的上述第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第四方面的解码装置还包括：第二确定模块，用于根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
[0073] 结合第十四种可能的实现方式，在第十五种可能的实现方式中，第二确定模块根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
[0074] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需对编
解码器的核心模块进行改动，因此，实现代价较低。
附图说明
[0075] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0076] 图1是本发明一个实施例的基于双向预测的编码方法的示意性
流程图。
[0077] 图2是本发明一个实施例的基于双向预测的解码方法的示意性流程图。
[0078] 图3A是根据本发明一个实施例的构造参考图像列表的示意图。
[0079] 图3B是本发明一个实施例的基于双向预测的编码过程的示意性流程图。
[0080] 图4是根据本发明一个实施例的基于双向预测的解码过程的示意性流程图。
[0081] 图5是本发明一个实施例的基于双向预测的编码装置的示意性结构图。
[0082] 图6是本发明另一实施例的基于双向预测的编码装置的示意性结构图。
[0083] 图7是本发明一个实施例的基于双向预测的解码装置的示意性结构图。
[0084] 图8是本发明另一实施例的基于双向预测的解码装置的示意性结构图。
[0085] 图9是本发明又一实施例的基于双向预测的编码装置的示意性结构图。
[0086] 图10是本发明又一实施例的基于双向预测的解码装置的示意性结构图。
具体实施方式
[0087] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0088] 图1是本发明一个实施例的基于双向预测的编码方法的示意性流程图。图1的方法由
编码器执行，包括如下内容。
[0089] 110，根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中。
[0090] 根据本发明的实施例，在加入上述至少一个残差图像之前，增强层当前图像的第一参考图像列表（例如，前向或后向参考图像列表）可以包括增强层当前图像的增强层参考图像（例如，前向或后向增强层参考图像）。每个增强层参考图像为增强层当前图像在时域上的参考图像，是编码器在处理增强层当前图像之前已经处理完成的增强层图像，其中的图像信号为编码器处理得到的重建信号。
[0091] 本发明的实施例的增强层参考图像的残差图像可以是该增强层参考图像和该增强层参考图像对应的基本层图像的差值图像，即通过将该增强层参考图像减去与该增强层参考图像相对应的基本层图像获得的图像，例如，在增强层的分辨率高于基本层的分辨率的情况下，可以首先根据每个增强层参考图像对应的基本层图像生成上采样图像，然后将该增强层参考图像与该上采样图像相减得到残差图像。本发明的实施例并不限于此，例如，在增强层的分辨率与基本层的分辨率相同的情况下，也可以直接将上述增强层参考图像与增强层参考图像对应的基本层图像相减得到残差图像。这里所说的两个图像相减指的是分辨率相同的两个图像的对应
位置的图像信号（即采样点信号）的信号值相减。这里所说的基本层图像的图像信号是经编码处理后重建得到。假设图像信号采用8个比特表示，则信号取值范围为0~255，那么残差图像信号的取值范围为-255~255。因为残差图像信号的取值一般较小，可以将残差图像信号钳位到范围-128~127之间，以便用8比特表示，从而减小实现代价。在某些实现中，在不便存储和处理带符号数的情况下，可将残差图像信号值加128，使得其取之范围在0~255之间。
[0092] 120，根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。
[0093] 例如，在加入上述第二参考图像之前，增强层当前图像的第二参考图像列表（例如，后向或前向参考图像列表）可以包括增强层当前图像的增强层参考图像（例如，后向或前向增强层参考图像）。在增强层的分辨率高于基本层的分辨率的情况下，第二参考图像可以是根据该增强层当前图像对应的基本层图像生成的上采样图像。本发明的实施例并不限于此，例如，在增强层的分辨率与基本层的分辨率相同的情况下，也可以直接将该增强层当前图像对应的基本层图像作为第二参考图像，或者将该增强层当前图像对应的基本层图像经平滑滤波等滤波处理后作为第二参考图像。
[0094] 130，根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
[0095] 双向预测方法是指利用前向参考图像和后向参考图像对增强层当前图像的图像块进行预测的方法。本发明的实施例借助于主流视频压缩方案中的双向预测机制，能够将上述残差图像的采样点信号与第二参考图像的采样点信号进行叠加，以实现差分模式编码。
[0096] 在本发明的实施例的第一参考图像列表为前向参考图像列表的情况下，第二参考图像列表为后向参考图像列表，或者，在第一参考图像列表为后向参考图像列表的情况下，第二参考图像列表为前向参考图像列表。应理解，本发明的实施例也可以适用于第一参考图像列表和第二参考图像列表均为前向或后向参考图像列表的情况。
[0097] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
[0098] 在130中，可以基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
[0099] 例如，本发明的实施例通过双向预测，在第一参考图像列表和第二参考列表中搜索（即运动估计）该图像块的最优匹配块，最优匹配块所在的参考图像为最优参考图像。图像块的运动信息可以包括运动矢量，用于指示该图像块在时域参考图像中的匹配块与该图像块的相对位移。运动信息还可以包括预测方向，例如，单向预测或者双向预测。另外，在多
帧参考图像情况下，运动信息还可以包括用于指示该图像块的最优参考图像的信息。
[0100] 根据本发明的实施例，在130中，可以对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信号。
[0101] 例如，本发明的实施例可以分别对第一参考图像列表中除残差图像之外的参考图像和第二参考图像列表中除第二参考图像之外的参考图像进行单向搜索，可以对第一参考图像列表中除残差图像之外的参考图像和第二参考图像列表中除第二参考图像之外的参考图像进行双向搜索，并且可以对第一参考图像列表中的至少一个残差图像和第二参考图像列表中的第二参考图像进行双向搜索，以获得最优参考图像，例如，确定使得图像块与匹配块的绝对差之和（Sum of Absolute Difference，SAD）最小的参考图像作为最优参考图像，其中该最优参考图像包含该匹配块。
[0102] 可选地，本发明的实施例还可以先对第一参考图像列表和第二参考图像列表进行单向搜索，以确定第一参考图像列表中的最优参考图像和第二参考图像列表中的最优参考图像，在这种情况下，还可以比较单向搜索得到的最优参考图像和双向搜索得到的最优参考图像，以得到最终的预测方向和最优参考图像，例如，如果单向搜索时获得的图像块与匹配块的绝对差之和（Sumof Absolute Difference，SAD）大于双向搜索时获得的图像块与匹配块的绝对差之和（Sum of Absolute Difference，SAD），则选择双向预测为最终的预测方式，选择双向搜索时获得的最优参考图像作为最终的最优参考图像，反之亦然。与常规双向预测方法相比，本发明的实施例在第一参考图像列表和第二参考图像列表中分别增加了上述至少一个残差图像和第二参考图像，使得在上述至少一个残差图像之一和第二参考图像被确定为最优参考图像的情况下，可以将残差图像与第二参考图像进行叠加，从而实现差分模式。
[0103] 可选地，本发明的实施例还可以先对第二参考图像列表进行单向搜索，并且在确定第二参考图像为最优参考图像的情况下，才使用第一参考图像列表中的至少一个残差图像和第二参考图像列表中的第二参考图像进行双向搜索，确定最优参考图像，并且比较这两种情况下的图像块与匹配块的绝对差之和，以确定最终的预测方向和最优参考图像。
[0104] 根据本发明的实施例，在加权预测运算时，可以基于预设的规则，或者加权预测得到的最终预测信号与原信号的相似程度分别为第一预测信号和第二预测信号设置相应的权重，即加权预测参数。例如，一般情况下，图像块的最终预测信号为第一预测信号与第二预测信号的平均值，此时第一预测信号的加权预测参数和第二预测信号的加权预测参数分别设置为0.5。再例如，在具有淡入、淡出效果的场景切换情况下，可根据当前处理图像的内容与第一预测信号所在图像内容的相似度以及当前处理图像的内容与第二预测信号所在图像内容的相似度确定第一预测信号与第二预测信号的加权预测参数，目的是使得最终预测信号与原信号最为相似。根据本发明的实施例，为了实现差分模块，在最优参考图像为残差图像和第二参考图像的情况下，可以设置合适的加权预测参数，使得图像块的最终预测信号为第一预测信号与第二预测信号的叠加。例如，在理想情况下，例如，第一预测信号的加权预测参数和第二预测信号的加权预测参数均被设置为1，以使得对第一预测信号和第二预测信号进行加权预测运算得到第一预测信号和第二预测信号相叠加的效果。
[0105] 根据本发明的实施例，上述加权预测参数由编码端确定并且添加在编码后形成的码流中。
[0106] 可选地，作为另一实施例，该加权预测参数被预先设置在编码端。
[0107] 根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中在130中，可以基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
[0108] predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift， 其 中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
[0109] 根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<
[0110] 例如，在该公式中，w0与w1均应设置为(1<
[0111] 应理解，可以根据实际情况对加权预测参数进行调整，只要使得图像块的最终预测信号为第一预测信号和第二预测信号的叠加即可。本发明的实施例可以通过设置加权参数实现差分模式，从而实现从残差图像得到的第一预测信号与从第二参考图像得到的第二预测信号相叠加得到图像块的最终预测信号，由于设置加权参数并不需要对常规编解码器中的块级别核心模块进行改动，只需进行图像级别的操作，就可以实现与块级别的差分模式相同的功能，因此在得到差分模式编码增益的同时，降低了实现代价。
[0112] 可选地，作为另一实施例，图1的编码方法还包括：在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0113] 例如，可在码流中加入标识位以表示当前
图像序列中的图像是否采用差分模式。具体而言，可以在序列参数集（Sequence Parameter Set，SPS）或图像参数集（Picture Parameter Set，PPS）中加入该标识位，例如，标识位1表示采用差分模式，标识位0表示不采用差分模式。在这种情况下，编码端或解码端可以根据该标识位判断当前图像序列中的图像是否采用差分模式，根据本发明的实施例并不限于此，也可通过其它方式告知解码端是否采用差分模式，例如，编码端和解码端预先约定使用差分模式等。
[0114] 根据本发明的实施例，在110中，可以根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0115] 例如，可以根据前向增强层参考图像以及该前向增强层参考图像对应的基本层图像生成至少一个残差图像。本发明的实施例并不限于此，例如，也可以根据前向增强层参考图像和该前向增强层参考图像对应的基本层图像生成一部分残差图像，根据后向增强层参考图像和该后向增强层参考图像对应的基本层图像生成另一部分残差图像，并且将这两部分残差图像均放置在第一参考图像列表中，以便为差分模式提供更多的选择，从而提高预测的精度。
[0116] 可选地，作为另一实施例，图1的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号（Picture order count，POC）一致，并且为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分。
[0117] 例如，上述图像缓存区可以为解码图像缓存区（Decoded Picture Buffer，DPB）。较佳地增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号（Picture order count，POC）可以相同，本发明的实施例并不限于此，例如，还可以通过映射的方式来实现增强层参考图像和残差图像之间的对应。
[0118] 本发明的实施例的增强层参考图像为已经完成编码的增强层图像，即增强层重建图像，例如，在完成对增强层图像的编码之后，可以将增强层重建图像存储到解码图像缓存区中，并且将该增强层重建图像减去根据该增强层重建图像对应的基本层图像生成的图像，得到残差图像，并将该残差图像存储到同一解码图像缓存区中。上述POC可以标识图像在视频序列中的位置，因此，在后续的处理中，可以依据该POC索引DPB中的增强层重建图像和残差图像。由于增强层重建图像和相应的残差图像使用了相同的POC，因此可以使用现有的DPB管理机制，基于POC对增强层重建图像以及对应的残差图像进行索引、移除等操作。
[0119] 可选地，作为另一实施例，图1的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的解码图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
[0120] 由于增强层重建图像与相对应的残差图像使用独立的DPB进行管理，例如，使用增强层重建图像DPB管理增强层重建图像，使用残差图像DPB管理残差图像，此时，在一个DPB中仅有一帧图像与一个POC数值对应，因此无需添加额外的标识区分增强层重建图像与相对应的残差图像。尽管增强层重建图像与相对应的残差图像存储在不同的DPB中，仍然可以为一帧增强层重建图像与其对应的残差图像设置相同的POC数值，以方便对增强层重建图像和相应的残差图像的管理。
[0121] 可选地，作为另一实施例，图1的编码方法还包括：根据预设的准则确定该解码图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；若根据预设的准则确定该解码图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像，从该解码图像缓存区中删除该增强层参考图像和/或相应的残差图像。
[0122] 例如，可以使用滑窗准则确定DPB中图像的移除。具体说，可按照POC由大到小对DPB中所有图像排序，可按照给定的滑窗大小（例如4），将排在第4位以后的所有图像移除。编码器和解码器可以约定所使用的准则。或者，编码器将上述解码图像管理信息添加到码流中，告知解码端编码端所使用的解码图像管理方法。
[0123] 可选地，作为另一实施例，图1的方法还包括：生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，并且将解码图像管理信息添加到编码后形成的码流中。
[0124] 根据本发明的实施例，在110中，可以对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中在120中，可以对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0125] 根据本发明的实施例，在110中，可以将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中在120中，可以将该增强层当前图像对应的基本层图像作为第二参考图像。
[0126] 可选地，作为另一实施例，图1的编码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0127] 例如，在编码端，可以将用于构造第一参考图像列表的残差图像的信息写入视频压缩码流。在解码端，可以基于视频压缩码流中的残差图像的信息按照与编码端相同的方法构造参考图像列表。
[0128] 根据本发明的实施例第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
[0129] 例如，可以将表示加入第一参考图像列表中的残差图像的数量（例如，M）的信息写入码流，而编解码端将第一参考图像列表中参考图像索引编号前M个增强层参考图像对应的残差图像加入参考图像列表，例如，可以将根据参考图像索引编号为0，1，2，…M-1的参考图像得到的残差图像加入到参考图像列表中。注意，编解码端也可以约定残差图像的数量，例如约定仅使用一个残差图像，此时则无需将残差图像数量信息添加到码流中。
[0130] 例如，可以在编码端和解码端预先约定将哪些增强层参考图像对应的残差图像加入参考图像列表，例如，将第一参考图像列表中的增强层参考图像对应的残差图像加入参考图像列表，或者同时将第一参考图像列表中与第二参考图像列表中的增强层参考图像对应的残差图像均加入到第一参考图像列表中。
[0131] 又如，可以将与编码端
指定的残差图像对应的增强层参考图像信息写入码流以告知解码端。具体而言，在将参考图像列表信息写入码流的情况下，可以为每一个增强层参考图像额外添加一个标识，指示是否将其对应的残差图像加入参考图像列表。
[0132] 再如，可以将与编码端指定的残差图像对应的增强层参考图像的POC添加到码流中。或者，可以使用POC差值信息而不是原始POC值，以节约比特开销。例如，可以在码流中携带增强层当前图像的POC以及与需要加入第一参考图像列表的残差图像对应的增强层参考图像的POC的差值信息，以便在解码端可以通过该POC的差值信息和增强层当前图像的POC确定该增强层参考图像的POC，再根据该增强层参考图像的POC从DPB中获取该增强层参考图像对应的残差图像。
[0133] 可选地，作为另一实施例，图1的编码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像，此时则无需将残差图像对应的增强层参考图像信息写入码流，也无需将残差图像对应的增强层参考图像的图像顺序编号信息写入码流。
[0134] 一般而言，与距离增强层当前图像较远的参考图像相比，距离增强层当前图像较近的参考图像与增强层当前图像的相关性更强。因此，根据本发明的实施例，在构造第一参考图像列表时，可优先选择与增强层当前图像的时间相关性较强的参考图像所对应的残差图像加入第一参考图像列表，这样使得预测信号更加准确。
[0135] 根据本发明的实施例，在根据增强层当前图像与至少一个增强层参考图像的时间相关性确定上述至少一个残差图像时，可以根据至少一个增强层参考图像中图像顺序编码号与增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定至少一个残差图像。
[0136] 例如，图像的图像顺序编号可以反映图像在时间上的距离远近，图像顺序编号越接近的两个图像的时间距离越近。因此，可优先选择具有与增强层当前图像的图像顺序编号接近的图像顺序编号的增强层参考图像用于确定上述至少一个残差图像。举例来说，在该预测的阈值为2的情况下，选择其图像顺序编号与增强层当前图像的图像顺序编号之差的绝对值为1的增强层参考图像用于确定上述至少一个残差图像，例如，在增强层当前图像的图像顺序编号为5的情况下，选择图像顺序编号为4和6的增强层参考图像作为其残差图像。
[0137] 图2是本发明一个实施例的基于双向预测的解码方法的示意性流程图。图2的方法由解码器执行，与图1的方法相对应，在此适当省略详细的描述。图2的方法包括如下内容。
[0138] 210，根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中。
[0139] 220，根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。
[0140] 230，基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
[0141] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
[0142] 在230中，可以从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该图像块的预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
[0143] 该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中在230中，可以在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。
[0144] 根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
[0145] 根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中在230中，可以基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
[0146] predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift， 其 中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
[0147] 根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<
[0148] 可选地，作为另一实施例，图2的方法还包括：从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0149] 在210中，可以根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0150] 可选地，作为另一实施例，图2的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分。
[0151] 可选地，作为另一实施例，图2的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。
[0152] 可选地，作为另一实施例，图2的解码方法还包括：根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；若根据预设的准则确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
[0153] 可选地，作为另一实施例，图2的方法还包括：从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；若根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
[0154] 在210中，可以对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中在220中，可以对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0155] 在210中，可以将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中在120中，可以将该增强层当前图像对应的基本层图像作为第二参考图像。
[0156] 可选地，作为另一实施例，图2的解码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0157] 根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在解码端或者从码流中获取。注意，若编解码端约定残差图像的数量，则无需将残差图像数量信息添加到码流中。
[0158] 可选地，作为另一实施例，图2的解码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
[0159] 根据本发明的实施例，在根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像时，可以根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
[0160] 此时则无需从码流中获取残差图像对应的增强层参考图像的标识信息，也无需从码流中获取残差图像对应的增强层参考图像的图像顺序编号信息。
[0161] 下面详细描述本发明的实施例的参考图像列表的构造过程。本发明的实施例可以在编码端与解码端构造参考图像列表。因此，下面构造参考图像列表的方法既可应用于编码端，也可以应用于解码端。应理解，本发明的实施例中描述的处理指编码操作或解码操作。本实施例中，当增强层重建图像作为其它图像的参考图像时，称为增强层参考图像。
[0162] 在编码端或解码端处理（例如，编码或解码）完一帧基本层图像后，在处理与该基本层图像相对应的增强层图像（即增强层当前图像）前，可以基于该基本层图像的重建图像（以下简称基本层图像）获取上采样图像，将该上采样图像存储到DPB中，并将该上采样图像的图像顺序编号（Picture OrderCount，POC）设置成与相对应的增强层当前图像的POC相同。然后对相对应的增强层当前图像进行处理，处理完成后，将得到的增强层重建图像存储到该DPB中。基于该增强层重建图像与该上采样图像生成残差图像，将该残差图像存储到该DPB中，并将该上采样图像从该DPB中移除。本发明的实施例还可以设置该增强层重建图像与该残差图像的POC为相同的数值。因为增强层当前图像的重建图像与相对应的残差图像的POC值相同，所以需要为该DPB中的残差图像加入一个附加标识进行区分。
[0163] 应理解，由于只有在增强层当前图像处理完成后才能得到相对应的重建图像与残差图像，因此在DPB中按增强层当前图像的POC数值索引只会找到与该增强层当前图像相对应的基本层图像的上采样图像，因此可以不对该上采样图像添加标识进行区分。应理解的是，上采样图像仅在处理增强层当前图像时使用，而不会在处理后续图像时使用，因此，也可以不存储到DPB中。
[0164] 除了可以按照约定将每帧残差图像存储DPB中之外，还可以根据码流中的指示信息确定是否将某一帧残差图像存储到DPB中。例如，该指示信息可在PPS或片头（slice header）中携带。
[0165] 另外，编码端或解码端可以根据给定准则确定DPB中与某个POC对应的所有图像（例如，增强层重建图像与相对应的残差图像），是否会被用作后续处理图像的参考图像。该给定准则可以在编解码端预先约定，或者由编码端确定后通知解码端。如果一帧图像不再被用作参考图像，则可以从DPB中移除。
[0166] 上面描述了增强层重建图像及残差图像放在同一个DPB中进行管理的方法。可选地，作为另一实施例，还可以分别将增强层重建图像和残差图像存储到独立的DPB进行管理。换句话说，使用增强层重建图像DPB管理增强层重建图像，使用残差图像DPB管理残差图像。在这种情况下，在一个DPB中仅有一帧图像与每个POC相对应，因此无需添加额外的标识区分增强层重建图像与残差图像。应理解，在不同的DPB中，可以为一帧增强层重建图像和相对应的残差图像设置相同的POC。
[0167] 图3A是根据本发明一个实施例的构造参考图像列表的示意图。
[0168] 本实施例以上述第一参考图像列表为前向参考图像列表、上述第二参考图像列表为后向参考图像列表为例进行说明。在本实施例中，假设增强层图像与基本层图像的分辨率不一样，例如，基本层图像的分辨率低于增强层图像的分辨率，因此，需要将基本层图像的上采样图像加入到后向参考图像列表中。
[0169] 具体而言，参考图像列表可以包括：前向参考图像列表list0与后向参考图像列表list1，可以将上述残差图像放入list0，将上述上采样图像放入list1，在这里，将图像放入参考图像列表是指将图像的索引或标识设置在参考图像列表中。在进行双向预测时，增强层当前图像中的一个图像块的预测信号由两个预测信号组合产生，这两个预测信号包括：从list0中的参考图像获得的前向预测信号和从list1中的参考图像获得的后向预测信号，使得能够利用双向预测机制将残差图像中的信号与上采样图像中的信号进行叠加，达到与常规块级别的差分模式相同的效果。
[0170] 参见图3A，第一行图像为增强层（Enhancement Layer，EL）图像，其中，Curr图像表示增强层当前图像，即正在进行处理（例如，正在进行编码或解码）的图像。Ref0，Ref1，…，Refn表示增强层当前图像的参考图像，这些参考图像是增强层重建图像，即增强层中已经完成编码或解码操作而产生的图像，例如，Curr图像左侧的图像为list0中的参考图像，即前向参考图像，Curr图像右侧的图像为list1中的参考图像，即后向参考图像。第二行图像表示第三行的基本层重建图像（简称基本层图像）上采样后所得的基本层上采样(Base Layer Upsmaple，BL Upsample)图像，例如，BLUpCurr表示增强层当前图像对应的基本层图像的上采样图像。第三行图像表示基本层(Base Layer，BL）图像，例如，BLCurr图像为Curr图像对应的基本层图像。
[0171] 在图3A中，同一列对应位置的图像表示同一时刻的基本层重建图像、基本层图像的上采样图像和增强层图像。例如，与list0中的参考图像Ref0，Ref1，…，Refn对应的基本层图像分别为BLL00 BLL01，…，BLL0n，上采样图像分别为BLUpL00 BLUpL01，…，BLUpL0n；与list1中的参考图像Ref0，Ref1，…，Refn对应的基本层图像分别为BLL10 BLL11，…，BLL1n，上采样图像分别为BLUpL10 BLUpL11，…，BLUpL1n。
[0172] 另外，本发明的实施例在list0中添加了残差图像Dif0，Dif1，…，Difn，在list1中添加了上采样图像BLUpCurr。为了清楚起见，图3A中只图示说明了在list0中添加list0的参考图像的残差图像作为新的参考图像。应理解的是，在本发明的实施中，也可以将list1中的Ref0，Ref1，…，Refn对应的残差图像也加入到list0中，在这种情况下，list1中的BLUpCurr不用于生成残差图像。
[0173] 根据本发明的实施例，残差图像可以放置在参考图像列表中的任意位置。例如，图3A给出一种可能的放置方法，其中Diff0置于list0中的Ref0之后，Diff1置于Ref1之后，依此类推。应理解的是，残差图像与上采样图像应该放置在不同的参考图像列表中，以便通过双向预测将残差信号与基本层上采样信号叠加来实现差分模式。
[0174] 下面参照图3A描述基于双向预测实现差分模式的编码过程。图3B是本发明一个实施例的基于双向预测的编码过程的示意性流程图。图3的实施例是图1的实施例的例子。
[0175] 本实施例详细描述了在采用双向预测实现差分模式的情况下，增强层中一帧双向预测图像的编码流程。
[0176] 310，构造增强层当前图像的参考图像列表。
[0177] 例如，可以按照图3A描述的方法构造参考图像列表，将残差图像放置在list0中，在上采样图像放置在list1中，在此不再赘述。
[0178] 320，确定加权预测参考图像，并为加权预测参考图像设置相应的加权预测参数。
[0179] 例如，将list0中的残差图像和list1中的上采样图像标记为加权预测参考图像。在所有参考图像均为加权预测参考图像的情况下，也可以不进行标记。按照下面的方法为加权预测参考图像设置加权预测参数，即为加权预测参考图像绑定加权预测参数。
[0180] 下面以一种常规加权预测方法为例，说明加权预测参数的设置方法。例如，在加权预测方法中，w0表示list0中的参考图像的权重，w1表示list1中的参考图像的权重，o0表示list0中的参考图像的偏移，o1表示list1中的参考图像的偏移，shift表示精度控制因子。例如，可以按照公式（1）所示方法确定这些参数。
[0181] w0=(1<
[0182] w1=(1<
[0183] o0=luma_offset_l0 （1）[0184] o1=luma_offset_l1
[0185] shift=luma_log2_weight_denom
[0186] 其中，luma_log2_weight_denom可以按照默认的方法设置，即当参考图像数目小于3时设置为6，否则设置为7。delta_luma_weight_l0和delta_luma_weight_l1可以设置为0，luma_offset_l0和luma_offset_l1可以设置为-128。编码端可以将luma_log2_weight_denom、delta_luma_weight_l0、delta_luma_weight_l1、luma_offset_l0和luma_offset_l1等五个参数告知解码端，以便解码端能够根据这五个参数生成相同的加权预测参数w0、w1、o0、o1和shift。
[0187] 330，对增强层当前图像的图像块进行运动估计，确定其运动信息。
[0188] 例如，首先可以对参考图像列表进行单向搜索，即遍历List0中除残差图像外的所有图像进行运动搜索以确定最优前向参考图像，遍历list1中除BLUpCurr外的所有图像进行运动搜索以确定最优后向参考图像。然后，可以再进行双向搜索确定最优双向参考图像。在使用上采样图像和残差图像进行双向预测搜索时，使用步骤320中确定的加权预测参数进行加权预测。
[0189] 如果从List1中选出的最优参考图像是BLUpCurr，则对List0中的残差图像进行搜索。如果list1中的最优参考图像不是BLUpCurr，则只对list0中除残差图像之外的参考图像进行搜索得到最优双向预测参考图像，而不对残差图像进行搜索。由于本发明的实施例添加残差图像只是为了实现差分模式预测，因此，在编码端进行双向预测的运动估计操作时，仅在list1中的最优参考图像为BLUpCurr的情况下，才需要使用list0中的各个残差图像作为前向参考图像进行运动搜索。
[0190] 此外，编码端进行单向预测的运动估计操作时，也无需使用list0中的残差图像作为参考图像进行运动搜索。
[0191] 经过上述运动估计过程，可以为增强层当前图像的每个图像块确定运动信息，例如，为每个图像块确定最优前向参考图像和最优后向参考图像的标识和运动矢量。
[0192] 340，根据确定的运动信息，对当前增强层图像的图像块进行运动补偿预测，得到增强层重建图像。
[0193] 如果330中确定的运动信息指示该图像块的前向预测信号P0来自于残差图像，其中前向预测信号的取值范围为0~255（为存储与处理方便，已添加128偏移后转换为无符号数），后向预测信号P1来自于上采样图像，其中信号的取值范围为0~255，则可按照下面的公式（2）计算该图像块的预测信号predSamples。
[0194] predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift=(P0-128)+P1 （2）
[0195] 另外，可以对预测信号predSamples进行钳位操作，以将数值约束在[0，255]之间。从公式（2）可以看到，按照步骤320中的加权预测参数的设置，可以实现原始残差信号(P0-128)与上采样信号P1的叠加，从而达到与常规块级别的差分模式编码相同的效果。
[0196] 在获取该图像块的预测信号predSamples后，可以进一步基于已经获取的预测信号对图像块进行预测编码，即计算预测差值信号，并将该预测差值信号写入视频压缩码流。基于已经获取的预测信号对图像块进行预测编码是常规技术，在此不再赘述。
[0197] 350，基于增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中。
[0198] 例如，在完成对增强层当前图像的编码得到增强层重建图像（即编码后的图像）之后，可以基于该增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中，以便在后续的编码过程中使用。
[0199] 本发明的实施例可以在完成每帧增强层图像的编码之后，计算得到的增强层重建图像信号与相对应的基本层上采样图像的差值图像，并且将该差值图像作为该增强层重建图像的残差图像。例如，可以按照下列公式(3)的方法构造残差图像Dif0：
[0200] Dif0(x,y)＝Ref0(x,y)-BLUpL00(x,y)+128 (3)[0201] 其中(x，y)表示图像中采样点的坐标，其余残差图像也可使用相同的方法构造，在此不再赘述。由于一些常规编解码方案中规定参考图像中的
像素值不能为负值，为了使得本发明的实施例能够应用于这些编解码方案，可以将残差图像中所有信号均加上128，并进行钳位操作以将信号值约束在区间[0，255]之内，目的是将带符号数转换为无符号数进行存储与处理。
[0202] 下面参照图3A描述基于双向预测实现差分模式的解码过程。
[0203] 图4是本发明一个实施例的基于双向预测的解码过程的示意性流程图。图4的实施例是图2的实施例的例子。
[0204] 本实施例详细描述了在采用双向预测实现差分模式的情况下，增强层中一帧双向预测图像的解码流程。
[0205] 410，构造增强层当前图像的参考图像列表。
[0206] 例如，可以按照图3A描述的方法构造参考图像列表，将残差图像放置在list0中，在上采样图像放置在list1中，在此不再赘述。
[0207] 420，从码流中获取增强层当前图像中的图像块的运动信息，并根据该运动信息对该图像块进行运动补偿解码操作，得到该图像块的重建图像。
[0208] 如果330中确定的运动信息指示该图像块的前向预测信号P0来自于前向参考列表中的残差图像，后向预测信号P1来自于后向参考列表中的上采样图像，则可按照上面的公式（2）计算该图像块的预测信号predSamples。另外，可以对预测信号predSamples进行钳位操作，以将数值约束在[0，255]之间。在获取图像块的预测信号predSamples后，可以进行叠加解码得到的差值信号，并进一步进行环路滤波等解码操作从而获取最终的重建信号。基于已经获取的预测信号对图像块进行解码操作以获取最终重建信号是常规技术，在此不再赘述。
[0209] 430，基于增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中。
[0210] 例如，在完成对增强层当前图像的解码得到增强层重建图像之后，可以按照图3A中描述的方法基于该增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中，以便在后续的解码过程中使用。
[0211] 可选地，作为图3B和图4的实施例的替代方案，残差图像和上采样图像可以不存储在DPB中，在这种情况下，在对增强层当前图像进行编码或解码时，可以先根据参考图像的POC从DPB中获取增强层当前图像的参考图像，如图3A中的参考图像Ref0，Ref1，…，Refn。然后根据上述公式（3）计算得到与这些参考图像相对应的残差图像，并将残差图像加入到参考图像列表中，同时将增强层当前图像对应的基本层图像的上采样图像加入到list1的参考图像列表中。本实施例并未将残差图像和上采样图像存储到DPB中进行统一管理，而是在需要进行编码或解码时才计算残差图像和上采样图像。这样做的优点在于，生成残差图像仅在处理增强层当前图像时有效，在增强层当前图像的处理结束后可以立即销毁。与图3B和图4的实施例的方法相比，该方法对残差图像与上采样图像的管理简单。然而，图3B和图4的实施例的优点在于能够避免同时使用多个残差图像的情况下可能导致的重复计算。因此，本实施例的方法适用于残差图像较少的情况，例如，在增强层当前图像的参考图像列表中加入一个残差图像的情况下，结合常规的采用滑窗方式设置参考图像列表的方法，则不会出现重复计算残差图像的情况。
[0212] 可选地，作另一实施例，在构造参考图像列表时，通常会将时间相关性强的参考图像放置在列表的前端。例如，图3所示list0和list1中的首个增强层参考图像Ref0与当前处理图像的时间相关性分别强于list0和list1中增强层参考图像Ref1与当前处理图像的时间相关性，依此类推。而list0和list1中同位置的参考图像可认为其与当前处理图像的时间相关性没有明显差别。在这种情况下，可按时间照相关性从强到弱的顺序，从参考图像列表中选择参考图像并将其对应的残差图像加入一个参考图像列表，例如list0。若两个参考图像的时间相关性没有差别，则可以按照预置的次序依次添加其对应的残差图像到list0中。残差图像可放置在list0中的任意位置。需注意，list0与list1中的参考图像可能有重复，因此，对应的残差图像也可能有重复。在检测到当前处理的增强层参考图像与已处理完成的增强层参考图像有重复时，则无需生成对应的残差图像。
[0213] 上述实施例以基本层图像与增强层图像分辨率不同的情况下进行了说明，然而本技术领域人员应理解的是，上述实施例也可应用于基本层图像与增强层图像分辨率相同的情况，在这种情况下，除了无需对基本层图像进行上采样操作之外，其余处理流程与上述实施例相同。
[0214] 图5是本发明一个实施例的基于双向预测的编码装置500的示意性结构图。编码装置500包括：生成模块510和编码模块520。
[0215] 生成模块510根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。编码模块520基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
[0216] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
[0217] 图6是本发明另一实施例的基于双向预测的编码装置600的示意性结构图。编码装置600包括：生成模块610和编码模块620。生成模块610和编码模块620与图5的生成模块510和编码模块520类似，在此不再赘述。
[0218] 根据本发明的实施例，编码模块620根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
[0219] 根据本发明的实施例，编码模块620对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值。
[0220] 根据本发明的实施例，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。
[0221] 根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中编码模块620基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
[0222] predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其 中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
[0223] 根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<
[0224] 可选地，作为另一实施例，编码装置600还包括：第一添加模块630。
[0225] 第一添加模块630在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0226] 根据本发明的实施例，生成模块610根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0227] 可选地，作为另一实施例，编码装置600还包括：存储模块640。存储模块640将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
[0228] 可选地，作为另一实施例，编码装置600还包括：第一确定模块650和删除模块660。第一确定模块650根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像。删除模块
660在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
[0229] 可选地，作为另一实施例，生成模块610还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，编码装置还包括：第二添加模块680，用于将解码图像管理信息添加到编码后形成的码流中。
[0230] 根据本发明的实施例，生成模块610对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0231] 根据本发明的实施例，生成模块610将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。
[0232] 可选地，作为另一实施例，编码装置600还包括：第二确定模块670。
[0233] 第二确定模块670用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0234] 根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
[0235] 根据本发明的实施例，图6的编码装置600还包括：第二确定模块670。第二确定模块670根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
[0236] 根据本发明的实施例，第二确定模块670根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
[0237] 图7是本发明一个实施例的基于双向预测的解码装置700的示意性结构图。解码装置700包括：生成模块710和解码模块720。
[0238] 生成模块710根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。解码模块720用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
[0239] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现了差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
[0240] 图8是本发明另一实施例的基于双向预测的解码装置800的示意性结构图。解码装置800包括：生成模块810和解码模块820，与图7的生成模块710和解码模块720类似，在此不再赘述。
[0241] 根据本发明的实施例，解码模块820从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
[0242] 根据本发明的实施例，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，解码模块820在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。
[0243] 根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
[0244] 根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中该解码模块820基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
[0245] predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其 中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
[0246] 根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<
[0247] 可选地，作为另一实施例，图8的解码装置800还包括：第一获取模块830。第一获取模块830从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0248] 根据本发明的实施例，生成模块810根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0249] 可选地，作为另一实施例，图8的解码装置800还包括：存储模块840。存储模块840将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。
[0250] 可选地，作为另一实施例，图8的解码装置800还包括：第一确定模块850和删除模块860。第一确定模块850根据预设的准则或从码流中获取的解码图像管理信息确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像，并且将解码图像管理信息添加到码流中，其中该解码图像管理信息用于指示该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像。删除模块860在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
[0251] 可选地，作为另一实施例，图8的解码装置还包括：第二获取模块870，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；删除模块860，用于在根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
[0252] 根据本发明的实施例，生成模块810对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0253] 根据本发明的实施例，生成模块810将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。
[0254] 可选地，作为另一实施例，图8的解码装置800还包括：第二确定模块880。第二确定模块880根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0255] 根据本发明的实施例，第二标识信息包括：第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中，第二标识信息被预先设置在解码端，或者从码流中获取。
[0256] 可选地，作为另一实施例，图8的解码装置800还包括：第二确定模块880。第二确定模块880根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
[0257] 根据本发明的实施例，第二确定模块880根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
[0258] 图9是本发明又一实施例的基于双向预测的编码装置900的示意性结构图。编码装置900包括：处理器910和
存储器920。
[0259] 处理器910调用存储器920中存储的代码，以用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
[0260] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
[0261] 根据本发明的实施例，处理器910根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
[0262] 根据本发明的实施例，处理器910对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值。
[0263] 根据本发明的实施例，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。
[0264] 根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中处理器910基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
[0265] predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其 中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
[0266] 根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<
[0267] 可选地，作为另一实施例，处理器910在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0268] 根据本发明的实施例，处理器910根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0269] 可选地，作为另一实施例，处理器910将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将该上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
[0270] 可选地，作为另一实施例，处理器910根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；在根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
[0271] 可选地，作为另一实施例，处理器910还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，并且将解码图像管理信息添加到编码后形成的码流中。
[0272] 根据本发明的实施例，处理器910对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0273] 根据本发明的实施例，处理器910将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。
[0274] 可选地，作为另一实施例，处理器910根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0275] 根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
[0276] 根据本发明的实施例，处理器910根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
[0277] 根据本发明的实施例，处理器910根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
[0278] 图10是本发明又一实施例的基于双向预测的解码装置1000的示意性结构图。解码装置1000包括：处理器1010和存储器1020。
[0279] 处理器1010调用存储器1020中存储的代码，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
[0280] 本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现了差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
[0281] 根据本发明的实施例，处理器1010从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
[0282] 根据本发明的实施例，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中处理器1010在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。
[0283] 根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
[0284] 根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中处理器1010基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
[0285] predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其 中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
[0286] 根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<
[0287] 可选地，作为另一实施例，处理器1010从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于解码端根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
[0288] 根据本发明的实施例，处理器1010根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
[0289] 可选地，作为另一实施例，处理器1010将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
[0290] 可选地，作为另一实施例，处理器1010根据预设的准则或从码流中获取的解码图像管理信息确定该图像缓存区中与一个图像顺序编号对应的图像和/或相应的残差图像是否作为后续解码的图像的参考图像，并且将解码图像管理信息添加到码流中，其中该解码图像管理信息用于指示该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该图像和/或相应的残差图像。
[0291] 可选地，作为另一实施例，图10的解码装置还包括：接收器1030，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，其中处理器1010在根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
[0292] 根据本发明的实施例，处理器1010对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
[0293] 根据本发明的实施例，处理器1010将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。
[0294] 可选地，作为另一实施例，处理器1010根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
[0295] 根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号的差值信息。
[0296] 可选地，作为另一实施例，处理器1010根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
[0297] 根据本发明的实施例，处理器1010根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
[0298] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及
算法步骤，能够以
电子硬件、或者计算机
软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0299] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0300] 在本
申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些
接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0301] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0302] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0303] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，
服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、
只读存储器（ROM，Read-Only Memory）、
随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0304] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以
权利要求的保护范围为准。
高效检索全球专利
专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
申请试用
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
申请试用
该功能需要专业版企业版VIP权限，您可以：
您也可以联系官方QQ: 2157717237 电话: 13264338900
