广播视频服务提供者现在使用MPEG-2来发送标准清晰度(“SD”)的视 频节目。在将来，可以预见向使用JVT/H.264/MPEG AVC(“JVT”)标准的高 清晰度(“HD”)的转变。MPEG-2SD节目和相同节目的JVD HD版本两者的 同时联播需要比如果使用可缩放的方法更多的带宽。但是，可缩放的编码器 和解码器比不可缩放的编码器和解码器在计算上要复杂得多。
在MPEG-2和MPEG-4标准的可缩放性框架内已经广泛研究和标准化了 可缩放性的许多不同方法，包括SNR可缩放性、空间可缩放性、时间可缩放 性、和细粒度可缩放性。但是因为实施可缩放的编码器和解码器的复杂性显 著增加，所以在实际中还没有广泛采用可缩放的编码。
空间可缩放编码器和解码器通常需要高分辨率可缩放编码器/解码器在 不可缩放高分辨率编码器/解码器中应该具有的功能的基础上提供附加的功 能。在MPEG-2空间可缩放编码器中，决定是根据标准分辨率还是高分辨率参 考画面来进行预测。MPEG-2空间可缩放解码器能够根据标准分辨率画面或者 高分辨率画面来进行预测。MPEG-2空间可缩放编码器/解码器使用两组参考 画面存储，一个用于标准分辨率画面而另一个用于高分辨率画面。
因此，所需要的是能够在有限带宽连接上支持相同节目的SD和HD版本 两者的、降低复杂度的空间可缩放编码器/解码器。

本发明的低复杂度空间可缩放编码的方法和设备解决了现有技术中的这 些和其他的缺点和不利问题。
用于接收压缩的高分辨率可缩放和标准分辨率位流并且提供高分辨率视 频的解码器，包括：I画面检测器(464)，用于接收压缩的标准分辨率位流； 标准分辨率帧内视频解码器(466)，与I画面检测器耦合用于解码I画面；高 分辨率视频解码器(482)，用于接收压缩的高分辨率可缩放位流；以及选择 器(486)，耦合于标准分辨率帧内视频解码器和高分辨率视频解码器，用于 在来自标准分辨率帧内视频解码器和高分辨率视频解码器的输出之间进行选 择以提供高分辨率视频序列。
通过结合附图来阅读示例实施方式的下面详细描述，本发明的这些和其 他方面、特点和优点将变得明显。

结合下面示例附图将更好的理解本发明，其中：
图1示出了相对高复杂度空间可缩放编码器的框图；
图2示出了相对高复杂度空间可缩放解码器的框图；
图3示出了根据本发明原理的低复杂度空间可缩放编码器的框图；和
图4示出了根据本发明原理的低复杂度空间可缩放解码器的框图。

现在所公开的本发明的实施方式提供了一种用于低复杂度、总体成本低、 空间可缩放编码和解码的方法和设备。在下面的描述中，虽然方法和设备实 施方式可以仅仅进行编码、解码、或编码和解码两者，但是为了简明的目的 还是将编码器和解码器共同称为CODEC。
根据本发明的原理，低复杂度空间可缩放CODEC使用非可缩放编码器 和/或解码器块。可以在这里和/或在附图中使用术语“正常”以指示与特定的 可缩放元件相反的总体上不可缩放的元件和/或高复杂度特点，而不应该被特 别理解为必须是传统的元件和/或特点。
在本发明的示例实施方式中，使用空间可缩放性技术可缩放地编码帧内 编码(intra-coded)的(I)画面，而对非帧内编码的(P和B)画面进行非缩 放编码。将高分辨率输入图像下采样(down-sample)以形成标准分辨率图像， 并且使用非可缩放编码器/解码器将标准分辨率图像进行编码和解码。将解码 的图像上采样(up-sample)，然后将其从输入的高分辨率图像中减去。然后使 用非可缩放编码器将高分辨率图像和上采样的标准分辨率图像之间的差进行 编码。在解码器端，使用非可缩放解码器仅仅将I编码的标准分辨率画面进 行解码，然后将它们上采样并且加入到解码的高分辨率差信号中，以形成高 分辨率输出画面。将非I编码的高分辨率画面进行不可缩放解码。
因此，在本发明的示例实施方式中，仅仅对于帧内编码的画面或片段执 行空间可缩放编码/解码，而对于非帧内编码的画面或片段执行不可缩放的编 码/解码。比较于帧内编码的(I)画面，可缩放的编码提供显著的编码高效优 点，但是对于帧间编码的(inter-coded)(B和P)画面则不十分有利。通过 仅仅在帧内编码的画面中使用可缩放性技术可以显著地降低空间可缩放编码 器和解码器的复杂度，同时保持大部分编码高效优点。
根据本发明的原理，不需要具有可缩放性的视频编码器和解码器。相反 地，结合附加功能块，可以在这个系统中使用不可缩放的高分辨率编码器和 解码器。标准分辨率和高分辨率编码器和解码器可以符合诸如MPEG-2、 MPEG-4或H.264的任何视频压缩标准。例如，标准分辨率编码器和解码器 可以是符合标准MPEG-2的基本配置(Main Profile)，而高分辨率编码器和解 码器可以是符合标准的H.264编码器和解码器。如本领域的普通技术人员所 显见的，还可以考虑其他组合。
本说明书解释了本发明的原理。应该理解虽然没有在这里明确描述或示 出，但是本领域的普通技术人员能够做出实施本发明的原理并且包括在本发 明的精神和范围内的各种设计。
在这里所述的所有例子和条件语言是为了说明的目的以帮助读者理解本 发明的原理和由发明者提出的、用于改进现有技术的概念，不应该将这些具 体引用的例子和条件语言理解为对于本发明的限制。
而且，在这里说明本发明的原理、方面和实施方式的所有陈述，以及其 具体例子都试图包括其结构和功能的等效物。此外，这种等效物还试图包括 已知的等效物以及在将来开发的等效物，即不论结构、被开发用来执行相同 功能的任何元件。
因此，例如，本领域的普通技术人员应该理解在这里所示出的框图表示 体现本发明原理的说明性电路的概念图。类似地，应该理解任何流程图、程 序框图、状态转变图、伪代码等都代表可以实质上在计算机可读介质中表示 的、从而可被计算机或处理器执行的各种处理，不论是否明确地示出了这种 计算机和处理器。
可以通过使用专用硬件以及能够结合适当的软件来执行软件的硬件来提 供在附图中示出的各种元件的功能。当由处理器提供时，可以由单个专用处 理器，由单个共享处理器，或由多个独立的、其中的一些可以被共享的处理 器来提供所述功能。而且，不应该将术语“处理器”或“控制器”的明确使 用理解为排他地表示能够执行软件的硬件，而应该隐含地、没有限制地包括 数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随 机访问存储器(“RAM”)、和非易失存储器。
还可以包括其他传统的和/或顾客的硬件。类似地，在附图中所示的任何 切换仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序 控制和专用逻辑的互动、或者甚至人工的、由实施者选择的根据本文更加具 体地理解的特别技术来执行它们的功能。
在其权利要求中，被表示作为用于执行具体功能的装置的任何元件都试 图涵盖执行该功能的任何方式，包括，例如，a)执行该功能的电路元件的组 合，b)与适当的电路结合用于执行软件以执行功能的任何形式的软件，因此 包括固件、微代码等。由这种权利要求所限定的本发明基于下面的事实，即 以权利要求所宣称的方式将通过各种所引用的装置所提供的功能进行组合并 且合并在一起。因此申请人将能够提供那些功能的任何装置都视为对于这里 所示的那些的等效物。
如图1所示，由参考标记100总体指示支持两层的标准复杂性空间可缩 放编码器。编码器100包括用于接收高分辨率输入视频序列的下采样器110。 将下采样器110以信号通讯耦合于标准分辨率不可缩放编码器112，其随后以 信号通讯耦合于标准分辨率帧存储器114。标准分辨率不可缩放编码器112 输出标准分辨率位流，并且还以信号通讯耦合于标准分辨率不可缩放解码器 120。
标准分辨率不可缩放解码器120以信号通讯耦合于上采样器130，其随 后以信号通讯耦合于可缩放高分辨率编码器140。可缩放高分辨率编码器140 还接收高分辨率输入视频序列，并且以信号通讯耦合于高分辨率帧存储器 150，并且输出高分辨率可缩放位流。
因此，高分辨率输入视频序列由标准复杂性编码器100接收并且被下采 样以创建标准分辨率视频序列。使用不可缩放标准分辨率视频压缩编码器来 编码标准分辨率视频序列，从而创建标准分辨率位流。使用不可缩放标准分 辨率视频压缩解码器来解码标准分辨率位流。(可以在解码器内部来执行这 种功能)。将解码的标准分辨率序列进行上采样，并且提供作为到可缩放高分 辨率编码器的两个输入之一。可缩放高分辨率编码器编码视频以创建高分辨 率可缩放位流。
转到图2，以参考标记200总体指示支持两层的标准复杂度空间可缩放 解码器。空间可缩放解码器200包括用于接收标准分辨率位流的标准分辨率 解码器260，其以信号通讯耦合于标准分辨率帧存储器262，并且输出标准分 辨率视频序列。标准分辨率解码器260还以信号通讯耦合于上采样器270， 其随后以信号通讯耦合于可缩放高分辨率解码器280。
可缩放高分辨率解码器280还以信号通讯耦合于高分辨率帧存储器290。 可缩放高分辨率解码器280接收高分辨率可缩放位流并且输出高分辨率视频 序列。
因此，标准复杂度解码器200接收高分辨率可缩放位流和标准分辨率位 流两者。使用利用标准分辨率帧存储器的不可缩放标准分辨率视频压缩解码 器来解码标准分辨率位流。将解码的标准分辨率视频上采样，然后输入到高 分辨率可缩放解码器。高分辨率可缩放解码器使用一组高分辨率帧存储器， 并且创建高分辨率输出视频序列。
如图3中所示，由参考标记300总体指示支持两层的低复杂度空间可缩 放编码器。编码器300包括用于接收高分辨率输入视频序列的下采样器310。 下采样器310以信号通讯耦合于标准分辨率不可缩放编码器312，其随后以 信号通讯耦合于标准分辨率帧存储器314。标准分辨率不可缩放编码器312 输出标准分辨率位流，并且还以信号通讯耦合于标准分辨率不可缩放帧内解 码器322。
标准分辨率不可以缩放帧内解码器322以信号通讯耦合于上采样器330， 其随后以信号通讯耦合于第二加法单元344的非反向输入端和第一加法单元 342的反向输入端的每一个。第一加法单元342具有用于接收高分辨率输入 视频序列的非反向输入端，并且具有以信号通讯耦合于选择器346的输出端。 选择器346也具有用于接收高分辨率输入视频序列的输入端，以及用于从标 准分辨率不可缩放编码器312接收I-片段/I-画面指示符的第三输入端。选择 器346以信号通讯耦合于不可缩放高分辨率编码器348。不可缩放高分辨率 编码器348用于输出高分辨率可缩放位流，并且以信号通讯耦合于加法单元 344的非反向输入端。不可缩放高分辨率编码器348还以信号通讯耦合于帧 存储器350。帧存储器350以信号通讯耦合于加法单元344的输出端。
因此，低复杂度空间可缩放编码器实施方式300接收高分辨率输入视频 序列。将该序列下采样以创建标准分辨率视频序列。使用不可缩放标准分辨 率编码器编码标准分辨率视频序列，从而创建标准分辨率位流。使用不可缩 放标准分辨率解码器将帧内编码(I)画面进行解码。或者，可以作为在解码 器自身内的辅助功能来执行这个功能。将解码的标准分辨率I画面进行上采 样，并且从输入视频画面中减去。可选择性地将偏移(例如-128)添加到所 述差中，从而将象素值维持在[0，255]的范围内。然后将这些差异画面输入到 不可缩放高分辨率视频压缩编码器。在存储到高分辨率帧存储器中之前，将 上采样的标准分辨率解码的I画面和可选择偏移添加到高分辨率编码的差异 信号中。这允许在随后的P和B画面的不可缩放编码中使用正确的参考画面。 对于非I画面(P和B)，将输入视频序列画面输入到不可缩放高分辨率视频 编码器，并且进行不可缩放编码。
转到图4，由参考标记400总体地指示支持两层的低复杂度空间可缩放 解码器。低复杂度空间可缩放解码器400包括I画面检测器/选择器464用于 接收标准分辨率位流，其以信号通讯耦合于标准分辨率帧内解码器466。标 准分辨率帧内解码器466以信号通讯耦合于上采样器470，其随后以信号通 讯耦合于加法单元484的第一非反向输入端。标准分辨率帧内解码器466还 以信号通讯耦合于选择器486的第一输入端，以提供帧内编码指示符给选择 器486。
低复杂度空间可缩放解码器400还包括用于接收高分辨率可缩放位流的 不可缩放高分辨率解码器482。高分辨率解码器482以信号通讯耦合于加法 单元484的第二非反向输入端、选择器486的第二输入端、以及高分辨率帧 存储器490的每一个。加法单元484具有以信号通讯耦合于选择器486的第 三输入端的输出端。选择器486输出高分辨率视频序列，并且以信号通讯耦 合于高分辨率帧存储器490。
因此，低复杂度空间可缩放解码器实施方式400包括I画面选择器/检测 器，其搜索接收的标准分辨率位流并且去除所有非I画面编码的数据。其可 以通过在位流中搜索画面开始代码并且从画面头部解码画面编码类型来识别 I画面。然后不可缩放标准分辨率帧内解码器解码I画面数据。这种只用于帧 内的解码器比完全视频压缩解码器的复杂度低得多，并且不需要标准分辨率 参考帧存储器。将解码的标准分辨率帧内画面进行上采样。
将高分辨率可缩放位流输入到不可缩放高分辨率解码器。对于非I画面， 将其输出选择作为输出高分辨率视频序列。对于I画面，将高分辨率解码的 输出添加到上采样的标准分辨率解码的I画面中，其被选择用来形成输出高 分辨率视频序列。对于可缩放I画面，将输出高分辨率视频画面存储在参考 帧存储器，而不是不可缩放高分辨率解码器的输出端。
虽然在框图中作为分开的块示出了不可缩放高分辨率解码器和标准分辨 率帧内解码器，但是可以使用单个多功能解码器来执行两种功能。因为内解 码通常比帧间解码要简单得多，所以如果使用通用处理器，则在执行高分辨 率帧间画面解码所需要的相同时间段期间，可以将该处理器用来执行标准分 辨率帧内画面解码和高分辨率帧内画面解码。
在H.264视频编码标准中，可以使用不同预测类型来编码在相同画面中 的独立片段。例如，画面可包含I片段和P片段两者。如果在本发明中将H.264 用于高分辨率和标准分辨率编码，则在需要将与上采样的标准分辨率画面的 I片段对应的宏块也编码作为I片段的条件下，可对I片段而不是I画面执行 可缩放性。在这种实施方式中，I画面检测器/选择器会变成I片段检测器/选 择器。
如果在标准分辨率层中使用要求利用相同预测类型将在相同画面中的所 有片段进行编码的MPEG-2或其他编码标准，并且在高分辨率层使用H.264， 则是否应用可缩放性的选择依赖于在标准分辨率层中所使用的画面编码类 型。即使对应的MPEG-2标准分辨率层不是I画面，还可以在高分辨率H.264 层中编码I片段，但是不应用可缩放性。
可以将本领域的普通技术人员公知的各种方法用于上采样器和下采样器 功能，所述方法包括双向线性内插(bi-linear interpolation)、或多抽头内插 (multi-tap interpolation)和抽选滤波器(decimation filter)。
高分辨率视频序列画面可以包含不由标准分辨率视频序列画面表示的数 据，例如如果高分辨率画面具有16:9的宽高比而标准分辨率画面具有4:3的 宽高比。在这种情况中，对于那些与在标准分辨率画面中出现的象素不对应 的象素，可以将上采样功能设置为值零。
根据这里的示教本领域的普通技术人员能够容易地判明本发明的这些和 其他特点和优点。应该理解可以用各种形式的硬件、软件、固件、特殊目的 处理器、或它们的组合来实现本发明的原理。
最好，将本发明的原理实现为硬件和软件的组合。而且，最好将软件实 现为明确体现在程序存储单元中的应用程序。该应用程序可以被上载到包括 任何适当结构的机器中并且由其执行。最好，将该机器在计算机平台上实现， 该平台具有诸如一个或多个中央处理单元(“CPU”)、随机访问存储器 (“RAM”)、和输入/输出(“I/O”)接口的硬件。所述计算机平台还可以包括 操作系统和微指令代码。在这里所述的各种处理和功能可以或者是微指令代 码的一部分或者是应用程序的一部分，或者是它们的任何组合，它们都可由 CPU来执行。此外，可以将诸如附加数据存储单元和打印单元的各种外围设 备单元连接到所述计算机平台。
还应该理解，因为在附图中所描述的某些构成系统元件和方法最好用软 件来实现，所以在系统元件之间的实际连接或处理功能块可以根据本发明被 编程的方式而不同。根据这里的示教，本领域的普通技术人员能够设想这些 或类似的实施方式或本发明的结构。
虽然已经参照附图描述了说明性实施方式，但是应该理解本发明并不限 于这些确切的实施方式，在不偏离本发明的精神或范围的情况下，本领域的 普通技术人员可对其进行各种改动和修改。所有的这种改动和修改都应该包 括在如所附权利要求所述的本发明的范围内。
相关申请的交叉参考
本申请要求于2003年6月19日提交的、标题为“低复杂度空间可缩放 编码和解码的方法和设备”的美国临时专利申请No.60/479,734的权益，在此 通过引用整体结合于此。