随着技术的不断进步，以及视频和音频信号处理需求的持续飞速 增长，在系统设计和实现中，有效和高效的信号处理和数据传输技术 已经变得越来越重要。多年来，为了使涉及多媒体信号处理的各种编 码方案标准化以及便利于该各种编码方案，已经开发出来包括视频信 号处理的各种多媒体处理和传输的标准和规范。特别地，一个被称作 运动图像专家组(MPEG)的组织被建立来，开发出编码再现在数字 存储媒介上存储的运动图像及相关音频的标准和规范。结果是，称作 ISO/IEC 14496-2(Part2-Visual)CODING OF AUDIO-VISUAL OBJECTS(音频-视频对象的编码)(这里也被称作MPEG-4标准或 MPEG-4规范)的标准被开发出来，于1999年12月公布，它使用于 视觉对象或视频信号的各种编码方案标准化。ISO和IEC分别代表国 际标准化组织和国际电工委员会。通常，MPEG规范不能使编码器标 准化，但是能够使编码器需要产生和写入到MPEG比特流的信息类 型标准化；以及，使解码器为了重新获取编码信号而需要对解析、解 压缩和再同步这些信息的方式标准化。[Q1]其它的编码标准包括， 例如，ITU-T的建议H.263“用于低比特率通信的视频编码”和H.264 等等。
图1中例示了一个典型的视频处理系统100，它包括视频编码器 110和视频解码器130。在这种配置中，视频编码器110和视频解码 器130可以依照已经制订的标准或规范来操作。例如，视频编码器 110和视频解码器130可以依照MPEG-4标准来操作。因此，视频编 码器110和视频解码器130被分别称作MPEG-4编码器和MPEG-4 解码器。在图1中例示的系统配置中，在发射端，视频编码器110接 收视频输入数据，对该视频输入数据进行编码以生成或产生编码视频 数据，该编码视频数据经由信道120被传输给视频解码器130。信道 120可以是有线信道或无线信道，在这里还可以被称作主信道或主数 据流。在接收端，视频解码器130接收编码视频数据，并对该编码视 频数据进行解码以生成或产生视频输出数据。在经由信道120的传输 过程期间，由于包括噪音、信号干扰、衰减、连接损耗等等的各种因 素，差错会被引入。这些差错会对视频解码器130的性能产生负面影 响，并且因此视频输出数据的质量会发生恶化。可以使用各种传统的 差错编码技术(例如差错检测编码、前向纠错编码(FEC)或自动请 求重发方案(ARQ))来将误码率控制在一个可接受的水平。然而， 由于数据冗余和/或更长的等待时间，这些传统技术会导致非常低的 效率。视频压缩标准还提供了另外的机制来减轻由传输引入的差错的 不利影响。它们是再同步标记、数据分割和可逆可变长编码(RVLC) 等等。这些差错恢复工具增加了编码器和解码器的复杂程度，也增加 了传输视频信息的数据速率。此外，这些工具可能不会提供对突发差 错的足够的保护，其中突发差错在诸如CDMA的网络中的扩频通信 信道中通常会遇见。
因此，存在一种需求，即需要一种用于改善多媒体处理系统中的 多媒体信息(比如视频数据)的质量而不会带来非常低的处理效率的 方法、装置和系统。

根据本发明的一个方面，提供了一种方法，在该方法中，依照第 一编码标准(例如：MPEG-4或H.263)对输入数据(例如，输入视 频数据)进行编码，以生成编码数据。还基于输入数据的重构对输入 数据进行编码，以生成与输入数据相关联的编码辅助信息。经由第一 信道将编码数据传输到目的地(例如，解码子系统)，经由第二信道 将编码辅助信息传送到目的地(例如，解码子系统)。在所述目的地 对编码数据和编码辅助信息进行解码和合并，以生成输出数据。
根据本发明的另一个方面，提供了一种装置，该装置包括第一编 码器和第二编码器。第一编码器接收输入数据，并依照第一编码标准 (例如：MPEG-4)对其进行编码以生成用于经由第一信道传输的编 码数据。第二编码器接收输入数据以及来自第一编码器的输入数据的 重构，并且至少是部分地基于输入数据的重构，对输入数据进行编码， 以生成用于经由第二信道传输的编码辅助数据。
根据本发明的又一个方面，提供了一种装置，该装置包括第一解 码器和第二解码器。第一解码器对在第一信道上接收的编码数据进行 解码，而第二解码器对在第二信道上接收的编码辅助数据进行解码。 将第一解码器生成的数据和第二解码器生成的数据合并来生成输出 数据。
根据发明的又一个方面，提供了一种系统，该系统包括第一编码 器、第二编码器、第一解码器和第二解码器。第一编码器接收输入数 据，并依照第一编码标准对其进行编码，以生成在用于经由第一信道 传输的编码数据。第二编码器接收输入数据以及来自第一编码器的输 入数据的重构，并且至少是部分地基于输入数据的重构来对输入数据 进行编码，以生成在用于经由第二信道传输的编码辅助数据。第一解 码器对在第一信道上接收的编码数据进行解码，而第二解码器对在第 二信道上接收的编码辅助数据进行解码。将第一解码器生成的数据和 第二解码器生成的数据合并来生成输出数据。
根据发明的另外一个方面，发明提供了一种机器可读媒质。该媒 质包含指令，当该指令被机器执行时，能使机器执行以下操作：依照 第一编码标准对输入数据进行编码以生成编码数据，基于输入数据的 重构对输入数据进行编码以生成编码辅助数据，并且经由第一信道将 编码数据传输到目的地，经由第二信道将编码辅助数据传输到目的 地。
附图说明
通过下面详细的描述和参考附图，公开了本发明的各个方面和特 征。在附图中：
图1例示了一个典型的视频处理系统的方框图；
图2A例示了一个处理系统的方框图，在该处理系统中，编码器 单元和解码器单元都可以访问辅助信息；
图2B例示了一个处理系统的方框图，在该处理系统中，只有解 码器单元能够访问辅助信息；
图3是根据本发明的实施例的典型处理系统的方框图；
图4是根据本发明的实施例的辅助信息编码器的方框图；
图5是例示了一个量化码字集和该量化码字的空间的分割的示 图；
图6是例示一个已量化的码字空间的模4标记法的示图；
图7是根据本发明的一个实施例的解码子系统的方框图，其中该 解码子系统包括辅助信息解码器；和
图8是根据本发明的实施例的一个方法的流程图。
发明详述
在下面详细的描述中阐明了本发明的许多具体细节。然而，应该 理解的是，在没有这些具体细节的情况下，也可以在实际中实现本发 明的各种实施例。对于本领域的技术人员而言，应该明白和理解的是， 下面描述的本发明的各种实施例是示例性的，并且往往是用来对发明 进行例示而不是对发明进行限制。
如同下面更详细的描述，根据发明的一个实施例，提供了一种方 法和一个系统结构，除了对承载多媒体比特流的主流进行编码外，还 对额外的数字流进行编码。这个额外的数字流在这里也被称作辅助信 道或提示(hint)信道。这样一个额外的数字信道可以用来给经由主信 道传输的多媒体比特流提供差错恢复，因此可以提高在接收端产生的 多媒体信息(例如视频数据)的质量，例如由视频解码器生成的视频 数据的质量。另外，根据下面更详细描述的本发明的一个实施例，可 以基于包括信道条件、辅助信道需要提供的保护量等的各种因素，对 经由辅助信道传输的提示信息或辅助信息的量进行修改或动态调整。
接下来的讨论提供了使用辅助信息编码的方法和系统结构的图 示和说明。S.S.Pradhan和K.Ramchandran在名为“Distribute Source Coding Using Syndromes(DISCUS)：Design and Construction(使用 校验位的分布信源编码(DISCUS)：设计与构造)”的技术论文中讨 论了利用辅助信息编码结构，该文章收录于1999年3月召开的“数 据压缩会议(DCC)”的会议论文集中。现在参看图2A和图2B，它 们分别对处理系统200A和200B进行了图示说明。处理系统200A包 括编码器210A，该编码器210A用于经由信道220A将数据传输给解 码器230A。同样，处理系统200B包括编码器210B，该编码器210B 用于经由信道220B将数据传输给解码器230B。
如图2A和2B所示，假定X和Y是3比特长二进制数据，它们 能等概率取值8个可能的二进制3位元组(tuple)中之一。然而，X 和Y是相关的随机变量。X和Y之间的相关性使得它们间的汉明距 离最大是1。也就是，给定一个Y值(如Y＝[010])，X的值或者与Y 相同(也即X＝[010])，或者相对于Y值只相差一个比特。例如，X的 值可以在第一比特与Y值不同(X＝[110])，或者中间比特与Y值不同 (X＝[000])，在最后一个比特与Y不同(X＝[011])。
下面的讨论将显示可以按照图1中示出的两种情形对X进行有 效的编码，使得在解码器处可以对X进行正确地重构。
情形1：在图2A所示的第一种情形中，Y在编码器210A和解码 器230A中都出现。在这种情形下，X可根据Y预测出。X相对于Y 的残数(XY)(也称作残余数据或残余信息)或差错模式可以采取 4个不同的值，因此可以利用2比特对其进行编码。这被认为是对X 进行编码所需的最小可能(最好)速率。在接收端，解码器能将残数 和Y合并来获得X。在这种情况下，如同下面更详细的描述，X类似 于需要经由提示信道传输的当前多媒体编码单元，Y类似于基于主信 道的当前多媒体编码单元的重构。其中为提示信道编码残数的这个方 法对应于预测编码。
情形2：在图2B所示的第二种情形中，用于X的编码器(编码 器210B)不能访问Y。因此这种情形下的性能受限于第一种情形下 的性能。然而，用于X的编码器知道X和Y之间的相关结构，并且 还知道解码器能访问Y。在这个看起来更坏的情形下，下面显示仍然 可以获得与第一种情形相同的性能。也就是，在第二种情形下，也可 以利用2比特来对X进行编码。
这可以通过使用下面的方法来完成。在这种方法中，X的码字空 间被分割成如下的4个集合，每个集合包含两个码字：
陪集1，其中包含[000]和[111]；
陪集2，其中包含[001]和[110]；
陪集3，其中包含[010]和[101]；和
陪集4，其中包含[100]和[011]。
在这个例子中，用于X的编码器可以识别包含X的码字的集合， 并发送相应集合的索引，而不是发送个体码字。由于X的码字空间 中存在有4个集合，所以能用2比特对各集合进行索引。当接收到陪 集索引时，通过指明或断言与Y最相近的码字是应答，解码器可以 使用Y来消除歧义或者从所述集合中获得正确的X值。如上所述， 应当注意的是，X与Y之间的距离最大是1，而任何一个集合中两个 码字之间的距离是3。因此，在第二种情形中，可以基于陪集索引和 Y对X进行正确地解码。例如，如果Y是[001]并且X是[011]，那么 编码器210B发送包含有X的值的相应集合的索引(在这种情况中是 陪集4)，而不是发送X的个体码字。因此，在接收到来自编码器210B 的这个索引后，解码器230B计算Y([001])与陪集4中一个码字([100]) 之间的距离，其等于2；以及计算Y([001])与另一个码字([011])之 间的距离，其等于1。由于解码器210B知道X与Y之间的距离最大 为1，所以[011]被解码为X的观测码字，在这个例子中它是X的正 确值。其中解码器访问相关的辅助信息的这种编码方式被熟知为辅助 信息编码。当码字长度变大时，采用辅助信息编码的系统的系统的性 能可与基于预测编码的系统的性能相比拟。总之，X和Y之间的相 关性有助于降低传输速率。基于前面的讨论，需要注意下面的观点：
-应该注意的是，陪集1是一个距离为3的重复信道码，而其他 集合是在X的码字空间中该码字的陪集。在这个例子中，使用了与X 和Y之间的相关距离(例如，噪声)相匹配的信道码来分割X的信 源码字空间。这导致了一种能够给出高压缩性能的辅助信息编码系 统，它的性能与预测编码系统的性能相同或具有可比性。
-在实际中，信源码字空间的分割以及最终陪集的索引标记能通 过陪集码字的结构，采用一个非常高效的计算方式来完成。因此，辅 助信息编码系统中的编码器获得低的编码复杂度。
-应该注意的是，如上讨论的X的分割是普遍适用的。也就是， 无论Y的值是多少，只要X和Y都满足相关结构，X的相同分割也 同样适用于所有Y。例如，如果X是[010]，那么用于X的相同编码 (例如陪集3的索引)将同样适用于全部的Y(例如[010][110][000] 和[011])。因此，不像预测编码的设置，用于X的编码与相关信息Y 的值之间没有依赖性，因此提供了普适性。因此，这里提出的发明适 用于所有预测编码技术，比如MPEG-4、H.263和H.264等等。
现在参看图3，根据发明的一个实施例，例示了一个使用辅助信 息编码方法的典型多媒体处理系统300。如图3所示，系统300包括 编码子系统或编码组件310和解码子系统或解码组件330。在一个实 施例中，编码子系统310包括编码器312，该编码器依照已制订的标 准(如MPEG-4标准或H.263标准)来操作。在这里，编码器312 也被称作传统编码器。编码子系统310还包括另一个编码器316(在 这里，也被称作辅助信息编码器或提示信息编码器)，该编码器与视 频编码器312相耦合。编码器312接收并编码输入数据(例如视频数 据)，以生成编码数据，该编码数据经由主信道320被传输给解码子 系统330。主信道320可以是无线信道或有线信道。编码器316被耦 合来接收输入数据和来自编码器312的输入数据的重构，并且生成编 码辅助信息或提示信息，该编码辅助或提示信息将经由不同的信道 325传输到解码子系统330。该不同的信道325可以是有线信道或无 线信道。在这里，信道325也被称作辅助信道或提示信道。在一个实 施例中，输入数据与输入数据的重构间的差值也被称为残余数据，该 残余数据可能包含由编码器312生成的预测差错信息。在下面会更详 细地讨论编码器316的结构和操作。
如图3所示，在一个实施例中，解码子系统330包括解码器332， 该解码器依照已制订的标准(如MPEG-4标准或H.263标准)来操作。 在这里，解码器332也被称作传统解码器。解码子系统330还包括解 码器336，该解码器336用来对经由辅助信道325接收的辅助信息进 行解码。将由解码器332和解码器336生成的信息或数据合并来生成 输出数据(例如输出视频数据)。下面会更详细地讨论解码子系统330 以及解码器316的结构和操作。
根据发明的一个实施例，图4详细说明了前面图3中所示的编码 器316的方框图。如图4所示，编码器316(在这里，也被称作辅助 信息编码器或简称为辅助编码器)包括分类单元410、基本标量量化 单元420、校验位(syndrome)编码单元430、精细量化单元440和 差错检测/保护单元450。下面更详细地讨论编码器316中的这些单元 和组件。应该注意的是，图4所示的编码器316的配置或结构仅仅是 依照本发明的教导的一个实施例或一个实现。基于本发明的不同应用 和/或不同的系统环境，也可以实现其它配置、结构或变化。例如， 分类和校验位码字选择可以与瞬时信道条件相匹配。
应该注意的是，取决于辅助信道(提示信道)325的允许传输速 率，由编码器316完成的一些功能或处理可以被修改或跳过。例如， 根据统计N和可得到的用于辅助信息的比特速率，可以对基本标量 量化进行修改。类似地，精细量化处理或功能也可以被修改或跳过。 出于图解和说明的目的，让X代表当前待编码的块，Y代表主信道 上的当前块的重构，Y＝X+N，其中N代表X与Y之间的差值，并且 它对应于例如X的编码中的预测差错、噪声和/或在编码和传输过程 中引入的失真，等等。
在下面的讨论中，假定待编码的视频帧被划分成不重叠的像素空 间块(例如，16×16和8×8，等等)。对于本领域的技术人员而言， 应该明白并理解的是，本发明的教导并不局限于待编码的视频帧的任 何特定划分或分割。下面更详细地讨论编码过程，该编码过程可以逐 块进行。
分类：
在一个实施例中，分类单元410如下执行所述分类功能或处理。 为了使信道码与块相匹配，基于块与当前帧的主信道重构之间的相关 性，对块进行分类。与特定类相对应的统计N随后被用来确定或指 定合适的分割策略。在一个实施例中，块帧差值(例如，在当前块和 同一位置中的主信道上的重构块之间的简单均方误差)中的能量可用 作提示来对当前块进行分类。可以使用许多编码模式或种类，其中每 个与不同程度的相关性对应。例如，一种极端情况就是被称为SKIP 模式的模式，在该编码模式中，相关性非常强，以至于根本未对块进 行编码。另一种极端情况是称为INTRA模式的模式，在该编码模式 中，相关性非常弱，以至于帧内编码是合适的。因此，在这两种极端 情况之间，存在不同的校验位编码模式。
基本标量量化：
如图4所示，编码器单元316包含一个基本标量量化单元420， 该基本标量量化单元执行对像素值的量化。在一个实施例中，在对输 入数据(例如，像素值)进行编码前，需要对其进行量化。对于量化 来说，步长大小的选择受限于统计N。例如，如果选择一个非常精细 的步长大小来编码X，那么由于各个码字彼此之间靠得非常近，以至 于重构信息Y可能不能正确地消除他们之间的歧义，所以会存在解 码误差。图5中的一个图表对此进行了说明。如图5所示，最上面的 一根线显示X的一个已量化的码字集合，而下面的两根线示出了X 的已量化码字的空间的两个分割。矩形框显示位于第一分区块上的已 观测到的码字。在这个例子中，由于N的大小超过了量化步长大小， 所以解码器使用重构信息Y来解码出一个不正确的(画圈的)码字。 因此，使用与N中相应元素的标准差成比例的步长大小，对X中的 每个元素进行量化。
校验位编码：
重新参看图4，根据基本标量量化单元420生成的数据，校验位 编码单元430执行校验位编码。在本实施例中，可以使用具有很好距 离特性的信道码(例如，欧几里得空间格栅信道码、Turbo码、低密 度奇偶校验(LDPC)码或其他本领域已知的信道码，等等)，对使用 统计N已恰当生成的已量化码字空间进行分割。这类似于用来分割 上述的信源码字空间的重复信道码。
在一个实施例中，1/2速率的格栅码可以用来实现这个目的。一 个块长度为N的1/2速率格栅码是{0，1，2，3}N的子空间(例如，块长 度为3的重复信道码([000]和[111])是{0，1}3的子空间)。因此可以 用它来分割空间{0，1，2，3}N。出于这个原因，量化码字的空间需要被 转换到{0，1，2，3}N。在一个实施例中，通过使用量化格点的模4标记 可以完成这个操作，如图6所示。
在一个实施例中，在这种情况下得到的传输或陪集索引速率是1 比特/每采样。在这个例子中，块长度为N的1/2速率格栅码是 {0，1，2，3}N的子空间，该子空间在大小为4N的码空间中具有2N个码 字。因此，有4N/2N＝2N个与它相关联的陪集，这些陪集能用N比 特索引，由此对应的速率是1比特/每采样。
通过量化码字与格栅码的奇偶校验矩阵间的简单卷积操作(在系 数的数量上是线性的)，可以用一个高效的计算方式来完成与每个码 字相关的陪集索引(校验位)的生成。
精细量化：
如图4所示，由校验位编码单元430生成的数据能进一步被精细 量化单元440精细化。通常，目标重构质量与具体的量化步长大小相 对应。(例如，更高更理想的质量对应着更精细的量化步长，而较低 的质量对应着较粗的量化步长)。质量通常用PSNR(峰值信噪比) (dB)来测量，PSNR＝log10(2552/MSE)，其中MSE代表原始块和利 用块中的像素个数划分的编码块之间的均方误差。
对于被校验位编码的像素值，基本量化步长大小的选择受限于 N。这么做使得解码误差的概率最小。因此，假定基本量化间隔能被 高保真度地正确传递给解码器，那么可以进一步精细化到目标量化步 长大小。在一个实施例中，所述精细化操作可以非常简单，只需递归 地将基本量化间隔细分成等于目标量化步长的间隔大小。在这种情况 下，将基本间隔内的精细化量化间隔索引传输给解码器。
对于本领域的技术人员而言，应该理解的是，进行校验位编码和 精细量化只是实现和完成辅助信息编码的好处的一种方式。如上所 述，根据本发明的不同应用，可以实现这里描述的各种处理阶段的其 他配置、变动或组合。例如，如果在某个应用或某个系统环境里不需 要精细量化阶段或处理过程，那它可以被省略或跳过。
应当注意的是，为了维持质量和效率的恰当的平衡，可以基于各 种因素对基本量化和精细量化的级别进行调整或修改。这些各种不同 的因素可包括但不限于可用的辅助信息的比特速率、信道条件和为了 获得质量的期望级别辅助信道需要提供的保护的数量，等等。
解码差错检测/保护：
如图4所例示，编码器316可包括差错检测/保护单元450。应该 注意的是，在编码器子系统中，原则上，辅助信息编码是根据待编码 的块X与位于主信道的帧存储器中的这个块的“最佳”预测值Y之 间的差错统计来进行的。由于编码过程是统计的，所以存在需要检测 的解码误差。这可以通过比如循环冗余校验码(CRC)之类的差错保 护码来完成。在本实施例中，编码器316因此不仅传输辅助信息已编 码系数的校验位，还传输已量化码字序列的具有足够长度的CRC校 验。与传统的编/解码范例相对照，在这里讨论的新方法中，进行运 动搜索是解码器的任务。在一个实施例中，解码器逐个地搜索候选预 测值空间，以对由校验位标记的集合中的序列进行解码。当已解码的 序列与CRC检测相匹配，解码被断言为成功。应该注意的是，CRC 需要足够强，以至于能作为码字序列的可靠识别标记。
现在参看图7，例示了解码子系统330的一个更详细的框图。如 图7所示，解码子系统可包括解码器单元332、解码器单元336以及 估计和重构单元730。在一个实施例中，解码器336(在这里，也被 称为辅助信息解码器或简称为辅助解码器)可包括运动搜索单元710 和校验位解码单元720。解码子系统330中包括的各种单元的操作和 功能在下面将会进行更详细的描述。
运动搜索：
在一个实施例中，运动搜索单元710执行运动搜索，以生成候选 预测值，以对来自由已接收的校验位指示的集合的量化码字的序列进 行解码。如同在标准的视频算法中编码侧所做的一样，在这里可以使 用穷尽的半像素运动搜索来获得各种候选预测值。应该注意的是，这 里讨论的方法和系统结构能应用于适应任何其他复杂的运动估计过 程，如多帧预测、光流以及控制格点内插，等等。
在一个实施例中，当主信道没有误差或运动向量未被破坏时，不 执行运动搜索。在这里应该注意的是，运动搜索操作可能非常耗时， 并且计算强度非常大。因而，如果运动向量到达，而主流中没有差错， 那么就不需要进行运动搜索操作。
校验位解码：
继续当前的讨论，校验位解码由校验位解码单元720来执行。在 一个实施例中，由运动搜索单元710生成的每个预测值被用于对来自 由校验位指示的集合中已量化的码字序列进行解码。对于格栅码的情 况，可以用Viterbi算法来完成解码。其中由已接收校验位指示的所 有码字序列的集合在格栅上表示。Viterbi算法随后被用来识别与预测 值“最靠近”的集合中的序列。对于其他码字(例如，Turbo码)，可 使用相应的解码算法(例如，迭代解码)。如果这个已解码序列与CRC 校验相匹配，那么解码被断言为成功。否则，使用运动搜索模块，获 得下一个候选预测值，并且随后重复进行这一过程。
估计与重构：
一旦量化码字的序列由校验位解码单元720恢复，所恢复的码字 序列就被提供给估计与重构单元730(在这里，也被称为合并单元)。 将所述恢复的码字序列与可从主信道获得的预测值一起使用来获得 信源数据的最佳重构。如果X、Y和N被模拟为高斯随机变量，那么 来自预测值以及量化码字的序列的最佳线性估值能被用来获得信源 重构。然而，任何复杂的信号处理算法(例如，时空内插法)或后处 理机制都能用于这个结构中，并且这些可用于提高处理系统的整体性 能。
换言之，如图7所示，合并单元730将已重构的主流数据和已重 构的辅助流数据合并，以生成输出数据(例如，视频输出数据)。各 种技术都能用于合并已重构的主流数据和已重构的辅助流数据，来生 成输出数据。例如，线性加权(基于线性估值)或本领域中已知的其 他任何非线性混合技术都能用于合并已重构的主数据流和已重构的 辅助数据流。
依照本发明的一个实施例，图8例示了用于处理信息(例如，视 频数据)的方法的流程图。在方框810中，接收输入数据(例如，输 入视频数据)。在方框820中，依照已制订的标准(例如，MPEG-4 或H.263标准)对输入视频数据进行编码，以生成编码数据。在方框 830中，基于输入数据的重构，对输入数据进行编码，以生成编码辅 助信息(也称为提示信息)。在方框840，经由第一信道(也称为主 信道)将在820生成的编码数据传输到目的地(例如，解码子系统)， 而经过第二信道(也称作辅助信道或提示信道)将编码辅助信息传输 到目的地(例如，解码子系统)。如同这里所讨论，经过主信道传输 的信息流被称为主流，而经过辅助信道传输的信息流被称作辅助流。 在方框850，在从主信道接收到编码数据以及从辅助信道接收到编码 辅助信息后，对接收到的编码数据和编码辅助信息进行解码，以生成 输出数据(例如，输出视频数据)。
如上所述，可以看出，根据本发明的各种实施例，这些方法和系 统结构可应用于各种系统配置、应用以及包括视频和音频数据在内的 各种类型的相关数据。从上面的描述可以看出，与传统系统的性能以 及输出数据的质量相比，在如图3所示的使用辅助信息编/解码的处 理系统中，系统的性能和由解码子系统生成的输出数据的质量得到改 善。换言之，与基于传统FEC的差错恢复的方法/解决方案相比，这 里所公开的基于辅助信息的提示信道方法/方案在两个方面具有优 势：(1)与达到相同的性能曲线的基于FEC的解决方案相比，本发 明的基于辅助信息的方法/解决方案会带来更低的等待时间。这是因 为提示信道是一个联合信源信道码，它能在宏块级高效操作。这与 FEC解决方案相反，后者需要在帧级或图片组(GOP)级操作，这会导 致等待时间显著增加；和(2)即使当主信道上没有遇到差错时，本 发明的基于辅助信息的方法能带来质量的改善，因为如前面所描述， 它将两个信息流进行混合。然而，在这种情形下，基于FEC的解决 方案不能改善质量。
虽然参照特定的实施例和具体的例子描述了本发明，但是对于本 领域的技术人员而言，应该理解和明白的是：这些实施例和例子是用 来例示性的，本发明的范围并不局限于这些实施例。可以对上面所描 述的实施例进行许多变动、修改、添加和改善。可以预期的是，这些 变动、修改、添加和改善都落在本发明的范围内，本发明的范围将由 下面的权利要求详细限定。