以下详细描述针对本发明的某些特定样本方面。短语"一个方面"、"另一方面"、"另 外方面"、"一方面"、"一些方面"、"某些方面"等的使用并不希望暗示在各种方面内元 件的各种方面的相互排他性。因此，各种方面和各种方面的元件可被取消和/或组合且仍 属于本申请案的范围内。然而，本发明的各种方面可以如权利要求书所界定和涵盖的大 量不同方式来体现。在此描述中，参考图式，其中始终用相同数字表示相同部分。
各方面包括改进多媒体传输系统中的编码器和解码器中的处理的系统和方法。多媒 体数据可包括运动视频、音频、静止图像或任何其它适当类型的视听数据中的一者或一 者以上。各方面包括使用包括错误检测、再同步和错误恢复的集成错误控制系统来解码 视频数据以维持目标视频质量的设备和方法。可通过包括多个错误弹性设计的联合式编 码器-解码器功能性提供稳固的错误控制。举例来说，根据一个方面已发现，错误恢复可 以是经设计以实现可靠的错误检测和错误定位的端到端集成多层错误检测、再同步和恢 复机制。还巳发现，通过在数据处理期间实施某一跨层交互可实现处理效能方面的益处。 在另一方面中，跨越可缩放压縮视频的基础层和增强层协调可缩放编码位流的错误处理。
图1为说明根据一个方面的多媒体通信系统IOO的功能方框图。系统IOO包括经由 网络140而与解码器装置150通信的编码器装置no。在一个实例中，编码器装置从外部 来源102接收多媒体信号并编码所述信号以用于在网络140卜.传输。
在此实例中，编码器装置110包含耦合到存储器114和收发器116的处理器112。所 述处理器112编码来自多媒体数据源的数据并将其提供给收发器116以用于经由网络140 传送。
在此实例中，解码器装置150包含耦合到存储器154和收发器156的处理器152。 处理器152可包括通用处理器和/或数字信号处理器和/或专用硬件处理器中的一者或一 者以上。存储器154可包括固态或基于磁盘的存储装置或者任何可读且可写随机存取存 储器装置中的- '者或- -者以上。收发器156经配置以经由网络140接收多媒体数据并使 其可用于处理器152以供解码。在一个实例中，收发器156包括无线收发器。网络140 可包含有线或无线通信系统和/或无线系统中的一者或一者以上，其中所述有线或无线通
15信系统包括以太网、电话（例如，POTS)、电缆、电线和光纤系统中的一者或一者以上， 所述无线系统包含码分多址（CDMA或CDMA2000)通信系统、频分多址（FDMA)系 统、例如GSM/GPRS (通用分组无线电服务）/EDGE (增强型数据GSM环境）等时分多 址（TDMA)系统、TETRA (陆地中继无线电）移动电话系统、宽带码分多址（WCDMA) 系统、高数据速率（lxEV-DO或lxEV-DO金牌多播）系统、IEEE 802.11系统、媒体FLO 系统、DMB系统、正交频分多址（OFDM)系统或DVB-H系统中的一者或一者以上。
因为无线信道经历随机位错误和突发错误两者，所以错误恢复经设计以有效处理这 些错误类型两者。已发现，通过使用集成多层错误控制系统，可有效处理所述两种类型 的错误类型。已发现，通过在应用层处使用空间或时间错误隐藏可有效处理影响隔离的 视频部分（包括例如一个或若干个像素，或甚至包括一个或一个以上物理层包（PLP)的 丢失）的随机位错误。然而，借助于嵌入在传送和同步层中的错误控制模块可更有效地 处理导致丢失多个连续PLP的突发错误，如下文论述。
图2为例如图1中所说明的系统中的编码器装置110和解码器装置150中的包括跨 层错误控制系统的用于划分任务的多层协议堆栈的实例的方框图。参看图1和图2，例 如编码器装置110和解码器装置150等通信装置可使用用于分配处理任务的多层协议堆 栈。编码器装置110和解码器装置150中的上层组件可包括多个应用程序，例如视频或 音频编码器和/或解码器。 一些实施例可包括意欲同时解码的多个信息流。在这些情况下， 还可在上层组件中执行所述多个流的同步任务。在编码器装置110中，上层组件可提供 经由无线网络和/或有线网络140传输的位流中的编码时序信息。在解码器装置150中， 上层组件可剖析所述多个信息流，使得相关联的应用程序大约同时将其解码。
编码器装置110的上层组件分布在应用层205和同步层210中的一者或一者以上中。 编码器装置110的下层组件分布到传送层215、流和/或媒体接入控制（MAC)层220和 物理层225中的一者或一者以上中。类似地，解码器装置150的上层组件分布在应用层 230和同步层235中的一者或一者以上中。解码器装置150的下层组件分布到传送层240、 流和/或媒体接入控制（MAC)层245和物理层350中的一者或一者以上中。熟练的技术 人员将了解这些层且熟悉其中各种任务的分配。应注意，如本文中所使用的术语"上层" 和"下层"是相对术语。举例来说，可参考应用层230将同步层235称为下层，但可参 考传送层240将同步层235称为上层。
在此实例中跨越所述层中的每一者提供编码器装置110中的错误弹性系统255。编码 器装置110中的下层组件可包括用以提供错误弹性的各种方案。下层组件中所提供的此
16些错误弹性方案可包括一个或一个以上错误控制编码方案、交错方案和熟练的技术人员 已知的其它方案。解码器装置150中的下层组件可包括实现错误检测和校正的相应错误 解码组件。 一些经由有线和/或无线网络150引入的错误可能无法由解码器装置110的下 层组件校正。对于那些无法校正的错误，例如由编码器装置105的下层组件请求重新传 输讹误组分等解决方案可能对于一些情况是不可行的。
编码器装置150的上层组件可将与各种通信层相关的关于多媒体数据包化的描述性 信息附加在标头中。在一些实例中，在各种层级处执行包化以允许多个数据流在编码过 程中被分裂（剖析）且在解码期间至少部分使用由编码器的各种层添加的标头信息来重 新组合。举例来说，同步层210可添加识别与可同时解码多种类型包的多个解码器组件 链接的多种类型包的标头信息。同步层标头信息可包括识别数据序列时间、数据序列持 续时间、目的地解码器组件（例如，音频、视频和隐藏字幕）、帧编号、包数目和其它信 息的字段。在一些实例中，同步层包可为可变长度。这可归因于各种编码方案，例如包 括可变长度编码方案的数字压缩方案。
传送层215还可将描述性信息附加到传送标头中的传送层包。传送层包可为固定长 度，以便支持各种错误编码方案、调制方案和使用固定长度包的其它方案。传送标头可 含有识别已从单个同步层包剖析的传送层包的数目的信息。如果同步层包为可变长度， 那么含有所述数据所需要的传送层包的数目也可为可变的。
在一个方面中，包括在传送和/或同步标头中的至少一些信息可包括在目录中。所述 目录可包括与例如应用层205、同步层210、传送层215和其它层等各种层相关的标头信 息。可将所述目录传送到解码器。所述信息可由解码器装置用于恢复各种错误，包括识 别错误接收的错误包的大小、识别下一可用包以便进行再同步和其它操作。来自标头目 录的标头信息可用于替代数据流中的丢失或错误的原始标头信息。标头目录的进一步细 节可参见2006年9月25日申请的题为"实现H.264和其它变换编码信息的高度有效部 分解码的视频编码方法（VIDEO ENCODING METHOD ENABLING HIGHLY EFFICIENT PARTIAL DECODING OF H.264 AND OTHER TRANSFORM CODED INFORMATION)" 的第11/527,022号申请案，所述申请案转让给本受让人且以引用的方式全部并入本文中。
在此实例中，跨越所述层中的每一者提供编码器装置150中的错误恢复系统260。 解码器装置150可包括用以提供错误恢复的各种方案。此些错误恢复方案可包括下层错 误检测和校正组件（例如里德-所罗门编码（Reed-Solomon coding)和/或涡轮编码 (Turbo-coding))以及用以替代和/或隐藏不可由下层方法校正的数据的上层错误恢复和/
17或错误隐藏方案。应用层230中的各种错误恢复组件可受益于可用于例如同步层235和 传送层240等下层的信息。所述信息可包含在传送层标头、同步层标头、标头目录（如 果可用的话）中，或可在解码器处基于对所接收数据的评估而产生。
如上文所论述，编码器装置110中的错误弹性系统255和解码器装置150中的错误 恢复系统260形成本文中称为错误控制系统的端到端集成多层错误检测、再同步和恢复 机制。现在将论述错误控制系统的细节。
应注意，可省略、重新布置、划分和/或组合图1和图2中所示的编码器装置110或 解码器装置150的一个或一个以上元件。
图3A为说明可用于例如图1中所说明的系统100等系统的解码器装置150的一方面 的功能方框图。在此方面中，解码器150包含接收器元件302、信息组织器元件304、错 误控制决策元件306和多媒体解码器元件308。
接收器302接收经编码的视频数据（例如，由图1的编码器IIO编码的数据）。接收 器302可经由例如图I的网络140等有线或无线网络而接收经编码的数据。在一个方面 中，所接收的数据包括表示源多媒体数据的变换系数。将所述变换系数变换到其中相邻 样本的相关性显著减少的域中。举例来说，图像通常在空间域中展现高度的空间相关性。 另一方面，经变换的系数通常彼此正交，从而展现零相关性。可用于多媒体数据的变换 的一些实例包括（但不限于）DCT (离散余弦变换）、DFT (离散傅立叶变换）、哈德玛 (Hadamard)(或沃尔什-哈德玛（Walsh-Hadamard))变换、离散子波变换、DST (离散 正弦变换）、哈尔（Haar)变换、斜变换、KL (卡忽南-拉维（Karhunen-Loeve))变换和 例如H.264中所使用的整数变换。所述变换用于变换多媒体样本的矩阵或阵列。通常使 用二维矩阵，但也可使用一维阵列。
所接收的数据还包括指示已如何编码经编码的区块的信息。此信息可包括例如运动 向量和帧序列编号等帧间编码参考信息，和包括区块大小和空间预测方向性指示符的帧 内编码参考信息，以及其它信息。 一些所接收的数据包括指示已如何由某一数目的位来 约计每一变换系数的量化参数、指示经变换的矩阵中有多少变换系数为非零的非零指示 符和其它。
信息组织器元件304从所述位流收集关于多媒体数据的描述性信息。在一个方面中， 信息组织器304解译传送和同步层标头数据以供进一步处理。传送标头可经处理以确定 帧和超帧边界，其中超帧是一群组通常可独立解码的帧。超帧可包括覆盖范围在约0.2 秒到约2.0秒之间的固定时间周期的帧。超帧大小可经选择以允许合理的获取时间。传
18送标头还可经处理以确定帧长度和帧到位流中的字节偏移，以便处理从流/MAC层接收 的错误PLP。同步层标头可经处理以提取帧编号并解译基础和增强帧，在错误情况下提 取用以内插呈现时间戳记所需的帧速率，和/或内插并导出通过帧速率上转换（FRUC) 而内插的帧的PTS。同步标头还可经处理以提取视频帧的呈现时间戳记以与相关联的音 频帧同步，且在导致解码器中丢失同步的错误情况下提取随机存取点位置以标记下一再 同步点。如果如上文所论述的标头目录可用，那么信息组织器304还可从所述标头目录 收集信息。
除了从标头和标头目录收集信息外，信息组织器304还可产生关于视频数据的描述 性信息。各种标头检验和、有效负荷检验和以及错误控制方案均可用于识别数据的哪一 部分是错误的。所产生的信息可包括识别数据的这些错误部分的数据。错误数据可为错 误分布测量或错误率测量。可在从帧级到切片级（切片是一群组经编码的像素区块）、像 素区块级或甚至像素级的任一级上组织错误数据。这些类型的关于错误数据的描述性信 息可用于定位并确定错误范围。下文中将论述可由信息组织器304识别、编译、收集、 维持、旗标表示或产生的各类型信息的细节。
在一个方面中，错误控制决策元件306使用由信息组织器304收集和/或产生的描述 性信息（例如，以表格形式存储）以提供与多媒体数据的处理相关的指令。错误控制决 策元件306分析所述描述性信息，以便定位错误并确定视频的哪些部分受影响和这些部 分错误到什么程度。通过使用此信息，错误控制决策元件306可确定用于处理所述错误 状况的错误控制方法。在另一方面中，错误控制决策元件306从上层接收反馈信息。所 述反馈信息可包括与上层中的多媒体的处理相关联的信息。所述反馈信息可包括向上传 递到上层的描述性信息中已不正确的信息。此信息可用于校正存储在下层中的表。另外， 反馈信息可包括处理时间、处理动作、处理状态和其它信息。可由错误控制决策元件306 分析此类型的信息以确定如何指令上层。
错误控制决策元件306分析其已收集的信息，以便决定当多媒体数据转发到上层时 上层应如何处理所述多媒体数据。决策可包括选择若干错误控制方法中的一者或一者以 上。错误控制方法可包括视频数据的错误部分的空间和/或时间错误隐藏。错误控制方法 还可包括错误恢复技术，其中对错误数据进行分析以基于上层应用程序可用的上下文或 其它信息以某一方式对其作出补救。可使用的时间错误隐藏的极端形式称为帧速率上变 换或FRUC。 FRUC基于其它帧（通常为横跨待构造的帧的两个帧）来构造新的帧。当数 据的错误部分处于可管理的级别（例如，经确定为可视情况隐藏的帧的若干部分、单个
19帧或多个帧）时，错误控制决策元件306可指令上层使用空间和/或时间错误隐藏、错误 恢复或FRUC，以及其它错误控制方案。然而，如果错误数据的范围太广，那么错误控 制元件可指令上层跳过对错误部分的解码。下文论述错误控制决策元件306确定如何指 令上层时所使用的细节。
多媒体解码器元件308执行与可包括音频、视频隐藏字幕和其它的多媒体位流的解 码相关的功能。多媒体解码器执行对应于用于编码所述数据的编码操作的逆操作。经编 码的数据可为帧间编码数据（例如，时间预测的数据）和/或帧内编码数据。参看图2， 可在多个级别（例如传送层240、同步层235和应用层250)处执行由多媒体解码器308 执行的功能。传送层功能可包括用于校正错误并识别不可校正错误的错误检测和校正方 案。可将经识别的不可校正错误传送到信息组织器304以将其包括于如上文所论述的描 述性信息中。同步层功能可包括缓冲多个位流的所接收数据，直到所有同步数据准备好 解码为止。此时，将其转发到应用层解码器以进行几乎同时的解码。应用层功能可包括 音频、视频和隐藏字幕位流的解压縮。各种解压縮功能可包括解量化和用于重构视频数 据的逆变换。在一个方面中，在信息组织器304和错误控制决策元件306已执行上文所 论述的功能之后，视频解码器元件308的应用层以解码次序每次一个帧地接收视频帧。
在一些方面中，可省略、重新布置和/或组合图3A的解码器150的元件中的一者或 一者以上。所述元件可由硬件、软件、固件、中间件、微码或其任何组合来实施。下文 将参看图5A到图5C中所说明的方法来论述由解码器150的元件执行的动作的细节。
图3B为说明可用于例如图1中所说明的系统的解码器装置的计算机处理器系统的实 例的方框图。此实例的解码器装置150包括预处理器元件320、随机存取存储器（RAM) 元件322、数字信号处理器（DSP)元件324和视频核心元件326。
所述预处理器320在一个方面中用于执行由图3A中的各种元件所执行的动作中的一 者或一者以上。预处理器剖析视频位流并将数据写入到RAM 322。另外，在一个方面中， 预处理器320实施信息组织器234、错误控制决策元件306和多媒体解码器308的预处 理部分（例如，错误隐藏、错误恢复等）的动作。通过在预处理器320中执行这些更有 效、更少计算强度的动作，可在高效视频核心326中以因果次序进行更多计算强度的视 频解码。
DSP324检索存储于RAM 322中的经剖析的视频数据并将其重新组织以由视频核心 326来处理。视频核心326执行解量化（还称为再縮放或縮放）、逆变换和解区块功能以 及其它视频解压縮功能。视频核心通常以高度优化和管线化型式来实施。由于这点，当
20以因果次序解码视频数据时，可以最快方式解码所述视频数据。通过在预处理器中执行 无序剖析、错误检测、信息组织或错误控制，针对视频核心中的解码维持因果次序，从 而实现改进的总解码效能。
如上文所论述，信息组织器元件304可收集描述性信息，将其组织成表并将所述表 转发到上层以用于错误控制的目的。描述性信息的一个来源是附加到各种包化层的包的 各种标头。图4展示多层包化方案的实例的说明。此实例性包化方案用于解释错误控制 系统的某些方面，但也可使用其它包化方案。传送层和同步层是成帧与检验和协议。其 提供分层机制以在各种层级处（包括例如在超帧（选定数目的经处理的帧）级别处、在 视频存取单元（VAU)级别处或在PLP级别处）检测错误。因此，可在这些级别中的任 一者或全部处执行有效的错误定位。包含单个视频帧的VAU在应用层处对同步层包提供 额外级别的完整性检验。
在此实例中，应用层包405A和405B可为间定和/或可变长度包。应用层包405A和 405B每一者可为完整的视频帧或VAU。同步层将同步层标头（SH) 410附加到每一应用 层包405A和405B,从而产生同步层包406A和406B (图4中的同步层包406A和406B 包括同步层标头410并分别包括应用层包405A和405B)。接着将同步层包406A和406B 输入到传送层。在此实例中，传送层包为固定长度。传送层将同步层包拆分成对应于传 送层包大小的部分并将传送层标头（TH) 415附加到所得传送层包。传送层还可将帧检 验和（FCS)附加到毎一同步层包（未图示）。FCS可用于检测同步层包中的错误。在此 实例中，将包含应用层包405A的同步层包406A分裂成两个传送层包420A和420B，其 中包420B包括同步层包406A的剩余部分425B和同步层包406B的第一部分425C。在 此实例中，在下一同步层包406B开始之前，将额外传送层标头415附加到传送层包420B 的部分425C。第三传送层包420D含有同步层包406B的下一部分425D。
同步层标头410和传送层标头415可含有目标为使解码器能够重新组合同步层包和 应用层包的相似信息。标头可包括例如包大小、包数目、标头在包内的位置、数据序列 时间、数据序列持续时间、帧时间、帧编号、随机存取点旗标、帧速率和/或一群组中的 相关联包的数目等信息。另外，标头信息可包括将相关联包识别为属于视频位流、音频 位流和/或隐藏字幕位流的流识别信息。现将论述传送和同步层标头的特定实例。
传送层的一个功能是提供优于流/MAC层的基于八位字节的服务的包服务。传送层 还提供用以在存在物理层错误的情况下确定其有效负荷包（图4中所示的实例中的VAU) 的边界的机制。多个成帧协议可与传送层联合使用。与传送层相关联的成帧协议指定用
21于组合其有效负荷包以创建待传递到应用层中的解码器的包的规则。成帧协议还指定用 于处理PLP错误和可由解码器预期的所得行为的规则。
表1中给出传送层标头415中的某些字段的实例性格式。在此实例中，成帧协议规 则提供122字节固定长度的PLP。除了指示有效负荷（此实例中的VAU)的开头和末端 以外，传送标头还用于将错误PLP传达到上层。
表1
字段_ ^_ ^§_
^ji 单位（7) "5^1
最后 位（1) 0/1
表1中的传送标头为一个字节长。七位"长度"字段指示以字节计的有效负荷的长
度.目.具有从O到121个字节的范围（由于PLP为122个字节长且标头为一个字节，因此 最大值为121)。设定为"1"的"最后"字段指示此传送层包含有VAU的最后片段。在 此实例中，如果PLP经确定为错误的（如由检验和及/或错误校正方案中的一者或一者以 上所确定），那么传送层将"长度"字段的值设定为122，从而将整个PLP标记为不可用 于其所转发到的上层。
表2中给出同步层标头410中的某些字段的实例性格式。同步层包针对视频形成用 于传送层的有效负荷。在一个实例中，视频帧形成同步层包。在表2中所示的实例中， 同步层包标头410为固定4字节标头，且相应同步层包为对应于一个视频帧的可变长度 有效负荷。包括于表2的同步标头字段中的信息可包括例如以下各项等信息：视频帧类 型、帧速率、呈现时间戳记、随机存取旗标、超帧内的帧编号，和所述数据是与基础层 位流还是与增强层位流相关联，以及其它信息。
表2
字段名称_字段类型_ _
流—ID 单位（2) OO-视频；Ol-音频；10-隐藏字幕
PT—S 单位（14) 呈现吋间戳记
帧—ID 帧—ID一类型（7) 帧_编号和增强—旗标
帧—编号：当前帧在SF内的编号 增强一旗标：0-基础； 1-增强层
RAP—旗标 位（1) 随机存取点
l-RAP
帧—速率 单位（3) 000-15 fps， 001-30 fps,等
22保留 单位（5) 保留位
"流—ID"字段用于指示多个多媒体流中的有效负荷数据与其相关联的一者（例如， 音频、视频、隐藏字幕数据等）。"PTS"字段用于指示可用于同步音频、视频等的呈现时 间。"帧—ID"字段包括循环帧编号（例如，7个位表示帧0到127)部分和指示所述数据 是基础层数据还是增强层数据的增强位。如果未使用可缩放编码，那么可省略增强位。 "RAP—旗标"字段用于指示帧是否可由解码装置用作随机存取点。可在不参考任何其它 先前或将来帧或视频的其它部分的情况下解码随机存取点。"帧_速率"字段指示多个可 能的帧速率中的一者。帧速率的范围可从约每秒15个帧或更低到约每秒60个帧或更高。 "保留"字段可用于传送熟练的技术人员可发现有益的其它类型的信息。
除了传送标头信息和同步标头信息以外，用于信息组织元件的描述性信息的另一来 源可为标头目录，如上文所论述。标头目录是作为（在一个实例中）与视频和/或音频位 流分开的辅助信息传输的复制标头信息的表。标头目录信息例如表3中所列出。
表3
字段名称
RAP—旗标一位 B—帧一旗标—位 保留
字段类型
消息一ID 媒体一类型 数目—VSL—记录 VSL—记录
位（60) 位（60) 位（3)
字段值
单位（8) 单位（2) 单位（1) VSL—记录—类型
5:视频同步目录 0:视频同步目录消息
0: 1个VSL—记录；1
VSL—记录含i
1. 帧速率
2. 帧数目
3. 第一帧PTS
4. 最后帧PTS
SF中的RAP帧位置位映像 SF中的B帧位置位映像 TBD
2个VSL—记录
标头目录可作为可变长度有效负荷传输。所述信息中的许多信息是包化方案的各种 标头中的信息的复制（例如，帧速率、呈现时间戳记、随机存取点）。然而，可包括额外 信息。此额外信息可包括"B一帧一旗标—位"字段，其指示B帧在超帧内的位置。超帧通 常以例如帧内编码帧等可独立解码的帧开始。超帧中的其它帧通常包含单向预测部分（本 文中称为P帧部分或简单地称为P帧）和双向预测部分（本文中称为B帧部分或简单地 称为B帧）。在表3的实例中，将超帧中的随机存取点映射到"RAP一旗标一位"字段中。
标头目录提供标头信息和关于某些帧（例如，B帧）在超帧内的位置的额外信息。
23此信息可用于替代丢失的标头信息（由于错误而丢失）以及使得信息组织器元件304能 够确定原本无法识别的数据的错误部分的可能身份。
图5A为说明在例如图1中所说明的系统中处理多媒体数据的方法的实例的流程图。 过程500在方框505处开始，在方框505处，解码器装置接收经编码的多媒体数据。所 述经编码的多媒体数据可具有与多媒体数据位流相关联的压縮数据的形式。解码器装置 可经由例如图1中所示的网络140等有线和/或无线网络接收多媒体数据。多媒体数据可 包含多个同步和/或不同步位流，其包括（仴不限于）音频、视频、隐藏字幕等。多媒体 数据可包含多个包化层，其包括应用层包、同步层包和传送层包。所述多个层毎一者可 包括如上文所论述的标头信息。标头信息可包括例如上文在表I和表2中所列出的信息。 视频数据可布置于例如帧、切片、像素区块等部分中。可将帧分组成具有多个帧的超帧。 所接收的多媒体数据还可包括如上文所论述的标头目录。所接收的多媒体数据可编码于 例如基础层和增强层等可縮放层中。标头目录可含有例如表3中所列出的信息。图3A中 的解码器装置150的接收器元件302可执行方框505处的功能。
在方框505处接收多媒体数据之后，过程500继续进行到方框510，在方框510处， 解码器装置组织关于所接收的多媒体数据的描述性信息。如上文参看图3A所论述，在方 框505处，信息组织器元件304从位流收集关于多媒体数据的描述性信息。传送标头可 经处理以确定帧和超帧边界。传送标头还可经处理以确定帧长度和帧到位流中的字节偏 移。同步层标头可经处理以提取帧编号并解译基础和增强帧（例如，对于可缩放编码位 流），提取帧速率，和/或内插并导出帧的PTS。同步标头还可经处理以提取呈现时间戳 记或提取随机存取点。如果在方框505处接收到如上文所论述的标头目录，那么在方框 510处所识别、编译、收集、维持、旗标表示或产生的信息也可从所述标头目录获得。
在方框510处组织的描述性信息还可包括关于错误数据的信息。错误数据可包括错 误分布测量或错误率测量。可在从帧级到切片级（切片是一群组经编码的像素区块）、像 素区块级或甚至像素级的任一级别上组织错误数据。这些类型的关于错误数据的描述性 信息可用于定位并确定错误范围。现论述可在方框510处组织的描述性信息表的实例。
表4列出可在方框510处产生的帧信息表的实例。也可在例如切片、像素区块等其 它级别处组织类似的表。
表4
24帧编号层 帧长度PTS 帧类型RAP旗标PLP错误分布 PLP错误比率动作
1 基础U PTS1 1 1 错误—分布—1
2 基础 L2 PTS2 P 0 错误—分布—2 10% TBD
3 基础L3 PTS3 P 0 错误—分布—3 0% TBD
4 基础 L4 PTS4 P 0 错误—分布—4 40% TBD
帧编号、层（例如，基础或增强）、帧长度、PTS、帧类型、RAP—旗标字段可从己知 为不错误的同步层标头获得。如果在方框505处接收到标头目录，那么这些字段还可从 所述标头目录获得。如果将若T错误帧级联在一起（例如，由于同步标头的讹误），那么 可将帧长度字段设定为等于级联帧的字节的总数目的值。举例来说，帧类型字段可用于 指示I帧、P帧或B帧。这些字段中的一些字段可能由于数据的讹误而无法被填写。
PLP错误分布字段用于提供与错误数据在所检测帧内的位置相关的描述性信息。每 一帧可由如上文参看图4所论述的若干PLP组成。"错误—分布—n"变量含有PLP的哪一 部分含有错误数据的指示。可使用若千指示错误分布的方法。举例来说，错误分布可上 舍入为帧的1/16部分并可由两字节"错误—分布—n"变量来表示。所述两字节变量的每 一频率组或位指示针对所述帧的1/16部分存在错误PLP。值"1"指示针对所述范围存 在错误PLP，且"0"指示无错误PLP部分。如果若干帧级联在一起，那么PLP错误分 布俘获所述级联帧内的所有PLP的总错误分布。此时，在过程500中，表4中所列出的 帧信息表的最后字段"动作"未完成且可在方框515处基于帧信息表中所含有的其它信 息来确定。帧信息表可存储于图1中的解码器装置150的存储器元件154中。图3A的解 码器装置150的信息组织器304可执行方框510处的功能。
在方框510处组织描述性信息之后，过程500继续进行到方框515，在所述方框515 处，解码器装置提供与第二层中的多媒体数据的处理相关的指令。所述第二层可为上层 或下层。上文所论述的实例已涉及下层（例如，传送层和/或同步层）向上层（例如，应 用层）提供指令。然而，下文所论述的方法将展示，上层也可基于在上层中获得的描述 性信息而向下层提供指令。
在一个方面中，解码器装置提供与待在另一层（例如，应用层）中执行的错误控制 方法相关的指令。错误控制方法可包括各种错误恢复技术。在错误恢复技术中，尝试补 救错误数据中所含有的变量值。这些方法可包括使用上文论述的标头目录（如果在方框 505处接收到所述标头目录的话）以识别序列层包的帧有效负荷的大小。标头目录可含 有识别编码类型、传送层包数目和大小、时序信息等的信息。
可执行的另一形式的错误控制是错误隐藏。错误隐藏技术通常涉及从其它已经接收
25和/或解码的像素值来估计像素值。错误隐藏技术可使用时间和/或空间隐藏。举例来说， 如果P帧的一部分是错误的，那么可将错误隐藏选择为基于已经解码的先前帧的时间隐 藏。如果B帧的一部分是错误的，那么可使用来自两个其它经接收和/或经解码的帧的时 间预测。
可执行的另一形式的错误控制是FRUC。在FRUC技术中，基于一个或一个以上其 它帧来构造完整帧。FRUC技术可使用与用于帧的部分的时间隐藏技术相似的时间隐藏 技术，仍.仅对所述完整帧执行。
在一个方面中，图3A的解码器装置150的错误控制决策元件306执行方框515处的 动作。错误控制决策元件306使用已在方框310处组织的错误分布特征来确定推荐执行 各种错误控制技术中的哪一种。下文论述用于确定推荐哪一种错误控制技术的方法的细 节。在一些情况下，错误控制决策元件306可确定没有错误控制技术是可行的且可推荐 跳过用于一个或一个以上帧的错误控制。在此情况下，可改为显示已被成功解码的上一 帧。在一个方面中，将在方框515处确定的错误控制方法存储于如表3中所示的帧信息 表的"动作"字段中。将帧信息表传递到其中执行错误控制方法的层。视频解码器从帧 信息表中取得相应帧的"动作"项并将其用作引导解码过程的起始点。应注意，可组合、 省略、重新布置或以其任何组合处理过程500的一些方框。
图5B为说明在例如图1中所说明的系统中处理多媒体数据的方法520的另一实例的 流程图。方法520可在解码器装置的具有在下层中执行图5A的方法500的下层的应用层 中执行。
方法520在方框525处开始，在所述方框525处，在执行方法520的层处接收多媒 体数据。多媒体数据可为多媒体数据的部分，例如帧、切片或像素区块。在一个方面中， 在方框525处所接收的多媒体数据的部分已在例如传送层和/或组合传送层包以形成完整 同步层包的同步层等下层处被编译。完整同步层包可为完整帧或可被解码的视频的某其 它部分。在一些方面中，在方框525处所接收的多媒体数据的部分以其可在多媒体序列 中显示的次序被接收。图1中所展示的解码器装置150的多媒体解码器子系统308可执 行方框525处的动作。
在方框525处接收多媒体数据之后，执行过程520的解码器层在方框530处从第一 层接收关于多媒体数据的描述性信息。第一层可为下层（例如，传送层或同步层）。在方 框530处所接收的描述性信息可在上文论述的过程500的方框510处被识别、编译、收 集、维持、旗标表示或产生。在方框530处所接收的描述性信息可具有包括例如上文在
26表3或表4中所示的那些条目等条目的帧信息表的形式。帧信息表可包括与处理所述多 媒体数据相关的推荐"动作"。图1中所示的解码器装置150的多媒体解码器子系统308 可执行方框530处的动作。
在方框525处接收多媒体数据和在方框530处接收关于多媒体数据的描述性信息之 后，过程520在方框535处继续，在所述方框535处，第二层至少部分基于所接收的描 述性信息而处理所接收的多媒体数据。如果描述性信息含有推荐的"动作"，那么执行过 程520的解码器子系统可能使用或可能不使用所推荐的动作。如上文所论述，所推荐的 动作可包含一个或一个以上错误控制技术，其中包括（但不限于）错误恢复技术、错误 隐藏技术或跳过解码。解码器装置依据可在错误恢复期间恢复什么数据而可能遵循或可 能不遵循所推荐的动作。举例来说，组织在方框530处接收的描述性信息的下层过程可 能尚未能识别在错误数据部分中有多少帧。上层错误恢复技术可能能够识别所述错误数 据部分中的帧的数目，且可选择执行尚未在帧信息表的"动作"字段中推荐的一些错误 恢复或隐藏技术。图1中所示的解码器装置150的多媒体解码器子系统308可执行方框 535处的动作。应注意，可组合、省略、重新布置或以其任何组合处理过程520的一些 方框。
图5C为说明在例如图1中所说明的系统中处理多媒体数据的方法540的另一实例的 流程图。方法540在方框545处开始，在所述方框545处，解码器装置接收经编码的多 媒体数据。在方框545处执行的动作可类似于在图5A中所说明的过程500的方框505 处执行的那些动作。图3A中的解码器装置150的接收器元件302可执行方框545处的功能。
过程540的剩余动作包括在下层处执行的动作550和在上层处执行的动作570。下 层动作550包括某些可与在图5A中所说明的过程500中执行的一些动作类似的动作。同 样，上层动作570包括某些可与在图5B中所说明的过程520中执行的一些动作类似的动 作。
图5C中所说明的方法540可由例如图6中所示的多层多媒体解码器子系统来执行。 在一个方面中，多媒体解码器600包含位于传送层和同步层中的下层媒体模块子系统 605。多媒体解码器600还包括位于应用层中的上层子系统。媒体模块子系统605可包括 图3A中所说明的信息组织器304和错误控制决策子系统306。应用层包括多媒体解码器， 所述多媒体解码器包括视频解码层（VDL) 610和错误控制子系统615。下层媒体模块向 上层提供描述性信息和/或指令，如向上箭头620所指示。上层子系统610和615可向下
27层提供反馈，如箭头625所指示。
参看图5C,在方框545处接收经编码的多媒体数据之后，过程540在方框555处继 续，在所述方框555处，下层组织关于所接收的多媒体数据的描述性信息。在方框555 处所执行的动作可类似于在图5A中所说明的过程500的方框510处所执行的那些动作。 所述描述性信息可包括例如表3和表4中所说明的信息等上文论述的信息中的任何信息 或全部信息。
在方框555处组织描述性信息之后，过程540在方框560处继续，在所述方框560 处，确定与多媒体数据的处理相关的指令。可基于错误分布和在方框555处组织的其它 描述性信息来确定所述指令。另外，在过程540中，下层接收来自上层的反馈。反馈可 包括与上层中的多媒体数据的处理相关的信息。反馈可包括例如多媒体数据的特定部分 的处理时间、上层中所执行的处理动作（例如，错误控制动作）和处理状态（例如，哪 些帧已被解码并被显示）等信息。反馈可用于在方框555处重新组织描述性信息。下文 论述用于在方框560处确定与多媒体数据的处理相关的指令的方法的细节。图5A中的解 码器装置150的错误控制决策子系统306可执行方框560处的动作。
在方框565处，下层子系统将与多媒体数据的处理相关的描述性信息和/或指令提供 给上层子系统。在方框575处，上层子系统接收描述性信息和/或指令。多媒体解码器子 系统308可执行方框565和575处的动作。
在方框575处接收描述性信息和/或指令之后，过程540在方框580处继续，在所述 方框580处，上层子系统基于指令和/或描述性信息来处理多媒体数据。在方框580处执 行的动作可类似于在图5B中所说明的方法520的方框535处执行的那些动作。如果描述 性信息含有推荐的"动作"，那么执行过程540的解码器子系统可能使用或可能不使用所 推荐的动作。如上文所论述，所推荐的动作可包含一个或一个以上错误控制技术，其中 包括（但不限于）错误恢复技术、错误隐藏技术或跳过解码。解码器装置依据可在错误 恢复期间恢复什么数据而可能遵循或可能不遵循所推荐的动作。举例来说，在方框555 处组织描述性信息的下层过程可能尚未能识别在错误数据部分中有多少帧。上层错误恢 复技术可能能够识别所述错误数据部分中的帧的数目，且可选择执行尚未在帧信息表的 "动作"字段中推荐的一些错误恢复或隐藏技术。图1中所示的解码器装置150的多媒体 解码器子系统308可执行方框580处的动作。
过程540在方框585处继续，在所述方框585处，上层多媒体解码器基于在上层动 作570中执行的处理而用反馈信息指令下层。反馈可包括解码多媒体数据的某一部分所
28需要的处理时间或已完全解码所述数据部分的处理时间。通过将完整处理时间与在方框 545处所接收的新多媒体数据的呈现时间戳记进行比较，如果上层处理时问基于过去的 处理效能而展示落后的指示，那么下层过程可指令上层跳过某些帧（例如，B帧）。可将 在下层处接收的反馈信息组织到在方框555处所组织的描述性信息中。
反馈还可包括关于上层中所执行的处理动作的细节。举例来说，反馈可指示已针对 特定帧或多媒体数据的其它部分进行的特定错误控制技术和/或正常解码动作。反馈还可 包括处理状态（例如，帧的成功解码或未成功解码）。通过将处现动作和处理状态反馈信 息包括于方框555处所组织的数据中，下层可基于更新的描述性信息而调整在方框560 处所确定的指令。如果处理经备份，那么下层可指令上层跳过对例如B帧等某些帧或增 强层数据的解码。图1中所示的解码器装置150的多媒体解码器子系统308可执行方框 585处的动作。应注意，可组合、省略、重新布置或以其任何组合处理过程540的一些 方框。
图7为说明图5A和图5C中所说明的方法中的组织可用于执行某些动作的描述性信 息的方法的实例的流程图。可执行过程700以在图5A中所说明的过程500的方框510 处或在图5C中所说明的过程540的方框555处组织描述性信息。过程700在方框705 处开始，在所述方框705处，将（例如）在过程500中的方框505处接收到的多媒体数 据的超帧存储于存储器缓冲器中。超帧是一群组通常可独立解码的帧。超帧可包括覆盖 范围从约0.2秒到约2.0秒的固定时间周期的帧。还可根据固定数目的构成帧来设定超帧 的大小，从而具有可变时间周期。超帧大小可经选择以实现合理的获取时间。在方框705 处存储多媒体数据的超帧之后，过程700在方框710处继续，在所述方框710处，确定 数据是否包括多个层（例如，基础层和一个或一个以上增强层）。如果仅在超帧中编码单 个数据层，那么过程700在方框715A处继续。如果在超帧中编码两个或两个以上数据层， 那么过程700在方框715B处继续。超帧标头可含有指示超帧内是否存在多个层的旗标。 在方框715A或715B处，初始化帧信息表（FIT)。初始化FIT可经执行以将字段设定为 某些默认值。在初始化FIT之后，过程700前进到方框720A或方框720B,这取决于超 帧是否含有多个层。在任一情况下，在方框720A或方框720B处输入可选标头目录中所 含有的信息。标头目录可含有如上文所论述的信息中的任何信息。
分别在方框715A或方框715B处初始化FIT且在方框720A或方框720B处输入可选 标头目录之后，过程700前进以分别在方框725到740或方框745到760处循环通过超 帧。在方框730和750处，解码器装置识别完整的视频存取单元（VAU)，解码器装置可
29通过可用的标头信息识别所述视频存取单元。标头信息可包括例如表1和表2中所示的 传送标头或同步标头（或任何其它标头）中的字段的任一者。还可使用可选标头目录中 的信息。将过程700中的VAU假定为帧，但也可在方框730或方框750处识别例如切片 或区块等其它部分。在识别完整VAU之后，分别在方框735或方框755处识别经识别的 VAU内的视频数据的错误部分。可通过标头检验和失效或传送层检验和失效等来识别所 述错误部分。用于检测错误数据的许多技术为所属领域的技术人员所知。错误部分可用 于编译FIT的错误分布信息（参见表4中的PLP错误分布和PLP错误率字段）。在方框 735或方框755处识别VAU的错误部分之后，分别在方框740或方框760处组织FIT信 息。FIT中的信息可包括上文在表4中所论述的信息中的任何信息。过程700继续循环 通过超帧（方框725到740或方框745到760)，直到在决策方框725或方框745处识别 到超帧的末端为止。当识别到超帧的末端时，过程700继续进行到方框800，在所述方 框800处，确定错误控制动作。图3A中的解码器装置150的信息组织器组件304可执行 过程700的动作。应注意，可组合、省略、重新布置或以其任何组合处理过程700的一 些方框。
图8A和8B为说明图7中所说明的方法中的确定错误控制动作的方法的实例的流程 图。过程800还可经执行以确定错误控制动作并在图5A中所说明的过程500的方框515 处或在图5C中所说明的过程540的方框560和565处提供相应指令。在一个方面中，过 程800用于确定待提供给上层的错误控制动作。举例来说，基于多媒体帧的错误分布和/ 或错误率而确定错误控制动作。在另一方面中，过程800识别上层在执行所推荐的错误 控制动作时可能会使用的多媒体数据的其它部分。
如上文所论述，可在例如基础层（例如，最高有效位）和一个或一个以上增强/3 (例 如，最低有效位）等多个层中编码一些多媒体数据。增强层还可含有B帧的所有数据。 在这些情况下，FIT含有基础层和增强层两者的部分，且所述层中的任一层或所有层可 能是错误的。图9绘示包括用于例如图1中所说明的系统的可缩放编码基础层和增强层 的物理层包的实例的结构。基础层900含有多个PLP910，所述PLP910含有传送层标头 915、同步层标头920和传送层检验和尾部925。基础层905可含冇例如帧930 (标记为 F,)的I帧和例如帧935 (标记为F3)的P帧的最高有效位。增强层950也含有PLP910、 传送标头915、同步标头920和传送层检验和925。此实例中的增强层含有I帧930 (标 记为Fr)和P帧935 (标记为F3')的最低有效位。另外，增强层950含有从I帧930和 P帧935双向预测的完整B帧940 (标记为F2)的同步层包，其中在构造B帧F2之前组
30合并解码基础层和增强层对F,、 F,.和F3、 F3'。过程800在考虑到此形式的可缩放编码的 情况下进行设计。
过程800在方框805处开始，在方框805处，解码器装置将标头信息集成到含有错 误VAU的FIT的部分（例如在图7中所说明的过程700中的方框735和755处所识别的 那些）中。标头信息可从正确接收的传送和/或同步层标头获得或从标头目录获得（如果 接收到所述标头目录的话）。如果错误数据不能对特定PLP隔离（例如，由于同步丢失）， 那么标头冃录信息可用于识别PLP边界且可能填充FIT的"PLP错误分布"和/或"PLP 错误比率"字段。如果标头目录不可用，那么可将"PLP错误比率"设定为100%。实例 性方法800在确定推荐哪一错误控制"动作"时使用"PLP错误比率"。然而，熟练的技 术人员将认识到在确定"动作"时利用"PLP错误分布"信息以及其它形式错误数据的 方式。
在方框805处填充与错误帧相关的FIT的字段之后，过程800前进以在方框810处 开始循环通过超帧中的帧。在决策方框810处，解码器装置检査FIT PLP错误比率数据 并确定连续丢失（即，错误）帧的数目是否大于阈值"丢失—阈值"。如果连续丢失帧的 数目超过所述阈值，那么过程800在方框815处继续，在所述方框815处，将丢失帧的 FIT的"动作"字段设定为推荐跳过解码丢失帧的值。可将"丢失一阈值"阈值设定为其 中其它错误控制技术经确定为无效或经充分降级使得不被保证的帧数目。阈值"丢失_ 阈值"可在约3个帧到约6个帧的范围内。当针对每秒30个帧的帧速率以大于3个帧的 时间距离执行时，时间隐藏技术的效能通常受到降级。较快的帧速率可允许较大的阈值， 例如在每秒60个帧的帧速率下为约6个帧到约12个帧。在方框815处将用于丢失帧的 "动作"设定为跳过之后，过程800继续进行到决策方框820。如果已到达超帧的末端， 那么过程继续到图8B中所说明的过程的剩余部分。如果更多的帧留待处理，那么过程 800继续返回到决策方框810。
在决策方框810处，如果连续丢失的帧的数目不超过阈值（包括完全无错误帧的情 况），那么过程800在决策方框825处继续，在所述决策方框825处，FIT的"帧类型" 字段用于确定当前帧是否为B帧。在此实例中，对B帧执行的错误控制动作不同于对P 帧和I帧执行的那些动作。如果当前帧不为B帧，那么过程800在决策方框830处继续， 在所述决策方框830处，将PLP错误比率（PLP—ERR)与阈值"P—阈值"进行比较。阈 值"PJ竭值"对PLP错误比率设定界限，满足所述界限，正常错误隐藏技术（例如，空 间和时间错误隐藏）是有效的。"P—阈值"阈值可在约20%到约40%的范围内。如果PLP
31错误比率超过"PJ萄值"阈值，那么在方框835处将用于当前帧的"动作"设定为等于 跳过。如果PLP错误比率不超过所述阈值，那么在方框840处将用于当前帧的"动作" 设定为指示执行正常错误隐藏（EC)的值。在方框835或方框840处设定用于当前帧的 "动作"之后，过程800继续进行到决策方框820，且如果更多的帧剩余在超帧中，那么 循环返回到方框810，如上文所论述。
返回到决策方框825，如果当前帧经确定为B帧，那么过程800继续进行到决策方 框845。在所示的实例中，假定B帧位于I帧与P帧之问或位于两个P帧之问。如果先 前帧的"动作"已被确定为跳过"动作"，那么在方框850处，过程800将当前B帧的"动 作"也设定为跳过。由T从其预测当前B帧的数据不可用，因此B帧的正常构造是不可 行的且还可能降级其它错误隐藏选项。
返回到决策方框845，如果并未将先前帧的"动作"确定为跳过，那么过程800继 续进行到方框855,在所述方框855处，将PLP错误比率与另一阈值"B—闳值"进行比 较。如果PLP错误比率大于"BJ萄值"，那么在方框860处，将用于当前帧的"动作" 设定为FRUC，否则在方框865处，将用于当前帧的"动作"设定为正常错误隐藏。此 实例中用于B帧的正常错误隐藏是来自两个经解码的帧的时间预测。所述帧通常包含在 B帧之前的帧和在B帧之后的帧。然而，还可使用两个先前或两个随后B帧。使用当前 B帧的无错误部分的空间隐藏也可与在方框860处确定的正常错误隐藏一起使用。由于 存在两个参考帧供选择且在预测时不需要使用两者，因此阈值"B—阈值"可高于用于P 帧的阈值"PJ魂值"。然而，在一些情况下，与正常错误隐藏相比，FRUC可更为稳固的 且可更好地隐藏，因此可将"BJ竭值"的值设定为低于"PJ竭值"的值。"B—阈值"和 "PJ阔值"的值可取决于例如信道条件的类型和如何引入错误等条件。FRUC中所使用的 隐藏可类似于正常B帧错误隐藏，但其是对全部帧执行。
在决策方框820处已针对超帧中的所有帧作出"动作"决策之后，过程800继续进 行到图8B中的方框870。从方框875到895的循环用可在上层中用于执行所决定的"动 作"的信息来填充FIT表。在方框870处，过程800开始另一遍通过FIT (在开头处开 始），并循环通过所有基础和增强层帧。
在决策方框875处，如果当前帧并非为B帧或待使用FRUC来隐藏的帧，那么过程 在方框880处继续，在所述方框880处，使用用于时间错误隐藏的变量"跳过—数目"来 填充FIT表。"跳过—数目"变量指示在时间上距离当前帧的帧数目，将使用时间错误隐 藏从所述帧数目来预测当前帧。
32图10A以图示方式说明当前P帧1005和位于当前帧之前二个帧的先前经解码的P 帧1010的位置。在此实例中，将"跳过—数目"变量设定为等于三。因此，将不使用已 由解码器跳过的P帧1015和1020。而是，可縮放当前P帧1005的运动向量1025 (见经 縮放的运动向量1030)以指向先前经解码的P帧1010。图IOA将帧说明为一维的，但 其实际上为二维的且运动向量1025指向先前帧中的二维位置。在图IOA的实例中，帧 1010中的对象1035在帧1005中向上移动。如果对象的运动相对恒定，那么运动向量1025 的线性外推可准确地指向帧1010中的正确位置，进而将对象1035在帧1005中向上重新 定位。对象1035的显示位置可在跳过的帧1015和1020中保持恒定。
返回到图8B，在确定用于当前帧的"跳过一数目"变量之后，过程800在方框885 处继续，在所述方框885处，将由"跳过—数目"变量指示的帧的旗标"MV一旗标"设定 为向上层解码器指示应保存帧的经解码值以用于将来错误隐藏的值。图IOB以图示方式 说明用于其它错误帧的错误隐藏的经解码帧的旗标表示。在图IOB的实例中，经解码的 帧1040经旗标表示以用于使用正常错误隐藏来隐藏错误帧1045。经解码的帧1050和 1055均经旗标表示以用于针对帧1060执行FRUC。这些仅为实例，且位于前面和/或后 面的帧的其它组合可用于正常错误隐藏和FRUC。
返回到图8B，在设定待用于隐藏当前帧的帧的MV—旗标之后，过程800在方框895 处继续。在方框895处，解码器检验以查看是否已达到超帧的末端。如果已检测到超帧 的末端，那么过程800结束于当前超帧。如果更多的帧剩余在超帧中，那么过程800返 回到决策方框875以循环通过剩余帧。
在方框875处，如果当前帧为B帧或待使用FRUC隐藏的帧，那么过程800在方框 8卯处继续，在所述方框890处，确定定位两个帧的位置以执行双向预测的变量"B—数 目"和"b—数目"。图10C以图示方式说明用于指示用于使用FRUC隐藏错误帧的两个经 解码的帧的位置的变量（相同变量可用于错误的B帧）。当前错误帧1065已经确定为使 用FRUC来隐藏。将变量"b—数目"设定为二以指示位于两个帧以外的先前帧1070是第 一参考帧。在所示的实例中，帧1075是使用所接收的运动向量1085来从帧1070预测的。 将变量"B—数目"设定为等于3以指示位于帧1070之前-个帧的帧1075是第二参考帧。 在所示的实例中，经解码的帧1075是使用所接收的运动向量1085来从帧1070预测的。 可縮放所接收的运动向量1085，从而产生经缩放的运动向量1090，以指向错误帧1065。 帧1075和1070中由所接收的运动向量1085定位的经解码部分可接着用于隐藏帧1065 的由经缩放的运动向量1090定位的部分。在此实例中，B帧1080不用于隐藏帧1065 (B
33说明书第24/26页
帧通常不用于预测）。通常，最靠近的经正确解码的帧将用于执行错误隐藏。所述两个经解码的帧还均可位于正被隐藏的错误帧的前面或后面。
在方框890处用"B—数目"和"b一数目"变量填充FIT之后，过程继续循环通过方框875到895，直到整个超帧的FIT被填充为止，此时过程800结束。在一个方面中，在将各个帧和FIT转发到上层以进行解码之前，使用过程700和过程800针对超帧中的所有帧填充FIT。以此方式，帧可以其待被解码的次序来转发。另外，可转发或不转发待被跳过的帧。在另一方面中，一R针对帧完成过程700和800两者，便可将所述帧和FIT的相应条目转发到上层。图3A中的解码器装置150的错误控制决策子系统306可执行过程800的动作。
实例性过程700和800将帧用作VAU。然而，VAU还可为切片或像素区块，且可针对这些部分而非帧填充FIT。应注意，可组合、省略、重新布置或以其任何组合处理过程700和800的一些方框。
图11为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150
的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用-T在第一层中
组织关于多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的多媒体数
据的处理相关；和用于至少部分基于描述性信息而提供与第二层中的多媒体数据的处理相关的指令的装置。此方面的一些实例包括：其中所述接收装置包含接收器1102;其中所述组织装置包含信息组织器子系统1104;和其中所述提供装置包含错误控制决策子系
统1106。
图〗2为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在第一层中组织关于多媒体数据的描述性信息的装置，其中所述描述性信息々第二层中的多媒体数据的处理相关；和用于至少部分基于描述性信息而提供与第二层中的多媒体数据的处理相关的指令的装置。此方面的一些实例包括：其中所述接收装置包含用于接收的模块1202;其中所述组织装置包含用于组织信息的模块1204;和其中所述提供装置包含用于
提供指令的模块1206。
图13为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150
的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在上层中处理多媒体数据的装置；用于至少部分基T与上层中的多媒体数据的处理相关联的信息而指令下层的装置；和用于至少部分基于与上层中的多媒体数据的处理相关联的信息而在
34下层中处理多媒体数据的装置。此方面的一些实例包括：其中所述接收装置包含接收器1302:其中所述上层处理装置包含应用层多媒体解码器子系统1308;其中所述用于指令的装置包含应用层多媒体解码器子系统1308;和其中所述下层处理装置包含传送/同步层多媒体解码器子系统1306。
图14为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在上层中处理多媒体数据的装置；用于至少部分基于与上层中的多媒体数据的处理相关联的信息而指令下层的装置：和用于至少部分基于与上层中的多媒体数据的处理相关联的信息而在下层中处理多媒体数据的装置。此方面的一些实例包括：其中所述接收装置包含用于接收的模块1402;其中所述上层处理装置包含用于在上层中处理多媒体的模块1408*.其中所述用于指令的装置包含用于在下层中处理多媒体的模块1408;和其中所述下层处理装置包含用于在下层中处理多媒体数据的模块1406。
图15为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于从第一层接收关于所述多媒体数据的描述性信息的装置，其中所述描述性信息与第一.层中的多媒体数据的处理相关：和用于至少部分基于所接收的描述性信息而在第—层中处理多媒体数据的装置。此方面的一些实例包括：其中所述用于接收多媒体数据的装置包含接收器1502;其中所述用于接收描述性信息的装置包含多媒体解码器1508;和其中所述处理装置包含多媒体解码器1508。
图16为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置：用于从第一层接收关于所述多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于所接收的描述性信息而在第二层中处理多媒体数据的装置。此方面的一些实例包括：其中所述用于接收多媒体数据的装置包含用T接收
的模块1602;其中所述用于接收描述性信息的装置包含用于解码多媒体的模块1608:和其中所述处理装置包含用于解码多媒体的模块1608。
所属领域的技术人员将了解可使用多种不同技艺和技术中的任一种来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示整个以上描述中可能提到的数据、指令、命令、信息、信号、位、符号和小片。
所属领域的技术人员将进一步了解，结合本文所揭示的实例来描述的各种说明性逻
35辑块、模块和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚说明硬件与软件的这种可交换性，上文已大体上在其功能性方面描述了各种说明性组件、块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用和对整个系统强加的设计限制。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但不应将此类实施方案决策解释为造成与所揭示方法的范围的脱离。
结合本文所揭示的实例来描述的各种说明性逻辑块、组件、模块和电路可用通用处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门阵列（FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文描述的功能的其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心或ASIC核心的一个或一个以上微处理器，或任何其它此类配置。
结合本文所揭示的实例来描述的方法或算法的步骤可直接在硬件、由处理器执行的软件模块或所述两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、光存储媒体或此项技术中已知的任何其它形式的存储媒体中。实例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在专用集成电路（ASIC)中。ASIC可驻存在无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻存在无线调制解调器中。
提供先前对所揭示实例的描述是为了使得所属领域的技术人员能够制作或使用所揭示的方法和设备。所属领域的技术人员将容易了解对这些实例的各种修改，且本文所界定的原理可应用于其它实例并且可添加额外元件。
因此，已描述用以对多媒体数据执行高度有效且稳固的错误控制的方法和设备。
36