随着对网络、多媒体、数据库以及其他数字容量的需求的快速增 加，许多多媒体编码方案已经得到演进。最近，国际电信联盟(ITU)的 运动画面专家组(MPEG)以及视频编码专家组(VCEG)已经开始合作，作 为联合视频小组(JVT)来开发新的视频编码/解码(编解码)标准，将其 称为ITU推荐(ITU Recommendation)H.264或者MPEG-4-第10部 分，高级视频编解码(AVC)或者JVT编解码。
JVT编解码设计区别两个不同的概念层，视频编码层(VCL)以及网 络抽象层(NAL)。所述VCL包含编解码的编码相关部分，诸如运动补 偿、系数的变换编码以及熵编码。VCL的输出是片段的，每个层均包含 一系列宏模块以及相关联的首部(header)信息。所述NAL将VCL数 据打包以便在系统层上传输。每个系统层要求一种特定语法。例如， 实时传输协议(RTP)系统要求面向分组的语法，MPEG-2系统要求字节 流语法，而使用特殊文件格式(例如MP4文件形式)的传输系统要求依 据这种文件格式结构VCL数据。因此，所述NAL必须专用于特定传输 系统或者必须存储大量的信息，所述信息能够将VCL数据打包为各种 格式。虽然前者方法允许产生更好的最优化，但是它阻碍了互操作性。 相反地，后者方法影响性能，并且限制NAL对现存传输系统的操作。

一种编码系统，包括视频编码层(VCL)，用于在编码多媒体数据时 生成片段(slice)；通用适配层(GAL)，用于根据所述片段创建GAL 单元集合，所述GAL单元具有通用于各种传输系统的格式；以及与特 定传输系统相关联的网络适配层(NAL)，用于将GAL单元集合映射到特 定传输系统的格式。
附图简述
依照举例说明的方式而不是限制目的来图示本发明，在附图中， 相同的参考标记涉及同样的元件，并且其中：
图1是编码系统的一个实施例的框图；
图2是解码系统一个实施例的的框图；
图3是网关系统一个实施例的的框图；
图4是适用于实行本发明的计算机环境的框图；
图5举例说明了用于在通用适配层创建GAL单元的过程的一个实 施例；
图6是由通用适配层执行的用于提供GAL单元至NAL过程的一个 实施例的流程图；
图7举例说明了视频的GAL单元的分级结构；
图8是由NAL执行的用于映射GAL单元过程的一个实施例的流程 图；
图9举例说明了从GAL语法到RTP分组语法的映射一个实施例；
图10A和10B举例说明了从GAL语法到MPEG-2NAL语法的映射的 一个替代实施例；以及
图11举例说明了从GAL语法到MP4文件格式的映射的一个实施 例。
发明的详细说明
在本发明实施例的以下详细说明中，参考附图描述本发明，并且 相同的附图标记表示相同的元件，并且通过图示的方式示出了可以实 施本发明的特定实施例。足够详细地描述了这些实施例，以便本领域 技术人员能够实施本发明，并且应该理解的是，也可以采样其他实施 例，并且在不脱离本发明的范围的情况下，可以作出逻辑上、机械上、 电子上、功能上以及其他方面的变化。因此，以下的详细说明是非限 制性意义的，本发明的范围仅仅由所附权利要求书来限定。
从本发明的操作概述开始。图1举例说明了编码系统100的一个 实施例。所述编码系统100在概念上包括三个层：视频编码层(VCL) 102、通用适配层(GAL)105以及网络适配层(NAL)107。
在视频编码层102，VCL编码器104接收媒体数据，所述媒体数据 可以包括视频数据(例如，根据自然信号源视频场景创建的视频对象以 及其他外部视频对象)、音频数据(例如，根据自然信号源音频场景创 建的音频对象以及其他外部音频对象)、合成的对象或者上述任何的组 合。所述媒体编码器104可以包括多个个体编码器，或者包括子编码 器，以便处理各种形式的媒体数据。所述媒体编码器104编码媒体数 据并且创建多个片段，每个层均包含一系列宏块以及相关联的首部信 息。
在所述通用适配层105，GAL接口106接收来自于VCL编码器104 的片段，并且创建具有独立于NAL的格式的GAL单元的集合。也就是 说，GAL单元包括足够的信息以便允许任一传输系统类型的NAL依照相 应传输系统要求的语法来将数据打包。正如下文将更加详细论述的那 样，GAL单元可以包括结构单元，其用于提供与媒体数据结构有关的信 息；媒体数据单元，其包括由VCL编码器104编码的媒体数据；以及 参数集单元，其包括与媒体数据相关联的参数集。参数集定义一组用 于控制VCL数据的解码的参数值。在一个实施例中，所述GAL单元还 包括补充的增强信息(SEI)消息单元，其包括与所述媒体数据相关联的 SEI消息。SEI消息包含有关所述媒体数据的辅助信息。
所述GAL接口106可以采用软件、硬件或者两者的结合来实现。 在一个实施例中，所述GAL接口106是VCL编码器104的一部分。作 为选择，所述GAL接口106可以是独立的模块，用于与所述VCL编码 器104直接通信或者经由公共网络(例如因特网)或者私人网络(例如 LAN)来通信。
在所述网络适配层107，特定传输系统类型的NAL接口108接收 来自于GAL接口106的GAL单元，并且依照这些传输系统类型的语法 将它们打包。每个NAL接口108可以直接与所述GAL接口106通信， 或者经由私有或者公共网络进行通信。NAL接口108可以依照软件、硬 件或者两者的结合来实现。传输系统类型的例子可以包括要求面向分 组的语法的网际协议(IP)传输系统110(例如，IP之上的实时传输协 议(RTP/IP)系统)；要求位流语法的MPEG-2系统112；要求特定文件 格式(例如MP4文件格式)的文件存储器系统114等。
在一个实施例中，NAL接口108使用多信道来传送所述内容。例 如，所述NAL接口108可以在第一流中传送所述媒体数据，在第二流 中传送与此媒体数据相关联的参数集，并且在第三流中传送与此媒体 数据相关联的SEI消息。在另一个实施例中，NAL接口在单个信道内部 传送内容。在一个实施例中，每个NAL接口108与预定义规格(在此 称作NAL描述符)相关联，该预定义规格规定了由此类NAL接口使用 的一个或多个信道，并且定义了每个信道的特征。
图2举例说明了解码系统200的一个实施例。所述解码系统200 概念上包括三个层，与编码系统100相比，这三个层依照逆序进行操 作，所述三个层包括：网络适配层201、通用适配层203以及视频编码 层205。
在所述网络适配层201，NAL接口202接收来自于各种传输系统的 数据，诸如IP系统、MPEG-2系统、文件存储器系统(例如MP4系统) 等等，并且将它变换为GAL单元。在一个实施例中，根据由特定NAL 接口202的描述符规定的逆映射来执行所述变换。
此外，在所述通用适配层203，GAL接口204从所述GAL单元提取 片段，并且将它们发送到在所述视频编码层205操作的VCL解码器206 以便解码所述内容。
图3举例说明了网关系统300的一个实施例。所述网关系统300 包括与两个不同类型的网络304和306相连的网关302。例如，所述 网络306可以是基于IP的网络，而网络304可以是基于MPEG-4的网 络。网关302包括变换系统308，其概念上由网络适配层310和312 以及通用适配层314组成。
在网络适配层310，NAL接口316接收来自于第一网络304(例如 基于MPEG-4的网络)的数据，并且如上所述将其重新打包为GAL单元。 在所述通用适配层314，GAL接口318接收来自于NAL接口316的GAL 单元，并且将它们传递到NAL接口320。在网络适配层312，NAL接口 320把所述GAL单元映射至第二网络306(例如基于RTP/IP的网络) 的传输介质要求的语法，并且将由此产生的内容发送到第二网络306。
同样地，从第二网络306接收到的数据可以由所述NAL接口320 重新打包为GAL单元，并递送到GAL接口318，并且由NAL接口316 映射到第一网络的语法。
图4的以下描述意图旨在提供适于实现本发明的计算机硬件以及 其他操作部件的概述，而不是要限制可采用的环境。图4举例说明了 适合用作图1的GAL接口106和/或NAL接口108、图2的GAL接口204 和/或NAL接口202、或者图3的GAL接口318和/或NAL接口316或 320的计算机系统的一个实施例。
计算机系统440包括与系统总线465耦合的处理器450、存储器 455以及输入/输出能力460。存储器455被配置为存储指令，当处理 器450执行所述指令时执行此处所述的方法。输入/输出460还包含各 种类型的计算机可读介质，包括可由处理器450访问的任何类型的存 储装置。本领域技术人员将立即意识到的是，术语“计算机可读媒体/ 介质”还包含用于编码数据信号的载波。还将理解的是，所述系统440 由在存储器455中执行的操作系统软件加以控制。输入/输出以及有关 介质460存储用于本发明的操作系统以及方法的计算机可执行指令。 图1和2中所示的每个元数据发生器106、文件创建器108、元数据提 取器204以及媒体数据流处理器206可以是与处理器450耦合的独立 组件，或者可以被嵌入在由处理器450执行的计算机可执行指令中。 在一个实施例中，计算机系统440可以是ISP(因特网服务供应商)的 一部分，或者通过输入/输出460与ISP耦合，以便在所述因特网之上 发送或者接收媒体数据。显而易见的是，本发明不局限于基于因特网 接入和因特网网页的站点；还可以设想直接耦合的以及私有网络。
将理解的是，计算机系统440是具有不同体系结构的多种可能的 计算机系统的一个例子。具有代表性的计算机系统将通常包括至少处 理器、存储器以及耦合存储器和处理器的总线。本领域技术人员将立 即理解的是，本发明可以采用其他的计算机系统结构来实施，包括多 处理器系统、小型计算机、大型计算机等等。本发明还可以在分布计 算环境中实施，其中通过经由通信网络链接的远程处理装置来执行任 务。
现在将更详细地讨论通用适配层的操作。具体来讲，GAL接口使用 从VCL接收的片段创建GAL单元的集合。所述GAL单元包括用于定义 媒体数据结构的结构单元，以及用于包括来自于所述VCL的编码媒体 数据的媒体数据单元。在一个实施例中，所述GAL单元还包括参数集 单元，用于包含与所述多媒体数据相关联的参数集。在一个实施例中， 所述GAL单元还包括SEI消息单元，包含与所述媒体数据相关联的SEI 消息。
图5举例说明了用于在通用适配层创建GAL单元的一个实施例。
参照图5，示出了通过VCL编码的媒体数据的示例性模型500。在 模型500的最低层是包含VCL数据的片段。在模型500的第二层的是 表示画面数据的画面。每个画面被作为系列片段来编码。在模型500 的第三层的是画面组合(GOP)。每个GOP组合可独立解码的一系列画 面。在模型500的最高层是包含GOP序列的序列。
所述通用适配层创建用于定义媒体数据的上述结构的结构单元。 具体来讲，结构单元规定模型500的每一层的开始以及结束。例如， GAL单元502的集合包括以下结构单元，所述结构单元包含：序列开始 单元504，用于发信号通知序列层的开始，与此序列相关的所有数据都 出现在一个相应的序列结束单元518之前；GOP开始单元506，用于发 信号通知一个画面组的开始，该GOP的所有数据都出现在单元506之 后和在相应GOP结束单元516之前；以及画面开始单元508，用于发 信号通知画面的开始，与此画面相关联的所有数据都出现在单元508 之后并且在相应画面结束单元514之前。在一个实施例中，结束层单 元514至518是可选的，这是因为一层的结束可以从另一层的开始推 导出来(除了位于一个序列的开始和结束之外)。
在一个实施例中，其中所述GAL接口是VCL编码器的一部分，所 述GAL接口从所述VCL接收信号，所述信号表明媒体数据每一层的开 始以及结束。在另一个实施例中，其中所述GAL接口是独立的模块， 所述GAL接口从在VCL编码器中接收的片段的首部中提取与媒体数据 结构有关的信息(例如，与媒体数据每一层的开始以及结束有关的信 息)。
此外，集合502包括含有片段512的媒体数据单元。存在两个类 型的媒体数据单元：片段单元以及划分的片段单元。在一个实施例中， 一个片段单元包含由片段首部以及视频数据组成的片段。所述视频数 据包含宏块集合的VCL数据。所述VCL数据是表示由该片段中的宏块 的VCL定义的语法元素的位序列。
一个划分的片段单元包括一个片段的一部分。也就是说，包括首 部数据以及有效负载数据的片段数据可以被划分。当划分时，视频数 据中的符号组以及所述首部数据编码被分开。在一个片段中的每个划 分的数据由其符号依照由首部或者视频语法定义的次序而处在该划分 的所有位组成。例如，如果数据划分包含首部以及视频数据两者，那 么该次序就是首部位、然后是视频数据位。在一个实施例中，存在三 个不同的划分，其分别包含首部信息(包括片段首部)、内部系数以及 中间系数。为划分的片段数据定义划分的片段单元，每个单元均包含 划分标识符、继之以该划分中的数据。
在一个实施例中(未示出)，所述集合502还包含参数集单元以及 SEI消息单元。参数集元素定义用于控制VCL数据的解码的参数值集 合。在一个实施例中，参数依照它们可以变化的最低级别来与媒体数 据中的级别相关联。例如，像画面尺寸的GOP参数值可以在GOP之间 改变，但是不可以在任何更低的级别改变。因此，在一个实施例中， 单个GOP中的所有画面以及片段使用相同的GOP参数值，而片段参数 对于每个片段都可以有所改变。在一个实施例中，每个参数集被分配 了唯一的标识符，所述标识符遍及视频序列是恒定的，并且每个片段 单元引用一个相应的参数集标识符。
SEI消息包含关于视频模型的四层的任一层的信息，所述视频模型 的四层为：序列、GOP、画面以及片段。在一个实施例中，在任一级的 SEI消息包括消息类型标识符以及具有由消息类型定义的格式的消息 数据。
图6是由通用适配层执行的用于提供GAL单元至NAL过程的一个 实施例的流程图。所述过程可以通过处理逻辑来执行，所述处理逻辑 可以包括硬件(例如电路、专用逻辑等等)、(诸如在通用计算机系统 或者专用机器上运行的)软件、或者两者的结合。对于软件实现过程 来说，流程图的描述能够使本领域技术人员开发这种程序，所述这种 程序包括用于在适当配置的计算机上执行处理的指令(执行来自于计 算机可读介质的指令的计算机处理器，所述计算机可读介质包括存储 器)。所述计算机可执行指令可以依照计算机程序设计语言编写，或者 可以嵌入在固件逻辑中。如果依照符合识别标准的程序设计语言编 写，那么可以在各种硬件平台上执行这种指令，并且可以连接到各种 操作系统。此外，本发明的实施例没有参照任何特定程序设计语言进 行描述。将理解的是，各种编程语言都可用来实现此处所述的讲授。 此外，当采取动作或者产生结果时，提起软件，这在本技术领域中是 通用的，其依照一种形式或者其他形式(例如，程序、流程、过程、应 用、模块、逻辑......)。这种表达仅仅是要说明的速记方式，所要说 明的是：计算机执行所述软件可以令计算机的处理器执行动作或者产 生结果。将理解的是，在不脱离本发明范围的情况下，可以将更多或 者更少的操作并入图6中所示的过程，并且没有通过所示出的以及此 处所描述的单元结构来暗示特定的次序。
参照图6，处理逻辑以从VCL接收片段开始(处理块602)。接下来， 处理逻辑识别包含在所述片段中的多媒体数据的结构(处理块604)。所 述多媒体数据的结构由多媒体数据中的多个分级的层加以定义，所述 多媒体数据诸如序列、GOP、画面以及片段。在一个实施例中，处理逻 辑根据从VCL接收的信号识别多媒体数据的结构，所述信号表明每一 层的开始以及结束。在另一个实施例中，处理逻辑使用从片段首部中 提取的信息来识别多媒体数据结构，其中所述片段是从VCL编码器接 收的。
此外，处理逻辑使用从VCL接收的片段以及与多媒体数据结构有 关的信息来创建GAL单元的集合(处理块606)。GAL单元的格式通用于 各种NAL类型(例如，IP NAL、MPEG-2NAL、媒体文件格式NAL等等)。 在一个实施例中，GAL单元的集合包括结构单元，其用于定义多媒体数 据的结构；媒体数据单元，其包括编码的多媒体数据；参数集单元， 其包括与多媒体数据相关联的参数集；以及SEI消息单元，其包括与 所述多媒体数据相关联的SEI消息。
然后，处理逻辑把GAL单元的集合发送至特定类型的NAL(处理 块608)。在一个实施例中，在发送所述GAL单元的集合至NAL之前， 处理逻辑依照预定需求来排定GAL单元的次序，正如下文将更加详细 论述的那样。
在一个实施例中，所述GAL单元(此处也称为运送单元)经由信道 被发送，该信道可以是任何基础传输或者存储机制。该信道在一个网 关中可以是从NAL至VCL的解码器，从VCL至NAL的编码器，或者从 NAL到NAL。所述GAL单元可以在频带中与媒体数据流一起被递送，或 者在带外被递送(当发送参数集GAL单元时)，或者如果所述信息预先 是已知的(例如，在硬连接用于编码所述视频的参数集的情况下)，可以 根本不递送它。
在一个实施例中，每个GAL单元的语法由通用首部继之以有效负 载来组成。在一个实施例中，所述语法使用语法描述语言、依照每个 通用元素一个分类来定义。所述语法通过允许在GAL单元中包括额外 的信息来提供扩展性。不理解扩展的语法的解码器被配置为忽略所述 附加信息。
在一个实施例中，GAL单元的首部包括8位的类型标识符。表1 提供了定义GAL单元的不同类型标识符的标记列表。
  标记值   标记名   0×00   非法值(例如开始码)   0×10   GAL_SEQUENCE_START   0×11   GAL_SEQUENCE_END   0×12   GAL_GOP_START   0×13   GAL_GOP_END   0×14   GAL_PICTURE_START   0×15   GAL_PICTURE_END   0×16   GAL_SLICE_START   0×17   GAL_SLICE_START   0×18   GAL_SLICL_UNPARTIONED_DATA   0×19   GAL_SLICE_PARTIONED_DATA   0×1A   GAL_PARAMETER_SET   0×1B   GAL_SEQUENCE_SEI_MESSAGE   0×1C   GAL_GOP_SEI_MESSAGE   0×1D   GAL_PICTURE_SEI_MESSAGE   0×1E   GAL_SLICE_SEI_MESSAGE
表1
在一个实施例中，每个GAL单元的主体的语法采用两个阶段来定 义：第一，作为面向位的语法而不考虑缓冲(padding)，开始模仿或 者字节对齐，然后作为具有起始码转义的面向字节的语法。所述消息 还可以作为消息首部以及消息体中的位的连接来定义。在一个实施例 中，没有依照GAL单元语法编码所有GAL单元的长度。而是通过较低 层成帧协议来定义GAL单元的长度，所述较低层成帧协议可以使用起 始码、长度字段或者任何其他适当的字段来进行。
在一个实施例中，转发到NAL的所述GAL单元的集合表示存取单 元。依照其MPEG-4定义，存取单元是一个流中可独立存取的数据部分， 它是可以把定时信息附于其上的最小数据实体。在一个实施例中，GAL 存取单元包含共享相同的定时信息的GAL单元的连接序列。GAL存取单 元包含规定每个GAL单元大小以及GAL存取单元中包括的GAL单元的 数目的首部。表2举例说明了示例性的GAL存取单元。
 GAL单元的数目  GAL单元大小1  ...  GAL单元大小m  GAL单元1  GAL单元2  ...  GAL单元m
表2
在一个实施例中，发送给所述NAL的GAL单元被按照次序排定成 一个序列。此定序可以是基于在各种GAL单元之间的信息的依赖性的 信息逻辑次序。在一个实施例中，GAL单元的定序不暗指NAL的任何特 定递送进度。形式上，所述定序约束在所述GAL单元上强加了部分定 序，而不是总体定序。所述NAL必须按照如下发送GAL单元，作为结 果的逻辑信息被重构，以便使其满足GAL单元序列的部分定序。例如， 这样做暗指NAL必须确保参数集必须在引用它们的任何片段之前是可 得到的，但是却允许NAL一次以上地来发送参数集。
在一个实施例中，GAL单元的定序满足以下约束：(1)参数集消息 必须它们被引用之前出现，(2)SEI消息必须在它们所属的项的开始 之前出现，(3)视频消息依照解码次序加以传送，(4)单个画面中的片 段可以依照任何次序来发送(例如不要求依照“扫描次序”来发送片 段)，以及(5)在单个片段中的数据划分可以依照任何次序来加以发 送。
图7举例说明了视频的GAL单元的分级结构。如上所述，GAL单元 也在此称作GAL传送单元(GAL CU)，包括首部722以及有效负载720。 在一个实施例中，所述GAL CU有效负载720基于字节的、并具有起始 码模仿保护。用于视频的GAL CU 718由不同类型的CU组合而产生。 具体来讲，GAL视频结构CU 708由多个结构单元702组成，并且GAL 视频数据CU 710由多个媒体数据单元-诸如片段单元706以及划分数 据单元704组成。接下来，所述GAL视频结构CU 708以及所述GAL视 频数据CU 710被合并成GAL视频CU 712。所述GAL视频CU 712还将 GAL参数集CU 714以及GALSEICU 716结合为与所述视频相关联的最 终GALCU 718。
现在将更详细地讨论在网络适配层(NAL)的操作。每个NAL与特定 传输系统(例如RTP/IP系统、MPEG-2系统、MP4文件格式系统等等) 相关联，并且根据传输系统，NAL可以是面向分组的网络适配层、位流 网络适配层、用于在文件等等中存储视频内容的存储器适配层。
图8是由NAL执行的用于映射GAL单元过程的一个实施例的流程 图。所述过程可以通过处理逻辑来执行，所述处理逻辑可以包括硬件 (例如，电路、专用逻辑等)、(诸如在通用计算机系统或者专用机器 上运行的)软件，或者他们的组合。将理解的是，在不脱离本发明范围 的情况下，可以将更多或者更少的操作并入图8中所示的过程，并且 所示出的以及此处所描述的块结构不暗指特定的次序。
参照图8，处理逻辑从所述GAL接收GAL单元的集合开始(处理块 802)。接下来，处理逻辑把所述GAL单元的集合映射至与特定传输系 统相关联的NAL的格式(处理块804)，并且把所映射的内容发送至特 定传输系统(处理块806)。在一个实施例中，处理逻辑通过识别由此 NAL使用的逻辑信道，确定在每个信道上传送哪些类型的GAL单元，确 定每个信道的语法以及把所述GAL单元映射至相应信道的语法，来执 行所述映射。
如上所述，每个NAL可以经由一个或多个逻辑信道传送内容。例 如，信道可以是系统级流或者带外信令协议。在另一个例子中，逻辑 信道可以反映涉及所述媒体数据(例如，没有数据要交换的硬连接的参 数集)的信息的在前交换。在文件格式NAL的情况下，“信道”是存 储在所述文件中的信息，包括两个媒体数据(例如VCL数据)和元数据 (例如非VCL数据)。在一个实施例中，每个NAL类型由NAL描述符定 义，所述NAL描述符用于规定由此NAL类型使用的信道的数目，每个 信道的特征，在每个信道上传送的GAL单元类型，并且从GAL单元的 通用语法到每个信道的语法的映射。表3规定了示例性NAL描述符的 字段。
  逻辑信道   数目  表明用于此NAL的信道数目。   逻辑信道   描述符  定义由所述NAL使用的每个逻辑信道的特征。
表3
表4举例说明了表3的逻辑信道描述符的示例性字段。
 信道分类   存储、流、空   表明所述NAL使用来实现此机制的系统层的一般分   类。所述空信道表明没有信息要发送。此用于可选   择项目，像不能得到所有NAL支持的SEI消息。  GAL单元类   表明此逻辑信道中包含的GAL单元类型。  优先级   表明GAL信道的优先等级。  起始码   表明此信道是否使用起始码。默认起始码是由   MPEG-2系统定义的“00 00 01”。
  起始码模   仿避免  表明此信道是否使用转义码来防止信道中起始码  的模仿。此值只有当所述信道使用起始码时才设  定。   初始   描述信息  静态的，动态的  表明所述信道是否可以在对话寿命期期间发送信  息。此例如用于表明NAL是否支持静态地(一旦在  播放开始以前设定)或者动态地(当展示视频时并  且在对话设置时不必已知解码器的优先级时)传送  参数集消息。
表4
现在将更详细地讨论通过各种形式的NAL的GAL单元的示例性映 射。
在一个实施例中，从RTP/IP NAL起，所有信息可以作为在RTP分 组中封装的不同类型的分组来在单个带内信道中加以传送。所述信息 可以包括媒体数据、参数集数据以及SEI消息。表5举例说明了用于 RTP/IP NAL的适配层描述符的一个实施例。

表5
图9举例说明了从GAL语法到RTP分组语法的映射的一个实施 例。从GAL 902的语法到RTP/IP NAL 904的语法的映射包括在没有 变化的情况下封装视频数据单元或者参数集单元，并且在每个单元前 方追加一个RTP首部。所述RTP/IP NAL不需要添加起始码或者提供起 始码模仿防止。
在可替代的实施例中，RTP/IP NAL使用所述对话描述协议来带外发送 参数集值。表6依照替代的实施例举例说明了用于RTP/IP NAL的适配 层描述符。

表6
在一个实施例中，相对于MPEG-2系统NAL，MPEG-2存取单元用 于在视频数据流中传送视频数据。所述视频信息流还包含用于在存取 单元和首部之间标定边界的多个首部(画面首部等等)。所述SEI消息 和参数集被独立地置于程序描述符内部。表7依照一个实施例举例说 明了用于MPEG-2NAL的适配层描述符。

表7
图10A举例说明了从GAL 1002到MPEG-2NAL 1004的映射的一 个实施例。将所述映射执行到多个程序基本线(PES)中，第一PES包含 媒体数据信息、第二PES包含SEI消息以及第三PES包含参数集。
在另一个实施例中，在所述视频流信道中带内传送所有数据，包 括参数集以及消息。称为AVC分组的单分组格式被定义为等效于通用 存取单元。AVC分组可以经由MPEG-2程序或者传输流来传送。表8依 照第二实施例举例说明了用于MPEG-2NAL的适配层描述符。

表8
在又一个实施例中，MPEG-2NAL使用MPEG-2视频语法用于具有 片段的JVT视频(序列首部、GOP首部等等)。它使用MPEG-2起始码来 在位流中界定边界。表9依照第三实施例举例说明了用于MPEG-2NAL 的适配层描述符。

表9
图10B举例说明了从GAL 1010映射到MPEG-2NAL 1012的替代 的实施例。将所述映射执行到单程序基本流(program elementary stream-PES)中。所述MPEG-2用户数据被用于映射SEI消息。
在一个实施例中，相对于MP4文件格式NAL，将所述视频数据按照 文件格式作为媒体数据存储在MP4轨道的采样结构内，将参数集作为 元数据存储在独立的元数据结构内，并且可以视频数据把SEI消息存 储在独立的轨道中，或者可以在相同的流内加以交织。表10依照一个 实施例举例说明了用于MP4文件格式NAL的适配层描述符。

表10
图11举例说明了从GAL 1102到MP4文件格式NAL 1104的映射 的一个实施例。
已经描述了通用适配层以及网络适配层的操作。虽然已经举例说 明并且在此描述了特定的实施例，但是本领域中普通技术人员应该理 解的是，可以使用能够实现相同目的的任何结构来代替所示的特定实 施例。此申请旨在涵盖本发明的所有适用范围和变化。
相关申请
此申请涉及并且要求了2002年4月29日提交的美国临时专利申 请序号为60/376,473的申请的权益，将该篇申请的内容在此引入，以 供参考。
版权声明/许可
此专利文献的一部分公开内容包含受版权保护的材料。版权所有 者不反对任何人对专利文献或者专利公开内容依照其在专利商标局专 利文档或者记录中的出现形式进行传真复制，但在别的方面却无论怎 样都保留任何所有版权权力。以下声明适用于如下所述的及其附图中 的软件以及数据：2001，Sony Electronics股份有限版 权所有。