使用划界框的辅助信息进行多层视频合成

相关申请的交叉引用

本申请涉及2006年10月23日提交的题为“Video Composition Optimization by the Identification of Transparent and Opaque Regions(通过透明 和不透明区域的标识的视频合成优化)”的美国专利申请S/N11/584,903(代 理人案号为No.P23806)，其整个内容通过引用结合于此。

背景

要求保护的发明实现一般涉及多层视频合成和其中的图形和子图信息的 处理。

已经将更大的交互性增加到诸如HD DVD和蓝光之类的较新的高清晰度视 频回放系统。例如，如图1所示，HD DVD系统100可要求播放器支持四(或 更多)层视频和图形面被合成，每个这样的层可具有按面和/或按像素的α值(用 于指定半透明度的量)。图形面110可以例如以适当速率从文件高速缓存渲染， 且可具有按像素(pel)的α半透明度。子图面120可以例如以适当速率或在 总共30mpbs内从文件高速缓存渲染，且可具有按像素的α和/或按面的α半透 明度值。出于完整性，主视频面可包括高清晰度视频(例如，以＜29.97mbps 的1080i60)，且附加视频面可包括标准清晰度视频(例如，以＜4-6mbps的 480i60)。

图形和/或子图面110/120可能在合成引擎(也称为合成器)的带宽和工 作负载中占支配地位。需要支持全尺寸面110/120的按像素的合成的播放器可 能消耗总共可用读/写带宽的相当大的部分。例如，这种合成还可能对移动平 台造成很大功率负担。

很多使用需要大的图形面。某些应用趋向于将图形置于外围区域(例如， 顶部垂幕、底部弹出菜单、脚注、具有置于一定距离处的图形标识的字幕)。 在很多情形中，大多数图形和/或子图像素是透明的。例如，如果面110/120 中90％的像素是透明的，则可能会不必要地花费60-70％的合成带宽和吞吐量。

附图简述

结合在本说明书中并构成其一部分的附图示出与本发明的原理一致的一 个或多个实现，且与描述一起解释这些实现。附图不一定是按比例绘制的，相 反重点放在示出本发明的原理。在附图中：

图1示出常规的高清晰度分层视频格式；

图2示出合成包括图形和/或子图信息的多层视频的系统；

图3A概念性地示出用于合成的划界框(bounding box)和对应的绘制矩形；

图3B概念性地示出图形和合成区中的划界框和绘制矩形；以及

图4示出利用划界框和绘制矩形来合成的方法。

详细描述

以下的详细描述涉及附图。在不同的附图中使用相同的附图标记以标识相 同或相似的元件。在以下的描述中，为了解释而非限制的目的，阐述了诸如特 定结构、架构、界面、技术等具体细节，以便提供对所要求保护的发明的各方 面的全面理解。然而，受益于本公开的本领域的技术人员显而易见的是可在脱 离这些特定细节的其它实施例中实施所要求保护的发明的各方面。在某些示例 中，省略了公知的设备、电路和方法的描述以免因不必要的细节而淡化本发明 的描述。

图2示出合成包括图形和/或子图信息的多层视频的系统200。系统200 可包括视频信息的源210，诸如主视频面和/或附加视频面(也可称为子视频 面)。源210可将其视频信息的面(或多个面)输出到合成器240，用于与子 图和/或图形信息合成。

系统200还可包括子图或图形渲染器220。渲染器220可包括子图渲染器 和图形渲染器之一或两者。因此，渲染器220可根据要渲染的内容接收子图比 特流和/或图形语言和控制信息。应当注意渲染器220可包括两个功能分离的 用于子图和图形的渲染器，但为了便于解释在图2中示为一个元件。在某些实 现中，渲染器220可渲染整个图形面110和/或子图面120并将这些输出到合 成器240。

除将经渲染的子图和/或图形面输出到合成器240外，渲染器220还可将 包括划界信息(例如划界框或绘制矩形)的消息输出到合成控制器。这种划界 信息可指定输出到合成器的非透明子图或图形对象的空间范围，以下将更详细 地解释。应当注意，可认为这种划界信息是“辅助的”，意思是如果它不存在 则整个图形和/或子图面将由渲染器220绘制或渲染并由合成器240合成。

合成控制器230可从渲染器220接收划界信息并基于它控制合成器240 对子图和/或图形信息的处理。例如，控制器230可指令合成器240不合成来 自渲染器220的在一定边界(例如，以下将进一步描述的划界框)以外的任何 信息，表示这种“界外”的子图和/或图形信息是透明的(或充分接近透明从 而这样处理)。

控制器230还可被安排成将划界信息从例如经渲染的图形或子图面(例 如，面110和/或120)映射至在其处合成各层信息的合成区。例如，图形或子 图面中的信息在以与合成区不同的分辨率/大小进行渲染时可通过控制器230 适当缩放。类似地，如果图形或子图面中的信息的边界或基准位置(例如左上 角)在渲染时相对于合成区的对应边界或基准位置处在有移位或偏移量的位 置，则该图形或子图面中的信息可由控制器230移位或偏移。在某些实现中， 这种缩放和/或偏移可通过从控制器230至合成器240的适当缩放和/或偏移指 令来实现，该合成器240可实际执行缩放和/或偏移。

可安排合成器240基于来自合成控制器的命令和/或指令组合来自源210 的视频信息和来自渲染器220的子图和/或图形面。具体地，合成器240可仅 合成在控制器230指定的区域(或多个区域)中的这些图形或子图信息。面 110/120中的划界区外部的其余信息可能是透明的，且可被合成器240忽略。 可安排合成器240以按像素为基础合成信息，尽管还可考虑其它粒度(例如， 按块)。尽管在图2中没有明确示出，但合成器可将合成的视频信息输出到帧 缓冲器和/或连接的显示器(未示出)以向系统200的用户视觉表示。

图3A概念性地示出用于合成的划界框310和对应的绘制矩形 (″drawRects″)。图3B概念性地示出图形面330和合成目标区340中的划界 框310和绘制矩形320。在图3B中，还示出以划界框310和绘制矩形320为界 的图形对象，以帮助理解。通常，例如可认为框310和绘制矩形320外部的那 些区域是透明的(或近似如此)且不被合成器240合成。

图4示出利用划界框310和绘制矩形320来合成的方法。尽管为了解释参 考图2、3A和3B描述，但图4中所述的方案不应被解释为限于这些附图的具 体内容。

第一部分，该方法需要在图形和/或子图面中标识透明区(例如，针对非 透明区使用划界框)。这可包括子图面的像素级的半透明度和图形面中的文本 和纹理图的半透明度和布局。具体地，可针对这些感兴趣的图形/子图面中的 非透明区生成辅助划界框(Bbox)[动作410]。多个Bbox可描述图形和/或子 图面内包含非透明像素的区域。可从渲染器220发送到控制器230的Bbox() 是基于源面坐标(例如，图形面的坐标)来描述的。Bbox应是非重叠的以利于 给合成器240的指令。如前面所述，Bbox是“辅助的”，因为，如果它们不存 在，将绘制整个感兴趣的面。

这种划界框信息在动作410中可或者1)在图形/子图面解码时间期间由 播放器标识或者2)在渲染时间期间由渲染器220标识。或者，划界框信息可在 图形或子图内容中直接提供。在动作410根据第一种“解码时间”有效技术标 识划界框信息的方案可在以上参考的并通过参考结合于此的有关申请 S/N11/584,903中找到。正如其中所描述的，在解码期间，划界框可由各自包括 非透明像素的相邻数据线来定义。

在动作410根据第二种“渲染时间”有效技术标识划界框信息的方案可在 渲染器220中使用分瓦片(tile)渲染，并将瓦片用作划界框检测的构建块。当 以逐瓦片为基础渲染图形或子图面时，通常存在半透明度检测器。当整个片仅 包含透明像素时(例如，经由半透明检测器内的α检测器和/或对象覆盖检测 器确定)，该瓦片被标记为透明。或者，当存在非透明像素时，此片的周界被 指定为Bbox 310。这种基于瓦片的划界可经由来自控制器230的指令被合成器 240用于合成。无论如何只要Bbox 310被确定，动作410就可产生图形和/或 子图面的至少一个——在某些实现中是多个分离的——Bbox 310。Bbox 310应 足够大以包围任何非透明对象，但不应扩展得大大超过足以包围这些对象的区 域，如图3B所示。

除生成辅助划界框310以外，动作410还可渲染按面的对象(例如，图 3B中的形状和文本)。在某些实现中，由渲染器220执行的动作410还可生成 用于面110和/或120的缩放因数。然而，在其它实现中，合成控制器230可 例如协同动作420生成缩放因数。

处理可继续，控制器230从划界框310导出绘制矩形(drawRects)320[动 作420]。每个绘制矩形320可包含绘制矩形320的合成区中目的地位置和对应 的Bbox 310的图形或子图面中的源区。每个绘制矩形可以与目的地像素对准， 因此可包含源中的部分位置。部分源区应包括对应任何分离的bbox的边界的 原始bbox 310。这是注意相邻bbox 310的重要的“簿记”，以便递送与不使用 bbox 310所获得的相同的结果。

处理可继续，合成器240使用来自控制器230的绘制矩形320合成视频层 和来自渲染器220的经渲染的面110/120[动作430]。具体地，合成器240可 仅合成面110/120当中落在绘制矩形320内的那些区域，通过不合成这些面的 透明区而节省大量的处理。尽管在图4中没有明确示出，但动作430还可包括 将合成的视频信息输出到帧缓冲器和/或连接的显示器(未示出)以向用户视 觉表示合成的信息。

上述方案和装置可有利地利用视频信息提供多层合成而不合成不会视觉 上影响合成输出的区域(例如，透明图形和/或子图信息)。在用于经预渲染 的也可被缩放的具有按像素的α值的大面的这样的方案中，划界框可用作辅助 信息。这可提供显著的合成性能提高和功率节省，在某种程度上使小型和/或 移动平台的低功率要求被满足。

一个或多个实现的上述描述提供了说明和描述，但不打算是详尽的或将本 发明的范围限于所公开的精确形式。按照以上的教示修改和变形是可能的，或 者可从本发明的各种实现的实践来获得。

例如，尽管本文描述了划界“框”和绘制“矩形”，但可将任何适当的几 何用于对非透明区划界并将透明区排除在外。因此，如本文所使用的，“框” 和“矩形”可包括除具有内直角的严格四边构造以外的形状。

在本申请的描述中使用的元素、动作或指令都不应解释为对本发明是关键 或本质的，除非明确如此描述。同样，正如在本文中所使用的，冠词“一”旨 在包括一或多项。可在不本质上背离本发明的精神和原理的情况下，对所要求 保护的发明的上述实现进行变形和修改。在本文中，所有这种修改和变形都旨 在包括在本公开的范围内，且由以下权利要求书所保护。