近来，消费视频产品已从模拟盒式磁带演变为数字格式。数字视频光盘 (DVD)形式的视频是目前最流行的格式。近来已引入了新的较高密度的视 频格式，例如Blu-RayTM和高清晰度数字视频光盘(HD-DVD)。
被翻译成某一格式以供消费者使用的数字视频数据在出售之前一般被 数字压缩并编码。通常，该编码包括某种形式的压缩。在DVD的情况下， 使用MPEG-2标准来对视频进行编码。另外，Blu-RayTM和HD-DVD格式也 将数据以编码后的形式存储在光盘上。但是，由于压缩系统的复杂性，以及 期望达到最高压缩同时又保持最高的视频质量，因此必须进行一次对一帧或 一个场景的大量编码。通常，特征长度的戏剧发行物的Blu-RayTM和HD-DVD 压缩可以花去8小时以上的时间来编码。
在视频场景被编码后，为了精确，产生的编码后的视频必须被校验。一 般来说，具有大量运动物体的场景需要较低的编码速率，以确保编码后的帧 每个都正确显示在最终的产品中。因此，通常使用用于查看和编码视频的软 件程序。
传统上，与图像制作工作有关的大多数用户界面包括两个主要的特征： 时间轴(timeline)和预览窗口。一般来说，当用户通过沿着时间轴的轴来移 动时间轴光标直到期望的帧出现在预览窗口中，从而使用时间轴来随机访问 单个不同的帧时，用户能够仅查看来自视频内容流的一帧。尽管这为用户提 供了对视频流内容的随机访问，但是其需要用户注意时间轴和预览窗口两 者。另外，用户必须通过滚动时间轴来搜索特定的帧或场景。这样的访问效 率低下又可以是耗时的。
2003年4月22日公告的Ishikawa的美国专利No.6,552,721描述了一种 用于切换包括由正被编辑的文件参考的多组节点的文件显示器(file scope) 的系统。另外，场景图编辑工具允许用户显示参考正被编辑的VRML内容 的节点的分级树格式。
2004年8月10日公告的Bates等人的美国专利No.6,774,908公开了一 种用于允许用户指定连续帧中要被跟踪的视频帧的部分以使得可以补偿重 放、照明和解压缩的质量的图像处理系统。
2006年1月26日提交的Stark等人的美国专利申请No.20060020962公 开了一种用于展示与各种形式的多媒体内容有关的信息的图形用户界面。
1999年10月14日提交的French等人的美国专利申请No.1999052050 公开了使用说明相关可视元素的时间和空间值的图来代表可视场景。French 等人的申请还公开了通过缩放和剪辑时间事件时刻来进行可视场景数据的 时间变换。
没有现有技术提供用于高效并随机地访问视频流的已知部分的任何系 统和方法。所需要的是能够以分级方式显示视频内容数据的用户友好界面。 另外，这样的用户界面应当允许用户或者自动或者手动地将场景、帧等分成 逻辑组，这些逻辑组可以基于被这样的场景或帧包括的可视数据的属性来被 访问和分析。由于处理完整的特征长度的视频所需的时间，理想的系统也将 允许用户有选择地处理视频的任何部分并显示故事情节以便高效导航。
发明内容
本原理的目的在于以分级式显示视频内容的各部分。
根据本发明的一方面，提供了一种如下的方法：表示具有至少一个片段 的视频流的一部分，该片段具有至少一个场景，该场景具有至少一个帧；以 及格式化该至少一个片段、场景和帧，以使得该视频流的至少一个片段被指 定为活动片段，并且用于显示的场景是该活动片段的一部分。
根据本发明的另一方面，提供了一种用户界面，其通过分级格式来处理 并编码视频流数据。该分级格式包括：代表来自视频流的多个场景的至少一 个类(class)缩略(thumbnail)图像，每个类缩略图像具有至少一个相关信 息条；代表类中的场景的至少一个场景缩略图像，每个场景具有至少一个帧， 每个场景缩略图像具有至少一个相关信息条；至少一个帧缩略图像，每个帧 缩略图像代表场景中的帧，每个帧缩略图像具有至少一个相关信息条。此外， 此方面可以包括显示相关缩略图像的帧号、帧时间和类信息的每个信息条。
根据本发明的另一方面，提供了一种用于通过分级格式在图形用户界面 中显示视频流数据的方法，该方法包括：显示代表场景的至少一个场景缩略 图像，每个场景具有至少一个帧；显示至少一个帧缩略图像，每个帧缩略图 像代表所述场景中的帧；以及显示至少一个类别(category)，每个类别具有 至少一个场景。此方面还可以包括：显示代表顺序数字图像的片段的至少一 个片段缩略图像，每个片段具有至少一个场景，其中所显示的每个场景是片 段的一部分。在这个方面中，该方法可选地包括加载视频流数据，自动确定 每个片段的起始和末尾，以及自动确定每个场景的起始和末尾。此方面还可 以包括：显示至少一个用于允许用户对视频流的至少一部分进行编码的按 钮。
附图说明
在考虑了现在将结合附图详细描述的示范性实施例时，本原理的优点、 特性和各个附加特征将变得更加完整，附图中：
图1是根据本原理的实施例的内容访问树的元素层级的示范性实施例 的框图；
图2是根据本原理的一个实施例的通过内容访问树显示视频内容的示 范性系统的流程图；
图3是根据本原理的显示和处理内容访问树的数据的配置的示范性实 施例的框图；
图4是示出根据本原理的单个内容访问树元素的详细示范性实施例的 框图；
图5是示出包含本原理的用户界面的详细示范性实施例的图；
图6是根据本原理的用于显示和处理内容访问树的数据的配置的替换 详细示范性实施例的框图。
应当理解，附图是用于示出本原理的构思的目的，不必须是示出本原理 的仅仅可能的配置。

本原理提供一种用于以可分级访问树显示来自视频流的图像以及允许 编码和随后的视频质量的评估和处理的系统和方法。
应当理解，根据视频显示系统来描述本原理；但是，本原理的范围宽得 多并且可以包括能够显示或进行用户交互的任何数字多媒体系统。此外，本 原理可应用于任何视频显示或编辑方法，包括由计算机、电话、机顶盒、卫 星链路等显示的数据的处理。根据个人计算机来描述本原理；但是，本原理 的构思可以被扩展到其它交互式电子显示设备。
应当理解，附图中所示的元件可以被实现为各种形式的硬件、软件或它 们的结合。优选地，这些元件被实现为一个或多个适当编程的通用设备上的 硬件和软件的结合，这些设备可以包括处理器、存储器和输入/输出接口。
本说明书示出了本原理。因而应当理解，本领域技术人员将能够设计尽 管这里没有明显描述或示出、但是包含本原理并包括在其精神和范围之内的 各种配置。
这里所述的所有示例和条件语言是为了教导目的，以便帮助读者理解本 原理和发明人为促进本领域技术发展做出贡献的构思，以及应当被理解为不 限于这样特定描述的示例和条件。
此外，这里描述本原理的原理、方面和实施例的所有描述及其特定示例 意欲包含其结构和功能等价物二者。另外，这样的等价物意欲包括当前已知 的等价物以及将来发展的等价物，即任何执行相同功能的发展的元件，而不 管其结构如何。
因而，例如本领域技术人员应当理解，这里所示出的框图代表包含本原 理的原理的示范性模块的构思图。相似地，应当理解，任何流程表、流程图、 状态转换图、伪代码等代表各种基本上可以表示在计算机可读介质中并因而 由计算机或处理器执行的过程，而不管这样的计算机或处理器是否被明显地 示出。
可以通过使用专用硬件以及能够联合适当的软件执行软件的硬件来提 供图中所示的各个元素的功能。当由处理器提供时，可以由单个专用处理器、 单个共享处理器或其中的一些可以共享的多个单独处理器来提供这些功能。 此外，术语“处理器”或“控制器”的明显使用不应当被解释为专指能够执 行软件的硬件，其可以非限制性地暗含包括数字信号处理器(DSP)硬件、 用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失 性存储器。另外，当在显示器上提供时，该显示器可以是用于呈现可视信息 的任意类型的硬件，其可以非限制性地包括CRT、LCD、等离子体或LED 显示器、有机或非有机、以及任何其它已知或还未被开发出来的显示设备。
这里描述的编码或压缩功能可以采用任何形式的数字兼容编码或压缩。 这可以包括、但不限于任何MPEG视频或音频编码、任何无损或有损压缩或 编码、或任何其它私有或开放标准编码或压缩。还应当理解，术语编码和压 缩可以互换使用，这两个术语都指准备数据流为由任意类型的数字软件、硬 件或软件和硬件的结合读取。
也可以包括其它传统的和/或定制的硬件。相似地，附图中所示的任何开 关、按钮或判决块只是概念性的。它们的功能可以通过程序逻辑的操作、通 过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至是手动地执行，具 体的技术可由实施者来选择，其从上下文可以更具体地理解。
在其权利要求中，被表达为用于执行特定功能的装置的任何元件意欲包 含执行该功能的任何方式，包括例如a)执行该功能的电路元件的结合或b) 任何形式的软件，因此包括固件、微代码等，其与用于执行该软件的适当的 电路结合以执行该功能。由这样的权利要求限定的本原理归于这样的事实： 由各种所述装置提供的功能以权利要求要求的方式结合和集合在一起。因而 应当认为任何能够提供这些功能的装置等效于这里所示出的那些装置。
现在详细参照附图，其中贯穿几个视图中，相似的参考数字指代相似或 相等的元件。首先参照图1，描述了根据本原理的实施例的内容访问树的元 素层级100的示范性实施例的框图。首先，对至少一个完整的视频流101进 行操作。该完整的视频流可以包括多个文件并且也可以是较大视频流的一部 分。
开始时，应当注意，完整的视频流101包括一组片段102，其中每个片 段103继而包括一组场景104，其中每个场景105继而包括一组帧106。
完整的视频流101包括一组片段102，组102具有多个片段103，其中 片段103的总数包含原始的完整视频流101的整体。
片段103可以是完整视频流101的一部分的线性表示。例如，每个片段 可以默认地代表五分钟的视频流，或者可以代表完整视频流101的至少五分 钟，但是在五分钟标记之后的第一个场景末尾处结束。用户可以决定默认的 片段长度，用户也可以编辑自动产生的片段周期。此外，片段可以代表固定 数量的场景，或者其它合理的分组。
例如，在一个有用实施例中，每个片段可以是基于相似的视频属性被分 类的场景105的非线性类别。在另一个有用实施例中，每个片段103可以是 包括一组根据任意其它准则逻辑分类的场景104的类。
每个片段103包括一组场景104，其中该组场景104包括多个单独的场 景105。在一个有用实施例中，该场景可以代表完整视频流101的连续、线 性部分。
相似地，每个场景105包括一组帧106，该组106包括多个单独的帧107。 在一个具体的有用实施例中，每个帧107是标准视频帧。
参照图2，描述了用于以分级格式产生和显示视频流的内容的系统200 的示范性实施例的流程图。该系统200在块201中可以具有非交互部分，在 块202中具有交互部分。
组成该系统结构的单独的块组件的细节对本领域技术人员是公知的，将 仅对其详细描述到足以理解本原理即可。
在该系统的块201中的非交互部分中，该系统可以在块203中输入视频 内容，在块204中产生视频内容数据，以及在块205中产生内容访问树的数 据。块201中该系统的非交互部分可以以自动式执行，或者可以已经存在， 例如由系统200的先前操作来创建，或者由其它辅助或单机系统来创建。
当在块203中输入视频内容时，该视频内容可以被加载到存储介质中， 例如但是不限于加载到随机存取存储器(RAM)、任意类型的计算机可存取 存储介质、计算机网络或实时馈入中。系统200然后可以在块204中产生视 频内容数据。在块204中的此产生步骤可以包括检测场景，产生直方图，基 于颜色、场景的相似度、比特率、帧分类来对场景和帧进行分类，以及产生 缩略图。目前，用于自动检测场景之间的转换的软件和算法被频繁使用，并 且对本领域技术人员是公知的。
该系统还可以在块205中产生可用于显示内容访问树的数据。该数据可 以包括但是不限于例如产生管理数据元素之间的关系所需的索引、标记或其 它数据，用于当显示视频内容时默认显示选项，或者用于注解任何视频数据。 在块204和205中产生的任何数据也可以被保存以用作将来使用或再使用， 这样的保存可以在产生过程期间的任何时刻发生。这样的保存特征对本领域 技术人员来说是显而易见的，因此可以以任何已知方式或未开发的方式来实 现。
系统200的交互部分、即块202然后可以对先前由块201中的非交互部 分准备的数据进行操作。内容访问树系统200可以在块206中输入由系统200 的块201中的非交互部分产生的数据。显示的数据可以在块207中采用线性 的形式或时间轴表示，并且在块209中也可以包括逻辑类别和/或分类显示。 在一个有用实施例中，显示时间轴表示和逻辑表示二者以使得用户可以手动 对根据时间轴选择的场景进行分类。
当在块208产生时间轴表示时，显示时间轴，根据该时间轴，在块209 中允许对片段、场景和帧进行随机访问。在块211中，视频片段、场景和帧 作为显示元素显示给用户。
当在块209中产生逻辑(分类)表示时，显示类别或类的表示，并且在 块210中允许随机访问。表示可以由用户改变或定义，或者可以可替换地自 动产生。
例如，可以利用用户界面向用户展示自动分类后的类或场景，其中用户 界面允许对类或场景的自动分类的手动改变。
在块207中的线性(时间轴)表示和块209中的逻辑(分类)表示两者 的情况下，则在块211中显示片段、场景和帧。在一个有用实施例中，片段 可以被做成活动的，其中场景从活动的片段开始显示，以及场景可以被做成 活动的，以使得显示的帧将依赖该活动的场景。
另外，可以在块212中显示视频数据。在具体的有用实施例中，该视频 数据可以是每个场景和片段的类别或分类属性。在另一个具体有用的实施例 中，可以显示与每个帧有关的数据。在一个实施例中，这可以利用颜色数据、 帧比特率数据或任何其它有用的数据的形式。
然后在块213中允许用户导航并选择显示器内的数据。在一个有用实施 例中，可以允许用户选择活动的片段，其中所显示的场景和帧改变为反映活 动片段的内容。相似地，在此有用实施例中，用户可以通过选择来改变活动 场景，例如通过在期望的场景上点击鼠标，从而使得帧包括新选择的要被显 示的活动场景。
在块214中，用户可以修改与每个片段、场景、帧或类别有关的数据。 在一个有用实施例中，每个类别可以具有与其相关的默认参数，例如但是不 限于颜色信息、编码比特率等等。在一个这样的有用实施例中，默认参数可 以是这样的参数：当场景增加到类别中时，默认参数被应用于新增加的场景。 用户也可以在块214中将场景合并到类别中。在一个有用实施例中，包括多 个场景的类别可以在编码过程期间被类似对待。在另一个有用实施例中，用 户也可以改变场景标记，也就是，指示哪些帧属于场景，而不考虑自动场景 检测过程。
在块213中用户有机会导航可用的视频数据并且在块214中做出任何修 改之后，用户可以在块215中编码或再编码任意一个或所有片段、场景或类 别。编码或再编码过程可以发生在远程计算机上，或者可以发生在用户的计 算机终端上。在一个有用实施例中，片段、场景或类别排队等候编码。当特 定部分正被编码或再编码时，用户然后可以查看并验证视频数据的其它部 分。可以为场景的编码分配优先级，以允许编码以非线性的方式进行。在块 215的编码和再编码后，然后再次显示新编码的片段、场景或类别。在一个 有用实施例中，用户然后可以验证在块215中的编码或再编码适当发生，其 中编码后的视频部分适当显示。在用户对所有视频场景已被适当编码满意并 且用户不再需要在块214中执行数据的修改之后，在块216中完成视频编码 工作。在一个有用实施例中，然后可以将视频放置于主光盘上，用于再现介 质的复制和随后出售。
现在参照图3，描述了用于以分级格式显示视频流的内容的界面300的 示范性实施例的图。组成该系统结构的单独组件的细节对本领域技术人员是 已知的，将仅对其详细描述足以理解本原理即可。诸如菜单、按钮以及其它 类似交互项的可选界面元素对本领域技术人员来说是已知可以互换的，并 且不意欲限制本原理。
界面300的元素显示在可查看的显示区域301或显示器内。在一个具体 有用的实施例中，显示器301可以是但不限于，连接到个人计算机的计算机 监视器、膝上型计算机屏幕等等。该显示器可以包括代表完整视频流的时间 顺序的时间轴302和显示的片段、场景和帧代表的时间点。时间轴可以包括 时间轴指示器304，其代表当前活动的片段或类以及场景的位置。可以手动 移动时间轴指示器304以访问与时间轴指示器304移动到的时间对应的片段 和场景。时间轴302还可以包括时间轴条303，其代表视频流内容的长度总 数。
一个具体有用的实施例可以包括显示包括多个片段显示元素306的一组 片段显示元素305的显示器。该片段显示元素306可以显示缩略图或代表片 段的其它可视信息。另外，片段显示元素306之一可以具有一个或多个附加 可视元素307，以指示由片段显示元素306表示的片段是活动片段，场景309 是该活动片段的一部分。在一个有用实施例中，指示活动片段的附加可视元 素307可以是活动片段周围的框(block)、轮廓或有色背景。在另一个有用 实施例中，附加可视元素307可以用于指示活动场景或帧。
该组片段也可以具有与该组相关的一组或多组导航按钮310。每组导航 按钮310可以包括单个移动按钮312和跳跃按钮311。该单个移动按钮312 可以左右滚动作为场景组308的一部分被显示的场景，以允许用户访问作为 活动片段或类的一部分但是未被显示的场景。另外，跳跃按钮311可以允许 用户直接前进到片段的起始或末尾处的场景。在一个具体有用的实施例中， 当在片段或类中的场景数超过可用于显示场景的空间时，这些按钮可以是有 用的。另外，一组这样的导航按钮可以与场景和帧相关，并且也可以用于滚 动场景以及帧。
一个具体有用的实施例也可以包括显示包括多个场景显示元素309的一 组场景显示元素308的显示器。该显示的场景是来自于当前活动的片段或类 的场景，并且可以用附加可视元素307来表示。该场景显示元素309可以显 示缩略图或代表场景的其它可视信息。另外，场景显示元素309之一可以具 有一个或多个附加可视元素307，以指示由场景显示元素309表示的场景是 活动场景，显示的场景314是该活动场景的一部分。
在另一个具体有用的实施例中，该显示器也可以显示具有多个帧显示元 素314的一组帧313，每个元素显示不同的帧。在帧显示元素314中所示的 帧是来自于活动场景的帧，并且通过演变(descendancy)也来自于活动片段 或类。
另一个具体有用的实施例可以包括具有多个直方图316的一组直方图 315。每个直方图可以与单独的帧显示元素314对应，并且可以显示与帧显 示元素314中显示的帧有关的信息。例如，直方图可以显示与比特率、帧颜 色信息等有关的信息。
现在参照图4，描述了界面显示元素306的示范性实施例的详细图。界 面显示元素可以用于显示片段、类、场景的缩略图表示或单个帧的缩略图。 该缩略图可以显示在缩略图显示区域403中。界面显示元素306也可以具有 上信息条401和下信息条405。在一个具体有用的实施例中，上信息条401 可以显示信息402，诸如显示的缩略图所代表的在视频内容流内的时间。同 样，一个具体有用的实施例可以具有下信息条405，显示诸如在界面显示元 素306中显示的缩略图的帧号的信息。另外，上和下信息条401和405可以 用来传达与类有关的信息或其它类似信息。例如，信息条401和405可以被 着色，以基于与片段、类、场景或帧有关的属性来指示分类。
界面显示元素306可以另外具有用于显示附加界面可视元素404的区 域。可以可选地包括该附加可视元素，以指示哪个片段或类当前是活动的。
现在参照图5，描述了用户界面300的一个示范性实施例的图。在这样 的用户界面中，用户可以能够通过移动时间轴光标来导航片段、场景和帧。 可替换地，用户可以简单地点击片段以使得场景活动，并且改变显示的场景 和帧，该显示的场景和帧是所选片段的一部分。同样，用户可以简单地点击 场景以选择该场景作为活动场景，改变所显示的帧，其中该帧是活动场景的 一部分。
现在参照图6，描述了根据本原理的用于显示和处理内容访问树的数据 的配置的替换示范性实施例的详细图。在此实施例中，图3的界面300可以 包括附加动作或显示元素。
可以显示一组类别604，该组类别604具有多个类别605。每个类别可 以由附加可视元素来表示，并且属于每个类别605的场景314可以显示附加 可视元素以便于用户仔细观察。在一个有用实施例中，用户可以能够通过拖 拉场景显示元素309并将其放在相关类别显示元素605上来对场景309进行 分类。在一个替换实施例中，用户可以使用鼠标点击场景显示元素309并从 下拉菜单中选择类别605。
界面300也可以具有一组或多组动作按钮601，其包括多个动作按钮 606。一个或多个动作按钮606可以与每个场景或类别相关。动作按钮606 可以允许用户对场景或类别进行排队，以用于初始编码、再编码或滤波。在 一个具体有用的实施例中，初始未被编码的场景或类别将具有与按钮606相 关的、用于编码场景或类别的动作按钮606。在另一个有用的实施例中，动 作按钮也可以允许用户过滤场景或类别。另外，用户可以右键点击任何缩略 图或信息条，以允许用户对所选的缩略图或信息条采取动作或查看与所选的 缩略图或信息条有关的信息。
界面300也可以显示场景标记602。在一个有用实施例中，场景标记602 以允许用户可视地辨别出场景的边界、例如在场景中的帧的分组的方式放 置。在另一个有用实施例中，用户可以用鼠标点击场景标记602以创建或去 除场景边界。在此实施例中，用户可以选择场景标记602，以纠正当输入原 始视频数据时执行的自动场景检测。
也可以在界面中显示帧信息标记603，并且该帧信息标记603与帧314 有关。帧信息标记603可以是帧显示元素314的一部分，或者可以以关于帧 314的任何其它逻辑关系来显示帧信息标记603。在一个具体有用的实施例 中，帧编码类型可以被显示为文本。例如，帧信息标记可以指示帧被作为总 体压缩，帧从两个其它帧中内插，或帧作为另一个帧的接续(progression) 而被压缩。
已经描述了以分级方式显示视频内容的系统和方法的优选实施例(其意 在示范且不是限制性的)，应当注意，本领域技术人员根据上述教导可以做 出修改和变化。因此应当理解，可以对所公开的本原理的具体实施例做出改 变，其落入由所附权利要求书概括的本原理的范围和精神之内。已经由此按 照专利法要求的细节和具体特征描述了本原理，专利权所要求的和所期望保 护的在所附的权利要求书中进行阐述。
相关申请的交叉引用
本申请要求于2006年3月9日提交的、美国临时申请序列号为第 60/780,818号的权益，其整体以引用的方式并入本文。