[0001] 本
发明涉及一种通过从对应于一个节目的
视频流中选择相应的部分而创建一个相关视频
片段集(collection)的方法，该相关视频片段集的第一持续时间与该节目的第二持续时间相比是较短的。
[0002] 本发明进一步涉及一种视频片段编辑单元，用于通过从对应于一个节目的视频流中选择相应的部分而创建一个相关视频片段集，该相关视频片段集的第一持续时间与该节目的第二持续时间相比是较短的。
[0003] 本发明还涉及一种视频存储系统，包含：
[0004] 接收单元，用于接收视频流；
[0005] 存储装置，用于存储该视频流以及用于存储从该视频流中选择的相关视频片段集；以及
[0006] 视频片段编辑单元，用于如上所述地创建该相关视频片段集。
[0007] 本发明进一步涉及一种由计算机装置加载的
计算机程序产品，包含用于通过从对应于一个节目的视频流中选择相应的部分而创建一个相关视频片段集的指令，该相关视频片段集的第一持续时间与该节目的第二持续时间相比是较短的，该计算机装置包含处理装置和
存储器。
[0008] 在人们的起居室中能被
访问和消费的声频-视频信息的数量不断地增加。这个趋势由于将来的电视接收机和个人电脑所提供的技术和功能二者的汇合而可能进一步
加速。为了选择感兴趣的声频-视频信息，需要工具来帮助用户
抽取相关的声频-视频信息和有效地在大量可用的声频-视频信息中导航。为了允许让用户能快速地概览被记录的声频-视频信息以决定是否观看一个完整的被记录节目，一个有趣的功能是自动生成视频短片(video trailers)。当某节目已经被录制或者被录制时，可以分析被记录节目，以便从视频流中选择相关的视频片段。以后通过显示该相关的视频片段，就能向用户提供该被记录节目的良好的概览。
[0009] 在开篇段落中所述的那种方法的一个
实施例，在R.Lienhart等的文章″Video Abstracting″(视频摘要提取)(Communications of theACM，40(12)，55-62页，1997)中是已知的。该文章公开了视频数据可以在四个层(layers)中被建模。在最低层，它由一组
帧组成；在下一个较高层，帧被组合成连续镜头(shots)或连续的摄影机记录，然后根据故事叙述的连贯性，把连续镜头聚集成情景(scences)。所有情景一起构成视频。剪辑的概念，被描述为被选择作为摘要的元素的一个帧序列；一个视频摘要因此由一组剪辑组成。已知的方法包含三个步骤：视频内容的分割和分析；剪辑选择和剪辑汇编。分析步骤的目的是检测特殊事件，诸如主要演员的特写镜头、炮火、爆炸和文本。已知方法的缺点是较复杂并且没有鲁棒性。
[0010] 本发明的一个目的是提供较容易的、在开篇段落中所述的那种方法。
[0011] 这个目的是在一种方法中实现的，该方法包含：
[0012] 接收与节目相关联的脚本(transcript)信息，该脚本信息包含多个句子；
[0013] 检测句子中的第一个句子中的第一个惊叹性语法成分；
[0014] 从视频流中选择对应于该第一个惊叹性语法成分的部分中的第一部分；和[0015] 将该第一部分与相关视频片段中的第一相关视频片段相关联。
[0016] 惊叹性语法成分的意思是指一个惊叹号、一个用大写字母表达的词、一个包含用大写字母表达的词的句子、一个用带下划线的字符表达的词、一个用斜体字符表达的词、一个用
黑体字符表达的词、或者一个用与其它句子中的其它字符相比更大的字符表达的词。
[0017] 脚本信息例如表现为闭路字幕的文本、借助图文电视而被交换的字幕、或者作为要与视频流的图像合并以产生
覆盖文本的图像数据而被交换和/或存储的字幕。
[0018] 一般来说，以惊叹号结尾的句子对应于能被包括在或者是视频摘要或者是视频短片的视频预告片中的有趣的视频片段，以引起好奇并控制注意
力。在字幕和闭路字幕中，句子把所有要被大声说出或表达(例如人喊叫)的词都写成大写。与这些句子相关联的片段，最好被用来使视频预告片更吸引人和更有趣味。
[0019] 按照本发明的方法的一个实施例进一步包含滤除掉包含一个等于特定词集中的一个第二词的词的较短的句子。该词集可能包含″yes″(是)、″no″(否)和″thanks″(谢谢)等词。换言之，频繁出现的诸如″Yes！″″No！″等的短句子被滤除掉，因为它们被认为较不重要。
[0020] 在按照本发明的方法的一个实施例中，改变所选择的部分的顺序。如果以正确的顺序，即对应于原始节目的顺序的顺序来观看所选择的部分，就有可能透露太多的故事。通过改变顺序，就减少了这种可能。
[0021] 本发明的另一个目的是提供一种在开篇段落中所述的那种视频片段编辑单元，它被安排成以相对容易的方式创建相关视频片段集。
[0022] 本发明的这个目的是通过一种视频片段编辑单元实现的，它包含：
[0023] 接收装置，用于接收与节目相关联的脚本信息，该脚本信息包含多个句子；
[0024] 检测装置，用于检测句子中的第一个句子中的第一个惊叹性语法成分；
[0025] 选择装置，用于从视频流中选择对应于该第一个惊叹性语法成分的各个部分中的第一部分；和
[0026] 关联装置，用于将各部分中该第一部分与相关视频片段中的一个第一相关视频片段相关联。
[0027] 本发明的另一个目的是，提供一种在开篇段落中所述的那种视频存储系统，它被安排成以相对容易的方式创建相关视频片段集。
[0028] 本发明的这个目的是通过该视频存储系统的视频片段编辑单元实现的，它包含：
[0029] 接收装置，用于接收与节目相关联的脚本信息，该脚本信息包含多个句子；
[0030] 检测装置，用于检测句子中的第一个句子中的第一个惊叹性语法成分；
[0031] 选择装置，用于从视频流中选择对应于该第一个惊叹性语法成分的各个部分中的第一部分；和
[0032] 关联装置，用于将各部分中该第一部分与相关视频片段中的一个第一相关视频片段相关联。
[0033] 在按照本发明的视频存储系统的一个实施例中，该存储装置包含
硬盘。在按照本发明的视频存储系统的另一个实施例中，存储装置被安排得在可移动存储装置(即诸如光盘的可移动存储介质)上存储视频流。可以在例如电视机、计算机、录像机(VCR)、DVD记录器、机顶盒、卫星调谐器或消费
电子领域中的其它设备中包括一个按照本发明的视频片段编辑单元。
[0034] 本发明的另一个目的是提供较容易的、在开篇段落中所述的那种计算机程序产品。
[0035] 为了实现这个目的，该计算机程序产品在被加载后使所述处理装置能够执行：
[0036] 接收与节目相关联的脚本信息，该脚本信息包含多个句子；
[0037] 检测句子中的第一个句子中的一个第一个惊叹性语法成分；
[0038] 从视频流中选择对应于该第一个惊叹性语法成分的各个部分的第一部分；和[0039] 将各部分的该第一部分与相关视频片段的第一相关视频片段相关联。
[0040] 本发明的
修改及其变体可对应于所述的视频存储系统的视频片段编辑单元的以及计算机程序产品的修改及其变体。
[0041] 图1示意性地表示按照本发明的记录和再现设备的实施例；和
[0042] 图2示意性地表示按照本发明的、根据节目创建视频概要。
[0043]
附图中用相同的标注号代表相似的部件。
[0044] 节目可以是由电视台即电视广播公司广播的电视节目。电视节目通常通过电视机被观看。然而，节目也可以由另一类内容提供者例如通过因特网提供。在这种情况下，节目也可以通过电视机以外的其它类型的装置被观看。作为可选择的，节目不是被广播的，而是依靠如光盘或磁带的可移动介质来交换。本
说明书中的所描述的例子中的节目是电视节目。显然，本发明有更宽的范围。
[0045] 电视
信号包含画面信息、声音信息和另外的信息，诸如图文电视信息。电视信号传送电视节目。电视节目可包含电影、系列剧的分集、剧场演出的记录再现，纪录片或体育节目。这些类型的电视节目信息可以被多个单元的商业中断信息和公告信息中断。每个商业中断一般包含多个商业消息。
[0046] 图1示意性地表示按照本发明的记录和再现设备100的实施例。这个记录和再现设备100是一个基于硬盘的视频存储系统。记录和再现设备100适于记录包含在被接收信号TS中的电视信号FS并再现被记录的电视信号AFS。被接收信号TS可以是通过天线或
电缆接收的
广播信号，但是也可以是来自如VCR(录像机)或数字多用盘(DVD)的存储装置的信号。被接收的信号TS由输入连接器110提供。再现的电视信号AFS在输出连接器112提供，并能通过例如电视机所包含的显示装置被显示。
[0047] 记录和再现设备100包括：
[0048] 接收装置102，用于接收电视信号TS。这个接收单元102-例如调谐器-被安排成选择电视台的电视信号FS。这个电视信号FS代表对应于电视节目200的视频流；
[0049] 记录和再现装置106，用于存储由接收单元102所提供的视频流。如一般知道的那样，这个记录和再现装置106包括一个用于处理要被记录的电视信号FS和处理再现的电视信号AFS的
信号处理级。这个处理级可包含
数据压缩。记录和再现装置106包括作为记录介质的硬盘，以用于记录被处理的电视信号FS。
[0050] 交换单元104，用于把被存储的信息改编成再现的电视信号AFS以及用于通过输出连接器112把这个再现电视信号AFS传送到例如电视机。该改编可以包括在代表视频流的电视信号FS的载波上的调制。被存储的信息包含由接收单元102所提供的视频流和一个相关视频片段集；和
[0051] 视频片段编辑单元108，用于通过从对应于电视信号的视频流中选择相应的各部分而创建这样一个相关的视频片段集。这个视频片段编辑单元108的用途是创建一个视频短片或者视频流的一个视频摘要。因此，相关视频片段集的持续时间与电视节目的持续时间相比是较短的。例如，一个电视节目大约持续1或2小时，而相关视频片段集的持续时间在在数秒钟或数分钟的范围内。这意味着例如从10秒到2分钟。因此，相关视频片段的每一个只持续几秒。依照用户
请求，要被选择的相关视频片段的持续时间可以更短或更长。并不要求所有的相关视频片段有相同的长度。相关视频片段集的创建，可以在视频流的记录的期间进行，也可以在记录已经结束之后进行。在前一种情况下，视频流通过连接114被提供，在后一种情况下，视频流通过连接116被提供。
[0052] 视频片段编辑单元108包含：
[0053] 脚本信息接收单元118，用于接收与节目相关联的脚本信息。脚本信息包含多个句子，并可以被实现为闭路字幕的文本、通过图文电视被交换的字幕、或者作为要与视频流的图像合并以产生覆盖文本的图像数据而被交换或存储的字幕；
[0054]
文本分析单元120，用于检测句子中的惊叹性语法成分。惊叹性语法成分可以是惊叹号、用大写字母表达的词、包含用大写字母表达的词的句子、用带下划线的字符表达的词、用斜体字符表达的词、用黑体字符表达的词、或者用与其它句子中的其它字符相比更大的字符表达的词。字幕的检测最好根据W02002093910中所描述的方法。下面的两篇文章公开了用于视频流中文本检测的另外的适当技术：″MPEG-7VideoText Description Scheme for Superimposed Text″(重叠文字用的MPEG-7视频文字描述方案)(作者N.Dimitrova、L.Agnihotri、C.Dorai，RBolle，刊载于International Signal Processing and ImageCommunications Journal，2000年9月)；″Text Detection for VideoAnalysis″(视频分析的文字检测)，作者L.Agnihotri、N.Dimitrova，发表于IEEE Workshop on Content-based Access of Image and VideoLibraries，美国科罗拉多，1999年6月)；
[0055] 视频选择单元122，用于从视频流200中选择对应于惊叹性语法成分的部分202-214。选择单元122被安排成用于确定惊叹性语法成分出现的开始时刻和停止时刻。各相应部分202-214的开始和结尾最好与这些开始时刻和停止时刻匹配；和[0056] 关联单元124，用于把被选择的部分202-214与相关视频片段相关联。相关视频片段集可以用原始视频流的相应部分的多个拷贝的形式存储起来。但是，最好只存储一组
指针。指针指明分别对应于视频流中被选择的各部分的开始和结尾在视频流内的开始和停止
位置。可以将相关视频片段集以视频数据的形式或以指针的形式存储在与存储原始视频流所用的相同的存储器装置中，或者存储在单独的存储器装置中。显然，在记录和再现设备是基于可移动存储介质的情况下，最好将视频流与相关视频片段集存储在同一个存储介质上。
[0057] 最好将内容分析
算法与所提出的方法结合使用，以便把被选择的视频片段与适当的视频或声频情景边界对准或者把特殊事件序列(例如爆炸、追车)包括在内。
[0058] 自动生成的短片可以被用来浏览视频材料。可以用它来浏览被记录的节目。尤其是与基于自动简档(profile)的记录组合时，这是一个有趣的功能。用户需要某种方法来从被记录的节目中选择要观看哪些节目。生成的短片是一种选项，非常适合欣赏电视的后倾(lean back)模式。
[0059] 脚本信息接收单元118、文本分析单元120、视频选择单元122和关联单元124可以用一个处理器来实现。一般来说，这些功能是在
软件程序产品的控制下被执行的。在执行期间，软件程序产品通常被加载到如RAM那样的存储器中，并从存储器中执行。可以从如ROM、硬盘或
磁性和/或光存储存储器那样的后台存储器中加载程序，或者可以通过如因特网的网络加载程序。可选地，专用集成
电路提供所公开的功能。
[0060] 图2示意性地表示按照本发明的、根据电视节目200对视频短片或视频摘要201的创建。电视节目201包含多个情景和连续镜头。假设与该电视有关的脚本信息是可得到的。通过选择属于脚本信息的包含惊叹性语法成分的各部分的视频流的较小部分202-214，能汇集电视节目的较为重要的情景的各个片段。因此，相关视频片段集非常适合作为视频短片或视频摘要。视频流的被选择部分202-214通常有几秒(1-10秒)的持续时间。被选择视频片段的持续时间可以等于预定值。但是该持续时间最好由惊叹性语法成分的出现的持续时间确定。或者，持续时间可由用户控制。可选地，视频片段的持续时间与电视节目的持续时间有关。例如，如果电视节目的持续时间长，则被选择的视频片段的持续时间可以较短。可选地，视频片段的持续时间与电视节目中被检测到的惊叹性语法成分的数量有关。例如，如果惊叹性语法成分的数量有限，则被选择的视频片段的持续时间可以较长。
[0061] 应当注意的是，上述实施例说明而非限制本发明，所属领域的熟练人员在不偏离后附的
权利要求的范围的情况下，能够设计出替代性实施例。在权利要求中，置于括号之间的任何标注符号不应被解释为限制权利要求。“包含”一词并不排除存在权利要求中未列举的部件或步骤。部件前面的“一个”一词并不排除存在多个这样的部件。本发明可通过包含几个不同部件的
硬件以及通过适当编程的计算机实现。在枚举若干个装置的装置权利要求中，这些装置的几个可以由同一件硬件具体体现。第一、第二、第三等词语的使用，并不表示顺序。这些词语被解释为名称。
