随着有线电视，卫星电视和因特网技术的发展和成功，用户可收到 日益增多的电视节目。在高清晰度的内容方面，每个信道每天总计已超过 200GB的信息量。因此，对于用户来说，具有快速浏览直播和存储的电 视节目介绍从而找到用户最有兴趣观看的节目或节目片断的能力逐渐变 得重要。而问题是电视节目内容不是透明的。现有用户的选择是：要么 以固定的速度看完整个电视节目再快进找到感兴趣的那部分节目，要么 用只提供很一般性的节目介绍的EPG(电子节目指南)数据。

为此，本发明的目的之一是提供方法和装置，此方法和装置能提供节 目摘要和索引，比如电视节目摘要和索引。为此目的，本发明提供在独立 权利要求中定义的节目摘要和/或索引。相关的权利要求详细说明了几个 有用的利用副本信息的最佳实施例，这几个例子特别适用于此发明目的。
在一个有用的实施例中，本发明提供方法和装置，此方法和装置处理 输入的音频/数据/视频信号，从此音频/数据/视频信号中摘录副本信息， 分析这个副本信息，确定广告断开的界限和节目的结尾，提供一个节目摘 要、内容表和一个节目索引。
在另外一个有用的实施例中，本发明提供的方法和装置利用副本信 息来进行视频节目摘要和索引，此方法和装置克服了已有的节目信息摘录 和检索方法所固有的不利之处。
本发明上述以及其它的目的、特征和优点通过下面的详细介绍及附 图将会变得清楚。
附图说明
唯一的图是按照本发明的一个最佳实施例，利用隐藏式字幕文本 (closed-captioned text)进行节目摘要和索引的系统框图。
具体实施例
参照附图，说明了利用副本信息节目摘要和索引方法和装置。副本信 息这个词是指一个指示文本，例如隐藏式字幕文本，它一般和节目传输信 号(音频/数据/视频)一起提供，其相当于电视节目中有声或无声的事件或 者是其它类似EPG数据的文本信息。副本信息可以从视频文本或屏幕文 本中获得(例如通过检测视频信号的字幕)，还可以应用有关摘录文本的视 觉特征识别技术(OCR)，就如在WO 01/37212(attorneys′docket PHA 23.832)，名为“视频流分类符号摘录方法和系统(Video Stream Classification Symbol Isolation Method and System)”，和在WO 01/37212(attorneys’dockney PHA 23.832)名为“用于神经网络的 边缘特征符号分类(Symbol Classification with Shape Features Applied to a Neural Network)”中所讨论的，其整个公开的内容通过 参考结合在此处。
本发明基于这样的认识：可以利用已知的搜索技术分析和搜索副本 信息，如关键词搜索和统计文本索引和检索。一般来讲，此装置分析节 目(音频，视频和其它类似的)的副本信息，生成一个节目摘要(其用 于提供一个内容表)和一个节目索引。如果音频/数据/视频信号不包括 文本部分(也就是它不包含副本信息)，可用已知的如声音-文本转换技 术产生副本信息。副本信息也可从第三方资源获得，例如从因特网得到 电视节目指南。
设计节目摘要和内容表由用户决定是否访问(也就是观看)某一特 别的节目。另外，此节目摘要和内容表可以帮助用户识别感兴趣的节目 特定部分。例如，对于一个视频(也就是电视)节目来讲，此发明检测 音频/数据/视频信号的副本信息，搜索具体的提示语，这些提示语表示 某一在节目摘要中值得记录的事件已经发生或者将要发生。在副本信息 中确定这些提示语的位置后，识别这个具体事件，从副本信息中摘录有 关事件的信息并且作了一个时间标记(节目播出期间事件发生的时间)。 如果用户可以基于事件的发生来做出是否看这个节目的决定，那么这个 事件是值得记录的。
每个事件发生后，存储从副本信息中摘录的信息和相应的时间标记。 产生一个节目摘要，而后构造一个节目内容表，用户可用此表来判断出 节目中发生什么事件和什么时间段发生什么事件。因此，如果节目存储 或录制在一个存储设备(也就是以模拟或数字方式存储在录像带或光盘、 电脑硬盘等)，后来看这节目的人可以查看所产生的节目摘要和/或内容 表来确定对此节目是否感兴趣。如果查看完节目摘要或内容表之后，用 户仅对所看的一部分节目感兴趣，用户可以直接进到节目相关部分，从 而不必浪费时间看那些用户不感兴趣的部分。
应该注意的是本发明既适用于有结构的节目，也适用于无结构的节 目。有结构的节目例子包括脱口秀、新闻节目和体育节目，有结构的节 目有一定的格式(例如脱口秀节目格式为：独白，广告，第一位嘉宾， 广告，第二位嘉宾，广告，最后一位嘉宾，广告，结束)。并且，在每 次节目播出时，某些话是重复的(例如，脱口秀节目主持人说的：“我 们的第一位嘉宾是……请欢迎”)。无结构节目的例子是电影。对于有 结构的节目，可以制作节目摘要，内容表和节目索引。而对于无结构的 节目，只能制作节目索引。
现在来介绍本发明的一个最佳实施例。装置10利用副本信息摘要电 视节目摘要，它包括一个接收音频/数据/视频信号的视频输入端口12， 这个信号包括副本信息更好。根据接收到的音频/数据/视频信号，节目 类型确定器13做出此节目是“有结构”还是“无结构”的判断。
节目类型确定器13优先分析电子节目指南(EPG)数据(就如在此 技术领域已知的)，来确定节目类型(是有结构的还是无结构的)，如 果此节目是有结构的，确定此节目是否为脱口秀，新闻节目，娱乐表演 或是体育节目等。如果没有提供EPG资料，我们可以预知节目类型确定 器分析副本信息并且与已知的节目格式做出比较来确定节目分类类型。 对节目类型分类是很重要的，因为这确定了将要在副本信息中搜索特定 的提示词(如下面更详细的说明)。也就是说脱口秀有一套提示词，新 闻节目有另外一套提示词等。
副本信息摘录器14也和视频输入端口12连在一起，它从音频/数据 /视频信号中摘录副本信息，如上面所提到过的，如果音频/数据/视频输 入信号不包括副本信息(也就是隐藏式字幕文本)，就用已知的声音- 文字产生技术产生副本信息(或从第三方资源获得)。从输入信号中摘 录出副本信息部分后，这个副本信息就会提供给提示语摘录器16以供分 析。
提示语摘录器16与知识数据库18连在一起，这个知识数据库有许 多套提示语，每一套提示语与某一节目分类的类型相关。这个知识数据 库也与节目类型确定器13相连，节目确定器13为知识数据库提供节目 类型。这个知识数据库在库中搜索与某一节目分类的类型相应的提示语。 然后把相关的提示语提供给提示语摘录器。这些提示语是根据已知的节 目格式挑选出来。提示语摘录器在副本信息中检测知识数据库所提供的 提示语的出现，一般来讲这些提示语涉及句子、段落或词语，这些句子、 段落或词语表示某一事件在节目中将要发生或已经发生。例如，对节目 类型确定器13分类为脱口秀的节目，知识数据库会访问与脱口秀节目有 关的那套提示语。下面是知识数据库中存储的脱口秀的提示语类型的一 个例子。
介绍提示语：例如，第一位嘉宾，下一位嘉宾……
中间提示语：例如，请欢迎，仅有的一位……
表示广告的连接提示语：例如，我们过会儿再见……
结束提示语：例如，各位晚安，下周再见，谢谢收看……
知识数据库18命令提示语摘录器16从由副本信息摘录器14提供的 副本信息中检测表明一事件将要发生的句子(如“我们的第一位嘉宾”， “我们的第二位嘉宾”，“我们的第三位嘉宾”，或者“我们的最后一 位嘉宾”表明要介绍一位嘉宾)。知识数据库也会命令提示语摘录器确 定一个第二提示语的位置，这个提示语表明这个事件正在发生(嘉宾正在 走上舞台)。例如第二个提示语可能是＂请欢迎＂，＂给予热烈的掌声＂，和/ 或，＂唯一的一个＂。暂存数据库22给提示语摘录器提供这样的信息：定 位两个提示语在时间上应该相差多大。如果在识别完第一个提示语后，在 预先规定的时间内没有识别出第二个提示语，此装置判定没有正确识别出 第一个提示语或是错过了第二个提示语。由此，知识数据库命令提示语摘 录器识别新一套第一和第二个提示语。如果在规定时间内识别出第二个 提示语，就存储最接近第一和第二个提示语的文本信息，而且如下面所解 释的，这些文本信息提供给判断推理器20，由它摘录相应的信息并且根 据文本信息做出推理(对脱口秀节目，其推理包括嘉宾的身份和名望领 域)。
定位第一和第二个提示语的事实被提供给判断推理器20。此判断推 理器从提示语摘录器中不仅获得那两个提示语被定位的事实，而且获得最 接近这两个提示语的文本信息。判断推理器20分析由提示语摘录器识 别和提供的部分副本信息，以此来摘录出具体的信息并以此做出推理(例 如客人的名字和声望领域)。在一个最佳实施例中，判断推理器20还与 一个查找表联合，这个查找表把副本信息中特定词语的出现与特定的领域 /主题联系起来。例如，如果涉及到第一和第二提示语(其表明一事件将 要或已经发生)的副本信息包括象男演员，女演员，魅力，电影，奥斯卡或 惊险电影这样的词语，判断推理器(访问完查找表后)把这些词联系到电影 行业。做出嘉宾在电影行业的推理。
为确定此嘉宾的名字，判断推理器可以，举例说来，搜索像“请欢迎” 这样的词语而后摘录这些词语或词语后的名字。把一个名字数据库(也就 是名人和其他著名)与摘录出的词语作比较来核对摘录出正确的词语(名 字)。如果没有摘录出有效的名字，那就要另外搜索副本信息来识别正确 的名字。摘录副本信息和做出推理来获得有关此嘉宾的其他资料，与此相 似。名字和声望领域被视为制作节目摘要和内容表最有用的。
接着，提示语摘录器16访问知识数据库18来确定，如果有的话，下一步 应该识别什么提示语。收到知识数据库18来的命令后，这个命令是根据 被识别的节目类型做出的，提示语摘录器在副本信息中搜索这个新的提示 语。是否需要第二个提示语由节目的分类决定(也就是，如果节目是曲棍 球比赛，可以预知提示语摘录器在副本信息中只要检测一个词，“记分 (score)”或“记分(goal)”，然后摘录出与识别出的词语最近的副 本信息)。识别出下一个提示语后，如以上所说明的，可以访问推理判断器 和暂存数据库直到检测到节目结束。
由推理判断器20从副本信息中摘录的信息(也就是名字和名望领域) 和相应的时间标记存储在存储器(没有说明)中。把从此推理判断器获得 的信息组织成节目摘要和节目内容表。在一个最佳实施例中，通过把每位 嘉宾的名字和声望领域插入到事先确定的文本来产生节目摘要，例如：
“第一位嘉宾是(插入嘉宾的名字)其特长是在(插入嘉宾的声望领域) 领域”。
以下是脱口秀节目摘要的例子，其包括事先确定的和/或推断出的文 本和出现在第一个提示语和第二个提示语的之间的副本信息。
在此脱口秀中有3位嘉宾。
第一位嘉宾是Adam Sandler，他的专长是在音乐领域。今晚我的第 一位嘉宾是电影圈中最红的一位明星。今晚在这里他将演唱他的新CD的 一首歌，＂Stan and Judy′s kid＂。出去买这个CD吧。他真的很刺激。
第二位嘉宾是电影行业的Peta Wilson。
今晚我的第二位嘉宾在美国网络剧＂La Femme Nikita＂中担任主角， 在影剧中，由一个龌龊的街头小流氓转变成一个富有魅力的神秘的拦路强 盗暗杀者。
最后一个嘉宾是Chris Eigeman，他曾在电影界工作过。
今晚我的下一位嘉宾曾在一些相当不错的影片中担任主角。他曾经 在“Metropo1itan”，“Barcelona”和“The Last Days of Disco”中 演出过。现在可以在ABC的节目“It’s like，you know”中看到他。
节目摘要产生之后，制作节目内容表。内容表最好包括节目的有关 事件信息和节目中此事件发生的时间。例如，如果是脱口秀节目，内容 表会包括每一位嘉宾的名字，名声领域和节目期间每位嘉宾出现的时间。 下面是脱口秀节目内容表的例子：
Jay Leno主持人-1-14分钟
Adam Sandler音乐-15-29分钟
Peta Wilson电影-30-44分钟
Chris Eigeman电影-45-60分钟
此内容表也可以包括其它摘录的信息，比如广告的出现或者对话的 主题。
在分析副本信息制作节目摘要和内容表的同时，制作节目索引，在 一个实施例中，提示语摘录器16记录副本信息中词语的出现，并把这个 信息提供给知识数据库18和判断推理器20，知识数据库18和判断推理 器20包括一个查找表，此查找表把特定的词语与特定的主题联系起来。 可以检测副本信息，找到事先确定的时间阶段和主题，并且指出和大多 数词语有关的主题来作为相应的时间段的主题。我们也可以预知节目索 引会列出所有用在节目中的“不间断”的词语，并提供相应的使用这些 词语的节目时间。是“不间断”词语，而不是“间断”词语。“间断” 词语的例子是“而且”，“或”，“然后”，“如果”，“是”，“至”和 “何时”。
下面叙述本发明的方法，开始先接收声音/数据/视频信号，这个声 音/数据/视频信号在另外一些东西中最好包括副本信息信号，从中可摘 录出副本信息。此后，利用已知的方法，比如扫描相应的EPG信号或分 析副本信息，来确定节目分类类型(是有结构的还是无结构的)。如果 节目是有结构的，还可以识别节目结构，如脱口秀，新闻节目，娱乐表 演和体育节目等。
根据分类的节目类型，会基于有关节目结构的知识(也就是节目段 落组织方式)在副本信息中(隐藏式字幕文本)搜索一套特定的提示语。 例如，脱口秀节目根据嘉宾分段，体育节目可以根据已知的比赛部分分 段(也就是曲棍球的段，蓝球和足球的场，棒球的局，网球的局)或者 根据节目中的事件(例如记分)。为了把曲棍球比赛摘要成有意义的片 断，提示语可能包括如“记分(score)”和“记分(goal)”这样的词， 来获得这个比赛的记分摘要。如果是脱口秀节目，在副本信息中会识别 出象“第一位嘉宾”，“第二位嘉宾”，“最后一位嘉宾”这样的提示 语，这不仅确定了节目的段落而且识别了节目中的事件。制作节目内容 表时，用这些节目段落把节目分成可以识别的部分，其中特定的事件已 经发生。
确定完被搜索的提示语后，检测副本信息，查找第一提示语的出现。 识别副本信息中的第一提示语时，记录此第一提示语被识别处的节目时 间。然后做出节目是否结束的判断。如果节目没有结束，检查副本信息 查找第二提示语。基于产生的有关已知节目结构(格式)的规则，在有 限期间内，在副本信息中搜索这样的事件：第二提示语在第一提示语出 现后的特定时间阶段内出现。这个有限期间从一个查找表获得，这个查 找表与第一和第二提示语相联系。这个查找表指出了两个提示语被识别 出的最大可允许时间间隔。这个信息可由，例如，如先前说明的，暂存 数据库22提供。进行这个暂时的核查来消除联系不该联系到一起的事件 时出现的错误。例如，关于脱口秀节目，已知节目主持人常通过嘉宾的 声望领域和其名声来介绍一位嘉宾。然后，在一段相对较短的一段时间 内(少于1分钟)，嘉宾被带到舞台上。但如果第一提示语(也就是，＂ 我们的下一位嘉宾…＂)和第二提示语(也就是＂请欢迎…＂)被识别的时 间间隔超过1分钟(例如10或20分钟)，那么在识别第一或第二提示 语时可能有个错误。由此可以做出判断，识别第一提示语和识别第二提 示语没有关联。
如果第二个提示语没有在事先规定的时间内识别出，那么此方法检 查是否发现广告，记录节目中广告的时间，而后检查节目是否结束。可 以用知识数据库(如上面说明的)提供的提示语或其它已知的检测广告 和节目结尾的方法检测广告和节目结尾的出现，这些方法如在WO 01/28240(attouneys′docket PHA 23.803)名为＂基于特征自动地位， 识别和记录广告和其它电视节目(Automatic Signature-Based Spotting，Learning and Extracting of Commercials and Other Video Content)＂和US 1,100,44(attouneys′docket PHA 23.477)名为＂ 定位电视信号流广告的装置和方法(Apparatus and Method for Locating a Commercial Disposed within a Video Stream)＂中所公开的，整个公 开内容通过参考结合在这里。当识别出第二个提示语时，记录下识别第 二个提示语处的节目时间。如果节目已经结束，此方法进到下面的说明 部分。如果节目没有结束，此方法回到确定新的第一和第二提示语的那 个步骤。
如果在事先规定的时间内识别出第二个提示语，那就从第一和第二提 示语做出推理。那就是，分析最接近识别出来的第一和第二提示语所在的 那部分副本信息的副本信息来摘录与这两个提示语有关的信息(也就是有 关第一位脱口秀嘉宾的信息)。从脱口秀节目副本信息中摘录的信息有， 例如，嘉宾的名字，名声领域和嘉宾当前的表现。此信息存储在存储器中 (没有表示出)。除此以外，在内容表中也记录了节目期间有关事件的发生 时间，以便以后此系统的用户能确定某一特别的事件在节目中什么时候发 生。
也可预知要摘录一段表象(也就是声音或电视片断)，这段表象与摘录 的副本信息有关，摘录的副本信息与第一和第二提示语有关。这段表象 和与两个提示语有关的摘录出的副本信息一起来制作节目摘要和内容 表。因此用户不仅可以看到节目期间的事件列表和出现时间，而且可以看 到事件的一段表象或听见事件的一段声音。以此来帮助用户做出是否看 这段节目的决定。
此后，方法检测副本信息来确定是否发生广告中断(第58步)。利用 数据库提供的提示语来检测广告的出现(如同上面所解释的)。如果检测 到一个广告，记录并存储广告在节目中的时间(也就是表示一段节目结束 和另一端节目开始)。然后做出判断节目是否结束。节目结束的判断方法 和上面检测广告的方法相似。具体说来，对于脱口秀，可以在隐藏式字幕 文本中检查像＂下周＂，＂谢谢你们＂和＂晚安＂这样的词语。也可用其它已 知的节目结尾检测方法，如在PCT/EP01/00309中公开的(attorneys′ docket PHUS000034)，其名为＂在现场时间以前记录节目的方法和装置 (Method and Apparatus for Recording Programs Prior to or Beyond Present Time Period)＂，其整个公开内容通过参考结合在这里。如果检 测到节目没有结束，那么此方法回到确定新的第一和第二提示语那里。如 果检测到节目结束，从副本信息中摘录的信息和相应的时间标记以及一段 用户可访问的表象(例如，声音/录像)一起按时间顺序被存储在存储器 中。利用所摘录的信息产生节目摘要，并且如上面所说明的，从包含在节 目摘要中的信息产生内容表。自此，此方法结束。
特别要再提起的是，在副本信息中检测提示语的同时，本发明还产生 电视节目副本信息的索引，这个索引独立于节目摘要和内容表。在一个最 佳实施例中，本发明在文本信息中检测节目中特定的词语。此发明包括一 个查找表，这个查找表把文本中识别的词语与特定的主题联系起来，以下 是一些主题和相联系的词语的例子。
电影＞男演员，女演员，有魅力的，好莱坞，明星，电影，奥斯卡，奥斯卡 奖，惊险剧，电影，天才。
音乐＞歌手，歌曲，唱片，独唱，磁带，流行，歌唱，cd，歌喉，音乐，演出， 天才。
政治＞共和党，民主党，总统，参议员，国外，政策，选举，投票，领导，政 治。
节目索引列出与节目中最经常提到的词语相联系的主题和这个主题 发生的时间。用户可参考节目索引来确定节目中是否讨论到某主题。或 者节目索引包括节目中用的词语列表和用到这些词语的那部分节目。词 语或主题索引可用已知的摘录词语和主题方法产生，例如关键词搜索法和 统计文字索引和检索法。再者可以重新构造节目内容表来产生节目索引。 例如，当节目内容表是：
David Letterman 00:00到12:15
政治 1:42 7:15
感恩节 7:15 9:30
模特 9:30 12:15
嘉宾1：Michelle Pfeiffer 16:17到23:00
…。。(与上面类似)
广告 2:23:01到28:00
嘉宾2：Ethan Hawk 28:01到28:15
广告 3:38:16到44:00
嘉宾3：Joni Mitchell 44:01到59:00
…。(与上面类似)
结尾：59:01到60:00
产生的节目索引是名字的一张字母顺序表，后面跟着主题：
     David Letterman 00:00 to 12:15
     Ethan Hawk 28:01到28:15
     Joni Mitchell 44:01到59:00
     模特 9:30 12:15
     政治 1:42 7:15
     感恩节 7:15  9:30
尽管以上讨论的本发明是关于脱口秀的，这个发明适用于任何类型的 节目。但此发明最适用于高度有结构的节目，像脱口秀，新闻节目，娱乐表 演和体育赛事。这些节目有为人所知的格式，并且每次播出时，有某些特 定的话是重复的，这些话后面跟着有关的信息(例如，“今晚我们第一个故 事是…”，“我们的第一位嘉宾是…”)。
本发明的装置用一个置顶盒或一个独立的设备装在电视机，或其它 的显示设备(例如计算机)里。作为一个辅助装置此方法也适用于任何 电视/声音或从因特网来的节目数据库。
当在用于电视广播信号的范围内介绍本发明时，我们可以预知此系 统也可用于音频处理器(例如收音机)来提供，例如，歌曲索引，或用 连于因特网的计算机来搜索基于因特网的信号，视频流，音频流或任何存 储的内容来创建文本信息，依据本发明可以搜索和处理此原文信息。
参看附图，介绍完此发明的具体最佳实施例后，将会知道此发明不限 于那些确切的例子，本专业技术人员在附录权利要求中规定的发明范围 内可以进行许多不同的变化和改造。例如，可以预知，要搜索的提示语可 由用户改变来适应用户的特别需要，并且基于重复发生的某一具体类型节 目的文本信息，此系统可以学习提示语(例如，利用人工智能技术)。也可 预知，可以同时搜索多个提示语，没有限制系统一次只搜索一个提示语。
在权利要求中，不应把置于括号间的参考数字当作限制权利要求。 “comprising(包含)”这个词不排除权利要求列出以外的那些步骤或 部件的存在。位于一个部件前的单词“a”或者“an”不排除有许多这样 的部件。本发明可用包含几个明显部分的硬件和适当程序的计算机来实 现。在装置权利要求中列举的几个方法，有几个方法可用一个计算机和 同一套硬件来实现。在几个不同的相关的权利要求中都记录了某些方法， 仅仅这样的事实并不表示不能把这些方法结合在一起使之有利。