首页 / 专利库 / 专利权 / 第I章 / 国际申请 / 摘要 / 视频摘要提取

视频摘要提取

阅读:343发布:2020-05-11

专利汇可以提供视频摘要提取专利检索,专利查询,专利分析的服务。并且公开了一种通过从对应于节目的 视频流 (200)中选择各个部分(222-234,242-254)来创建相关的视频 片段 集(201,203)的方法。相关视频片段集(201,203)可被用作视频短片或视频 摘要 。因此相关的视频片段集的持续时间与节目的持续时间相比是较短的。该方法包含:接收与节目相关联的脚本信息,该脚本信息包含多个句子;检测各句子中第一个句子中的第一个惊叹性语法成分;从视频流(200)中选择对应于该第一个惊叹性语法成分的各部分的第一部分(202);将该第一部分(202)与该相关视频片段中的第一相关视频片段相关联。,下面是视频摘要提取专利的具体信息内容。

1.一种通过从对应于一个节目的视频流(200)中选择相应的部分 (202-214)而创建一个相关视频片段集(201)的方法,该相关视频片段 集(201)的第一持续时间与该节目的第二持续时间相比是较短的,该方 法包含:
接收与节目相关联的脚本信息,该脚本信息包含多个句子;
检测各句子中第一个句子中的第一个惊叹性语法成分;
从视频流(200)中选择对应于该第一个惊叹性语法成分的各部分的 第一部分(202);和
将该第一部分(202)与相关视频片段的第一相关视频片段相关联。
2.如权利要求1中所要求的方法,其中,第一惊叹性语法成分是 下述之一:惊叹号、用大写字母表达的词、包含用大写字母表达的词 的句子、用带下划线的字符表达的词、用斜体字符表达的词、用黑体 字符表达的词、以及用与其它句子中的其它字符相比更大的字符表达 的词。
3.如权利要求1中所要求的方法,其中,脚本信息是下述之一: 闭路字幕的文本、通过图文电视被交换的字幕、以及以覆盖文本的形 式被交换的字幕。
4.如权利要求1中所要求的方法,进一步包含滤除掉包含一个等 于特定词集中的一个第二词的词的较短的句子。
5.如权利要求4中所要求的方法,其中,该特定词集可能包含词 语“是”、“否”和“谢谢”。
6.如权利要求1中所要求的方法,进一步包含改变所选择的部分 的顺序。
7.一种视频片段编辑单元(108),用于通过从对应于一个节目的视 频流(200)中选择相应的部分(202-214)而创建一个相关视频片段集 (201),该相关视频片段集(201)的第一持续时间与该节目的第二持续时 间相比是较短的,该视频片段编辑单元包含:
接收装置(118),用于接收与节目相关联的脚本信息,该脚本信息 包含多个句子;
检测装置(120),用于检测句子中的第一个句子中的第一个惊叹性 语法成分;
选择装置(122),用于从视频流(200)中选择对应于该第一个惊叹性 语法成分的各部分的第一部分(202);和
关联装置(124),用于将该第一部分(202)与相关视频片段的第一 相关视频片段相关联。
8.一种视频存储系统(100),包含:
接收单元(102),用于接收视频流(200);
存储装置(106),用于存储该视频流(200)以及用于存储从该视频流 (200)中选择的相关视频片段集(201);以及
如权利要求7中所要求的视频片段编辑单元(108),用于创建该相 关视频片段集(201)。
9.如权利要求8中所要求的视频存储系统(100),其中,存储装置 包含硬盘
10.如权利要求8中所要求的视频存储系统(100),其中,存储装 置被安排成在可移动存储装置上存储视频流(200)。
11.如权利要求10中所要求的视频存储系统(100),其中,可移动 存储介质包含光盘。
12.一种要由计算机装置加载的计算机程序产品,包含通过从对 应于一个节目的视频流(200)中选择相应的部分(202-214)以创建一个相 关视频片段集(201)的指令,该相关视频片段集(201)的第一持续 时间与该节目的第二持续时间相比是较短的,该计算机装置包含处理装 置和存储器,该计算机程序产品在被加载后向所述计算机装置提供执 行以下步骤的能
接收与节目相关联的脚本信息,该脚本信息包含多个句子;
检测各句子中第一个句子中的第一个惊叹性语法成分;
从视频流(200)中选择对应于该第一个惊叹性语法成分的各部分的 第一部分(202);和
将该第一部分(202)与相关视频片段的第一相关视频片段相关联。

说明书全文

发明涉及一种通过从对应于一个节目的视频流中选择相应的部 分而创建一个相关视频片段集(collection)的方法,该相关视频片段集的 第一持续时间与该节目的第二持续时间相比是较短的。

本发明进一步涉及一种视频片段编辑单元,用于通过从对应于一 个节目的视频流中选择相应的部分而创建一个相关视频片段集,该相 关视频片段集的第一持续时间与该节目的第二持续时间相比是较短 的。

本发明还涉及一种视频存储系统,包含:

接收单元,用于接收视频流;

存储装置,用于存储该视频流以及用于存储从该视频流中选择的 相关视频片段集;以及

视频片段编辑单元,用于如上所述地创建该相关视频片段集。

本发明进一步涉及一种由计算机装置加载的计算机程序产品,包 含用于通过从对应于一个节目的视频流中选择相应的部分而创建一个 相关视频片段集的指令,该相关视频片段集的第一持续时间与该节目 的第二持续时间相比是较短的,该计算机装置包含处理装置和存储 器。

在人们的起居室中能被访问和消费的声频-视频信息的数量不断地 增加。这个趋势由于将来的电视接收机和个人电脑所提供的技术和功 能二者的汇合而可能进一步加速。为了选择感兴趣的声频-视频信息, 需要工具来帮助用户抽取相关的声频-视频信息和有效地在大量可用的 声频-视频信息中导航。为了允许让用户能快速地概览被记录的声频- 视频信息以决定是否观看一个完整的被记录节目,一个有趣的功能是 自动生成视频短片(video trailers)。当某节目已经被录制或者被录制 时,可以分析被记录节目,以便从视频流中选择相关的视频片段。以 后通过显示该相关的视频片段,就能向用户提供该被记录节目的良好 的概览。

在开篇段落中所述的那种方法的一个实施例,在R.Lienhart等的 文章″Video Abstracting″(视频摘要提取)(Communications of the ACM,40(12),55-62页,1997)中是已知的。该文章公开了视频数据可以 在四个层(layers)中被建模。在最低层,它由一组组成;在下一个较 高层,帧被组合成连续镜头(shots)或连续的摄影机记录,然后根据故事 叙述的连贯性,把连续镜头聚集成情景(scences)。所有情景一起构成 视频。剪辑的概念,被描述为被选择作为摘要的元素的一个帧序列; 一个视频摘要因此由一组剪辑组成。已知的方法包含三个步骤:视频 内容的分割和分析;剪辑选择和剪辑汇编。分析步骤的目的是检测特 殊事件,诸如主要演员的特写镜头、炮火、爆炸和文本。已知方法的 缺点是较复杂并且没有鲁棒性。

本发明的一个目的是提供较容易的、在开篇段落中所述的那种方 法。

这个目的是在一种方法中实现的,该方法包含:

接收与节目相关联的脚本(transcript)信息,该脚本信息包含多个句 子;

检测句子中的第一个句子中的第一个惊叹性语法成分;

从视频流中选择对应于该第一个惊叹性语法成分的部分中的第一 部分;和

将该第一部分与相关视频片段中的第一相关视频片段相关联。

惊叹性语法成分的意思是指一个惊叹号、一个用大写字母表达的 词、一个包含用大写字母表达的词的句子、一个用带下划线的字符表 达的词、一个用斜体字符表达的词、一个用黑体字符表达的词、或者 一个用与其它句子中的其它字符相比更大的字符表达的词。

脚本信息例如表现为闭路字幕的文本、借助图文电视而被交换的 字幕、或者作为要与视频流的图像合并以产生覆盖文本的图像数据而 被交换和/或存储的字幕。

一般来说,以惊叹号结尾的句子对应于能被包括在或者是视频摘 要或者是视频短片的视频预告片中的有趣的视频片段,以引起好奇并 控制注意。在字幕和闭路字幕中,句子把所有要被大声说出或表达 (例如人喊叫)的词都写成大写。与这些句子相关联的片段,最好被 用来使视频预告片更吸引人和更有趣味。

按照本发明的方法的一个实施例进一步包含滤除掉包含一个等于 特定词集中的一个第二词的词的较短的句子。该词集可能包含 ″yes″(是)、″no″(否)和″thanks″(谢谢)等词。换言之,频繁出现 的诸如″Yes!″″No!″等的短句子被滤除掉,因为它们被认为较不重要。

在按照本发明的方法的一个实施例中,改变所选择的部分的顺 序。如果以正确的顺序,即对应于原始节目的顺序的顺序来观看所选 择的部分,就有可能透露太多的故事。通过改变顺序,就减少了这种 可能。

本发明的另一个目的是提供一种在开篇段落中所述的那种视频片 段编辑单元,它被安排成以相对容易的方式创建相关视频片段集。

本发明的这个目的是通过一种视频片段编辑单元实现的,它包 含:

接收装置,用于接收与节目相关联的脚本信息,该脚本信息包含 多个句子;

检测装置,用于检测句子中的第一个句子中的第一个惊叹性语法 成分;

选择装置,用于从视频流中选择对应于该第一个惊叹性语法成分 的各个部分中的第一部分;和

关联装置,用于将各部分中该第一部分与相关视频片段中的一个 第一相关视频片段相关联。

本发明的另一个目的是,提供一种在开篇段落中所述的那种视频 存储系统,它被安排成以相对容易的方式创建相关视频片段集。

本发明的这个目的是通过该视频存储系统的视频片段编辑单元实 现的,它包含:

接收装置,用于接收与节目相关联的脚本信息,该脚本信息包含 多个句子;

检测装置,用于检测句子中的第一个句子中的第一个惊叹性语法 成分;

选择装置,用于从视频流中选择对应于该第一个惊叹性语法成分 的各个部分中的第一部分;和

关联装置,用于将各部分中该第一部分与相关视频片段中的一个 第一相关视频片段相关联。

在按照本发明的视频存储系统的一个实施例中,该存储装置包含 硬盘。在按照本发明的视频存储系统的另一个实施例中,存储装置被 安排得在可移动存储装置(即诸如光盘的可移动存储介质)上存储视 频流。可以在例如电视机、计算机、录像机(VCR)、DVD记录器、机 顶盒、卫星调谐器或消费电子领域中的其它设备中包括一个按照本发 明的视频片段编辑单元。

本发明的另一个目的是提供较容易的、在开篇段落中所述的那种 计算机程序产品。

为了实现这个目的,该计算机程序产品在被加载后使所述处理装 置能够执行:

接收与节目相关联的脚本信息,该脚本信息包含多个句子;

检测句子中的第一个句子中的一个第一个惊叹性语法成分;

从视频流中选择对应于该第一个惊叹性语法成分的各个部分的第 一部分;和

将各部分的该第一部分与相关视频片段的第一相关视频片段相关 联。

本发明的修改及其变体可对应于所述的视频存储系统的视频片段 编辑单元的以及计算机程序产品的修改及其变体。

图1示意性地表示按照本发明的记录和再现设备的实施例;和

图2示意性地表示按照本发明的、根据节目创建视频概要。

附图中用相同的标注号代表相似的部件。

节目可以是由电视台即电视广播公司广播的电视节目。电视节目 通常通过电视机被观看。然而,节目也可以由另一类内容提供者例如 通过因特网提供。在这种情况下,节目也可以通过电视机以外的其它 类型的装置被观看。作为可选择的,节目不是被广播的,而是依靠如 光盘或磁带的可移动介质来交换。本说明书中的所描述的例子中的节 目是电视节目。显然,本发明有更宽的范围。

电视信号包含画面信息、声音信息和另外的信息,诸如图文电视 信息。电视信号传送电视节目。电视节目可包含电影、系列剧的分集、 剧场演出的记录再现,纪录片或体育节目。这些类型的电视节目信息 可以被多个单元的商业中断信息和公告信息中断。每个商业中断一般 包含多个商业消息。

图1示意性地表示按照本发明的记录和再现设备100的实施例。 这个记录和再现设备100是一个基于硬盘的视频存储系统。记录和再 现设备100适于记录包含在被接收信号TS中的电视信号FS并再现被 记录的电视信号AFS。被接收信号TS可以是通过天线或电缆接收的广 播信号,但是也可以是来自如VCR(录像机)或数字多用盘(DVD)的 存储装置的信号。被接收的信号TS由输入连接器110提供。再现的电 视信号AFS在输出连接器112提供,并能通过例如电视机所包含的显 示装置被显示。

记录和再现设备100包括:

接收装置102,用于接收电视信号TS。这个接收单元102一例如调 谐器一被安排成选择电视台的电视信号FS。这个电视信号FS代表对 应于电视节目200的视频流;

记录和再现装置106,用于存储由接收单元102所提供的视频流。 如一般知道的那样,这个记录和再现装置106包括一个用于处理要被 记录的电视信号FS和处理再现的电视信号AFS的信号处理级。这个 处理级可包含数据压缩。记录和再现装置106包括作为记录介质的硬 盘,以用于记录被处理的电视信号FS。

交换单元104,用于把被存储的信息改编成再现的电视信号AFS 以及用于通过输出连接器112把这个再现电视信号AFS传送到例如电 视机。该改编可以包括在代表视频流的电视信号FS的载波上的调制。 被存储的信息包含由接收单元102所提供的视频流和一个相关视频片 段集;和

视频片段编辑单元108,用于通过从对应于电视信号的视频流中选 择相应的各部分而创建这样一个相关的视频片段集。这个视频片段编 辑单元108的用途是创建一个视频短片或者视频流的一个视频摘要。 因此,相关视频片段集的持续时间与电视节目的持续时间相比是较短 的。例如,一个电视节目大约持续1或2小时,而相关视频片段集的 持续时间在在数秒钟或数分钟的范围内。这意味着例如从10秒到2分 钟。因此,相关视频片段的每一个只持续几秒。依照用户请求,要被 选择的相关视频片段的持续时间可以更短或更长。并不要求所有的相 关视频片段有相同的长度。相关视频片段集的创建,可以在视频流的 记录的期间进行,也可以在记录已经结束之后进行。在前一种情况下, 视频流通过连接114被提供,在后一种情况下,视频流通过连接116 被提供。

视频片段编辑单元108包含:

脚本信息接收单元118,用于接收与节目相关联的脚本信息。脚 本信息包含多个句子,并可以被实现为闭路字幕的文本、通过图文电 视被交换的字幕、或者作为要与视频流的图像合并以产生覆盖文本的 图像数据而被交换或存储的字幕;

文本分析单元120,用于检测句子中的惊叹性语法成分。惊叹性语 法成分可以是惊叹号、用大写字母表达的词、包含用大写字母表达的 词的句子、用带下划线的字符表达的词、用斜体字符表达的词、用黑 体字符表达的词、或者用与其它句子中的其它字符相比更大的字符表 达的词。字幕的检测最好根据W02002093910中所描述的方法。下面的 两篇文章公开了用于视频流中文本检测的另外的适当技术:″MPEG-7 VideoText Description Scheme for Superimposed Text″(重叠文字用的 MPEG-7视频文字描述方案)(作者N.Dimitrova、L.Agnihotri、C.Dorai, RBolle,刊载于International Signal Processing and Image Communications Journal,2000年9月);″Text Detection for Video Analysis″(视频分析的文字检测),作者L.Agnihotri、N.Dimitrova, 发表于IEEE Workshop on Content-based Access of Image and Video Libraries,美国科罗拉多,1999年6月);

视频选择单元122,用于从视频流200中选择对应于惊叹性语法成 分的部分202-214。选择单元122被安排成用于确定惊叹性语法成分出 现的开始时刻和停止时刻。各相应部分202-214的开始和结尾最好与这 些开始时刻和停止时刻匹配;和

关联单元124,用于把被选择的部分202-214与相关视频片段相关 联。相关视频片段集可以用原始视频流的相应部分的多个拷贝的形式 存储起来。但是,最好只存储一组指针。指针指明分别对应于视频流 中被选择的各部分的开始和结尾在视频流内的开始和停止位置。可以 将相关视频片段集以视频数据的形式或以指针的形式存储在与存储原 始视频流所用的相同的存储器装置中,或者存储在单独的存储器装置 中。显然,在记录和再现设备是基于可移动存储介质的情况下,最好 将视频流与相关视频片段集存储在同一个存储介质上。

最好将内容分析算法与所提出的方法结合使用,以便把被选择的 视频片段与适当的视频或声频情景边界对准或者把特殊事件序列(例 如爆炸、追车)包括在内。

自动生成的短片可以被用来浏览视频材料。可以用它来浏览被记 录的节目。尤其是与基于自动简档(profile)的记录组合时,这是一个有 趣的功能。用户需要某种方法来从被记录的节目中选择要观看哪些节 目。生成的短片是一种选项,非常适合欣赏电视的后倾(lean back)模 式。

脚本信息接收单元118、文本分析单元120、视频选择单元122和 关联单元124可以用一个处理器来实现。一般来说,这些功能是在软 件程序产品的控制下被执行的。在执行期间,软件程序产品通常被加 载到如RAM那样的存储器中,并从存储器中执行。可以从如ROM、 硬盘或磁性和/或光存储存储器那样的后台存储器中加载程序,或者可 以通过如因特网的网络加载程序。可选地,专用集成电路提供所公开 的功能。

图2示意性地表示按照本发明的、根据电视节目200对视频短片 或视频摘要201的创建。电视节目201包含多个情景和连续镜头。假 设与该电视有关的脚本信息是可得到的。通过选择属于脚本信息的包 含惊叹性语法成分的各部分的视频流的较小部分202-214,能汇集电视 节目的较为重要的情景的各个片段。因此,相关视频片段集非常适合 作为视频短片或视频摘要。视频流的被选择部分202-214通常有几秒 (1-10秒)的持续时间。被选择视频片段的持续时间可以等于预定值。但 是该持续时间最好由惊叹性语法成分的出现的持续时间确定。或者, 持续时间可由用户控制。可选地,视频片段的持续时间与电视节目的 持续时间有关。例如,如果电视节目的持续时间长,则被选择的视频 片段的持续时间可以较短。可选地,视频片段的持续时间与电视节目 中被检测到的惊叹性语法成分的数量有关。例如,如果惊叹性语法成 分的数量有限,则被选择的视频片段的持续时间可以较长。

应当注意的是,上述实施例说明而非限制本发明,所属领域的熟 练人员在不偏离后附的权利要求的范围的情况下,能够设计出替代性 实施例。在权利要求中,置于括号之间的任何标注符号不应被解释为 限制权利要求。“包含”一词并不排除存在权利要求中未列举的部件 或步骤。部件前面的“一个”一词并不排除存在多个这样的部件。本 发明可通过包含几个不同部件的硬件以及通过适当编程的计算机实 现。在枚举若干个装置的装置权利要求中,这些装置的几个可以由同 一件硬件具体体现。第一、第二、第三等词语的使用,并不表示顺序。 这些词语被解释为名称。

相关专利内容
标题 发布/更新时间 阅读量
监控视频摘要的方法 2020-05-13 796
一种自动文本摘要方法 2020-05-13 349
会议摘要 2020-05-11 938
摘要生成方法及装置 2020-05-13 930
摘要生成方法及装置 2020-05-11 33
视频摘要提取 2020-05-11 662
视频摘要提取 2020-05-11 343
摘要生成方法及装置 2020-05-12 623
图文摘要的评价方法 2020-05-13 875
一种摘要认证方法及摘要认证系统 2020-05-11 362
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈