首页 / 专利库 / 广播 / 数字电视 / 互动电视 / 视频摘要自动生成系统及方法

视频摘要自动生成系统及方法

阅读:649发布:2020-05-16

专利汇可以提供视频摘要自动生成系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种视频 摘要 自动生成系统及方法,该系统包括视频切割模 块 、视频提取模块、重要度评判模型、摘要生成模块。视频切割模块基于色彩分布将视频切割成多个镜头或场景,视频提取模块基于色彩分布变化来提取各个镜头或场景中的关键内容;重要度评判模型对关键内容进行评判,并选择符合条件的关键内容作为摘要元素;摘要生成模块将各个摘要元素组合形成视频摘要。本发明的视频摘要自动生成系统及方法在视频处理领域内,能够有能 力 快速处理海量视频内容,生成和发布视频摘要,实现视频摘要的快速、准确、自动化生成,成本较低但效果较好。,下面是视频摘要自动生成系统及方法专利的具体信息内容。

1.一种视频摘要自动生成方法,其特征在于,包括以下步骤:
基于色彩分布将视频切割成多个镜头或场景;
基于色彩分布变化,提取各个镜头或场景中的关键内容;
根据先验知识,建立重要度评判模型;
根据重要度评判模型对所述关键内容进行评判,并选择符合条件的关键内容作为摘要元素;
将各个摘要元素组合形成视频摘要。
2.如权利要求1所述的视频摘要自动生成方法,其特征在于,所述关键内容包括关键、场景或字幕。
3.如权利要求1所述的视频摘要自动生成方法,其特征在于,基于色彩分布变化的提取步骤切割步骤进一步包括:
提取连续的两个视频帧
计算连续两个视频帧之间的色彩分布差:
其中,函数f为视频帧的色彩分布函数,f1和f2分别代表连续的两个视频帧;i为色彩分量,从0到255取值。
4.如权利要求3所述的视频摘要自动生成方法,其特征在于,基于色彩分布变化的提取步骤进一步包括:
基于所述色彩分布差,计算每一帧的色彩分布变化增量:
其中,fk(i)和fk-1(i-1)分别代表连续的两个视频帧。
5.一种视频摘要自动生成系统,其特征在于,包括:
视频切割模、视频提取模块、重要度评判模型、摘要生成模块;
所述视频切割模块基于色彩分布将视频切割成多个镜头或场景,所述视频提取模块基于色彩分布变化来提取各个镜头或场景中的关键内容;
所述重要度评判模型对所述关键内容进行评判,并选择符合条件的关键内容作为摘要元素;
所述摘要生成模块将各个摘要元素组合形成视频摘要。
6.如权利要求5所述的视频摘要自动生成系统,其特征在于,所述关键内容包括关键帧、场景或字幕。
7.如权利要求5所述的视频摘要自动生成系统,其特征在于,所述频提取模块首先提取连续的两个视频帧,再计算连续两个视频帧之间的色彩分布差:
其中,函数f为视频帧的色彩分布函数,f1和f2分别代表连续的两个视频帧;i为色彩分量,从0到255取值。
8.如权利要求7所述的视频摘要自动生成系统,其特征在于,所述视频提取模块基于所述色彩分布差,计算每一帧的色彩分布变化增量:
其中,fk(i)和fk-1(i-1)分别代表连续的两个视频帧。

说明书全文

视频摘要自动生成系统及方法

技术领域

[0001] 本发明涉及视频处理系统及方法,更具体地说,涉及一种视频摘要自动生成系统及方法。

背景技术

[0002] 对于信息量较大的网站来说,信息审核工作成了了一个核心工作,整个网站的质量控制就由信息审核部来进行把握。各个大小规模的网站均不可或缺的需要大量的信息审核人员进行整个网站质量的监控工作,并通过信息审核工作来对整个网站的信息取向起到关键性作用。
[0003] 然而,通过人工来进行海量的视频信息处理始终是一个不能持久的局面,尤其是在视频审核、视频摘要制作等需要大量处理视频信息的领域。在视频摘要自动生成方面,目前主要有两种生成方式,一是人工截取关键片段形成摘要,二是利用软件按时间间隔截取一系列图像形成摘要,前者成本很高,后者效果较差。

发明内容

[0004] 针对现有技术中存在的视频摘要自动生成成本高、效果差的问题,本发明的目的是提供一种视频摘要自动生成系统及方法。
[0005] 为实现上述目的,本发明采用如下技术方案:
[0006] 一种视频摘要自动生成方法,包括以下步骤:基于色彩分布将视频切割成多个镜头或场景;基于色彩分布变化,提取各个镜头或场景中的关键内容;根据先验知识,建立重要度评判模型;根据重要度评判模型对关键内容进行评判,并选择符合条件的关键内容作为摘要元素;将各个摘要元素组合形成视频摘要。
[0007] 根据本发明的一实施例,关键内容包括关键帧、场景或字幕。
[0008] 根据本发明的一实施例,基于色彩分布变化的提取步骤进一步包括:提取连续的两个视频帧;计算连续两个视频帧之间的色彩分布差: 其中,函数f为视频帧的色彩分布函数,f1和f2分别代表连续的两个视频帧;i为色彩分量,从0到255取值。
[0009] 根据本发明的一实施例,基于色彩分布变化的提取步骤进一步包括:基于色彩分布差,计算每一帧的色彩分布变化增量: 其中,fk(i)和fk-1(i-1)分别代表连续的两个视频帧。
[0010] 为实现上述目的,本发明还采用如下技术方案:
[0011] 一种视频摘要自动生成系统,包括视频切割模、视频提取模块、重要度评判模型、摘要生成模块。视频切割模块基于色彩分布将视频切割成多个镜头或场景,视频提取模块基于色彩分布变化来提取各个镜头或场景中的关键内容;重要度评判模型对关键内容进行评判,并选择符合条件的关键内容作为摘要元素;摘要生成模块将各个摘要元素组合形成视频摘要。
[0012] 根据本发明的一实施例,关键内容包括关键帧、场景或字幕。
[0013] 根据本发明的一实施例,视频提取模块首先提取连续的两个视频帧,再计算连续两个视频帧之间的色彩分布差: 其中,函数f为视频帧的色彩分布函数,f1和f2分别代表连续的两个视频帧;i为色彩分量,从0到255取值。
[0014] 根据本发明的一实施例,视频提取模块基于色彩分布差,计算每一帧的色彩分布变化增量: 其中,fk(i)和fk-1(i-1)分别代表连续的两个视频帧。
[0015] 在上述技术方案中,本发明的视频摘要自动生成系统及方法在视频处理领域内,能够有能快速处理海量视频内容,生成和发布视频摘要,实现视频摘要的快速、准确、自动化生成,成本较低但效果较好。附图说明
[0016] 图1是本发明视频摘要自动生成方法的流程图

具体实施方式

[0017] 下面结合附图和实施例进一步说明本发明的技术方案。
[0018] 参照图1,本发明的总体思路是:首先采用视频镜头切分方法,获得适配的视频镜头/场景,进而提取多种视频内容信息并通过融合处理,获得关键场景帧,在此基础上进行重要度评判的研究,筛选出最终所需的关键场景帧,以合成视频摘要。
[0019] 根据上述总体思路,本发明公开一种视频摘要自动生成系统及其对应的方法,如图1所示,其主要包括视频切割模块、视频提取模块、重要度评判模型、摘要生成模块。下面来详细说明上述各个模块的作用及其对应适用的方法。
[0020] S1:视频切割模块基于色彩分布将视频切割成多个镜头或场景。视频切割模块通过对视频整体特征的分析,自动确定镜头切分的相关参数,并针对镜头切换的不同形式,分别采用不同的镜头边界检测方法,对于突变型镜头边界将采用基于象素和直方图的检测方法,而对于渐变镜头边界将采用基于模型的检测方法。
[0021] 将视频切分成合理的基本单元,包括场景、镜头、视频帧等,这是进行视频摘要提取的基础。通过对视频整体特征的分析,自动确定镜头切分的相关参数,并针对镜头切换的不同形式,以像素和直方图检测为基础,分别采用不同的优化进行镜头边界检查。基于色彩分布的模型可以将目前主流视频进行系统分类,并采用相应的方法进行处理。
[0022] 下表所示为对目前可行的场景切割方法和本发明所使用方法进行了比较,如下表可见,边缘检测和自适应搜索等特定的方法在解决特定类型视频的场景切割问题时,有较好的效果,而对于不适合其方法的视频类型时,效果较差。本发明提出的基于色彩分布的场景切割方法,虽然在特定视频类型的处理上不占优势,但是能够适应各种类型的视频,从实际应用度出发,本发明的系统及其方法具有较高的可行性。
[0023]
[0024] 注:S、A、B评级概述方法适应性,S=非常适应,A=比较适应,B=不适应。
[0025] S2:视频提取模块基于色彩分布变化来提取各个镜头或场景中的关键内容。视频提取模块采用多信息融合的关键场景帧提取技术,利用数据挖掘中聚类的方法和视频运动分析方法实现关键场景帧和视频片断的提取,采用文字笔画字幕提取方法以及边缘检测方法实现视频字幕文字提取,综合考虑不同视频对象,实现视频关键场景帧的提取。
[0026] 在目前的图形学理论体系下,无法从数学角度准确定义关键内容,因此关键内容提取原本是不可解问题。本发明从实际应用出发,提出基于色彩分布变化的关键内容提取的近似关键内容提取方法,取得了良好的实验效果。
[0027] 下面的公式计算连续两个视频帧间的色彩分布差:
[0028] 其中,函数f为视频帧的色彩分布函数,f1和f2分别代表连续的两个视频帧;i为色彩分量,从0到255取值。该差值从色彩分量级别上定义出两个视频帧之间在色彩上的变化特征。
[0029] 基于这个差值,更进一步的定义每一个帧的一个色彩分布变化增量,如下所示:
[0030] 其中,fk(i)和fk-1(i-1)分别代表连续的两个视频帧。
[0031] 本发明所提出的视频增量,由于描述了连续帧关系,不同于视频帧直方图的相关量、卡方、Bhattacharyya距离等值,除了描述视频帧之间的相关性,还可以作为每一个帧的特性值,即作为该帧重要度的度量值。视频色彩增量从应用角度出发,近似的解决了视频摘要中内容提取的难题,使得视频摘要得以进行实用性系统开发。
[0032] S3:根据先验知识,建立重要度评判模型。在先验知识的支持下,建立用户注意力重要度模型,使用语义重要度度量方法进行重要度评判,来判断重要的关键场景帧或视频片段,并将其分级,选择出相关度高、概括性强的重要视频内容对象作为视频摘要的组成元素。
[0033] S4:根据重要度评判模型对关键内容进行评判,并选择符合条件的关键内容作为摘要元素。
[0034] S5:将各个摘要元素组合形成视频摘要。合成摘要和可视化把判定为重要的视频对象组合在一起,按照原视频的播放时间顺序生成静态视频摘要和动态视频摘要。系统将采用幻灯片的形式生成静态视频摘要(主要包括关键场景帧和字幕),以视频短片的形式生成动态视频摘要(主要包括视频片断和声音)。
[0035] 本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围内,对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈