技术领域
[0001] 本
发明涉及视频处理技术领域，尤其涉及一种视频摘要生成装置及视频摘要生成方法。
背景技术
[0002] 作为一种信息量大、表现
力强的媒体形式，视频一直是人们进行信息交流的重要载体，视频数据在近几年呈现出爆炸式的增长，在人们的日常生活中占据越来越重要的地位。随着
硬件技术以及网络技术的飞速发展，越来越多的人开始选择使用计算机或者移动终端观看视频。广大用户对视频信息的呈现、编辑、浏览和检索等交互需求也越来越突出，尤其是视频摘要，能够从原视频中提取出有意义的部分，并将它以某种方式进行组合，形成简洁的、能够充分表现视频语义内容的概要。一个好的摘要形式，能够清楚的将视频的主要内容以更利于用户理解的方式呈现，同时，能够提供对视频摘要的自然交互方式，实现视频摘要的高效利用。
[0003] 视频摘要在视频分析和基于内容的视频检索中扮演着重要
角色。通常几个小时的录像，可以浓缩成几分钟的浓缩视频，大大加快了录像查看的速度。
[0004] 现在大部分生成视频摘要的结果都不大理想，因为很多方法生成的视频摘要都是静态视频摘要，这种视频摘要不利于用户浏览，更不利于用户对视频内容的把握。因此需要对视频数据进行
数据挖掘和
图像处理得到一种实用性强的、能够真正基于全局重要性的视频摘要生成方法。
发明内容
[0005] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频摘要生成装置及视频摘要生成方法。
[0006] 本发明的一个方面，提供了一种视频摘要生成装置，包括：
[0007]
片段参数提取模
块，用于从接收的多个原始片段中提取出片段参数，并发送给待选片段集合计算模块；
[0008] 距离参数提取模块，用于从接收的多个原始片段中提取出距离参数，并发送给关键
帧集合计算模块；
[0009] 系数参数提取模块，用于从接收的多个原始片段中提取出系数参数，并发送给关键帧中主要人物与总人物的相关系数计算模块；
[0010] 待选片段集合计算模块，用于根据片段参数计算出待选片段集合，并发送至关键帧集合计算模块；
[0011] 关键帧集合计算模块，用于根据距离参数和待选片段集合计算出关键帧集合，并发送至关键帧中主要人物与总人物的相关系数计算模块；
[0012] 关键帧中主要人物与总人物的相关系数计算模块，用于根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数，并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块；
[0013] 视频摘要制作模块，用于根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序，并制作成视频摘要进行存储。
[0014] 进一步地，片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子；
[0015] 距离参数包括待选片段的开始时间集合、待选片段的结束时间集合；
[0016] 系数参数包括人物关系集合。
[0017] 进一步地，待选片段集合计算模块包含有如下计算模型：S＝Q∩B×I，其中，S为待选片段集合，Q为原始片段集合，B为有码流变化的片段集合，I为码流变化控制因子；将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算，得到待选片段集合，并发送至关键帧集合计算模块。
[0018] 进一步地，关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元，其中，
[0019] 最长片段选择单元，用于将接收的待选片段集合中时间最长的一个片段作为最长片段，并将待选片段集合、最长片段发送至第一关键帧选择单元；
[0020] 第一关键帧选择单元，用于将接收的最长片段中位于中间
位置的一帧作为第一关键帧，并将待选片段集合、第一关键帧发送至计算单元；
[0021] 计算单元，包含有如下模型 其中，S为待选片段集合，b为待选片段的开始时间集合，e为待选片段的结束时间集合，r1为第一关键帧；将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算，得到关键帧集合，并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
[0022] 进一步地，关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元，其中，
[0023] 人物计算单元，用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合，并发送至相关系数计算单元；
[0024] 相关系数计算单元，包含有如下模型其中，PNW为关键帧中主要人物
与总人物的相关系数，N为每个关键帧中出现的主要人物个数的集合，W为每个关键帧中字幕出现的人物名称数量集合，E为数学期望，D为方差，D开根号为标准差，E((N-EN))((W-EW))为N与W的协方差；将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算，得到关键帧中主要人物与总人物的相关系数，并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
[0025] 进一步地，Q＝{Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10},B＝{B1,B2,B3,B4,B5},I＝0.2，b＝{00:40:02，01:01:01，01:12:01，01:23:01，01:24:01，01:35:01，01:46:01，01:57:
01，01:58:01，01:59:00},e＝{00:40:04，01:01:15，01:12:03，01:23:15,01:23:15,01:23:
15,01:23:15,01:23:15,01:23:15,01:23:15}，人物关系集合为{P1P2，P1P3，P1P4，P1P5，P1P2P3，P1P2P4,P1P2P5，P1P3P4，P1P3P5，P1P2P3P4，P1P2P3P5，P1P3P4P5，P1P2P3P4P5},将Q、B、I代入S＝Q∩B×I，将S、b、e代入公式 得到F＝{r1,r2,r3，r4，r5，
r6,r7,r8,r9,r10}，N＝{3,5,3,2,1,2,4,4,3,2}，W＝{2,1,3,4,2,3,2,1,3,2}，代入公式根据得到的PNW＝{0.1,0.7,
0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5}，对F集合中的关键帧进行排序并制作视频摘要。
[0026] 本发明的第二个方面，提供了一种视频摘要生成方法，包括以下步骤：
[0027] 利用片段参数提取模块从接收的多个原始片段中提取出片段参数，并发送给待选片段集合计算模块；
[0028] 利用距离参数提取模块从接收的多个原始片段中提取出距离参数，并发送给关键帧集合计算模块；
[0029] 利用系数参数提取模块从接收的多个原始片段中提取出系数参数，并发送给关键帧中主要人物与总人物的相关系数计算模块；
[0030] 利用待选片段集合计算模块根据片段参数计算出待选片段集合，并发送至关键帧集合计算模块；
[0031] 利用关键帧集合计算模块根据距离参数和待选片段集合计算出关键帧集合，并发送至关键帧中主要人物与总人物的相关系数计算模块；
[0032] 利用关键帧中主要人物与总人物的相关系数计算模块根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数，并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块；
[0033] 利用视频摘要制作模块根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序，并制作成视频摘要进行存储。
[0034] 进一步地，片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子；
[0035] 距离参数包括待选片段的开始时间、待选片段的结束时间；
[0036] 系数参数包括人物关系集合。
[0037] 进一步地，待选片段集合计算模块包含有如下计算模型：S＝Q∩B×I，其中，S为待选片段集合，Q为原始片段集合，B为有码流变化的片段集合，I为码流变化控制因子；将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算，得到待选片段集合，并发送至关键帧集合计算模块。
[0038] 进一步地，关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元，其中，
[0039] 利用最长片段选择单元将接收的待选片段集合中时间最长的一个片段作为最长片段，并将待选片段集合、最长片段发送至第一关键帧选择单元；
[0040] 利用第一关键帧选择单元将接收的最长片段中位于中间位置的一帧作为第一关键帧，并将待选片段集合、第一关键帧发送至计算单元；
[0041] 利用计算单元包含的如下模型 其中，S为待选片段集合，b为待选片段的开始时间集合，e为待选片段的结束时间集合，r1为第一关键帧；将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算，得到关键帧集合，并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
[0042] 本发明提供的视频摘要生成装置及视频摘要生成方法，与
现有技术相比具有以下进步：从一个完整视频分成的多个连续的原始片段中，提取出视频里出现的人物、字幕、画面强度等视频摘要生成参数，经过待选片段集合计算模块、关键帧集合计算模块、关键帧中主要人物与总人物的相关系数计算模块的处理，得出关键帧集合及关键帧的排序，再根据关键帧的排序生成视频摘要。视频摘要具有原始完整视频的代表性，摘要以视频形式展示，更加直观、生动，生成的视频摘要可以做为原始完整视频的宣传片花以及其它用途，具有节省人工成本、提高工作效率的优点。
[0043] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照
说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0044] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0045] 图1为本发明
实施例中的视频摘要生成装置的器件连接
框图；
[0046] 图2为本发明实施例中的视频摘要生成方法的步骤图。
具体实施方式
[0047] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0048] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
[0049] 本发明实施例提供了视频摘要生成装置及视频摘要生成方法。
[0050] 图1示意性示出了本发明一个实施例的视频摘要生成装置的器件连接框图。参照图1，本发明实施例的一种视频摘要生成装置，包括：
[0051] 片段参数提取模块，用于从接收的多个原始片段中提取出片段参数，并发送给待选片段集合计算模块；
[0052] 距离参数提取模块，用于从接收的多个原始片段中提取出距离参数，并发送给关键帧集合计算模块；
[0053] 系数参数提取模块，用于从接收的多个原始片段中提取出系数参数，并发送给关键帧中主要人物与总人物的相关系数计算模块；
[0054] 待选片段集合计算模块，用于根据片段参数计算出待选片段集合，并发送至关键帧集合计算模块；
[0055] 关键帧集合计算模块，用于根据距离参数和待选片段集合计算出关键帧集合，并发送至关键帧中主要人物与总人物的相关系数计算模块；
[0056] 关键帧中主要人物与总人物的相关系数计算模块，用于根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数，并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块；
[0057] 视频摘要制作模块，用于根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序，并制作成视频摘要进行存储。
[0058] 其中，待选片段集合计算模块分别与片段参数提取模块、关键帧集合计算模块电连接，关键帧集合计算模块电连接分别与距离参数提取模块、关键帧中主要人物与总人物的相关系数计算模块电连接，关键帧中主要人物与总人物的相关系数计算模块分别与系数参数提取模块、视频摘要制作模块电连接。
[0059] 本实施例的视频摘要生成装置，通过从接收的多个原始视频片段中识别提取出视频摘要生成参数，即片段参数、距离参数和系数参数，并将这些参数代入到相关模型中进行计算，得出关键帧及其排序，根据排序生成视频摘要，结构比较简单。并且能够从庞大的视频文件中迅速
定位与视频剧情相关的视频片段，找出有价值的视频信息。视频摘要用精简的方式代表了原视频的内容，同时保留了原视频内容的要点，节省了人力查找的成本。
[0060] 本实施例中，还包括采集模块，用于采集多个原始片段，并分别发送给片段参数提取模块、距离参数提取模块、系数参数提取模块。采集模块分别与片段参数提取模块、距离参数提取模块、系数参数提取模块电连接。采集的方式可以是手工输入原始片段，或者是调取
数据库中预存的原始片段，或者是从网上下载片段的数据包，根据具体情况进行选择。
[0061] 本实施例中，片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子；距离参数包括待选片段的开始时间、待选片段的结束时间；系数参数包括人物关系集合。这些参数与视频的人物、场景变换等密切相关，对这些参数进行计算，更能体现原完整视频的要点和精彩度。
[0062] 本实施例中，待选片段集合计算模块包含有如下计算模型：S＝Q∩B×I，其中，S为待选片段集合，Q为原始片段集合，B为有码流变化的片段集合，I为码流变化控制因子；将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算，得到待选片段集合，并发送至关键帧集合计算模块。本实施例中，原始片段集合中的每个原始片段都是连续的视频，保留了整部视频的要点内容，上述计算模型是根据人物交流、字幕体现的语义化、高强度动作码流计算出的待选片段集合，根据该模型计算出的待选片段集合是整部视频中的精彩的部分，使最后制作出的视频摘要能够代表整部视频的要点、精彩内容。本实施例中，码流变化控制因子的取值范围为0-0.5，优选实施例中，码流变化控制因子为0.2。
[0063] 本实施例中，关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元，其中，
[0064] 最长片段选择单元，用于将接收的待选片段集合中时间最长的一个片段作为最长片段，并将待选片段集合、最长片段发送至第一关键帧选择单元；
[0065] 第一关键帧选择单元，用于将接收的最长片段中位于中间位置的一帧作为第一关键帧，并将待选片段集合、第一关键帧发送至计算单元；
[0066] 计算单元，包含有如下模型 其中，S为待选片段集合，b为待选片段的开始时间集合，e为待选片段的结束时间集合，r1为第一关键帧；将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算，得到关键帧集合，并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
[0067] 其中，最长片段选择单元分别与待选片段集合计算模块、第一关键帧选择单元电连接，计算单元分别与距离参数提取模块、第一关键帧选择单元、关键帧中主要人物与总人物的相关系数计算模块电连接。
[0068] 最长片段选择单元接收的待选片段集合S＝{S1,S2,S3,…,Sm}后，选出时间最长的一个待选片段作为最长片段；第一关键帧选择单元再选择最长片段中位于中间位置的一帧，作为第一关键帧r1，此时，关键帧集合F＝{r1}；计算单元将待选片段集合S＝{S1,S2,S3,…,Sm}，以及待选片段的开始时间集合b，待选片段的结束时间集合e,代入公式选出距离第一关键帧最远的片段，并取中间帧作为第二关键帧r2，此时，F＝{r1，r2}，再根据公式 选出距离第二关键帧最远的片段，并
取中间帧作为第三关键帧r3，此时，F＝{r1，r2，r3}，将此步骤循环，直至找出所有的关键帧，组成关键帧集合F＝{r1，r2，……ri}。
[0069] 本实施例中，关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元，其中，
[0070] 人物计算单元，用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合，并发送至相关系数计算单元；
[0071] 相关系数计算单元，包含有如下模型其中，PNW为关键帧中主要人
物与总人物的相关系数，N为每个关键帧中出现的主要人物个数的集合，W为每个关键帧中字幕出现的人物名称数量集合，E为数学期望，D为方差，D开根号为标准差，E((N-EN))((W-EW))为N与W的协方差；将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算，得到关键帧中主要人物与总人物的相关系数，并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
[0072] 一个具体实施例中，Q＝{Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10}，其中，
[0073] Q1片段的起始结束时间是00：40：01-00:40:05；Q2片段的起始结束时间是01：01：01-01:01:15；Q3片段的起始结束时间是01：12：01-01:12:25；Q4片段的起始结束时间是01：
23：01-01:23:15；Q5片段的起始结束时间是01：24：01-01:24:25；Q6片段的起始结束时间是
01：35：01-01:35:15；Q7片段的起始结束时间是01：46：01-01:46:10；Q8片段的起始结束时间是01：57：01-01:57:08；Q9片段的起始结束时间是01：58：01-01:58:38；Q10片段的起始结束时间是01：59：00-00:59:11。
[0074] B＝{B1,B2,B3,B4,B5}，其中，B1片段的起始结束时间是00：40：02-00:40:04；B2片段的起始结束时间是01：05：01-01:05:15；B3片段的起始结束时间是01：19：01-01:19:10；B4片段的起始结束时间是01：20：01-01:20:8；B5片段的起始结束时间是01：40：04-01:40:
10；
[0075] 根据公式S＝Q∩B×I得到：
[0076] S＝{S1,S2,S3,S4,S5,S6,S7,S8,S9,S10}，其中S1片段的起始结束时间是00:40:02-00:40:04,时长2秒；S2片段的起始结束时间是01:01:01-01:01:15,时长14秒；S3片段的起始结束时间是01:12:01-01:12:03,时长2秒；S4片段的起始结束时间是01:23:01-01:23:
15,时长14秒；S5片段的起始结束时间是01:24:01-01:24:25,时长24秒；S6片段的起始结束时间是01:35:01-01:35:15,时长14秒；S7片段的起始结束时间是01:46:01-01:46:10,时长
9秒；S8片段的起始结束时间是01:57:01-01:57:08,时长7秒；S9片段的起始结束时间是01:
58:01-01:58:38,时长37秒；S1片段的起始结束时间是01:59:00-00:59:11,时长6秒。
[0077] S9片段是S集合中时长最长的一个片段，起始结束时间是00：08：01-00:08:37,中间帧就是00：08：19出现的帧，即该帧为第一关键帧r1，根据公式 由r1得到r2，然后依次得到F集合为{r1,r2,r3，r4，r5，r6,r7,r8,r9,r10}，其中，r1帧的时间是：01：
58：16；r2帧的时间是：00：40：03；r3帧的时间是：01：59：06；r4帧的时间是：01：01：08；r5帧的时间是：01：57：05；r6帧的时间是：01：12：03；r7帧的时间是：01：46：05；r8帧的时间是：01：
23：08；r9帧的时间是：01：35：08；r10帧的时间是：01：24：14。
[0078] F集合{r1,r2,r3，r4，r5，r6,r7,r8,r9,r10}中的每个关键帧中出现的主要人物个数的集合为W，W＝{2,1,3,4,2,3,2,1,3,2}，
[0079] 原始完整视频中有5个主要人物，分别是：P1、P2、P3、P4、P5，人物关系集合C＝{P1P2，P1P3，P1P4，P1P5，P1P2P3，P1P2P4,P1P2P5，P1P3P4，P1P3P5，P1P2P3P4，P1P2P3P5，P1P3P4P5，P1P2P3P4P5}。
[0080] F集合{r1,r2,r3，r4，r5，r6,r7,r8,r9,r10}中的每个帧画面出现的人物如果是主要人物集合其中的一个就标记为1，然后
叠加。此集合称为每个关键帧中出现的主要人物个数的集合N，N＝{3,5,3,2,1,2,4,4,3,2}。由公式:
[0081]
[0082] 计算出关键帧中主要人物与总人物的相关系数PNW＝{0.1,0.7,0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5}，其中，0.8-1.0极强相关，0.6-0.8强相关，0.4-0.6中等程度相关，0.2-
0.4弱相关，0.0-0.2极弱相关或无相关，按照关键帧的时间顺序，取相关系数最大的前面多个关键帧拼接成短视频，短视频即整个视频的视频摘要。
[0083] 图2示意性示出了本发明一个实施例的视频摘要生成装置的步骤图。参照图2，本发明实施例的视频摘要生成方法，包括以下步骤：
[0084] 利用片段参数提取模块从接收的多个原始片段中提取出片段参数，并发送给待选片段集合计算模块；
[0085] 利用距离参数提取模块从接收的多个原始片段中提取出距离参数，并发送给关键帧集合计算模块；
[0086] 利用系数参数提取模块从接收的多个原始片段中提取出系数参数，并发送给关键帧中主要人物与总人物的相关系数计算模块；
[0087] 利用待选片段集合计算模块根据片段参数计算出待选片段集合，并发送至关键帧集合计算模块；
[0088] 利用关键帧集合计算模块根据距离参数和待选片段集合计算出关键帧集合，并发送至关键帧中主要人物与总人物的相关系数计算模块；
[0089] 利用关键帧中主要人物与总人物的相关系数计算模块根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数，并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块；
[0090] 利用视频摘要制作模块根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序，并制作成视频摘要进行存储。
[0091] 本实施例的视频摘要生成方法，利用片段参数提取模块、距离参数提取模块、系数参数提取模块分别从接收的多个原始视频片段中识别提取出片段参数、距离参数和系数参数，并将这些参数代入到相关模型中进行计算，得出关键帧及其排序，根据排序生成视频摘要，能够从庞大的视频文件中迅速定位与视频剧情相关的视频片段，找出有价值的视频信息。视频摘要用精简的方式代表了原视频的内容，同时保留了原视频内容的要点，节省了人力查找的成本。
[0092] 本实施例中，还包括采集模块，用于采集多个原始片段，并分别发送给片段参数提取模块、距离参数提取模块、系数参数提取模块。采集模块分别与片段参数提取模块、距离参数提取模块、系数参数提取模块电连接。采集的方式可以是手工输入原始片段，或者是调取数据库中预存的原始片段，或者是从网上下载片段的数据包，根据具体情况进行选择。
[0093] 本实施例中，片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子；距离参数包括待选片段的开始时间、待选片段的结束时间；系数参数包括人物关系集合。这些参数与视频的人物、场景变换等密切相关，对这些参数进行计算，更能体现原完整视频的要点和精彩度。
[0094] 本实施例中，待选片段集合计算模块包含有如下计算模型：S＝Q∩B×I，其中，S为待选片段集合，Q为原始片段集合，B为有码流变化的片段集合，I为码流变化控制因子；将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算，得到待选片段集合，并发送至关键帧集合计算模块。本实施例中，原始片段集合中的每个原始片段都是连续的视频，保留了整部视频的要点内容，上述计算模型是根据人物交流、字幕体现的语义化、高强度动作码流计算出的待选片段集合，根据该模型计算出的待选片段集合是整部视频中的精彩的部分，使最后制作出的视频摘要能够代表整部视频的要点、精彩内容。本实施例中，码流变化控制因子的取值范围为0-0.5，优选实施例中，码流变化控制因子为0.2。
[0095] 本实施例中，关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元，其中，
[0096] 最长片段选择单元，用于将接收的待选片段集合中时间最长的一个片段作为最长片段，并将待选片段集合、最长片段发送至第一关键帧选择单元；
[0097] 第一关键帧选择单元，用于将接收的最长片段中位于中间位置的一帧作为第一关键帧，并将待选片段集合、第一关键帧发送至计算单元；
[0098] 计算单元，包含有如下模型 其中，S为待选片段集合，b为待选片段的开始时间集合，e为待选片段的结束时间集合，r1为第一关键帧；将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算，得到关键帧集合，并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
[0099] 其中，最长片段选择单元分别与待选片段集合计算模块、第一关键帧选择单元电连接，计算单元分别与距离参数提取模块、第一关键帧选择单元、关键帧中主要人物与总人物的相关系数计算模块电连接。
[0100] 最长片段选择单元接收的待选片段集合S＝{S1,S2,S3,…,Sm}后，选出时间最长的一个待选片段作为最长片段；第一关键帧选择单元再选择最长片段中位于中间位置的一帧，作为第一关键帧r1，此时，关键帧集合F＝{r1}；计算单元将待选片段集合S＝{S1,S2,S3,…,Sm}，以及待选片段的开始时间集合b，待选片段的结束时间集合e,代入公式选出距离第一关键帧最远的片段，并取中间帧作为第二关键帧r2，此时，F＝{r1，r2}，再根据公式 选出距离第二关键帧最远的片段，并
取中间帧作为第三关键帧r3，此时，F＝{r1，r2，r3}，将此步骤循环，直至找出所有的关键帧，组成关键帧集合F＝{r1，r2，……ri}。
[0101] 本实施例中，关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元，其中，
[0102] 人物计算单元，用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合，并发送至相关系数计算单元；
[0103] 相关系数计算单元，包含有如下模型其中，PNW为关键帧中主要人
物与总人物的相关系数，N为每个关键帧中出现的主要人物个数的集合，W为每个关键帧中字幕出现的人物名称数量集合，E为数学期望，D为方差，D开根号为标准差，E((N-EN))((W-EW))为N与W的协方差；将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算，得到关键帧中主要人物与总人物的相关系数，并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
[0104] 一个具体实施例中，Q＝{Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10}，其中，
[0105] Q1片段的起始结束时间是00：40：01-00:40:05；Q2片段的起始结束时间是01：01：01-01:01:15；Q3片段的起始结束时间是01：12：01-01:12:25；Q4片段的起始结束时间是01：
23：01-01:23:15；Q5片段的起始结束时间是01：24：01-01:24:25；Q6片段的起始结束时间是
01：35：01-01:35:15；Q7片段的起始结束时间是01：46：01-01:46:10；Q8片段的起始结束时间是01：57：01-01:57:08；Q9片段的起始结束时间是01：58：01-01:58:38；Q10片段的起始结束时间是01：59：00-00:59:11。
[0106] B＝{B1,B2,B3,B4,B5}，其中，B1片段的起始结束时间是00：40：02-00:40:04；B2片段的起始结束时间是01：05：01-01:05:15；B3片段的起始结束时间是01：19：01-01:19:10；B4片段的起始结束时间是01：20：01-01:20:8；B5片段的起始结束时间是01：40：04-01:40:
10；
[0107] 根据公式S＝Q∩B×I得到：
[0108] S＝{S1,S2,S3,S4,S5,S6,S7,S8,S9,S10}，其中S1片段的起始结束时间是00:40:02-00:40:04,时长2秒；S2片段的起始结束时间是01:01:01-01:01:15,时长14秒；S3片段的起始结束时间是01:12:01-01:12:03,时长2秒；S4片段的起始结束时间是01:23:01-01:23:
15,时长14秒；S5片段的起始结束时间是01:24:01-01:24:25,时长24秒；S6片段的起始结束时间是01:35:01-01:35:15,时长14秒；S7片段的起始结束时间是01:46:01-01:46:10,时长
9秒；S8片段的起始结束时间是01:57:01-01:57:08,时长7秒；S9片段的起始结束时间是01:
58:01-01:58:38,时长37秒；S1片段的起始结束时间是01:59:00-00:59:11,时长6秒。
[0109] S9片段是S集合中时长最长的一个片段，起始结束时间是00：08：01-00:08:37,中间帧就是00：08：19出现的帧，即该帧为第一关键帧r1，根据公式 由r1得到r2，然后依次得到F集合为{r1,r2,r3，r4，r5，r6,r7,r8,r9,r10}，其中，r1帧的时间是：01：
58：16；r2帧的时间是：00：40：03；r3帧的时间是：01：59：06；r4帧的时间是：01：01：08；r5帧的时间是：01：57：05；r6帧的时间是：01：12：03；r7帧的时间是：01：46：05；r8帧的时间是：01：
23：08；r9帧的时间是：01：35：08；r10帧的时间是：01：24：14。
[0110] F集合{r1,r2,r3，r4，r5，r6,r7,r8,r9,r10}中的每个关键帧中出现的主要人物个数的集合为W，W＝{2,1,3,4,2,3,2,1,3,2}，
[0111] 原始完整视频中有5个主要人物，分别是：P1、P2、P3、P4、P5，人物关系集合C＝{P1P2，P1P3，P1P4，P1P5，P1P2P3，P1P2P4,P1P2P5，P1P3P4，P1P3P5，P1P2P3P4，P1P2P3P5，P1P3P4P5，P1P2P3P4P5}。
[0112] F集合{r1,r2,r3，r4，r5，r6,r7,r8,r9,r10}中的每个帧画面出现的人物如果是主要人物集合其中的一个就标记为1，然后叠加。此集合称为每个关键帧中出现的主要人物个数的集合N，N＝{3,5,3,2,1,2,4,4,3,2}。由公式:
[0113]
[0114] 计算出关键帧中主要人物与总人物的相关系数PNW＝{0.1,0.7,0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5}，其中，0.8-1.0极强相关，0.6-0.8强相关，0.4-0.6中等程度相关，0.2-
0.4弱相关，0.0-0.2极弱相关或无相关，按照关键帧的时间顺序，取相关系数最大的前面多个关键帧拼接成短视频，短视频即整个视频的视频摘要。
[0115] 本发明提供的视频摘要生成装置及视频摘要生成方法，从一个完整视频分成的多个连续的原始片段中，提取出视频里出现的人物、字幕、画面强度等视频摘要生成的相关参数，经过待选片段集合计算模块、关键帧集合计算模块、关键帧与人物关系的相关系数计算模块内计算模型的处理，得出关键帧集合及关键帧的排序，再根据关键帧的排序生成视频摘要。视频摘要具有原始完整视频的代表性，摘要以视频形式展示，更加直观、生动，生成的视频摘要可以做为原始完整视频的宣传片花以及其它用途，具有节省人工成本、提高工作效率的优点。
[0116] 对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0117] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
