视频的关键帧提取
阅读：1发布：2022-08-03
专利汇可以提供视频的关键帧提取专利检索，专利查询，专利分析的服务。并且允许从视频(12)中灵活提取关键 帧 的技术。根据本教导的关键帧提取包括将视频(12)分割为一组镜头，每个镜头具有一组 视频帧 ，并且响应于相应的视频帧的图像 质量 ，从镜头中选择一组关键帧(16)。本技术包括一组用户可选择的模式，其使关键帧提取能够适用于底层平台。，下面是视频的关键帧提取专利的具体信息内容。
1.用于关键帧提取的方法，包括：
将视频(12)分割为一组镜头，每个镜头具有一组视频帧；
响应于相应的视频帧的图像质量从由所述视频(12)所分割的所述一组镜头中为每个镜头选择关键帧(16)。
2.如权利要求1的方法，其中选择还包括响应于相应的视频帧的视频内容的改变选择关键帧(16)。
3.如权利要求2的方法，其中选择包括通过确定相应的视频帧中的直方图差，来确定视频内容的改变。
4.如权利要求1的方法，其中选择包括响应于每个相应的视频帧的熵选择关键帧(16)。
5.如权利要求1的方法，其中选择包括响应于每个相应的视频帧的锐度选择关键帧(16)。
6.如权利要求1的方法，其中选择包括响应于每个相应的视频帧的对比度选择关键帧(16)。
7.如权利要求1的方法，其中选择还包括响应于用户所选的模式选择关键帧(16)，所述用户所选模式指定以下三种关键帧提取模式中的一种：为视频(12)选择固定数量的关键帧(16)、为视频(12)选择固定速率的关键帧(16)、以及为视频(12)的每个镜头选择一个关键帧(16)。
视频的关键帧提取
背景技术
[0002] 视频系统可以包括提取视频的视频帧子集以用作关键帧的能力。例如，可以从视频中提取一组关键帧从而为视频构建情节串连图板(storyboard)。通过将所提取的关键帧再现为一连串的缩略图像来构建情节串连图板，所述一连串的缩略图像向观众提供视频内容的可视指示。
[0003] 从视频中提取关键帧的方法可以基于视频中镜头的安排。例如，专业编辑过的视频可以被安排成一组精心选择的镜头。通过检测镜头之间的边界，以及随后在每个镜头的开始、中间或者结束处选择关键帧，可以从编辑过的视频中提取关键帧。
[0004] 不幸地，从视频中镜头的开始、中间或者结束处提取关键帧可能无法产生代表视频的最佳关键帧。此外，基于视频中镜头的安排从视频中提取关键帧可能无法提供关键帧提取的灵活性。例如，基于视频中镜头的安排从视频中提取关键帧可能无法考虑视频系统底层平台的特性或者视频系统中通信的局限性。发明内容
[0005] 公开了允许从视频中灵活地提取关键帧的技术。根据本技术的关键帧提取包括将视频分段为一组镜头，每个镜头具有一组视频帧，并且响应于相应的视频帧的图像质量从所述镜头中选择一组关键帧。本技术包括一组用户可选择模式，其使关键帧的提取能够适应于底层平台。
[0007] 参考附图，针对有关特定典型实施例来描述本发明，在附图中：
[0008] 图1示出结合了本教导的视频系统；
[0009] 图2示出用于从视频中提取一组关键帧的方法；
[0010] 图3示出用于检测视频中镜头的方法；
[0011] 图4示出用于从视频的镜头中提取关键帧的方法；
[0012] 图5示出包括用于关键帧提取的一组用户可选择模式的视频系统；
[0013] 图6示出用于使用多种关键帧提取模式从视频中提取一组关键帧的方法；
[0014] 图7示出用于为视频的一组镜头分配固定数量的关键帧的方法；
[0015] 图8示出用于以固定速率模式为视频的每个时段分配关键帧的方法。
具体实施方式
[0016] 图1示出结合本教导的视频系统10。视频系统10包括关键帧提取器14，其从视频12的一连串视频帧13中提取一组关键帧16。关键帧提取器14使用适用于编辑过的视频的方法，从视频12中提取关键帧16。例如，与倾向于未编辑且随意的业余爱好者视频相比，专业编辑过的视频可能包括大量精心创建的被精心编辑过的镜头。专业视频可以具有相对少的摄像机运动，这种摄像机运动是相对慢的摄像机运动，例如追踪物体运动的摄像机运动。与业余爱好者视频相比，专业视频可以具有更频繁的镜头剪切。
[0017] 图2示出用于从视频12中提取关键帧16的方法。所示的方法步骤由关键帧提取器14来执行。在步骤100，将视频12分割为一组镜头。镜头可以被定义为连续捕获的一系列视频帧。步骤100包括通过检测镜头之间的边界来检测镜头。在步骤100中被检测的视频12的镜头数量是S。步骤100中的每个镜头包括来自视频12的相应的一连串视频帧。在步骤102，响应于相应的视频帧中图像的质量和视频内容的改变，从每个镜头中选择一组关键帧。
[0018] 图3示出用于在步骤100检测视频12中的镜头的方法。在步骤30，为视频12的每个视频帧13确定色彩直方图和亮度以及锐度。
[0020]
[0021] 其中y(i，j)是在视频帧中(i，j)处像素的发光度，并且其中N和M分别是视频帧的高度和宽度。
[0023] Ex(i，j) ＝ ((y(i-1，j+1)-y(i-1，j-1))+(y(i，j+1)-y(i，j-1))×2+(y(i+1，j+1)-y(i+1，j-1)))/8
[0024] Ey(i，j) ＝ ((y(i+1，j-1)-y(i-1，j-1))+(y(i+1，j)-y(i-1，j))×2+(y(i+1，j+1)-y(i-1，j+1)))/8
[0025] 其中，i＝2，K，N-1；j＝2，K，M-1
[0026] 然后，可以使用下面等式确定锐度。
[0027]
[0028] 在步骤32，确定视频12中每对连续视频帧的色彩直方图之间的差。成对的色彩直方图之间的差提供色彩直方图差的时间曲线。
[0029] 在步骤34，确定色彩直方图差的均值和方差。在步骤36，根据步骤34的均值和方差确定适应性阈值。步骤36的适应性阈值可以是阈值＝均值*ALPHA+std*BETA，其中ALPHA＝2并且BETA＝3，均值和std随每个新帧而更新。均值和方差随着步骤32的每组新的色彩直方图差数据而更新。
[0030] 在步骤38，使用步骤36的适应性阈值在视频12中检测一组镜头边界。视频12中的纯镜头(clean shot)是不包括过渡的视频帧序列，例如，视频12中的不渐隐的视频帧序列，视频12中不淡入的视频帧序列，以及视频12中不淡出的视频帧序列。步骤36的适应性阈值还允许检测表明视频12中镜头之间渐隐边界的视频帧序列。如果在视频12的背景中有明暗的改变，步骤36的适应性阈值可能创建错误警报，但是在这种少数情形中，其对关键帧提取几乎没有影响。
[0031] 在步骤40，检测在视频12的淡入、淡出以及渐隐过渡中的黑色视频帧和模糊视频帧。视频12中镜头之间的淡入和淡出边界可以由视频12中的黑色视频帧以及通过检测具有一致色彩的视频12的视频帧来指示。响应于帧的亮度和锐度，可以确定黑色视频帧和具有一致色彩的视频帧。将与视频12的镜头之间的淡入和淡出边界对应的视频帧消除，避免了从与视频12的过渡时段对应的视频帧序列13中选择关键帧。视频帧的锐度可以用于避免选择与视频12的渐隐边界对应的关键帧。
[0032] 图4示出步骤102中从视频12的镜头中选择关键帧的方法。在步骤70，为镜头中的每个视频帧确定熵。
[0033] 可以根据以下的等式确定视频帧的熵。
[0034]
[0035] 其中hist(i)是视频帧的直方图，N是直方图的仓(bin)的数量，framesize是视频帧中像素的数量，即framesize＝frame_width(帧宽度)*frame_height(帧高度)。
[0036] 在步骤72，为镜头中的每个视频帧确定锐度。在步骤74，为镜头中每个视频帧确定亮度。
[0037] 在步骤76，为镜头中每个视频帧确定对比度。通过例如根据以下的等式，计算视频帧的发光度的方差，可以确定视频帧的对比度：
[0038]
[0039] 在步骤78，响应于相应的亮度和锐度，检测镜头中的格外亮的视频帧。当为镜头选择关键帧时，要避免镜头中格外亮的视频帧。
[0040] 在步骤80，响应于相应的亮度和锐度，检测镜头中的格外暗的视频帧。当为镜头选择关键帧时，镜头中格外暗的视频帧不列入考虑。
[0041] 在步骤82，当为镜头选择关键帧时，镜头中的与镜头的开始部分和结束部分对应的视频帧不列入考虑。这避免了与视频12的过渡对应的关键帧，或者镜头改变的特殊效果，例如渐隐。这也避免了内容上彼此相似的关键帧。
[0042] 在步骤84，在镜头的剩余视频帧中响应于它们的熵、锐度以及对比度来选择关键帧。关键帧选择为具有最佳熵、锐度以及对比度。
[0043] 图5示出包括一组用于关键帧提取的用户可选择模式的视频系统10的实施例。在该实施例中，关键帧提取器14响应于用户所选的模式18从视频12中提取关键帧16。用户所选的模式18指定了一组可能的关键帧提取模式(模式1-3)中的一个。用户可选择模式1-3使关键帧提取能够适用于具有不同特性的系统。
[0044] 在模式1中，关键帧提取器14从视频12的每个镜头中提取一个关键帧。模式1可用于使用所提取的关键帧为视频12建立情节串连图板。在模式1中为镜头所提取的关键帧是该镜头中具有最佳图像质量的视频帧。这与先前从镜头中提取第一帧或者随机帧的方法形成对照。
[0045] 在模式2中，关键帧提取器14为视频12的全部长度提取固定数量的关键帧。模式2可用于显示关键帧16的区域受限的应用，例如，蜂窝电话或者PDA的显示器。模式2的特定情况是一个关键帧，其将视频12表示为缩略图。
[0046] 在模式3中，关键帧提取器14以固定的关键帧速率提取关键帧，即，每固定时间段提取一个关键帧，例如每两秒一个关键帧。模式3可用于视频内容通过有限带宽的通信信道传送的应用。模式3向用户提供以固定速率刷新的关键帧。关键帧速率可以由用户选择。
[0047] 图6示出用多种关键帧提取模式从视频12中提取关键帧16的方法。示出的方法步骤由关键帧提取器14响应于用户所选的模式18来执行，用户所选的模式18指定为模式1、模式2或者模式3。在步骤20，将视频12分割为一组数量为S的镜头。
[0048] 如果用户所选的模式18指示为模式1，那么在步骤22，将在步骤20找到的每个镜头中选择一个关键帧。依照方法步骤70-84在步骤22从镜头中选择关键帧。
[0049] 如果用户所选的模式18指示为模式2，那么在步骤24，将在步骤20找到的S个镜头中选择固定数量K个关键帧。步骤24包括将该K个关键帧分配给S个镜头。依照方法步骤70-84在步骤24从镜头中选择关键帧。
[0050] 如果用户所选的模式18指示为模式3，那么在步骤26，将每固定时间段(T)，从在步骤20产生的镜头中，提取一个关键帧。步骤26包括将关键帧分配给视频12的每时间段T。依照方法步骤70-84，在步骤26，从视频12中提取关键帧，但是操作是对视频12中的时间段T而不是镜头中的时间段T进行的。
[0051] 图7示出在步骤24将K个关键帧分配给S个镜头的方法。在步骤50，如果K大于S，那么在步骤52，视频12的S个镜头中的每个按照其长度和其内容改变的得分而排序。
[0052] 可以如下确定ith镜头的次序。
[0053] rank(i)＝length(i)×hc
[0054] 其中length(i)是以镜头中视频帧的数量计算的该镜头的长度，hc是指示镜头中最大直方图差的值。hc的值可以通过跳过镜头的最初和最末的部分(例如，跳过镜头中最初10个帧和最末10个帧；或者如果镜头包括少于30个帧，跳过镜头的最初1/3和最末1/3)来估计，然后，为剩余帧计算每对连续帧之间的直方图差，并选择最大的直方图差值作为hc。
[0055] 在步骤54，选择次序最高的镜头。检验在步骤54中所选的镜头以确定如果将其分为两个镜头，例如新镜头中的一个可能只包含低质量的视频帧，是否会产生低质量的关键帧。可以响应于视频帧的熵、锐度和对比度来计算用于排序视频帧质量的质量得分，例如质量得分＝熵/2+锐度/4+对比度/4。
[0056] 如果可能产生低质量关键帧，那么在步骤55中，在步骤54所选择的镜头的次序将被设置为零。否则，在步骤56，具有次序最高的镜头将在镜头中具有最大直方图改变的视频帧处，例如与未检测到的渐隐对应的视频帧或者与显著摄像机运动或者对象运动对应的视频帧处，被分割为两个。步骤56的被分割的段将被看作为两个新的镜头，并且S值增加1。计算两个新镜头的次序。步骤52-56继续，直到K等于S。之后，依照方法步骤70至84从视频12的每个镜头中选择一个关键帧。
[0057] 在步骤50，如果K小于S，那么在步骤58依照方法步骤70至84，向视频12中的每个镜头分配一个关键帧。在步骤60，去除在步骤58所分配的具有最低图像质量的关键帧，并且去除在步骤58所分配的对应于最短镜头的关键帧，直到关键帧的数量K等于镜头的数量S。
[0058] 图8示出在步骤26为视频12的每个时间段T分配关键帧的方法。在步骤90，响应于关键帧速率1/T选择视频12的段。在步骤90的初始段包括由视频12中的第一视频帧(在时间t0处的视频帧)和视频12中在时间t0+T处的视频帧界定的视频12的视频帧。在步骤90下一段包括由视频12中在时间t0+T处的视频帧和视频12中在时间t0+2T处的视频帧界定的视频12的视频帧，对于随后的段亦如此。
[0059] 在步骤92，在步骤90被选择的视频12的段中检测镜头的边界(如果有的话)。在步骤94，确定步骤90中所选的视频12的段中的视频帧的图像质量。在步骤96，确定步骤90中所选的视频12的段中的内容改变(如果有的话)。在步骤98，响应于镜头边界、图像质量和内容改变，在步骤90所选的视频12的段中选择关键帧。例如，如果在段中有镜头边界，并且已经从前一段的第一镜头中选择至少一个关键帧，那么将一个关键帧分配给第二镜头。如果在所述段中没有镜头边界，那么在该段中的最大内容变化之后选择一个关键帧。
具有最佳图像质量的视频帧被选为关键帧。
具有最佳图像质量的视频帧被选为关键帧。
[0061] 本技术可以被用于管理视频剪辑的收集。从视频剪辑中提取的关键帧可用于视频打印和/或视频浏览以及视频通信，例如，通过email，蜂窝电话显示器等等来进行。上述用于关键帧提取的方法产生可以指示视频剪辑精彩片段以及描述对于观众有意义的视频剪辑中的内容的关键帧。本技术提供视频剪辑的内容的全面表达。所提取的关键帧可以用于视频剪辑的缩略表示，用于预览视频剪辑，以及分类和检索视频数据。所提取的关键帧可以用于打印情节连串图板、明信片等等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于IEEE 1588标准的时钟透明传输装置及方法 | 2020-08-01 | 0 |
| 一种基于时分多址接入空间动态网络的数据传输测试方法 | 2020-10-11 | 0 |
| 同步测量金属在基底上的润湿角和DSC曲线的装置 | 2021-10-14 | 1 |
| 一种BBU堆叠系统中时钟同步的方法和系统 | 2022-12-20 | 1 |
| 一种隐式信息传输方法、装置及系统 | 2020-08-30 | 1 |
| TD-SCDMA系统的多时隙接入控制方法及装置 | 2022-02-21 | 1 |
| METHODS FOR ANALYZING THERMAL IMAGE DATA USING A PLURALITY OF VIRTUAL DEVICES AND METHODS FOR CORRELATING DEPTH VALUES TO IMAGE PIXELS | 2021-03-29 | 1 |
| POLAR CODE PROCESSING METHOD AND SYSTEM, AND WIRELESS COMMUNICATIONS APPARATUS | 2020-12-18 | 0 |
| 프레임 확장들을 포함하는 WI-FI 프레임들 | 2020-09-14 | 0 |
| 프로세서 점유 제한을 이용한 전력 관리 장치 및 방법 | 2020-09-13 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈