首页 / 专利库 / 脚踏车和非动力车辆 / 把立 / 一种视频边界检测的方法

一种视频边界检测的方法

阅读:402发布:2023-03-05

专利汇可以提供一种视频边界检测的方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了计算机视频信息处理技术领域的一种视频边界检测的方法,所述该视频边界检测的方法,具体步骤如下:S1:通过计算每一 帧 的 像素 间标准差;S4:计算所有非孤立 片段 的中间帧和首尾的直方图相似度;S5:合并连续非孤立片段为疑似渐变镜头片段,本方法先通过像素差计算方式删除单色帧,把视频进行分段,计算片段首尾帧的直方图相似度,根据该信息删除冗余视频片段,其余视频片段分为孤立和非孤立分别检测镜头突变和渐变,该方法所有的计算都没有重复计算,考虑了图像的 位置 信息以及 颜色 信息,镜头切换检测的方法有别于其它方法,不仅可以检测出镜头渐变,而且可以检测出位置和长度, 算法 有一定的鲁棒性,思想简单有效。,下面是一种视频边界检测的方法专利的具体信息内容。

1.一种视频边界检测的方法,其特征在于:所述该视频边界检测的方法,具体步骤如下:
S1:通过计算每一像素间标准差,如果标准差接近于0,则为单色帧,剔除所有单色帧,再以20帧为间隔,将待检测视频分割为一系列长度为21帧的视频片段,然后,计算每个视频片段的首尾帧间直方图相似度;
S2:动态选取阈值,并计算步骤S1中所有视频片段的剔除阈值;
S3:剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段,设d20(n+1)和d20(n-
20
1)被剔除,则d (n)为孤立片段,计算该片段与未被剔除的相邻片段间的首尾间直方图相似性,记为d20(n-2,n)和d20(n,n+2),若1<d20(n)/d20(n-2,n)<T1或者1<d20(n)/d20(n,n+2)<T1,表明该视频片段帧间没有大的特征差异,剔除;
S4:计算所有非孤立片段的中间帧和首尾的直方图相似度 和 若
且 则表明该视频片段没有大的特征差异,剔除;
S5:合并连续非孤立片段为疑似渐变镜头片段,针对孤立片段,按顺序计算片段中相邻两帧间的直方图相似性,记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为 和
S6:选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m,代表渐变最剧烈的片段,计算片段中相邻两帧间的直方图相似性,选取 所对应的两帧,分别与该片段首和尾计算帧间相似性d10和d20;
S7: 所对应的两帧分别为x1和x2,依次分别计算两边的帧间相似性,再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2,然后再逐一加帧计算后续的标准差;
S8:相似度较大的一侧视频片段,首先计算10帧内的标准差,再依次逐一加帧计算该后续的标准差;
S9:设剩余片段长度为L,当L≤25时,因为新的渐变不能发生在25帧以内,否则人眼无法识别,进入步骤S5中进行切变再检测,当L>25的视频片段按照步骤S6进行迭代
2.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S1中,直方图相似度均以去除图片上部10%,下部15%,留下中间75%部分,分成4计算每帧的HSV直方图信息,并计算对应分量计算帧间相似性,再加权求和,归一化,其中,直方图相似度的具体计算方法为:



式中:d(i,i+1)代表归一化后的i和i+1帧间直方图相似性,H(j)表示的是第i帧内等级为j的直方图的值,M是直方图的总等级数。尤其是对于某些要强调的直方图等级的情况,使用权值W(j),b代表矩形块的个数,Ck代表第k个矩形块的权值,d(20n,20(n+1))代表第n个时间片段的首尾特征差值,用d20(n)简写。
3.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S2中,动态阈值计算方法为:

式中:μG表示视频中所有片段首尾特征d20(n)的均值,μL表示一组阈值单元中10个片段首尾特征差值的均值,δL是阈值单元内各个片段的特征距离标准差,在式中,a是一个参数,将会在训练参数中确定,将特征差值小于等于阈值TL且不满足(d20(n))>3d20(n-1)∪d20(n)>3d20(n+1)∩d20(n)>0.8μG的视频片段剔除。
4.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S3中,T1代表直方图相似度的一个接近1的倍数。
5.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S5中,所有相邻帧间相似度的具体判断方法如下:
S51:若 表明该片段中间有大镜头或者花屏等异常情况,一方影响检测
结果,剔除;
S52:若 其中T2为两个直方图相似度间
的较大倍数,表明首尾帧间相似度和最大帧间相似度大小差不多,而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显,代表该片段中间无典型镜头变换,剔除;
S53:若 表明首尾帧间相似度和最大相似度
差不多,而最大帧间相似度远远大于其它平均帧间相似度,代表该片段中有镜头突变,为突变处;
S54:若 表明片段中所有帧间相似度不高,而由于该片段帧数在25帧
以内,不可能发生人眼可识别的渐变,代表该片段中有镜头的晃动或者移动,剔除。
6.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S6中,1<d10/d20<T1或1<d20/d10<T1,表明该片段最大值两边的特征变化类似,假设d10较大,1<d10/d20<T1,当 时,表明 两边帧间相似度很大,代表该片段为突变片段,
为突变位置,m片段两侧剩余的视频片段分别按照步骤S6重新迭代,当 表
明 两边帧间变化不大,整个疑似渐变片段为无镜头变化片段,剔除,当d10/d20>T1或者d20/d10>T1时,表明该片段最大值两边的特征变化不一致,代表 所在的位置在渐变的两端的其中一端,假设d10较大,则d10对应的一侧片段转到步骤S8中,d20对应的一侧片段转到步骤S6中。
7.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S7中,当δx1/δx1+1>T3或者δX2/δX2+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,分别表示左边或者右边对应的位置为渐变结束点,中间视频片段长度为渐变长度,若两边有剩余视频片段转到步骤S9中,否则,继续迭代直至片段结束。
8.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S8中,设第K帧和第K+1的标准差分别为δK和δK+1,直至δK/δK+1>T3时,则K为渐变结束所在的位置,渐变长度为 所在位置到第K帧,剩余视频片段转下一步骤中,否则,则继续迭代至片段结束。

说明书全文

一种视频边界检测的方法

技术领域

[0001] 本发明涉及计算机视频信息处理技术领域,具体为一种视频边界检测的方法。

背景技术

[0002] 镜头边界检测的基础,在于同一个镜头内的视觉内容相近、不同镜头间的视频内容差异大,特征区别明显。视频的镜头变换主要分为切变和渐变两种类型,切变是前一个镜头的末没有过渡的紧接着下一个镜头的首帧,渐变是在一段时间内通过溶解、淡入/淡出、擦除等视觉效果,逐渐完成镜头的变换,一般持续几帧到十几帧。
[0003] 目前很多围绕视频切变和渐变的研究,一部分研究只单一的针对切变或者渐变镜头,另一部分能够同时检测出渐变和切变的方法复杂度往往比较高。制约镜头边界检测算法处理速度主要原因在于反复提取特征对比,待处理视频图片数量较多。
[0004] 现有的检测方法视频检测做时未考虑视频字幕(底部固定滚动画面)、台标和黑标等因素的影响,检测算法在做视频帧颜色相似性时未考虑位置信息。现有算法中渐变检测或者未检测出渐变长度和位置,或者是检测过程复杂度太高,耗时且准确率不高,未去除单色帧的影响。为此,我们发明了一种视频边界检测的方法投入使用,以解决上述问题。

发明内容

[0005] 本发明的目的在于提供一种视频边界检测的方法,以解决上述背景技术中提出的现有的检测方法视频检测做时未考虑视频字幕(底部固定滚动画面)、台标和黑标等因素的影响,检测算法在做视频帧间颜色相似性时未考虑位置信息。现有算法中渐变检测或者未检测出渐变长度和位置,或者是检测过程复杂度太高,耗时且准确率不高,未去除单色帧的影响的问题。
[0006] 为实现上述目的,本发明提供如下技术方案:一种视频边界检测的方法,所述该视频边界检测的方法,具体步骤如下:
[0007] S1:通过计算每一帧的像素间标准差,如果标准差接近于0,则为单色帧,剔除所有单色帧,再以20帧为间隔,将待检测视频分割为一系列长度为21帧的视频片段,然后,计算每个视频片段的首尾帧间直方图相似度;
[0008] S2:动态选取阈值,并计算步骤S1中所有视频片段的剔除阈值;
[0009] S3:剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段,设d20(n+1)和d20(n-1)被剔除,则d20(n)为孤立片段,计算该片段与未被剔除的相邻片段间的首尾间直方20 20 20 20 20 20
图相似性,记为d (n-2,n)和d (n,n+2),若1<d (n)/d (n-2,n)<T1或者1<d (n)/d(n,n+2)<T1,表明该视频片段帧间没有大的特征差异,剔除;
[0010] S4:计算所有非孤立片段的中间帧和首尾的直方图相似度 和 若且 则表明该视频片段没有大的特征差异,剔除;
[0011] S5:合并连续非孤立片段为疑似渐变镜头片段,针对孤立片段,按顺序计算片段中相邻两帧间的直方图相似性,记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为 和
[0012] S6:选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m,代表渐变最剧烈的片段,计算片段中相邻两帧间的直方图相似性,选取 所对应的两帧,分别与该片段首和尾计算帧间相似性d10和d20;
[0013] S7: 所对应的两帧分别为x1和x2,依次分别计算两边的帧间相似性,再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2,然后再逐一加帧计算后续的标准差;
[0014] S8:相似度较大的一侧视频片段,首先计算10帧内的标准差,再依次逐一加帧计算该后续的标准差;
[0015] S9:设剩余片段长度为L,当L≤25时,因为新的渐变不能发生在25帧以内,否则人眼无法识别,进入步骤S5中进行切变再检测,当L>25的视频片段按照步骤S6进行迭代
[0016] 优选的,所述步骤S1中,直方图相似度均以去除图片上部10%,下部15%,留下中间75%部分,分成4计算每帧的HSV直方图信息,并计算对应分量计算帧间相似性,再加权求和,归一化,其中,直方图相似度的具体计算方法为:
[0017]
[0018]
[0019]
[0020] 式中:d(i,i+1)代表归一化后的i和i+1帧间直方图相似性,H(j)表示的是第i帧内等级为j的直方图的值,M是直方图的总等级数。尤其是对于某些要强调的直方图等级的情况,使用权值W(j),b代表矩形块的个数,Ck代表第k个矩形块的权值,d(20n,20(n+1))代表第n个时间片段的首尾特征差值,用d20(n)简写。
[0021] 优选的,所述步骤S2中,动态阈值计算方法为:
[0022]
[0023] 式中:μG表示视频中所有片段首尾特征d20(n)的均值,μL表示一组阈值单元中10个片段首尾特征差值的均值,δL是阈值单元内各个片段的特征距离标准差,在式中,a是一个参数,将会在训练参数中确定,将特征差值小于等于阈值TL且不满足(d20(n))>3d20(n-1)∪d20(n)>3d20(n+1)∩d20(n)>0.8μG的视频片段剔除。
[0024] 优选的,所述步骤S3中,T1代表直方图相似度的一个接近1的倍数。
[0025] 优选的,所述步骤S5中,所有相邻帧间相似度的具体判断方法如下:
[0026] S51:若 表明该片段中间有大镜头或者花屏等异常情况,一方影响检测结果,剔除;
[0027] S52:若 其中T2为两个直方图相似度间的较大倍数,表明首尾帧间相似度和最大帧间相似度大小差不多,而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显,代表该片段中间无典型镜头变换,剔除;
[0028] S53:若 表明首尾帧间相似度和最大相似度差不多,而最大帧间相似度远远大于其它平均帧间相似度,代表该片段中有镜头突变,为突变处;
[0029] S54:若 表明片段中所有帧间相似度不高,而由于该片段帧数在25帧以内,不可能发生人眼可识别的渐变,代表该片段中有镜头的晃动或者移动,剔除。
[0030] 优选的,所述步骤S6中,1<d10/d20<T1或1<d20/d10<T1,表明该片段最大值两边的特征变化类似,假设d10较大,1<d10/d20<T1,当 时,表明 两边帧间相似度很大,代表该片段为突变片段, 为突变位置,m片段两侧剩余的视频片段分别按照步骤S6重新迭代,当 表明 两边帧间变化不大,整个疑似渐变
片段为无镜头变化片段,剔除,当d10/d20>T1或者d20/d10>T1时,表明该片段最大值两边的特征变化不一致,代表 所在的位置在渐变的两端的其中一端,假设d10较大,则d10对应的一侧片段转到步骤S8中,d20对应的一侧片段转到步骤S6中。
[0031] 优选的,所述步骤S7中,当δx1/δx1+1>T3或者δX2/δX2+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,分别表示左边或者右边对应的位置为渐变结束点,中间视频片段长度为渐变长度,若两边有剩余视频片段转到步骤S9中,否则,继续迭代直至片段结束。
[0032] 优选的,所述步骤S8中,设第K帧和第K+1的标准差分别为δK和δK+1,直至δK/δK+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,则K为渐变结束所在的位置,渐变长度为 所在位置到第K帧,剩余视频片段转下一步骤中,否则,则继续迭代至片段结束。
[0033] 与现有技术相比,本发明的有益效果是:本方法先通过像素差计算方式删除单色帧,把视频进行分段,计算片段首尾帧的直方图相似度,根据该信息删除冗余视频片段,其余视频片段分为孤立和非孤立分别检测镜头突变和渐变,该方法所有的计算都没有重复计算,并且最大限度保留最多信息的前提下进行非边界帧的剔除,平衡了镜头边界检测的效率和正确率,考虑了图像的位置信息以及颜色信息,比较综合全面的衡量了图片的信息,渐变检测的方法有别于其它方法,不仅可以检测出位置和长度,而且思想简单有效。附图说明
[0034] 图1为本发明工作流程图
[0035] 图2为本发明动态选取阈值片段示意图;
[0036] 图3为本发明片段首和尾计算帧间相似性示意图;
[0037] 图4为本发明疑似渐变片段示意图。

具体实施方式

[0038] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0039] 请参阅图1-4,本发明提供一种技术方案:一种视频边界检测的方法,所述该视频边界检测的方法,具体步骤如下:
[0040] S1:通过计算每一帧的像素间标准差,如果标准差接近于0,则为单色帧,剔除所有单色帧,再以20帧为间隔,将待检测视频分割为一系列长度为21帧的视频片段,然后,计算每个视频片段的首尾帧间直方图相似度,直方图相似度均以去除图片上部10%,下部15%,留下中间75%部分,分成4块计算每帧的HSV直方图信息,并计算对应分量计算帧间相似性,再加权求和,归一化,其中,直方图相似度的具体计算方法为:
[0041]
[0042]
[0043]
[0044] 式中:d(i,i+1)代表归一化后的i和i+1帧间直方图相似性,H(j)表示的是第i帧内等级为j的直方图的值,M是直方图的总等级数。尤其是对于某些要强调的直方图等级的情况,使用权值W(j),b代表矩形块的个数,Ck代表第k个矩形块的权值,d(20n,20(n+1))代表第n个时间片段的首尾特征差值,用d20(n)简写;
[0045] S2:动态选取阈值,并计算步骤S1中所有视频片段的剔除阈值,如d20(n)按照图2选取阈值单元,当n<6时,阈值计算单元是第1-10个视频片段,按照图2选取阈值单元,动态阈值计算方法为:
[0046]
[0047] 式中:μG表示视频中所有片段首尾特征d20(n)的均值,μL表示一组阈值单元中10个片段首尾特征差值的均值,δL是阈值单元内各个片段的特征距离标准差,在式中,a是一个参数,将会在训练参数中确定,将特征差值小于等于阈值TL且不满足(d20(n))>3d20(n-1)∪20 20 20
d (n)>3d (n+1)∩d (n)>0.8μG的视频片段剔除;
[0048] S3:剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段,设d20(n+1)和d20(n-1)被剔除,则d20(n)为孤立片段,计算该片段与未被剔除的相邻片段间的首尾间直方图相似性,记为d20(n-2,n)和d20(n,n+2),若1<d20(n)/d20(n-2,n)<T1或者1<d20(n)/d20(n,n+2)<T1,表明该视频片段帧间没有大的特征差异,剔除,T1代表直方图相似度的一个接近1的倍数;
[0049] S4:计算所有非孤立片段的中间帧和首尾的直方图相似度 和 若且 则表明该视频片段没有大的特征差异,剔除;
[0050] S5:合并连续非孤立片段为疑似渐变镜头片段,针对孤立片段,按顺序计算片段中相邻两帧间的直方图相似性,记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为 和 所有相邻帧间相似度的具体判断方法如下:
[0051] S51:若 表明该片段中间有大镜头或者花屏等异常情况,一方影响检测结果,剔除;
[0052] S52:若 其中T2为两个直方图相似度间的较大倍数,表明首尾帧间相似度和最大帧间相似度大小差不多,而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显,代表该片段中间无典型镜头变换,剔除;
[0053] S53:若 表明首尾帧间相似度和最大相似度差不多,而最大帧间相似度远远大于其它平均帧间相似度,代表该片段中有镜头突变,为突变处;
[0054] S54:若 表明片段中所有帧间相似度不高,而由于该片段帧数在25帧以内,不可能发生人眼可识别的渐变,代表该片段中有镜头的晃动或者移动,剔除;
[0055] S6:选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m,代表渐变最剧烈的片段,计算片段中相邻两帧间的直方图相似性,选取 所对应的两帧,分别与该片段首和尾计算帧间相似性d10和d20,如图3所示,1<d10/d20<T1或1<d20/d10<T1,表明该片段最大值两边的特征变化类似,假设d10较大,1<d10/d20<T1,当 时,表明两边帧间相似度很大,代表该片段为突变片段, 为突变位置,m片段两侧剩余
的视频片段分别按照步骤S6重新迭代,当 表明 两边帧间变化不
大,整个疑似渐变片段为无镜头变化片段,剔除,当d10/d20>T1或者d20/d10>T1时,表明该片段最大值两边的特征变化不一致,代表 所在的位置在渐变的两端的其中一端,假设d10较大,则d10对应的一侧片段转到步骤S8中,d20对应的一侧片段转到步骤S6中;
[0056] S7: 所对应的两帧分别为x1和x2,依次分别计算两边的帧间相似性,再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2,然后再逐一加帧计算后续的标准差,如图4所示,例如两边11帧的标准差为δx1+1和δx2+1,当δx1/δx1+1>T3或者δX2/δX2+1>T3时,分别表示左边或者右边对应的位置为渐变结束点,中间视频片段长度为渐变长度,若两边有剩余视频片段转到步骤S9中,否则,继续迭代直至片段结束;
[0057] S8:相似度较大的一侧视频片段,首先计算10帧内的标准差,再依次逐一加帧计算该后续的标准差,设第K帧和第K+1的标准差分别为δK和δK+1,直至δK/δK+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,则K为渐变结束所在的位置,渐变长度为 所在位置到第K帧,剩余视频片段转下一步骤中,否则,则继续迭代至片段结束;
[0058] S9:设剩余片段长度为L,当L≤25时,因为新的渐变不能发生在25帧以内,否则人眼无法识别,进入步骤S5中进行切变再检测,当L>25的视频片段按照步骤S6进行迭代。
[0059] 尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
相关专利内容
标题 发布/更新时间 阅读量
一种扫把头可以站立的扫把 2020-05-12 645
立体多人用公交把手 2020-05-13 301
可站立扫把 2020-05-11 588
快速解锁把立 2020-05-11 430
车把立管组装机 2020-05-12 603
一种立式辣椒去把机 2020-05-12 837
一种可直立的拖把 2020-05-12 61
倾角可调的自行车把立 2020-05-13 832
一种自行车把立 2020-05-11 239
一种双向转角可调式车把把立 2020-05-12 683
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈