技术领域
[0001] 本
发明涉及一种基于数字水印的广告视频识别方法，属于广告识别技术领域。
背景技术
[0002] 广告是为了某种特定的需要，通过一定形式的媒体，公开而广泛地向公众传递信息的宣传手段。我们通常所指的广告是指以盈利为目的的广告，即商业广告，通常是商品生产者、经营者和消费者之间沟通信息的重要手段，或企业占领市场、推销产品、提供劳务的重要形式，主要目的是扩大经济效益。
[0003] 电视广告，是一种以电视为媒体的广告，具有视听效果并运用了语言、声音、文字、形象、动作、表演等综合手段进行传播的信息传播方式。电视广告在实际传播过程中，受到传播设备和人为因素等影响，有时会发生没有按照合同约定进行播出的情况，主要包括播出
位置不对、播出时长不足、播出次数减少等情况，影响了广告的投放效果，损害了广告主的经济利益。为了维护合法权益，广告主和广告代理公司通常会通过专业的广告监测机构对广告播出情况进行监播，以掌握广播放的实际情况；此外，作为媒体，也需要对广告播出情况进行实时
跟踪，及时发现未能按合同约定播出的广告，查找原因，提出解决方案，避免经济纠纷。于此同时，收视率调查机构在进行广告收视率分析的时候，也必须掌握广告实际投放的位置和时间作为
基础数据。
[0004] 广告视频（以下简称“广告”）监播工作已成为整个广告发布流程的一个重要环节。随着技术的发展，广告监播方式经历了几个发展阶段。
[0005] 第一个阶段：人工方式。广告监播工作早期采用的是全人工方式，完全依靠人工对录制后的电视节目的进行查看记录，耗时耗
力，准确率低。
[0006] 第二个阶段：音频比对方式。2005年以后，基于音频特征比对识别广告的方法逐渐推广，一直到现在仍是广告监测机构最常用的监播方式。其原理主要是事先对需要监测的广告进行音频建模，提取音频特征文件，生成音频特征库，通过比对特征库和录制文件的音频特征，识别出对应的广告。相比传统的全人工方式，这种方式无论从效率还是准确度上，都有着显著的提高。但此种方式也存在几个明显的问题：（1）无法识别没有声音的广告；（2）无法识别画面不一样但声音一样的广告；（3）同一个广告在不同的频道播出或经过不同的传输通道后，声音指标有可能会存在差异，导致识别错误。上述问题的存在，使得基于音频比对的广告识别方式的准确率只能达到80%左右，错检和漏检的广告还有不少，因此，运用音频比对方式识别广告往往还需要辅以一定的人工操作，其效率和准确度都有待于提高。
[0007] 第三个阶段：视频比对方式。基于视频样本比对的广告识别方法一直在研发试验中，相比音频特征对比，视频特征的信息量巨大，普通标清视频码流大致在1-3MB左右，数十倍于音频文件（通常仅为几十KB），同时，视频画面的分析和特征提取的复杂程度远大于音频。在特征比对过程中，样本库中的每个视频特征文件都要遍历整段视频，运算量十分巨大，实验室测试显示，同样
硬件条件下，通过视频特征比对识别广告要比通过音频特征比对慢几十倍甚至百倍，不具备实际操作性，难以商业推广。
[0008] 近年来，有研究人员提出基于水印技术的广告识别方式，即在广告中嵌入水印信息，播出后通过查找该水印的方式识别广告。视频水印技术由来已久，但用于电视广告识别还存在一定的问题，由于电视广告片要达到播出级别的
质量，且在编辑及播出过程中经常会遇到压缩、重编码、
变形等多方面的攻击和干扰，故对水印的隐藏性（透明性）及鲁棒性（抗攻击性）要求很高，常见的
空域水印、频域水印、DCT变换域嵌入等技术，都无法同时满足隐藏性和鲁棒性的双重要求，很难应用于实际电视播出的场景。
发明内容
[0009] 本发明要解决技术问题是：克服上述技术的缺点，提供一种识别速度快、识别准确率高的基于数字水印的广告视频识别方法。
[0010] 为了解决上述技术问题，本发明提出的技术方案是：一种基于数字水印的广告视频识别方法，包括以下步骤：
[0011] 步骤一、嵌入数字水印
[0012] 在原始广告视频图像中找到参数差小于预设的第一
阈值的连续两
帧图像作为成对的特定帧图像，并对每对特定帧图像的后一帧图像进行修正使其与前一帧图像的参数差小于或等于预设的第二阈值，修正后的成对特定帧图像即为数字水印；其中第二阈值大于或等于0且小于第一阈值，所述参数差为距离差、
亮度差或/和
色度差；
[0013] 步骤二、生成比对信息特征库
[0014] 首先从作为数字水印的每对特定帧图像提取特征信息，并对该特征信息以较低的
采样频率采样后通过Hash运算得到该对特定帧图像的第一比对引导信息；
[0015] 其次对整段广告视频图像逐帧提取特征信息，并对每帧图像的特征信息以较高的
采样频率采样得到第一比对详细信息；
[0016] 所述第一比对引导信息和第一比对详细信息作为比对信息特征库；
[0017] 步骤三、检测视频
[0018] 从待检测的视频中提取出所有参数差小于预设第二阈值的连续两帧图像作为成对的待检测帧图像，如果提取不到所述成对的待检测帧图像，则判定待检测的视频不是广告视频；
[0019] 如果提取到所述成对的待检测帧图像，则执行步骤四；
[0020] 步骤四、通过比对第一引导特征信息进行初筛
[0021] 提取每对所述成对的待检测帧图像的特征信息，并以较低的采样频率采样后通过Hash运算得到所述成对的待检测帧图像的第二比对引导信息，并与比对信息特征库的第一比对引导信息进行对比；
[0022] 如果所述第二比对引导信息与所述比对信息特征库的第一比对引导信息均不一致，则判定所述待检测的视频不是广告视频；
[0023] 如果所述第二比对引导信息与所述第一比对引导信息部分一致，则执行步骤五；
[0024] 步骤五、通过比对第一详细特征信息进行
细筛[0025] 逐帧提取所述待检测视频的每帧图像的特征信息，并以较高的采样频率采样后得到所述每帧图像的第二比对详细信息；
[0026] 如果所述第二比对详细信息与所述第一比对详细信息一致，则判定所述待检测视频是标准广告视频；
[0027] 如果所述第二比对详细信息与所述第一比对详细信息部分一致，则判定所述待检测视频是不完整广告视频；
[0028] 如果所述第二比对详细信息与所述第一比对详细信息完全不一致，则判定所述待检测视频不是广告视频；
[0029] 所述每帧图像的特征信息是指通过高斯变换
算法从该帧图像中提取出的不随该帧图像的尺寸、
颜色、
分辨率改变而变化的特征信息，比如亮度信息，
像素点的位置比例关系信息等。
[0030] 优选的，所述成对的特定帧图像是在预设间隔时间段内的一组参数差最小的连续两帧图像。
[0031] 本发明带来的有益效果是：本发明利用人眼视觉特征，通过特定帧图像的水印嵌入方式，构建引导信息和特征信息双重比对信息特征库，运用动态水印判断+引导信息筛查+特征信息详查三步递推法，采用固
定位置的视频样本比对方式，高效准确地实现了广告识别。相比现有的广告识别方式，本发明至少具有以下四方面的优势特点：1）识别速度快，确保广告监播时效性要求；2）识别准确率高，抗干扰性好；3）识别自动化程度高，不需要人工干预和二次识别；4）识别过程对原始广告无质量影响，满足广播级要求。
[0032] 本发明不仅适用于电视广告监播工作，还适用于以下多种行业领域：1.新媒体（网络媒体、移动媒体）广告监测；2.工商、广电等行政部
门对广告的监督监管工作；3.影视制作公司自制节目的
版权保护（包括传统电视媒体和新媒体）；4.电视台新闻线索跟踪调查；5.网络自媒体跟踪、调查，舆情监督；6.电影或电视剧（长视频）
版权保护。
[0033] 上述技术方案的进一步改进是：所述步骤二中，所述第一比对详细信息保存在以所述第一比对引导信息为文件名的文件中。
[0034] 上述技术方案的再进一步改进是：所述步骤一中，对每对特定帧图像的后一帧图像进行修正的方法为：如果前、后两帧图像的参数差大于第二阈值，则将前、后两帧图像的参数进行加权平均后作为后一帧图像的参数值，或者直接
修改后一帧图像的参数使其与前一帧图像的参数差为第二阈值；所述参数是距离、亮度或/和色度。
[0035] 优选的，所述成对的特定帧图像是在预设间隔时间段内的一组参数差最小的连续两帧图像。
具体实施方式
[0036] 本实施例的基于数字水印的广告视频识别方法，包括以下步骤：
[0037] 步骤一、嵌入数字水印
[0038] 在原始广告视频图像中找到参数差小于预设的第一阈值A的连续两帧图像作为成对的特定帧图像，并对每对特定帧图像的后一帧图像进行修正使其与前一帧图像的参数差小于或等于预设的第二阈值B，修正后的成对特定帧图像即为数字水印；其中第二阈值B大于或等于0且小于第一阈值，即0≤B＜A，所述参数差为距离差、亮度差或/和色度差。
[0039] 优选的，在原始广告视频中寻找成对的特定帧图像时，在预设间隔时间段内寻找一组参数差最小的连续两帧图像作为成对的特定帧图像，比如每1秒中（或每2秒钟）找一组最相似的连续两帧图像。
[0040] 对每对特定帧图像的后一帧图像进行修正时，如果前、后两帧图像的参数差大于第二阈值B，则将前、后两帧图像的参数进行加权平均后作为后一帧图像的参数值，或者直接修改后一帧图像的参数使其与前一帧图像的参数差为第二阈值（0≤B＜A）。
[0041] 考虑到视频的鲁棒性，视频传输过程中的转码、压缩等过程都不可避免地会去除视频
信号中的高频信息，保留其低频信息，使得
视频帧与帧之间、帧内的信息变得更加平滑。而视频中的水印是人为添加进图像中的信息，
现有技术中往往对帧图像的某部分区域进行修改，则添加的信息属于高频信息，会在传输过程中受到较严重的损伤。
[0042] 为了能够使嵌入的水印具有较好的鲁棒性，提高其抗干扰性能，需要在视频中嵌入比视频本身更低频的信息，本实施例对帧图像进行整体的修改以获取较好的鲁棒性。
[0043] 考虑到水印的隐蔽性，如果对帧图像的整体亮度或
饱和度等信息进行较大幅度修改，视频播放时会造成闪烁现象，因此本实施例在修改帧图像时也需要保持帧图像尽量与之前的原始图像相似。因此，本实施例在整段广告视频中，按一定比例规律选取了多组各种参数差最小的连续两帧图像作为特定帧图像，并对后帧图像进行适度修正（形成动态的数字水印），使前后两帧图像在原本就十分相似的情况下，进一步相似，使两帧图像的参数差小于或等于第二阈值B。
[0044] 由于人眼的视频系统对图像的认知是非均匀和非线性的，并不是对图像中的任何变化都能
感知，这种极其相似连续两帧的适度修正使得图像系数发生极其微小的量化误差，由此引起的图像变化是不能为人眼感知的，在前后两帧连续画面的误差小于一定阈值的前提下，虽然人眼无法感知，但计算机通过特定算法却可以敏感地捕捉出来。
[0045] 于此同时，整段视频在编码、传输、压缩等过程中，无论产生何种干扰，对前后两帧图像的影响应该是基本一致的，也就是说连续两帧图像高相似性的特点是不会受干扰而发生改变的，所以这个高相似的数字水印信息不易丢失，充分满足了鲁棒性的要求。
[0046] 步骤二、生成比对信息特征库
[0047] 首先从作为数字水印的每对特定帧图像提取特征信息，并对该特征信息以较低的采样频率采样后通过Hash运算得到该对特定帧图像的第一比对引导信息；
[0048] 其次对整段广告视频图像逐帧提取特征信息，并对每帧图像的特征信息以较高的采样频率采样得到第一比对详细信息；
[0049] 所述第一比对引导信息和第一比对详细信息作为比对信息特征库；
[0050] 其中每帧图像的特征信息是指通过高斯变换算法从该帧图像中提取出的不随该帧图像的尺寸、颜色、分辨率改变而变化的特征信息，而所有的比对引导信息和比对详细信息组合得到比对信息特征库。特征信息可以是亮度信息或者像素点的位置比例关系信息等。
[0051] 通过高斯变换算法提取特征信息，可以使该特征在视频经过压缩和变换等攻击下依然保持不变，这是现有技术，可参考论文《Distinctive Image Features from Scale-Invariant Keypoints》（作者：David G. Lowe，International Journal of Computer Vision，January 5, 2004），可到http://www.cs.ubc.ca/ lowe/papers/ijcv04.pdf下载。~
[0052] 本实施例充分考虑到数字水印的信息量，对特定帧图像进行修改时，其信息量较少，难以满足视频逐帧图像检测的效果，为了实现视频特征比对的高效与准确性，本方案采取了双重信息的比对信息特征库技术。
[0053] 在广告完成特定帧水印嵌入后，分两步建立比对信息特征库：首先是提取特定帧图像（作为数字水印的帧图像）信息，利用高峰期变换算法从帧图像中提取出不随尺寸、颜色、分辨率等改变而变化的特征，按较低的信息采样量（比如4bit/帧）生成第一引导特征信息，并将该信息作为该段广告特征库的文件名，用于
锁定待检测的视频和对应的特征文件；其次是提取整段广告视频的特征信息，按较大的信息采样量（如16bit/帧）生成第一详细特征信息，存放在对应的文件中，用于逐帧图像详细比对。即，一个特征文件包含双重信息，文件名是第一引导特征信息，信息量比较小，文件内容是每帧的第一详细特征信息，信息量很大，双重信息的比对信息特征库为广告的高效准确提取提供了必要条件。
[0054] 步骤三、检测视频
[0055] 从待检测的视频中提取出所有参数差小于预设第二阈值B的连续两帧图像作为成对的待检测帧图像，如果提取不到所述成对的待检测帧图像，则判定待检测的视频不是广告视频；
[0056] 如果提取到所述成对的待检测帧图像，则执行步骤四；
[0057] 步骤四、通过比对第一引导特征信息进行初筛
[0058] 提取每对所述成对的待检测帧图像的特征信息，并以较低的采样频率采样后通过Hash运算得到所述成对的待检测帧图像的第二比对引导信息，并与比对信息特征库的第一比对引导信息进行对比；
[0059] 如果所述第二比对引导信息与所述比对信息特征库的第一比对引导信息均不一致，则判定所述待检测的视频不是广告视频；
[0060] 如果所述第二比对引导信息与所述第一比对引导信息部分一致，则执行步骤五；
[0061] 步骤五、通过比对第一详细特征信息进行细筛
[0062] 逐帧提取所述待检测视频的每帧图像的特征信息，并以较高的采样频率采样后得到所述每帧图像的第二比对详细信息；
[0063] 如果所述第二比对详细信息与所述第一比对详细信息一致，则判定所述待检测视频是标准广告视频；
[0064] 如果所述第二比对详细信息与所述第一比对详细信息部分一致，则判定所述待检测视频是不完整广告视频；
[0065] 如果所述第二比对详细信息与所述第一比对详细信息完全不一致，则判定所述待检测视频不是广告视频。
[0066] 为了解决广告识别及视频比对大运算量的问题，本实施例提出了广告识别三步递推法，即步骤三至五：通过动态水印判断是否为广告；通过引导特征信息比对初筛可能是什么广告；以及通过逐帧比对详细特征信息确定是什么广告及广告是否完整。本实施例通过循序渐进的三步递推方式，实现固定位置的视频特征比对，有效避免了对整个样本库和整段视频进行反复遍历、逐一进行视频特征比对所需要的巨大运算量，从根本上解决视频比对耗时太大难以实际使用的问题。这也正是本方案的又一个核心思想所在，也是促使视频比对方式能进行商业推广的保证。
[0067] 本发明不局限于上述实施例所述的具体技术方案，除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换形成的技术方案，均为本发明要求的保护范围。
