基于景物变化距离的视听内容中的商业检测

本发明涉及视频数据信号流中特定内容的检测，并且更具体涉及精 确检测商业内容的边界。

ReplayTV(Palo Alto，California的REPLAY NETWORKS，INC.的商 标)和TiVo(Sunnyvale，California的TIVO，Inc.的商标)是新式 “VCR”的代表作，给予电视观众全新的能力来捕捉和操纵来自其电缆 和卫星系统的电视节目流。这些个人电视设备通过改变观看者的频 道、记录使观众感兴趣的节目并且在观众需要时协助观众观看没有商 业内容的记录节目来用作个人辅助设备。

对于检测商业内容(commercials)，具有多种公知的方法。一种 方法是检测伴随着静默的黑色帧(或单色帧)，这可以表示一个商业中 断(break)的起始。如果信号是数字格式，就根据连续块的DC系数 的绝对差之和来检测黑色帧，但是仅在I-帧上检测。这样做的缺点在 于，如果视频数据是利用具有长组图像(GOP)的视频序列来代表的，黑 色帧不是内部编码的并因而来检测到的概率较高。另外，最好是在某 些内容上执行黑色帧检测，但是在内客被复制和编辑之后执行检测就 非常差。这是由于复制-粘贴处理引入的噪声造成的。因而在差的传输 (接收不良，差的天气等等)的情况下很有可能黑色帧检测的效果很 差。而且，依赖于黑色帧的商业检测存在的问题还在于，想避免商业 越过的广播者能够容易地利用其他的东西来替代黑帧分隔符。至少在 法国和荷兰，有些频道已经用篮色帧或白色帧替代了黑色帧。另一种 公知的商业内容指示符是看上去高活动性的填塞物(stemming)或假 设物体在商业内容期间比在广播的特征期间移动更快并且更频繁变 化。

然而，上述现有技术方法在识别商业内容的开始和结束的精确点上 面临许多问题。黑色帧生成虚假的肯定，因为其后面跟随着高动作序 列的黑色帧的任何序列能被错误地判断并作为商业内客而被跳过。因 此，需要提供一种改进的方法和系统来检测商业内客的起始和结束。

本发明涉及用于检测商业中断的方法和设备，以便在重放模式期间 能够跳过检测到的商业内容。

按照本发明的一方面，用于在压缩视频流中检测商业内客的方法包 括以下步骤：压缩视频数据并生成压缩的视频数据；根据生成的压缩 数据检测多个分隔符，每个分隔符利用至少两个连续的景物变化来限 定；通过比较多个分隔符之间的间隙确定在多个分隔符之间的商业中 断的起始和结束。该方法进一步包括以下步骤：在一个分隔符与前一 分隔符之间的间隙小于预定门限值时，识别这一个分隔符为商业中断 的可能结束。确定商业中断的起始和结束的步骤进一步包括以下步 骤：在一个分隔符与前一分隔符之间的间隙大于预定门限值时，识别 这一个分隔符为商业中断的起始。在压缩视频数据中检测多个分隔符 的步骤进一步包括在生成的压缩数据中识别平均的中间绝对差(Mean Absolute Difference)(MAD)值的突然增大。

按照本发明的另一方面，用于在压缩视频流中检测商业内容的方法 包括以下步骤：对从发射源接收的输入视频数据执行编码，以生成压 缩视频数据；在压缩视频数据中检测多个分隔符，多个分隔符各自包 括至少两个按照压缩视频数据的连续景物变化；通过将多个分隔符之 间的间隙与预定门限值进行比较来确定一个商业中断的起始和结束； 在一个分隔符与前一分隔符之间的间隙大于预定门限值，识别这一个 分隔符为商业中断的起始；和在一个分隔符与前一分隔符之间的间隙 小于预定门限值，识别这一个分隔符为商业中断的结束，其中在发射 源上在视频数据中选择地插入多个分隔符。

按照本发明的再一方面，用于在压缩视频流中检测商业内客的设备 包括：视频编码器，用于接收未压缩视频数据和生成压缩视频数据； 检测器，用于检测压缩视频数据中的多个分隔符；处理器，被配置成 通过识别压缩视频数据中商业中断的起始和结束来编辑压缩视频数 据；重放选择器，用于编辑压缩的视频数据，以便为了后续观看而跳 过商业中断；存储器，用于存储具有商业中断的起始和结束的标识的 压缩视频数据；和解码器，用于生成解压缩的视频数据，其中检测器 被编程为识别未压缩视频数据中至少两个景物剪辑(cut)的指示符和 生成在与至少两个景物剪辑的指示符相符的一系列压缩视频数据中位 置的标识符。压缩视频数据包括：存在一系列单色帧的标识符；电视 节目和商业中断之间过渡的标识符；连续商业内容节目之间过渡的标 识符；以及至少两个连续景物剪辑的标识符。压缩视频数据进一步至 少包括以下之一：量化器标度；运动矢量数据；比特率数据；一帧内 亮度的变化量；一帧内彩色的变化量；一帧的总亮度；一帧的总彩色； 帧与帧之间亮度的变化；中间绝时差；和量化器标度。

本领域技术人员结合附图阅读以下的详细说明就能理解这些及其它 优点。

图1表示可以采用本发明实施例的一种硬件系统的方框图；

图2表示按照本发明实施例的系统的一个简化方框图；

图3表示按照本发明在编码处理期间的一系列视频帧的格式；和

图4是表示按照本发明实施例的操作处理的流程图。

在以下的说明中，为了解释而并非限制目的，提出了具体细节描述， 诸如特定结构、接口、技术等等，以便于透彻理解本发明的原理。为 了简明和清楚目的而省略了对公知设备、电路和方法的详细说明，以 免因不必要的细节混淆对本发明的说明。

为了便于理解本发明，将描述有关活动图像专家组(MPEG2)编码的 背景信息。接照MPEG2，利用视频序列代表视频数据，每个序列包括图 像组(GOP)，每个GOP包括描述构成视频的图像或“帧”的数据片。每 个图像被分成多个片段(Slice)，而每个片段由从左到右和从上到下 的成行设置的多个宏块组成。每个宏块由六个分量组成：四个亮度分 量Y1到Y4，代表构成16×16像素的宏块的四个8×8像素块的亮度； 和用于同一宏块的8×8像素块的两个色(U，V)构成差分量Cb和Cr。 最后，一个8×8像素的块是视频编码中的最小单位。

通过将图像划分成16×16像素的宏块，对图像执行MPEG2编码， 每个宏块各自带有一个与之有关的独立的量化器标度值。这些宏块被 进一步划分成8×8像素的独立块。使这些宏块的每个8×8像素块经 历离散余弦变换(DCT)，以便为其中的64个频带各自生成DCT系数。 然后，将8×8像素块中的DCT系数除以对应的编码参数，即，量化权 重。用于一个给定8×8像素块的量化权重是根据一个8×8量化矩阵 的形式来表示的。此后，对DCT系数实施附加计算，以考虑即量化器 标度等各种因素，并从而完成MPEG2编码。应该注意到，在本发明中 也可以采用其它的编码技术，例如，JPEG等等。

在MPEG编码中，码被划分成三种类型：(1)帧内编码的码，限定内 编码的图像为I图像；(2)仅仅根据前一帧预测的帧间编码的码，以构 成作为P图像的预测编码图像；以及(3)根据前帧和后帧预测的帧间编 码的码，以构成作为B图像的双向预测编码图像。I帧或实际的视频参 考帧按周期性编码，即，对于每十五帧之中的每个帧有一个参考帧。 预测是由位于下一参考帧的正向之前的特定数量帧中的一个视频帧即 P帧的合成构成的。预测B帧在I帧和P帧之间，或通过利用未来参考 帧内的一个宏块内插(平均)在过去参考帧中的一个宏块。运动矢量也 被编码，这规定了一个宏块在一个参考帧内相对于在当前帧内宏块的 相对位置。

如上所述，符合国际标准MPEG编码的任何视频数据都能从MPEG编 码中恢复出图像。在编码处理期间，本发明提供了一种用于从视频信 息流中检测商业中断的机制。

现在，将参照附图对本发明加以详细说明。

图1表示可以应用本发明实施例的一种硬件系统的方框图。如图1 所示，本发明的检测系统10适合于从包括电缆服务提供者、数字高清 晰度电视(HDTV)和/或数字标准清晰度电视(SDTV)信号、碟形卫星天 线、常规RF广播、Internet连接或其它存储设备例如VHS播放机或 DVD播放机的各种源接收视频信号流。随同数据信号一起编程的音频/ 视频节目可以按模拟、数字或数字压缩格式通过任何传输手段进行传 送，包括卫星、电缆、线路、电视广播或通过Web发送。Internet连 接可以通过高速线路、RF、常规调制解调器或利用传输电视节目的双 向电缆。应该注意到本发明能够被连接到其它可能的网络，例如直接 的专用网络和无线网络。

图2更具体表示按照本发明实施例的一示例检测系统10。检测系统 10包括输入接口(即，IR传感器)12、MPEG-2编码器14、硬盘驱动器 16、MPEG-2解码器18、控制器20、商业检测器22、视频处理器24、 存储器26和重放部分28。应该注意到，MPEG编码器/解码器可以符合 其它MPEG标准，即，MPEG-1、MPEG-2、MPEG-4和MPEG-7。控制器20 监督控制检测系统10的总体操作，包括检测模式、记录模式、播放模 式和录像机/播放机中常用的其它模式。

在正常观看模式期间，控制器20使输入电视信号由视频处理器24 进行解调和处理并且发送到电视机2。视频处理器24将输入TV信号变 换成适于在电视机2上显示的相应的基带电视信号。此处，输入TV信 号不在硬盘驱动器16中存储或从中进行检索。

在正常记录模式期间，控制器20使MPEG-2编码器14接收从卫星、 电缆、线路和电视广播或网络传送的输入电视信号，并将接收的TV信 号变换成用于在硬盘驱动器16上存储的MPEG格式。此后，控制器20 使硬盘驱动器16将存储的电视信号流动提供(stream)给MPEG-2解 码器，而后者在正常播放模式期间通过重放部分28将待发送的解码的 TV信号发送给电视机2。同时，商业检测器22使用编码参数(在下文 中进行解释)检测商业中断的起始和结束。然后，视频处理器24处理 包括多个商业内容的视频信号流，并将它们存储在存储器26中而无商 业内容，以供后续检索。可选择地，视频处理器24可以标记商业中断 的起始和结束，以便在以后阶段可以跳过这些标记的商业内容分段。 最后，在接收到重放没有商业内容的记录节目的请求时，存储在存储 器26中的节目内容被传送给电视机2，以便通过重放部分28播放。

以下要详细解释从视频信息流中检测商业内容的起始和结束的方 式。

参见图3，在广播一端，由黑色帧(BF)或其它单色帧限定的一个分隔 符通常被用于分隔节目(Pr)与相邻商业内客或分隔连续的商业内容 (Ci)。因此，本发明依赖于这样的事实，即这些帧当中仅有极少数帧 始终被用于分隔商业内容与其周围的内容，并且特别地用于分隔：(1) 一个商业中断内连续的商业内容，(2)一个节目的结束(或中断)与商业 中断的起始，以及(3)一个商业中断的结束与一个节目的起始(或继 续)。因而，本发明利用编码参数而不是商业内容的本质特征来检测商 业中断。除了根据用于在广播端上在连续内容之间“填充编辑间隙” 的帧检测商业中断之外，本发明还采用分隔符Sn，其可以以彼此非常靠 近的两个景物剪辑(以下称为“背对背景物剪辑”，“Sx，n和Sy，n”)为 特征，如图3所示。按照本发明的景物变化检测对每个I，P和B帧进 行，而现有技术的黑色帧检测方法不是这样。现有技术仅仅对I-帧执 行黑色帧的检测。因此，按照本发明的“背对背景物剪辑”的检测应 足够少(即，3-4帧)，以致于能够检测出可能没有包含任何I-帧的小 分隔符。

对于MPEG-2编码，在本发明最佳实施例的各种实施方案中可以使 用任意数量的商用或公众可获得的集成电路(IC)。在这些IC上，专用 编码固件块生成和实时传送MPEG-2编码过程的内部计算参数(以下称 为“低级特征”)。“低级特征”的例子有每帧(I，P，B)的编码模式、 量化器标度、运动矢量数据、比特率数据、一帧内亮度的变化量、一 帧内彩色的变化量、一帧的总亮度、一帧的总彩色、帧与帧之间亮度 的变化、中间绝对差和量化器标度。然后，处理这些“低级特征”以 获得按照本发明可以用于商业检测的“中级特征”。为此，商业检测 器22根据某些“中级特征”生成商业中断的位置，以便存储这些位置， 从而在观看时跳过商业内容。

因此，本发明在各帧上采用“低级特征”来如下提取相应的“中级 特征”：

(1)Pict_Cod_Type(图像编码类型，帧内或帧间)；

(2)Lum_DC_diff(用于相邻块的DC系数的绝对差之和)；以及

(3)MAD_total_UP(中间绝对差(MAD)之和)，这代表原始帧的各块之 间中间绝对差之和，以编码及其相应的运动预测块(仅仅在图像顶上求 和，以避免因小标题变化或经常出现在屏幕底部出现的其它书写/图形 信息引起的预测误差)。

因此，本发明首先检测非常接近的景物变化或商业中断内连续商业 内容之间以及在节目与商业中断之间过渡上的“背对背景物剪辑”。 为此，按照本发明的技术可以采用现有技术中公知的任何景物变化检 测方法。例如，因平均MAD值的突然改变而引起的景物内客突然改变 可以被用作一个指示来检测“背对背景物剪辑”。如上所述，MAD代表 运动预测误差。注意：MAD对应着运动预测误差：如果此误差大，则表 示不能使用来自前一帧的运动预测来预测编码的图像，并且出现景物 剪辑。

也就是说，MPEG编码处理的一部分是从一帧到另一帧的亮度场的运 动估算。这一处理的结果是用于预测编码的实际帧的位移矢量。用MAD 值来代表预测和实际帧之间的误差。在尖锐的景物变化处，几乎很难 找到良好匹配的宏块。因此，在尖锐景物变化处的MAD值要远远大于 平均MAD值。

如果如上所述检测到两个这样的连续景物变化，则可以将其视为(1) 一个商业中断内连续商业内容之间的、或(2)节目与相邻商业中断之间 的分隔符。此后，可以采用用于检测商业中断的起始和结束的一种算 法来如下所述获得商业中断的确切边界。

图4是表示图3中所示的采用分隔符结构检测商业中断的操作步骤 的流程图。本领域的技术人员可以理解，除非另有说明，所述的具体 步骤顺序仅是为了说明，并且无需脱离本发明的原理还可以有所改 变。另外，这些流程图表示本领域技术人员要求的制作电路或编制计 算机软件来执行具体设备所需的处理的功能性信息。

在步骤110，分析编码的每个视频帧，以检测商业中断的起始和结 束。在步骤102，确定是否检测到分隔符或“背对背景物剪辑”。如果 未检测到分隔符，就对于分隔符而分析下一帧。如果检测到分隔符， 则验证检测到的分隔符前面没有另一分隔符，并且检测到的分隔符是 一系列“连续分隔符”中的第一个。如果一个分隔符与前一个的距离 小于特定帧数(对于6的GOP，通常小于50秒)，就认为它们是相连的 分隔符。因此，为了确保检测到的分隔符不是同一商业中断内的中间 分隔符，在步骤104中确定检测到的分隔符与前一检测到的分隔符之 间的帧间隙是否大于第一门限值。由于利用宏块或其它单色帧限定的 分隔符仅会出现在商业中断之间，这比特定节目分段的长度要短得 多，所以该门限值被用于区别一系列“连续分隔符”中的第一分隔符。 如果是这样的话，在步骤106将检测到的分隔符标记为商业中断的起 始。然后，再次分析下一帧。

同样地，如果检测到的分隔符与前一检测到的分隔符之间的帧间隙 在步骤104中小于第一预定门限，则在步骤108中确定检测到的分隔 符是否是商业中断的结束。应该注意到，在检测到商业内客的起始之 后，每个新的分隔符将被标记为可能的商业中断的结束，只应保持其 中的最后一个。为了确定商业中断的结束，在步骤108确定检测到的 分隔符与前一检测到的分隔符之间的帧间隙是否大于第二门限值。如 果是的话，在步骤110将前一检测到的分隔符标记为商业中断的结束。

尽管以上描述了本发明的最佳实施例，但是本领域的技术人员都能 理解，无需脱离本发明的实质范围还能做出各种各样的变更和修改以 及等效的替换。另外，为了适应具体场合和本发明的指导，无需脱离 其核心范围还能做出许多修改。因此，本发明不打算被局限于所公开 的具体实施例和用于实现本发明的最佳模式，并且本发明包括落入权 利要求书范围内的所有实施例。