内容采样和标识

内容采样和标识对相关申请的交叉引用本专利申请在35U.S.C § 119(e)下要求2004年4月19日提交的美国 临时专利申请序列号No. 60/563,372的优先权，其通过引用整体结合于此。技术领域本发明总地涉及标识广播内的内容，并且更具体地涉及标识数据流内 的内容段以便计算何时对来自数据流的数据进行下一采样。背景技术随着工业向富有多媒体的工作环境方向发展，所有形式的音频和视频 内容表示（无线电广播发射、流动视频、音频画布（audio canvas)、视频 汇总等）的使用变得更频繁。不论是用户、内容提供者还是双方，每个人 都搜索最佳地利用该内容的方式。例如， 一种对于创造性使用具有很大潜 力的方法是内容标识。使用户能够标识用户正在听或看的内容为内容提供 者提供了新的成功机会。在广播监视和随后的内容标识的领域中，经常需要在使所花费的努力 最小化的同时标识尽可能多的音频内容。在一示范系统中，来自广播流（如 无线电广播或电视广播）的音频样本被记录，并且每个音频样本被发送到 标识装置，该装置返回该音频样本的内容的标识。还可记下每个音频样本 的记录时间并且随后可以构建广播播放列表，该播放列表列出在所监视的 每个广播通道上广播的音轨。现有监视系统可能对广播流周期性地而不是连续地采样，并且因此可 能对广播流欠采样。在这样的情形下，短持续时间的内容可能根本不被采 样并且可能被整个地遗漏。或者，监视系统可能对广播流过采样，这导致 执行冗余的采样和内容标识，浪费了计算努力。因此，期望一种使采样周

期最佳的方法。 发明内容在这里公开的实施例内，提供了一种用于对音频流分段的方法。该方 法包括接收音频流的样本和该样本的开始时间，以及随后确定样本的轨道 标识和距所标识的轨道的开始的样本的相对时间偏移。该方法还包括使用 相对时间偏移和样本的开始时间计算音频流内所标识的轨道的推断开始时 间。该推断开始时间指示音频流内轨道之间的边界。另一方面，该方法包括接收音频流的样本和每个样本的开始时间，并 且对于每个样本，确定轨道标识和音频流内所标识的轨道的推断开始时间。该方法还包括标识具有基本类似的推断开始时间的样本，以及对具有基本 类似的推断开始时间的样本，验证所述样本也具有匹配的轨道标识。又另一方面，该方法包括接收音频流和从包括来自该音频流的样本的 音频流选择部分音频。该方法还包括确定该样本的轨道标识和计算音频流 内所标识的轨道的推断开始时间和推断结束时间。该方法还包括将推断开 始时间和推断结束时间之间的音频流的一段标记为识别的音频段，并且基 于所识别的音频段的长度计算对音频流采样的下一时间。通过适当参考附图来阅读下面的详细描述，这些以及其他特征、优点 和替选方案将对本领域普通技术人员变得明显。附图说明图1示出用于标识音频流内的内容的系统的一个实例。图2是描绘用于标识广播音频流内的内容的方法的一个实例的流程图。图3概念性地示出用于标识从音频流捕捉的音频的过程的一个实例。 图4是描绘用于存储所标识的轨道的方法的一个实例的流程图。 图5概念性地示出适应性地调整音频流的采样间隔的一个实例。

图6是描绘适应性地调整音频流的采样间隔的方法的一个实例。图7概念性地示出标识从音频流捕捉的音频的过程的另一实例。具体实施方式在下面公开的实施例内，适应性的采样方法用于将广播流（例如无线电广播或电视广播）分段成识别的和未识别的音频段，分别縮写为"RA" 和"NRA"。该方法的适应性在于：在识别或标识音频之后，系统随后可 以基于例如NRA内RA的长度计算何时对广播流进行下一采样。现在参见附图，图1示出用于标识来自广播源的内容的系统的一个实 例。该系统包括无线电站如无线电站102，其可以是例如将音频流和其他 信息播送到接收器104的无线电或电视内容提供者。样本分析器106将监 视所接收的音频流，并且标识关于所述音频流的信息如轨道标识。样本分 析器106包括音频搜索引擎108并且可以例如访问包含音频样本和广播信 息的数据库110，以标识音频流内的轨道。 一旦音频流内的轨道已被标识， 轨道标识就可以被报告给库112，其可以例如是消费者跟踪机构或其他统 计中心。数据库110可以包括许多记录，并且每个记录具有唯一的标识符例如 sound—ID。该数据库自身不必须为每个记录存储音频文件，因为soundjD 可以用于从其他地方检索音频文件。声音数据库索引预期为很大，包含例 如数百万个或甚至数十亿个文件的索引。优选地，新记录被递增地添加到 数据库索引。尽管图1示出了具有给定配置的系统，但该系统内的部件可以以其他 方式布置。例如，音频搜索引擎108可以与样本分析器106分离。因此， 应该理解这里描述的配置本质上仅是示范性的，并且还可以使用许多可替 选的配置。图1的系统、且特别是样本分析器106可以标识音频流内的内容。图 2是描绘用于标识广播音频流内的内容的方法的一个实例的流程图。初始

时，记录广播流，如框202所示，并且将其整体标记为未识别的音频(NRA)， 即每个时间点处的音频内容的标识是未知的，如框204所示。音频流的标 识试图通过创建识别的音频（RA)和未识别的音频（NRA)段来对广播 流分段，并且初始时，在标识该流内的任何音频之前，所有的音频将被看 作NRA。在接收音频之后，从广播流中选择例如几秒持续时间的音频样本，如 框206所示。记下广播流内所选择的音频部分的样本开始时间，如框208 所示。例如，如果样本分析器在2:10pm开始记录音频流，则在该流内， 可以在2:12pm标记处取音频样本。因此，在此实例中，所选择的音频部 分的开始时间被标记为2:12pm。接着，标识所选择的音频部分中的内容，如框210所示，并且使用音 频搜索引擎108确定音频样本的相对时间偏移（距取音频部分的在歌曲中 的时间），如框212所示。该音频搜索引擎可以实施任何公知的标识技术。 在本领域中，公知用于使用音轨的数据库标识音频样本的各种音频样本标 识技术。下面的专利和出版物描述了音频识别技术的可能的实例，并且每 个通过引用整体地结合在这里，如同在此说明书中完整阐述一样。Kenyon等人的美国专利No.4，843,562,标题为"Broadcast InformationClassification System and Method"Kenyon等人的美国专利No.5，210，820,标题为"Signal Recognition System and Method"Haitsma等人的国际公布号WO 02/065782 Al，标题为"Generating and Matching Hashes of Multimedia Content"Wang和Sm他，国际公布号WO 02/11123 A2 ，标题为"System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion" Wang和Culbert，国际公布号WO 03/091990 Al，标题为"Robust and Invariant Audio Pattern Matching"简言之，通过接收信号并且在多个采样点对其采样以产生多个信号值

而开始标识信号。可以使用任何公知的公式如在美国专利No.5，210,820中 提到的公式来计算信号的统计矩。随后将所计算的统计矩与多个所存储的 信号标识相比较，并且所接收的信号被识别为类似于所存储的信号标识之 一。所计算的统计矩可以用于创建量化的特征向量，并且该量化的特征向 量的的加权和被用于访问存储信号标识的存储器。在另一实例中，通常可以通过标识或计算音频样本的特性或指纹并且 将指纹与先前标识的指纹相比较来标识音频内容。计算指纹的样本内的特 定位置依赖于样本内的可再现的点。这样的可再现地可计算的位置被称为 "陆标（landmark)"。样本内陆标的位置可以由样本自身来确定，即依赖 于样本品质，并且该位置是可再现的。即，在每次重复该过程时对相同的 信号计算相同的陆标。陆标机制可以在声音记录的每秒标记大约5-10个陆 标；当然，陆标密度依赖于声音记录内活动的量。公知为Power Norm的一种陆标技术在记录中的每个可能的时间点计 算瞬时功率并且选择局部极大值。 一种执行此技术的方法是通过直接对波 形整流和滤波来计算包络线。另一种方法是计算信号的希耳伯特变换（求 积分)，并且使用原始信号与希耳伯特变换的量值平方的和。还可以使用其 他计算陆标的方法。一旦计算了陆标，就可以在记录中的每个陆标时间点处或其附近计算 指纹。特征与陆标的接近度由所使用的指纹方法所限定。在某些情形中， 如果一特征清楚地对应于一陆标并且不对应于先前的或随后的陆标，则该 特征被看作接近于该陆标。在其他情形中，特征对应于多个相邻的陆标。 指纹通常是概括了记录中的处于或接近该时间点的一组特征的一个值或一 组值。在一个实施例中，每个指纹是单个数字值，其是多个特征的哈希函 数（hashed flmction)。指纹的其他实例包括谱切片指纹、多切片指纹、LPC 系数、倒谱系数以及谱图峰的频率分量。可以通过任何类型的信号的频率分析或数字信号处理来计算指纹。在 一个实例中，为了产生谱切片指纹，在每个陆标时间点附近执行频率分析

以提取最高的几个谱峰。指纹值恰好是最强的谱峰的单个频率值。为了利用许多声音的时间演变，通过将一组时间偏移添加到陆标时间 点而确定一组时间片。在每个作为结果的时间片，计算谱切片指纹。然后 将作为结果的该组指纹信息相组合以形成一个多音调或多切片指纹。每个 多切片指纹比单个谱切片指纹更独特，因为其跟踪时间演变，导致数据库 索引搜索中更少的错误匹配。关于计算音频样本的特性或指纹的更多信息，读者参见授予Wang和 Smith的标题为"System and Methods for Recogning Sound and Music Signals in High Noise and Distortion"的美国专利申请公布号US 2002/0083060，其 整个公开通过引用结合在这里，如同在此说明书中完整阐述一样。因此，音频搜索引擎108将接收音频样本并计算该样本的指纹。音频 搜索引擎108可以通过结合附加的识别引擎来计算指纹。音频搜索引擎108 可以随后访问数据库110以通过产生等同指纹之间的对应将音频样本的指 纹与已知音轨的指纹相匹配，并且具有最大数量的线性相关对应、或其特 性指纹的相对位置最紧密地匹配于音频样本的相同指纹的相对位置的数据 库110中的文件被认为是匹配的媒体文件。即，标识陆标对中的线性对应， 并且根据线性相关的对的数量来给组打分。当在允许的公差内可以用基本 相同的线性等式来描述大数量的对应样本位置和文件位置时，出现线性对 应。具有最高分数即具有最大数量的线性相关对应的组的文件是获胜的文 件。为了确定音频样本的相对时间偏移，可将音频样本的指纹与待与它们 匹配的原始文件的指纹相比较。每个指纹在给定的时间出现，因此在为标 识音频样本而使指纹匹配之后，音频样本的第一指纹和所存储的原始文件 的第一指纹之间的时间差将是音频样本的时间偏移，例如在歌曲中的时间 量。因此，可以确定取样本处的相对时间偏移（例如，在歌曲中67秒）。具体地，为了确定音频样本的相对时间偏移，可以寻找给定分布列表 的陆标点的分布图内具有接近l的斜率的对角线。分布图可以包括水平轴

上的已知声音文件陆标和垂直轴上的未知声音样本陆标（例如来自音频样 本)。斜率大约等于1的对角线在分布图内被标识，其指示利用未知样本给 出此斜率的歌曲与该样本相匹配。水平轴的截距指示样本开始处的在音频文件中的偏移。因此，使用例如如上面讨论的由Wang和Smith公开的标 识方法，产生来自数据库的所标识的内容文件的开始与被分析的音频样本 的开始之间的精确的相对时间偏移，例如用户可记录在歌曲中为67秒的歌 曲的十秒样本。从而，相对时间偏移被记录为标识音频样本的结果（例如 水平轴的截距指示相对时间偏移）。其他用于计算相对时间偏移的方法也是 可以的。因此，除了与所标识的音轨相关联的元数据之外，Wang和Smith技 术还返回距所标识的音轨的开始的音频样本的相对时间偏移。结果，可以 使用标识过程内的另一验证步骤，其中可以使谱图峰对准。因为Wang和 Smith技术产生相对时间偏移，所以有可能例如在时间轴上的约10ms内暂 时使谱图峰记录对准。然后，可以确定匹配时间和频率峰的数量，即，可 用于比较的分数。关于确定相对时间偏移的更多信息，读者参见授予Wang和Smith的 标题为"System and Methods for Recogning Sound and Music Signals in High Noise and Distortion"的美国专利申请公布号US 2002/0083060，其整个公 开通过引用结合于此，如同在此说明书中完全阐述一样。作为标识音频流内的内容的技术的又另一实例，可以分析音频样本以 使用局部化的匹配技术来标识其内容。例如，通常，两个音频样本之间的 关系可以通过首先使从相应样本得到的特定指纹对象相匹配来表征。对每 个音频样本产生一组指纹对象，其每个出现在特定位置。根据相应音频样 本的内容确定每个位置，并且每个指纹对象表征处于或接近相应特定位置 的一个或多个局部特征。接下来对于每对匹配的指纹对象确定相对值。随 后产生相对值的直方图。如果发现有统计意义的峰，则两个音频样本可以 表征为基本匹配。另外，可以确定时间伸长比率，其指示与原始音轨相比

音频样本己被加速或减慢了多少。关于此方法的更详细的解释，读者参见授予Wang和Culbert的标题为"Robust and Invariant Audio Pattern Matching" 的公布的PCT专利申请WO 03/091990，其整个公开通过引用结合于此， 如同在此说明书中完全阐述一样。回到图2，在成功的内容识别（如由上面讨论的任何方法所执行的） 之后，由音频搜索引擎108返回（1)音轨标识、（2)相对时间偏移（例如 所标识的轨道的开始与样本的开始之间的时间）、以及可选的（3)时间伸 长比率（例如实际回放速度与原始主控速度之比）以及（4)置信等级（例 如，系统已正确标识了音频样本的确定程度）。在很多情形中，时间伸长比 率（TSR)可以被忽略或可以假定为1.0，因为TSR通常接近于1。置信等 级可以用于允许关于NRA和RA的分离的缺省公差。可以为了更大的精 确度而考虑TSR和置信等级信息。随后，将相对时间偏移与样本开始时间一起使用以计算推断样本开始 时间，如框214所示。该推断开始时间指示音频流内完整样本的开始时间。 如框216所示，随后完整样本的长度可以通过例如访问数据库110、并且 基于轨道标识查询该长度来确定。使用轨道长度，也可以计算样本的结束 时间，如框218所示。图3概念性地示出了标识从音频流捕捉的音频的过程，如上面参考图 2描述的那样。如所示的那样，所捕捉的音频流初始时被全部标记为"未 识别的音频"。取音频样本并且提交到音频标识引擎108，其包括或访问音 乐轨道数据库（例如数据库110)。随后确定样本的轨道长度、相对时间偏 移和轨道标识。在此实例中，音频被标识为Pink Floyd的一歌曲，标题为 "Dark Side oftheMoon"。使用样本的开始时间和相对时间偏移，"识别的音频"区可以延伸到 所标识的轨道的开始。例如，假定样本的开始时间是2:12pm，并且相对时 间偏移是2分钟。因此，音频样本从在歌曲中2分钟的音轨部分开始，并 且因此轨道的开始时间是在2:10pm。如图3中所示，到该开始的偏移将是2分钟（假定TSR大约是1)。因此，如下面等式l所示，计算音轨开始时间。音轨开始时间=(样本开始时间）一（相对时间偏移）* (时间伸长比率）等式（1)另外，与RA的轨道标识相关联的是从数据库110中检索的轨道长度 数据。使用轨道长度，RA区可以延伸到所标识的轨道的结束。例如，因 为计算了轨道的开始时间，那么轨道的结束时间可以计算为轨道开始时间 加上轨道长度，如下面等式2所示。音轨结束时间=(样本开始时间） 一 （相对时间偏移）* (时间伸长比率） + (轨道长度）* (时间伸长比率） 等式（2)随后由这些推断结束点时间值将音轨归类。例如，音轨开始时间和音 轨结束时间之间的广播流的整个时间间隔被标记为"识别的"并且此外被 标记有如上面所确定的轨道标识，从而将识别的音频段延伸到原始音频样 本之外。结果，广播流现在包含RA段。如果标识尝试不返回结果，那么不可标识的音频样本周围的区可以被 标记为"不可标识的"。然后可以在该不可标识的区的边缘处取音频样本以 尝试寻找例如新"识别的"区的边界。对来自"未识别的"间隔的新音频 样本上的广播流重复该标识和延伸过程，直到没有更多未识别的段保持， 即仅"不可标识的"和"识别的"段保持。不可标识的段可对应于例如非 节目音频如DJ讲话，或不在标识数据库中的音频节目（如音乐）。关于所标识的音频内容的信息可以存储在库112中的文件中并且标识 元数据（例如以ID3格式）可以附到该文件。另外，所标识的音频内容的 出现的时间间隔可以记载到播放列表中，从而可以编辑轨道列表以及对应 的轨道被广播的时间。例如，图4是描绘所标识轨道的存储的流程图。在 确定轨道标识、广播时间和日期之后，如框402所示，信息可以存储在库 112中，如框404所示。包括对应的音轨开始时间和停止时间之间的间隔 的每个识别的音频段可以被拷贝到音乐库文件夹中的对应文件中。库112 可以由任意数量的用户访问以确定例如在特定天已播放什么歌曲。库112中的作为结果的文件可以被标记有标识元数据：例如，文件名 可以是轨道标题和艺术家的组合。可以将指向这样的元数据的指针提供为标记。另外，可以任选地存储每个音频文件，如以类似MP3或AAC的压 縮格式或Real Audio格式。另外，对于每个识别的音频段，ID3标签记录 可以被增加有对应于音轨标识并且被附到音频文件的标识元数据。所述文 件可以显示在轨道列表中以便于用户选择在后面的时间点回放。在将信息记载在库112中之后，创建并存储播放列表，如框406和408 所示。例如，所标识的（例如识别的）时间段的播放列表与对应的标识信 息一起被编辑，并且可以提供给对订阅此信息感兴趣的客户。 一个示范播 放列表在下面的表l中示出。曰期 时间 轨道ID2004-04-03 13:38 pm Turn to Stone2004-04-03 13:47 pm Dark side of the moon2004-04-03 13:53 pm Dust in the wind表格1播放列表信息可以实时地被提供有最小的等待时间，原因在于下面的事实：当接收新的未识别的音频时，可以对到来的音频样本执行标识，导 致已知的未来音轨结束时间，其对应于还没有接收到的音频数据。在一示 范实施例中，待分析的下一音频样本被安排为紧接在当前已知的音轨结束 时间出现之后开始捕捉。因此标识信息可以实时地被提供有例如仅至多几 秒的延迟。通过直接和适应性标识来分段使用上面讨论的方法，广播音频流可以分段成识别的和未识别的音频 部分。可以从该广播流中选择音频样本，以便基于直接和适应性标识技术

来标识。使用直接技术，可以例如以预定的间隔如每30秒或其他周期性的 间隔来取音频样本。但是，为了增大效率，不必要对"识别的"区内的广播流的任何部分 执行进一步的采样和标识步骤。在精确标识的情况下，这样的过采样将是 冗余的。不同于周期性地采样， 一旦样本在音频流内被标识和分段，就可 以将下一采样时间计算为在所标识的样本的时间之外。因此，可以适应性 地将采样周期调整为在所标识的轨道之后的时间。以此方式，可以使采样 密度优化。图5概念性地示出对音频流适应性地釆样。例如，如所示的那样，一 旦轨道已被标识为RA (例如为PinkFloyd的歌曲），就不必要对音频流再 次采样，直到该歌曲结束之后。因此，如图6中所示，在确定所标识的轨 道的长度之后，如框602所示，可以基于轨道的结束时间计算下次采样的 时间，如框604和606所示。另外，正好在轨道的结束点处釆样可能不是 理想的，因为结束点可能包含可能不能被标识的轨道之间的过渡。因此， 可以将下一采样时间计算为在所标识的轨道的结束之后几秒，如图5中所 示。所以，基于对该流中的音频的结构（例如轨道的开始和结束的位置） 的理解，可以适应性地配置采样模式。为了增大标识过程中的确定性，可以取并标识时间上接近的多个样 本，如图7中所示。从同一轨道中取得的多个样本应该产生同一轨道ID。 例如，如图7中所示，多个样本都已被标识为Pink Floyd的歌曲。以此方 式，可以进行多个密集采样并且当轨道ID改变时，可以假定在边界样本 之间已经有节目过渡（即轨道改变)。随后可以使用由匹配样本表示的时间 间隔来对所标识的轨道划界。在使用多个釆样方法的又另一增强中，如果在样本内轨道标识不改 变，则推断音轨开始时间（或等同地，音轨结束时间）应保持基本不变。 从而具有基本类似的音轨开始时间的样本可以组合在一起并且这样的样本 也应该具有相同的轨道标识。这提供了验证标识过程的另一手段。这对于

其中针对一个识别请求返回多个识别结果的情形可能是有用的，并且这可 能有助于确定哪个轨道是实际存在的。当两个或更多轨道包含基于相同源 材料例如扩展的或舞蹈混合的元素时，可以返回多个识别结果。在该情形 中，对于给定样本，由音频搜索引擎返回多个组的{轨道ID、音轨开始时间和为任选的轨道长度}。为了标识轨道，选择最多样本同时出现的轨道标 识和音轨开始时间。在这里公开的任何实施例内的另一方面中，在试图标识内容时，包括不可识别的段的任何剩余的NRA可以被拷贝到对应音频文件中并且被提 交给收听者。收听者可以具有进一步编辑NRA并可能将NRA重新归类为 RA的工具。不能由音频搜索引擎108标识的NRA段是还不在数据库110 中的新音乐发行物的侯选者。因此， 一旦被合适地注释，此分析就表示封 装和提供应随后添加到音频搜索引擎的数据库的可能的新音乐发行物的自 动方法的一个实例。已将许多实施例描述为单独地或与其他实施例相结合地执行，然而可 以一起使用或以任意组合使用任何上述实施例，以增强标识数据流中的样 本的确定性。另外，许多实施例可以使用具有广播流接收装置（如无线电 接收器）和下列装置的客户设备来执行：（1)用于与执行标识步骤的中央 标识服务器通信的数据传输装置，或（2)用于执行构建到客户设备自身中 的标识步骤（例如，音频识别装置数据库可以加载到客户设备上）的装置。 另外，客户设备可以包括用于更新数据库以适应新音轨的标识的装置如到 服务器的以太网或无线数据连接、以及请求数据库更新的装置。客户设备 还可以进一步包括用于存储所识别的被分段和被标记的音轨文件的局部存 储装置，并且如在自动唱机中一样，客户设备可以具有播放列表选择和音 轨回放装置。注意尽管已就完整功能的识别系统和方法而言描述了本申请，但本领 域技术人员将理解，本申请的机制能够以多种形式的指令的计算机可读介 质的形式发布，且本申请同等地适用而与用于实际执行发布的信号承载媒

体的具体类型无关。这样的计算机可访问的设备的实例包括计算机存储器(RAM或ROM)、软盘、CD-ROM以及传输型媒体如数字和模拟通信链 路。尽管已经结合本申请的实施例描述了实例，但本领域技术人员将理 解，可以不脱离本申请的范围和精神而进行变化。例如，尽管实例中描述的广播数据流通常是音频流，但本发明不局限于此，而是可以应用到许多 种广播内容，包括视频、电视或其他多媒体内容。另外，这里描述的设备 和方法可以在硬件、软件、或组合如通过易失的或非易失的存储器运行软 件应用程序的通用或专用处理器中执行。本申请的实际范围和精神由所附 权利要求限定，所附权利要求可以依照前面的内容来解释。