当前的音乐播放器软件具有根据用户收听的音乐而改变的形象 (visualization)。然而，这些形象既抽象又无个性。
将希望提供音乐报警的形象。具体是电话铃音的形象。
定义
图像的‘修改’意味着向用户呈现的图像中至少一部分的外观的 明显改变。它不包括尺度改变或裁剪。

根据本发明的一个实施例，提供一种创建用于与音乐报警同步 显示的视频序列的方法，包括：选择一个或者多个图像；根据用于 音乐报警的音乐元数据来修改一个或者多个所选图像以创建视频序 列，其中修改的范围和/或类型依赖于音乐元数据；以及与音乐报警 一起播放视频序列。
根据本发明的另一实施例，提供一种用于与音乐报警同步显示 视频序列的电子设备，包括：用于分析音乐报警以获得音乐元数据 的装置；用于选择一个或者多个图像的装置；用于根据音乐元数据 来修改一个或者多个所选图像以创建视频序列的装置，其中修改的 范围和/或类型依赖于音乐元数据；以及用于与音乐报警一起播放视 频序列的装置。
与音乐元数据有关的修改提供了视频可以随音乐而改变节奏和/ 或视频可以具有与音乐关联的‘情绪’的优点。
对一个或者多个图像的选择实现了个性化视频的创建。
一个或者多个图像可以选自于个性化图像集。这提供音乐报警 的个性化形象。
个性化图像集可以包括用于除视频序列创建之外的一个或者多 个目的由用户捕获的图像和由用户选择的图像。
一个或者多个图像的选择可以依赖于音乐元数据。如果设备是 电话而音乐报警是铃音，则对一个或者多个图像的选择可以依赖于 电话呼叫者的身份。
根据本发明的又一实施例，提供一种创建用于与音频报警同步 显示的视频序列的方法，包括：选择一个或者多个图像；根据用于 音频报警的音频元数据来修改一个或者多个所选图像以创建视频序 列，其中修改的范围和/或类型依赖于音频元数据；以及与音频报警 一起播放视频序列。
附图说明
为了更好理解本发明，现在将仅通过例子对附图进行参照，在 附图中：
图1A示意地图示了产生音乐报警的电子设备而图1B示意地图 示了设备的操作；
图2A是用于分析音乐报警(铃音)的方法的示例；
图2B示意地图示了联系人数据库中的条目；
图2C图示了视频创建的方法70；
图3A-3D图示了对图像的修改；以及
图4图示了用于控制与音乐报警一起播放视频的方法。

图1A示意地图示了产生音乐报警的电子设备10。所示特定电 子设备10是移动蜂窝电话，但是这仅为许多不同类型的适当电子设 备的一个例子。
移动蜂窝电话10包括处理器2、存储器12、显示器8、用户输 入机构4如例如键盘、操纵杆、触屏等、音频输出机构6如扬声器、 耳机等和用于在蜂窝电话网络中通信的蜂窝无线收发器14。仅图示 以下描述所必需的部件。移动蜂窝电话可以具有附加部件。
处理器2被布置用以向存储器12写入和从存储器12读取。它 被连接用以从用户输入机构4接收用户输入命令以及向音频输出设 备6并且单独向显示器8提供输出命令。处理器2被连接用以从蜂 窝无线收发器14接收数据以及将数据提供给蜂窝收发器14用于发 送。
存储器12在这一例子中存储联系人数据库20、音乐报警(铃音) 22、在第一存储器位置的图像24A、在第二存储器位置的图像24B、 音乐播放器软件部件30、音乐分析器软件部件32、联系人管理软件 部件34、视频创建软件部件36和视频回放软件部件38。
虽然存储器在图中图示为单个实体，但是它可以是多个分离存 储器，其中一些存储器可以是可拆卸的，比如SD存储卡等。
软件部件在加载到处理器中时控制电子设备10的操作。软件部 件提供使电子设备10能够执行图2A、图2C和图4中所示方法的逻 辑和例程。
软件部件可以经由电磁载波信号到达电子设备10或者可以从物 理实体如计算机程序产品、存储器设备或者记录介质如CD-ROM或 者DVD来复制。
图1B将设备10的操作示意地图示为功能块的系统，该系统包 括操作系统块40、铃音播放器块(由音乐播放器软件部件30提供)、 铃音分析器块(由音乐分析器软件部件32提供)和形象化器块(由 视频创建软件部件36和视频回放软件部件38提供)。
操作系统块40是指移动电话的操作系统中负责与蜂窝无线收发 器14通信、访问联系人数据库20、音乐报警22等和控制显示器8 的那些部分。
当呼入到达时，操作系统块40将铃音22加载到铃音播放器块 30和铃音分析器块32。
音乐播放器部件30可以是任何音乐播放器，比如MIDI合成器、 MP3或者AAC播放器等。它控制由音频输出设备6输出的声音。
音乐分析器部件32用来针对比如音调、能量、拍子和出现某些 乐器这样的相关音乐特征来分析铃音。特征列表依赖于所用音频格 式。
铃音分析器块和铃音播放器块相互独立。如果设备10具有足够 处理能力，则可以实时完成分析。如果设备10太慢，则可以更早一 点开始分析或者可以预先完成分析。在预先分析的情况下，将分析 结果存储为与用于铃音的音频文件22关联的元数据。
形象化器块控制对用于形象化的图像进行的选择、修改和转变。 选择和修改依赖于从操作系统接收的但是由铃音分析器块产生的音 乐元数据。
图2A是用于分析音乐报警(铃音)的方法的示例。音乐分析器 软件部件32在步骤50加载到处理器2中。处理器2然后在步骤52 从存储器12读取音乐报警数据结构22，比如MP3文件。在步骤54， 音乐分析器软件分析音乐报警(铃音)22的音乐而在步骤56产生记 录音乐属性如拍子、音调、能量的音乐元数据作为输出。
音乐元数据可以针对音乐报警中所用多种乐器中的各种乐器记 录这些属性并且它根本可以记录它们如何随时间而变化。
从分析的观点来看，音乐报警(铃音)格式可以分成两个主要 类别：合成(即符号)音频如MIDI和数字(即非符号)音频如MP3、 AAC、Wave等。
MIDI符号音频格式具有十六个不同通道而各通道可以一次指代 一种乐器。因此有可能获得与歌曲的任何音乐参数有关的具体信息。
音乐分析器部件32可以检测任何MIDI事件，例如它可以检测 何时出现任一如下情形：
·设置或者改变歌曲的拍子；
·同时播放某一数目的音符；
·播放某个音调(即C3)；
·选择或者播放某种乐器。
任何MIDI事件都可以作为音乐元数据发送到系统的操作系统 块并且因此用来控制形象化器块。
如果MP3 ID3元数据可用，则也可以提取和产生音乐流派作为 供形象化器使用的音乐元数据。
MP3、AAC等不是符号音频格式，而用于这些音频格式的分析 方法不同于符号音频的分析方法并且需要更多处理器资源。可能不 能实时执行这一分析。
一些特征易于从符号音频中提取而难以从采样音频中提取。在 压缩的采样音频如MP3或者AAC的情况下，分析器可以将音频解 码成PCM格式使得同一分析方法集可以应用于不同音频压缩格式。 另一替代方式是在压缩域中进行音频分析，例如存在节拍检测方法 (Wang，Vilermo的“System and method for compressed domain beat detection in audio bitstreams”，美国专利申请2002/0178012 A1)。
从信号中检测音调是复杂的问题。存在单通道音调检测算法。 用于采样音频的单通道音调检测算法的例子是：A.de Cheveigne和 H.Kawahara的“YIN，a fundamental frequency estimator for speech and music”，J.Acoust.Soc.Am.第111卷第1917-1930页，2002年4月。 多通道音调检测的例子：Matti P.和Anssi Klapuri的 “POLYPHONIC MUSIC TRANSCRIPTION USING NOTE EVENT MODELING”，Proc.IEEE Workshop on Applications of Signal Processing to Audio and Acoustics，2005年10月16-19日，New Paltz， New York。虽然不可能获得从多通道音乐剪辑中估计的所有音调， 但是这种方法可以用来分析主旋律。虽然对于主旋律的估计可能由 于瞬态声音(鼓声)使估计有困难而有噪声和出错，但是如果估计 用来控制视觉效果则这可以不成问题，因为即使估计并不绝对正确 但是结果可以看起来很好。如果音调估计器产生乱真和有噪声的音 调估计，则系统也可以将例如低通滤波应用于音调估计来使它们改 变没有那么频繁。
可以检测和产生音调和音调变化作为供形象化器块使用的音乐 元数据。
可以使用节拍跟踪算法来计算数字音频的拍子，比如在  J.的TUT 2001年M.Sc.论文Computational models of musical meter recognition中呈现的算法。可以产生拍子作为供形象化器块使 用的音乐元数据。
滤波器组可以用来将音乐频谱分成N个频带并且分析各频带中 的能量。作为例子，可以检测和产生不同频带中的能量和能量变化 作为供形象化器块使用的音乐元数据。
音乐元数据可以标识不同乐器。Essid、Richard和David在2005 年Proc.IEEE Int.Conference on Acoustics，Speech，and Signal Processing中的“Instrument Recognition in polyphonic music”提供一种 用于识别存在不同乐器的方法。
音乐元数据可以标识音乐和声以及声调：Gomez，Herrera在2004 年6月17-19日英国伦敦AES 25th International Conference中的 “Automatic Extraction of Tonal Metadata from Polyphonic Audio Recordings”提供一种用于标识音乐和声以及声调的方法。
音乐元数据可以标识音乐流派。存在根据采样音乐自动对音乐 流派分类的方法，例如“Musical Genre Classification of Audio Signals” George Tzanetakis和Perry Cook IEEE Transaction on Speech and Audio Processing，10(5)，2002年7月。
音乐元数据可以标识音乐调子。从采样音频中发现调子的例子 是 Izmirli：“An Algorithm for audio key finding”，ISMIR 2005 (6th International Conference on Music Information Retrieval London， UK，2005年9月11-15日)。
其它音乐元数据可以包括音乐情绪(快乐/中性/悲伤)、情感(温 柔/中性/盛气凌人)、复杂性和嗓音内容(嗓音比对乐器)、拍子类 别(缓慢、快速、很快、改变的)。例如在以下文献中评价了用以 提取这种元数据的方法和特征：Tim Pohle，Elias Pampalk和Gerhard Widmer的“EVALUATION OF FREQUENTLY USED AUDIO FEATURES FOR CLASSIFICATION MUSIC INTO PERCEPTUAL CATEGORIES”，Proceedings of the Fourth International Workshop on Content-Based Multimedia Indexing(CBMI’05)，Riga，Latvia，6月 21-23日。
图2B示意地图示了联系人数据库20中的条目60。联系人数据 库具有多个条目。通常，条目用于单个联系人，比如朋友或者某人 的家庭成员。条目包括提供联系人信息和可能提供关于联系人的其 它信息的多个项目62。项目通常例如包括姓名62A、联系人电话号 码62B、联系人地址等。联系人条目可以存储为数据结构，该数据 结构包含或者引用提供联系人项目的其它数据结构。
联系人条目内的‘铃音’项目62C可以允许用户指定当这一联系 人给用户打电话时用来向用户报警的特定音乐报警。该项目可以例 如引用音乐报警文件22。
在电话网络中，当始发终端呼叫目的地终端时将始发终端的电 话号码发送到目的地终端是普遍做法。因此可以在生成用于呼入的 报警时向目的地终端的用户呈现始发终端的电话号码。这一特征常 常称为‘呼叫线识别’(CLI)。联系人条目60内电话号码62B与音 乐报警62C之间的关联允许目的地终端使用经由CLI接收的所标识 的始发终端的电话号码来访问和播放联系人条目60内与该电话号码 62B关联的音乐报警62C。
根据本发明的一个实施例，在联系人条目内也提供用于指定一 个或者多个图像的一个或者多个图像项目62D。指定的图像可以是 视频剪辑和/或图片和/或图形文件。联系人条目内电话号码与一个或 者多个指定图像之间的关联允许目的地终端使用经由CLI接收的始 发终端的电话号码来访问也包括始发终端的电话号码62B的该联系 人条目的项目62D中指定的图像。
图2C图示了视频创建的方法70。形象化器块36、38可操作用 以根据铃音分析器块32所产生的音乐元数据74来选择、修改和转 变一个或者多个图像。形象化器块创建可以在显示器8上播放和/或 在存储器12中存储的视频76作为输出。输出视频可以例如存储为 联系人条目60的图像项目62D。无论该联系人何时给用户打电话， 视频因此将随同铃音一起播放。
在视频76中表现的一个或者多个图像选自于图像集。图像集是 包括用户为了个人使用而已经捕获或者选择的图像(比如空闲屏幕 中的背景图像)的个性化图像集合。图像可以位于各种存储器位置， 比如位于捕获图像图库中，或者存储为联系人条目的图像项目62D。 图像可以例如是来自视频剪辑的图片或者帧。
用户也可以选择图像集合中的哪些图像可以用作个性化集。图 像集也可以以依赖于从音乐分析器接收的音乐元数据和/或其它背景 信息，比如电话呼叫者的身份。
音乐元数据74可以影响从图像集中选择一个或者多个图像。
例如，如果音乐元数据表明音乐报警属于重金属流派，则形象 化器块从图像集中选择色调更深的一个或者多个图像。而如果音乐 元数据表明音乐报警属于心情更轻松的流派，比如宴会时间爵士， 则形象化器块从图像集中选择色调更浅和/或更富于色彩的一个或者 多个图像。
取代了颜色或者亮度，流派也可以映射到其它视觉特征，比如 图像的复杂性(大量/少数区域、线条等)。
如果选择多个图像，则形象化器可以对图像排序。例如，如果 铃音缓慢而平和地开始但是发展为在结束时很强烈，则可以选择图 像使得先显示明亮图像而在结束时显示黯淡图像。
可以处理所选一个或者多个图像以修改它/它们。该修改是基于 从音乐分析器接收的音乐元数据74。例如，修改可以是音调、能量、 拍子(作为整体或者涉及某些乐器)中任意一个或者多个的值或者 变化结果。
音乐元数据74可以限定修改的量和/或类型。图像的‘修改’意味 着向用户呈现的图像中至少一部分的外观的显著变化。它不包括尺 度改变和裁剪。
作为例子，在呼入的情况下，呼叫人的图像可以在显示器8上 显示并且按铃音音乐的拍子而旋转。图像与节拍同步旋转，如图3A 中所示。
作为另一例子，在呼入的情况下，呼叫人的图像可以晃动或者 起伏。当作用在扬声器上时，在低频频带中预定阈值以上的节拍或 者能量值也可以用来以与水在玻璃杯中起伏相似的方式晃动图像。 在图3B中图示了这一点。
作为另一例子，在呼入的情况下，呼叫人的图像可以根据音乐 元数据74来着色。在音乐分析器块中分析来自不同频带的音频信号 能量并且所得音乐元数据74由形象化器块用来强调图像的某些色元 素。例如，低频(直至例如400Hz)能量调整图像的蓝色饱和量， 中频(例如从400Hz到3000Hz)能量调整红色饱和量，而高频(3000Hz 和以上)能量调整绿色饱和量。无论音乐的频率内容何时改变都可 以使图像随音乐报警的节奏而富于色彩地闪烁并且一般改变它的颜 色。
作为另一例子，在呼入的情况下，呼叫人的图像可以根据音乐 流派来着色。关于流派和拍子的信息可以由音乐分析器块提取而由 形象化器块使用。更缓慢和更具环境性的流派可以导致具有浅颜色 的更亮图像，而快速和沉重的音乐可以导致更暗的颜色。映射例如 可以如下所示：
·沉重、盛气凌人、快速等音乐->黑色、黯淡图像
·缓慢、放松、环境、经典等音乐->白色、黄色、浅色、亮色
·蓝调音乐->蓝色
·乡村音乐->绿色
·早期爵士、灵魂音乐->棕色
·华丽摇滚->粉色
·其它。
作为另一例子，在呼入的情况下，呼叫人的图像可以根据音乐 元数据74而涡旋。在音乐元数据中标识的(某一频率范围的)音频 信号的能量值可以用来涡旋图像。如图4D中所示，能量越多，所施 加的涡旋就越大。
上述例子修改已经施加到整个图像。然而，修改在一些实施例 中可以仅施加到图像的一部分。例如，可以对图像过滤以标识图像 中具有预定特征(例如颜色)的部分并且可以修改这些标识的部分。 用户可以能够限定预定特征或者可选地标识用于修改的部分。
可以通过直接剪切或者使用其它技术来转变各种图像，这些技 术比如是可以与音乐同步的交叉衰落式转变、变形和图像扩张。
图4图示了用于控制与音乐报警一起播放视频的方法80。
在步骤82，使用CLI来提取呼入者的电话号码。
接着在步骤84，在联系人数据库20中搜寻包含与标识的电话号 码对应的电话号码项目62B的联系人条目60。如果存在这样的联系 人条目，则该过程进行步骤90。如果不存在这样的联系人条目，则 该过程进行到步骤86。
在步骤86，加载默认音乐报警并且加载默认图像集。该过程然 后进行到步骤94。
在步骤90，搜索所找到的联系人条目以标识关联音乐报警。如 果找到音乐报警，则该过程进行到步骤92，否则在步骤88加载默认 音乐报警而该过程继续到步骤94。
在步骤92，搜索所找到的联系人条目以标识关联视频76。如果 找到这样的视频，则该过程进行到播放视频的步骤120，否则该过程 进行到步骤94。
在步骤94，检查音乐报警以确认它是否已经具有与它关联的音 乐元数据74。如果它具有与它关联的音乐元数据74，则该过程进行 到步骤98。如果它没有与它关联的音乐元数据74，则该过程进行到 步骤96，其中如先前参照图2A描述的那样由铃音分析块分析音乐 报警。与音乐报警关联地存储所得音乐元数据。
在步骤98，该过程检查就这一联系人而言是否存在图像集。如 果存在图像集则该过程进行到步骤102，而如果不存在图像集则该过 程进行到步骤100。
在步骤100，生成图像集。图像集优选地基于个人图像，即用户 捕获或者选择的图像。图像集也可以基于呼叫者的身份和/或音乐元 数据74。在生成图像集之后，该过程进行到步骤102。
在步骤102，如先前参照图2C描述的那样由形象化器块使用图 像集来创建视频。向一个或者多个图像施加的修改的范围和类型可 以依赖于音乐元数据和/或呼叫者的身份。
然后在步骤120在显示器8中播放所产生的视频76。视频也可 以根据用户的选择而存储于用于呼叫者的联系人条目60(如果有) 中备用。
虽然参照各种例子在前述段落中描述了本发明的实施例，但是 应当认识到可以在不脱离要求保护的本发明范围的情况下做出对所 给例子的修改。
例如，虽然上述实施例描述了如在电子设备进行的为了获得元 数据而对音乐报警的分析，但是在其它实施例中音乐元数据可以由 第三方创建并且传送到电子设备。在这一情况下，电子设备并非必 须能够分析音乐报警。一些例子情形是在PC上而不是在移动设备上 分析音乐报警但是将音乐报警随用于音乐报警的文件一起传送到移 动设备；音乐报警在音乐服务的服务器上被分析、然后附加到用于 音乐报警的文件、并且该组合被下载到电子设备；电子设备的用户 通过将标识信息发送到服务器、然后该服务器为音乐报警的歌曲找 到恰当元数据来下载用于现有音乐报警的音乐元数据。
在所给例子中的音乐元数据已经通过计算机分析来自动产生。 然而，从音乐服务或者铃音销售商递送的元数据可以由人类专家评 注而不是通过自动分析来生成。另外，电子设备的用户可以例如通 过将流派标签或者情绪信息添加到电子设备中存储的音乐报警文件 来评注音乐元数据本身。
虽然已经参照音乐报警描述了本发明的实施例，但是报警并非 必然是音乐而可以是任何人类可听报警形式，比如声效如动物叫声、 机器噪声等。当使用音频报警时，可以引入预分析阶段，其中先标 识音频报警类型，例如音乐、语音、动物叫声等，然后使用针对该 类型而优化的分析方法使得所生成的元数据依赖于音频报警类型。 可以针对音频元数据来分析非音乐音频采样，比如：如从语音识别 领域已知的使用滤波器组能量或者梅尔频率对数倒频谱系数的频率 内容或者MPEG-7低级音频描述符。例如，如果测量狗吠噪声的能 量，则该能量可以用来控制图像中的起伏效果。高频鸟叫可以选择 明亮图像，熊的低频吼叫或者机器声可以选择更暗图像。如果采样 的音调用来控制色饱和度，则在高频鸟叫期间显示的图像看起来与 猫叫或者熊叫时不同。如果铃音是语音采样，则将语音的能量或者 频谱内容映射到图像效果可以使图像例如按发出的语音的速度而起 伏。
虽然主要在用于电话的铃音应用中已经描述了音乐报警，但是 应当理解它也可以是日历应用中的约会报警、报警闹钟等。为报警 而选择的图像在这些情形下也可以依赖于约会的性质等。
尽管在前述说明书中着力将注意力引向被认为特别重要的本发 明的那些特征，但是应当理解申请人对于至此提及的和/或在附图中 示出的任何可授予专利的特征或者特征组合无论是否已经对之加以 强调都要求获得保护。