技术领域
[0001] 本
发明涉及基于内容的音乐
信息检索领域，特别是涉及一种基于匹配追踪的音乐速 度谱图生成方法。
背景技术
[0002] 一、本发明相关概念和应用领域
[0003] 音乐进行的快慢是音乐速度(tempo)，现代音乐中通常以“拍每分钟”(beats per minute,简称bpm)来作为速度的度量，比如音乐速度标记 表示该音乐的速度是每分 钟120个四分音符，也就是每个四分音符的时值占0.5秒，bmp值越大，速度越快。
[0004] 音乐速度和音乐的
节拍、节奏等密切相关，是音乐的重要特征之一。在音乐信息检 索领域，速度估计是指基于音乐的内容，从mp3、wav等形式的，含音乐
信号波形的文件出发 估计音乐的行进速度。速度估计本身是一个具有挑战性的重要课题，同时又是音乐节拍
感知、 音乐节奏识别、音乐类型识别、音乐结构分析等研究方向的
基础工作。例如，在音乐节拍感 知过程中，往往需要先估计音乐速度，然后根据速度进行节拍类型和节拍结构的推断；又比 如在音乐类型识别中，节奏和速度可作为识别类型的一种显著特征。
[0005] 音乐速度在音乐行进过程中是不断变化的，变化的一种原因是由于音乐乐曲被创作 时本身就是要求变化的，然而这种形式的变化次数在一首乐曲中一般不大，很多音乐甚至不 发生变化；另一种原因是演奏或演唱的误差产生的，这种形式的变化难以避免，一般存在于 音乐的所有部分。因此，估计音乐速度实际上是需要估计各时点的速度值。由于存在连音和 休止符等现象，音乐速度模糊难辨；同时，速度又存在误差，因此各时点的速度实际上可看 成是多个速度分量组成的向量。一首音乐各时点的速度，可以用音乐速度谱图(tempogram) 来进行描述。音乐的节拍
跟踪、节奏识别、类型识别等应用均可借助音乐速度谱图，提取有 用信息。
[0006] 二、音乐速度谱图的现有生成技术和过程
[0007] 音乐速度谱图的生成过程一般分成两个阶段，第一阶段是音符起始点检测函数(note onset detection function)生成阶段，音符起始点是指音乐中每个音符开始演奏或演唱的 那一刻，有的文献如[1]这一阶段称之为新颖曲线(Novelty Curve)生成；第二阶段是谱图 生成过程。
[0008] 第一阶段主要包括信号变换、特征提取、起始点检测函数生成等几个部分，信号变 换目的是用信号变换的方法把音乐波形信号从一维的高频数据转换为低频表示。一般是先对 信号分
帧，然后对每帧信号进行信号变换，信号变换方法包括短时
傅立叶变换(Short Time Fourier Transform,简称STFT)、
小波变换(Wavelet Transform,简称WT)等。特征提取是从 前一阶段的信号低频表示中，提取时域、频域、以及时频表示等特征。时域特征典型的如幅 度包络特征，
频域特征如谱
波动特征(Spectral Flux)和频域
能量特征等，时频表示特征主要 是基于小波变换或Cohen类时频分布的特征表示。起始点检测函数生成是根据每帧信号提取 的特征计算前后帧的变化情况，音符起始点一般存在于前后帧正向变化突然增大的情况中。 典型的音符起始点检测函数生成过程可参考文献[1]。
[0009] 第二阶段是根据前一阶段音符起始点检测函数的值，提取周期特性，形成音乐速度 谱图。这一阶段目前主要的方法包括自相关函数法(Autocorrelation Function，简称ACF)、 傅立叶变换法(Fourier Transform,简称FT)两种[1]。
[0010] ACF是通过对音符起始点检测函数
加窗并进行自相关计算，根据延迟提取音符起始 点的周期性，并将延迟转换成音乐速度度量，从而形成音乐速度谱图。其计算公式为[1]：A(t,l)＝∑n∈Zo(n)o(n+l)W(n-t)/(2N+1-l) (1.1)
其中t,n为离散时间，取l＝1...N为延迟，o(n)为音符起始点检测函数，W(n)为中心点是t＝0,支 撑为[-N,N]的矩形窗。设fs为o(n)的抽样
频率，则延迟l对应的周期为l/fs，频率为fs/l，对应 的音乐速度τ＝60*fs/l。
[0011] FT方法是对音符起始点检测函数进行加窗傅立叶变换，求得频域特性，并将频域度 量转换成音乐速度度量，从而形成音乐速度谱图。其计算公式为：F(t,ω)＝∑n∈Zo(n)W(n-t)e-2πiωn (1.2)
其中t,n为离散时间，ω为频率，o(n)为音符起始点检测函数，W(n)为中心点是t＝0,
支撑为[-N,N] 的汉宁窗。对于ω，目前有两种方法确定，一种是根据文献[2]的
离散傅立叶变换法(Discrete Fourier Transform,简称DFT)，将ω＞0离散化为N个频点，间隔为fs/NHz；
另一种是 类似文献[1]做法，取ω＝τ/60Hz，τ∈[30,480]bpm为常用音乐速度范围，并利用上述公式计算 各时点ω对应的系数。
[0013] 本发明的成果体现在音乐速度谱图生成的第二阶段。为说明现有技术的不足，引入 音乐速度
分辨率和音乐速度谱图稀疏性两个概念，并分别加以说明。音乐速度分辨率，这里 借鉴领域的频率分辨率，用音乐速度谱图中速度分量的两个相邻有效点的间隔大小来表示， 间隔越大，速度分辨率越差。音乐速度谱图稀疏性指所有谱图系数中的非零元素的个数，非 零元素个数少，其稀疏性强，辨析度好。
[0014] 1、现有技术无法满足常用音乐速度对速度分辨率的要求
[0015] 音乐速度分辨率和谱图中两个相邻有效点的间隔呈反方向变化，间隔越大分辨率越 差，反之，间隔越小则越好。
[0016] 考察ACF方法中速度分量的前后两点之差为 这说明速 度间隔随着延迟增大而减小，延迟越大，速度分辨率越高，也就是速度分辨率随速度增大而 增大。我们按文献[1]取fs＝1/0.023＝43.5,当l＝51(τ＝51.2)时，Δτ＝0.98，当l＜51时，速度的 分辨率均小于1，当l＝21(τ＝124.2)时，Δτ＝5.6，此时已经不能分辨常用音乐的速度(τ∈[30,480])， 更不用说l＜21的情况了。而要使Δτ最大值(n＝1时)小于1，fs需小于1/30,也就是第一阶段 分帧时帧长要大于30秒，那么音符起始点的误差也将是大于等于
30秒，这显然不可行，因 此，对ACF来说，音乐速度分辨率不恒定，在音乐速度大于51bpm时，分辨率低于1，不能 满足常用音乐速度的分辨率。
[0017] 考察文献[2]中的DFT方法，速度间隔为60*fs/Nbpm，按fs＝1/0.023＝43.5计算，如 果要达到1bpm的音乐速度分辨率，需N≥fs*60＝2610，而这样一个长度的窗口时长为60秒， 目前大部分音乐是在300秒以下，因此，窗口长度要求和一般音乐长度不相适应。要提高速 度分辨率，另外一种方法是减小fs，而这和o(n)的
精度要求矛盾，因此是不可行的。
[0018] 考察文献[1]的FT方法，这种方法实际上是对音乐信号加窗后，通过计算离散时间傅 立叶变换(Discrete Time Fourier Transform,简称DTFT)的方法计算常用音乐速度对应的 频率ω的系数，这种方法实际上只是对ω在离散点上进行近似抽样，其实际频率分辨率并没 有得到提升。
[0019] 综上所述，现有技术无法满足常用音乐速度对速度分辨率的要求，也就是生成的音乐 速度谱图的部分区域将模糊不清。
[0020] 2、现有技术生成的音乐速度谱图稀疏性不够好
[0021] 音乐速度谱图稀疏性越强，其辨析度就越好。从另外一方面说，谱图稀疏性强说明谱 图能量集中，性质好，应用效果好。
[0022] 对ACF方法，在音乐速度超过51bpm时，其分量系数在正常精度(比如1bpm)下，需 通过插值方法计算系数，必然造成稀疏性下降。而对FT方法来说，由于
频谱泄露和分辨率问 题的存在，频域系数的稀疏性显然同样要下降。因此，现有技术生成的音乐速度谱图稀疏性 不够好，能量集中度差。
[0023] 综上所述，现有技术生成的音乐速度谱图在分辨率和稀疏性方面，存在
缺陷，而利用 本发明可生成分辨率更高，稀疏性更好的音乐速度谱图。本
专利所用参考文献如下：1.P.Grosche,M.Müller,F.Kurth.Cyclic tempogram—a mid-level tempo representation for musicsignals[C]. in Acoustics Speech and Signal Processing(ICASSP),2010IEEE International Conference on.2010:IEEE.
2.G.Peeters.Time variable Tempo Detection and beat Marking[C].in ICMC.2005.
3.MIREX.MIREX音乐测试数据集.
http://www.music-ir.org/evaluation/MIREX/data/2006/tempo/tempo_train_
2006.zip.2017.
发明内容
[0024] 本发明的目的是为了克服现有技术生成的音乐速度谱图分辨率和稀疏性的不足问题， 提供一种基于匹配追踪的音乐速度谱图生成方法。
[0025] 为解决上述技术问题，本发明采用的技术方案是：1、输入音乐信号，生成音符起始点检测函数o(n)；
2、对o(n)分帧，形成若干帧信号；
3、取常用音乐速度区间，按一定音乐速度分辨率，把速度集合转换成频率集合；
4、对频率集合中的每一频率，创建一个对应的母
原子；
5、按一定粒度对所有母原子进行移位操作，每移动一步生成一个原子，把这些移动生成 的原子连同母原子一起组成该母原子对应的频率的原子集合；
6、把频率集合中所有频率对应的原子集合组装成冗余字典；
7、对o(n)的每一帧信号，运用冗余字典，进行匹配追踪，循环一定次数，生成一系列分 解系数和对应的原子；
8、根据冗余字典中原子和音乐速度的关系，把o(n)的每一帧信号的分解系数，归属于某 一音乐速度的系数；
9、合并每帧信号的音乐速度谱向量，组成音乐速度谱图。
[0025] 本发明的有益效果：
[0026] 本发明的特点是基于冗余字典的匹配追踪
算法，生成音乐速度谱图。其有益效果在于 生成谱图的良好分辨率和稀疏特性。
[0027] 本发明良好的分辨率得益于冗余字典中原子的灵活设置，可根据音乐速度分辨率需求 生成更高分辨率的原子组成冗余字典，从而使谱图的分辨率更高。图2-图4是使用音乐信息 检索交流评比中心(Music Information Retrieval Evaluation eXchange，简称MIREX)的 测试数据集[3]中的一首音乐(train1.wav)，分别采用自相关函数法(图2)、傅立叶变换法 (图3)、和本发明匹配追踪方法(图4)，生成的音乐速度谱图。音乐速度轴的相邻间隔均为 1bpm(共571个点)，从分辨率看，图2自相关函数法在低速部分分辨率尚可，但在高速部分 模糊不清，带状条渐宽，分辨率显著降低。图3傅立叶变换法中在高速和低速部分，带状条 都较宽，分辨率显然不如本发明图4的结果(为和自相关函数法、傅立叶变换法比较，循环 次数为571)。
[0028] 本发明优良的稀疏特性得益于冗余字典提供了与原信号高度相似的原子，并且匹配追 踪算法保证了这些高度相似原子的分解系数相对较大，非相似原子系数较小甚至为零。从图 2-图4比较可以看出图4的系数显著稀疏，零或近零系数占比显著大。
[0029] 本发明生成的音乐速度谱图除具备良好的分辨率和稀疏性之外，还具有应用的灵活性。 灵活性体现在音乐速度的分辨率、母原子的移位粒度、匹配追踪的循环次数的可调性。速度 分辨率的调整可以在常用速度区间转换成频率集合过程中进行实施；母原子的移位粒度可在 生成原子集合时进行设置，粒度越小，原子集合越大，谱图精度越高，图8-10分别为移位粒 度50、20、5三种情况，从对比结果可看出精度越来越高；循环次数在
匹配追踪算法中设置， 循环次数越大，生成的系数越多，谱图越密集，但系数大小顺序仍然是不变的，图5-7分别 是循环次数20、10、5的三种情况，显然谱图的系数越来越少，但较大系数不变。
附图说明
[0030] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的实 施例的部分附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。图1是发明实施例提供的音乐速度谱图生成
流程图；
图2是采用自相关函数法生成的音乐速度谱图；
图3是采用傅立叶变换法生成的音乐速度谱图；
图4是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为571，移位粒 度为2)；
图5是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为20，移位粒度 为2)；
图6是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为10，移位粒度 为2)；
图7是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为5，移位粒度 为2)；
图8是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为20，移位粒度 为50)；
图9是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为20，移位粒度 为20)；
图10是本发明采用基于匹配追踪的方法生成的音乐速度谱图(循环次数为20，移位粒 度为5)。
具体实施方式
[0031] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
[0032] 音乐速度分辨率，这里借鉴领域的频率分辨率，用音乐速度谱图中速度分量的两个相 邻有效点的间隔大小来表示，间隔越大，速度分辨率越差。音乐速度谱图稀疏性指所有谱图 系数中的非零元素的个数，非零元素个数少，其稀疏性强，辨析度好。本发明实施例提供一 种基于匹配追踪的音乐速度谱图生成方法，如图1所示，该方法包括：
[0033] 1.输入音乐信号，生成音符起始点检测函数o(n)
[0034] 输入的音乐信号一般是wav、mp3等形式、含有波形的文件。音乐速度谱图生成的第一 阶段包括信号变换、特征提取、起始点检测函数生成等过程，输出长度为N的音符起始点检 测函数o(n)，即一个向量。这一阶段可参照文献[1]进行实施。
[0035] 2.对o(n)分帧，形成若干帧信号
[0036] 对o(n)进行分帧，优选地，分帧的帧长为6秒(设帧内有M个点)，每跳(hopsize)约 0.2秒，形成行数为M、列数为N的检测函数矩阵X＝X(m,n)m∈[1...M]n∈[1...N]。
[0037] 3.取常用音乐速度区间τ∈[30,480],τ∈R，按音乐速度分辨率要求把速度集合转换成 频率集合
[0038] 现有技术不能由用户选择音乐速度分辨率生成所需音乐速度谱图，而本发明可自由选 择音乐速度分辨率，生成相应的冗余字典，并经匹配追踪算法生成相应的音乐速度谱图，这 体现了本发明可根据应用进行设置音乐速度分辨率的灵活性。本发明的音乐速度分辨率取值 可以是1,2…正整型值并在所有子区间相同，也可以按自相关函数法或者傅立叶变换法的取 值方法取值，甚至可以是划分子区间，并在各子区间按不同的音乐速度分辨率取值，比如在 音乐最常用的速度区间[80,150]取音乐速度分辨率为0.25,而其他子区间取0.5。为方便比较， 在实施例中整个区间取音乐速度分辨率为1，于是对于τ∈[30,480],τ∈Z，转换成频率集合集合 {fb|fb＝τ/60,τ＝[30,31,...480],b＝[1..B]}，其中b是对应的频率集合中的频率序号，B为序号最大 值。
[0039] 4.对频率集合中的每一频率，创建一个对应的母原子
[0040] 具体来说，针对步骤3中得到的频率集合，将该集合中的每一频率fb，创建该频率的 余弦函数作为对应的母原子αb，其长度为o(n)的分帧长度M，形式为： αb＝cos(2πfbt),t＝(0...M-1)/fo,fo为o(n)的抽样率，t表示时间。
[0041] 5.按一定粒度对所有母原子进行右移位操作，每移动一步生成一个原子，把这些移动 生成的原子连同母原子一起组成该母原子对应的频率的原子集合
[0042] 母原子αb的支撑域为[0,M-1],移位粒度d＝1,2,3...是一个正整数，将母原子αb向右移 动d*j位(j＝1,2,3...)，母原子αb右移后，其左边[0,M-d*j-1]支撑域的值用 cos(-2πfbt),t＝(M-d*j...1)/fo补充，这样每移动一次，可以得到一个新的原子。此处母原子是 周期函数，因此，设置最大移动位数不超过一个周期。所有母原子αb和这些位移得到的原子 一起组成了该母原子对应的原子集合db。
[0043] 此步骤中母原子移位粒度的可调性再次体现了应用本发明的灵活性。粒度越小，原子 集合越大，谱图精度越高，但同时整个音乐速度谱图的计算耗时越多。图8-10分别为移位粒 度50、20、5三种情况，从对比结果可看出谱图的精度越来越高。应用本发明时可根据计算 耗时要求和谱图精度要求，确定母原子的移位粒度。
[0044] 6.把第5步中由频率集合中所有频率对应的原子集合组装成冗余字典[0045] 把频率集合中所有频率fb对应的原子集合db，组装成一个冗余字典D。
[0046] 7.对o(n)的每一帧信号，运用冗余字典，进行匹配追踪，循环一定次数，生成一系 列分解系数和对应的原子：对o(n)的每一帧信号，即对检测函数矩阵的每一列Xi,i∈[1..N]，运用冗余字典D，实施 匹配追踪算法：
(1)置剩余信号yn＝Xi,n＝0，开始执行循环；
(2)计算冗余字典的所有原子gj∈D和剩余信号yn的内积＜yn,gj＞，选择所有内 积中绝对值最大者对应的原子gk为本次循环匹配的原子，保存第n次循环的 分解系数sn＝|＜yn,gk＞|和对应原子gn＝gk；
(3)重新计算剩余信号yn+1＝yn-|＜yn,gk＞|gk；
(4)若循环次数或剩余信号与原信号能量比达到精度要求，则退出循环，否则置 n＝n+
1,从步骤(2)开始继续执行。
[0047] 优选地，本发明一般按循环次数终止循环，可根据音乐速度谱图的要求设置循环次数， 比如K＝10次，20次…等。循环终止后得到sn,gn,n＝[1...K]。
[0048] 本发明基于常用音乐速度区间生成的冗余字典提供了与原信号高度相似的原子，匹配 追踪算法保证了这些高度相似原子的分解系数相对较大，非相似原子系数较小甚至为零，从 而使得本发明生成的音乐速度谱图更具稀疏特性。从图2-图4比较可以看出图4的系数显著 稀疏，零或近零系数占比显著大。
[0049] 匹配追踪算法的循环次数是可调的，循环次数越大，生成的系数越多，谱图越密集(系 数大小和生成顺序仍然是不变的)，但计算耗时将随着循环次数的增大而增加。图5-7分别是 循环次数20、10、5的三种情况，显然谱图的系数越来越少。在一些应用中少量大系数就足 够完成任务，此时可设置循环次数为较小值，所需计算耗时较小；而另一些应用需要大量系 数提供足够的信息，只需增加循环次数即可。这也体现了本发明应用的灵活性，而这是现有 技术不具备的。
[0050] 8.根据冗余字典中原子和音乐速度的关系，把o(n)的每一帧信号的分解系数，归属 于某一音乐速度的系数
[0051] 对每一帧信号，首先创建一个初始值为0的音乐速度谱向量Sn,n＝[1..N]，各分量的序号 是音乐速度序号b,b＝[1..B]，各分量的值是该音乐速度的分解系数。然后，对每一帧信号的 分解系数sn，根据冗余字典中原子gn的对应频率找到对应的音乐速度序号b，把分解系数sn当作该音乐速度的分解系数，如果存在多个原子对应相同的音乐速度序号，则将多个分解系 数累加求和后，再当作该音乐速度的分解系数。
[0052] 9.合并每帧信号的音乐速度谱向量，组成音乐速度谱图
[0053] 所有帧的音乐速度谱向量Sn，按列方式组装合并成音乐速度谱图 S＝S(b,n),b＝[1..B],n＝[1...N]。
[0054] 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说 明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域， 均同理包括在本发明的专利保护范围内。
