用于生成音乐数据的设备和方法

申请号 CN200380104536.8 申请日 2003-11-12 公开(公告)号 CN1717716B 公开(公告)日 2010-11-10
申请人 先锋株式会社; 发明人 莪山真一;
摘要 一种用于生成音乐数据的设备和方法。每个执行以预定的时间间隔变换表示音乐片断的输入音频 信号 为表示 频率 分量幅值的频率信号;从频率信号中分别地以预定的时间间隔提取对应于调音的频率分量;检测作为第一和第二和弦候选者的二个和弦,该二个和弦每个由一组三个频率分量形成,该三个频率分量具有对应于提取的 音调 的该频率分量的大的总电平;和平滑检测的第一和第二和弦候选者的序列,以生成音乐数据。
权利要求

1.一种用于生成音乐数据的设备,包括:
频率变换装置,用于以预定的时间间隔,将表示音乐片断的输入音频信号变换为表示频率分量的幅值的频率信号;
分量提取装置,用于以所述预定的时间间隔,从通过所述频率变换装置获得的所述频率信号中提取与多个调音分别相对应的若干频率分量;
和弦候选者检测装置,用于检测作为第一和弦候选者和第二和弦候选者的二个和弦,所述二个和弦每个由一组三个频率分量形成,所述三个频率分量具有由所述分量提取装置提取的与所述多个调音相对应的若干频率分量的大的总电平;
平滑装置,用于平滑由所述和弦候选者检测装置重复检测的所述第一和弦候选者和第二和弦候选者的序列,以生成音乐数据;以及
频率误差检测装置,用于检测在与所述输入音频信号的每个调音相对应的频率分量中的频率误差,其中,
所述频率误差检测装置包括:
第二频率变换装置,用于以预定的时间间隔,将所述输入音频信号变换为表示频率分量的幅值的频率信号;
指定装置,用于每当所述第二频率变换装置执行频率变换预定的次数时,指定多个频率误差中的一个;
滤波装置,用于提取每个频率分量和所述一个频率误差,其中,每个频率分量具有与多个八度的每个调音相对应的频率;
加权和相加装置,用于分别对从所述滤波装置输出的各频率分量的电平进行加权并且相加起来,以输出与一个八度的每个调音相对应的一个频率分量,所述频率分量对应于每个八度的每个调音;和
相加装置,用于对于多个频率误差的每一个,计算所述一个八度的每个频率分量的电平的总和,其中,
具有由所述相加装置提供的最高电平的频率误差被采用作为检测的频率误差,以及其中
所述分量提取装置将所检测的频率误差增加到每个调音的频率上,用于补偿,并且在已经补偿之后,提取一个频率分量。
2.根据权利要求1的用于生成音乐数据的设备,其中,
所述频率变换装置对于该频率信号执行移动平均处理,用于输出。
3.根据权利要求1的用于生成音乐数据的设备,其中,所述分量提取装置包括:
滤波装置,用于提取与多个八度的每个调音相对应的每个频率分量;和
加权和相加装置,用于分别对从所述滤波装置输出的各频率分量的电平进行加权并且相加起来,以输出与一个八度的相应调音相对应的频率分量,所述频率分量的每个对应于每个八度的每个调音。
4.根据权利要求1的用于生成音乐数据的设备,其中,
所述和弦候选者检测装置将由具有总电平的最大值的一组三个频率分量形成的和弦定义为所述第一和弦候选者,以及将由具有总电平的第二最大值的一组三个频率分量形成的和弦定义为所述第二和弦候选者。
5.根据权利要求1的用于生成音乐数据的设备,其中,
所述平滑装置修改所述第一和弦候选者或者所述第二和弦候选者的内容,使得在所述第一和弦候选者的序列中预定数量的连续第一和弦候选者是彼此相等的,以及在所述第二和弦候选者的序列中预定数量的连续第二和弦候选者是彼此相等的。
6.根据权利要求1的用于生成音乐数据的设备,其中,
所述平滑装置在所述第一和弦候选者和第二和弦候选者的每个序列中的和弦变化的时间点处仅仅提供一个和弦候选者。
7.根据权利要求1的用于生成音乐数据的设备,其中,所述平滑装置包括:
误差消除装置,当在所述第一和弦候选者的序列具有三个连续的第一和弦候选者中,开始的第一和弦候选者与中间的第一和弦候选者不同以及中间的第一和弦候选者与末尾的第一和弦候选者不同时,该误差消除装置用于使中间的第一和弦候选者与开始的第一和弦候选者或者末尾的第一和弦候选者相同,并且当在所述第二和弦候选者的序列具有三个连续的第二和弦候选者中,开始的第二和弦候选者与中间的第二和弦候选者不同并且中间的第二和弦候选者与末尾的第二和弦候选者不同时,该误差消除装置用于使中间的第二和弦候选者与开始的第二和弦候选者或者末尾的第二和弦候选者相同;以及
调换装置,当在所述第一和弦候选者的序列具有五个连续的第一和弦候选者以及在所述第二和弦候选者的序列具有五个连续的第二和弦候选者中,第一和弦候选者的第一个与第一和弦候选者的第五个是相同的;第二和弦候选者的第一个与第二和弦候选者的第五个是相同的;第一和弦候选者的第二个、第三个和第四个和第二和弦候选者的第五个是彼此相同的;以及第二和弦候选者的第二个、第三个和第四个和第一和弦候选者的第五个是彼此相同的时,该调换装置用于使第一和弦候选者的第一个或者第一和弦候选者的第五个与第一和弦候选者的第二个或者第四个相同,以及使第二和弦候选者的第一个或者第二和弦候选者的第五个与第二和弦候选者的第二个至第四个相同;以及
当在第一和弦候选者的序列具有连续的第一和弦候选者的第一个至第四个以及在第二和弦候选者的序列具有连续的第二和弦候选者的第一个至第四个中,第一和弦候选者的第一个与第一和弦候选者的第四个是相同的;第二和弦候选者的第一个与第二和弦候选者的第四个是相同的;第一和弦候选者的第二个、第一和弦候选者的第三个和第二和弦候选者的第一个是彼此相同的;以及第二和弦候选者的第二个、第二和弦候选者的第三个和第一和弦候选者的第一个是彼此相同的时,该调换装置用于使第一和弦候选者的第一个或者第一和弦候选者的第四个与第一和弦候选者的第二个和第三个相同,以及使第二和弦候选者的第一个或者第二和弦候选者的第四个与第二和弦候选者的第二个和第三个相同。
8.根据权利要求1的用于生成音乐数据的设备,其中,所述音乐数据表示在第一和弦候选者和第二和弦候选者的每个序列中的一个和弦以及和弦变化的时间点。
9.一种用于生成音乐数据的方法,包括步骤:
以预定的时间间隔,将表示音乐片断的输入音频信号变换为表示频率分量的幅值的频率信号;
以预定的时间间隔,从所述频率信号中提取与多个调音分别相对应的若干频率分量;
检测作为第一和弦候选者和第二和弦候选者的二个和弦,其中,所述两个和弦的每个由一组三个频率分量形成,所述三个频率分量具有与所提取的调音相对应的若干频率分量的大的总电平;
平滑相应的检测的第一和弦候选者和第二和弦候选者的序列以生成音乐数据;以及
检测在与所述输入音频信号的每个调音相对应的频率分量中的频率误差,其中,
该频率误差检测步骤包括:
第二频率变换步骤,用于以预定的时间间隔,将所述输入音频信号变换为表示频率分量的幅值的频率信号;
指定步骤,用于每当在该第二频率变换步骤执行频率变换预定的次数时,指定多个频率误差中的一个;
滤波步骤,用于提取每个频率分量和所述一个频率误差,其中,每个频率分量具有与多个八度的每个调音相对应的频率;
加权和相加步骤,用于分别对从所述滤波步骤获得的各频率分量的电平进行加权并且相加起来,以输出与一个八度的每个调音相对应的一个频率分量,所述频率分量对应于每个八度的每个调音;和
相加步骤,用于对于多个频率误差的每一个,计算所述一个八度的每个频率分量的电平的总和,其中,
具有由所述相加步骤提供的最高电平的频率误差被采用作为检测的频率误差,以及其中
在该分量提取步骤中,将所检测的频率误差增加到每个调音的频率上,用于补偿,并且在已经补偿之后,提取一个频率分量。

说明书全文

技术领域

发明涉及一种用于生成表示音乐片断的数据的设备和方法。

背景技术

在日本专利公布特开平No.5-289672中,公开了一种设备,其识别音乐片断的和弦,以生成代表该音乐片断的数据,作为在该和弦中的变化,例如,作为和弦进行(chord progression)。
按照先前以符号表示的音乐信息(乐谱的音符信息),在该公布中公开的设备基于出现在每个拍子上,或者通过从音符分量中消除表示非谐音的音符获得的音符分量来确定和弦,从而生成代表音乐片断的和弦进行的数据。
但是,在常规的音乐数据生成设备中,具有和弦可以分析的已知拍子的音乐片断是有限的,并且不能从具有未知拍子的音乐声音中生成表示和弦进行的数据。
另外,对于常规的设备来说,从表示音乐片断声音的音频信号中分析音乐片断的和弦以便生成作为和弦进行的数据是不可能的。

发明内容

本发明要解决的问题包括作为例子的前述问题。因此,本发明的一个目的是提供一种用于生成音乐数据的设备和方法,其中按照表示音乐声音的音频信号来检测音乐和弦进行,以生成代表该和弦进行的数据。
根据本发明的一方面,提供了一种用于生成音乐数据的设备,包括:
频率变换装置,用于以预定的时间间隔,将表示音乐片断的输入音频信号变换为表示频率分量的幅值的频率信号;
分量提取装置,用于以所述预定的时间间隔,从通过所述频率变换装置获得的所述频率信号中提取与多个调音分别相对应的若干频率分量;
和弦候选者检测装置,用于检测作为第一和弦候选者和第二和弦候选者的二个和弦,所述二个和弦每个由一组三个频率分量形成,所述三个频率分量具有由所述分量提取装置提取的与所述多个调音相对应的若干频率分量的大的总电平;
平滑装置,用于平滑由所述和弦候选者检测装置重复检测的所述第一和弦候选者和第二和弦候选者的序列,以生成音乐数据;以及
频率误差检测装置,用于检测在与所述输入音频信号的每个调音相对应的频率分量中的频率误差,其中,
所述频率误差检测装置包括:
第二频率变换装置,用于以预定的时间间隔,将所述输入音频信号变换为表示频率分量的幅值的频率信号;
指定装置,用于每当所述第二频率变换装置执行频率变换预定的次数时,指定多个频率误差中的一个;
滤波装置,用于提取每个频率分量和所述一个频率误差,其中,每个频率分量具有与多个八度的每个调音相对应的频率;
加权和相加装置,用于分别对从所述滤波装置输出的各频率分量的电平进行加权并且相加起来,以输出与一个八度的每个调音相对应的一个频率分量,所述频率分量对应于每个八度的每个调音;和
相加装置,用于对于多个频率误差的每一个,计算所述一个八度的每个频率分量的电平的总和,其中,
具有由所述相加装置提供的最高电平的频率误差被采用作为检测的频率误差,以及其中
所述分量提取装置将所检测的频率误差增加到每个调音的频率上,用于补偿,并且在已经补偿之后,提取一个频率分量。
根据本发明的另一方面,提供了一种用于生成音乐数据的方法,包括步骤:
以预定的时间间隔,将表示音乐片断的输入音频信号变换为表示频率分量的幅值的频率信号;
以预定的时间间隔,从所述频率信号中提取与多个调音分别相对应的若干频率分量;
检测作为第一和弦候选者和第二和弦候选者的二个和弦,其中,所述两个和弦的每个由一组三个频率分量形成,所述三个频率分量具有与所提取的调音相对应的若干频率分量的大的总电平;
平滑相应的检测的第一和弦候选者和第二和弦候选者的序列以生成音乐数据;以及
检测在与所述输入音频信号的每个调音相对应的频率分量中的频率误差,其中,
该频率误差检测步骤包括:
第二频率变换步骤,用于以预定的时间间隔,将所述输入音频信号变换为表示频率分量的幅值的频率信号;
指定步骤,用于每当在该第二频率变换步骤执行频率变换预定的次数时,指定多个频率误差中的一个;
滤波步骤,用于提取每个频率分量和所述一个频率误差,其中,每个频率分量具有与多个八度的每个调音相对应的频率;
加权和相加步骤,用于分别对从所述滤波步骤获得的各频率分量的电平进行加权并且相加起来,以输出与一个八度的每个调音相对应的一个频率分量,所述频率分量对应于每个八度的每个调音;和
相加步骤,用于对于多个频率误差的每一个,计算所述一个八度的每个频率分量的电平的总和,其中,
具有由所述相加步骤提供的最高电平的频率误差被采用作为检测的频率误差,以及其中
在该分量提取步骤中,将所检测的频率误差增加到每个调音的频率上,用于补偿,并且在已经补偿之后,提取一个频率分量。
附图简要说明
图1是应用本发明的音乐处理系统的结构的方框图
图2是示出频率误差检测操作的流程图
图3是较高的八度比照如1.0的较低的音调A的十二个音调和音调A的频率对比的表;
图4是示出在和弦分析操作中的主处理的流程图;
图5是示出在谱带数据中的音调分量的强度电平的一个例子的图表;
图6是示出在谱带数据中的音调分量的强度电平的另一个例子的图表;
图7示出具有四个音调的和弦如何被转变成具有三个的音调和弦;
图8示出进入到暂存器之内的记录格式;
图9A至9C示出用于表示和弦的基音、它们的属性和和弦候选者的方法;
图10是示出在和弦分析操作中的后期处理的流程图;
图11示出在平滑处理之前在第一和第二和弦候选者中按时间发生顺序排列的变化;
图12示出在平滑处理之后在第一和第二和弦候选者中按时间发生顺序排列的变化;
图13示出在交换处理之后在第一和第二和弦候选者中按时间发生顺序排列的变化;
图14A至14D示出如何生成和弦进行音乐数据和其格式;
图15是作为本发明另一个实施例的音乐处理系统的结构的方框图。

具体实施方式

在下文中,将参考附图详细地描述本发明的若干实施例。
图1示出一个应用于本发明的音乐处理系统。该音乐处理系统包括:麦克输入设备1、谱线输入设备2、音乐输入设备3、输入操作设备4、输入选择器开关5、模拟数字转换器6、和弦分析设备7、数据存储设备8和9、暂存器10、和弦进行比较设备11、显示设备12、音乐再现设备13、数字模拟转换器14和扬声器15。
麦克风输入设备1可以借助于麦克风采集音乐声音,并且输出一个代表该采集的音乐声音的模拟音频信号。谱线输入设备2例如与盘播放器或者磁带记录器连接,使得可以输入一个代表音乐声音的模拟音频信号。音乐输入设备3例如是与和弦分析设备7和数据存储设备8相连接的CD播放器,以再现数字化的音频信号(诸如PCM数据)。输入操作设备4是一个供用户去操作输入数据或者命令给该系统的设备。输入操作设备4的输出端与输入选择器开关5、和弦分析设备7、和弦进行比较设备11、和音乐再现设备13相连接。
输入选择器开关5有选择地将来自麦克风输入设备1和谱线输入设备2的输出信号中的一个提供给该模拟数字转换器6。输入选择器开关5响应一个来自输入操作设备4的命令来操作。
模拟数字转换器6与和弦分析设备7和数据存储设备8相连接,数字化一个模拟音频信号,并且将该数字化的音频信号作为音乐数据提供给该数据存储设备8。数据存储设备8存储从模拟数字转换器6和音乐输入设备3提供的该音乐数据(PCM数据),作为文件。
该和弦分析设备7通过执行以后将会描述的和弦分析操作,按照提供的音乐数据来分析和弦。由和弦分析设备7分析的该音乐数据的和弦被作为第一和第二和弦候选者临时存储在暂存器10。数据存储设备9存储和弦进行音乐数据(第一和弦进行音乐数据),作为用于每个音乐片断的文件,其是由该和弦分析设备7分析的结果。
和弦进行比较设备11将作为一个搜索目标的该和弦进行音乐数据(第二和弦进行音乐数据)和存储在数据存储设备9中的该和弦进行音乐数据相比较,并且检测与该搜索目标的和弦进行音乐数据具有高相似性的和弦进行音乐数据。显示设备12显示由该和弦进行比较设备11进行的比较结果,作为一列音乐片断。
音乐再现设备13从该数据存储设备8中读出由该和弦进行比较设备11作为示出最高的相似性检测的该音乐片断的数据文件,再现该数据,并且作为数字音频信号输出。数字模拟转换器14将由音乐再现设备13再现的该数字音频信号转换为模拟音频信号。
该和弦分析设备7、和弦进行比较设备11和音乐再现设备13每个响应一个来自输入操作设备4的命令来操作。
下面将详细地描述该音乐处理系统的操作。
在这里,假定一个代表音乐声音的模拟音频信号被经由输入选择器开关5从谱线输入设备2提供给模拟数字转换器6,然后,转换为一个用于提供给该和弦分析设备7的数字信号,下面将描述该操作。
该和弦分析操作包括预处理、主处理和后期处理。该和弦分析设备7执行作为该预处理的频率误差检测操作。
在该频率误差检测操作中,如图2所示,时间变量T和谱带数据F(N)每个被初始化为零,并且变量N例如被初始化为从-3到3的范围(步骤S1)。输入数字信号通过傅里叶变换以0.2秒的间隔经受频率变换,并且作为该频率变换的结果,获得频率信息f(T)(步骤S2)。
当前的信息f(T)、前两次所获得的先前的信息f(T-1)和信息f(T-2)被用于执行移动平均处理(步骤S3)。在移动平均处理中,在过去的二个操作中获得的频率信息在0.6秒内和弦几乎不变化的假定之下被使用。该移动平均处理通过以下的表达式来执行:
f(T)=(f(T)+f(T-1)/2.0+f(T-2)/3.0)/3.0  (1)
在步骤S3之后,变量N被设置为-3(步骤S4),并且确定是否该变量N小于4(步骤S5)。如果N<4,在移动平均处理之后,从频率信息f(T)中提取频率分量f1(T)至f5(T)(步骤S6至S10)。基于110.0+2×N Hz作为基频,频率分量f1(T)至f5(T)被对于五个八度调节为十二个音阶。该十二个音调是A、A#、B、C、C#、D、D#、E、F、F#、G和G#。图3示出一个较高的八度比照如1.0的较低的音调A的十二个音调和音调A的频率对比。在步骤S6,对于f1(T),音调A是在110.0+2×NHz上,在步骤S7,对于f2(T),在2×(110.0+2×N)Hz上,在步骤S8,对于f3(T),在4×(110.0+2×N)Hz上,在步骤S9,对于f4(T),在8×(110.0+2×N)Hz上,和在步骤10,对于f5(T),在16×(110.0+2×N)Hz上。
在步骤S6至S10之后,频率分量f1(T)至f5(T)被转换为用于一个八度的谱带数据F′(T)(步骤S11)。该谱带数据F′(T)可以表示为以下:
F′(T)=f1(T)×5+f2(T)×4+f3(T)×3+f4(T)×2+f5(T) (2)
更具体地说,频率分量f1(T)至f5(T)被分别地加权,然后被相互相加。用于一个八度的该谱带数据F′(T)被增加给该谱带数据F(N)(步骤S12)。然后,该变量N增加一(步骤S13),并且步骤S5被再次执行。
只要在步骤S5中的N<4维持不变,换言之,只要N是在从-3到+3的范围,在步骤S6至S13中的操作被重复。因此,音调分量F(N)是用于包括从-3到+3范围音调间隔误差的一个八度的频率分量。
如果在步骤S5中N≥4,则确定是否变量T小于一个预定值M(步骤S14)。如果T<M,该变量T增加一(步骤S15),并且步骤S2被再次执行。通过M个频率变换操作对于每个变量N生成用于频率信息f(T)的谱带数据F(N)。
如果在步骤S14中T≥M,则在对于每个变量N适合于一个八度的该谱带数据F(N)中,具有其总和是最大的频率分量的F(N)被检测,并且在该检测的F(N)中,N被设置为一个误差值X(步骤S16)。
在整个音乐声音(诸如由乐队演奏的声音)的音调间隔之间存在某个差值的情况下,该音调间隔可以通过预处理由获得的误差值X来补偿,并且因此,可以执行以下用于分析和弦的主处理。
一旦在预处理中检测频率误差的操作结束,用于分析和弦的主处理被执行。注意到,如果误差值X是预先可用的,或者该误差是不重要的,足以被忽略,该预处理可以被省略。在主处理中,和弦分析被对于音乐片断从头到尾执行,因此,一个输入数字信号被从该音乐片断的开始部分提供给该和弦分析设备7。
如图4所示,在该主处理中,执行通过傅里叶变换的频率变换,来以0.2秒的间隔输入数字信号,并且获得频率信息f(T)(步骤S21)。这个步骤S21对应于一个频率转换器。当前的信息f(T)、前两次获得的先前的信息f(T-1)和信息f(T-2)被用于执行移动平均处理(步骤S22)。步骤S21和S22被以与如上所述的步骤S2和S3同样的方式执行。
在步骤S22之后,在移动平均处理(步骤S23至S27)之后,频率分量f1(T)至f5(T)被从频率信息f(T)中提取。类似于以上描述的步骤S6至S10,该频率分量f1(T)至f5(T)是在基于110.0+2×NHz作为基频对于五个八度调节的十二个音阶中。该十二个音调是A、A#、B、C、C#、D、D#、E、F、F#、G和G#。在步骤S23,对于f1(T),音调A是在110.0+2×NHz上;在步骤S24,对于f2(T),在2×(110.0+2×N)Hz上;在步骤S25,对于f3(T),在4×(110.0+2×N)Hz上;在步骤S26,对于f4(T),在8×(110.0+2×N)Hz上;和在步骤27,对于f5(T),在16×(110.0+2×N)Hz上。在这里,N是在步骤S16中设置的X。
在步骤S23至S27之后,频率分量f1(T)至f5(T)被转换为用于一个八度的谱带数据F′(T)(步骤S28)。,在步骤S28中的操作被使用表达式(2)以与如上所述的步骤S11同样的方式执行。该谱带数据F′(T)包括音调分量。这些步骤S23至S28对应于一个分量提取器。
在步骤S28之后,在谱带数据F′(T)的音调分量之中具有最大强度电平的六个音调被选择为候选者(步骤S29),并且生成该六个候选者的二个和弦M1和M2(步骤S30)。六个候选者音调的一个被用作基础音,以生成一个具有三个音调的和弦。更具体地说,设想是6C3和弦。形成每个和弦的三个音调的电平被相加。其相加结果值是最大的该和弦被设置为第一和弦候选者M1,和具有第二最大相加结果的该和弦被设置为第二和弦候选者M2。
当谱带数据F′(T)的音调分量示出如图5所示的用于十二个音调的强度电平的时候,在步骤S29,六个音调A、E、C、G、B和D被选择。来自这六个音调A、E、C、G、B和D的每个具有三个音调的三个一组是和弦Am(具有音调A、C和E),和弦C(具有音调C、E和G),和弦Em(具有音调E、B和G),和弦G(具有音调G、B和D),...。和弦Am(A、C、E)、和弦C(C、E、G)、和弦Em(E、B、G)以及和弦G(G、B、D)的总的强度电平分别地是12、9、7和4。因此,在步骤S30,和弦Am被设置为第一和弦候选者M1,其总的强度电平是最大的,即,12。和弦C被设置为第二和弦候选者M2,其总的强度电平是第二最大的,即,9。
当在该谱带数据F′(T)中的音调分量示出如图6所示的用于十二个音调的强度电平的时候,在步骤S29,六个音调C、G、A、E、B和D被选择。从这六个音调C、G、A、E、B和D中选择出来的由三个音调生成的三个一组是和弦C(具有音调C、E和G),和弦Am(具有音调A、C和E),和弦Em(具有音调E、B和G),和弦G(具有音调G、B和D),...。和弦C(C、E、G)、和弦Am(A、C、E)、和弦Em(E、B、G)以及和弦G(G、B、D)的总的强度电平分别地是11、10、7和6。因此,在步骤S30,和弦C被设置为第一和弦候选者M1,其总的强度电平是最大的,即,11。和弦Am被设置为第二和弦候选者M2,其总的强度电平是第二最大的,即,10。
形成一个和弦的音调的数目不必是三个,并且例如存在一个具有四个的和弦,诸如属7和减7。具有四个音调的和弦被划分为两个或更多个每个具有三个音调的和弦,如图7所示。因此,类似于以上所述的三个音调的和弦,二个和弦候选者可以按照在谱带数据F′(T)中的该音调分量的强度电平被设置用于这些四个音调的和弦。
在步骤S30之后,确定是否存在和在步骤S30设置的数量一样多的和弦(步骤S31)。如果在该强度电平中的差值不是足够大以在步骤30选择至少三个音调,则没有和弦候选者被设置。这是为什么步骤S31被执行。如果和弦候选者的数目>0,那么确定是否和弦候选者的数目大于一(步骤S32)。
如果在步骤S31确定和弦候选者的数目=0,在先前的主处理中以T-1(大约0.2秒之前)设置的该和弦候选者M1和M2被设置为当前的和弦候选者M1和M2(步骤S33)。如果在步骤S32,和弦候选者的数目=1,这指的是在当前的步骤S30中,仅仅已经设置了该第一候选者M1,因此,第二和弦候选者M2被设置为与第一和弦候选者M1相同的和弦(步骤S34)。这些步骤S29至S34对应于一个和弦候选者检测器。
如果在步骤S32确定和弦候选者的数目>1,这指的是在当前的步骤S30中,设置了该第一和第二候选者M1和M2两者,因此,时间和第一和第二和弦候选者M1和M2被存储在该暂存器10中(步骤S35)。时间和第一和第二和弦候选者M1和M2被作为一个组存储在该暂存器10中,如图8所示。时间是主处理执行多少次的数目,并且由对于每个0.2秒递增的T表示。第一和第二和弦候选者M1和M2被以T的顺序存储。
更具体地说,基调(基础音)和其属性的组合被使用,以便在该暂存器10中基于1个字节存储每个和弦候选者,如图8所示。基调表示调节的十二个音调的一个,并且该属性表示和弦的一种类型,诸如大调{4,3},小调{3,4},属7候选者{4,6},和减7(dim7)候选者{3,3}。在大括号{}中的数字表示当半音是1的时候在三个音调之中的差值。用于属7的典型的候选者是{4,3,3},并且典型的减7(dim7)候选者是{3,3,3},但是上述的表示被采用以便表示它们具有三个音调。
如图9A所示,12个基调每个是基于16位(以十六进制表示法)表示的。如图9B所示,表示和弦类型的每个属性其是基于16位(以十六进制表示法)表示的。基调的较低阶的四位字节和其属性的较低阶的四位字节被在以那个顺序组合,并且以八位(一个字节)的形式用作和弦候选者,如图9C所示。
在步骤S33或者S34被执行之后,立即执行步骤S35。
在步骤S35被执行之后,确定是否该音乐已经结束(步骤S36)。
例如,如果不再有输入模拟音频信号,或者如果有来自输入操作设备4的表示音乐末尾的输入操作,则确定该音乐已经结束。据此,该主处理结束。
在确定该音乐结束以前,变量T被增加一(步骤S37),并且步骤S21被再次执行。步骤S21被以0.2秒的间隔执行,换言之,在从先前的处理执行开始0.2秒之后,该处理被再次执行。
在后期处理中,如图10所示,所有的第一和第二和弦候选者M1(0)至M1(R)和M2(0)至M2(R)被从该暂存器10中读出(步骤S41)。零表示起始点,并且在起始点上的第一和第二和弦候选者是M1(0)和M2(0)。字母R表示终点,并且在终点上的第一和第二和弦候选者是M1(R)和M2(R)。从而读出的这些第一和弦候选者M1(0)至M1(R)和第二和弦候选者M2(0)至M2(R)经历平滑处理(步骤S42)。不考虑该和弦的转折点,当该候选者被以0.2秒的间隔检测的时候,执行平滑,以消除由包括在该和弦候选者中的噪声所引起的误差。作为特定的平滑方法,确定是否由M1(t-1)≠M1(t)和M1(t)≠M1(t+1)表示的关系代表三个顺序的第一和弦候选者M1(t-1)、M1(t)和M1(t+1)。如果该关系被建立,M1(t)被均衡为M1(t+1)。该确定处理被对于第一和弦候选者的每个执行。平滑被以同样方式对第二和弦候选者执行。注意到,不是均衡M1(t)为M1(t+1),而可以是M1(t+1)可以被均衡为M1(t)。
在平滑之后,第一和第二和弦候选者被互换(步骤S43)。在与0.6秒一样短的时间中,和弦变化存在很小的可能性。但是,信号输入阶段的频率特性和在信号输入的时候的噪声可以引起在谱带数据F′(T)中的每个音调分量的频率波动,使得第一和第二和弦候选者可以被在0.6秒内互换。步骤S43被作为对于该可能性的弥补执行。作为第一和第二和弦候选者特定的互换方法,以下的确定被对于五个顺序的第一和弦候选者M1(t-2)、M1(t-1)、M1(t)、M1(t+1)和M1(t+2),和五个对应于第一候选者的第二顺序的和弦候选者M2(t-2)、M2(t-1)、M2(t)、M2(t+1)和M2(t+2)执行。更具体地说,确定是否由M1(t-2)=M1(t+2)、M2(t-2)=M2(t+2)、M1(t-1)=M1(t)=M1(t+1)=M2(t-2)和M2(t-1)=M2(t)=M2(t+1)=M1(t-2)表示的关系式被建立。如果该关系式被建立,M1(t-1)=M1(t)=M1(t+1)=M1(t-2)和M2(t-1)=M2(t)=M2(t+1)=M2(t-2)被确定,并且和弦被在M1(t-2)和M2(t-2)之间互换。注意到,和弦可以在M1(t+2)和M2(t+2)之间,而不是在M1(t-2)和M2(t-2)之间互换。也确定是否由M1(t-2)=M1(t+1)、M2(t-2)=M2(t+1)、M1(t-1)=M(t)=M1(t+1)=M2(t-2)和M2(t-1)=M2(t)=M2(t+1)=M1(t-2)表示的关系式被建立。如果该关系式被建立,M1(t-1)=M(t)=M1(t-2)和M2(t-1)=M2(t)=M2(t-2)被确定,并且和弦被在M1(t-2)和M2(t-2)之间互换。和弦可以在M1(t+1)和M2(t+1)之间,而不是在M1(t-2)和M2(t-2)之间互换。
在步骤S41,读出随时间而变化的第一和弦候选者M1(0)至M1(R)和第二和弦候选者M2(0)至M2(R),如图11所示,在步骤S42,该平均被执行以获得校正的结果,如图12所示。此外,在步骤S43中的该和弦互换校正第一和第二和弦候选者的波动,如图13所示。注意到,图11至13通过一个直线图示出在和弦方面的变化,其中在垂直线上的位置对应于和弦的种类。
在步骤S43和弦互换之后,在第一和弦候选者M1(0)至M1(R)的和弦转折点t上的候选者M1(t),和在第二和弦候选者M2(0)至M2(R)的和弦转折点t上的M2(t)被检测(步骤S44),并且用于第一和第二和弦候选者的每个的该检测点t(4字节)和和弦(4字节)被存储在该数据存储设备9中(步骤S45)。在步骤S45存储的用于一个音乐片断的数据是和弦进行音乐数据。这些步骤S41至S45对应于一个平滑装置。
在步骤S43互换该和弦之后,当第一和第二和弦候选者M1(0)至M1(R)和M2(0)至M2(R)随时间波动的时候,如图14A所示,在转折点上的该时间和和弦被作为数据提取。图14B示出在第一和弦候选者F、G、D、Bb(B平的)和F之中在转折点上数据的内容,其可以表示为十六进制数据0x08、0x0A、0x05、0x01和0x08。转折点t是T1(0)、T1(1)、T1(2)、T1(3)和T1(4)。图14C示出在第二和弦候选者C、Bb、F#m、Bb和C之中在转折点上的数据内容,其可以表示为十六进制数据0x03、0x01、0x29、0x01和0x03。转折点t是T2(0)、T2(1)、T2(2)、T2(3)和T2(4)。在图14B和14C中示出的数据内容被在步骤S45与音乐片断的识别信息一起作为文件以在图14D中示出的形式存储在数据存储设备9中。
如上所述的和弦分析操作被对于表示不同的音乐声音的模拟音频信号重复。以这种方法,和弦进行音乐数据被作为用于多个音乐片断的每个的文件存储在数据存储设备9。以上描述的和弦分析操作被对于代表从音乐输入设备3提供的音乐声音的数字音频信号执行,并且和弦进行音乐数据被存储在该数据存储设备9中。注意到,在数据存储设备9中对应于和弦进行音乐数据的PCM信号的音乐数据被存储在数据存储设备8中。
在步骤S44,在第一和弦候选者的和弦转折点上的第一和弦候选者和在第二和弦候选者的和弦转折点上的第二和弦候选者被检测。然后,该检测的候选者形成最终的和弦进行音乐数据,因此,每个音乐片断的容积可以被降低,正如好比是压缩数据,诸如MP3,并且用于每个音乐片断的数据可以被以高速处理。
写入该数据存储设备9中的和弦进行音乐数据是临时与实际的音乐同步的和弦数据。因此,当和弦实际上是通过音乐再现设备13仅仅使用第一和弦候选者或者第一和第二和弦候选者的逻辑和输出再现的时候,伴唱可以被播放给该音乐。
图15示出本发明的另一个实施例。在图15中的该音乐处理系统中,在图1中的系统中的和弦分析设备7、暂存器10以及和弦进行比较设备11是由计算机21形成的。该计算机21按照存储在该存储设备22中的程序执行以上描述的和弦分析操作和音乐搜索操作。该存储设备22不必是硬盘驱动器,并且可以是一个用于存储介质的驱动器。在该情况下,和弦进行音乐数据可以被写入该存储介质中。
如上所述,本发明包括频率变换装置、分量提取装置、和弦候选者检测装置和平滑装置。因此,可以按照一个代表该音乐片断声音的音频信号检测音乐片断的和弦进行,从而,可以容易地获得以该和弦进行为特征的数据。
QQ群二维码
意见反馈