声音处理装置 |
|||||||
| 申请号 | CN201480014605.4 | 申请日 | 2014-03-12 | 公开(公告)号 | CN105051811A | 公开(公告)日 | 2015-11-11 |
| 申请人 | 雅马哈株式会社; | 发明人 | 成山隆一; 石川克己; 松本秀一; | ||||
| 摘要 | 存储装置(12)针对不同的多个歌唱表现，对表示歌唱表现的歌唱表现数据(DS)和与该歌唱表现相关的属性数据(DA)进行存储。区间 指定 部(34)与来自使用者的指示相应地，对选择声音 信号 (X)的各对象区间进行指定。表现选择部(36)参照各属性数据(DA)，从而针对每个对象区间，选择与来自使用者的指示(检索条件)相应的歌唱表现数据(DS)。表现赋予部(38)将表现选择部(36)针对选择 声音信号 (X)的各对象区间而选择的歌唱表现数据(DS)所表示的歌唱表现赋予至该对象区间。 | ||||||
| 权利要求 | 1.一种声音处理装置，其具有： |
||||||
| 说明书全文 | 声音处理装置技术领域[0001] 本发明涉及对歌唱声音的歌唱表现进行控制的技术。 背景技术[0002] 以往，提出了对歌唱声音进行处理的各种技术。例如在专利文献1中，公开了下述技术，即，对在基元连接型的歌唱合成中使用的基元数据进行收集。对利用专利文献1的技术收集到的基元数据适当地进行选择并彼此连接，从而能够对任意的歌词的歌唱声音进行合成。 [0003] 专利文献1：日本特开2003－108179号公报 发明内容[0004] 向实际的歌唱声音赋予歌唱者所固有的歌唱表现(歌唱方式)。但是，在专利文献1的技术中，由于未加进歌唱声音的各种歌唱表现，因此存在下述问题，即，利用基元数据进行合成而得到的歌唱声音在听感上容易产生单调的印象。考虑到以上情况，本发明的目的在于，生成多样的歌唱表现的歌唱声音。 [0005] 为了解决以上课题，本发明的声音处理装置具有：表现选择部，其从表示不同的歌唱表现的多个歌唱表现数据中，对作为应用对象的歌唱表现数据进行选择；以及表现赋予部，其将表现选择部选择出的歌唱表现数据所表示的歌唱表现赋予至歌唱声音的特定区间。 [0006] 在以上方式中，由于将歌唱表现数据所表示的歌唱表现赋予至歌唱声音，因此与专利文献1的技术相比，能够生成多样的歌唱表现的歌唱声音。特别地，由于将歌唱表现数据所表示的多个歌唱表现选择性地赋予至歌唱声音的特定区间，因此下述效果尤其显著，即，能够生成多样的歌唱表现的歌唱声音。 [0007] 也可以是表现选择部对表示不同的歌唱表现的第1歌唱表现数据和第2歌唱表现数据进行选择，表现赋予部将第1歌唱表现数据所表示的歌唱表现赋予至歌唱声音的第1区间，并且将第2歌唱表现数据所表示的歌唱表现赋予至歌唱声音中的与第1区间不同的第2区间。 [0008] 在以上的方式中，由于针对歌唱声音的每个区间赋予独立的歌唱表现，因此下述效果尤其显著，即，能够生成多样的歌唱表现的歌唱声音。 [0009] 也可以是表现选择部对表示不同的歌唱表现的大于或等于2个歌唱表现数据进行选择，表现赋予部将表现选择部选择出的大于或等于2个歌唱表现数据各自所表示的歌唱表现重复地赋予至歌唱声音的特定区间。 [0010] 在以上的方式中，由于多个歌唱表现(在典型情况下是不同种类的歌唱表现)重复地赋予至歌唱声音，因此下述效果尤其显著，即，能够生成多样的歌唱表现的歌唱声音。 [0011] 也可以具有存储部，该存储部将与歌唱表现相关的属性数据，与该歌唱表现的歌唱表现数据相关联地进行存储，表现选择部参照各歌唱表现数据的属性数据，从存储部中对歌唱表现数据进行选择。 [0012] 在以上的方式中，由于各歌唱表现数据与属性数据相关联，因此能够通过属性数据的参照，对赋予至歌唱声音的歌唱表现的歌唱表现数据进行选择(检索)。 [0013] 也可以是表现选择部与来自使用者的指示相应地，对歌唱表现数据进行选择。 [0014] 在以上的方式中，由于对与来自使用者的指示相应的歌唱表现数据进行选择，因此具有下述优点，即，能够生成反映了使用者的意图、嗜好的多样的歌唱声音。 [0015] 也可以是表现赋予部将表现选择部选择出的歌唱表现数据所表示的歌唱表现赋予至歌唱声音中的与来自使用者的指示相应的特定区间。 [0016] 在以上的方式中，由于将歌唱表现赋予至歌唱声音中的与来自使用者的指示相应的区间，因此具有下述优点，即，能够生成反映了使用者的意图、嗜好的多样的歌唱声音。 [0017] 另外，以往，提出了对歌唱的优劣进行评价的各种技术。例如，将歌唱声音的音高、音量的变化与事先准备的基准的(规范的)歌唱声音的音高及音量的变化进行对比，从而对歌唱声音进行评价。但是，实际的歌唱的评价不仅依赖于音高及音量的准确性，还依赖于歌唱表现的优劣。 [0018] 考虑到以上情况，本发明的声音处理装置也可以具有歌唱评价部，该歌唱评价部对应于多个歌唱表现数据中的与歌唱声音类似的歌唱表现的歌唱表现数据，根据表示该歌唱表现的评价的评价值，对歌唱声音进行评价。 [0019] 在以上的方式中，由于根据与歌唱声音类似的歌唱表现的歌唱表现数据所对应的评价值，对歌唱声音进行评价，因此具有下述优点，即，能够从歌唱表现的优劣的角度出发，适当地对歌唱声音进行评价。 [0020] 也可以是歌唱评价部针对歌唱声音的多个对象区间各自，对与该对象区间的歌唱表现类似的歌唱表现的歌唱表现数据进行选择，根据对应于该各歌唱表现数据的评价值，对歌唱声音进行评价。 [0021] 在以上的方式中，由于根据针对歌唱声音的多个对象区间各自选择的歌唱表现数据所对应的评价值，对歌唱声音进行评价，因此具有下述优点，即，能够重点地对歌唱声音的特定的对象区间进行评价。但是，还能够将对象区间设为声音信号的整个区间(乐曲整体)。 [0022] 也可以是声音处理装置具有存储部，该存储部针对不同的多个歌唱表现，对表示歌唱表现的歌唱表现数据、和表示该歌唱表现的评价的评价值进行存储，歌唱评价部对应于所述多个歌唱表现数据中的与歌唱声音类似的歌唱表现的歌唱表现数据，根据存储在所述存储部中的评价值，对所述歌唱声音进行评价。 [0023] 在以上的方式中，由于根据与歌唱声音类似的歌唱表现的歌唱表现数据所对应的评价值，对歌唱声音进行评价，因此具有下述优点，即，能够从是否与登记在存储部中的歌唱表现类似的角度出发，对歌唱声音适当地进行评价。 [0024] 在本发明中，提供下述的声音处理方法，即，从表示不同歌唱表现的多个歌唱表现数据中，对作为应用对象的歌唱表现数据进行选择，将所述选择出的歌唱表现数据所表示的歌唱表现赋予至歌唱声音的特定区间。 [0025] 以上各方式所涉及的声音处理装置能够由专用在歌唱声音的处理中的DSP(Digital Signal Processor)等硬件(电路)实现，此外还能够由CPU(Central Processing Unit)等通用的运算处理装置和程序的协同动作而实现。具体地说，本发明的第1方式所涉及的程序执行下述处理：表现选择处理，其从表示不同的歌唱表现的多个歌唱表现数据中，对作为应用对象的歌唱表现数据进行选择；以及表现赋予处理，其将在表现选择处理中选择出的歌唱表现数据所表示的歌唱表现赋予至歌唱声音的特定区间。另外，本发明的第2方式所涉及的程序使具有存储部的计算机执行歌唱评价处理，该存储部针对不同的多个歌唱表现，对表示歌唱表现的歌唱表现数据和表示该歌唱表现的评价的评价值进行存储，该歌唱评价处理根据多个歌唱表现数据中的与歌唱声音类似的歌唱表现的歌唱表现数据所对应的评价值，对歌唱声音进行评价。 [0026] 以上各方式所涉及的程序能够以储存在计算机能够读取的记录介质中的方式提供，并在计算机上安装。记录介质例如是非易失性(non-transitory)的记录介质，CD-ROM等光学式记录介质(光盘)是优选例，但能够包含半导体记录介质、磁性记录介质等公知的任意形式的记录介质。另外，例如，本发明的程序能够以经由通信网络进行递送的方式提供，并在计算机上安装。附图说明 [0027] 图1是本发明的第1实施方式所涉及的声音处理装置的框图。 [0028] 图2是与表现登记处理相关的要素的功能结构图。 [0029] 图3是歌唱分割部的框图。 [0030] 图4是表现登记处理的流程图。 [0031] 图5是与表现赋予处理相关的要素的功能结构图。 [0032] 图6是表现赋予处理的流程图。 [0033] 图7是表现赋予处理的具体例(颤音的赋予)的说明图。 [0034] 图8是表现赋予处理的说明图。 [0035] 图9是表现赋予处理的说明图。 [0036] 图10是与第2实施方式的歌唱评价处理相关的要素的功能结构图。 [0037] 图11是歌唱评价处理的流程图。 [0038] 图12是变形例所涉及的声音处理装置的框图。 具体实施方式[0039] ＜第1实施方式＞ [0040] 图1是本发明的第1实施方式所涉及的声音处理装置100的框图。如图1所示，声音处理装置100由具有运算处理装置10、存储装置12、拾音装置14、输入装置16、以及放音装置18的计算机系统实现。 [0041] 运算处理装置10通过执行存储装置12所存储的程序，从而集中地对声音处理装置100的各要素进行控制。存储装置12对运算处理装置10所执行的程序、运算处理装置10所使用的各种数据进行存储。作为存储装置12，能够任意地采用半导体记录介质、磁性记录介质等公知的记录介质或者多种记录介质的组合。此外，还能够采用下述结构，即，在与声音处理装置100独立的外部装置(例如外部服务器装置)中设置存储装置12，声音处理装置100经由互联网等通信网络，执行相对于存储装置12的信息的写入、读取。即，存储装置12不是声音处理装置100的必须的要素。 [0042] 第1实施方式的存储装置12对表示不同的歌唱声音(例如不同歌唱者的歌唱声音)的时间波形的多个声音信号X进行存储。通过收录歌唱了乐曲(歌唱曲目)而得到的歌唱声音，从而事先准备多个声音信号X中的各个声音信号X。另外，存储装置12对表示不同的歌唱表现的多个歌唱表现数据DS、以及与各歌唱表现数据DS所表示的歌唱表现相关的多个属性数据DA进行存储。歌唱表现是歌唱的特征(歌唱者所特有的歌唱方式及歌唱方法等)。针对从不同的歌唱者发音而得到的歌唱声音中提取出的多种歌唱表现，在存储装置12中存储歌唱表现数据DS，属性数据DA与多个歌唱表现数据DS分别相关联。 [0043] 歌唱表现数据DS对例如音高或音量(分布范围)、频谱(例如特定频带内的声谱)的特征量、特定阶数的共振峰的频率及强度、与音质相关联的特征量(例如倍音成分和基音成分之间的强度比、谐波成分和非谐波成分之间的强度比)、或者MFCC(Mel-Frequency Cepstrum Coefficients)等与歌唱声音的音乐上的表情相关的各种特征量进行指定。另外，以上例示的歌唱表现是比较短时间的歌唱声音的趋势，但是也优选下述结构，即，由歌唱表现数据DS对音高或音量随时间的变化的趋势、各种歌唱技法(例如颤音、降调、长音)的趋势等跨越长时间的歌唱声音的趋势进行指定。 [0044] 各歌唱表现的属性数据DA是与歌唱声音的歌唱者、乐曲相关的信息(元数据)，利用在歌唱表现数据DS的检索中。具体地说，也可以是属性数据DA对以各歌唱表现进行了歌唱的歌唱者的信息(例如姓名、年龄、出生地、年龄、性别、人种、母语、音域)、以各歌唱表现所歌唱的乐曲的信息(例如乐曲名、作曲者、作词者、体裁、节奏、音调、和弦、音域、语言)进行指定。属性数据DA还能够对表示歌唱声音的印象、氛围的词句(例如“富有节奏感的”及“甜美的”之类的词句)进行指定。另外，第1实施方式的属性数据DA包含与以各歌唱表现进行了歌唱而得到的歌唱声音的评价结果相应的评价值(该歌唱表现数据DS的歌唱表现的优劣的评价指标)Q。例如，利用公知的歌唱评价处理计算得到的评价值Q、反映出由除歌唱者以外的各使用者作出的评价的评价值Q包含在属性数据DA中。此外，属性数据DA指定的事项不限定于以上的例示。例如，属性数据DA还能够指定在对乐曲进行了分割的音乐构造上的各区间(例如A乐段、高潮(サビ)、B乐段等各乐句)中的哪一个中以歌唱表现进行歌唱。 [0045] 图1的拾音装置14是对周围的声响进行拾音的装置(传声器)。第1实施方式的拾音装置14通过对歌唱者歌唱乐曲(歌唱曲目)而得到的歌唱声音进行拾音，从而生成声音信号R。为了方便，省略了将声音信号R从模拟变换为数字的A/D变换器的图示。此外，也优选将声音信号R存储在存储装置12中的结构(由此能够省略拾音装置14)。 [0046] 输入装置16是接收针对声音处理装置100的、来自使用者的指示的操作设备，例如包含使用者能够进行操作的多个操作件而构成。例如，作为输入装置16，采用设置在声音处理装置100的框体上的操作面板或与声音处理装置100独立的遥控器装置。 [0047] 运算处理装置10通过执行存储于存储装置12中的程序，从而执行各种控制处理及运算处理。具体地说，运算处理装置10执行下述处理，即：通过从拾音装置14供给的声音信号R的解析，对歌唱表现数据DS进行提取，储存在存储装置12中(以下称为“表现登记处理”)；以及通过将在表现登记处理中存储至存储装置12中的各歌唱表现数据DS所表示的歌唱表现赋予至存储装置12内的声音信号X，从而生成声音信号Y(以下称为“表现赋予处理”)。即，声音信号Y是下述音响信号，即，维持声音信号X的发音内容(歌词)不变，使声音信号X的歌唱表现与歌唱表现数据DS的歌唱表现吻合或类似而得到的音响信号。例如，与针对输入装置16的、来自使用者的指示相应地，选择性地执行表现登记处理及表现赋予处理中的一个。图1的放音装置18(例如扬声器或头戴式耳机)对运算处理装置10在表现赋予处理中生成的与声音信号Y所对应的声响进行播放。此外，为了方便，省略了将声音信号Y从数字变换为模拟的D/A变换器、对声音信号Y进行放大的放大器的图示。 [0048] ＜表现登记处理＞ [0049] 图2是声音处理装置100中的与表现登记处理相关的要素的功能结构图。运算处理装置10执行存储在存储装置12中的程序(表现登记程序)，从而如图2所示，作为用于实现表现登记处理的多个要素(解析处理部20、歌唱分割部22、歌唱评价部24、歌唱解析部26、属性获取部28)起作用。此外，还能够采用将图2的各功能分散至多个集成电路中的结构、利用专用电路(例如DSP)实现图2例示的功能的一部分的结构。 [0050] 图2的解析处理部20对从拾音装置14供给的声音信号R进行解析。如图3例示所示，第1实施方式的解析处理部20包含乐曲构造解析部20A、歌唱技法解析部20B和音质解析部20C而构成。乐曲构造解析部20A对与声音信号R对应的乐曲的音乐构造上的区间(例如A乐段、高潮、B乐段等各乐句)进行解析。歌唱技法解析部20B根据声音信号R，对颤音(使音高微小地变动的歌唱技法)、升调(从低于目标音高的音高变化至目标音高的歌唱技法)、降调(从高于目标音高的音高变化至目标音高的歌唱技法)等各种歌唱技法进行检测。音质解析部20C对歌唱声音的音质(例如倍音成分和基音成分之间的强度比、谐波成分和非谐波成分之间的强度比)进行解析。 [0051] 图2的歌唱分割部22针对从拾音装置14供给的声音信号R，对在歌唱表现数据DS的生成中应用的各区间(以下称为“单位区间”)进行划分。第1实施方式的歌唱分割部22根据乐曲构造、歌唱技法和音质，对声音信号R的各单位区间进行划分。具体地说，歌唱分割部22将乐曲构造解析部20A进行解析而得到的乐曲的音乐构造上的各区间的端点、歌唱技法解析部20B对各种歌唱技法进行检测而得到的各区间的端点、以及音质解析部20C进行解析而得到的音质变动的时刻作为边界，将声音信号R分割成各单位区间。此外，将声音信号R分割成多个单位区间的方法不限定于以上的例示。例如，还能够将在针对输入装置16的操作中由使用者指定的区间作为单位区间，对声音信号R进行分割。另外，还能够采用下述结构，即，以在时间轴上随机地设定的时刻，将声音信号R分割成多个单位区间，或者根据歌唱评价部24计算得到的评价值Q，将声音信号R分割成多个单位区间(例如将评价值Q变动的时刻作为边界，对各单位区间进行划分)。另外，还能够将声音信号R的整个区间(乐曲的整体)作为单位区间。 [0052] 歌唱评价部24对从拾音装置14供给的声音信号R所表示的歌唱的优劣进行评价。具体地说，歌唱评价部24针对由歌唱分割部22进行划分而得到的每个单位区间，依次计算对声音信号R的歌唱的优劣进行评价而得到的评价值Q。在由歌唱评价部24进行的评价值Q的计算中，任意地采用公知的歌唱评价处理。此外，还能够将前述的歌唱技法解析部20B进行解析而得到的歌唱技法、音质解析部20C进行解析而得到的音质应用于由歌唱评价部24进行的歌唱的评价中。 [0053] 图2的歌唱解析部26对声音信号R进行解析，从而针对每个单位区间生成歌唱表现数据DS。具体地说，歌唱解析部26从声音信号R中对音高、音量等音响上的特征量(影响歌唱表现的特征量)进行提取，生成表示各特征量的短期或长期的趋势(即歌唱表现)的歌唱表现数据DS。为了对歌唱表现进行提取，能够任意地采用公知的音响解析技术(例如在日本特开2011－013454号公报、日本特开2011－028230号公报中公开的技术)。还能够根据1个单位区间，生成对应于不同种类的歌唱表现的多个歌唱表现数据DS。此外，在以上的例示中，针对每个单位区间生成1个歌唱表现数据DS，但是也能够根据不同的单位区间的多个特征量，生成1个歌唱表现数据DS。例如，能够采用下述结构，即，通过对属性数据DA近似或吻合的多个单位区间的特征量进行平均，从而生成歌唱表现数据DS的结构，或者应用与通过歌唱评价部24而得到的各单位区间的评价值Q相应的加权值，对多个单位区间的特征量进行加权加法运算，从而生成歌唱表现数据DS的结构。 [0054] 属性获取部28针对歌唱分割部22进行划分后得到的各单位区间，生成属性数据DA。具体地说，属性获取部28将使用者利用输入装置16的操作而指示的各种信息登记在属性数据DA中。另外，属性获取部28将歌唱评价部24针对各单位区间计算得到的评价值Q(例如单位区间内的评价值的平均)包含在该单位区间的属性数据DA中。 [0055] 关于歌唱解析部26针对每个单位区间而生成的歌唱表现数据DS、和属性获取部28针对每个单位区间而生成的属性数据DA，将同一单位区间的歌唱表现数据DS、属性数据DA彼此关联地储存至存储装置12中。在上面例示的表现登记处理针对不同的多个歌唱声音的声音信号R反复进行，从而针对从多个歌唱者各自发声而得到的歌唱声音提取出的多种歌唱表现，分别将歌唱表现数据DS和属性数据DA累积在存储装置12中。即，在存储装置12中构建多种多样的歌唱表现(歌唱者不同的歌唱表现、种类不同的歌唱表现)的数据库。此外，还能够将多个歌唱表现数据DS合并，生成1个歌唱表现数据DS。例如，能够采用下述结构，即，通过对属性数据DA近似或吻合的多个歌唱表现数据DS进行平均，从而生成新的歌唱表现数据DS，或者应用与通过歌唱评价部24而得到的评价值Q相应的加权值，对多个歌唱表现数据DS进行加权加法运算，从而生成新的歌唱表现数据DS。 [0056] 图4是表现登记处理的流程图。如图4所示，如果利用输入装置16的操作，使用者对表现登记处理的执行进行指示(SA1)，则解析处理部20对从拾音装置14供给的声音信号R进行解析(SA2)。歌唱分割部22根据通过解析处理部20而得到的解析结果，将声音信号R分割成各单位区间(SA3)，歌唱解析部26对声音信号R进行解析，从而针对每个单位区间生成歌唱表现数据DS(SA4)。另外，歌唱评价部24针对每个单位区间，计算与声音信号R所表示的歌唱的优劣相应的评价值Q(SA5)，属性获取部28针对每个单位区间，生成包含歌唱评价部24针对每个单位区间计算得到的评价值Q在内的属性数据DA(SA6)。歌唱解析部26生成的歌唱表现数据DS和属性获取部28生成的属性数据DA，针对每个单位区间而储存在存储装置12中(SA7)。由在以上说明的表现登记处理中累积在存储装置12中的歌唱表现数据DS所指定的歌唱表现，在以下说明的表现赋予处理中被赋予至声音信号X。 [0057] ＜表现赋予处理＞ [0058] 图5是声音处理装置100中的与表现赋予处理相关的要素的功能结构图。运算处理装置10执行存储在存储装置12中的程序(表现赋予程序)，从而如图5所示，作为用于实现表现赋予处理的多个功能(歌唱选择部32、区间指定部34、表现选择部36、表现赋予部38)起作用。此外，也能够采用将图5的各功能分散至多个集成电路中的结构、或者由专用的电路(例如DSP)执行图5中例示的功能的一部分的结构。 [0059] 歌唱选择部32选择存储在存储装置12中的多个声音信号X中的某一个(以下称为“选择声音信号X”)。例如歌唱选择部32与针对输入装置16的、来自使用者的指示(声音信号X的选择指示)相应地，从存储装置12的多个声音信号X中对选择声音信号X进行选择。 [0060] 区间指定部34对歌唱选择部32所选择的选择声音信号X中的、应该赋予歌唱表现数据DS的歌唱表现的大于或等于1个区间(以下称为“对象区间”)进行指定。具体地说，区间指定部34与针对输入装置16的、来自使用者的指示相应地，对各对象区间进行指定。例如，区间指定部34将在输入装置16的操作中使用者在时间轴上(例如选择声音信号X的波形上)所指定的2点间的区间划分为对象区间。区间指定部34所指定的多个对象区间能够在时间轴上彼此重复。此外，还能够将选择声音信号X的整个区间(乐曲的整体)指定为对象区间。 [0061] 图5的表现选择部36针对区间指定部34所指定的每个对象区间，对存储在存储装置12中的多个歌唱表现数据DS中的、实际地应用于表现赋予处理的歌唱表现数据DS(以下称为“对象表现数据DS”)依次进行选择。第1实施方式的表现选择部36通过利用与各歌唱表现数据DS相关联地存储在存储装置12中的属性数据DA进行的检索处理，从多个歌唱表现数据DS中，选择对象表现数据DS。 [0062] 例如，使用者对输入装置16适当地进行操作，从而能够针对每个对象区间，指定对象表现数据DS的检索条件(例如检索词)。表现选择部36针对每个对象区间，将存储装置12的多个歌唱表现数据DS中的、与使用者指定的检索条件吻合的属性数据DA所对应的歌唱表现数据DS，选择作为对象表现数据DS。例如，如果使用者对歌唱者的检索条件(例如年龄、性别)进行指定，则检索与检索条件吻合的歌唱者的属性数据DA所对应的对象表现数据DS(即与检索条件吻合的歌唱者的歌唱表现)。另外，如果使用者对乐曲的检索条件(例如乐曲的体裁、音域)进行指定，则检索与检索条件吻合的乐曲的属性数据DA所对应的对象表现数据DS(即与检索条件吻合的乐曲的歌唱表现)。另外，如果使用者对歌唱声音的评价值Q的检索条件(例如数值范围)进行指定，则检索与检索条件吻合的评价值Q的属性数据DA所对应的对象表现数据DS(即，使用者希望的水准的歌唱者的歌唱表现)。根据以上说明进行理解可知，第1实施方式的表现选择部36表现为与来自使用者的指示相应地对歌唱表现数据DS(对象表现数据DS)进行选择的要素。 [0063] 图5的表现赋予部38对歌唱选择部32所选择的选择声音信号X赋予对象表现数据DS的歌唱表现，从而生成声音信号Y。具体地说，表现赋予部38对选择声音信号X中的、由区间指定部34所指定的多个对象区间，各自赋予表现选择部36针对该对象区间而选择的对象表现数据DS的歌唱表现。即，对选择声音信号X中的与来自使用者的指示相应的各对象区间，赋予与来自使用者的指示(检索条件的指定)相应的歌唱表现。为了对选择声音信号X赋予歌唱表现，任意地采用公知的技术。此外，除了将选择声音信号X的歌唱表现置换为对象表现数据DS的歌唱表现的结构(选择声音信号X的歌唱表现不残留在声音信号Y中的结构)以外，还能够采用对选择声音信号X的歌唱表现累积地赋予对象表现数据DS的歌唱表现的结构(例如选择声音信号X的歌唱表现和对象表现数据DS的歌唱表现两者均反映在声音信号Y中的结构)。 [0064] 图6是表现赋予处理的流程图。如图6所示，如果利用输入装置16的操作，使用者对表现赋予处理的执行进行指示(SB1)，则歌唱选择部32从存储在存储装置12中的多个声音信号X中，对选择声音信号X进行选择(SB2)，区间指定部34针对选择声音信号X，对大于或等于1个对象区间进行指定(SB3)。另外，表现选择部36从存储在存储装置12中的多个歌唱表现数据DS中，选择对象表现数据DS(SB4)，表现赋予部38对歌唱选择部32所选择的选择声音信号X的各对象区间赋予对象表现数据DS的歌唱表现，从而生成声音信号Y(SB5)。将表现赋予部38生成的声音信号Y从放音装置18进行播放(SB6)。 [0065] 图7是应用了表示颤音的歌唱表现数据DS而进行的表现赋予处理的具体例的说明图。在图7中对选择声音信号X的音高(pitch)随时间的变化、和多个歌唱表现数据DS(DS[1]～DS[4])进行了例示。各歌唱表现数据DS在针对各声音信号R的表现登记处理中生成，其中，各声音信号R收录了不同的歌唱者的歌唱声音。因此，对于各歌唱表现数据DS(DS[1]～DS[4])所表示的颤音，音高的变动周期(速度)、变动幅度(深度)等特性不同。如图7所示，例如如果与来自使用者的指示相应地对选择声音信号X的对象区间进行指定(SB3)，从多个歌唱表现数据DS中例如与来自使用者的指示相应地选择对象表现数据DS[3](SB4)，则通过表现赋予处理，生成将对象表现数据DS[3]所表示的颤音赋予至选择声音信号X的对象区间而得到的声音信号Y(SB5)。根据以上说明进行理解可知，向未赋予颤音地歌唱而得到的歌唱声音(例如不擅长进行带有颤音的歌唱的歌唱者的歌唱声音)的声音信号X中的所希望的对象区间赋予所希望的歌唱表现数据DS的颤音。此外，用于使用者从多个歌唱表现数据DS中选择对象表现数据DS的结构是任意的。例如，优选下述结构，即，将赋予了各歌唱表现数据DS的歌唱表现后的规定的歌唱声音从放音装置18播放，由使用者收听(即试听)，使用者基于收听的结果，对输入装置16(例如按钮、触摸面板)进行操作，从而选择对象表现数据DS。 [0066] 在图8中，假设下述情况，即，表现选择部36针对选择声音信号X的对象区间S1，选择对象表现数据DS1，针对与对象区间S1不同的对象区间S2，表现选择部36选择对象表现数据DS2。表现赋予部38将对象表现数据DS1所表示的歌唱表现E1赋予至对象区间S1，并且将对象表现数据DS2所表示的歌唱表现E2赋予至对象区间S2。 [0067] 另外，如图9所示，在对象区间S1和对象区间S2重复的情况下(对象区间S2包含在对象区间S1内的情况下)，对象表现数据DS1的歌唱表现E1和对象表现数据DS2的歌唱表现E2重复地赋予至选择声音信号X中的对象区间S1和对象区间S2的重复区间(即对象区间S2)。即，多个(在典型情况下是多种)歌唱表现重复地赋予至选择声音信号X的特定区间。例如，与音高的变动相关的歌唱表现E1和与音量的变动相关的歌唱表现E2两者赋予至选择声音信号X(对象区间S2)。将在以上的处理中生成的声音信号Y向放音装置18供给，从而作为声响进行播放。 [0068] 如以上说明所述，在第1实施方式中，选择性地将表示不同的歌唱表现的多个歌唱表现数据DS各自的歌唱表现赋予至选择声音信号X的对象区间。因此，与专利文献1的技术相比，能够生成多样的歌唱表现的歌唱声音(声音信号Y)。 [0069] 在第1实施方式中，特别地，由于针对在选择声音信号X中所指定的多个对象区间，各自赋予独立的歌唱表现(图8、图9)，因此与赋予了歌唱表现的对象区间限制于选择声音信号X的1个区间的结构相比，前述效果格外显著，即，能够生成多样的歌唱表现的歌唱声音。另外，在第1实施方式中，由于能够将多个(多种)歌唱表现重复地赋予至选择声音信号X的对象区间(图9)，因此与赋予至对象区间的歌唱表现限制于1种的结构相比，能够生成多样的歌唱表现的歌唱声音这一效果格外显著。但是，赋予歌唱表现的对象区间限制于选择声音信号X的1个区间的结构、赋予至对象区间的歌唱表现限制于1种的结构也包含在本发明的范围内。 [0070] 另外，在第1实施方式中，由于与来自使用者的指示相应地对选择声音信号X的对象区间进行指定，且与来自使用者的指示相应地对属性数据DA的检索条件进行设定，因此还具有下述优点，即，能够生成充分地反映了使用者的意图、嗜好的多样的歌唱声音。 [0071] ＜第2实施方式＞ [0072] 对本发明的第2实施方式进行说明。在第1实施方式的声音处理装置100中，存储在存储装置12中的多个歌唱表现数据DS利用在声音信号X的歌唱表现的调整中。在第2实施方式的声音处理装置100中，存储在存储装置12中的多个歌唱表现数据DS利用在声音信号X的评价中。此外，对于在下面例示的各方式中作用、功能与第1实施方式相同的要素，沿用在第1实施方式的说明中参照过的标号，适当地省略各自的详细说明。 [0073] 图10是第2实施方式的声音处理装置100中的、与对声音信号X进行评价的处理(以下称为“歌唱评价处理”)相关的要素的功能结构图。第2实施方式的存储装置12对多组在与第1实施方式相同的表现登记处理中生成的歌唱表现数据DS及属性数据DA进行存储。对应于各歌唱表现数据DS的属性数据DA，如针对第1实施方式在前面的叙述所示，包含由图2的歌唱评价部24计算得到的评价值(该歌唱表现数据DS的歌唱表现力的优劣的评价指标)Q而构成。 [0074] 运算处理装置10执行存储在存储装置12中的程序(歌唱评价程序)，从而如图10所示，作为用于实现歌唱评价处理的多个要素(歌唱选择部42、区间指定部44、歌唱评价部46)起作用。例如，与针对输入装置16的、来自使用者的指示相应地，选择性地执行第1实施方式的表现赋予处理和在下面详述的歌唱评价处理。但是，在第2实施方式中，还能够省略表现赋予处理。此外，还能够采用将图10的各功能分散至多个集成电路中的结构、或者利用专用的电路(例如DSP)实现图10中例示的功能的一部分的结构。 [0075] 图10的歌唱选择部42选择存储在存储装置12中的多个声音信号X中的、成为评价对象的选择声音信号X。具体地说，歌唱选择部42与第1实施方式的歌唱选择部32同样地，与针对输入装置16的、来自使用者的指示相应地，从存储装置12中对选择声音信号X进行选择。另外，区间指定部44对歌唱选择部42所选择的选择声音信号X中的、成为评价对象的大于或等于1个对象区间进行指定。具体地说，区间指定部44与第1实施方式的区间指定部34同样地，与针对输入装置16的、来自使用者的指示相应地，对各对象区间进行指定。此外，还能够将选择声音信号X的整个区间指定为对象区间。 [0076] 图10的歌唱评价部46利用存储在存储装置12中的各歌唱表现数据DS及各属性数据DA(评价值Q)，对歌唱选择部42所选择的选择声音信号X的歌唱的优劣进行评价。即，歌唱评价部46根据存储装置12的多个歌唱表现数据DS中的、与选择声音信号X的各对象区间类似的歌唱表现的歌唱表现数据DS所对应的属性数据DA内的评价值Q，对选择声音信号X的评价值Z进行计算。下面对歌唱评价部46的具体动作进行说明。 [0077] 对于歌唱评价部46，首先，针对每个对象区间，关于存储装置12内的多个歌唱表现数据DS，分别计算歌唱表现数据DS所表示的歌唱表现和选择声音信号X的对象区间的歌唱表现之间的类似度(相关度或差距)，针对选择声音信号X的多个对象区间，各自依次选择多个歌唱表现数据DS中的与对象区间的歌唱表现之间的类似度成为最大的歌唱表现数据DS。为了计算歌唱表现的类似度，能够任意地采用用于对特征量进行比较的公知技术。 [0078] 然后，歌唱评价部46将针对选择声音信号X的各对象区间而选择的歌唱表现数据DS所对应的属性数据DA的评价值Q，针对选择声音信号X的多个对象区间进行加权加法运算(或者平均)，从而计算选择声音信号X的评价值Z。根据以上说明进行理解可知，以与评价值Q较高的歌唱表现类似的歌唱表现进行了歌唱的对象区间在选择声音信号X内包含得越多，则选择声音信号X的评价值Z设定为越大的数值。歌唱评价部46计算得到的评价值Z例如通过显示装置(省略图示)进行的图像显示、通过放音装置18进行的声音播放而通知给使用者。 [0079] 图11是歌唱评价处理的流程图。如图11所示，如果利用输入装置16的操作，使用者对歌唱评价处理的执行进行指示(SC1)，则歌唱选择部42从存储在存储装置12中的多个声音信号X中，对选择声音信号X进行选择(SC2)，区间指定部44针对选择声音信号X，指定大于或等于1个对象区间(SC3)。歌唱评价部46利用存储在存储装置12中的各歌唱表现数据DS和各属性数据DA，对选择声音信号X的评价值Z进行计算(SC4)。将歌唱评价部46计算得到的评价值Z通知给使用者(SC5)。 [0080] 如以上说明所述，在第2实施方式中，根据歌唱表现与选择声音信号X类似的歌唱表现数据DS的评价值Q，对选择声音信号X的评价值Z进行计算。因此，能够从歌唱表现的优劣(与在表现登记处理中登记的歌唱表现是否类似)的角度出发，适当地对选择声音信号X进行评价。此外，根据以上说明进行理解还可知，在第2实施方式中，能够省略属性数据DA中的除了评价值Q以外的信息。即，第2实施方式的存储装置12表现为下述要素，即，针对不同的多个歌唱表现，对表示歌唱表现的歌唱表现数据DS和表示该歌唱表现的评价的评价值Q进行存储。 [0081] ＜变形例＞ [0082] 能够对前述的各方式进行多样的变形。下面对具体的变形方式进行例示。能够对从下面的例示中任意地选择的大于或等于2个方式适当地进行合并。 [0083] (1)第1实施方式的表现赋予处理的对象及第2实施方式的歌唱评价处理的对象，不限定于事先收录并储存在存储装置12中的声音信号X。例如，还能够将拾音装置14生成的声音信号X、从移动型或内置型的记录介质(例如CD)播放的声音信号X、经由通信网络从其他的通信终端接收的声音信号(例如流形式的声音信号)X作为表现赋予处理及歌唱评价处理的对象。另外，还采用下述结构，即，针对在公知的声音合成处理(例如基元连接型的歌唱合成处理)中生成的声音信号X，执行表现赋予处理、歌唱评价处理。此外，在前述的各方式中，针对已收录的声音信号X执行了表现赋予处理、歌唱评价处理，但例如如果事先对时间轴上的各对象区间进行指定，则还能够与声音信号X的供给并行地实时执行表现赋予处理、歌唱评价处理。 [0084] 另外，在前述的各方式中，将多个声音信号X中的某一个作为选择声音信号X而进行选择，但是能够省略声音信号X的选择(歌唱选择部32或歌唱选择部42)。此外，在将声音信号X的整个区间(乐曲的整体)指定为对象区间的结构中，也能够省略区间指定部34。因此，执行表现赋予处理的声音处理装置如在图12中例示所示，概括地表现为具有表现选择部36和表现赋予部38的装置，其中，该表现选择部36从多个歌唱表现数据DS中，对作为应用对象的歌唱表现数据DS进行选择，该表现赋予部38将表现选择部36选择的歌唱表现数据DS所表示的歌唱表现赋予至歌唱声音(声音信号X)的特定区间。 [0085] 表现登记处理的对象也同样地不限定于拾音装置14生成的声音信号R。例如，还能够将从移动型或内置型的记录介质播放的声音信号R、经由通信网络从其他通信终端接收的声音信号R作为表现登记处理的对象。另外，还能够与声音信号R的供给并行地实时执行表现登记处理。 [0086] (2)在前述的各方式中，将表示歌唱声音的时间波形的声音信号X作为对象，执行了第1实施方式的表现赋予处理、第2实施方式的歌唱评价处理，但是作为表现赋予处理、歌唱评价处理的对象的歌唱声音的表现形式是任意的。具体地说，还能够利用针对乐曲的每个音符、按照时间序列对音高和发音文字(歌词)进行指定的合成信息(例如VSQ形式的文件)，对歌唱声音进行表现。例如第1实施方式的表现赋予部38一边利用例如基元连接型的声音合成处理，对在合成信息中指定的歌唱声音依次进行合成，一边通过与第1实施方式同样的表现赋予处理，赋予歌唱表现。同样地，第2实施方式的歌唱评价部46一边利用声音合成处理，对在合成信息中指定的歌唱声音依次进行合成，一边执行与第2实施方式相同的歌唱评价处理。 [0087] (3)在第1实施方式中，针对每个对象区间，选择1个对象表现数据DS，但是也能够针对1个对象区间，表现选择部36选择多个(在典型情况下是多种)对象表现数据DS。表现选择部36选择的多个对象表现数据DS各自的歌唱表现重复地赋予至选择声音信号X的1个对象区间。另外，还能够将针对1个对象区间而选择的多个对象表现数据DS合并而得到的1个歌唱表现数据DS(例如对多个对象表现数据DS进行加权加法运算而得到的歌唱表现数据DS)的歌唱表现赋予至该对象区间。 [0088] (4)在第1实施方式中，通过指定检索条件，从而选择了与来自使用者的指示相应的歌唱表现数据DS，但是表现选择部36对歌唱表现数据DS进行选择的方法是任意的。例如，还能够从放音装置18播放各歌唱表现数据DS所表示的歌唱表现的歌唱声音，从而由使用者试听，由表现选择部36对使用者考虑到试听的结果后所指定的歌唱表现数据DS进行选择。另外，还采用下述结构，即，随机地选择存储在存储装置12中的各歌唱表现数据DS的结构，或者按照事先选择的规定的规则，对各歌唱表现数据DS进行选择的结构。 [0089] (5)在第1实施方式中，将表现赋予部38生成的声音信号Y向放音装置18供给并播放，但是声音信号Y的输出方法是任意的。例如还采用下述结构，即，将表现赋予部38生成的声音信号Y储存在特定的记录介质(例如存储装置12、移动型的记录介质)中的结构，或者将声音信号Y从通信装置向其他通信终端发送的结构。 [0090] (6)在第1实施方式中，例示了执行表现登记处理及表现赋予处理这两者的声音处理装置100，但是也能够将执行表现登记处理的声音处理装置和执行表现赋予处理的声音处理装置单独地构成。在登记用的声音处理装置的表现登记处理中生成的多个歌唱表现数据DS向表现赋予用的声音处理装置转送，应用于表现赋予处理。同样地，在第2实施方式中，也能够将执行表现登记处理的声音处理装置和执行歌唱评价处理的声音处理装置单独地构成。 [0091] (7)还能够在与移动电话等终端装置进行通信的服务器装置中实现声音处理装置100。例如，声音处理装置100执行下述处理：表现登记处理，其通过对从终端装置接收的声音信号R的解析，对歌唱表现数据DS进行提取，储存至存储装置12中；以及表现赋予处理，其将歌唱表现数据DS所表示的歌唱表现赋予至声音信号X而得到的声音信号Y向终端装置发送。即，本发明还能够作为具有彼此进行通信的声音处理装置(服务器装置)和终端装置的声音处理系统而实现。另外，前述的各方式的声音处理装置100还能够作为将各功能分散至多个装置中的系统(声音处理系统)而实现。 [0092] (8)在第2实施方式中，利用存储在存储装置12中的各歌唱表现数据DS及各属性数据DA(评价值Q)，歌唱评价部46对声音信号X的歌唱的优劣进行了评价，但也可以歌唱评价部46从不同于存储装置12的装置得到评价值Q，对声音信号X的歌唱的优劣进行评价。 [0093] 本申请基于2013年3月15日提出的日本专利申请(特愿2013－053983)，其内容在此作为参照而摘入。 [0094] 工业实用性 [0095] 根据本发明，能够生成多样的歌唱表现的歌唱声音。 [0096] 标号的说明 [0097] 100……声音处理装置，10……运算处理装置，12……存储装置，14……拾音装置，16……输入装置，18……放音装置，20……解析处理部，20A……乐曲构造解析部，20B……歌唱技法解析部，20C……音质解析部，22……歌唱分割部，24、46……歌唱评价部，26……歌唱解析部，28……属性获取部，32、42……歌唱选择部，34、44……区间指定部，36……表现选择部，38……表现赋予部。 |
||||||
QQ群二维码
意见反馈
意见反馈