基于变分自编码器的具有特定地域风格的中国民歌自动生成方法
专利汇可以提供基于变分自编码器的具有特定地域风格的中国民歌自动生成方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于变分自 编码器 的具有特定地域 风 格的中国民歌自动生成方法，该方法首先将音乐表示为与其对应的音高序列、音程序列和节奏序列，然后基于变分自编码器建立中国民歌生成模型，并将变分自编码器隐变量空间按音乐的音高、节奏、内容以及风格分割为四个子空间，同时采用对抗训练的方法将四个隐变量子空间进行分离，最后利用上述模型来生成具有特定地域标签的中国民歌。相较于其他对西方音乐的研究，本发明立足于中国民歌的地域风格，通过对变分自编码器隐空间的操控，成功地捕捉到中国民歌的地域风格信息。通过理论分析和实验分析，本发明能有效地分离变分自编码器的各个隐变量，成功生成具有特定地域风格的民歌。，下面是基于变分自编码器的具有特定地域风格的中国民歌自动生成方法专利的具体信息内容。
1.基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，该方法首先将音乐表示为与其对应的音高序列、音程序列和节奏序列，然后基于变分自编码器建立中国民歌生成模型，并将变分自编码器的隐变量空间按音乐的音高、节奏、内容以及风格分割为四个子空间，同时采用对抗训练的方法将四个隐变量子空间进行分离，最后利用建立的中国民歌生成模型来生成具有特定地域标签的中国民歌。
2.根据权利要求1所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，具体包括以下步骤：
1)音乐表示：将一段中国民歌旋律M表示为由音高P、音程I和节奏R三部分组成的序列，各子序列表示如下：
1-1)音高序列P的表示：由中国民歌旋律中呈现的音高类型组成，休止符被分配了一个特殊的标记；
1-2)音程序列I的表示：以半音为步长，每个音程表示为下一个音高和当前音高之间的差值；
1-3)节奏序列R的表示：由中国民歌旋律中呈现的时长类型组成；
2)建立中国民歌生成模型：将音高、音程和节奏三个子序列作为变分自编码器的输入，同时将变分自编码器的隐变量空间按照音高、节奏、风格以及内容分割为音乐的音高风格隐变量、音高内容隐变量、节奏风格隐变量和节奏内容隐变量四个子空间，最后经过解码器得到旋律序列；
3)隐变量空间分离：引入对抗训练方法将音乐的音高、节奏、风格以及内容四个隐变量子空间进行分离，具体包括以下步骤：
3-1)采用对抗训练和时间监督方法分离音高和节奏子隐变量：将音高子隐变量输入节奏解码器，同时将节奏子隐变量输入音高解码器，迫使各自解码器输出错误的序列，即预测结果为全零序列；
3-2)采用对抗训练和标签监督方法分离风格和内容子隐变量：使用地域信息定义两个分类器：风格分类器和对抗分类器；其中风格分类器的训练目标是从风格子隐变量中正确识别地域风格；对抗分类器训练目标为从内容子隐变量中无法识别出地域风格信息；
4)具有特定地域标签的中国民歌生成：根据上述的变分自编码器建立方法和隐变量空间的分离方法训练模型，最后根据输入的地域风格信息生成具有相应地域风格的中国民歌。
3.根据权利要求2所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，所述步骤1)中使用的民歌数据均被转为C调下，并使用python MIDI音乐工具包提取每首歌曲的旋律信息表示为音高P、音程I和节奏R三种序列。
4.根据权利要求2所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，所述步骤2)的具体模型建立过程如下：
(i)给定一个中国民歌旋律序列M＝{m1,m2,…,mk,…,mn}，其中mk表示第k个音符对应的音高标记pk、音程序列ik和节奏序列rk的特征组合，将音高、音程及节奏三种子序列分别输入至三个编码器，然后将三个编码器的输出向量拼接为一个向量；编码器采用带有残差连接的双向门限循环单元网络，双向门限循环单元网络以下简称为GRU；
(ii)从编码器输出的线性变换中分别采样得到音高风格隐变量 音高内容变量节奏风格变量 和节奏内容变量 然后，将 和 连接到总音高隐变量ZP中，用于预测音高序列 在节奏变量中使用相同的操作来预测 最后，将所有隐变量连接起来用于预测整个旋律序列 解码器是一个普通的两层GRU模型；根据上述过程，变分自编码器的基本损失函数表示如下：
其中H(·,·)和BCE(·,·)分别表示预测值和目标值之间的交叉熵和二元交叉熵，KLtotal表示四个隐变量的Kullback-Leibler散度损失之和，β为KL散度项系数，用于改善模型的生成能力。
5.根据权利要求4所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，β＜1。
6.根据权利要求4所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，所述步骤3-1)具体操作为：使用时间监督和对抗训练方式分离中国民歌的音高和节奏子隐变量，即将音高隐变量ZP输入到节奏解码器，节奏隐变量ZR输入到音高解码器，迫使两个解码器预测出全零序列，由此得到两个基于交叉熵的损失：
其中，0指全零序列，·指向量对应元素的乘积， 为节奏隐变量输入到音高解码器得到的序列， 为音高隐变量输入到节奏解码器得到的输出序列。
7.根据权利要求6所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，所述步骤3-2)具体操作为：将四部分子隐变量合并得到音乐风格子隐变量Zs和内容子隐变量Zc，然后使用标签监督和对抗训练方式分离中国民歌风格和内容子隐变量；具体地，利用中国民歌的地域信息定义风格分类器和对抗分类器，其中风格分类器和对抗分类器都是具有Softmax函数的线性层，风格分类器确保风格子隐变量对地域标签具有区分性，而对抗分类器确保内容子隐变量对于地域标签不具有区分性；
对于风格分类器，其损失函数定义为：
其中，y表示真实的风格标签，p(y|Zs)是来自风格分类器的预测概率分布；
对于对抗分类器，通过最大化对抗分类器预测的经验熵值进行训练，同时将对抗分类器的参数进行独立训练，确保分类器的梯度不会回传给变分自编码器的其他模块，其损失函数定义如下：
其中p(y|Zc)是来自对抗分类器的预测概率分布；
综上，模型的总体训练目标是最小化如下损失函数：
8.根据权利要求7所述的基于变分自编码器的具有特定地域风格的中国民歌自动生成方法，其特征在于，所述步骤4)具体操作为：根据给定的地域风格，将从已训练好的风格隐变量分布中采样得到给定风格的地域风格隐变量，与从随机标准正态分布中采样得到的内容隐变量拼接得到完整的隐变量，然后分别输入至训练后的音高解码器和节奏解码器生成音高序列和节奏序列，最后得到新的中国民歌旋律序列。
基于变分自编码器的具有特定地域风格的中国民歌自动生成
方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于演奏报错的曲谱显示方法 | 2020-05-24 | 932 |
| 一种视频拍摄方法、装置和终端设备 | 2020-05-25 | 804 |
| 一种视频拍摄方法、装置和终端设备 | 2020-05-16 | 780 |
| 一种基于智能教学机器人的控制系统 | 2020-05-22 | 727 |
| 用于提高泵性能和用户体验的方法及交互式系统 | 2020-05-12 | 721 |
| 一种租琴系统 | 2020-05-13 | 102 |
| 基于大数据的音乐存储与提取系统 | 2020-05-17 | 679 |
| 一种基于语音转换的情感疏导系统 | 2020-05-24 | 190 |
| 一种基于社交网络的心理异常变化的自动观测技术 | 2020-05-18 | 515 |
| 应用于工程项目中的三维动画与实拍视频合成技术 | 2020-05-16 | 20 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
