一种基于fastText和CRF的音乐领域命令理解方法专利检索-隐藏层多层感知器前馈神经网络人工神经网络机器学习人工智能人工智能专利检索查询-专利查询网

一种基于fastText和CRF的音乐领域命令理解方法

阅读：1006发布：2020-11-03

专利汇可以提供一种基于fastText和CRF的音乐领域命令理解方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于fastText和CRF的音乐领域命令理解方法，包括以下步骤：步骤1：训练字向量，得到预训练好的字向量和训练数据集合；步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过和计算得到意图识别结果y；步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体；步骤4：对步骤3中所得的所述目标序列标签进行处理，得到对应的音乐领域实体。本发明通过fastText技术判断用户话语是否含有音乐领域相关意图，结合CRF进行相关参数提取，解决音乐领域相关参数提取错误导致意图判断错误的问题。，下面是一种基于fastText和CRF的音乐领域命令理解方法专利的具体信息内容。

权利要求

1.一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：
包括以下步骤：
步骤1：训练字向量，得到预训练好的字向量和训练数据集合；
步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y；其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果；
步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体，所述提取出对应的音乐实体的过程为：定义X为输入样本随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)为状态特征，状态特征依赖于当前位置，t(yi-1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置，K1为转移特征数量，K2为状态特征数量，K＝K1+K2，则可以用以下公式表示：
然后对转移特征与状态特征在各个位置i求和，记作：
其中n表示序列长度，用wk表示特征fk(y,x)的权值，
即： CRF的全局特征可以定义为此时条
件随机场可以表示成：其中训练样
本集合则优化的目标为其中M为训练集数目大小，调整
参数W从而使得优化目标取得最大值，模型训练完成之后，即特征向量权重W求解完成，对于新来输入序列x，通过求解以下式子得到预测标签序列，从而得到目标序列标签：
步骤4：对步骤3中所得的所述目标序列标签进行处理，得到对应的音乐领域实体。
2.根据权利要求1所述的一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：所述步骤1中的训练字向量为采用word2vec工具用维基百科整个中文语料训练出预训练好的字向量。
3.根据权利要求1或2所述的一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：所述的训练中，设置一个窗口大小为z，每次取z个字，把它们的字向量求平均作为输入C，然后隐藏h＝tanh(Wc·C+bc)，最后通过全连接层得到y＝softmax(U·h+bh)，其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果。其要优化的目标为L＝ylogy'+(1-y)log(1-y')，其中y'为真实标签植。

说明书全文

一种基于fastText和CRF的音乐领域命令理解方法

技术领域

[0001] 本发明涉及多媒体分析技术领域，具体涉及一种基于fastText和CRF的音乐领域命令理解方法。

背景技术

[0002] 对话系统是人机交互的一种相当重要的形式，也是自然语言处理过程中的一个关键的研究方向。在音乐领域，能否正确解析出用户话语命令是完成用户指定任务的基础，在很多地方比如语音助手、音乐平台都有很丰富的应用场景。对于用户某条话语，条件随机场(CRF)模型并不能很好的区分其是否表达了一个音乐领域内的意图。CRF一般在序列标注、命名实体识别过程表现较好，但在识别音乐实体之前，需要判断此用户话语是否表达音乐意图，这样做有二个好处，一是若判断用户话语没有表达音乐意图，则不需要进行后续实体提取操作，因为此时已经完成无音乐意图解析操作，二是若不做判断，则很有可能一段用户话语没有表现音乐意图，但是被错误的提取出了音乐实体，比如“刘德华的老婆是谁”这句用户话语，若不先进行音乐意图判断操作，则很有可能将“刘德华”识别成歌手实体，从而这句话也被解析成音乐意图，而实际上这句话并没有表达音乐领域的相关意图。本发明提出了一种基于快速文本分类(fastText)模型和条件随机场(CRF)模型的方法，fastText模型的目标为判断用户的话语是否表达了一个音乐领域的意图。若该话语确实表达了音乐领域的意图，那么为了完成该意图，CRF模型目标是提取该话语的相关参数(话语中的相关参数也被成为”槽”)，从而本发明能更好的理解音乐领域用户话语的命令。

[0003] 现有技术大多数把这个问题定义成一个序列标注问题，输入为句子序列，输出目标为句子标注序列标签，然后根据标注序列标签就能提取出对应的音乐实体。过程如下：定义X为输入句子随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)是状态特征，状态特征依赖于当前位置，t(yi-1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置。

[0004] 我们这里统一表示状态特征和转移特征，

[0005] (1)假设有K1个转移特征，K2个状态特征，K＝K1+K2，则可以用以下公式表示：

[0006] (2)然后对转移特征与状态特征在各个位置i求和，记作：其中n表示序列长度。用wk表示特征fk(y,x)的权值，即： CRF
的全局特征可以定义为此时条件随机场可以表示成：
其中

[0007] 对于训练样本集合我们要优化的目标为最大化其中M为训练集数目大小。通过训练集，我们调整参数W从而使得优化目标取得最大值。

[0008] 模型训练完成之后，即特征向量权重W求解完成，对于新来输入序列x，我们通过求解以下式子得到预测标签序列，从而得到音乐实体：得到y’。即是目标序列标签，根据目标序列标签提出实体。

[0009] 现有技术大多数直接提取该话语的音乐领域相关参数，这样做很有可能一段用户话语没有表现音乐意图，但是被错误的提取出了音乐实体，比如“刘德华的老婆是谁”这句用户话语，若不先进行音乐意图判断操作，则很有可能将“刘德华”识别成歌手实体，从而这句话也被解析成音乐意图，而实际上这句话并没有表达音乐领域的意图。而这种类型的用户话语是相当多的，现有技术不能很好的处理这种情况，从而造成大量误判。

发明内容

[0010] 本发明目的是：提供一种基于fastText和CRF的音乐领域命令理解方法。

[0011] 本发明的技术方案是：一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：包括以下步骤：

[0012] 步骤1：训练字向量，得到预训练好的字向量和训练数据集合；

[0013] 步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y；其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果；

[0014] 步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体，所述提取出对应的音乐实体的过程为：定义X为输入样本随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)为状态特征，状态特征依赖于当前位置，t(yi-1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置，K1为转移特征数量，K2为状态特征数量，K＝K1+K2，则可以用以下公式表示：

[0015] 然后对转移特征与状态特征在各个位置i求和，记作：其中n表示序列长度，用wk表示特征fk(y,x)的权值，即： CRF
的全局特征可以定义为此时条件随机场可以表示成：
其中训练样本集合则优化的目标为其
中M为训练集数目大小，调整参数W从而使得优化目标取得最大值，模型训练完成之后，即特征向量权重W求解完成，对于新来输入序列x，通过求解以下式子得到预测标签序列，从而得到目标序列标签：

[0016] 步骤4：对步骤3中所得的所述目标序列标签进行处理，得到对应的音乐领域实体。

[0017] 进一步的：所述步骤1中的训练字向量为采用word2vec工具用维基百科整个中文语料训练出预训练好的字向量。

[0018] 进一步的：所述的训练中，设置一个窗口大小为z，每次取z个字，把它们的字向量求平均作为输入C，然后隐藏h＝tanh(Wc·C+bc)，最后通过全连接层得到y＝softmax(U·h+bh)，其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果。其要优化的目标为L＝ylogy'+(1-y)log(1-y')，其中y'为真实标签植。

[0019] 与现有技术相比，本发明的优点是：本发明通过fastText技术对用户话语进行判断，先判断是否含有音乐领域相关意图，若判断该话语表达了音乐领域相关意图，则使用CRF进行相关参数提取，若判断该话语没有表达音乐领域相关意图，则判断结束，不需要进行后续操作，这样就能解决后面音乐领域相关参数提取错误导致的意图判断错误的问题。附图说明

[0020] 下面结合附图及实施例对本发明作进一步描述：

[0021] 图1为本发明的流程图；

[0022] 下面结合实施例对本发明作进一步描述：

具体实施方式

[0023] 实施例：步骤1：训练过程：

[0024] 训练数据集类型如下：

[0025] 请播放周杰伦的稻香 artist：周杰伦，song：稻香

[0026] 刘德华的老婆是谁 No-music

[0027] 对于训练数据集合，我们分别训练fastText和CRF模型：

[0028] (1)fastText模型训练过程：

[0029] 对于训练集中的No-music(无音乐意图)，则标记为负样本标签0，否则标记为正样本标签1。

[0030] 即训练数据变为以下格式：

[0031] 请播放周杰伦的稻香 1

[0032] 刘德华的老婆是谁 0

[0033] 构建好训练集之后，Fasttext模型训练过程如上。

[0034] 预测过程：

[0035] 对于新的话语句子：唱一首稻香，首先分字处理：唱一首稻香，然后从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C。把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y。

[0036] 步骤2：CRF模型训练过程：

[0037] 在CRF模型训练过程中，数据格式变换成以下格式：

[0038] 请播放周杰伦的稻香 O O O A-B A-I A-E O S-B S-E

[0039] 刘德华的老婆是谁 O O O O O O O O

[0040] 对于每一条输入样本，输入为序列，输出目标也为序列，符号标记如上。再对输入序列每个字进行字性标注，会得到一个三列的序列，第一列为按字切分的输入序列，第二列为字的字性，第三列为输出目标标签序列。然后定义特征函数：

[0041] 特征函数：如果此位置为杰且对应的标注序列为A-I，那么这个特征函数为1，否则为0。然后通过训练集，求出所有特征函数的值，然后优化求的特征向量的权重参数W，这也是模型要学习的参数。

[0042] 预测过程，输入预测话语句子：唱一首稻香

[0043] 我们通过式子：得到预测序列y'。

[0044] 本实施例中，得到的y'为：O O O S-B S-E

[0045] 步骤3：后处理：通过后处理，得到该话语音乐领域实体为：歌曲：稻香。

[0046] 上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

[0047] 此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。

标题	发布/更新时间	阅读量
膜及包括其的隐藏开关结构	2020-05-08	389
一种基于生成对抗网络的空调用户调频能力评估方法	2020-05-08	463
一种基于深度学习的遥感影像自动标注方法	2020-05-08	861
一种基于全局和局部信息融合的目标检测方法	2020-05-08	450
一种车速检测方法、车速检测装置及可读存储介质	2020-05-11	745
基于生成对抗网络和策略梯度的心电信号去噪方法	2020-05-11	655
一种基于神经网络的古文翻译方法	2020-05-11	348
基于PRMATC算法的知识库补全方法	2020-05-08	620
一种利用上下文和方面记忆信息的情感分类方法	2020-05-08	714
一种隐形梁装配式免拆保温楼板结构	2020-05-08	433

一种基于fastText和CRF的音乐领域命令理解方法

一种基于fastText和CRF的音乐领域命令理解方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：