序列标注方法、系统、计算机设备及计算机可读存储介质
阅读：246发布：2020-05-13
专利汇可以提供序列标注方法、系统、计算机设备及计算机可读存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种序列标注方法，包括：获取训练样本集，所述训练样本集包括多个训练样本数据，每个训练样本数据包括一输入文本序列以及输入文本序列对应的标签；对每个所述训练样本数据进行预处理，以得到各个所述训练样本数据对应的向量数据；将各个所述训练样本数据对应的向量数据输入到一阶隐 马 尔可夫模型中，以构建各个训练样本数据匹配的 特征向量 ；将各个所述样本数据对应的特征向量输入到神经网络模型中进行训练，以生成序列标注模型；将待标注序列输入至序列标注模型中，以得到待标注序列对应的目标标签序列。本发明实施例还公开了一种序列标注系统、计算机设备及可读存储介质。本发明实施例的有效果在于使得序列标注更加准确。，下面是序列标注方法、系统、计算机设备及计算机可读存储介质专利的具体信息内容。
1.一种序列标注方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括多个训练样本数据，每个所述训练样本数据包括一输入文本序列以及所述输入文本序列对应的标签；
对每个所述训练样本数据进行预处理，以得到各个所述训练样本数据对应的向量数据；
将各个所述训练样本数据对应的向量数据输入到一阶隐马尔可夫模型中，以构建各个训练样本数据匹配的特征向量Ψ(X，Y)；
将各个所述样本数据对应的特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型；
将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列，所述目标标签序列包括所述待标注序列及对应的目标标签。
2.根据权利要求1所述的序列标注方法，其特征在于，对每个所述训练样本数据进行预处理，以得到各个所述训练样本数据对应的向量数据的步骤，包括：
将所述训练样本数据的输入文本序列使用word2vec模型进行分词处理，得到所述输入文本序列的词向量；
将每个所述输入文本序列的词向量根据对应的标签进行OneHot编码，得到对应的标注向量；若标签有m种类别，相应的输入文本序列的词向量进行OneHot编码后对应为m维标注向量；
其中，所述向量数据包括词向量和m维标注向量。
3.根据权利要求1所述的序列标注方法，其特征在于，所述一阶隐马尔可夫模型构建各个训练样本数据匹配的特征向量Ψ(X，Y)的计算公式为：
其中，张量乘积的定义为： RP×RQ→RPQ， M表示标注向量
的维度，x、y表示坐标值，j表示隐马尔可夫模型的阶数。
4.根据权利要求1所述的序列标注方法，其特征在于，将各个所述样本数据对应的特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型的步骤，包括：
将每个特征向量Ψ(X，Y)输入到神经网络模型，得到对应的样本评分值F1，每个特征向量对应一层神经网络模型；
获取样本数据的输入文本序列的预设的目标评分值F2；
根据损失函数、样本评分值F1与目标评分值F2优化神经网络模型，以得到序列标注模型。
5.根据权利要求4所述的序列标注方法，其特征在于，定义具有如下形式的损失函数作为优化目标：
L′i(θ2)＝∑y max(0，F1(xi，y；θ2)+Δ(yi，y))-F1(xi，yi；θ2)；
其中样本评分值F1为深度神经网络的输出，xi为样本数据的输入文本序列，yi为xi对应的目标标签序列，y为任意标签序列，Δ(yi，y)定义为任一样本评分值与输出评分值之间的标注错误率，Li′表示损失函数，θ2表示样本数据的状态。
6.根据权利要求4所述的序列标注方法，其特征在于，所述样本评分值的计算公式为：
h1＝σ(W0·ψ(x，y))；
hl＝σ(Wl-1·hl-1)，2≤1≤L；
F1(x，y；θ2)＝σ(WL·hL)；
其中，h指每一层神经网络模型的输出，h1即代表第1层的输出，L表示特征向量的数目，W0为第1层神经网络模型的权重矩阵，σ表示非线性激活函数，θ2表示样本数据的状态，第L层的神经网络模型权重WL为一个向量，根据该向量输出一个值，即样本评分值F1。
7.根据权利要求1所述的序列标注方法，其特征在于，将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列的步骤，包括：
将待标注序列输入至所述序列标注模型中，得到多个评分值；
选取所述多个评分值中的评分值最高的标注序列，作为所述待标注序列对应的目标标签序列。
8.一种序列标注系统，其特征在于，包括：
获取模块，用于获取训练样本集，所述训练样本集包括多个训练样本数据，每个训练样本数据包括一输入文本序列以及该输入文本序列对应的标签；
预处理模块，用于对每个训练样本数据进行预处理，以得到各个训练样本数据对应的向量数据；
构建模块，用于将各个训练样本数据对应的向量数据输入到一阶隐马尔可夫模型中，以构建各个训练样本数据匹配的特征向量Ψ(X，Y)；
生成模块，用于将各个样本数据对应的所述特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型；
输出模块，用于将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列，所述目标标签序列包括所述待标注序列及对应的目标标签。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的序列标注系统，所述序列标注系统被所述处理器执行时实现如权利要求1-7中任一项所述的序列标注方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1-7中任一项所述的序列标注方法的步骤。
序列标注方法、系统、计算机设备及计算机可读存储介质
技术领域
[0003] 结构支持向量机是结构学习的一种经典方法，结构支持向量机的目标不仅是最大化正确标签序列的分数，而且要最大化正确标签序列的分数与最近的不正确标签序列的分数之间的差距。结构支持向量机序列标注中取得了不错的效果，但是始终受限于自身的线性假设，因此不够准确。
发明内容
[0005] 为实现上述目的，本发明实施例提供了一种序列标注方法，包括：
[0006] 获取训练样本集，所述训练样本集包括多个训练样本数据，每个所述训练样本数据包括一输入文本序列以及所述输入文本序列对应的标签；
[0007] 对每个所述训练样本数据进行预处理，以得到各个所述训练样本数据对应的向量数据；
[0008] 将各个所述训练样本数据对应的向量数据输入到一阶隐马尔可夫模型中，以构建各个训练样本数据匹配的特征向量Ψ(X，Y)；
[0009] 将各个所述样本数据对应的特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型；
[0010] 将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列，所述目标标签序列包括所述待标注序列及对应的目标标签。
[0011] 进一步地，对每个所述训练样本数据进行预处理，以得到各个所述训练样本数据对应的向量数据的步骤，包括：
[0012] 将所述训练样本数据的输入文本序列使用word2vec模型进行分词处理，得到所述输入文本序列的词向量；
[0013] 将每个所述输入文本序列的词向量根据对应的标签进行OneHot编码，得到对应的标注向量；若标签有m种类别，相应的输入文本序列的词向量进行OneHot编码后对应为m维标注向量；
[0014] 其中，所述向量数据包括词向量和m维标注向量。
[0015] 进一步地，所述一阶隐马尔可夫模型构建各个训练样本数据匹配的特征向量Ψ(X，Y)的计算公式为：
[0016]
[0017] 其中，张量乘积的定义为： RP×RQ→RPQ， M表示标注向量的维度，x、y表示坐标值，j表示隐马尔可夫模型的阶数。
[0018] 进一步地，将各个所述样本数据对应的特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型的步骤，包括：
[0019] 将每个特征向量Ψ(X，Y)输入到神经网络模型，得到对应的样本评分值F1(xi，yi；θ)，每个特征向量对应一层神经网络模型；
[0020] 获取样本数据的输入文本序列的预设的目标评分值F1(x，y；θ)；
[0021] 根据损失函数、样本评分值F1与目标评分值F2优化神经网络模型，以得到序列标注模型。
[0022] 进一步地，定义具有如下形式的损失函数作为优化目标：
[0023]
[0024] L′i(θ2)＝∑ymax(0,F1(xi,y；θ2)+Δ(yi,y))-F1(xi,yi；θ2)；
[0025] 其中样本评分值F1为深度神经网络的输出，xi为样本数据的输入文本序列，yi为xi对应的目标标签序列，y为任意标签序列，Δ(yi，y)定义为任一样本评分值与输出评分值之间的标注错误率，Li′表示损失函数，θ2表示样本数据的状态。
[0026] 进一步地，所述目标神经网络的训练公式为：
[0027] h1＝σ(W0·ψ(x,y))；
[0028] hl＝σ(Wl-1·hl-1)，2≤l≤L；
[0029] F1(x,y；θ2)＝σ(WL·hL)；
[0030] 其中，h指每一层神经网络模型的输出，hl即代表第l层的输出，L表示特征向量的数目，W0为第1层神经网络模型的权重矩阵，σ表示非线性激活函数，θ2表示样本数据的状态，第L层的神经网络模型权重WL为一个向量，根据该向量输出一个值，即样本评分值F1。
[0031] 进一步地，将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列的步骤，包括：
[0032] 将待标注序列输入至所述序列标注模型中，得到多个评分值；
[0033] 选取所述多个评分值中的评分值最高的标注序列，作为所述待标注序列对应的目标标签序列。
[0034] 为实现上述目的，本发明实施例还提供了一种序列标注系统，包括：
[0035] 获取模块，用于获取训练样本集，所述训练样本集包括多个训练样本数据，每个训练样本数据包括一输入文本序列以及该输入文本序列对应的标签；
[0036] 预处理模块，用于对每个训练样本数据进行预处理，以得到各个训练样本数据对应的向量数据；
[0037] 构建模块，用于将各个训练样本数据对应的向量数据输入到一阶隐马尔可夫模型中，以构建各个训练样本数据匹配的特征向量Ψ(X，Y)；
[0038] 生成模块，用于将各个样本数据对应的所述特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型；
[0039] 输出模块，用于将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列，所述目标标签序列包括所述待标注序列及对应的目标标签。
[0040] 为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的序列标注系统，所述序列标注系统被所述处理器执行时实现如上所述的序列标注方法的步骤。
[0041] 为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的序列标注方法的步骤。
[0042] 本发明实施例提供的序列标注方法、系统、计算机设备及计算机可读存储介质，通过对训练样本数据进行预处理得到向量数据，再经过一阶隐马尔可夫模型构建特征向量，将特征向量输入到神经网络模型中，生成序列标注模型，以便后续待标注序列进行序列标注。由于采用了一阶隐马尔科夫对特征向量进行构建及神经网络模型进行评分值的运算，使得待标注序列的序列标注更加准确。附图说明
[0043] 图1为本发明序列标注方法实施例一的流程图。
[0044] 图2为本发明实施例一步骤S102的流程图。
[0045] 图3为本发明实施例一步骤S106的流程图。
[0046] 图4为本发明实施例一步骤S108的流程图。
[0047] 图5为本发明序列标注系统实施例二的程序模块示意图。
[0049] 图7为本发明实施例一构建一阶隐马尔可夫模型的流程图。
具体实施方式
[0050] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051] 实施例一
[0052] 参阅图1，示出了本发明实施例一之序列标注方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
[0053] 步骤S100，获取训练样本集，所述训练样本集包括多个训练样本数据，每个所述训练样本数据包括一输入文本序列以及所述输入文本序列对应的标签。
[0054] 具体地，训练样本集包括多个输入文本序列，每个输入文本序列对应一个训练样本数据，输入文本序列包括含有多个关键词的句子，根据关键词的词性确定该句子对应的标签，可人工对标签进行设置，将输入文本序列及对应的标签进行关联。例如：关键词为苹果、梨子、香蕉，则设置对应的标签为A、B、C。
[0055] 步骤S102，对每个所述训练样本数据进行预处理，以得到各个所述训练样本数据对应的向量数据。
[0056] 具体地，预处理包括对训练样本数据进行分词及编码处理，进而得到训练样本数据的向量数据，向量数据包括训练样本数据的词向量和m维标注向量，m为正整数。
[0057] 示例性地，参阅图2，步骤S102进一步包括：
[0058] 步骤S102A，将所述训练样本数据的输入文本序列使用word2vec模型进行分词处理，得到所述输入文本序列的词向量。
[0059] 具体地，使用word2vec模型来将每个输入文本序列中的词映射到一个向量，可用来表示词对词之间的关系，例如词出现的先后顺序，将每个输入文本序列的词向量根据词间关系进行排序，得到输入文本序列。
[0060] 步骤S102B，将每个所述输入文本序列的词向量根据对应的标签进行OneHot编码，得到对应的标注向量；若标签有m种类别，相应的输入文本序列的词向量进行OneHot编码后对应为m维标注向量。
[0061] 其中，所述向量数据包括词向量和m维标注向量。
[0062] 示例性地，OneHot编码的原则为：若输入文本序列中的某一分词属于某一种标签，则该分词编码后，所属维度的值为1，其余维度为0，得到多维的标注向量，输入文本序列进行OneHot编码后得到标注序列。
[0063] 例如：若有ABC三种标签，则输入文本序列进行OneHot编码后对应的标注向量分别为(1，0，0)，(0，1，0)，(0，0，1)。
[0064] 步骤S104，将各个所述训练样本数据对应的向量数据输入到一阶隐马尔可夫模型中，以构建各个训练样本数据匹配的特征向量Ψ(X，Y)。
[0065] 示例性地，步骤S104中的特征向量Ψ(X，Y)的计算公式为：
[0066]
[0067] 其中，张量乘积的定义为： RP×RQ→RPQ， M表示标注向量的维度，x、y表示坐标值，j表示隐马尔可夫模型的阶数。
[0068] 具体地，若训练样本数据进行分词后得到4个单词的输入文本序列，每个单词是进行word2vec编码后的词向量表示为(1.2，2.6)，(2.3，0.7)，(0.4，1.6)，(1.5，2.5)，标签定义为ABBC，则特征向量Ψ(X，Y)根据一阶隐马尔可夫模型的构建如图7所示。
[0069] 此时，得到进行一阶隐马尔科夫后的新标注向量，即特征向量Ψ(X，Y)。
[0070] 步骤S106，将各个所述样本数据对应的特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型。
[0071] 具体地，神经网络模型为深度学习网络模型。本发明中对深度网络学习模型通过以下过程进行优化，得到序列标注模型。将每个特征向量Ψ(X，Y)输入到深度学习网络模型，输出为样本评分值F1，每维向量对应一层深度学习网络模型。利用损失函数将样本评分值F1与目标评分值F2之间的差值最小化，以使深度学习网络模型输出唯一的样本评分值F1，训练得到可对特征向量进行序列标注的序列标注模型。
[0072] 示例性地，参阅图3，步骤S106进一步包括：
[0073] 步骤S106A，将每个特征向量Ψ(X，Y)输入到神经网络模型，得到对应的样本评分值F1(xi，yi；θ)，每个特征向量对应一层神经网络模型。
[0074] 步骤S106B，获取样本数据的输入文本序列的预设的目标评分值F2(x，y；θ)。
[0075] 具体地，首先对输入文本序列的评分值进行预设，得到目标评分值F2。
[0076] 步骤S106C，根据损失函数、样本评分值F1与目标评分值F2优化神经网络模型，以得到序列标注模型。
[0077] 示例性地，定义具有如下形式的损失函数作为优化目标：
[0078]
[0079] L′i(θ2)＝∑ymax(0,F1(xi,y；θ2)+Δ(yi,y))-F1(xi,yi；θ2)；
[0080] 其中样本评分值F1为深度神经网络的输出，xi为样本数据的输入文本序列，yi为xi对应的目标标签序列，y为任意标签序列，Δ(yi，y)定义为任一样本评分值与输出评分值之间的标注错误率，Li′表示损失函数，θ2表示样本数据的状态。
[0081] 示例性地，所述目标神经网络的训练公式为：
[0082] h1＝σ(W0·ψ(x,y))；
[0083] hl＝σ(Wl-1·hl-1)，2≤l≤L；
[0084] F1(x,y；θ2)＝σ(WL·hL)；
[0085] 其中，h指每一层神经网络模型的输出，hl即代表第l层的输出，L表示特征向量的数目，W0为第1层神经网络模型的权重矩阵，σ表示非线性激活函数，θ2表示样本数据的状态，第L层的神经网络模型权重WL为一个向量，根据该向量输出一个值，即样本评分值F1。
[0086] 具体地，根据上述损失函数，当目标评分值F1-输出评分值F2<Δ(yi，y)时，损失函数将会增加；Δ(yi，y)即为间隔；Δ(yi，y)定义为任一样本评分值与输出评分值之间的标注错误率。因此最小化损失函数即可使样本序列的目标评分值在输出评分值的间隔范围之外，间隔范围预设。将损失函数的误差反馈回深度神经网络进行参数优化，最终使得损失函数最小化，也就可以对输入文本序列进行正确的评分。
[0087] 步骤S108，将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列。
[0088] 具体地，序列标注模型输出待标注序列对应的评分值，选取评分值最大的为最终的评分值，找到该评分值对应的待标注序列的目标标签序列，所述目标标签序列包括所述待标注序列及对应的目标标签。
[0089] 示例性地，参阅图4，步骤S108进一步包括：
[0090] 步骤S108A，将待标注序列输入至所述序列标注模型中，得到多个评分值。
[0091] 步骤S108B，选取所述多个评分值中的最大评分值对应的标注序列作为所述待标注序列对应的目标标签序列。
[0092] 实施例二
[0093] 请继续参阅图5，示出了本发明序列标注系统实施例二的程序模块示意图。在本实施例中，序列标注系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述序列标注方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述序列标注系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
[0094] 获取模块200，用于获取训练样本集，所述训练样本集包括多个训练样本数据，每个训练样本数据包括一输入文本序列以及该输入文本序列对应的标签。
[0095] 具体地，训练样本集包括多个输入文本序列，每个输入文本序列对应一个训练样本数据，输入文本序列包括含有多个关键词的句子，根据关键词的词性确定该句子对应的标签，可人工对标签进行设置，将输入文本序列及对应的标签进行关联。例如：关键词为苹果、梨子、香蕉，则设置对应的标签为A、B、C。
[0096] 预处理模块202，用于对每个训练样本数据进行预处理，以得到各个训练样本数据对应的向量数据。
[0097] 具体地，预处理包括对训练样本数据进行分词及编码处理，进而得到训练样本数据的向量数据，向量数据包括训练样本数据的词向量和m维标注向量，m为正整数。
[0098] 示例性地，预处理模块202还用于：
[0099] 将所述训练样本数据的输入文本序列使用word2vec模型进行分词处理，得到所述输入文本序列的词向量。
[0100] 具体地，使用word2vec模型来将每个输入文本序列中的词映射到一个向量，可用来表示词对词之间的关系，例如词出现的先后顺序，将每个输入文本序列的词向量根据词间关系进行排序，得到输入文本序列。
[0101] 将每个所述输入文本序列的词向量根据对应的标签进行OneHot编码，得到对应的标注向量；若标签有m种类别，相应的输入文本序列的词向量进行OneHot编码后对应为m维标注向量。
[0102] 其中，所述向量数据包括词向量和m维标注向量。
[0103] 示例性地，OneHot编码的原则为：若输入文本序列中的某一分词属于某一种标签，则该分词编码后，所属维度的值为1，其余维度为0，得到多维的标注向量，输入文本序列进行OneHot编码后得到标注序列。
[0104] 例如：若有ABC三种标签，则输入文本序列进行OneHot编码后对应的标注向量分别为(1，0，0)，(0，1，0)，(0，0，1)。
[0105] 构建模块204，用于将各个训练样本数据对应的向量数据输入到一阶隐马尔可夫模型中，以构建各个训练样本数据匹配的特征向量Ψ(X，Y)。
[0106] 示例性地，步骤S104中的特征向量Ψ(X，Y)的计算公式为：
[0107]
[0108] 其中，张量乘积的定义为： RP×RQ→RPQ， M表示标注向量的维度，x、y表示坐标值，j表示隐马尔可夫模型的阶数。
[0109] 具体地，若训练样本数据进行分词后得到4个单词的输入文本序列，每个单词是进行word2vec编码后的词向量表示为(1.2，2.6)，(2.3，0.7)，(0.4，1.6)，(1.5，2.5)，标签定义为ABBC，则特征向量Ψ(X，Y)根据一阶隐马尔可夫模型的构建如图7所示。
[0110] 此时，得到进行一阶隐马尔科夫后的新标注向量，即特征向量Ψ(X，Y)。
[0111] 生成模块206，用于将各个样本数据对应的所述特征向量Ψ(X，Y)输入到神经网络模型中进行训练，以生成序列标注模型。
[0112] 具体地，神经网络模型为深度学习网络模型。本发明中对深度网络学习模型通过以下过程进行优化，得到序列标注模型。将每个特征向量Ψ(X，Y)输入到深度学习网络模型，输出为样本评分值F1，每维向量对应一层深度学习网络模型。利用损失函数将样本评分值F1与目标评分值F2之间的差值最小化，以使深度学习网络模型输出唯一的样本评分值F1，训练得到可对特征向量进行序列标注的序列标注模型。
[0113] 示例性地，生成模块206还用于：
[0114] 将每个特征向量Ψ(X，Y)输入到神经网络模型，得到对应的样本评分值F1(xi，yi；θ)，每个特征向量对应一层神经网络模型。
[0115] 获取样本数据的输入文本序列的预设的目标评分值F2(x，y；θ)。
[0116] 根据损失函数、样本评分值F1与目标评分值F2优化神经网络模型，以得到序列标注模型。
[0117] 具体地，首先对输入文本序列的评分值进行预设，得到目标评分值F2。
[0118] 示例性地，定义具有如下形式的损失函数作为优化目标：
[0119]
[0120] L′i(θ2)＝∑ymax(0,F1(xi,y；θ2)+Δ(yi,y))-F1(xi,yi；θ2)；
[0121] 其中样本评分值F1为深度神经网络的输出，xi为样本数据的输入文本序列，yi为xi对应的目标标签序列，y为任意标签序列，Δ(yi，y)定义为任一样本评分值与输出评分值之间的标注错误率，Li′表示损失函数，θ2表示样本数据的状态。
[0122] 示例性地，所述目标神经网络的训练公式为：
[0123] h1＝σ(W0·ψ(x,y))；
[0124] hl＝σ(Wl-1·hl-1)，2≤l≤L；
[0125] F1(x,y；θ2)＝σ(WL·hL)；
[0126] 其中，h指每一层神经网络模型的输出，hl即代表第l层的输出，L表示特征向量的数目，W0为第1层神经网络模型的权重矩阵，σ表示非线性激活函数，θ2表示样本数据的状态，第L层的神经网络模型权重WL为一个向量，根据该向量输出一个值，即样本评分值F1。
[0127] 具体地，根据上述损失函数，当目标评分值F1(x，y；θ)-输出评分值F2(x，y；θ)<Δ(yi，y)时，损失函数将会增加；Δ(yi，y)即为间隔；Δ(yi，y)定义为任一样本评分值与输出评分值之间的标注错误率。因此最小化损失函数即可使样本序列的目标评分值在输出评分值的间隔范围之外，间隔范围预设。将损失函数的误差反馈回深度神经网络进行参数优化，最终使得损失函数最小化，也就可以对输入文本序列进行正确的评分。
[0128] 输出模块208，用于将待标注序列输入至所述序列标注模型中，以得到所述待标注序列对应的目标标签序列。
[0129] 具体地，序列标注模型输出待标注序列对应的评分值，选取评分值最大的为最终的评分值，找到该评分值对应的待标注序列的目标标签序列，所述目标标签序列包括所述待标注序列及对应的目标标签。
[0130] 示例性地，输出模块208还用于：
[0131] 将待标注序列输入至所述序列标注模型中，得到多个评分值；
[0132] 选取所述多个评分值中的最大评分值对应的标注序列作为所述待标注序列对应的目标标签序列。
[0133] 实施例三
[0134] 参阅图6，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图6所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及序列标注系统20。其中：
[0135] 本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的序列标注系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0136] 处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行序列标注系统20，以实现实施例一的序列标注方法。
[0137] 所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述服务器2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述服务器2与外部终端相连，在所述服务器2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。需要指出的是，图6仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
[0138] 在本实施例中，存储于存储器21中的所述序列标注系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
[0139] 例如，图5示出了所述实现序列标注系统20实施例二的程序模块示意图，该实施例中，所述序列标注系统20可以被划分为获取模块200、预处理模块202、构建模块204、生成模块206与输出模块208。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述序列标注系统20在所述计算机设备2中的执行过程。所述程序模块200-208的具体功能在实施例二中已有详细描述，在此不再赘述。
[0140] 实施例四
[0141] 本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储序列标注系统20，被处理器执行时实现实施例一的序列标注方法。
[0142] 本发明实施例提供的序列标注方法、系统、计算机设备及计算机可读存储介质，通过对训练样本数据进行预处理得到向量数据，再经过一阶隐马尔可夫模型构建特征向量，将特征向量输入到被优化的神经网络模型中，生成序列标注模型，以便后续待标注序列进行序列标注。由于采用了一阶隐马尔科夫对特征向量进行构建及神经网络模型进行评分值的运算，使得待标注序列的序列标注更加准确。
[0143] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0144] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 语音识别方法、服务器及计算机可读存储介质 | 2020-05-08 | 237 |
| 一种用于防止老人摔倒受伤的安全项圈 | 2020-05-14 | 114 |
| 一种声音采集对象声纹检测方法、装置和设备 | 2020-05-08 | 289 |
| 一种利用肌肉协同作用的多阶段下肢训练系统及方法 | 2020-05-12 | 98 |
| 一种客服系统的服务方法及装置 | 2020-05-13 | 382 |
| 一种区域性桥梁风险预测方法及系统 | 2020-05-13 | 413 |
| 基于人工智能的声音识别方法、及其相关设备 | 2020-05-14 | 355 |
| 一种基于语音控制的测量仪器测试系统及方法 | 2020-05-14 | 111 |
| 一种服务质量评价方法、装置、电子设备及存储介质 | 2020-05-12 | 407 |
| 基于统计学习模型的图像隐含信息挖掘方法及装置 | 2020-05-14 | 522 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
隐马尔可夫模型热门专利
QQ群二维码
意见反馈
意见反馈