一种文本分类方法、装置及电子设备
阅读：933发布：2020-05-08
专利汇可以提供一种文本分类方法、装置及电子设备专利检索，专利查询，专利分析的服务。并且本 说明书 一个或多个 实施例 提供一种 文本分类 方法、装置及 电子 设备，基于BERT模型，所述BERT模型包括：至少两个依次连接的 编码器 层；所述方法，包括：将待分类文本输入所述BERT模型；采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；融合至少两个所述特征表示信息，得到融合后的特征表示信息；融合后的特征表示信息充分利用每一编码器层的输出，且准确反映了文本所蕴含的词法和语法信息；根据所述融合后的特征表示信息，确定所述待分类文本的类型。，下面是一种文本分类方法、装置及电子设备专利的具体信息内容。
1.一种文本分类方法，基于BERT模型，所述BERT模型包括：至少两个依次连接的编码器层；
所述方法，包括：
将待分类文本输入所述BERT模型；
采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；
融合至少两个所述特征表示信息，得到融合后的特征表示信息；
根据所述融合后的特征表示信息，确定所述待分类文本的类型。
2.根据权利要求1所述的文本分类方法，还包括：
确定训练文本和初始BERT模型；所述初始BERT模型包括：至少两个依次连接的初始编码器层；
将所述训练文本输入所述初始BERT模型；
采集所述初始编码器层的输出，得到对应于所述训练文本的至少两个训练特征表示信息；
融合至少两个所述训练特征表示信息，得到融合后的训练特征表示信息；
根据所述融合后的训练特征表示信息，确定所述训练文本的预测类型；
确定所述训练文本的实际类型，并根据所述实际类型与所述预测类型，得到反馈信息；
根据所述反馈信息，调整所述初始BERT模型的模型参数，以得到所述BERT模型。
3.根据权利要求1所述的文本分类方法，所述待分类文本包括单句；所述编码器层包括多个编码器；
所述将待分类文本输入所述BERT模型之后，具体包括：
在所述单句的句首和句尾分别添加特殊符和断句符，并确定所述单句包括的若干单字；
为所述特殊符、所述断句符和所述单字分别对应的设置一个所述编码器；
通过所述编码器分别生成对应于所述特殊符的单句特征向量、对应于所述断句符的断句特征向量，以及对应于所述单字的单字特征向量；
根据所述单句特征向量、所述断句特征向量和所述单字特征向量，得到所述特征表示信息。
4.根据权利要求3所述的文本分类方法，所述融合至少两个所述特征表示信息，得到融合后的特征表示信息，包括：
从至少两个所述特征表示信息中提取得到至少两个单句特征向量；
将至少两个所述单句特征向量进行向量融合，以作为所述融合后的特征表示信息。
5.根据权利要求3所述的文本分类方法，所述融合至少两个所述特征表示信息，得到融合后的特征表示信息，包括：
对于每个所述特征表示信息，将其包括的所述单句特征向量、所述断句特征向量和所述单字特征向量进行向量计算或向量融合，得到组合特征向量；
将至少两个所述组合特征向量进行向量融合，以作为所述融合后的特征表示信息。
6.一种文本分类装置，包括：
输入模块，被配置为将待分类文本输入所述BERT模型；
采集模块，被配置为采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；
融合模块，被配置为融合至少两个所述特征表示信息，得到融合后的特征表示信息；
分类模块，被配置为根据所述融合后的特征表示信息，确定所述待分类文本的类型。
7.根据权利要求6所述的文本分类装置，还包括：训练模块，被配置为确定训练文本和初始BERT模型；所述初始BERT模型包括：至少两个依次连接的初始编码器层；将所述训练文本输入所述初始BERT模型；采集所述初始编码器层的输出，得到对应于所述训练文本的至少两个训练特征表示信息；融合至少两个所述训练特征表示信息，得到融合后的训练特征表示信息；根据所述融合后的训练特征表示信息，确定所述训练文本的预测类型；确定所述训练文本的实际类型，并根据所述实际类型与所述预测类型，得到反馈信息；根据所述反馈信息，调整所述初始BERT模型的模型参数，以得到所述BERT模型。
8.根据权利要求6所述的文本分类装置，所述待分类文本包括单句；所述编码器层包括多个编码器；
所述采集模块，具体被配置为在所述单句的句首和句尾分别添加特殊符和断句符，并确定所述单句包括的若干单字；为所述特殊符、所述断句符和所述单字分别对应的设置一个所述编码器；通过所述编码器分别生成对应于所述特殊符的单句特征向量、对应于所述断句符的断句特征向量，以及对应于所述单字的单字特征向量；根据所述单句特征向量、所述断句特征向量和所述单字特征向量，得到所述特征表示信息。
9.根据权利要求8所述的文本分类装置，所述融合模块，具体被配置为从至少两个所述特征表示信息中提取得到至少两个单句特征向量；将至少两个所述单句特征向量进行向量融合，以作为所述融合后的特征表示信息。
10.根据权利要求8所述的文本分类装置，所述融合模块，具体被配置为对于每个所述特征表示信息，将其包括的所述单句特征向量、所述断句特征向量和所述单字特征向量进行向量计算或向量融合，得到组合特征向量；将至少两个所述组合特征向量进行向量融合，以作为所述融合后的特征表示信息。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。
一种文本分类方法、装置及电子设备
技术领域
背景技术
[0002] 随着互联网在全球范围内的快速发展，人们面临的信息呈指数增加。在人们所面临的信息中有大量的文本信息，因此，对文本信息的处理技术尤为重要。其中，对文本信息进行分类是组织和管理文本信息的一个有效手段，将文本信息进行分类可以方便人们对文本信息的浏览、查找和使用。文本分类是指由计算机对文本信息经过某种分类算法的处理后，把文本判别到预先定义好的类别中，即实现从文本到类别的映射。具体的，可以通过预先训练的文本分类模型，预测待分类文本属于特定分类体系下各个特定分类的概率。
[0003] 如何提高文本分类的准确度，是目前亟需解决的问题。发明内容
[0004] 有鉴于此，本说明书一个或多个实施例的目的在于提出一种文本分类方法、装置及电子设备。
[0005] 基于上述目的，本说明书一个或多个实施例提供了一种文本分类方法，基于BERT模型，所述BERT模型包括：至少两个依次连接的编码器层；
[0006] 所述方法，包括：
[0007] 将待分类文本输入所述BERT模型；
[0008] 采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；
[0009] 融合至少两个所述特征表示信息，得到融合后的特征表示信息；
[0010] 根据所述融合后的特征表示信息，确定所述待分类文本的类型。
[0011] 另一方面，本说明书一个或多个实施例还提供了一种文本分类装置，包括：
[0012] 输入模块，被配置为将待分类文本输入所述BERT模型；
[0013] 采集模块，被配置为采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；
[0014] 融合模块，被配置为融合至少两个所述特征表示信息，得到融合后的特征表示信息；
[0015] 分类模块，被配置为根据所述融合后的特征表示信息，确定所述待分类文本的类型。
[0017] 从上面所述可以看出，本说明书一个或多个实施例提供的文本分类方法、装置及电子设备，将BERT模型中每个编码器层输出的特征表示信息均加以利用，基于融合后的特征表示信息进行最终文本分类，充分利用每一编码器层的输出，以准确反映文本所蕴含的词法和语法信息，有效的提升了文本分类的准确度。附图说明
[0018] 为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019] 图1为相关技术中BERT模型的工作方式示意图；
[0020] 图2为本说明书一个或多个实施例的文本分类方法流程图；
[0021] 图3为本说明书一个或多个实施例的文本分类方法执行过程示意图；
[0022] 图4为本说明书一个或多个实施例中生成特征表示信息的步骤流程示意图；
[0023] 图5为本说明书一个或多个实施例中的编码器层工作方式示意图；
[0024] 图6为本说明书一个或多个实施例的BERT模型训练过程流程图；
[0025] 图7为本说明书一个或多个实施例的文本分类装置结构示意图；
[0026] 图8为本说明书一个或多个实施例的电子设备结构示意图。
具体实施方式
[0027] 为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0028] 需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0029] 在本说明书一个或多个实施例中，涉及BERT模型，BERT全称为：Bidirectional Encoder Representation from Transformers，是一个能够广泛应用于执行各种类型的自然语言处理任务的语言模型。BERT模型一般包括有多个编码器层，该编码器层能够提取得到文本的特征表示，并以表示向量的形式输出。参考图1，在工作时，文本输入BERT模型后会依次经过多层的编码器层，上一层编码器层的输出作为下一层编码器层的输入，最后一层编码器层的输出则作为对应于文本的特征信息，基于该特征信息来进行文本分类，文本分类由分类层实现。其中，更靠近输入一侧的编码器层(如编码器层1)为低层，更靠近分类层一侧的编码器层(如编码器层n)为高层。对于低层的编码器层，其分辨率更高，包含更多细节信息，在语义上更多的反映了词法特征；高层的编码器层，具有更强的语义信息，但是分辨率有限，在语义上更多的反映了语法特征。
[0030] 可见，现有的BERT模型在进行分类时，仅使用了最后一层，也就是高层的编码器层输出的特征表示信息，也即更多的考虑了文本的语法特征，这也造成了现有的BERT模型在进行文本分类时的准确度仍存在不足。
[0031] 针对上述问题，本说明书一个或多个实施例的提供了一种文本分类方案，旨在充分利用BERT模型各个编码器层输出的特征表示信息，结合向量融合的方式，使得进行文本分类时使用的特征表示信息能够同时包含低层编码器层和高层编码器层的特征输出，使得文本的分类能够同时考虑文本蕴含的词法特征和语法特征，进而有效的提升文本分类的准确度。
[0032] 以下结合附图，对本说明书所提供的各个非限制性实施例进行详细描述。
[0033] 本说明书一个或多个实施例提供的文本分类方法，该方法是基于BERT模型实现的，BERT模型包括有至少两个编码器层。这些编码器层是依次连接的，即如上所述，上一层编码器层的输出作为下一层编码器层的输入。
[0034] 参考图2，为本说明书一个或多个实施例的文本分类方法流程图，可以理解是，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。具体的，所述的文本分类方法包括以下步骤：
[0035] 步骤S201、将待分类文本输入所述BERT模型。
[0036] 本步骤中，首先获取待分类文本，该待分类文本可以是用户输入或上传的，也可以是从语料库中提取的，对于待分类文本来源，本实施例中不做限定。
[0037] 对于待分类文本的内容，其一般由多个单字组成的句子。当待分类文本的内容为多个句子组成的段落时，则对该段落进行分句处理，以得到若干句子。相应的，对于每个句子可以执行本实施例的方法以实现分类。本说明书一个或多个实施例中，均以所述待分类文本为一个单句为例进行说明。可以理解的是，当待分类文本为包括若干单句的段落时，即对于对于该若干单句执行的并行的分类过程。
[0038] 步骤S202、采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息。
[0039] 本步骤中，参考图3，待分类文本被输入BERT模型后，基于BERT模型的工作方式，待分类文本会依次经过n个编码器层。具体的，待分类文本经过编码器层1的处理，输出特征表示信息1；然后，特征表示信息1作为编码器层2的输入，进过编码器层2的处理，输出特征表示信息2；后续的，以上一层编码器层的输出作为下一层编码器层的输入的方式，依次经过n个编码器层，最终由编码器层n输出特征表示信息n。
[0040] 作为一个可选的实施方式，参考图4，编码器层生成特征表示信息，可以通过如下步骤实现：
[0041] 步骤S401、在所述单句的句首和句尾分别添加特殊符和断句符，并确定所述单句包括的若干单字；
[0042] 步骤S402、为所述特殊符、所述断句符和所述单字分别对应的设置一个所述编码器；
[0043] 步骤S403、通过所述编码器分别生成对应于所述特殊符的单句特征向量、对应于所述断句符的断句特征向量，以及对应于所述单字的单字特征向量；
[0044] 步骤S404、根据所述单句特征向量、所述断句特征向量和所述单字特征向量，得到所述特征表示信息。
[0045] 其中，参考图5，对于内容为一个单句的待分类文本输入BERT模型后，BERT模型的输入层，会在该单句的句首添加特殊符[CLS]，在其句尾添加断句符[SEP]。此外，单句还会被进行分词，从而确定若干单字。如图5所示，例如输入的单句为“我爱中国”，经过输入层后，其会被分词为四个单字“我”“爱”、“中”、“国”；句首和句尾分别添加特殊符[CLS]和断句符[SEP]。
[0046] 对于每个编码器层，其可以包括多个编码器(Transformer)。每个特殊符[CLS]、断句符[SEP]和单字均会被对应的分配一个编码器。如图5所示，经过编码器层的处理，对应于特殊符[CLS]的编码器将会输出对应于特殊符[CLS]的单句特征向量，如V11、V21、Vn1；对应于断句符[SEP]的编码器将会输出对应于断句符[SEP]的断句特征向量，如V16、V26、Vn6；对应于单字的编码器将会输出对应于单字的单字特征向量，如V12、V23等。
[0047] 对于一个编码器层，其包括的编码器输出的单句特征向量、断句特征向量和单字特征向量，组构成该编码器层输出的特征表示信息。如对于编码器层1，【V11、V12、V13、V14、V15、V16】即为编码器层1输出的特征表示信息1。特征表示信息1作为编码器层2的输入，编码器层2输出的【V21、V22、V23、V24、V25、V26】即为编码器层2输出的特征表示信息2。以上述方式依次经过n个编码器层后，【Vn1、Vn2、Vn3、Vn4、Vn5、Vn6】即为编码器层n输出的特征表示信息n。
[0048] 步骤S203、融合至少两个所述特征表示信息，得到融合后的特征表示信息。
[0049] 本步骤中，将各个编码器层输出的特征表示信息进行融合，从而充分的利用各层编码器层的输出，以通过融合后的特征表示信息更好的反映待分类文本的词法特征和语法特征。
[0050] 作为一个可选的实施方式，融合特征表示信息，可以通过以下步骤实现：从至少两个所述特征表示信息中提取得到至少两个单句特征向量；将至少两个所述单句特征向量进行向量融合，以作为所述融合后的特征表示信息。
[0051] 基于BERT模型的性质，编码器层对输入进行处理后，其输出的对应于特殊符[CLS]的单句特征向量就蕴含了整个单句的特征，所以在融合特征表示信息时，即可以只使用单句特征向量。
[0052] 具体的，对于采集到的各个编码器层输出的特征表示信息，从中将其包含的单句特征向量提取出来，从而获得至少两个单句特征向量。然后将该至少两个单句特征向量进行向量融合。向量融合可以选用任意的向量融合方法，如拼接、取均值、取最大值等。
[0053] 以采用拼接的向量融合方法为例，假设本实施例的BERT模型包括三个编码器层，该三个编码器层输出三个单句特征向量：第一个编码器层输出的单句特征向量为一个四维向量[0.1,0.8,-0.1,0.2]，第二个编码器层输出的单句特征向量为[0.4,0.2,0.9,0.3]，第三个编码器层输出的单句特征向量为[-0.8,0.6,-0.2,0.3]。拼接的向量融合方法即将三个单句特征向量直接首尾相接，即得到一个十二维向量[0.1,0.8,-0.1,0.2,0.4,0.2,0.9,0.3,-0.8,0.6,-0.2,0.3]，该拼接得到十二维向量即作为融合后的特征表示信息，后续用于待分类文本的分类。
[0054] 仍以上述三个单句特征向量为例。当选用取均值的向量融合方法时，即将三个单句特征向量相应维度上的值计算得到均值：[(0.1+0.4-0.8)/3,(0.8+0.2+0.6)/3,(0.9-0.1-0.2)/3,(0.2+0.3+0.3)/3]，融合后的特征表示信息即为[-0.1,0.5,0.2,0.3]。当选用取最大值的向量融合方法时，即取三个单句特征向量相应维度上的值中的最大值以形成向量，融合后的特征表示信息即为[0.4,0.8,0.9,0.3]。此外，根据具体的实施需要，也可以选用其他本说明书中为提及的向量融合方法。
[0055] 此外，根据不同的实施需要，对于各个编码器层输出的特征表示信息，也可以提取特征表示信息中的其他特征向量(如单字特征向量)来进行后续的向量融合，以作为所述融合后的特征表示信息。
[0056] 作为另一个可选的实施方式，融合特征表示信息，可以通过以下步骤实现：对于每个所述特征表示信息，将其包括的所述单句特征向量、所述断句特征向量和所述单字特征向量进行向量计算或向量融合，得到组合特征向量；将至少两个所述组合特征向量进行向量融合，以作为所述融合后的特征表示信息。
[0057] 与前述可选的实施方式相比，不再只使用特征表示信息中的单句特征向量，而是将特征表示信息中包括的全部特征向量均加以利用。也即，将特征表示信息包括的单句特征向量、句特征向量和单字特征向量进行处理，从而得到一个向量。具体的，可以是对单句特征向量、句特征向量和单字特征向量进行向量计算，如加法、减法、叉乘等；也可以是对单句特征向量、句特征向量和单字特征向量进行向量融合，具体的融合方法可以参照前述实施方式中所述。单句特征向量、句特征向量和单字特征向量经过上述处理得到的向量，称之为组合特征向量。
[0058] 对于每个编码器层输出的特征表示信息，均通过上述方式得到相应的组合特征向量，即得到的至少两个组合特征向量。然后，将这些组合特征向量进行向量融合，以作为所述融合后的特征表示信息。
[0059] 步骤S204、根据所述融合后的特征表示信息，确定所述待分类文本的类型。
[0060] 本步骤中，基于前述步骤中得到的融合后的特征表示信息，将其输入至BERT模型的分类层进行预测分类，最终确定待分类文本的类型。具体的，预测分类可以选用任意的预测分类算法，例如Softmax函数。
[0061] 由上述实施例可见，本说明书提供的文本分类方法将BERT模型中每个编码器层输出的特征表示信息均加以利用，基于融合后的特征表示信息进行最终文本分类，充分利用每一编码器层的输出，以准确反映文本所蕴含的词法和语法信息，有效的提升了文本分类的准确度。
[0062] 需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0063] 上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0064] 作为一个可选的实施例，参考图6，所述的文本分类方法，还包括BERT模型的训练过程，具体包括以下步骤：
[0065] 步骤S601、确定训练文本和初始BERT模型；所述初始BERT模型包括：至少两个依次连接的初始编码器层；
[0066] 步骤S602、将所述训练文本输入所述初始BERT模型；
[0067] 步骤S603、采集所述初始编码器层的输出，得到对应于所述训练文本的至少两个训练特征表示信息；
[0068] 步骤S604、融合至少两个所述训练特征表示信息，得到融合后的训练特征表示信息；
[0069] 步骤S605、根据所述融合后的训练特征表示信息，确定所述训练文本的预测类型；
[0070] 步骤S606、确定所述训练文本的实际类型，并根据所述实际类型与所述预测类型，得到反馈信息；
[0071] 步骤S607、根据所述反馈信息，调整所述初始BERT模型的模型参数，以得到所述BERT模型。
[0072] 本实施例中，基于一初始BERT模型通过训练得到本实施例所使用的所述BERT模型。其中，训练文本的获取方式、训练文本的形式内容，以及将训练文本输入初始BERT模型后，初始BERT模型中各个初始编码器层的工作方式，以及对于各个初始编码器层输出的训练特征表示信息的融合等步骤的具体内容和可选实施方式，可以参照前述实施例所述。
[0073] 基于训练文本，通过初始BERT模型处理后，初始BERT模型最终输出训练文本对应的预测类型。相应的，确定训练文本的实际类型。该实际类型可以是通过其他机器学习模型处理训练文本得到的，也可以认为通过人工对于训练文本进行分类判定得到的。
[0074] 根据训练文本的预测类型和实际类型，生成反馈信息。该反馈信息用于更新初始BERT模型的模型参数。具体的，根据反馈信息，基于交叉熵算法计算损失函数，进行反向传播，更新初始BERT模型的权值参数，进行迭代运算。迭代重复执行步骤S602至步骤S606的步骤，当损失函数的损失值在连续至少两个迭代过程中趋于稳定时，结束初始BERT模型的训练过程，得到所述的BERT模型，用以实现本说明书一个或多个实施例的文本分类方法。
[0075] 基于同一发明构思，本说明书一个或多个实施例还提供了一种文本分类装置。参考图7，所述文本分类装置，包括：
[0076] 输入模块701，被配置为将待分类文本输入所述BERT模型；
[0077] 采集模块702，被配置为采集每个所述编码器层的输出，得到对应于所述待分类文本的至少两个特征表示信息；
[0078] 融合模块703，被配置为融合至少两个所述特征表示信息，得到融合后的特征表示信息；
[0079] 分类模块704，被配置为根据所述融合后的特征表示信息，确定所述待分类文本的类型。
[0080] 作为一个可选的实施例，所述装置还包括：训练模块，被配置为确定训练文本和初始BERT模型；所述初始BERT模型包括：至少两个依次连接的初始编码器层；将所述训练文本输入所述初始BERT模型；采集所述初始编码器层的输出，得到对应于所述训练文本的至少两个训练特征表示信息；融合至少两个所述训练特征表示信息，得到融合后的训练特征表示信息；根据所述融合后的训练特征表示信息，确定所述训练文本的预测类型；确定所述训练文本的实际类型，并根据所述实际类型与所述预测类型，得到反馈信息；根据所述反馈信息，调整所述初始BERT模型的模型参数，以得到所述BERT模型。
[0081] 作为一个可选的实施例，所述待分类文本包括单句；所述编码器层包括多个编码器；所述采集模块702，具体被配置为在所述单句的句首和句尾分别添加特殊符和断句符，并确定所述单句包括的若干单字；为所述特殊符、所述断句符和所述单字分别对应的设置一个所述编码器；通过所述编码器分别生成对应于所述特殊符的单句特征向量、对应于所述断句符的断句特征向量，以及对应于所述单字的单字特征向量；根据所述单句特征向量、所述断句特征向量和所述单字特征向量，得到所述特征表示信息。
[0082] 作为一个可选的实施例，所述融合模块703，具体被配置为从至少两个所述特征表示信息中提取得到至少两个单句特征向量；将至少两个所述单句特征向量进行向量融合，以作为所述融合后的特征表示信息。
[0083] 作为一个可选的实施例，所述融合模块703，具体被配置为对于每个所述特征表示信息，将其包括的所述单句特征向量、所述断句特征向量和所述单字特征向量进行向量计算或向量融合，得到组合特征向量；将至少两个所述组合特征向量进行向量融合，以作为所述融合后的特征表示信息。
[0085] 上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0086] 基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备。该电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的方法。
[0087] 图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0088] 处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0089] 存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0090] 输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0091] 通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
[0092] 总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0093] 需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0094] 上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0095] 所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0096] 本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种扭剪仪 | 2020-05-08 | 519 |
| 一种基于卷积神经网络的大坝变形预测系统和方法 | 2020-05-08 | 107 |
| 基于BiLSTM的复合特征光纤传感扰动信号模式识别方法 | 2020-05-08 | 580 |
| 一种新型的高速水力测功器 | 2020-05-08 | 497 |
| 使用深度学习算法来评价输入数据 | 2020-05-08 | 170 |
| 一种综合能源系统多能耦合分层建模方法 | 2020-05-08 | 976 |
| 测试耐高温涂层对不锈钢表面的防变色保护效果的方法 | 2020-05-08 | 560 |
| 基于硬件的车机音频远程输出方法、装置及系统 | 2020-05-08 | 713 |
| 基于层次树的数据聚合 | 2020-05-08 | 422 |
| 一种水源污染预警方法及系统 | 2020-05-08 | 638 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
输出层热门专利
QQ群二维码
意见反馈
意见反馈