一种基于多元神经网络融合的中文专利文本效应类别分类
方法
技术领域
背景技术
[0002] 科技资源及资源分布复杂多样，科技服务系统众多，与实体经济产业之间、科 技服务系统内部之间的组成与关系均很复杂，是典型的分布式资源巨系统。“互联网 +”模式下企业正试图通过“智能设备、智能系统、智能决策”实现与“机器、设施 和系统网络”全面融合，这种机器、数据和人的新型连接模式迫切需要将科技资源 与业务流程相结合，形成一种科技服务。其中科技资源里的专利文献作为知识发展 和创新的重要载体，它所蕴含的效应知识反应了实现产品功能的技术或各项组件间 存在的科学原理，是推进实体产业创新设计的源动
力。从专利资源文本中获取实现 产品功能的效应知识，并将其以中间产品或知识创新的方式融入企业技术方案中， 对传统产业的转型升级和推动高
质量发展都具有重大意义。
[0003] 目前基于
深度学习方法的
文本分类模型已经逐渐成为主流，它被广泛运用于非 结构化
数据处理中，相比基于传统
机器学习的人工特征工程+浅层分类模型，其最大 优点是可以通过无监督自主学习文本中有价值的特征。然而针对专利资源，文本中 某些特征并不是相邻出现，它们具有一定的内聚性，能够结合在一起承担某些关联 信息；同时专利资源大量的非结构化乃至碎片化信息来源多样，所呈现出的局部和 全局语义特征形式不一。现有的文本分类模型，如
卷积神经网络、全连接神经网络 等，无法有效挖掘专利数据集中更为深层的文本特征，从而导致重要资源信息识别 不明确，文本分类效果不理想。
发明内容
[0004] 本发明提供了一种基于多元神经网络融合的中文专利文本效应类别分类方法， 以用于对专利的效应类别进行分类。
[0005] 本发明的技术方案是：一种基于多元神经网络融合的中文专利文本效应类别分 类方法，所述方法步骤如下：
[0006] 步骤1：对中文专利文本进行预处理；
[0007] 步骤2：词嵌入层将进行预处理后的中文专利文本作为输入，文本中的字词会对 照预先训练好的向量词典转化为相同维度的向量形式，每篇被向量表示后的中文专 利文本都会被组织成一个嵌入矩阵Il×n；其中，向量词典是通过Word2vec
算法单独 对所有预处理后的资源文本进行计算得到，文本中的每个字词在向量词典中都有与 之对应且维度大小相同的向量表征，l表示文本长度，n表示词向量维度；
[0008] 步骤3：卷积层以词嵌入层输出的嵌入矩阵Il×n作为输入，并利用多个n×p的卷 积核进行卷积操作，通过使用不同窗口大小的卷积核自动提取出句子的不同效应特 征；最后每个卷积核捕获的效应特征通过连接，得到卷积层的输出结果MCNN，并被 传送到下一步的BIGRU层中；其中，p表示卷积核的窗口大小；
[0009] 步骤4：BIGRU层以卷积层的输出结果MCNN作为输入，利用正反两个不同传递 方向的GRU单元控制输入数据的遗忘和选择记忆功能，并得到输出结果hj；其中 j∈[1,l-p+1]；
[0010] 步骤5：Attention层对BIGRU层输出的结果h1,h2,h3...,hl-p+1引入Attention机制， 计算各个效应
特征向量应分配到的注意力权重值a1,a2,a3...,al-p+1，体现出对重要效应 信息的识别能力，计算上下文注意力效应特征向量C，并传输给Softmax层进行效应 分类；
[0011] 步骤6：Softmax层接收Attention层的输出效应特征向量C，利用Softmax函数 将其映射到(0,1)区间内，对专利效应类别进行分类。
[0012] 所述预处理包括中文分词、对分词后的中文专利文本去停用词。
[0013] 采用Jieba分词系统的精确模式进行中文分词。
[0014] 本发明的有益效果是：
[0015] 1、本发明提出的分类方法采用深度学习技术，能自动获取专利资源中的文本特 征，有效避免了传统机器学习方法中复杂的特征提取过程，大大减少了对人工的依 赖。
[0016] 2、本发明提出的专利分类方法较于常规文本分类方法而言，选取效应知识作为 分类标准更加符合实体产业专利资源需求，可以为用户提供正确效应知识的专利文 本，助其在产品研发过程中产生新的创新原理或技术方案。
[0017] 3、本发明提出的分类方法重点解决了专利资源局部和全局语义特征形式多样、 文本长距离依赖特征显著、重要资源信息难以准确识别问题，为更加全面的挖掘专 利文本特征和按需服务实体产业提供了一种新的思路和手段。
[0018] 4、本发明提出的分类方法，在相同实验条件下，相比于CNN模型，GRU模型 或其两者组合模型，对专利资源文本分类的效果更好，准确率更高。
附图说明
[0019] 图1为基于多元神经网络融合的专利分类
流程图；
[0020] 图2为基于多元神经网络融合的专利分类模型结构图；
[0021] 图3为不同专利分类模型的准确率对比图。
具体实施方式
[0022]
实施例1：如图1-3所示，一种基于多元神经网络融合的中文专利文本效应类别 分类方法，所述方法步骤如下：
[0023] 步骤1：对中文专利文本进行预处理；
[0024] 步骤2：词嵌入层将进行预处理后的中文专利文本作为输入，文本中的字词会对 照预先训练好的向量词典转化为相同维度的向量形式，每篇被向量表示后的中文专 利文本都会被组织成一个嵌入矩阵Il×n；其中，向量词典是通过Word2vec算法单独 对所有预处理后的资源文本进行计算得到，文本中的每个字词在向量词典中都有与 之对应且维度大小相同的向量表征，l表示文本长度，n表示词向量维度；由于每篇 资源文本长度不同，本实施例中设定步骤1中进行预处理的每篇资源文本中最多取 1500个字符，长度不足1500的通过填充0来弥补长度。
[0025] 步骤3：卷积层以词嵌入层输出的嵌入矩阵Il×n作为输入，并利用多个n×p的卷 积核进行卷积操作，通过使用不同窗口大小的卷积核自动提取出句子的不同效应特 征；最后每个卷积核捕获的效应特征通过连接，得到卷积层的输出结果MCNN，并被 传送到下一步的BIGRU层中；其中，p表示卷积核的窗口大小；
[0026] 具体公式如下：
[0027] mi＝σ(W·Ii:i+p-1+b)
[0028] MCNN＝[m1,m2,m3,...ml-p+1]
[0029] 式中，MCNN表示卷积层最终输出结果，mi表示卷积得到的第i个效应特征，Ii:i+p-1表示第i个输入嵌入矩阵
块，l表示文本长度，p表示卷积核窗口大小，σ为Sigmoid 非线性激活函数，W表示权重矩阵，b为偏置项。
[0030] 步骤4：BIGRU层以卷积层的输出结果MCNN作为输入，利用正反两个不同传递 方向的GRU单元控制输入数据的遗忘和选择记忆功能，并得到输出结果hj；其中 j∈[1,l-p+1]；hj的公式如下：
[0031]
[0032] 式中，j∈[1,l-p+1],hj为不同时刻下经过BIGRU层得到的效应特征结果，由该 时刻一个从序列起点前向传递学习的GRU单元输出 与另一个从序列末端反向传 递学习的GRU单元输出 组合而成。
[0033] 步骤5：Attention层对BIGRU层输出的结果h1,h2,h3...,hl-p+1引入Attention机制， 计算各个效应特征向量应分配到的注意力权重值a1,a2,a3...,al-p+1，体现出对重要效应 信息的识别能力，计算上下文注意力效应特征向量C，并传输给Softmax层进行效应 分类；权重的计算公式为：
[0034]
[0035]
[0036] 式中：k∈[1,T]，T表示输入序列的元素数目。ai表示i时刻下该效应特征被分配 的注意力权重值，为文本表征向量， 表示BIGRU层第i个输出向量hi在文本表征中的对齐关系得分，分数越大，说明该时刻的输入效应特征在文本中 被分配的注意力越大；v,W,U表示权重矩阵，b为偏置项，tanh为非线性激活函数。
[0037]
[0038] 步骤6：Softmax层接收Attention层的输出效应特征向量C，利用Softmax函数 将其映射到(0,1)区间内，对专利效应类别进行分类。
[0039] 所述预处理包括中文分词、对分词后的中文专利文本去停用词(去停用词是指 去除一些对文本分类无意义的高频词，目的在于过滤文本冗余，提高文本分类的准 确率)。
[0040] 采用Jieba分词系统的精确模式进行中文分词(通过分词可以避免：由于基于字 的特征粒度会丢失过多“n-gram”信息；所以在文本表示之前需要对文本数据进行分词 处理)。
[0041] 通过上述步骤，本
申请给出具体的实验数据如下：本实验采用的专利文本语料 数据集为万方科技资源2017-2019年间的部分中文专利文档(5320篇)，并选用离心 效应、摆动效应、虹吸效应、弹性
变形和热效应这5种效应作为分类标签。为保证 分类结果的
稳定性，所有语料数据均随机打乱，然后按照7:3的比例将数据集划分为 训练集和测试集。其中3724篇专利本档用于训练，1596篇文档用于测试。
[0042] 为评估本发明提出的模型性能，在相同数据集上基于3CNN模型、GRU模型、 3CNN-BIGRU模型、BIGRU模型、BIGRU-ATT模型和3C-BGA模型进行实验对比， 其中3CNN模型是由窗口大小为3,4,5的三种不同卷积核组合而成；3CNN-BIGRU 模型是由1条3CNN通路与1条双向GRU通路拼接融合；BIGRU-ATT模型为引入 注意力机制的BIGRU网络通路；3C-BGA为本文提出的多元神经网络融合模型,集成 了1条3CNN通路与1条BIGRU-ATT通路。具体准确率对比结果见表1；实验得到 不同模型在测试集上准确率(accuracy)与
迭代次数(epochs)之间的关系，如图3 所示。
[0043] 表1 各分类模型的准确率
[0044]
[0045] 从实验结果中可以看出，基于相同数据集上的3CNN模型准确率相比GRU模型 提升了2.8％，这是因为不同
视野下的一维卷积可以过滤获取有用的数据特征，而且 计算代价相比GRU要小很多，所以分类效果相对较好；而BIGRU模型的分类准确 率较3CNN提升了约3％，从模型
角度来看，其原因在于BIGRU可以融合前向与后 向信息之间的关联特征，而
3CNN虽然可以获取句子的局部特征，但缺乏对全局信 息的捕获能力；融合注意力机制的BIGRU模型通过分配不同大小的注意力权重，以 获取更多所需要关注目标的细节信息，从而提高文本识别能力，使得BIGRU-ATT模 型的准确率较BIGRU模型提升了约2％；3CNN-BIGRU模型首先通过卷积操作对文 本数据中
位置不变的局部特征进行采集，然后再利用BIGRU来捕获长距离依赖信息。 通过实验结果可见，3CNN-BIGRU模型的准确率较上述提到的单一神经网络模型分 类效果更好，达到了87.25％。而本申请所提出的多元神经网络融合(3C-BGA)模 型相比于3CNN-BIGRU神经网络模型在相同条件下表现效果提升了约2％，说明通 过多元神经网络的融合可以学习到数据集中更为深层的效应知识特征，有效提升文 本识别能力。
[0046] 综上，本发明从专利资源文本按需服务实体产业的视角出发，以反映专利所述 产品背后各项技术或各项组件间存在的科学原理(效应知识)作为分类标准对专利 文本进行分类，提出了集成融合卷积神经网络(CNN)和引入注意力机制(Attention) 策略的双向
门控循环神网络(BIGRU)，形成了包含词嵌入层、卷积层、BIGRU层、 Attention层和Softmax层的多元神经网络通路。该方法可以更加全面的挖掘专利文 本特征，为用户获取正确的效应知识，助其在产品研发过程中产生新的创新原理或 技术方案。实验结果证明，在相同实验条件下，相比于CNN模型，GRU模型或其 两者组合模型，本发明所提出的分类方法效果最好，准确率最高。
[0047] 上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上 述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明 宗旨的前提下作出各种变化。
