一种基于概念图的跨语言信息检索方法
专利汇可以提供一种基于概念图的跨语言信息检索方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 概念图 的跨语言 信息检索 方法，所述基于概念图的跨语言信息检索方法为跨语言相似度评估 框架 CG-CLIR的方法，包括以下步骤：S1，基于Skip-Gram的概念图边表示；S2，融合边信息的高阶语义嵌入及相似度计算；所述步骤S1包括文本预处理、概念图边语义嵌入；所述步骤S2包括基于LSTM的图级别语义嵌入、基于图嵌入的相似度计算。本发明的方法在文本跨语言信息检索中，跨越了语言障碍，在不经过翻译的情况下，实现了语义检索的效果。，下面是一种基于概念图的跨语言信息检索方法专利的具体信息内容。
1.一种基于概念图的跨语言信息检索方法，其特征在于，所述基于概念图的跨语言信息检索方法为跨语言相似度评估框架CG-CLIR的方法，包括以下步骤：
S1，基于Skip-Gram的概念图边表示；
S2，融合边信息的高阶语义嵌入及相似度计算；
所述步骤S1包括文本预处理、概念图边语义嵌入；
所述步骤S2包括基于LSTM的图级别语义嵌入、基于图嵌入的相似度计算。
2.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述文本预处理包括：分别将概念图中的双语实体、双语关系嵌入空间 和 ，其中 为嵌入向量维度的大小；将对应中英文概念图分别表示为
和 ，其中n为图中的概念个数，m为图中的关
系个数；为对图中的边进行嵌入，再图嵌入之前，先将关系也看作实体，把边转化为节点，把带有信息的边转化有向的不带信息的边；首先对图中的概念进行语义表示，再将节点的语义表示作为输入对概念图整体进行语义，获取概念图的全局信息；从而更加全面准确地进行跨语言检索。
3.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述概念图边语义嵌入：在图嵌入的基础上，首先对概念图中的关系进行分类表示，在构造关系标签的基础上再对图进行整体嵌入。
4.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述基于LSTM的图级别语义嵌入包括：
S211，在整个训练样本上从图结构和节点特征中学习节点嵌入；
S212，从Gumbel-Softmax分布近似的随机游走方法连续采样图节点序列；
S213，节点嵌入以及节点序列被修改的RNN模型用作输入以学习图形级别特征以预测图标签；
所述步骤S212和S213形成可区分的监督学习模型，具有相对于分类目标从反向传播学习的随机游走和RNN参数。
5.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述步骤S211包括：
通过学习嵌入矩阵 ，使得每个节点i被映射到通过 计算的d维向
量 ，并且权重向量 表示与该组相关联的权重；邻居节点
对应不同的距离，每个节点i的预测模型计算公式如下：
(1-1)
其中，每个计算项 对应于来自与中心节点i距离为s的邻居集的节点
嵌入信息的总和；f（·）是可微分的预测函数， 对应于节点类型的预测概率；使用两层神经网络模型作为预测函数：
(1-2)
其中 ，损失函数定义为概念图中所有节点上的交叉熵
误差之和，计算如下：
(1-3)
应用于图层次的嵌入，主要考虑图中结构信息，对全局信息有更好的表示；用图形卷积网络和GraphSAGE，预训练模型仅使用节点信息的邻居。
6.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述步骤S212包括：
结合Gumbel-Softmax分布的随机游走方法来生成具有要用分类目标学习的参数的图节点序列的连续样本；
权重矩阵 ，其参数为 ，定义如下:
(1-4)
即通过为节点之间的值 分配 的距离和距离超过 的节点
来对W进行参数化，随机游走转移矩阵 为权重矩阵行上的softmax函数，定义如下:
(1-5)
使用 和 来分别表示对应于矩阵P和W的第i行的向量；符号 和 对应于矩阵元素；概念图序列表示为 ，由从上式中的转移概率中采
样的连续概念图节点组成 表示在该方程中的节点索引；第i个序列中的节点，形成 的排列；每个节点 中的每一个对
应于在所选节点索引处的one-hot向量，如下：
(1-6)
将Gumbel-Softmax分布引入近似样本的分类分布，Gumbel-Max提供如下算法从随机游走概率中抽取样本：
(1-7)
其中 是 从Gumbel（0,1）分布中抽取的样本，进一步使用softmax函数作为arg max的连续和可微分近似，近似样本计算为：
(1-8)
softmax参数τ控制来自Gumbel-Softmax分布和one-hot表示的样本之间的接近度，当τ接近0时，样本变得与来自相同分布的one-hot样本相同。
7.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述步骤S213包括：
使用递归神经网络模型适应节点属性和邻域信息以及从随机游走方法采样的节点序列，每个元素 在节点序列中，对应于所有图节点上的softmax，表示为 的输入节点特征和表示为 的邻域特征被计算为对应节点和相邻嵌入的加权和:
(1-9)
(1-10)
其中ei是由第一阶段算法生成的节点的表示，并且 作为节点i的聚
合邻域嵌入；给定由 定义的循环单元的状态，将状态更新修改为
以考虑节点和邻域信息；图层级表示形成为所有序列步骤上的
隐藏单元的总和，如下所示：
(1-11)
对于LSTM模型，将邻居信息传播到所有LSTM门，允许邻域信息被集成到门状态；
预测模型附加在图级表示上以预测图标签，从而对图进行降维表示，在实验中，使用两层全连接神经网络进行判别训练；通过损失函数的反向传播来学习递归神经网络的所有参数，该函数被定义为预测标签和真实图形标签之间的交叉熵误差。
8.根据权利要求1所述的基于概念图的跨语言信息检索方法，其特征在于，所述基于图嵌入的相似度计算包括：
经过模型最后全连接层的输出，输出了检索概念图的嵌入向量化表示，在数据库中寻找与该概念图向量相似的向量，选择Cosine系数即余弦距离作为统一的相似度度量标准；
Cosine系数的定义如下：
(1-12)
对全连接层的输出进行非线性处理后，得到概念图的向量表示；评价特征向量相似度的指标采用Manhattan LSTM模型中使用的计算公式：
(1-13)
其中 和 为上一阶段全连接层中的节点表示，exp为以自然常数e为底的指数函数；
按照对图嵌入的向量进行距离计算，求得距离最近的其他图嵌入，通过与候选集中的概念图向量进行相似度计算，进行排序，最后通过排名选择概念图向量相似度靠前的文本，达到检索的效果。
一种基于概念图的跨语言信息检索方法
技术领域
背景技术
发明内容
S2，融合边信息的高阶语义嵌入及相似度计算；
所述步骤S1包括文本预处理、概念图边语义嵌入；
所述步骤S2包括基于LSTM的图级别语义嵌入、基于图嵌入的相似度计算。
中n为图中的概念个数，m为图中的关系个数；为对图中的边进行嵌入，再图嵌入之前，先将关系也看作实体，把边转化为节点，把带有信息的边转化有向的不带信息的边；首先对图中的概念进行语义表示，再将节点的语义表示作为输入对概念图整体进行语义，获取概念图的全局信息；从而更加全面准确地进行跨语言检索。
S212，从Gumbel-Softmax分布近似的随机游走方法连续采样图节点序列；
S213，节点嵌入以及节点序列被修改的RNN模型用作输入以学习图形级别特征以预测图标签；
所述步骤S212和S213形成可区分的监督学习模型，具有相对于分类目标从反向传播学习的随机游走和RNN参数。
量 ，并且权重向量 表示与该组相关联的权重；邻居节点
对应不同的距离，每个节点i的预测模型计算公式如下：
(1-1)
其中，每个计算项 对应于来自与中心节点i距离为s的邻居集的节点
嵌入信息的总和；f（·）是可微分的预测函数， 对应于节点类型的预测概率；使用两层神经网络模型作为预测函数：
(1-2)
其中 ，损失函数定义为概念图中所有节点上的交叉
熵误差之和，计算如下：
(1-3)
应用于图层次的嵌入，主要考虑图中结构信息，对全局信息有更好的表示；用图形卷积网络和GraphSAGE，预训练模型仅使用节点信息的邻居。
权重矩阵 ，其参数为 ，定义如下:
(1-4)
即通过为节点之间的值 分配 的距离和距离超过 的节
点来对W进行参数化，随机游走转移矩阵 为权重矩阵行上的softmax函数，定义如下:
(1-5)
使用 和 来分别表示对应于矩阵P和W的第i行的向量；符号 和 对应于矩阵元素；概念图序列表示为 ，由从上式中的转移概率中
采样的连续概念图节点组成 表示在该方程中的节点索引；第i个序列中的节点，形成 的排列；每个节点 中的每一个对
应于在所选节点索引处的one-hot向量，如下：
(1-6)
将Gumbel-Softmax分布引入近似样本的分类分布，Gumbel-Max提供如下算法从随机游走概率中抽取样本：
(1-7)
其中 是 从Gumbel（0,1）分布中抽取的样本，进一步使用softmax函数作为arg max的连续和可微分近似，近似样本计算为：
(1-8)
softmax参数τ控制来自Gumbel-Softmax分布和one-hot表示的样本之间的接近度，当τ接近0时，样本变得与来自相同分布的one-hot样本相同。
(1-9)
(1-10)
其中ei是由第一阶段算法生成的节点的表示，并且 作为节点i的聚合
邻域嵌入；给定由 定义的循环单元的状态，将状态更新修改为
以考虑节点和邻域信息；图层级表示形成为所有序列步骤上的隐
藏单元的总和，如下所示：
(1-11)
对于LSTM模型，将邻居信息传播到所有LSTM门，允许邻域信息被集成到门状态；
预测模型附加在图级表示上以预测图标签，从而对图进行降维表示，在实验中，使用两层全连接神经网络进行判别训练；通过损失函数的反向传播来学习递归神经网络的所有参数，该函数被定义为预测标签和真实图形标签之间的交叉熵误差。
Cosine系数的定义如下：
(1-12)
对全连接层的输出进行非线性处理后，得到概念图的向量表示；评价特征向量相似度的指标采用Manhattan LSTM模型中使用的计算公式：
(1-13)
其中 和 为上一阶段全连接层中的节点表示，exp为以自然常数e为底的指数函数；
按照对图嵌入的向量进行距离计算，求得距离最近的其他图嵌入，通过与候选集中的概念图向量进行相似度计算，进行排序，最后通过排名选择概念图向量相似度靠前的文本，达到检索的效果。
图3是本发明的图结构嵌入结构图；
图4是本发明的关系嵌入后分类效果可视化图；
图5是本发明的关系嵌入方法效果对比图；
图6是本发明的CG-CLIR与其他两种CLIR方法比较图。
具体实施方式
S2，融合边信息的高阶语义嵌入及相似度计算；
所述步骤S1包括文本预处理、概念图边语义嵌入；
所述步骤S2包括基于LSTM的图级别语义嵌入、基于图嵌入的相似度计算。所述文本预处理包括：分别将概念图中的双语实体、双语关系嵌入空间 和 ，其中 为嵌入向量维度的大小；将对应中英文概念图分别表示为
和 ，其中n为图中的概念个数，m为图中的关系
个数；为对图中的边进行嵌入，再图嵌入之前，先将关系也看作实体，把边转化为节点，把带有信息的边转化有向的不带信息的边；首先对图中的概念进行语义表示，再将节点的语义表示作为输入对概念图整体进行语义，获取概念图的全局信息；从而更加全面准确地进行跨语言检索。
其中G为概念图、d为表示向量维度、r为节点生成的路径个数，路径长Lp、q为选择DFS和BFS游走方式的概率。
S212，从Gumbel-Softmax分布近似的随机游走方法连续采样图节点序列；
S213，节点嵌入以及节点序列被修改的RNN模型用作输入以学习图形级别特征以预测图标签；
所述步骤S212和S213形成可区分的监督学习模型，具有相对于分类目标从反向传播学习的随机游走和RNN参数；
所述基于LSTM的图级别语义嵌入具体为：
在得到节点的上下文语义信息后，通过基于递归神经网络RNN对概念图进行图层面的表示；包括将图形节点嵌入低维向量空间的新闻方案，以及将图的结构信息映射到与GumbelSoftmax分布近似的向量空间；学习单词表示的模型，学习基于的概念图中的节点表示，节点特征以及与节点相关的结构图信息；使用随机游走方法结合Gumbel-Softmax分布进行连续采样从而构造图形节点序列，其中从中学习参数用于节点嵌入；通过修改的RNN模型输入以学习概念图的图层级特征以预测图标签；对RNN模型的体系结构进行修改以适应上节产出的输出，此模型输入来自节点表示以及其邻域信息；节点序列和RNN模型的采样形成一个能细分的监督学习模型，用参数学习预测图形标签从反向传播到分类目标。
量 ，并且权重向量 表示与该组相关联的权重；邻居节点
对应不同的距离，每个节点i的预测模型计算公式如下：
(1-1)
其中，每个计算项 对应于来自与中心节点i距离为s的邻居集的节点
嵌入信息的总和；f（·）是可微分的预测函数， 对应于节点类型的预测概率；使用两层神经网络模型作为预测函数：
(1-2)
其中 ，损失函数定义为概念图中所有节点上的交叉
熵误差之和，计算如下：
(1-3)
应用于图层次的嵌入，主要考虑图中结构信息，对全局信息有更好的表示；用图形卷积网络和GraphSAGE，预训练模型仅使用节点信息的邻居。
权重矩阵 ，其参数为 ，定义如下:
(1-4)
即通过为节点之间的值 分配 的距离和距离超过 的
节点来对W进行参数化，随机游走转移矩阵 为权重矩阵行上的softmax函数，定义如下:
(1-5)
使用 和 来分别表示对应于矩阵P和W的第i行的向量；符号 和 对应于矩阵元素；概念图序列表示为 ，由从上式中的转移概率中采
样的连续概念图节点组成 表示在该方程中的节点索引；第i个序列中的节点，形成 的排列；每个节点 中的每一
个对应于在所选节点索引处的one-hot向量，如下：
(1-6)
将Gumbel-Softmax分布引入近似样本的分类分布，Gumbel-Max提供如下算法从随机游走概率中抽取样本：
(1-7)
其中 是 从Gumbel（0,1）分布中抽取的样本，进一步使用softmax函数作为arg max的连续和可微分近似，近似样本计算为：
(1-8)
softmax参数τ控制来自Gumbel-Softmax分布和one-hot表示的样本之间的接近度，当τ接近0时，样本变得与来自相同分布的one-hot样本相同。
(1-9)
(1-10)
其中ei是由第一阶段算法生成的节点的表示，并且 作为节点i的聚合
邻域嵌入；给定由 定义的循环单元的状态，将状态更新修改为
以考虑节点和邻域信息；图层级表示形成为所有序列步骤上的隐
藏单元的总和，如下所示：
(1-11)
对于LSTM模型，将邻居信息传播到所有LSTM门，允许邻域信息被集成到门状态；
预测模型附加在图级表示上以预测图标签，从而对图进行降维表示，在实验中，使用两层全连接神经网络进行判别训练；通过损失函数的反向传播来学习递归神经网络的所有参数，该函数被定义为预测标签和真实图形标签之间的交叉熵误差。所述基于图嵌入的相似度计算包括：
经过模型最后全连接层的输出，输出了检索概念图的嵌入向量化表示，在数据库中寻找与该概念图向量相似的向量，选择Cosine系数即余弦距离作为统一的相似度度量标准；
Cosine系数的定义如下：
(1-12)
对全连接层的输出进行非线性处理后，得到概念图的向量表示；评价特征向量相似度的指标采用Manhattan LSTM模型中使用的计算公式：
(1-13)
其中 和 为上一阶段全连接层中的节点表示，exp为以自然常数e为底的指数函数；
按照对图嵌入的向量进行距离计算，求得距离最近的其他图嵌入，通过与候选集中的概念图向量进行相似度计算，进行排序，最后通过排名选择概念图向量相似度靠前的文本，达到检索的效果。
表1 关系嵌入的部分结果
利用可视化工具对关系嵌入进行可视化，在可视化前做一个简单聚类，将相似关系用相同颜色表示，可视化后的部分结果可视化如图4所示;
如图4所示，代表不同语义的关系被分成了不同的类，在图中由不同的颜色表示，边信息的介入带来了更多更准确的上下文信息。
表3 英文单语言语料检索效果
如表所示，在单语言语料中，效果最好的方法为关键词检索方法，其他三种方法效果差距不大，但都不如关键词检索，尤其是在Top1检索结果的准确率上。然而随着对搜索结果个数的增多，其他三种方法的准确率都有所提高。这是合理的情况，因为后三种检索方法是适用于跨语言的，基于语义的检索，所以在单语言仅仅进行关键词匹配的情况下表现略差一些，而在放宽返回检索候选文本条数后，基于语义的检索方法准确率就会很快提高。在单语言语料中的实验表明，虽然在Top1的准确度上，本发明的方法并无优势，但也没有劣势，同时本发明方法主要应用场景为跨语言检测。
表5 中英文双语语料检索效果
由上表可见，在单语言检索中效果最好的关键词检索方法在跨语言中效果非常差，这是由于翻译中出现的语义消失和歧义问题。在基于本体和基于术语的检索方法中，由于本体和术语在翻译中涉及到较少的歧义问题，所以在跨语言任务中效果更好一些。双语语料中，表现最好的是本发明的基于概念图的检索方法，因为本方法不涉及到翻译，直接对双语概念进行映射，所以更适合跨语言任务场景。值得注意的是，在通过机器翻译的伪平行语料下，各种方法的效果都有提升，因为本身伪双语语料是通过翻译得到，因此，在真实双语语料中的实验更具有通用性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 面向全系统信息管理的基于情景与语义的信息聚合方法 | 2020-05-14 | 502 |
| 一种基于fMRI的类别概念间相似性计算方法 | 2020-05-19 | 816 |
| 图片排序方法及装置 | 2020-05-22 | 808 |
| 基于概念关联的概念空间导航方法 | 2020-05-14 | 444 |
| 客服的服务质量评价方法和系统 | 2020-05-19 | 801 |
| 基于知识图谱预测视频精彩级别的方法、装置及存储介质 | 2020-05-08 | 941 |
| 感光性转印材料、电路配线的制造方法及触摸面板的制造方法 | 2020-05-12 | 699 |
| 基于结构化网络知识自动生成中文本体库的方法、系统、计算机设备和计算机可读介质 | 2020-05-20 | 98 |
| 結構性學習槪念評量系統 | 2020-05-18 | 712 |
| 感光性轉印材料、電路配線的製造方法及觸控面板的製造方法 | 2020-05-16 | 799 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
