一种基于对象检测器和递归神经网络的统一图解析网络
专利汇可以提供一种基于对象检测器和递归神经网络的统一图解析网络专利检索，专利查询，专利分析的服务。并且本 发明 中提出的一种基于对象检测器和 递归神经网络 的统一图解析网络，其主要内容包括：解析图的组成、动态图生成网络、多任务训练、级联推理，其过程为，先利用一个对象检测器检测图像中的对象，接着通过图推断预测 顶点 之间边的存在，并使用一个动态图生成网络在线构造二向图，并从相邻的边聚合信息，然后通过端到端的方式对网络进行训练，最后处理生成的关系信息，以进一步生成知识句。本发明解决了以往输入到输出路径过长导致错误累积、图表中的语境丢失等问题，同时能够充分处理图像中的信息，优化完成后，还可以用于解决问题回答等基于语言的问题。，下面是一种基于对象检测器和递归神经网络的统一图解析网络专利的具体信息内容。
1.一种基于对象检测器和递归神经网络的统一图解析网络，其特征在于，主要包括解析图的组成(一)；动态图生成网络(二)；多任务训练(三)；级联推理(四)。
2.基于权利要求书1所述的解析图的组成(一)，其特征在于，使用大对象(独立物体)、文本、箭头和箭尾来定义物体。
3.基于权利要求书1所述的动态图生成网络(二)，其特征在于，通过图推断来预测一对顶点之间的边的存在，从而对图中对象的关系匹配进行了预测，图的节点和边分别与对象和对象之间的关系相对应，因此，关系图用一个双向图来描述：
H＝(V，E) (1)
其中V＝X∪Y表示成对互斥的顶点集合 和 而E表示的是图上连接 和
的边；然后使用以门控循环单元(GRU)作为基础模型的动态图生成网络(DGGN)方法从相邻的边聚合消息，同时为了传递相邻边的信息，DGGN采用一个可以在线构建图形结构的动态规划方案。
4.基于权利要求书3所述的双向图，其特征在于，构造过程为复制被检测到的对象O为Ox和 并假设这两个集合是不相交的，然后预测在节点Ox和 之间是否存在边，其中节点之间的连接由它们的空间关系和对象检测器提供的每个对象类的置信度评分决定；没有使用来自ROI池的卷积特性，而是为对象Ox定义一个特性 其中包括位置(xmin、ymin、xmax、ymax)、中心点(x中心值、y中心值)、宽度、高度和置信度评分，因此，物体Ox和 之间的关系可以用局部特性 描述，而特征向量f(l)作为一个RNN层的输入，同时为了防止序列中局部特性的顺序影响性能，每次迭代之前随机地调整特性的顺序；此外，为了提取图的布局和所有对象的空间信息，一个全局特性f(g)被用作RNN的输入，其中全局特性 是由第一个分支中主干神经网络的conv-7层(256×1×1)的卷积特性和一个图的二进制掩码特性(128×1)所构成的，且为了匹配conv-7和隐藏单元的维度，在最后一步中使用了一个全连接层，而对于掩码特性，将 的维度二进制掩码映射传输到一个4层的卷积网并且最大池化以匹配隐藏单元的维度，其中nh和nw分别代表图像的高度和宽度，nc则代表物体种类的数目。
5.基于权利要求书3所述的DGGN方法，其特征在于，结合了图论中的邻接矩阵，它主要用于通过图形的已知结构来传播信息，然而，由于邻接矩阵是未知的，因此引入一个动态内存组件来估计这个邻接矩阵，它包含节点之间的连接信息，并且将二维的邻接矩阵扩展到三维存储器；动态邻接张量内存(DATM) 定义为邻接矩阵 的连接和
对应的隐藏单元H，其中邻接矩阵A表示在有向图中n个节点之间的连接状态，邻接矩阵中的每个单元只表示对应的节点对是否有一个指向的弧，隐藏单元H的元素h(i，j)是GRU的m维隐藏向量，它与节点Oi和Oj之间的连接有关；最后，执行张量D的检索和更新步骤，以聚集来自邻边的信息，同时构建图形。
6.基于权利要求书5所述的张量D的检索步骤，其特征在于，获取以前的隐藏状态它收集着通过相邻边传播的信息，同时用两节点之间存在边的概率来加权Oi和Oj的邻接向量，形式上，为输入矢量 提取一个合适的隐藏单元 表示与节点i和j的连接，如下所述：
其中，ak，i表示矩阵A的(i，j)元素， 是储存在张量H的(i，j)位置的隐藏单元，概率ai，j作为聚集消息的权重，意味着更可靠的相邻边应该给出更可信的信息；最后在传输到GRU层之前，添加全局特性f(g)来反映图表的全局形状。
7.基于权利要求书5所述的张量D的更新步骤，其特征在于，使用一个m+1长度的向量来更新单元Dij，它将输出at和GRU单元的隐藏状态ht连接起来：
at＝σ(Wlht+bt) (7)
Di，j＝[at，ht] (8)
其中σ(·)是一个s形函数，为了获得隐藏状态 向量 和 分别被用作标准GRU的前隐状态和输入向量，更新门zt在GRU单元中有一个作用是调整之前的信息 的输入，二进制输出at在全连接层后获得。
8.基于权利要求书1所述的多任务训练(三)，其特征在于，统一图解析网络(UDPnet)是通过端到端方式进行训练的，因为UDPnet由两个分支组成(基于单次检测器的对象检测和DGGN的图形生成)，本质上，这是一个多任务学习问题，因此，每个分支的不同损失被合并到总体损失L中，如下所列：
L＝αLc+βLl+γLr (9)
总体损失是分类损失Lc，对象检测分支的位置回归损失Ll，以及图生成网络的关系分类损失Lr的加权和；正如在原始的单次检测器(SSD)中定义的那样，分类损失Lc是对多个类的信任度的损失函数，而位置回归损失Ll则是预测框和参考框之间的平滑的L1损失，关联分类损失Lr是两个相邻或不相邻的类之间的损失函数；为了更快的收敛，首先预先训练对象检测分支，然后用整体损失对这两个分支进行微调。
9.基于权利要求书8所述的训练对象检测分支，其特征在于，制定了一套策略来匹配候
2
选项对和参考标签，首先，假设对象检测分支检测到n个对象，那么就生成n对关系候选项，对于每个关系候选来说，两个集合的交集是均等的，每个集合都在一个被检测到的对象和最近的参考标签之间计算过；然后每一个参考关系都与最好的重叠关系候选相匹配，考虑到不同图中检测到的对象数量的不平衡，从每个训练图中抽取相同数量的关系候选对象。
10.基于权利要求书1所述的级联推理(四)，其特征在于，首先检测到图表中的对象，然后应用交并比(IoU)阈值为0.45的非最大抑制(NMS)在分数高于0.01的候选项集合上，与训练不同的是，使用被检测到的所有候选项集合来为下一个分支生成候选配对，接着将图形生成分支应用于所有关系候选对象，以推断彼此之间的关系；最后，可以得到一个由相邻的置信度评分高于0.1的节点组成的图；在图推断之后，可以处理生成的关系信息，以进一步生成知识句，这可以作为问题回答模型的输入。
一种基于对象检测器和递归神经网络的统一图解析网络
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于双神经网络的睡眠呼吸声检测方法及系统 | 2020-05-13 | 234 |
| 一种基于运行数据的风电利用率计算方法 | 2020-05-14 | 490 |
| 保持锐利特征的三维重建方法及系统 | 2020-05-11 | 877 |
| 一种基于时间序列聚类的流域洪水响应相似性分析方法 | 2020-05-08 | 440 |
| 一种点邻域尺度差异描述的点云配准方法 | 2020-05-08 | 309 |
| 一种基于供水水力模型的用水量分配方法及装置 | 2020-05-08 | 264 |
| 移动体、位置推断装置以及计算机程序 | 2020-05-12 | 473 |
| 用于行人重识别的模型训练方法、识别方法、装置及介质 | 2020-05-13 | 188 |
| 基于改进KNN-DPC算法的激光点云分裂导线提取方法 | 2020-05-11 | 375 |
| 一种基于多值体元的机载多光谱LIDAR三维分割方法 | 2020-05-14 | 254 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
