首页 / 专利库 / 专利权 / 第I章 / 一种文章生成的方法和装置

一种文章生成的方法和装置

阅读:611发布:2020-05-11

专利汇可以提供一种文章生成的方法和装置专利检索,专利查询,专利分析的服务。并且本 申请 提供一种文章生成的方法和装置,所述方法包括:接收标题文本,确定所述标题文本中的实体关系;根据所述标题文本、实体关系和起始符生成第一句;根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2;拼接生成的句子获得文章。利用了第一句至第i-1句连贯的语义信息,并以此实现第i句中词语的生成,使得生成的第i句与前面生成的第一句至第i句的语义信息前后连贯,且避免了生成的第i句与在先生成的第一句至第i-1句的语义的重复,提高了生成的文章 质量 。,下面是一种文章生成的方法和装置专利的具体信息内容。

1.一种文章生成的方法,其特征在于,包括:
接收标题文本,确定所述标题文本中的实体关系;
根据所述标题文本、实体关系和起始符生成第一句;
根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2;
拼接生成的句子获得文章。
2.根据权利要求1所述的方法,其特征在于,确定所述标题文本中的实体关系,包括:
提取所述标题文本中的至少两个实体;
确定单个所述实体与至少一个实体的关联关系,根据单个所述实体与至少一个实体的关联关系获取实体关系。
3.根据权利要求1所述的方法,其特征在于,确定所述标题文本中的实体关系,包括:
提取所述标题文本中的至少两个实体;
根据所述实体在所述标题文本中的语义,获取语料库中与所述实体的语义相似度高于预设相似阈值的原实体;
确定所述实体或原实体与至少一个实体的关联关系,根据所述实体或原实体与至少一个实体的关联关系获取实体关系。
4.根据权利要求1所述的方法,其特征在于,根据所述标题文本、实体关系和起始符生成第一句,包括:
将所述标题文本输入第一编码网络,获取所述第一编码网络输出的第一编码特征;
将所述实体关系输入第二编码网络,获取所述第二编码网络输出的第二编码特征;
将所述起始符输入特征生成网络获得起始符特征,将所述起始符特征输入特征预测网络,所述特征预测网络输出第一句特征;
对所述第一、二编码特征以及第一句特征进行解码获得第一、二、三解码特征,拼接所述第一、二、三解码特征得到拼接解码特征;
将所述拼接解码特征输入分类器,获取所述分类器输出的第一句。
5.根据权利要求1所述的方法,其特征在于,根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,包括:
S202:基于所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句;
S204:根据生成的句子,判断是否达到生成条件;若是,执行S208,若否,执行S206;
S206:将i自增1,执行S202;
S208:结束生成。
6.根据权利要求1所述的方法,其特征在于,根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,包括:
基于起始符、第一句至第i-1句生成第i句预测特征;
根据所述标题文本、实体关系和第i句预测特征生成第i句。
7.根据权利要求6所述的方法,其特征在于,基于起始符、第一句至第i-1句生成第i句预测特征,包括:
将起始符和第一句至第i-1句分别输入特征生成网络,所述特征生成网络分别输出起始符特征、第一句特征至第i-1句特征;
将所述起始符特征和第一句特征至第i-1句特征顺序输入特征预测网络,所述特征预测网络输出第i句预测特征。
8.根据权利要求6所述的方法,其特征在于,根据所述标题文本、实体关系和第i句预测特征生成第i句,包括:
将所述标题文本输入第一编码网络,获取所述第一编码网络输出的第一编码特征;
将所述实体关系输入第二编码网络,获取所述第二编码网络输出的第二编码特征;
对所述第一、二编码特征和第i句预测特征进行解码获得第一、二、三解码特征,拼接所述第一、二、三解码特征得到拼接解码特征;
将所述拼接解码特征输入分类器,获取所述分类器输出的第i句。
9.根据权利要求4或8所述的方法,其特征在于,将所述标题文本输入第一编码网络,获取所述第一编码网络输出的第一编码特征,包括:
将所述标题文本输入长短期记忆网络,获取所述长短期记忆网络输出的第一编码特征;
将所述实体关系输入第二编码网络,获取所述第二编码网络输出的第二编码特征,包括:
将所述实体关系输入图卷积网络,获取所述图卷积网络输出的第二编码特征。
10.根据权利要求5所述的方法,其特征在于,根据生成的句子,判断是否达到生成条件,包括:
确定生成的所述第一句至第i句的文本总长度;
判断所述第一句至第i句的文本总长度是否超过预设长度阈值;
若是,达到生成条件;
若否,未达到生成条件。
11.根据权利要求5所述的方法,其特征在于,根据生成的句子,判断是否达到生成条件,包括:
基于生成的第i句,判断生成的第i句是否包含结束符;
若是,达到生成条件;
若否,未达到生成条件。
12.一种文章生成的装置,其特征在于,包括:
处理模,被配置为接收标题文本,确定所述标题文本中的实体关系;
第一生成模块,被配置为根据所述标题文本、实体关系和起始符生成第一句;
第二生成模块,被配置为根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2;
拼接模块,被配置为拼接生成的句子获得文章。
13.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1-11任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-11任意一项所述方法的步骤。

说明书全文

一种文章生成的方法和装置

技术领域

[0001] 本申请涉及自然语言处理技术领域,特别涉及一种文章生成的方法和装置、计算设备及计算机可读存储介质。

背景技术

[0002] 文本自动生成是自然语言处理领域的一个重要研究方向,实现文本自动生成也是人工智能走向成熟的一个重要标志。文本自动生成包括文本到文本的生成,文本到文本的生成技术主要指对给定文本进行变换和处理从而获得新文本的技术,文本自动生成技术可以应用于智能问答与对话、机器翻译等系统,实现更加智能和自然的人机交互
[0003] 现有文本生成方法中,根据用户输入的信息来生成文本,通过对输入的信息一次性编码得到向量级别的特征表达,再对编码结果进行解码生成文本,上述编码和解码过程只进行一次,生成的句子未考虑到前句的信息,对于生成词数较少的句子级别文本时质量较好,但是对于包含成百上千字长度的段落或文章这种长文本,生成的长文本中会出现大量重复语句的情况,冗余信息较多,生成的长文本内容质量较差。发明内容
[0004] 有鉴于此,本申请实施例提供了一种文章生成的方法和装置、计算设备及计算机可读存储介质,以解决现有技术中存在的技术缺陷
[0005] 本申请实施例公开了一种文章生成的方法,包括:
[0006] 接收标题文本,确定所述标题文本中的实体关系;
[0007] 根据所述标题文本、实体关系和起始符生成第一句;
[0008] 根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2;
[0009] 拼接生成的句子获得文章。
[0010] 本申请实施例公开了一种文章生成的装置,包括:
[0011] 处理模,被配置为接收标题文本,确定所述标题文本中的实体关系;
[0012] 第一生成模块,被配置为根据所述标题文本、实体关系和起始符生成第一句;
[0013] 第二生成模块,被配置为根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2;
[0014] 拼接模块,被配置为拼接生成的句子获得文章。
[0015] 本申请实施例公开了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现如上所述的文章生成的方法的步骤。
[0016] 本申请实施例公开了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如上所述的文章生成的方法的步骤。
[0017] 本申请上述实施例中,通过根据标题文本、实体关系、起始符以及第一句至第i-1句的信息,利用了第一句至第i-1句连贯的语义信息,并以此实现第i句中词语的生成,换言之,利用前面顺序生成句子连贯的语义信息,并以此指导第i句中词语的生成,使得生成的第i句与前面生成的第一句至第i句的语义信息前后连贯,且避免了生成的第i句与在先生成的第一句至第i-1句的语义的重复;另外,所述第i句的生成中还根据所述标题文本、实体关系的信息,避免生成的句子与标题文本关联性较低而影响句子的生成质量,确保生成的句子与标题文本具备较高关联性,进一步提高句子的生成质量,在应用于智能问答与对话、机器翻译时,实现更加智能和自然的人机交互。附图说明
[0018] 图1是本申请实施例的计算设备的结构示意图;
[0019] 图2是本申请第一实施例的文章生成的方法的流程示意图;
[0020] 图3是本申请第二实施例的文章生成的方法的示意性流程图
[0021] 图4是本申请文章生成的方法中获取第i句的流程示意图;
[0022] 图5a是本申请文章生成的方法中句子生成网络结构示意图;
[0023] 图5b是本申请文章生成的方法中第i句预测特征生成的网络结构示意图;
[0024] 图6是本申请第三实施例的文章生成的方法的示意性流程图;
[0025] 图7是本申请一实施例的文章生成的装置结构示意图。

具体实施方式

[0026] 在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
[0027] 在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0028] 应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0029] 首先,对本发明一个或多个实施例涉及的名词术语进行解释。
[0030] 长短期记忆网络(LSTM,Long Short-Term Memory):是一种时间循环神经网络,能够处理时序信号的网络结构,是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专设计出来的,适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
[0031] 翻译网络:又称Transformer网络,是一种翻译模型,用自注意(self-attention)的结构代替了长短期记忆网络,翻译网络包含编码器、编码器两部分。
[0032] 编码:对于文字或图像信息进行映射,得到抽象的向量表达的过程。
[0033] 编码:由代表特定含义的抽象向量值生成具体的文字或图像的过程。
[0034] 图卷积网络(Graph Convolutional Network,GCN):能够处理具有广义拓扑图结构的数据,并深入发掘其特征和规律,卷积操作在图结构数据上的应用。
[0035] 分类器(Softmax网络):一种线性分类器,它是Logistic回归推广到多类分类的形式,用于分类的网络结构,将特征映射到类别数维度上,经过适当的转化以后得到各个类的概率。
[0036] SciIE工具包:一个用于文本内容中实体和关系抽取的工具包。
[0037] RNN网络(Recurrent Neural Network,RNN)是一类用于处理序列数据的神经网络,序列数据是指在不同时间点上收集到的数据,这类数据反映了某一事物、现象等随时间的变化状态或程度。
[0038] 注意力模型(AttentionModel):在机器翻译中,来控制每一个词在语义向量中的权重,即增加了一个“注意力范围”,表示接下来输出词时候要重点关注输入序列中权重高的语义向量,来产生下一个输出。
[0039] 知识增强的语义表示模型(Enhanced Representation from kNowledge IntEgration,ERNIE):通过建模海量数据中的词、实体及实体关系,学习真实世界的语义知识,直接对语义知识进行建模,具有语义表示能力。
[0040] 在本申请中,提供了一种文章生成的方法和装置、计算设备及计算机可读存储介质,在下面的实施例中逐一进行详细说明。
[0041] 图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据。
[0042] 计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
[0043] 在本说明书的一个实施例中,计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
[0044] 计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器
[0045] 其中,处理器120可以执行图2所示方法中的步骤。图2是示出了根据本申请第一实施例的文章生成的方法的示意性流程图,包括步骤202至步骤208。
[0046] 步骤202:接收标题文本,确定所述标题文本中的实体关系。
[0047] 所述步骤202包括步骤2022至步骤2024。
[0048] 步骤2022:提取所述标题文本中的至少两个实体。
[0049] 所述标题文本是用户输入的文本,所述标题文本的语言种类可以是中文文本、英文文本、韩文文本或日文文本。本实施例不限制标题文本的长度,比如,标题文本可以是短语文本、也可以是句子文本;本实施例也不限制标题文本的来源,比如,标题文本可以是来自于语音识别的结果,也可以是从平台的各个业务系统中收集到的日志数据;本实施例也不限制标题文本的类型,比如,标题文本可以是人们日常对话中的某句话,也可以是演讲稿、杂志文章、文学作品等中的部分文本。
[0050] 所述标题文本中的实体,实体表示一个离散对象,实体可以是人名、机构名、地名以及其他所有以名称为标识的实体,更广泛的实体还包括数字、日期、货币、地址等,具体地,比如实体可以为计算机、雇员、歌曲、数学定理。
[0051] 步骤2024:确定单个所述实体与至少一个实体的关联关系,根据单个所述实体与至少一个实体的关联关系获取实体关系。
[0052] 构建实体关系的关键三要素包括一个实体,另一个实体和关联关系,上述一个实体、另一个实体和关联关系为三元组,实体关系为提取标题文本中的两个实体以及两个实体的关联关系,实体关系为“实体-关联关系-实体”。
[0053] 比如提取标题文本中的两个实体为“张三”和“A公司”,“张三”和“A公司”实体之间有一个定向关系“创办”,实体关系为“张三-创办关系-A公司”。
[0054] 实体关系描述了两个或更多实体相互如何联系,比如所述标题文本中的两个实体分别为公司和计算机,则确定公司和计算机之间为拥有关系,则实体关系为“公司-拥有关系-计算机”;两个实体分别为雇员和部门,则确定雇员和部门之间为管理关系,则实体关系为“雇员-管理关系-部门”。
[0055] 上述标题文本中的实体和关联关系通过SciIE工具包进行抽取以得到实体关系,当然,也可采用其它工具对实体和关联关系进行抽取得到实体关系。
[0056] 步骤204:根据所述标题文本、实体关系和起始符生成第一句。
[0057] 所述步骤204包括步骤2040至步骤2048。
[0058] 步骤2040:将所述标题文本输入第一编码网络,获取所述第一编码网络输出的第一编码特征。
[0059] 所述第一编码网络可以为长短期记忆网络,将所述标题文本输入长短期记忆网络,获取所述长短期记忆网络输出的第一编码特征。
[0060] 步骤2042:将所述实体关系输入第二编码网络,获取所述第二编码网络输出的第二编码特征。
[0061] 所述第二编码网络可以为图卷积网络,将所述实体关系输入训练好的图卷积网络,获取所述图卷积网络输出的第二编码特征。
[0062] 步骤2044:将所述起始符输入特征生成网络获得起始符特征,将所述起始符特征输入特征预测网络,所述特征预测网络输出第一句特征。
[0063] 起始符(start ofsentence,SOS)为句子起始的符号,所述特征生成网络对起始符进行编码获得起始符特征,将所述起始符特征输入所述特征预测网络后得到的特征作为第一句特征。
[0064] 所述特征生成网络和特征预测网络可以分别采用两个训练好的Lstm。
[0065] 步骤2046:对所述第一、二编码特征以及第一句特征进行解码获得第一、二、三解码特征,拼接所述第一、二、三解码特征得到拼接解码特征。
[0066] 具体地,由具有encoder-decoder结构的网络均能够对所述第一、二、三编码特征进行解码,比如,RNN网络,LSTM网络,注意力模型等。
[0067] 本申请中可以由翻译网络的解码端对第一编码特征t、第二编码特征e、第一句特征s分别进行解码获得第一解码特征T、第二解码特征E、第三解码特征S。
[0068] 所述第一、二、三解码特征拼接后得到拼接解码特征[T,E,S]。
[0069] 步骤2048:将所述拼接解码特征输入分类器,获取所述分类器输出的第一句。
[0070] 将拼接解码特征[T,E,S]输入分类器,获得第一句的输出,分类器为一种线性分类器,用于分类的网络结构,将特征映射到类别数维度上,经过适当的转化以后可以得到各个类的概率。
[0071] 步骤206:根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2。
[0072] 比如,先根据所述标题文本、实体关系、起始符和第一句生成第二句,然后根据所述标题文本、实体关系、起始符、第一句和第二句生成第三句,再根据所述标题文本、实体关系、起始符、第一句、第二句和第三句生成第四句,以此类推,直至达到生成条件。
[0073] 假设标题文本为“演员李四将于下周日演唱歌曲《一个人》”,提取的实体李四和实体《一个人》之间为表演关系,根据标题文本“演员李四将于下周日演唱歌曲《一个人》”、实体关系“李四-表演关系-《一个人》”和起始符“sos”生成第一句,生成的第一句为“李四出生于演艺世家”;
[0074] 根据标题文本“演员李四将于下周日演唱歌曲《一个人》”、实体关系“李四-表演关系-《一个人》”、起始符和第一句“李四出生于演艺世家”生成第二句,生成的第二句为“于上个月发布了新专辑”;
[0075] 根据标题文本“演员李四将于下周日演唱歌曲《一个人》”、实体关系“李四-表演关系-《一个人》”、起始符、第一句“李四出生于演艺世家”和第二句“于上个月发布了新专辑”生成的第三句,生成的第三句为“李四将于下周日演唱新专辑中的歌曲《一个人》”。以此类推,直至达到生成条件。
[0076] 本步骤中,在先生成的句子为第一句至第i-1句,根据标题文本、实体关系以及第一句至第i-1句的信息来生成第i句,利用第一句至第i-1句连贯的语义信息,以此实现第i句中词语的生成,使得生成的第i句与在先生成的第一句至第i句段落的语义信息前后连贯,避免了生成的第i句与在先生成的第一句至第i-1句的语义重复,这样下述步骤中拼接生成的句子生成文章,提高了生成文章的质量。
[0077] 另外,对第i句的生成中还根据所述标题文本、实体关系的信息,避免生成的句子与标题文本关联性较低而影响句子的生成质量,确保生成的句子与标题文本具备较高关联性,进一步提高句子的生成质量。
[0078] 步骤208:拼接生成的句子获得文章。
[0079] 当达到生成条件,把上述生成的句子进行拼接得到文章,假设上述生成第三句后达到生成条件,将第一、二、三句拼接得到文章,换言之,就是顺次将第一、二、三句组合得到文章。
[0080] 本申请上述实施例中,通过根据标题文本、实体关系、起始符以及第一句至第i-1句的信息,利用了第一句至第i-1句连贯的语义信息,并以此实现第i句中词语的生成,换言之,利用前面顺序生成句子连贯的语义信息,并以此指导第i句中词语的生成,使得生成的第i句与前面生成的第一句至第i句的语义信息前后连贯,且避免了生成的第i句与在先生成的第一句至第i-1句的语义的重复;另外,所述第i句的生成中还根据所述标题文本、实体关系的信息,避免生成的句子与标题文本关联性较低而影响句子的生成质量,确保生成的句子与标题文本具备较高关联性,进一步提高句子的生成质量,在应用于智能问答与对话、机器翻译时,实现更加智能和自然的人机交互。
[0081] 图3是示出了根据本申请第二实施例的文章生成的方法的示意性流程图,包括步骤302至步骤312。
[0082] 步骤302:接收标题文本,确定所述标题文本中的实体关系。
[0083] 步骤304:根据所述标题文本、实体关系和起始符生成第一句。
[0084] 所述步骤302至步骤304的具体说明参见上述步骤202至步骤204,此处不再赘述。
[0085] 步骤306:基于所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,其中,i≥2。
[0086] 参见图4所示,步骤306包括步骤402至步骤412。
[0087] 步骤402:将所述标题文本输入长短期记忆网络,获取所述长短期记忆网络输出的第一编码特征,执行步骤410。
[0088] 参见图5a所示,对所述标题文本进行特征嵌入后输入长短期记忆网络,获取所述长短期记忆网络输出的第一编码特征t。由于本申请中句子是有时序关系的文本,也就是说生成的句子中的字符是有一定顺序关系的,因此利用长短期记忆网络处理时序信号的特性,对所述标题文本进行编码,使得标题文本编码后的特征包含标题文本中前面的字符信息。
[0089] 将上述标题文本进行特征嵌入以获取字向量,即通过特征嵌入来对字符进行数值化表示,即所述字向量是将所述标题文本的每个字符映射到一个高维的向量中来表示这个字符后,再输入长短期记忆网络。
[0090] 步骤404:将所述实体关系输入图卷积网络,获取所述图卷积网络输出的第二编码特征,执行步骤410。
[0091] 所述实体关系包括至少两个实体以及实体与实体之间的关联关系,提取与单个实体相关联的其它实体以及该单个实体和其它实体之间的关联关系特征信息得到实体关系,由于上述实体关系提取后是一系列离散的值,实体关系之间不存在时序关系,因此利用图卷积网络处理离散的、部分节点有关联的这种图结构信号的特性,对所述实体关系进行编码。
[0092] 通过将实体关系输入图卷积网络,避免生成的句子与标题文本关联性较低而影响句子的生成质量,这样下述步骤中生成的句子与实体关系具备较高关联性的,提高句子的生成质量。
[0093] 步骤406:将起始符和第一句至第i-1句分别输入特征生成网络,所述特征生成网络分别输出起始符特征、第一句特征至第i-1句特征。
[0094] 步骤408:将所述起始符特征和第一句特征至第i-1句特征顺序输入特征预测网络,所述特征预测网络输出第i句预测特征,执行步骤410。
[0095] 参见图5b所示,所述起始符和第一句至第i-1句形成句子集合,将所述起始符和第一句至第i-1句分别输入特征生成网络,所述特征生成网络输出起始符和第一句至第i-1句分别对应的起始符特征、第一句特征至第i-1句特征。
[0096] 再将起始符特征和第一句特征至第i-1句特征顺序输入特征预测网络,获得第i句预测特征,也就是第i句预测特征包含已生成的第一句至第i-1句的信息,避免生成的第i句与前面句子重复,确保下述步骤中生成的第i句与前面句子语义连贯。
[0097] 上述特征生成网络和特征预测网络可以分别采用两个训练好的Lstm。
[0098] 步骤410:对所述第一、二编码特征和第i句预测特征进行解码获得第一、二、三解码特征,拼接所述第一、二、三解码特征得到拼接解码特征。
[0099] 由同一个翻译网络的解码端对所述第一编码特征t、第二编码特征e和第i句预测特征s分别进行解码,获得第一解码特征T、第二解码特征E和第三解码特征S。第一编码特征t、第二编码特征e、第i句预测特征s分别与第一解码特征T、第二解码特征E、第三解码特征S一一对应。具体地,可以利用其它具有encoder-decoder结构的网络对所述第一、二、三编码特征进行解码,参见上述步骤2048中的说明,此处不再赘述。
[0100] 所述第一、二解码特征和第i句预测特征拼接后得到拼接解码特征[T,E,S],也就是将第一、二解码和第i句预测特征直接串联,保持各拼接解码特征中串联后的每个解码特征的顺序一致,实现标题文本、第一句至第i-1句以及实体关系信息的综合,确保句子的生成质量。
[0101] 步骤412:将所述拼接解码特征输入分类器,获取分类器输出的第i句。
[0102] 将拼接解码特征[T,E,S]输入分类器,分类器预测并输出第i句。
[0103] 利用第一句至第i-1句连贯的语义信息生成第i句,通过上述步骤,进一步确保生成高质量的句子,这样提高下述步骤中生成文章的总体质量。
[0104] 步骤308:根据生成的句子,判断是否达到生成条件;若是,执行步骤312,若否,执行步骤310。
[0105] 所述步骤308通过下述步骤3082至步骤3088实现。
[0106] 步骤3082:确定生成的所述第一句至第i句的文本总长度。
[0107] 步骤3084:判断所述第一句至第i句的文本总长度是否超过预设长度阈值
[0108] 步骤3086:若是,达到生成条件。
[0109] 步骤3088:若否,未达到生成条件。
[0110] 步骤310:将i自增1,执行步骤306。
[0111] 上述文本总长度可以是第一句至第i句的字符总数量,假设生成第八句后,确定第一句至第八句的文本总长度为210字符,预设的长度阈值为220字符。
[0112] 第一句至第八句的文本总长度为210字符小于预设的长度阈值220字符,则继续第九句的生成,确定第一句至第九句的文本总长度为225字符,判断第一句至第九句的文本总长度为225字符超过预设的长度阈值220字符,达到生成条件,即完成句子的生成。
[0113] 另外,本步骤308中,还可以基于生成的第i句,判断生成的第i句是否包含结束符,若是,达到生成条件;若否,未达到生成条件。
[0114] 上述结束符与起始符sos对应,结束符的特定符号为eos(end ofsentence,简称eos),通过确定生成的第i句是否包含结束符eos来判断是否达到生成条件,能够实现文章的自动生成,无需人工干预,确保生成的文章内容完整。
[0115] 步骤312:拼接生成的句子获得文章。
[0116] 本申请上述实施例中,将所述实体关系输入图卷积网络,获取所述图卷积网络输出的第二编码特征,避免生成的句子与标题文本关联性较低而影响句子的生成质量,拼接所述第一、二、三解码特征得到拼接解码特征,根据拼接解码特征由分类器生成句子,这样生成的句子与实体关系具备较高关联性,提高句子的生成质量,因而能够进一步提高生成的文章的质量。
[0117] 图6是示出了根据本申请第三实施例的文章生成的方法的示意性流程图,包括步骤602至步骤612。
[0118] 步骤602:接收标题文本,提取所述标题文本中的至少两个实体。
[0119] 步骤604:根据所述实体在所述标题文本中的语义,获取语料库中与所述实体的语义相似度高于预设相似阈值的原实体。
[0120] 在语料库中获取与所述实体相近的语义的实体,再利用知识增强的语义表示模型,即ERNIE模型,分析所述实体在所述标题文本中的语义以及语料库中获取的与所述实体相近的语义的实体,获取语料库中与所述实体的语义相似度高于预设相似阈值的实体作为原实体,或者将语料库中与所述实体的语义相似度最高的实体作为原实体。
[0121] 步骤606:确定所述实体和原实体与至少一个实体的关联关系,根据所述实体和原实体与至少一个实体的关联关系获取实体关系。
[0122] 避免标题文本中实体与实体之间无法确定实体关系,通过增加与标题文本中的实体语义相近的原实体作为代替,确保能够获得实体和/或原实体的关联关系,最终得到实体关系,保证下述步骤能够生成高质量的句子。
[0123] 步骤608:根据所述标题文本、实体关系和起始符生成第一句。
[0124] 步骤610:根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2。
[0125] 步骤612:拼接生成的句子获得文章。
[0126] 本申请上述实施例中,通过根据所述实体在所述标题文本中的语义,获取语料库中与所述实体的语义相似度高于预设相似阈值的原实体,获取语料库中与所述实体的语义相似度高于预设相似阈值的原实体,避免标题文本中实体与实体之间无法确定实体关系,通过增加与标题文本中的实体语义相近的原实体作为代替,确保能够获得实体和/或原实体与其它实体的关联关系,提高所生成的文章中的内容质量,在应用于智能问答与对话、机器翻译时,实现更加智能和自然的人机交互。
[0127] 本申请一实施例以下述的标题文本为例,来对本申请的文章生成的方法的技术方案进行示意性的说明。
[0128] 假设标题文本为“自然语言处理领域中进行文本自动生成”。
[0129] 提取的实体分别为自然语言处理领域和文本自动生成且两者的关联关系为包含关系,则实体关系为“自然语言处理领域-包含关系-文本自动生成”。
[0130] 将上述标题文本“自然语言处理领域中进行文本自动生成”以及实体关系“自然语言处理领域-包含关系-文本自动生成”分别输入长短期记忆网络以及图卷积网络中,获取所述长短期记忆网络和所述图卷积网络分别输出的第一、二编码特征a1、b1,将起始符“sos”输入特征生成网络后得到的特征再输入至特征预测网络,获取所述特征预测网络输出的第三编码特征c1。
[0131] 拼接所述第一、二、三编码特征a1、b1、c1得到拼接解码特征[a1、b1、c1]。
[0132] 将所述拼接解码特征[a1、b1、c1]输入分类器,获取所述分类器输出的第一句为“文本自动生成是自然语言处理领域的一个重要研究方向”。
[0133] 将起始符“sos”和第一句“文本自动生成是自然语言处理领域的一个重要研究方向”顺序输入特征生成网络后得到的特征再输入至特征预测网络,获取所述特征预测网络输出的第三编码特征c2。
[0134] 拼接所述第一、二、三编码特征a1、b1、c2得到拼接解码特征[a1、b1、c2]。
[0135] 将所述拼接解码特征[a1、b1、c2]输入分类器,获取所述分类器输出的第二句为“实现文本自动生成也是人工智能走向成熟的一个重要标志”。
[0136] 将起始符“sos”、第一句“文本自动生成是自然语言处理领域的一个重要研究方向”和第二句“实现文本自动生成也是人工智能走向成熟的一个重要标志”顺序输入特征生成网络后得到的特征再输入至特征预测网络,获取所述特征预测网络输出的第三编码特征c3,拼接所述第一、二、三编码特征a1、b1、c3得到拼接解码特征[a1、b1、c3]。
[0137] 将所述拼接解码特征[a1、b1、c3]输入分类器,获取所述分类器输出的第三句为“我们期待未来有一天计算机能够像人类一样会写作”,以此类推,获得若干个句子,在获得每个句子后,需要判断第一句至生成的当前句的文本总长度是否超过预设长度阈值。
[0138] 假设预设长度阈值为200字,第一句的文本总长度为24字,文本总长度未超过预设长度阈值200字;继续第二句的生成,判断第一句至第二句的文本总长度为49字,文本总长度未超过预设长度阈值200字;继续第三句的生成,第一句至第三句的文本总长度为74字,第一句至第三句的文本总长度74字未超过预设长度阈值200,即上述第三句生成后未达到生成条件,则继续进行第四句的生成,直至生成的文本总长度超过预设阈值,则完成句子的生成。
[0139] 拼接生成的第一句至最后一句,获得最终生成的文章。
[0140] 生成的文章为“文本自动生成是自然语言处理领域的一个重要研究方向,实现文本自动生成也是人工智能走向成熟的一个重要标志。我们期待未来有一天计算机能够像人类一样会写作,能够撰写出高质量的自然语言文本。文本自动生成技术极具应用前景。例如,文本自动生成技术可以应用于智能问答与对话、机器翻译等系统,实现更加智能和自然的人机交互;我们也可以通过文本自动生成系统替代编辑实现新闻的自动撰写与发布,最终将有可能颠覆新闻出版行业;该项技术甚至可以用来帮助学者进行学术论文撰写,进而改变科研创作模式。”。
[0141] 上述生成的文章中的句子语义连贯,未出现语义重复的句子,上述生成的文章质量好。
[0142] 需要说明的是,上述是以语言种类为中文的标题文本为例进行的说明,实际上,也可以为英文文本、韩文文本或日文文本等其它语言种类的标题文本。
[0143] 图7是示出了根据本申请一实施例的文章生成的装置的结构示意图,包括:
[0144] 处理模块702,被配置为接收标题文本,确定所述标题文本中的实体关系;
[0145] 第一生成模块704,被配置为根据所述标题文本、实体关系和起始符生成第一句;
[0146] 第二生成模块706,被配置为根据所述标题文本、实体关系、起始符和第一句至第i-1句生成第i句,直至达到生成条件,其中,i≥2;
[0147] 拼接模块708,被配置为拼接生成的句子获得文章。
[0148] 所述处理模块702,被进一步配置为提取所述标题文本中的至少两个实体;
[0149] 确定单个所述实体与至少一个实体的关联关系,根据单个所述实体与至少一个实体的关联关系获取实体关系。
[0150] 所述处理模块702,还被配置为提取所述标题文本中的至少两个实体;
[0151] 根据所述实体在所述标题文本中的语义,获取语料库中与所述实体的语义相似度高于预设相似阈值的原实体;
[0152] 确定所述实体或原实体与至少一个实体的关联关系,根据所述实体或原实体与至少一个实体的关联关系获取实体关系。
[0153] 所述第一生成模块704,被进一步配置为将所述标题文本输入第一编码网络,获取所述第一编码网络输出的第一编码特征;
[0154] 将所述实体关系输入第二编码网络,获取所述第二编码网络输出的第二编码特征;
[0155] 将所述起始符输入特征生成网络获得起始符特征,将所述起始符特征输入特征预测网络,所述特征预测网络输出第一句特征;
[0156] 对所述第一、二编码特征以及第一句特征进行解码获得第一、二、三解码特征,拼接所述第一、二、三解码特征得到拼接解码特征;
[0157] 将所述拼接解码特征输入分类器,获取所述分类器输出的第一句。
[0158] 所述第二生成模块706包括:
[0159] 生成单元,被配置为根据所述标题文本、实体关系和第i-1句生成第i句,其中,i≥2;
[0160] 判断单元,被配置为基于生成的句子,判断是否达到生成条件;若是,执行结束单元,若否,执行自增单元;
[0161] 自增单元,被配置为将i自增1,执行生成单元;
[0162] 结束单元,被配置为结束生成。
[0163] 所述第二生成模块706被进一步配置为基于起始符、第一句至第i-1句生成第i句预测特征;
[0164] 根据所述标题文本、实体关系和第i句预测特征生成第i句。
[0165] 所述第二生成模块706被进一步配置为将起始符和第一句至第i-1句分别输入特征生成网络,所述特征生成网络分别输出起始符特征、第一句特征至第i-1句特征;
[0166] 将所述起始符特征和第一句特征至第i-1句特征顺序输入特征预测网络,所述特征预测网络输出第i句预测特征。
[0167] 所述第二生成模块706被进一步配置为将所述标题文本输入第一编码网络,获取所述第一编码网络输出的第一编码特征;
[0168] 将所述实体关系输入第二编码网络,获取所述第二编码网络输出的第二编码特征;
[0169] 对所述第一、二编码特征和第i句预测特征进行解码获得第一、二、三解码特征,拼接所述第一、二、三解码特征得到拼接解码特征;
[0170] 将所述拼接解码特征输入分类器,获取所述分类器输出的第i句。
[0171] 所述第一生成模块704被进一步配置为将所述标题文本输入长短期记忆网络,获取所述长短期记忆网络输出的第一编码特征;
[0172] 将所述实体关系输入图卷积网络,获取所述图卷积网络输出的第二编码特征。
[0173] 所述第二生成模块706被进一步配置为将所述标题文本输入长短期记忆网络,获取所述长短期记忆网络输出的第一编码特征;
[0174] 将所述实体关系输入图卷积网络,获取所述图卷积网络输出的第二编码特征。
[0175] 可选地,所述判断单元被进一步配置为确定生成的所述第一句至第i句的文本总长度;
[0176] 判断所述第一句至第i句的文本总长度是否超过预设长度阈值;
[0177] 若是,达到生成条件;
[0178] 若否,未达到生成条件。
[0179] 可选地,所述判断单元被进一步配置为基于生成的第i句,判断生成的第i句是否包含结束符;
[0180] 若是,达到生成条件;
[0181] 若否,未达到生成条件。
[0182] 本申请一实施例还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现如前所述文章生成的方法的步骤。
[0183] 本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述文章生成的方法的步骤。
[0184] 上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述文章生成的方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述文章生成的方法的技术方案的描述。
[0185] 所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0186] 需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
[0187] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
[0188] 以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈