一种基于上下文的多轮对话方法、装置、设备及存储介质
阅读：411发布：2020-05-08
专利汇可以提供一种基于上下文的多轮对话方法、装置、设备及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种基于上下文的多轮对话方法、装置、设备及存储介质。所述方法包括：获取待匹配历史对话信息；根据所述待匹配历史对话信息进行词特征提取，得到历史对话词 特征向量 ；获取候选回答信息；根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹 配向 量、候选回答局部匹配向量；根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。本发明实现了上下文与回答的充分匹配，提升了上下文与回答匹配的准确性。，下面是一种基于上下文的多轮对话方法、装置、设备及存储介质专利的具体信息内容。
1.一种基于上下文的多轮对话方法，所述方法包括：
获取待匹配历史对话信息；
根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
获取候选回答信息；
根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
2.根据权利要求1所述的基于上下文的多轮对话方法，其特征在于，所述获取待匹配历史对话信息，包括：
获取历史对话信息；
按预设词长度从所述历史对话信息中进行往前获取得到所述待匹配历史对话信息。
3.根据权利要求1所述的基于上下文的多轮对话方法，其特征在于，所述根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量，包括：
将所述待匹配历史对话信息进行词例提取，得到待预测历史对话词例；
将所述待预测历史对话词例输入预训练模型进行预测，得到所述历史对话词特征向量。
4.根据权利要求3所述的基于上下文的多轮对话方法，其特征在于，所述将所述待匹配历史对话信息进行词例提取，得到待预测历史对话词例，包括：
将所述待匹配历史对话信息用分句符及分轮符进行连接，得到历史对话序列；
将所述历史对话序列进行分词，得到待处理历史对话词例；
按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例；
在所述标准历史对话词例的头端插入分类符及末端插入分隔符，得到所述待预测历史对话词例。
5.根据权利要求4所述的基于上下文的多轮对话方法，其特征在于，所述按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例，包括：
获取所述预设历史对话长度；
当所述待处理历史对话词例的词例数量大于所述预设历史对话长度时，则从所述待处理历史对话词例的头端开始删除词例，直至所述待处理历史对话词例的词例数量等于所述预设历史对话长度，将所述待处理历史对话词例留下的词例作为所述标准历史对话词例；
当所述待处理历史对话词例的词例数量小于或等于所述预设历史对话长度时，则将所述待处理历史对话词例作为所述标准历史对话词例。
6.根据权利要求1所述的基于上下文的多轮对话方法，其特征在于，所述根据所述候选回答信息进行词特征提取，得到候选回答词特征向量，包括：
将所述候选回答信息进行词例提取，得到待预测候选回答词例；
将所述待预测候选回答词例输入预训练模型进行预测，得到所述候选回答词特征向量。
7.根据权利要求6所述的基于上下文的多轮对话方法，其特征在于，所述将所述候选回答信息进行词例提取，得到待预测候选回答词例，包括：
将所述候选回答信息进行分词，得到待处理候选回答词例；
按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例；
在所述标准候选回答词例的头端插入分类符及末端插入分隔符，得到所述待预测候选回答词例。
8.根据权利要求7所述的基于上下文的多轮对话方法，其特征在于，所述按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例，包括：
获取所述预设候选回答长度；
当所述待处理候选回答词例的词例数量大于所述预设候选回答长度时，则从所述待处理候选回答词例的末端开始删除词例，直至所述待处理候选回答词例的词例数量等于所述预设候选回答长度，将所述待处理候选回答词例留下的词例作为所述标准候选回答词例；
当所述待处理候选回答词例的词例数量小于或等于所述预设候选回答长度时，则将所述待处理候选回答词例作为所述标准候选回答词例。
9.根据权利要求1所述的基于上下文的多轮对话方法，其特征在于，所述根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量，包括：
根据所述历史对话词特征向量、所述候选回答词特征向量进行注意力权重计算，得到注意力权重；
将所述历史对话词特征向量与所述候选回答词特征向量以词例为单元进行对齐；
将对齐后的所述历史对话词特征向量及所述候选回答词特征向量以词例为单元进行局部语义关系匹配，得到所述历史对话局部匹配向量、所述候选回答局部匹配向量。
10.根据权利要求1至9任一项所述的基于上下文的多轮对话方法，其特征在于，所述根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率，包括：
将所述历史对话局部匹配向量输入BiLSTM层进行关键向量辨别，得到历史对话隐向量；
将所述候选回答局部匹配向量输入BiLSTM层进行关键向量辨别，得到候选回答隐向量；
将所述历史对话隐向量、所述候选回答隐向量分布进行最大池化，得到历史对话最大池化向量、候选回答最大池化向量；
将所述历史对话隐向量、所述候选回答隐向量分布进行平均池化，得到历史对话平均池化向量、候选回答平均池化向量；
根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率。
11.根据权利要求10所述的基于上下文的多轮对话方法，其特征在于，所述根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率，包括：
将所述候选回答最大池化向量、所述候选回答平均池化向量、所述历史对话最大池化向量、所述历史对话平均池化向量依次进行拼接，得到待分类向量；
将所述待分类向量输入多层感知器进行匹配概率计算，得到所述候选回答匹配概率。
12.根据权利要求11所述的基于上下文的多轮对话方法，其特征在于，所述多层感知器包括隐藏层、tanh激活函数、softmax输出层。
13.一种基于上下文的多轮对话装置，其特征在于，所述装置包括：
历史对话词特征提取模块，用于获取待匹配历史对话信息，所述待匹配历史对话信息中包含多轮对话，根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
候选回答特征提取模块，用于获取候选回答信息，根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
局部语义关系匹配模块，用于根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
匹配概率计算模块，用于根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
匹配回答确定模块，用于根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
14.一种存储介质，存储有计算机指令程序，其特征在于，所述计算机指令程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
15.一种计算机设备，其特征在于，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
一种基于上下文的多轮对话方法、装置、设备及存储介质
技术领域
背景技术
[0002] 建立能与人类交互的智能人机对话系统是人工智能领域的一个重要研究方向。对话系统可粗略分为单轮对话系统和多轮对话系统。单轮对话通常不涉及到上下文信息，系统没有记忆功能，轮次与轮次之间是独立的。多轮对话则需要考虑到上下文信息，相比单轮对话，实现多轮对话系统更具有挑战性。
[0003] 目前，多轮对话系统建模主要有生成和检索式两种方法。基于生成的方法通常是用大量的语料学习出一个包含编码器-解码器框架的回答生成模型；基于检索的方法是指从候选库中为多轮上下文选出最佳的回答。典型的选择回答的方法又可以分为两种：基于层次结构的方法和基于序列的方法。基于序列的方法通常将上下文连成一个长序列,基于层次的方法分别对每句话建模，再显示地对句子之间的交互进行建模。然而现有的模型在上下文和回答序列具有不同特点时，通常存在上下文与回答匹配不充分的问题，从而影响多轮对话选出最佳的回答。因此，开发一种在上下文和回答序列具有不同特点时实现上下文与回答充分匹配的多轮对话方法显得尤为重要。
发明内容
[0004] 基于此，有必要针对上述问题，提出了一种基于上下文的多轮对话方法、装置、设备及存储介质，用于解决现有技术中在上下文和回答序列具有不同特点时上下文与回答匹配不充分的技术问题。
[0005] 第一方面，本发明提出了一种基于上下文的多轮对话方法，所述方法包括：
[0006] 获取待匹配历史对话信息；
[0007] 根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
[0008] 获取候选回答信息；
[0009] 根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
[0010] 根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
[0011] 根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
[0012] 根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
[0013] 第二方面，本发明还提出了一种基于上下文的多轮对话装置，所述装置包括：
[0014] 历史对话词特征提取模块，用于获取待匹配历史对话信息，所述待匹配历史对话信息中包含多轮对话，根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
[0015] 候选回答特征提取模块，用于获取候选回答信息，根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
[0016] 局部语义关系匹配模块，用于根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
[0017] 匹配概率计算模块，用于根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
[0018] 匹配回答确定模块，用于根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
[0019] 第三方面，本发明还提出了一种存储介质，存储有计算机指令程序，所述计算机指令程序被处理器执行时，使得所述处理器执行第一方面任一项所述方法的步骤。
[0020] 第四方面，本发明还提出了一种计算机设备，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行第一方面任一项所述方法的步骤。
[0021] 综上所述，本发明的基于上下文的多轮对话方法通过对所述待匹配历史对话信息进行词特征提取得到历史对话词特征向量，根据所述候选回答信息进行词特征提取得到候选回答词特征向量，实现了根据上下文的特点提取出历史对话词特征向量和根据回答序列的特点提取出候选回答词特征向量，实现了更好的捕捉了上下文的双向关系及上下文关联信息；再根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配得到历史对话局部匹配向量、候选回答局部匹配向量，实现了上下文与回答的充分匹配。因此，本发明实现了上下文与回答的充分匹配，提升了上下文与回答匹配的准确性。附图说明
[0022] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023] 其中：
[0024] 图1为一个实施例中基于上下文的多轮对话方法的流程图；
[0025] 图2为图1的基于上下文的多轮对话方法的确定待预测历史对话词例的流程图；
[0026] 图3为图1的基于上下文的多轮对话方法的确定标准历史对话词例的流程图；
[0027] 图4为图1的基于上下文的多轮对话方法的确定待预测候选回答词例的流程图；
[0028] 图5为图1的基于上下文的多轮对话方法的确定标准候选回答词例的流程图；
[0029] 图6为图1的基于上下文的多轮对话方法的匹配局部语义关系的流程图；
[0030] 图7为图1的基于上下文的多轮对话方法的计算匹配概率的流程图；
[0031] 图8为一个实施例中基于上下文的多轮对话装置的结构框图；
[0032] 图9为一个实施例中计算机设备的结构框图。
具体实施方式
[0033] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034] 如图1所示，在一个实施例中，提出了一种基于上下文的多轮对话方法，所述方法包括：
[0035] S102、获取待匹配历史对话信息；
[0036] 具体而言，从文本输入设备或数据库或网络中获取历史对话信息，将所述历史对话信息作为所述待匹配历史对话信息，以便基于所述待匹配历史对话信息的上下文检索并确定匹配回答信息，以实现智能的多轮对话。比如，获取历史对话信息包括多轮对话“甲：hi乙：hello甲：may I help you”，在此举例不做具体限定。
[0037] S104、根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
[0038] 其中，首先按分词规则对所述待匹配历史对话信息进行分词，由分词得到的词例组成历史对话词例序列，从所述历史对话词例序列中进行提取得到待预测历史对话词例，然后对所述待预测历史对话词例的整个序列中的每个词例进行词特征提取，得到所述历史对话词特征向量。
[0039] 所述词例是指标记，可以认为是语义处理中的一个有意义的单元，比如，token，在此举例不做具体限定。分词是指计算机科学中将字符序列转换为标记(token)序列的过程，从输入字符流中生成标记的过程叫作标记化(tokenization)。
[0040] 所述词特征的提取是在读取所述待预测历史对话词例的整个序列后，直接提取具有语境意义的词特征向量，捕捉所述待预测历史对话词中上下文的双向关系和上下文关联信息。
[0041] S106、获取候选回答信息；
[0042] 具体而言，从候选回答数据库中获取回答信息，将所述回答信息作为所述候选回答信息，以便基于所述待匹配历史对话信息的上下文确定每个所述候选回答信息的匹配概率。
[0043] 可选的，所述候选回答信息包括一句完整的对话信息。比如，从候选回答数据库中获取回答信息“I would like to check in”，在此举例不做具体限定。
[0044] S108、根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
[0045] 其中，首先对所述候选回答信息按分词规则进行分词，将分词得到的所有词例组成候选回答词例序列，把候选回答词例序列作为待预测候选回答词例，然后对所述待预测候选回答词例的整个序列中的每个词例进行词特征提取，得到所述候选回答词特征向量。
[0046] 可以理解的是，对所述待预测历史对话词例的整个序列中的每个词例进行词特征提取和对所述待预测候选回答词例的整个序列中的每个词例进行词特征提取的方法或相同的词特征提取神经网络模型。
[0047] S110、根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
[0048] 具体而言，采用交叉注意力机制对齐所述历史对话词特征向量、所述候选回答词特征向量的词例，在词例级别计算语义关系，在收集局部匹配信息，根据局部匹配信息得到历史对话局部匹配向量、候选回答局部匹配向量，从而使所述历史对话词特征向量与所述候选回答词特征向量建立了局部语义关系。
[0049] S112、根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
[0050] 可选的，使用BiLSTM(Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成,在自然语言处理任务中都常被用来建模上下文信息)读取所述历史对话局部匹配向量、所述候选回答局部匹配向量进行合成，再将BiLSTM输出的隐向量通过最大池化、平均池化操作，接着将池化后的结果合并在一起获取固定长度的向量，将该向量馈入多层感知器进行分类，通过以端到端的方式最小化交叉熵损失来训练得到匹配概率计算模型。
[0051] LSTM是指Long Short-Term Memory，它是RNN(Recurrent Neural Network)的一种，LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据。
[0052] 可选的，重复步骤S106至步骤S112直至针对所有候选回答信息都计算出了候选回答匹配概率。
[0053] S114、根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
[0054] 可选的，从所有所述候选回答匹配概率中选择最高概率；当最高概率对应一个所述候选回答信息时，则将最高概率对应的所述候选回答信息作为匹配回答信息；当最高概率对应至少两个所述候选回答信息时则获取对话类型，当所述对话类型为任务型对话时则最高概率对应的所有所述候选回答信息作为匹配回答信息，当所述对话类型为聊天型对话时则将计算最高概率对应的所有所述候选回答信息中词例长度最长的作为匹配回答信息。
[0055] 本实施例的基于上下文的多轮对话方法通过对所述待匹配历史对话信息进行词特征提取得到历史对话词特征向量，根据所述候选回答信息进行词特征提取得到候选回答词特征向量，实现了根据上下文的特点提取出历史对话词特征向量和根据回答序列的特点提取出候选回答词特征向量，实现了更好的捕捉了上下文的双向关系及上下文关联信息；再根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配得到历史对话局部匹配向量、候选回答局部匹配向量，实现了上下文与回答的充分匹配。
[0056] 在一个实施例中，所述获取待匹配历史对话信息，包括：获取历史对话信息；按预设词长度从所述历史对话信息中进行往前获取得到所述待匹配历史对话信息。具体而言，从文本输入设备或数据库或网络中获取历史对话信息，再从所述历史对话信息中获取最后一部分作为所述待匹配历史对话信息，所述待匹配历史对话信息的长度与所述预设词长度相同。因越早的对话信息对选择回答的重要性越小，越新的对话信息对选择回答的重要性越大，通过从所述历史对话信息中获取最后一部分作为所述待匹配历史对话信息，在提高匹配效率的同时确保了确定匹配回答信息的准确度。
[0057] 所述预设词长度是指预设的词的数量。
[0058] 在一个实施例中，所述根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量，包括：将所述待匹配历史对话信息进行词例序列提取，得到待预测历史对话词例；将所述待预测历史对话词例的整个序列中的每个词例输入预训练模型进行预测，得到所述历史对话词特征向量。具体而言，将所述待匹配历史对话信息进行分词得到词例，将所有词例组成历史对话词例序列，从所述历史对话词例序列中进行提取得到待预测历史对话词例，然后将所述待预测历史对话词例的整个序列中的每个词例输入词特征提取神经网络模型进行词特征提取，得到所述历史对话词特征向量。
[0060] 所述遮挡语言预测是指随机掩盖部分词例，然后对被掩盖的词例进行预测。在训练的过程中，随机地掩盖每个词例序列中15％的词例，并不是像其他模型那样对每一个词例都进行预测，从输入中随机地掩盖一些词例，其目标是基于其上下文来预测被掩盖词例的原始词汇，从而使得可以预训练深度双向的Transformer模型。Transformer编码器不知道它将被要求预测哪些单词，或者哪些已经被随机词例替换，因此它必须对每个输入词例保持分布式的上下文表示。此外，在执行掩盖词例序列中15％的词例操作时，并不是始终用[MASK]标记替换要预测的词，而是在80％的情况下用[MASK]替换要预测的词，10％的情况下用一个随机的词替换要预测的词，10％的情况下保持该词不变，由于随机替换在所有词例中只发生1.5％，所以并不会影响模型对于语言的理解。
[0061] 所述下一句预测，很多句子级别的任务如自动问答(QA)和自然语言推理(NLI)都需要理解两个句子之间的关系，譬如上述的所述遮挡语言预测的任务中，经过第一步的处理，15％的词例被遮盖。那么下一句预测任务的目标就是训练一个理解句子关系的模型，具体来说就是训练一个下一句预测的二分类任务，首先为每个训练前的例子选择两个句子(即句子A和句子B)构成语句对，其中50％的情况下B是真的在A后面的下一个句子，即A与B是连续的；50％的情况是B来自语料库随机句子，即A与B是不连续的。。然后让Transformer模型来识别这些语句对中哪些语句对是连续的及哪些语句对子不连续。
[0062] 如图2所示，在一个实施例中，所述将所述待匹配历史对话信息进行词例提取，得到待预测历史对话词例，包括：
[0063] S202、将所述待匹配历史对话信息用分句符及分轮符进行连接，得到历史对话序列；
[0064] 具体而言，所述待匹配历史对话信息的每句的末尾嵌入一个分句符，在所述待匹配历史对话信息的每句的末尾嵌入一个分轮符，把加了分句符和分轮符的所述待匹配历史对话信息连接得到作为历史对话序列；其中，当一句话的末尾需要同时嵌入分句符和分轮符时，则把分轮符放在分句符之后。
[0065] 比如，分句符设为eou(end-of-utterance的缩写)，分轮符设为eot(end-of-turn的缩写)，历史对话信息包括多轮对话“甲：hi乙：hello甲：may I help you”，则得到所述历史对话序列为“hihellomay I help you”，在此举例不做具体限定。
[0066] S204、将所述历史对话序列进行分词，得到待处理历史对话词例；
[0067] 具体而言，将所述历史对话序列进行分词，将所有词例组成历史对话词例序列，将所述历史对话词例序列作为待处理历史对话词例。
[0068] 可以理解的是，在对所述历史对话序列进行分词时，可以把步骤S202中加入的每个当成一个词例、每个当成一个词例。
[0069] S206、按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例；
[0070] 具体而言，从所述待处理历史对话词例中获取最后一部分作为所述标准历史对话词例，所述标准历史对话词例的长度与所述预设历史对话长度的数值相同。
[0071] 所述预设历史对话长度是指词例的数量，在此举例不做具体限定。
[0072] 比如，所述历史对话序列为“hihellomay I help you”，预设历史对话长度设为10，则所述标准历史对话词例为“hellomay I help you”，在此举例不做具体限定。
[0073] S208、在所述标准历史对话词例的头端插入分类符及末端插入分隔符，得到所述待预测历史对话词例。
[0074] 具体而言，在所述标准历史对话词例的头端插入一个分类符，在所述标准历史对话词例的末端插入一个分隔符，将插入分类符和分隔符后的所述标准历史对话词例作为所述待预测历史对话词例。
[0075] 所述分类符包括[CLS]，所述分隔符包括[SEP]，在此举例不做具体限定。
[0076] 比如，所述标准历史对话词例为“hellomay I help you”，则所述待预测历史对话词例为“[CLS]hellomay I help you[SEP]”，在此举例不做具体限定。
[0077] 可以理解的是，可以把步骤S208中加入的每个分类符当成一个词例、每个分隔符当成一个词例。
[0078] 可选的，把所述预设历史对话长度的数值加上加入的所述分类符和所述分隔符的词例长度作为待预测历史对话词例的最大长度。
[0079] 如图3所示，在一个实施例中，所述按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例，包括：
[0080] S302、获取所述预设历史对话长度；
[0081] 所述预设历史对话长度可以是用户触发自主输入的，也可以是基于上下文的多轮对话方法设置的。
[0082] S304、当所述待处理历史对话词例的词例数量大于所述预设历史对话长度时，则从所述待处理历史对话词例的头端开始删除词例，直至所述待处理历史对话词例的词例数量等于所述预设历史对话长度，将所述待处理历史对话词例留下的词例作为所述标准历史对话词例；
[0083] 在多轮对话中的待匹配历史对话信息，位于对话末端的词比位于对话前端的词更重要，对回答起到的影响更大；因待匹配历史对话信息可能比较长，从而使待处理历史对话词例也比较长，截取部分提高了匹配效率。
[0084] S306、当所述待处理历史对话词例的词例数量小于或等于所述预设历史对话长度时，则将所述待处理历史对话词例作为所述标准历史对话词例。
[0085] 本实施例通过取待处理历史对话词例最重要的部分作为标准历史对话词例，在提高匹配效率的同时确保了确定匹配回答信息的准确度。
[0086] 在一个实施例中，所述根据所述候选回答信息进行词特征提取，得到候选回答词特征向量，包括：将所述候选回答信息进行词例提取，得到待预测候选回答词例；将所述待预测候选回答词例的整个序列中的每个词例输入预训练模型进行预测，得到所述候选回答词特征向量。
[0087] 其中，首先对所述候选回答信息进行分词，将所有词例组成候选回答词例序列，从所述候选回答词例序列进行提取得到待预测候选回答词例，然后将所述待预测候选回答词例的整个序列中的每个词例输入词特征提取神经网络模型进行词特征提取，得到所述候选回答词特征向量。具体而言，提取所述候选回答词特征向量的词特征提取神经网络模型与提取所述历史对话词特征向量的词特征提取神经网络模型结构相同。
[0088] 如图4所示，在一个实施例中，所述将所述候选回答信息进行词例提取，得到待预测候选回答词例，包括：
[0089] S402、将所述候选回答信息进行分词，得到待处理候选回答词例；
[0090] 具体而言，将所述候选回答信息进行分词，将所有词例组成候选回答词例序列，将所述候选回答词例序列作为待处理候选回答词例。
[0091] S404、按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例；
[0092] 具体而言，从所述待处理候选回答词例中获取最开始一部分作为所述标准候选回答词例，所述标准候选回答词例的长度与所述预设候选回答长度的数值相同。
[0093] 所述预设候选回答长度是指词例的数量，在此举例不做具体限定。
[0094] 比如，待处理候选回答词例为“I would like to check in”，所述预设候选回答长度为4，则所述标准候选回答词例为“I would like to”，在此举例不做具体限定。
[0095] S406、在所述标准候选回答词例的头端插入分类符及末端插入分隔符，得到所述待预测候选回答词例。
[0096] 具体而言，在所述标准候选回答词例的头端插入一个分类符，在所述标准候选回答词例的末端插入一个分隔符，将插入分类符和分隔符后的所述标准候选回答词例作为所述待预测候选回答词例。
[0097] 所述分类符包括[CLS]，所述分隔符包括[SEP]，在此举例不做具体限定。
[0098] 比如，待处理候选回答词例为“I would like to”，则所述待预测候选回答词例为“[CLS]I would like to[SEP]”，在此举例不做具体限定。
[0099] 可以理解的是，可以把步骤S406中加入的每个分类符当成一个词例、每个分隔符当成一个词例。
[0100] 可选的，把所述预设候选回答长度的数值加上加入的所述分类符和所述分隔符的词例长度作为待预测候选回答词例的最大长度。
[0101] 如图5所示，在一个实施例中，所述按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例，包括：
[0102] S502、获取所述预设候选回答长度；
[0103] 所述预设候选回答长度可以是用户触发自主输入的，也可以是基于上下文的多轮对话方法设置的。
[0104] S504、当所述待处理候选回答词例的词例数量大于所述预设候选回答长度时，则从所述待处理候选回答词例的末端开始删除词例，直至所述待处理候选回答词例的词例数量等于所述预设候选回答长度，将所述待处理候选回答词例留下的词例作为所述标准候选回答词例；
[0105] 在多轮对话中的待处理候选回答词例，位于候选回答词例前端的词比位于对话末端的词更重要，对回答起到的影响更大；因所述候选回答信息可能比较长，从而使所述待处理候选回答词例也比较长，截取部分提高了匹配效率。
[0106] S506、当所述待处理候选回答词例的词例数量小于或等于所述预设候选回答长度时，则将所述待处理候选回答词例作为所述标准候选回答词例。
[0107] 本实施例通过取待处理候选回答词例最重要的部分作为标准候选回答词例，在提高匹配效率的同时确保了确定匹配回答信息的准确度。
[0108] 如图6所示，在一个实施例中，所述根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量，包括：
[0109] S602、根据所述历史对话词特征向量、所述候选回答词特征向量进行注意力权重计算，得到注意力权重；
[0110] 注意力权重eij的计算公式如下：
[0111]
[0112] 其中， 是所述待预测历史对话词例中第i个词例对应的所述历史对话词特征向量，rjs是所述预测候选回答词例中第j个词例对应的所述候选回答词特征向量，T为向量转置计算。
[0113] S604、将所述历史对话词特征向量与所述候选回答词特征向量以词例为单元进行对齐；
[0114] 通过以下公式，对所述历史对话词特征向量与所述候选回答词特征向量以词例为单元进行对齐。
[0115]
[0116]
[0117]
[0118]
[0119] 其中， 是 在候选回答中的相关语义，rjd是rjs在历史对话中的相关语义，exp是指数函数，n是指所述预测候选回答词例中词例的总数，m是指所述待预测历史对话词例中词例的总数， 是所述待预测历史对话词例中第i个词例对应的所述历史对话词特征向量，rjs是所述预测候选回答词例中第j个词例对应的所述候选回答词特征向量，eij是注意力权重。
[0120] S606、将对齐后的所述历史对话词特征向量及所述候选回答词特征向量以词例为单元进行局部语义关系匹配，得到所述历史对话局部匹配向量、所述候选回答局部匹配向量。
[0121] 通过比较向量对 和，可以对对齐的词例对之间的词例级语义关系进行建模。
[0122] 采用以下公式搜集局部匹配信息，根据局部匹配信息所述历史对话局部匹配向量所述候选回答局部匹配向量
[0123]
[0124]
[0125] 其中， 是指向量乘积，F()是指带Relu激活函数的前向神经网络层， 是所述待预测历史对话词例中第i个词例对应的所述历史对话词特征向量， 是 在候选回答中的相关语义，rjs是所述预测候选回答词例中第j个词例对应的所述候选回答词特征向量，rjd是rjs在历史对话中的相关语义。
[0126] 如图7所示，在一个实施例中，所述根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率，包括：
[0127] S702、将所述历史对话局部匹配向量输入BiLSTM层进行关键向量辨别，得到历史对话隐向量；
[0128] 所述历史对话隐向量 通过如下公式计算：
[0129]
[0130] 其中， 是所述历史对话局部匹配向量，BiLSTM()是BiLSTM神经网络层。
[0131] S704、将所述候选回答局部匹配向量输入BiLSTM层进行关键向量辨别，得到候选回答隐向量；
[0132] 所述候选回答隐向量riv通过如下公式计算：
[0133]
[0134] 其中， 是所述候选回答局部匹配向量，BiLSTM()是BiLSTM神经网络层。
[0135] S706、将所述历史对话隐向量、所述候选回答隐向量分布进行最大池化，得到历史对话最大池化向量、候选回答最大池化向量；
[0136] 具体而言，将 进行最大池化得到历史对话最大池化向量 将 进行最大池化得到候选回答最大池化向量
[0137] S708、将所述历史对话隐向量、所述候选回答隐向量分布进行平均池化，得到历史对话平均池化向量、候选回答平均池化向量；
[0138] 具体而言，将 进行平均池化得到历史对话平均池化向量 将riv进行平均池化得到候选回答平均池化向量
[0139] S710、根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率。
[0140] 在一个实施例中，所述根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率，包括：将所述候选回答最大池化向量、所述候选回答平均池化向量、所述历史对话最大池化向量、所述历史对话平均池化向量依次进行拼接，得到待分类向量；将所述待分类向量输入多层感知器进行匹配概率计算，得到所述候选回答匹配概率。
[0141] 具体而言，将所述历史对话最大池化向量 所述历史对话平均池化向量所述候选回答最大池化向量 所述候选回答平均池化向量 依次进行拼接，得到待分类向量 再将所述待分类向量输入多层感知器，
通过以端到端的方式最小化交叉熵损失来训练得到匹配概率计算模型y。
通过以端到端的方式最小化交叉熵损失来训练得到匹配概率计算模型y。
[0142]
[0143] 其中，MLP()是指多层感知器。
[0145] 如图8所示，在一个实施例中，提出了一种基于上下文的多轮对话装置，所述装置包括：
[0146] 历史对话词特征提取模块802，用于获取待匹配历史对话信息，所述待匹配历史对话信息中包含多轮对话，根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
[0147] 候选回答特征提取模块804，用于获取候选回答信息，根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
[0148] 局部语义关系匹配模块806，用于根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
[0149] 匹配概率计算模块808，用于根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
[0150] 匹配回答确定模块810，用于根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
[0151] 本实施例的基于上下文的多轮对话装置通过对所述待匹配历史对话信息进行词特征提取得到历史对话词特征向量，根据所述候选回答信息进行词特征提取得到候选回答词特征向量，实现了根据上下文的特点提取出历史对话词特征向量和根据回答序列的特点提取出候选回答词特征向量，实现了更好的捕捉了上下文的双向关系及上下文关联信息；再根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配得到历史对话局部匹配向量、候选回答局部匹配向量，实现了上下文与回答的充分匹配。
[0152] 图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图9所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于上下文的多轮对话方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于上下文的多轮对话方法。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0153] 在一个实施例中，本申请提供的一种基于上下文的多轮对话方法可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成的一种基于上下文的多轮对话装置的各个程序模板。比如，历史对话词特征提取模块802、候选回答特征提取模块804、局部语义关系匹配模块806、匹配概率计算模块808、匹配回答确定模块810。
[0154] 在一个实施例中，提出了一种存储介质，存储有计算机指令程序，所述计算机指令程序被处理器执行时，使得所述处理器执行时实现如下方法步骤：
[0155] 获取待匹配历史对话信息；
[0156] 根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
[0157] 获取候选回答信息；
[0158] 根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
[0159] 根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
[0160] 根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
[0161] 根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
[0162] 本实施例的方法执行时通过对所述待匹配历史对话信息进行词特征提取得到历史对话词特征向量，根据所述候选回答信息进行词特征提取得到候选回答词特征向量，实现了根据上下文的特点提取出历史对话词特征向量和根据回答序列的特点提取出候选回答词特征向量，实现了更好的捕捉了上下文的双向关系及上下文关联信息；再根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配得到历史对话局部匹配向量、候选回答局部匹配向量，实现了上下文与回答的充分匹配。
[0163] 在一个实施例中，所述获取待匹配历史对话信息，包括：获取历史对话信息；按预设词长度从所述历史对话信息中进行往前获取得到所述待匹配历史对话信息。
[0164] 在一个实施例中，所述根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量，包括：将所述待匹配历史对话信息进行词例序列提取，得到待预测历史对话词例；将所述待预测历史对话词例的整个序列中的每个词例输入预训练模型进行预测，得到所述历史对话词特征向量。
[0165] 在一个实施例中，所述将所述待匹配历史对话信息进行词例提取，得到待预测历史对话词例，包括：将所述待匹配历史对话信息用分句符及分轮符进行连接，得到历史对话序列；将所述历史对话序列进行分词，得到待处理历史对话词例；按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例；在所述标准历史对话词例的头端插入分类符及末端插入分隔符，得到所述待预测历史对话词例。
[0166] 在一个实施例中，所述按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例，包括：获取所述预设历史对话长度；当所述待处理历史对话词例的词例数量大于所述预设历史对话长度时，则从所述待处理历史对话词例的头端开始删除词例，直至所述待处理历史对话词例的词例数量等于所述预设历史对话长度，将所述待处理历史对话词例留下的词例作为所述标准历史对话词例；当所述待处理历史对话词例的词例数量小于或等于所述预设历史对话长度时，则将所述待处理历史对话词例作为所述标准历史对话词例。
[0167] 在一个实施例中，所述根据所述候选回答信息进行词特征提取，得到候选回答词特征向量，包括：将所述候选回答信息进行词例提取，得到待预测候选回答词例；将所述待预测候选回答词例的整个序列中的每个词例输入预训练模型进行预测，得到所述候选回答词特征向量。
[0168] 在一个实施例中，所述将所述候选回答信息进行词例提取，得到待预测候选回答词例，包括：将所述候选回答信息进行分词，得到待处理候选回答词例；按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例；在所述标准候选回答词例的头端插入分类符及末端插入分隔符，得到所述待预测候选回答词例。
[0169] 在一个实施例中，所述按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例，包括：获取所述预设候选回答长度；当所述待处理候选回答词例的词例数量大于所述预设候选回答长度时，则从所述待处理候选回答词例的末端开始删除词例，直至所述待处理候选回答词例的词例数量等于所述预设候选回答长度，将所述待处理候选回答词例留下的词例作为所述标准候选回答词例；当所述待处理候选回答词例的词例数量小于或等于所述预设候选回答长度时，则将所述待处理候选回答词例作为所述标准候选回答词例。
[0170] 在一个实施例中，所述根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量，包括：根据所述历史对话词特征向量、所述候选回答词特征向量进行注意力权重计算，得到注意力权重；将所述历史对话词特征向量与所述候选回答词特征向量以词例为单元进行对齐；将对齐后的所述历史对话词特征向量及所述候选回答词特征向量以词例为单元进行局部语义关系匹配，得到所述历史对话局部匹配向量、所述候选回答局部匹配向量。
[0171] 在一个实施例中，所述根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率，包括：将所述历史对话局部匹配向量输入BiLSTM层进行关键向量辨别，得到历史对话隐向量；将所述候选回答局部匹配向量输入BiLSTM层进行关键向量辨别，得到候选回答隐向量；将所述历史对话隐向量、所述候选回答隐向量分布进行最大池化，得到历史对话最大池化向量、候选回答最大池化向量；将所述历史对话隐向量、所述候选回答隐向量分布进行平均池化，得到历史对话平均池化向量、候选回答平均池化向量；根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率。
[0172] 在一个实施例中，所述根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率，包括：将所述候选回答最大池化向量、所述候选回答平均池化向量、所述历史对话最大池化向量、所述历史对话平均池化向量依次进行拼接，得到待分类向量；将所述待分类向量输入多层感知器进行匹配概率计算，得到所述候选回答匹配概率。
[0173] 在一个实施例中，所述多层感知器包括隐藏层、tanh激活函数、softmax输出层。
[0174] 在一个实施例中，提出了一种计算机设备，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行时实现如下方法步骤：
[0175] 获取待匹配历史对话信息；
[0176] 根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量；
[0177] 获取候选回答信息；
[0178] 根据所述候选回答信息进行词特征提取，得到候选回答词特征向量；
[0179] 根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量；
[0180] 根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率；
[0181] 根据所述候选回答信息、所述候选回答匹配概率确定匹配回答信息。
[0182] 本实施例的方法执行时通过对所述待匹配历史对话信息进行词特征提取得到历史对话词特征向量，根据所述候选回答信息进行词特征提取得到候选回答词特征向量，实现了根据上下文的特点提取出历史对话词特征向量和根据回答序列的特点提取出候选回答词特征向量，实现了更好的捕捉了上下文的双向关系及上下文关联信息；再根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配得到历史对话局部匹配向量、候选回答局部匹配向量，实现了上下文与回答的充分匹配。
[0183] 在一个实施例中，所述获取待匹配历史对话信息，包括：获取历史对话信息；按预设词长度从所述历史对话信息中进行往前获取得到所述待匹配历史对话信息。
[0184] 在一个实施例中，所述根据所述待匹配历史对话信息进行词特征提取，得到历史对话词特征向量，包括：将所述待匹配历史对话信息进行词例序列提取，得到待预测历史对话词例；将所述待预测历史对话词例的整个序列中的每个词例输入预训练模型进行预测，得到所述历史对话词特征向量。
[0185] 在一个实施例中，所述将所述待匹配历史对话信息进行词例提取，得到待预测历史对话词例，包括：将所述待匹配历史对话信息用分句符及分轮符进行连接，得到历史对话序列；将所述历史对话序列进行分词，得到待处理历史对话词例；按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例；在所述标准历史对话词例的头端插入分类符及末端插入分隔符，得到所述待预测历史对话词例。
[0186] 在一个实施例中，所述按预设历史对话长度从所述待处理历史对话词例中进行提取，得到标准历史对话词例，包括：获取所述预设历史对话长度；当所述待处理历史对话词例的词例数量大于所述预设历史对话长度时，则从所述待处理历史对话词例的头端开始删除词例，直至所述待处理历史对话词例的词例数量等于所述预设历史对话长度，将所述待处理历史对话词例留下的词例作为所述标准历史对话词例；当所述待处理历史对话词例的词例数量小于或等于所述预设历史对话长度时，则将所述待处理历史对话词例作为所述标准历史对话词例。
[0187] 在一个实施例中，所述根据所述候选回答信息进行词特征提取，得到候选回答词特征向量，包括：将所述候选回答信息进行词例提取，得到待预测候选回答词例；将所述待预测候选回答词例的整个序列中的每个词例输入预训练模型进行预测，得到所述候选回答词特征向量。
[0188] 在一个实施例中，所述将所述候选回答信息进行词例提取，得到待预测候选回答词例，包括：将所述候选回答信息进行分词，得到待处理候选回答词例；按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例；在所述标准候选回答词例的头端插入分类符及末端插入分隔符，得到所述待预测候选回答词例。
[0189] 在一个实施例中，所述按预设候选回答长度从待处理候选回答词例中进行提取，得到标准候选回答词例，包括：获取所述预设候选回答长度；当所述待处理候选回答词例的词例数量大于所述预设候选回答长度时，则从所述待处理候选回答词例的末端开始删除词例，直至所述待处理候选回答词例的词例数量等于所述预设候选回答长度，将所述待处理候选回答词例留下的词例作为所述标准候选回答词例；当所述待处理候选回答词例的词例数量小于或等于所述预设候选回答长度时，则将所述待处理候选回答词例作为所述标准候选回答词例。
[0190] 在一个实施例中，所述根据所述历史对话词特征向量、所述候选回答词特征向量进行局部语义关系匹配，得到历史对话局部匹配向量、候选回答局部匹配向量，包括：根据所述历史对话词特征向量、所述候选回答词特征向量进行注意力权重计算，得到注意力权重；将所述历史对话词特征向量与所述候选回答词特征向量以词例为单元进行对齐；将对齐后的所述历史对话词特征向量及所述候选回答词特征向量以词例为单元进行局部语义关系匹配，得到所述历史对话局部匹配向量、所述候选回答局部匹配向量。
[0191] 在一个实施例中，所述根据所述历史对话局部匹配向量、所述候选回答局部匹配向量进行匹配概率计算，得到候选回答匹配概率，包括：将所述历史对话局部匹配向量输入BiLSTM层进行关键向量辨别，得到历史对话隐向量；将所述候选回答局部匹配向量输入BiLSTM层进行关键向量辨别，得到候选回答隐向量；将所述历史对话隐向量、所述候选回答隐向量分布进行最大池化，得到历史对话最大池化向量、候选回答最大池化向量；将所述历史对话隐向量、所述候选回答隐向量分布进行平均池化，得到历史对话平均池化向量、候选回答平均池化向量；根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率。
[0192] 在一个实施例中，所述根据所述历史对话最大池化向量、所述历史对话平均池化向量、所述候选回答最大池化向量、所述候选回答平均池化向量进行匹配概率计算，得到所述候选回答匹配概率，包括：将所述候选回答最大池化向量、所述候选回答平均池化向量、所述历史对话最大池化向量、所述历史对话平均池化向量依次进行拼接，得到待分类向量；将所述待分类向量输入多层感知器进行匹配概率计算，得到所述候选回答匹配概率。
[0193] 在一个实施例中，所述多层感知器包括隐藏层、tanh激活函数、softmax输出层。
[0194] 需要说明的是，上述一种基于上下文的多轮对话方法、一种基于上下文的多轮对话装置、存储介质及计算机设备属于一个总的发明构思，一种基于上下文的多轮对话方法、一种基于上下文的多轮对话装置、存储介质及计算机设备实施例中的内容可相互适用。
[0195] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 电池单元安装设备及其方法 | 2020-05-08 | 274 |
| 堆叠式DDR存储器的存储器测试控制 | 2020-05-08 | 573 |
| 低烟耐火光纤带 | 2020-05-08 | 489 |
| 用于线性电机的电机组件 | 2020-05-08 | 211 |
| 具有增强的抗等离子体特性的粘结材料及相关的方法 | 2020-05-08 | 345 |
| 纤维制造装置 | 2020-05-11 | 928 |
| 访问管理装置及访问管理方法 | 2020-05-08 | 432 |
| 电容器、包含电容器的集成组合件和形成集成组合件的方法 | 2020-05-08 | 1 |
| 电力转换装置和电力转换装置的连接方法 | 2020-05-08 | 390 |
| 三轴X射线管 | 2020-05-08 | 348 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
实部热门专利
QQ群二维码
意见反馈
意见反馈