一种基于双数组搜索树的机器翻译方法和装置
阅读：886发布：2023-05-27
专利汇可以提供一种基于双数组搜索树的机器翻译方法和装置专利检索，专利查询，专利分析的服务。并且本 申请 提供了一种基于双数组搜索树的 机器翻译 方法和装置，所述方法包括：依据 翻译记忆 库构造翻译记忆单元，并依据翻译记忆单元中的 源语言 句子建立双数组检索树，双数组检索树的每个 节点 对应一个所述源语言句子中的源语言词语；接收待翻译的初始源语言句子；依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子；从所述翻译记忆单元中获取与所述候选源语言句子对应的候选 目标语言 句子；按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。采用本申请的方法和装置，可以实现即能提高检索效率又能节省计算机存储资源的目的。同时，本申请应用于 电子 商务领域时也能够满足用户在 电子商务 领域的特殊翻译需求。，下面是一种基于双数组搜索树的机器翻译方法和装置专利的具体信息内容。
1.一种基于双数组搜索树的机器翻译方法，其特征在于，依据翻译记忆库构造翻译记忆单元，所述翻译记忆库包括互为翻译对的源语言句子和目标语言句子，并依据所述翻译记忆单元中的源语言句子建立双数组检索树，所述双数组检索树的每个节点对应一个所述源语言句子中的源语言词语，所述双数组检索树用于实现所述翻译记忆库中所述源语言句子的存储；该方法包括：
接收待翻译的初始源语言句子；
依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子；
从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子；
按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。
2.根据权利要求1所述的方法，其特征在于，所述依据翻译记忆库构造翻译记忆单元，具体包括：
对翻译记忆库的源语言句子按顺序进行分词，得到源语言词语；
对所述源语言词语按顺序进行编码，得到与源语言词语一一对应的源词语编码；
对所述目标语言句子进行编码，得到与所述目标语言句子一一对应的目标句子编码；
将所述源语言词语编码和目标句子编码对应保存为翻译记忆单元中。
3.根据权利要求2所述的方法，其特征在于，所述依据翻译记忆单元建立双数组检索树，具体包括：
按照所述源语言词语的编码顺序，对所述翻译记忆单元中的源语言句子进行排序；所述排序的规则为：首先根据源语言句子的第N个词语编码进行升序排序，在所述第N词语编码相同的情况下，按照第N+1个词语编码进行升序排序，其中，所述N为大于或等于1的自然数；
将所述源语言句子中的首层词语集按照排序结果分别作为所述双数组检索树的根节点的第一级孩子节点；其中，所述首层词语集即是各个源语言句子的第一个词语的集合；
参考源语言句子的每个句子中词语出现的顺序，对应为所述第一级孩子节点确定下级所有的第M级孩子节点；其中，M大于或等于2；
在每个源语言句子对应的最后一级孩子节点后设置当前句子的结束标识，以生成双数组检索树。
4.根据权利要求3所述的方法，其特征在于，所述依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子，具体包括：
依据预设的编辑距离确定所述双数组搜索树中符合条件的目标源语言句子的长度集合；
选择所述长度集合中最小的长度值作为当前长度值，并依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合；
判断所述长度集合中是否存在未确定子集合的其他长度值，如果是，则按照从小到大的顺序获取次小的长度值作为所述当前长度值，并执行所述依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合的步骤，直至所述长度集合中的所有长度值都确定子集合；
将所述源语言句子对应的目标语言句子的所有子集合确定为所述候选源语言句子。
5.根据权利要求2所述的方法，其特征在于，所述从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子，具体包括：
依据所述候选源语言句子确定与其对应的候选源语言词语编码；
依据所述候选源语言词语编码确定对应的候选目标语言句子编码；
获取所述候选目标语言句子编码对应的候选目标语言句子。
6.根据权利要求1～5任一项所述的方法，其特征在于，所述将所述候选目标语言句子发送至客户端进行展示，具体包括：
从所述候选目标语言句子中确定与所述初始源语言句子最匹配的精确目标语言句子；
将所述精确目标语言句子发送至客户端以向用户进行展示。
7.一种基于双数组搜索树的机器翻译装置，其特征在于，该装置包括：
构造翻译记忆单元模块，用于依据翻译记忆库构造翻译记忆单元，所述翻译记忆库包括互为翻译对的源语言句子和目标语言句子；
建立双数组检索树模块，用于依据所述翻译记忆单元中的源语言句子建立双数组检索树，所述双数组检索树的每个节点对应一个所述源语言句子中的源语言词语；所述双数组检索树用于实现所述翻译记忆库中所述源语言句子的存储；
接收源语言句子模块，用于接收待翻译的初始源语言句子；
查询候选源语言句子模块，用于依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子；
获取候选目标语言句子模块，用于从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子；
发送展示模块，用于按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。
8.根据权利要求7所述的装置，其特征在于，所述构造翻译记忆单元模块具体包括：
分词子模块，用于对翻译记忆库的源语言句子按顺序进行分词，得到源语言词语；
词语编码子模块，用于对所述源语言词语按顺序进行编码，得到与源语言词语一一对应的源词语编码；
句子编码子模块，用于对所述目标语言句子进行编码，得到与所述目标语言句子一一对应的目标句子编码；
保存子模块，用于将所述源语言词语编码和目标句子编码对应保存为翻译记忆单元中。
9.根据权利要求8所述的装置，其特征在于，所述建立双数组检索树模块具体包括：
排序子模块，用于按照所述源语言词语的编码顺序，对所述翻译记忆单元中的源语言句子进行排序；所述排序的规则为：首先根据源语言句子的第N个词语编码进行升序排序，在所述第N词语编码相同的情况下，按照第N+1个词语编码进行升序排序，其中，所述N为大于或等于1的自然数；
确定第一级孩子节点子模块，用于将所述源语言句子中的首层词语集按照排序结果分别作为所述双数组检索树的根节点的第一级孩子节点；其中，所述首层词语集即是各个源语言句子的第一个词语的集合；
确定第M级孩子节点子模块，用于参考源语言句子的每个句子中词语出现的顺序，对应为所述第一级孩子节点确定下级所有的第M级孩子节点；其中，M大于或等于2；
设置结束标识子模块，用于在每个源语言句子对应的最后一级孩子节点后设置当前句子的结束标识，以生成双数组检索树。
10.根据权利要求9所述的装置，其特征在于，所述查询候选源语言句子模块具体包括：
确定长度集合子模块，用于依据预设的编辑距离确定所述双数组搜索树中符合条件的目标源语言句子的长度集合；
确定子集合子模块，用于选择所述长度集合中最小的长度值作为当前长度值，并依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合；
判断子模块，用于判断所述长度集合中是否存在未确定子集合的其他长度值；
触发子模块，用于在所述判断子模块的结果为是的情况下，按照从小到大的顺序获取次小的长度值作为所述当前长度值，触发所述判断子模块；
确定候选源语言句子的子模块，用于将所述源语言句子对应的目标语言句子的所有子集合确定为所述候选源语言句子。
11.根据权利要求8所述的装置，其特征在于，所述获取候选目标语言句子模块具体包括：
确定候选源语言词语编码的子模块，用于依据所述候选源语言句子确定与其对应的候选源语言词语编码；
确定候选目标语言句子编码的子模块，用于依据所述候选源语言词语编码确定对应的候选目标语言句子编码；
获取子模块，用于获取所述候选目标语言句子编码对应的候选目标语言句子。
12.根据权利要求7～11任意一项所述的装置，其特征在于，所述发送展示模块，具体包括：
确定精确目标语言句子的子模块，用于从所述候选目标语言句子中确定与所述初始源语言句子最匹配的精确目标语言句子；
发送子模块，用于将所述精确目标语言句子发送至客户端以向用户进行展示。
一种基于双数组搜索树的机器翻译方法和装置
技术领域
背景技术
[0002] 机器翻译(machine translation)又称为自动翻译，是利用计算机把一种自然源语言转变为另一种自然目标语言的过程，一般指自然语言之间句子和全文的翻译。机器翻译技术是指将一种语言句子翻译成为另一种语言句子的技术，一般包括基于单词的直接翻译技术，基于统计模型的翻译技术以及基于翻译记忆的翻译技术等。
[0003] 其中，基于单词的直接翻译技术一般是将一种语言句子中的单词分别直接翻译为另一种语言的单词，其中会采用一些规则和词典等技术；基于统计模型的翻译技术以词法分析，句法分析，语义分析等自然语言处理技术为基础，通过对双语平行语料建立语言模型和翻译模型等方法，从而根据该模型将一种语言句子翻译为另一种语言句子；基于翻译记忆的翻译技术一般是根据已有的互为翻译的平行语料作为翻译记忆库，通过搜索和匹配技术，将一种语言句子翻译为翻译记忆库中另一种语言句子。
[0004] 现有技术中，一般的机器翻译系统在进行机器翻译时，针对用户输入的待翻译成目标语言的源语言句子，由于存储翻译记忆库中的存储数据量很大，并且占用较大的计算机存储资源，因此，在向用户提供目标语言句子的时候，就会因为要从海量数据中进行源语言句子的查询而导致效率较低的现象。
[0005] 进一步的，现有技术虽然满足了用户通常的需要，但由于其通用的性质，仍不能满足不同领域、不同目的特定翻译需求。例如，电子商务领域中的商品信息等。
[0006] 总之，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新的提出一种基于双数组搜索树的机器翻译方法，以解决现有技术中由于翻译记忆库的存储数量海量导致的翻译效率较为低下且占用计算机存储资源的技术问题，进一步的，还能满足用户在特定领域的翻译需求。发明内容
[0007] 本申请所要解决的技术问题是提供一种基于双数组搜索树的机器翻译方法，用以解决现有技术中由于翻译记忆库的存储数量海量导致的翻译效率较为低下且占用计算机存储资源的技术问题，进一步的，还能满足用户在特定领域的翻译需求。
[0008] 本申请还提供了一种基于双数组搜索树的机器翻译装置，用以保证上述方法在实际中的实现及应用。
[0009] 为了解决上述问题，本申请公开了一种基于双数组搜索树的机器翻译方法，包括：依据翻译记忆库构造翻译记忆单元，所述翻译记忆库包括互为翻译对的源语言句子和目标语言句子，并依据所述翻译记忆单元中的源语言句子建立双数组检索树，所述双数组检索树的每个节点对应一个所述源语言句子中的源语言词语；该方法包括：
[0010] 接收待翻译的初始源语言句子；
[0011] 依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子；
[0012] 从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子；
[0013] 按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。
[0014] 优选的，所述依据翻译记忆库构造翻译记忆单元，具体包括：
[0015] 对翻译记忆库的源语言句子按顺序进行分词，得到源语言词语；
[0016] 对所述源语言词语按顺序进行编码，得到与源语言词语一一对应的源词语编码；
[0017] 对所述目标语言句子进行编码，得到与所述目标语言句子一一对应的目标句子编码；
[0018] 将所述源语言词语编码和目标句子编码对应保存为翻译记忆单元中。
[0019] 优选的，所述依据翻译记忆单元建立双数组检索树，具体包括：
[0020] 按照所述源语言词语的编码顺序，对所述翻译记忆单元中的源语言句子进行排序；所述排序的规则为：首先根据源语言句子的第N个词语编码进行升序排序，在所述第N词语编码相同的情况下，按照第N+1个词语编码进行升序排序，其中，所述N为大于或等于1的自然数；
[0021] 将所述源语言句子中的首层词语集按照排序结果分别作为所述双数组检索树的根节点的第一级孩子节点；其中，所述首层词语集即是各个源语言句子的第一个词语的集合；
[0022] 参考源语言句子的每个句子中词语出现的顺序，对应为所述第一级孩子节点确定下级所有的第M级孩子节点；其中，M大于或等于2；
[0023] 在每个源语言句子对应的最后一级孩子节点后设置当前句子的结束标识，以生成双数组检索树。
[0024] 优选的，所述依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子，具体包括：
[0025] 依据预设的编辑距离确定所述双数组搜索树中符合条件的目标源语言句子的长度集合；
[0026] 选择所述长度集合中最小的长度值作为当前长度值，并依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合；
[0027] 判断所述长度集合中是否存在未确定子集合的其他长度值，如果是，则按照从小到大的顺序获取次小的长度值作为所述当前长度值，并执行所述依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合的步骤，直至所述长度集合中的所有长度值都确定子集合；
[0028] 将所述源语言句子对应的目标语言句子的所有子集合确定为所述候选源语言句子。
[0029] 优选的，所述从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子，具体包括：
[0030] 依据所述候选源语言句子确定与其对应的候选源语言词语编码；
[0031] 依据所述候选源语言词语编码确定对应的候选目标语言句子编码；
[0032] 获取所述候选目标语言句子编码对应的候选目标语言句子。
[0033] 优选的，所述将所述候选目标语言句子发送至客户端进行展示，具体包括：
[0034] 从所述候选目标语言句子中确定与所述初始源语言句子最匹配的精确目标语言句子；
[0035] 将所述精确目标语言句子发送至客户端以向用户进行展示。
[0036] 本申请公开了一种基于双数组搜索树的机器翻译装置，包括：
[0037] 构造翻译记忆单元模块，用于依据翻译记忆库构造翻译记忆单元，所述翻译记忆库包括互为翻译对的源语言句子和目标语言句子；
[0038] 建立双数组检索树模块，用于依据所述翻译记忆单元中的源语言句子建立双数组检索树，所述双数组检索树的每个节点对应一个所述源语言句子中的源语言词语；
[0039] 接收源语言句子模块，用于接收待翻译的初始源语言句子；
[0040] 查询候选源语言句子模块，用于依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子；
[0041] 获取候选目标语言句子模块，用于从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子；
[0042] 发送展示模块，用于按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。
[0043] 优选的，所述构造翻译记忆单元模块具体包括：
[0044] 分词子模块，用于对翻译记忆库的源语言句子按顺序进行分词，得到源语言词语；
[0045] 词语编码子模块，用于对所述源语言词语按顺序进行编码，得到与源语言词语一一对应的源词语编码；
[0046] 句子编码子模块，用于对所述目标语言句子进行编码，得到与所述目 标语言句子一一对应的目标句子编码；
[0047] 保存子模块，用于将所述源语言词语编码和目标句子编码对应保存为翻译记忆单元中。
[0048] 优选的，所述建立双数组检索树模块具体包括：
[0049] 排序子模块，用于按照所述源语言词语的编码顺序，对所述翻译记忆单元中的源语言句子进行排序；所述排序的规则为：首先根据源语言句子的第N个词语编码进行升序排序，在所述第N词语编码相同的情况下，按照第N+1个词语编码进行升序排序，其中，所述N为大于或等于1的自然数；
[0050] 确定第一级孩子节点子模块，用于将所述源语言句子中的首层词语集按照排序结果分别作为所述双数组检索树的根节点的第一级孩子节点；其中，所述首层词语集即是各个源语言句子的第一个词语的集合；
[0051] 确定第M级孩子节点子模块，用于参考源语言句子的每个句子中词语出现的顺序，对应为所述第一级孩子节点确定下级所有的第M级孩子节点；其中，M大于或等于2；
[0052] 设置结束标识子模块，用于在每个源语言句子对应的最后一级孩子节点后设置当前句子的结束标识，以生成双数组检索树。
[0053] 优选的，所述查询候选源语言句子模块具体包括：
[0054] 确定长度集合子模块，用于依据预设的编辑距离确定所述双数组搜索树中符合条件的目标源语言句子的长度集合；
[0055] 确定子集合子模块，用于选择所述长度集合中最小的长度值作为当前长度值，并依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合；
[0056] 判断子模块，用于判断所述长度集合中是否存在未确定子集合的其他长度值；
[0057] 触发子模块，用于在所述判断子模块的结果为是的情况下，按照从小到大的顺序获取次小的长度值作为所述当前长度值，触发所述判断子模块；
[0058] 确定候选源语言句子的子模块，用于将所述源语言句子对应的目标语 言句子的所有子集合确定为所述候选源语言句子。
[0059] 优选的，所述获取候选目标语言句子模块具体包括：
[0060] 确定候选源语言词语编码的子模块，用于依据所述候选源语言句子确定与其对应的候选源语言词语编码；
[0061] 确定候选目标语言句子编码的子模块，用于依据所述候选源语言词语编码确定对应的候选目标语言句子编码；
[0062] 获取子模块，用于获取所述候选目标语言句子编码对应的候选目标语言句子。
[0063] 优选的，所述发送展示模块，具体包括：
[0064] 确定精确目标语言句子的子模块，用于从所述候选目标语言句子中确定与所述初始源语言句子最匹配的精确目标语言句子；
[0065] 发送子模块，用于将所述精确目标语言句子发送至客户端以向用户进行展示。
[0066] 与现有技术相比，本申请包括以下优点：
[0067] 在本申请实施例中，由于基于双数组检索树来实现翻译记忆库中源语言句子的存储，所以在检索与初始源语言句子相似的候选源语言句子的时候，可以比现有技术更快的确定候选源语言句子，并且因为双数组检索树在存储时也比数据表更节省空间，从而实现即能提高检索效率又能节省计算机存储资源的目的。
[0068] 同时，本申请应用于电子商务领域时也能够满足用户在电子商务领域的特殊翻译需求。
[0070] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0071] 图1是本申请的一种基于双数组搜索树的机器翻译方法实施例的流 程图；
[0072] 图2是本申请方法实施例中步骤101的流程图；
[0073] 图3是本申请方法实施例中步骤102的流程图；
[0074] 图4为本申请方法实施例中表7所示的翻译记忆单元所对应的双数组检索树的结构示意图；
[0075] 图5是本申请方法实施例中步骤104的流程图；
[0076] 图6为本申请方法实施例中步骤105的流程图；
[0077] 图7为本申请方法实施例中步骤107的流程图；
[0078] 图8是本申请的一种基于双数组搜索树的机器翻译装置实施例的结构框图；
[0079] 图9为本申请装置实施例中构造翻译记忆单元模块801的结构示意图；
[0080] 图10为本申请装置实施例中建立双数组检索树模块802的结构示意图；
[0081] 图11为本申请装置实施例中查询候选源语言句子模块804的结构示意图；
[0082] 图12为本申请装置实施例中获取候选目标语言句子模块805的结构示意图；
[0083] 图13为本申请装置实施例中发送展示模块806的结构示意图。
具体实施方式
[0084] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0086] 本申请可以在由计算机执行的计算机可执行指令的一般上下文中描 述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0087] 本申请的主要思想之一可以包括，先依据翻译记忆库构造包括互为翻译对的源语言句子和目标语言句子翻译记忆单元，并依据所述翻译记忆单元中的源语言句子建立双数组检索树，该双数组检索树的每个节点对应一个所述源语言句子中的源语言词语，因此，针对待翻译的初始源语言句子，可以依据该初始源语言句子在双数组搜索树中查询满足编辑距离的候选源语言句子，并从所述翻译记忆单元中获取与候选源语言句子对应的候选目标语言句子，再按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。可见，由于本申请中将源语言句子构造成了双数组检索树，所以在检索与初始源语言句子相似的候选源语言句子的时候，可以比现有技术更快的确定候选源语言句子，并且因为双数组检索树在存储时也比数据表更节省空间，从而实现即能提高检索效率又能节省计算机存储资源的目的。
[0088] 参考图1，示出了本申请一种基于双数组搜索树的机器翻译方法实施例的流程图，可以包括以下步骤：
[0089] 步骤101：依据翻译记忆库构造翻译记忆单元，所述翻译记忆库包括互为翻译对的源语言句子和目标语言句子。
[0090] 在本申请实施例中，翻译记忆用来表示平行的双语中互为翻译的两种语言语句形成的一个句对，翻译记忆库则是保存了这些句对的数据结构；而源语言句子表示翻译记忆中的某一种语言的句子，也表示用户在翻译过程中输入的需要翻译的语句；目标语言句子是相对于源语言句子而言的，表示翻译记忆的另一种语言的句子，也表示用户在翻译过程中希望得到的翻译结果语句。
[0091] 在本实施例中，需要依据翻译记忆库中互为翻译对的源语言句子和目 标语言句子构造翻译记忆单元，其中，翻译记忆单元是包括源语言词语编码和目标句子编码的数据结构，具体的，参考图2所示，为在实际应用中所述步骤101的流程图，本步骤101具体可以包括：
[0092] 步骤201：对翻译记忆库的源语言句子按顺序进行分词，得到源语言词语；
[0093] 首先，按照翻译记忆库中源语言句子出现的顺序，可以对源语言句子中的词语依次进行分词，从而得到有顺序的源语言词语。假设存在表1所示的简单的翻译记忆库：
[0094] 表1
[0095]I like you 我喜欢你
She is a girl 她是一个女孩
I love you 我爱你
She is a girl 她是一个女孩
I love you 我爱你
[0096] 在表1中每行的句对互为翻译对，可以指定左侧的英文句子为源语言句子，右侧的汉语句子为目标语言句子。当然，本领域技术人员也可以根据需要指定表1中右侧的汉语句子为源语言句子，而左侧的英文句子为目标语言句子，根据实际场景可以自主选择。
[0097] 步骤202：对所述源语言词语按顺序进行编码，得到与源语言词语一一对应的源词语编码；
[0098] 再对步骤101中进行分词得到的源语言词语进行顺序编码，对于表1所示的翻译记忆单元来讲，其中源语言句子共包含8个英文单词，而根据源语言句子在翻译记忆单元出现的顺序，可以构建如表2所示的词典：
[0099] 表2
[0100]
[0101]
[0102] 其中，在词典中源语言词语用字符串表示，其对应的源语言词语编码可以用1个32位无符号整数类型表示，最多可以表示232-1个词语，完全可以容纳自然语言的词语数量。
[0103] 需要说明的是，本申请实施例中可以设置过滤那些使用频率极高的词，例如英语的“the”，这些词可以设定其包括在人工设定的停用词表中，而对于停用词表中出现的词语，从源语言句子中删除，而不加入词典。同样，对于用户查询的源语言句子，也同样删除出现在停用词表中的词语，因此本申请实施例不考虑前述停用词表中的词语。
[0104] 可以理解的是，如果本申请实施例应用于电子商务中，由于电子商务语料中存在大量包含数字的词语，例如型号等，为了减少词典的大小以及缓解语料的稀疏，可以用“#digit#”表示包含数字的词语并统一以1编码。例如对于源语言句子“I have 12apples”，可以表示为“I have#digit#apples”。因此，其他的源语言词语的编码从2开始，对于词典中已经存在的词语不再重新编码，而是使用词典中已经存在的该词语的编码。
[0105] 步骤203：对所述目标语言句子进行编码，得到与所述目标语言句子一一对应的目标句子编码；
[0106] 再按照翻译记忆单元中目标语言句子的出现顺序对其进行编码，针对表1所示的翻译记忆单元，可以得到如表3所示的目标句子编码：
[0107] 表3
[0108]我喜欢你 1
她是一个女孩 2
我爱你 3
她是一个女孩 2
我爱你 3
[0109] 另外，在翻译记忆库中可能会存在多个源语言句子对应一个目标语言句子的情况，为了避免出现重复的翻译结果，在构建翻译记忆单元的 过程中，对于已经出现的目标语言句子不再重新编号，而是使用已有的编号进行构建翻译记忆单元。
[0110] 例如，假设上面的翻译记忆库中增加一条如表4所示的翻译记忆：
[0111] 表4
[0112]Sh‘e s a girl 她是一个女孩
[0113] 因为由于目标语言句子“她是一个女孩”在翻译记忆库中已经存在，因此对该条翻译记忆构建得到的翻译记忆单元如表5所示：
[0114] 表5
[0115]Sh‘e s a girl 2
[0116] 步骤204：将所述源语言词语编码和目标句子编码对应保存为翻译记忆单元中。
[0117] 于是，根据前述得到的源语言词语编码和目标语言句子编码，可以将翻译记忆单元的源语言句子转换为编码序列，而目标语言句子也转换为编码序列，从而针对表1所示的翻译记忆单元，可以得到如表6所示的翻译记忆单元：
[0118] 表6
[0119]1 2 3 1
4 5 6 7 2
1 8 3 3
4 5 6 7 2
1 8 3 3
[0120] 步骤102：依据所述翻译记忆单元中的源语言句子建立双数组检索树，所述双数组检索树的每个节点对应一个所述源语言句子中的源语言词语。
[0121] 在建立翻译记忆单元之后，需要依据翻译记忆单元中的源语言句子建立双数组检索树，检索树Trie是哈希树的一种变种，可以建立有效的数据检索组织结构，最大限度地减少的字符串比较。
[0122] 参考图3所示，为在实际应用中所述步骤102的流程图，具体可以包括：
[0123] 步骤301：按照所述源语言词语的编码顺序，对所述翻译记忆单元中 的源语言句子进行排序；所述排序的规则为：首先根据源语言句子的第N个词语编码进行升序排序，在所述第N词语编码相同的情况下，按照第N+1个词语编码进行升序排序，其中，所述N为大于或等于1的自然数；
[0124] 需要说明的是，在本申请实施例中，为了解决双数组检索树在动态插入新的节点时产生的冲突，可以构建静态的双数组检索树，即是根据源语言句子的源词语编码顺序对翻译记忆单元进行升序排序。其中，排序的基本原则是首先根据源语言句子的第一个词语编码按升序排列，在第一个词语编码相同的情况下，再依据第二词语编码的顺序进行升序排列，以此类推。此外，对于这一个句子是另一个句子前缀的情况，长句将排在短句的前面，假设对表6所示的翻译记忆单元进行排序，可以得到如表7所示的排序后的翻译记忆单元：
[0125] 表7
[0126]1 2 3 1
1 8 3 3
4 5 6 7 2
1 8 3 3
4 5 6 7 2
[0127] 步骤302：将所述源语言句子中的首层词语集按照排序结果分别作为所述双数组检索树的根节点的第一级孩子节点；其中，所述首层词语集即是各个源语言句子的第一个词语的集合；
[0128] 在本申请实施例中，双数组检索树中的节点(node)结构可以如表8所示：
[0129] 表8
[0130]word_id depth left right
[0131] 其中，word_id用来对应的翻译记忆单元中源句子的词语编码，在司机应用中可以占用1个32位无符号整数类型；depth用来表示源语言词语在源语言句子中的位置，也即在双数组检索树中的深度，可以占用1个32位无符号整数类型；left和right表示该节点在双数组检索树中的孩子节点在同层节点的起止范围，分别占用1个32位无符号整数类型。参考图4所示，为表7所示的翻译记忆单元所对应的双数组检索树的结构 示意图，在图4所示的双数组检索树中，节点“I”的孩子节点为“like”和“love”，因此其left为0，right为2；而节点“She”的孩子节点为“is”，其left为2，right为3。
[0132] 针对表7所示的翻译记忆单元，假设初始的根节点为root，其节点结构如表9所示：
[0133] 表9
[0134]word_id depth left right
0 0 0 2
0 0 0 2
[0135] 在本申请实施例中，在构建双数组检索树的过程中，首先需要通过双数组检索树的根节点获得其第一级孩子节点集，即翻译记忆单元中源语言句子的首层词语集。假设仍以表7示意的翻译记忆单元中为例，其中源语言句子的首层共有2个单词，编码分别为1和4，则得到根节点的孩子节点集为{1，4}，如表10所示：
[0136] 表10
[0137]word_id depth left right
1 1 0 2
4 1 2 3
1 1 0 2
4 1 2 3
[0138] 步骤303：参考源语言句子的每个句子中词语出现的顺序，对应为所述第一级孩子节点确定下级所有的第M级孩子节点；其中，M大于或等于2；
[0139] 在往双数组检索树插入一个源语言句子时，先插入根节点的第一级孩子节点，接着再插入该第一级孩子节点的次级孩子节点，依次类推，直到按照翻译记忆单元中的源语言句子的顺序将所有的源语言句子都插入至双数组检索树中；
[0140] 步骤304：在每个源语言句子对应的最后一级孩子节点后设置当前句子的结束标识，以生成双数组检索树。
[0141] 当完成每一个源语言句子对应的最后一次词语的插入时，可以为该源语言句子设置当前句子的结束标识，例如，在其后面形式上添加一个符号“#”表示结束，生成与翻译记忆单元对应的双数组检索树。
[0142] 需要说明的是，步骤101～步骤102是生成双数组检索树的流程，即是相当于预处理过程，在实际应用中，需要先执行步骤101～步骤102来实现双数组检索树，但是该两个步骤只需要执行一次即可生成双数组检索树，而步骤103～步骤106可以反复执行以实现不同的初始源语言句子的机器翻译，而无需执行多次双数组检索树的生成过程。
[0143] 步骤103：接收待翻译的初始源语言句子。
[0144] 接收用户提交的待翻译的初始源语言句子，在实际应用中，初始源语言句子是相对于目标语言句子而言的，翻译记忆单元中的两种语言均可以作为源语言句子。
[0145] 步骤104：依据所述初始源语言句子在所述双数组搜索树中查询满足预设的编辑距离的候选源语言句子。
[0146] 在本申请实施例中，编辑距离(Edit Distance)用来计算从原字符串s转换到目标字符串t所需的最少编辑操作次数，其中，允许的编辑操作包括将一个字符替换成另一个字符，插入一个新的字符，以及删除一个已有字符共3种操作。例如将字符串kitten转成字符串sitting，需要如下操作：sitten(用s替换k)；sittin(用i替换e)；以及，sitting(在结尾插入g)。共需3次操作，因此字符串kitten和字符串sitting之间的编辑距离为3。
[0147] 具体的，参考图5所示，为所述步骤104在实际应用中的流程图，步骤104具体可以包括：
[0148] 步骤501：依据预设的编辑距离确定所述双数组搜索树中符合条件的目标源语言句子的长度集合；
[0149] 在本实施例中，假设预设的编辑距离k为1，而初始源语言句子的长度(即是该源语言句子共包括几个源语言词语)为6，那么候选源语言句 子的长度集合则满足[6-1，6+1]，即长度分别为5，6，7的源语言句子，而其他长度的源语言句子不可能与查询的源语言句子的编辑距离在k的范围内；
[0150] 在实际应用中，还可以采用其它的度量方法替代前述的编辑距离，例如：汉明距离等；
[0151] 步骤502：选择所述长度集合中最小的长度值作为当前长度值，并依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合；
[0152] 首先选择5作为当前长度值，并从所述双数组检索树中确定所有长度值为5的源语言句子作为第一个子集合；在实际应用中，确定的该第一个子集合的时候，可以先从双数组检索树中检索根节点的第一级孩子节点，从中确定与源语言句子的第一个词语完全匹配的节点集，再依次查找这些节点集中各节点的下一级节点是否与初始源语言句子中的第二个词语完全匹配，如果匹配则将其保存至该子集合中，如果不匹配则说明不是候选源语言句子；
[0153] 步骤503：判断所述长度集合中是否存在未确定子集合的其他长度值，如果是，则进入步骤504，如果否，则进入步骤505；
[0154] 再判断长度集合中是否还有未确定对应的源语言句子的子集合的其他长度值，如果没有，则说明所有的源语言句子的子集合都已经确定完毕；
[0155] 步骤504：按照从小到大的顺序获取次小的长度值作为所述当前长度值，返回步骤502；
[0156] 如果还有未确定子集合的其他长度值，则再按照从小到大的顺序，确定6为当前长度值，并执行确定长度为6的源语言句子的子集合的步骤，直至所有的源语言句子的子集合都已经确定；
[0157] 步骤505：将所述源语言句子对应的目标语言句子的所有子集合确定为所述候选源语言句子。
[0158] 将步骤502确定的子集合作为候选源语言句子。
[0159] 需要说明的是，在从双数组检索树中检索候选源语言句子时，针对编辑距离k为1且初始源语言句子长度为6的情况下，其中，第一次确定的长度为5的候选语言句子的子集合包括本句子的五个词语与初始源语言句子的前五个词语完全匹配的源语言句子；而第二次确定的长度为6的候选语言句子的子集合则包括前五个词语与初始源语言句子的前五个词语完全匹配的源语言句子，第六个词语是否与初始源语言句子的第六个词语完全匹配可以不考虑；而第三次确定的长度为7的候选语言句子的子集合则包括本句子的前六个词语与初始源语言句子的六个词语完全匹配的源语言句子，这样的话，确定的候选语言句子中的各个候选语言句子都是只有一个词语与初始源语言句子不完全匹配。
[0160] 在实际应用中，有很多种方式来实现对上述对候选源语言句子的确定，本申请实施例就不再一一赘述。
[0161] 步骤105：从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子。
[0162] 在从双数组检索树中确定了与初始源语言句子对应的候选源语言句子之后，需要再从翻译记忆单元中获取与候选源语言句子对应的翻译结果即是候选目标语言句子。
[0163] 具体的，参考图6所示，图6为所述步骤105在实际应用中的流程图，步骤105具体可以包括：
[0164] 步骤601：依据所述候选源语言句子确定与其对应的候选源语言词语编码；
[0165] 依据确定的候选源语言句子确定这些源语言句子中的候选源语言词语编码，例如假设候选源语言句子为“Sh‘e s a girl”，则候选源语言词语编码则为“4 5 6 7”；
[0166] 步骤602：依据所述候选源语言词语编码确定对应的候选目标语言句子编码；
[0167] 根据步骤601确定的候选源语言词语编码再从翻译记忆单元中确定 对应的目标语言句子编码；例如，目标语言句子编码为“2”；
[0168] 步骤603：获取所述候选目标语言句子编码对应的候选目标语言句子。
[0169] 则本步骤则获取目标语言句子编码为“2”所对应的候选目标语言句子，即是“她是一个女孩”。
[0170] 步骤106：按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。
[0171] 在步骤106中再将确定的目标语言句子按照预设的展示条件发送至客户端进行展示，以便将翻译结果向用户显示。需要说明的是，预设的展示条件可以是对候选目标语言句子的过滤，具体的，参考图7所示，为步骤106在实际应用中的流程图，步骤106具体可以包括：
[0172] 步骤701：从所述候选目标语言句子中确定与所述初始源语言句子最匹配的精确目标语言句子；
[0173] 因为在双数组检索树中按照预设的编辑距离，可能会检索到很多候选源语言句子，而实际上用户可能不需要这么多候选目标语言句子，则此时可以从候选目标语言句子中确定与初始源语言句子最为匹配的精确目标语言句子。例如，可以确定六个词语都能与初始源语言句子匹配的候选源语言句子为精确源语言句子，并将该精确源语言句子对应的目标语言句子确定为精确目标语言句子。
[0174] 当然，在实际应用中，本领域技术人员也可以确定预置个数的目标语言句子，其中具体数目可以适应性调整。
[0175] 步骤702：将所述精确目标语言句子发送至客户端以向用户进行展示。
[0176] 最终将精确目标语言句子发送至客户端以向用户进行展示。
[0177] 采用本申请实施例，因为将翻译记忆库存储为双数组检索树的结构，因此，在查找初始源语言句子的时候，就能够快速的在双数组检索树中确定出候选源语言句子，并且因为双数组检索树占用的存储空间较小，因此，也可以节约计算机的存储资源，从而实现提高机器翻译的效率，以及节约计算机的存储资源的效果。进一步的，本申请实施例的双数组 检索树可以是静态的，即是在建立双数组检索树的时候按照翻译记忆单元中源语言句子的编码顺序进行，这样就更可以节约从双数组检索树中确定候选源语言句子的时间，也减少了存储空间的开销。
[0178] 不仅如此，本申请应用于电子商务领域的时候，也可以满足该领域内用户对专业领域和特定背景下的翻译需求，并为用户提供符合特定领域的形式较为统一的翻译建议。
[0179] 在本申请实施例中，为提高翻译的匹配效果和召回率，可以对翻译记忆库采用语义分块存储和检索，以及针对被翻译内容的片段进行翻译。
[0180] 对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0181] 与上述本申请一种基于双数组搜索树的机器翻译方法实施例所提供的方法相对应，参见图8，本申请还提供了一种基于双数组搜索树的机器翻译装置实施例，在本实施例中，该装置可以包括：
[0182] 构造翻译记忆单元模块801，用于依据翻译记忆库构造翻译记忆单元，所述翻译记忆库包括互为翻译对的源语言句子和目标语言句子。
[0183] 参考图9所示，图9为所述构造翻译记忆单元模块801的结构示意图，所述构造翻译记忆单元模块801具体可以包括：
[0184] 分词子模块901，用于对翻译记忆库的源语言句子按顺序进行分词，得到源语言词语；
[0185] 词语编码子模块902，用于对所述源语言词语按顺序进行编码，得到与源语言词语一一对应的源词语编码；
[0186] 句子编码子模块903，用于对所述目标语言句子进行编码，得到与所述目标语言句子一一对应的目标句子编码；
[0187] 保存子模块904，用于将所述源语言词语编码和目标句子编码对应保存为翻译记忆单元中。
[0188] 建立双数组检索树模块802，用于依据所述翻译记忆单元中的源语言句子建立双数组检索树，所述双数组检索树的每个节点对应一个所述源语言句子中的源语言词语。
[0189] 参考图10，图10为所述建立双数组检索树模块802的结构示意图，具体可以包括：
[0190] 排序子模块1001，用于按照所述源语言词语的编码顺序，对所述翻译记忆单元中的源语言句子进行排序；所述排序的规则为：首先根据源语言句子的第N个词语编码进行升序排序，在所述第N词语编码相同的情况下，按照第N+1个词语编码进行升序排序，其中，所述N为大于或等于1的自然数；
[0191] 确定第一级孩子节点子模块1002，用于将所述源语言句子中的首层词语集按照排序结果分别作为所述双数组检索树的根节点的第一级孩子节点；其中，所述首层词语集即是各个源语言句子的第一个词语的集合；
[0192] 确定第M级孩子节点子模块1003，用于参考源语言句子的每个句子中词语出现的顺序，对应为所述第一级孩子节点确定下级所有的第M级孩子节点；其中，M大于或等于2；
[0193] 设置结束标识子模块1004，用于在每个源语言句子对应的最后一级孩子节点后设置当前句子的结束标识，以生成双数组检索树。
[0194] 接收源语言句子模块803，用于接收待翻译的初始源语言句子；
[0195] 查询候选源语言句子模块804，用于依据所述初始源语言句子在所述双数组搜索树中查询满足编辑距离的候选源语言句子。
[0196] 参考图11所示，图11为所述查询候选源语言句子模块804的结构示意图，具体可以包括：
[0197] 确定长度集合子模块1101，用于依据预设的编辑距离确定所述双数组搜索树中符合条件的目标源语言句子的长度集合；
[0198] 确定子集合子模块1102，用于选择所述长度集合中最小的长度值作为当前长度值，并依据所述当前长度值从所述双数组检索树中确定所述源语言句子对应的目标源语言句子的子集合；
[0199] 判断子模块1103，用于判断所述长度集合中是否存在未确定子集合 的其他长度值；
[0200] 触发子模块1104，用于在所述判断子模块的结果为是的情况下，按照从小到大的顺序获取次小的长度值作为所述当前长度值，触发所述判断子模块；
[0201] 确定候选源语言句子的子模块1105，用于将所述源语言句子对应的目标语言句子的所有子集合确定为所述候选源语言句子。
[0202] 获取候选目标语言句子模块805，用于从所述翻译记忆单元中获取与所述候选源语言句子对应的候选目标语言句子；
[0203] 参考图12所示，图12为所述获取候选目标语言句子模块805的结构示意图，具体可以包括：
[0204] 确定候选源语言词语编码的子模块1201，用于依据所述候选源语言句子确定与其对应的候选源语言词语编码；
[0205] 确定候选目标语言句子编码的子模块1202，用于依据所述候选源语言词语编码确定对应的候选目标语言句子编码；
[0206] 获取子模块1203，用于获取所述候选目标语言句子编码对应的候选目标语言句子。
[0207] 发送展示模块806，用于按照预设的展示条件将所述候选目标语言句子发送至客户端进行展示。
[0208] 参考图13，为所述发送展示模块806的结构示意图，具体可以包括：
[0209] 确定精确目标语言句子的子模块1301，用于从所述候选目标语言句子中确定与所述初始源语言句子最匹配的精确目标语言句子；
[0210] 发送子模块1302，用于将所述精确目标语言句子发送至客户端以向用户进行展示。
[0211] 本实施例所述的装置可以集成到翻译服务器上，也可以单独作为一个实体与翻译服务器相连，另外，需要说明的是，当本申请所述的方法采用软件实现时，可以作为翻译服务器新增的一个功能，也可以单独编写相应的程序，本申请不限定所述方法或装置的实现方式。
[0212] 采用本申请实施例的装置，在查找初始源语言句子的时候，就能够快速的在双数组检索树中确定出候选源语言句子，并且因为双数组检索树 占用的存储空间较小，因此，也可以节约计算机的存储资源，从而实现提高机器翻译的效率，以及节约计算机的存储资源的效果。进一步的，本申请实施例的双数组检索树可以是静态的，即是在建立双数组检索树的时候按照翻译记忆单元中源语言句子的编码顺序进行，这样就更可以节约从双数组检索树中确定候选源语言句子的时间，也减少了存储空间的开销。
[0213] 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0214] 最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0215] 以上对本申请所提供的一种基于双数组搜索树的机器翻译方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 道桥施工用除尘装置 | 2020-05-08 | 272 |
| 一种建筑粘合剂的制备方法 | 2020-05-08 | 308 |
| 一种应用于电子商务领域的快递自提柜 | 2020-05-08 | 983 |
| 一种水果生鲜无人值守销售柜 | 2020-05-08 | 133 |
| 一种提高阻挡砂砾效果的泵站进水前池改进型底坎 | 2020-05-08 | 895 |
| 一种移动式市政建设用雨水收集利用装置 | 2020-05-11 | 939 |
| 一种电子商务培训演示平台 | 2020-05-08 | 459 |
| 一种可折叠式静力触探仪 | 2020-05-11 | 5 |
| 一种用于电子商务的教学演示装置 | 2020-05-08 | 465 |
| 一种电子商务案例教学用的展示装置 | 2020-05-08 | 960 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
电子商务热门专利
QQ群二维码
意见反馈
意见反馈