一种机器翻译方法、装置及系统
阅读：49发布：2020-05-12
专利汇可以提供一种机器翻译方法、装置及系统专利检索，专利查询，专利分析的服务。并且本公开是关于一种 机器翻译 方法、装置及介质。该方法用于将第一语言内容翻译为第二语言内容，包括：获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；通过所述第二翻译模式对待翻译的第三数据进行翻译。本公开的方法能在较大程度上克服多翻问题，提升翻译 质量 ，而无需花费大量的经济成本和人工成本。，下面是一种机器翻译方法、装置及系统专利的具体信息内容。
1.一种机器翻译方法，用于将第一语言内容翻译为第二语言内容，其特征在于，包括：
获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
通过所述第二翻译模式对待翻译的第三数据进行翻译。
2.根据权利要求1所述的方法，其特征在于，所述第一数据与所述第二数据是通过预定标识区分的，所述第二数据添加有预定标识；
在所述通过所述第二翻译模式对待翻译的第三数据进行翻译之前，所述方法还包括：
获取待翻译的第四数据；
在所述第四数据中检测预定标识；
响应于检测到所述预定标识，将所述第四数据确定为所述第三数据。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述第四数据包含的词语个数；
若所述个数小于或等于第一预定个数，则为所述第四数据添加所述预定标识。
4.根据权利要求1所述的方法，其特征在于，所述第一数据与所述第二数据是通过包含的词语个数区分的，所述第二数据包含的词语个数小于或等于第二预定个数；
在所述通过所述第二翻译模式对待翻译的第三数据进行翻译之前，所述方法还包括：
获取待翻译的第五数据；
若所述第五数据包含的词语个数小于或等于所述第二预定个数，则将所述第五数据确定为所述第三数据。
5.如权利要求1所述的方法，其特征在于，所述获取待训练的第一数据和除所述第一数据外的第二数据，包括：
获取词典短语平行语料数据和翻译资源数据；
根据爬取词典数据的方法，从所述词典短语平行语料数据和所述翻译资源数据中获取词典数据；
其中，所述第二数据包括所述词典数据。
6.一种机器翻译装置，用于将第一语言内容翻译为第二语言内容，其特征在于，包括：
第一获取模块，被设置为获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
训练模块，被设置为基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
翻译模块，被设置为通过所述第二翻译模式对待翻译的第三数据进行翻译。
7.如权利要求6所述的装置，其特征在于，所述第一数据与所述第二数据是通过预定标识区分的，所述第二数据添加有预定标识；
所述装置还包括：
第二获取模块，被设置为在所述翻译模块通过所述第二翻译模式对待翻译的第三数据进行翻译之前，获取待翻译的第四数据；
第一数据确定模块，被设置为在所述第四数据中检测预定标识；以及响应于检测到所述预定标识，将所述第四数据确定为所述第三数据。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
标识符添加模块，被设置为获取所述第四数据包含的词语个数；若所述个数小于或等于第一预定个数，则为所述第四数据添加所述预定标识。
9.如权利要求6所述的装置，其特征在于，所述第一数据与所述第二数据是通过包含的词语个数区分的，所述第二数据包含的词语个数小于或等于第二预定个数；
所述装置还包括：
第三获取模块，被设置为在所述翻译模块通过所述第二翻译模式对待翻译的第三数据进行翻译之前，获取待翻译的第五数据；
第二数据确定模块，被设置为若所述第五数据包含的词语个数小于或等于所述第二预定个数，则将所述第五数据确定为所述第三数据。
10.如权利要求6所述的方法，其特征在于，所述第一获取模块还被设置为：
获取词典短语平行语料数据和翻译资源数据；
根据爬取词典数据的方法，从所述词典短语平行语料数据和所述翻译资源数据中获取词典数据；
其中，所述第二数据包括所述词典数据。
11.一种机器翻译装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
通过所述第二翻译模式对待翻译的第三数据进行翻译。
12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种机器翻译方法，所述方法包括：
获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
通过所述第二翻译模式对待翻译的第三数据进行翻译。
一种机器翻译方法、装置及系统
技术领域
[0001] 本公开涉及机器翻译领域，尤其涉及一种机器翻译方法、装置及系统。
背景技术
[0002] 随着机器翻译技术的迅速发展，越来越多的翻译系统是基于机器翻译模型实现的。其中，基于神经网络的机器翻译系统对数据要求比较高，需要大量的平行语料来训练模型，并且要保证这些数据的正确性，否则就会导致得到的模型出现各种各样的问题。
[0003] 其中，多翻问题一直以来都是机器翻译中存在的问题，无论是词语、短语或者句子都存在或多或少的多翻问题。例如，翻译模型翻译词语或者短语时，翻译的结果可能是一个词或短语重复了多次。在这种情况下，即使翻译的结果词是正确的词，但重复翻译会导致翻译系统的不专业性问题。比如“hello”翻译成“你好，你好呀，你好”。
[0004] 多翻问题更多出现在对词语和短语翻译的情况下，因为在句子翻译的情况下，翻译模型能获得更多的信息，这样就不容易出现多翻问题。但在词语或者短语翻译的情况下，由于输入的信息特别少，翻译模型更容易出现多翻问题。发明内容
[0005] 为克服相关技术中存在的问题，本公开提供一种机器翻译方法、装置及系统，以克服使用机器翻译模型翻译时的多翻问题。
[0006] 根据本公开实施例的第一方面，提供一种机器翻译方法，用于将第一语言内容翻译为第二语言内容，包括：
[0007] 获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
[0008] 基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
[0009] 通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0010] 其中，所述第一数据与所述第二数据是通过预定标识区分的，所述第二数据添加有预定标识；
[0011] 在所述通过所述第二翻译模式对待翻译的第三数据进行翻译之前，所述方法还包括：
[0012] 获取待翻译的第四数据；
[0013] 在所述第四数据中检测预定标识；
[0014] 响应于检测到所述预定标识，将所述第四数据确定为所述第三数据。
[0015] 其中，所述方法还包括：
[0016] 获取所述第四数据包含的词语个数；
[0017] 若所述个数小于或等于第一预定个数，则为所述第四数据添加所述预定标识。
[0018] 其中，所述第一数据与所述第二数据是通过包含的词语个数区分的，所述第二数据包含的词语个数小于或等于第二预定个数；
[0019] 在所述通过所述第二翻译模式对待翻译的第三数据进行翻译之前，所述方法还包括：
[0020] 获取待翻译的第五数据；
[0021] 若所述第五数据包含的词语个数小于或等于所述第二预定个数，则将所述第五数据确定为所述第三数据。
[0022] 其中，所述获取待训练的第一数据和除所述第一数据外的第二数据，包括：
[0023] 获取词典短语平行语料数据和翻译资源数据；
[0024] 根据爬取词典数据的方法，从所述词典短语平行语料数据和所述翻译资源数据中获取词典数据；
[0025] 其中，所述第二数据包括所述词典数据。
[0026] 根据本公开实施例的第二方面，提供一种机器翻译装置，用于将第一语言内容翻译为第二语言内容，包括：
[0027] 第一获取模块，被设置为获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
[0028] 训练模块，被设置为基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
[0029] 翻译模块，被设置为通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0030] 其中，所述第一数据与所述第二数据是通过预定标识区分的，所述第二数据添加有预定标识；
[0031] 所述装置还包括：
[0032] 第二获取模块，被设置为在所述翻译模块通过所述第二翻译模式对待翻译的第三数据进行翻译之前，获取待翻译的第四数据；
[0033] 第一数据确定模块，被设置为在所述第四数据中检测预定标识；以及响应于检测到所述预定标识，将所述第四数据确定为所述第三数据。
[0034] 其中，所述装置还包括：
[0035] 标识符添加模块，被设置为获取所述第四数据包含的词语个数；若所述个数小于或等于第一预定个数，则为所述第四数据添加所述预定标识。
[0036] 其中，所述第一数据与所述第二数据是通过包含的词语个数区分的，所述第二数据包含的词语个数小于或等于第二预定个数；
[0037] 所述装置还包括：
[0038] 第三获取模块，被设置为在所述翻译模块通过所述第二翻译模式对待翻译的第三数据进行翻译之前，获取待翻译的第五数据；
[0039] 第二数据确定模块，被设置为若所述第五数据包含的词语个数小于或等于所述第二预定个数，则将所述第五数据确定为所述第三数据。
[0040] 其中，所述第一获取模块还被设置为：
[0041] 获取词典短语平行语料数据和翻译资源数据；
[0042] 根据爬取词典数据的方法，从所述词典短语平行语料数据和所述翻译资源数据中获取词典数据；
[0043] 其中，所述第二数据包括所述词典数据。
[0044] 根据本公开实施例的第三方面，提供一种机器翻译装置，包括：
[0045] 处理器；
[0046] 用于存储处理器可执行指令的存储器；
[0047] 其中，所述处理器被配置为：
[0048] 获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
[0049] 基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
[0050] 通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0051] 根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种机器翻译方法，所述方法包括：
[0052] 获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
[0053] 基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
[0054] 通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0055] 本公开的实施例通过在原始语料中加入较小数量的语言准确性较高的数据集合，对机器翻译模型进行训练，就能在较大程度上克服多翻问题，提升翻译质量，而无需花费大量的经济成本和人工成本。
[0058] 图1是根据一示例性实施例示出的一种机器翻译的流程图。
[0059] 图2是根据一示例性实施例示出的获取待翻译数据并将待翻译数据确定为第三数据的流程图。
[0060] 图3是根据一示例性实施例示出的对数据添加标识符的示意图。
[0061] 图4是根据一示例性实施例示出的为待翻译数据添加预定标识的流程图。
[0062] 图5是根据一示例性实施例示出的获取待翻译数据并将待翻译数据确定为第三数据的流程图。
[0063] 图6是根据一示例性实施例示出的获取待训练的第一数据和除所述第一数据外的第二数据的流程图。
[0064] 图7是根据一示例性实施例示出的一种机器翻译的流程图。
[0065] 图8是根据一示例性实施例示出的一种机器翻译装置的框图。
[0066] 图9是根据一示例性实施例示出的一种装置的框图。
[0067] 图10是根据一示例性实施例示出的一种装置的框图。
具体实施方式
[0068] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0069] 多翻问题一直以来都是机器翻译中存在的问题，无论是词语、短语或者句子都存在或多或少的多翻问题。但是，多翻问题更多出现在对词语和短语翻译的情况下，因为在句子翻译的情况下，翻译模型能获得更多的信息，这样就不容易出现多翻问题。但在词语或者短语翻译的情况下，由于输入的信息特别少，翻译模型更容易出现多翻问题。
[0070] 在神经机器翻译领域数据是至关重要的，数据质量对模型效果往往起决定性作用，数据质量不好的话模型效果往往就不好。因此，通过购买数据的方法能够一定程度上解决翻译模型出现的多翻问题。
[0071] 另外，在已有的数据上进行清洗，即通过一些人工规则把目标端(被翻译成的目标语言)包含重复词语的数据进行清洗过滤来解决多翻问题。因为机器翻译出现的问题大多与训练数据有关，多翻问题往往是训练数据就已经包含这种重复的数据造成的。因此，通过清洗数据也是一种解决多翻问题的方法。
[0072] 因此，可以通过购买大量高质量的数据或者在已有的数据上进行清洗的方法来提升机器翻译模型的训练质量，来尽量克服多翻问题。
[0073] 但是，购买大量高质量语料数据的方法解决多翻问题虽然简单有效，但这个方法带来的成本开销是很大的，数据本身的价值就很高，而且很多公司对数据都是保密的，所以这种方法不是一个很好的解决多翻问题的方法。而且这个方法会造成数据浪费，使用这个方法的话已有的数据就不能使用了，因为如果把已有的数据加入到购买的数据中训练的话同样会存在多翻问题。只有在购买的数据上训练新的模型才有可能不会出现多翻问题，购买的数据质量决定了模型能够达到的上限。
[0074] 通过清洗数据的方法来解决多翻问题存在人工成本高，结果不稳定的问题。这种方法特别考验数据清洗人员的能力，因为如果删除了比较好的数据就会使模型变得更差，只能够删除那些引起多翻问题的数据。但实践表明，这种方法实际应用起来是非常困难的，因为清洗数据之后还需要验证清洗之后的模型效果，这种方法带来的成本开销是非常大的，解决问题的时间开销非常长，而且往往得到的结果也不稳定。
[0075] 本公开针对机器翻译中常见的多翻问题，提出了一种机器翻译方法。本方法通过在机器翻译模型的训练数据中增加语言准确性较高的数据集合来提升机器翻译模型的翻译能力，减少多翻问题的出现。这里的数据集合包括第一语言(待翻译的语言)的语句与对应的第二语言(翻译成的语言)的语句。采用本公开的方法，不需要额外购买大量语料，不需要对原始数据进行清洗，减少了购买语料的成本以及人工清洗数据的成本。
[0076] 图1是根据一示例性实施例示出的一种机器翻译方法的流程图，用于将第一语言内容翻译为第二语言内容，如图1所示，该方法包括以下步骤：
[0077] 步骤101，获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
[0078] 步骤102，基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
[0079] 步骤103，通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0080] 步骤101中的训练数据包括第一数据和第二数据，其与现有技术中使用的训练数据是不同的。本方法中训练机器翻译模型所使用的训练数据包括语言准确性较高的第二数据。这里语言准确性较高的第二数据可以来源于多种渠道，例如，各词典(包括纸质词典、网络词典和电子词典)中收录的翻译数据，各种资料或文献(包括纸质资料或文献、电子资料或文献、网络上发布的资料或文献)中涵盖的翻译数据。只要这些翻译数据是正确无误的，就可以将这些翻译数据包含在第二数据中，即包含在训练数据中。
[0081] 需要说明的是，由上述可知，第二数据是包含非常准确的一种语言内容及其相应的另一种语言内容的数据集合。第二数据不同于原始语料，也不同于购买的数据，这是因为，第二数据的语言准确程度要远高于原始语料，甚至购买的数据。因此，在本方法中在训练数据中加入第二数据来训练机器翻译模型，可以在很大程度上降低多翻问题发生的比例。
[0082] 第二数据中包括的翻译语句的数量大于设定阈值即可，例如该设定阈值为1000。这些翻译语句的选取是随机的，当然也可以选取训练数据中高频出现的语句。
[0083] 另外，在从词典中选择单词或短语时，可能会有一个英文内容对应多种中文内容的情况，例如一个英文单词对应多个中文释义。在这种情况下，一般根据业务场景来选择概率最大的中文释义作为该英文对应的中文意思。
[0084] 例如，在一个具体实施例中，在原始语料里加入1000条来自于词典的短语平行数据。可以通过电子词典获取这1000条数据，也可以进一步由人工对这1000条数据进行标注审核，以保证这些数据的正确性。
[0085] 步骤102中，基于第一数据和第二数据训练机器翻译模型，机器翻译模型可以有两种翻译模式：第一翻译模式和第二翻译模式。第二翻译模式也可以称为字典翻译模式，由于在训练数据中加入了语言准确性较高的第二数据进行训练，因此其翻译的准确性也较高，可以较好地避免多翻问题。测试表明，采用第二翻译模式时，可以将多翻发生概率降低到1％以下。第一翻译模式则是常规的翻译模式，较难避免多翻问题的发生。
[0086] 基于训练数据进行训练的机器翻译模型基本上采用常规的机器翻译模型即可，因此对于机器翻译模型的工作原理不再赘述。
[0087] 采用本发明的方法，只需要在原始语料中加入较小数量的语言准确性较高的数据，对机器翻译模型进行训练，就能在较大程度上克服多翻问题，提升翻译质量，而无需花费大量的经济成本和人工成本。
[0088] 这里的第一语言是待翻译的语言，第二语言是想要翻译成的目标语言。
[0089] 作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器翻译方法。参照图2所示，图2为获取待翻译数据并将待翻译数据确定为第三数据的流程图。如图2所示，图1所示的方法在所述通过所述第二翻译模式对待翻译的第三数据进行翻译之前，还包括：
[0090] 步骤201，获取待翻译的第四数据；
[0091] 步骤202，在所述第四数据中检测预定标识；
[0092] 步骤203，响应于检测到所述预定标识，将所述第四数据确定为所述第三数据。
[0093] 其中，所述第一数据与所述第二数据是通过预定标识区分的，所述第二数据添加有预定标识。
[0094] 以预定标识区分第一数据与第二数据，这样，机器翻译模型在训练时，就能够得知这个第一语言词句以及对应的第二语言词句是非常准确的翻译(没有多翻问题)，从而通过机器翻译模型的泛化能力来学习并强化这种准确翻译的能力。本领域技术人员熟知的是，这里的泛化能力是机器学习模型特有的能力，因此在此不再赘述。
[0095] 因此，在将第二数据与第一数据(原始语料)合并以生成训练数据前，对第二数据进行处理，即添加预定标识，以便将这些语言准确性较高的翻译数据加入训练数据后，机器翻译模型能够识别出训练数据中的这些语言准确性较高的翻译数据。从而通过机器翻译模型的泛化能力来强化其准确翻译的能力。
[0096] 这里的预定标识用来标记训练数据中语言准确性较高的数据，因此预定标识不能与训练数据中各数据相同。因为，如果相同，则在进行训练时，机器翻译模型无法将预定标识与实际的训练数据相区分。例如，预定标识可以为“$word”。那么，以将英语翻译为汉语为例，在对第二数据中的第一语言语句添加标识符前后的数据变化如图3所示。图3中是将预定标识添加在第一语言语句前面，也可以根据需要将预定标识添加在第一语言语句的其它位置，只要预定标识的添加能够被机器翻译模型识别即可。
[0097] 图3中，第二数据从左边的形式变为右边的形式，其唯一的变化就是在英文端的最前面加了一个”$word”的标记，标记此条数据为准确的翻译数据。在此基础上，把处理好的这些准确数据与第一数据(原始语料)进行合并，得到最终的训练数据。将此最终的训练数据在机器翻译模型上进行训练，利用机器翻译模型的泛化能力，就可以克服机器翻译模型的多翻问题。
[0098] 需要注意的是，在对源端(即第一语言)进行处理时不能把“$word”中的“$”和“word”分开。因为如果分开，“word”就可能与训练数据中的第一语言语句相同，从而带来额外的语义，影响翻译效果。
[0099] 这里举例的预定标识“$word”只是一种示例，也可以采用其它形式的预定标识，只要满足上述的预定标识选取规则即可。
[0100] 在对待翻译数据进行翻译时，若在待翻译数据中检测的预定标识，则将待翻译数据确定为第三数据，即确定为采用可克服多翻问题的第二翻译模式进行翻译。
[0101] 作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器翻译方法。参照图4所示，图4是为待翻译数据添加预定标识的流程图。如图4所示，图1所示的方法还包括：
[0102] 步骤401，获取所述第四数据包含的词语个数；
[0103] 步骤402，若所述个数小于或等于第一预定个数，则为所述第四数据添加所述预定标识。
[0104] 在使用训练好的机器翻译模型进行翻译时，可以对待翻译的第一语言内容添加预定标识，该预定标识与训练机器翻译模型时在第二数据上添加的预定标识相同，用于机器翻译模型识别为采用克服多翻问题的第二翻译模式进行翻译。
[0105] 需要说明的是，在句子翻译的情况下，翻译模型能获得更多的信息，这样就不容易出现多翻问题，而多翻问题更多出现在对词语和短语翻译的情况下。因此，为了提高机器翻译模型的训练效率和翻译效率，在训练时，第二数据一般选用词语或短语，在翻译时，一般仅当待翻译内容为词语或短语时，采用克服多翻问题的第二翻译模式进行翻译。
[0106] 此种情况下，在翻译时，对待翻译第一语言内容的长度进行判断，若待翻译第一语言内容的词语个数小于等于第一预定个数(一般为3，因为小于等于3个词语个数时就可以覆盖大部分的词语和短语)，即确定待翻译第一语言内容为词语或短语，则机器翻译模型采用克服多翻问题的第二翻译模式进行翻译。若待第一语言翻译内容的单词个数大于3，则确定待翻译第一语言内容为句子，则机器翻译模型采用普通的第一翻译模式进行翻译。
[0107] 需要说明的是，为了保证翻译质量，也可以训练时在第二数据中加入句子，并且在翻译时，对句子采用克服多翻问题的第二翻译模式。
[0108] 作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器翻译方法。参照图5所示，图5是获取待翻译数据并将待翻译数据确定为第三数据的流程图。如图5所示，图1所示的方法在所述通过所述第二翻译模式对待翻译的第三数据进行翻译之前，还包括：
[0109] 步骤501，获取待翻译的第五数据；
[0110] 步骤502，若所述第五数据包含的词语个数小于或等于所述第二预定个数，则将所述第五数据确定为所述第三数据；
[0111] 其中，所述第一数据与所述第二数据是通过包含的词语个数区分的，所述第二数据包含的词语个数小于或等于第二预定个数。
[0112] 在该实施方式中，并不是在将第二数据加入训练数据前，对第二数据添加预定标识以便机器翻译模型能够识别第二数据，而是在将第二数据与第一数据(原始语料)混合之后，由机器翻译模型确定训练数据中哪些数据是语言准确性较高的数据，哪些数据来自于原始语料。并由机器翻译模型的设定数据输入端口接收筛选出来的语言准确性较高的数据，即第二数据，以便机器翻译模型在训练过程中识别所述语言准确性较高的数据。
[0113] 例如，可以对训练数据中第一语言内容的长度进行判断，若第一语言内容的词语个数小于等于第二预定个数(一般为3，因为小于等于3个词语个数时就可以覆盖大部分的词语和短语)，即确定该第一语言内容为词语或短语，即为语言准确性较高的第二数据。
[0114] 此种方法替代了在第二数据中添加预定标识的方法。需要说明的是，此种方法中，虽然机器翻译模型基于第一语言内容的长度筛选第二数据时，可能误将原始语料中的数据判断为第二数据，但是由于机器翻译模型的泛化能力，同样也可以实现克服多翻问题的目的。
[0115] 因此，在翻译时，对待翻译第一语言内容的长度进行判断，若待翻译第一语言内容的单词个数小于等于第二预定个数(一般为3，因为小于等于3个词语个数时就可以覆盖大部分的词语和短语)，即确定待翻译第一语言内容为词语或短语，则机器翻译模型采用克服多翻问题的第二翻译模式进行翻译。假如待翻译第一语言内容长度大于第二预定个数，则可以通过第一翻译模式进行翻译。
[0116] 因此，在该实施方式中，一般适用于采用克服多翻问题的第二翻译模式翻译词语或短语。而上面描述的实施方式也可以适用于采用克服多翻问题的第二翻译模式翻译句子，只是翻译句子时，较不易出现多翻问题，因此一般不需要对句子采用克服多翻问题的第二翻译模式。
[0117] 在可选实施方式中，所述第二数据包括第一语言语句与对应的第二语言语句。
[0118] 这里的第一语言是待翻译的语言，第二语言是想要翻译成的目标语言。即，将第一语言翻译为第二语言。第一语言可以是任何语言，例如汉语、英语、法语、德语等；第二语言可以是任何语言，例如英语、汉语、德语、法语等。需要说明的是，第一语言与第二语言一般是不同的语言，如果相同就无需进行翻译了。
[0119] 本公开的方法适用于将任何一种语言翻译为另外一种语言。
[0120] 作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器翻译方法。参照图6所示，图6是获取待训练的第一数据和除所述第一数据外的第二数据的流程图。如图6所示，图1所示的步骤获取待训练的第一数据和除所述第一数据外的第二数据包括：
[0121] 步骤601，获取词典短语平行语料数据和翻译资源数据；
[0122] 步骤602，根据爬取词典数据的方法，从所述词典短语平行语料数据和所述翻译资源数据中获取词典数据；
[0123] 其中，所述第二数据包括所述词典数据。
[0124] 步骤602中的爬取词典数据的方法包括爬取网上的翻译资源数据，和在词典短语平行语料中抽取数据，通过这些方法来获取词典数据。
[0125] 图7示出了根据本公开的机器翻译方法的具体实施例。其中，第一语言为英语，第二语言为汉语，第二数据中的翻译数据来自于英汉词典，因此在该实施例中，将第二数据称为词典数据集合。此外，该实施例中的机器翻译模型采用基于神经网络的机器翻译模型。如图3所示，该具体实施例包括以下步骤：
[0126] 步骤701，从英汉词典中随机选取1000个单词或短语及其对应的中文释义。
[0127] 步骤702，对选取的每个单词或短语添加标识符“$word”，如图2所示。
[0128] 步骤703，将添加标识符的词典数据集合与原始语料相混合，形成训练数据。
[0129] 步骤704，将训练数据输入机器翻译模型中进行训练。
[0130] 步骤705，翻译时，判断待翻译的英文内容所包含的单词个数是否小于等于3。
[0131] 步骤706，当包含的单词个数小于等于3时，确定待翻译的英文内容为词语或短语，则在待翻译的英文内容前添加标识符“$word”。
[0132] 步骤707，将添加标识符“$word”的英文内容输入机器翻译模型，由机器翻译模型采用克服多翻问题的第二翻译模式进行翻译。
[0133] 相对于普通的机器翻译模型，本公开的方法中具备克服多翻问题的翻译模式的机器翻译模型的损失函数包含两部分，如下所示：
[0134]
[0135] 其中，s表示英文端，t表示中文端，p(ti|si)表示将英文内容翻译为中文内容正确的概率，p(tj|sj,$word)表示在对来自词典的训练数据添加标识符时将英文内容翻译为中文内容正确的概率，log表示求对数，N表示训练数据中非来自于词典的数据个数，1000表示训练数据中来自于词典的数据个数，i和j均为参数。
[0136] 当采用常规训练数据进行训练后，机器翻译模型翻译词语或短语的多翻概率大约为30％以上。而采用本公开的方法对相同的机器翻译模型进行训练后，能将词语或短语的多翻概率降低到1％以下，大大降低了多翻问题的出现概率，提高了翻译质量。
[0137] 本公开还提供了一种机器翻译装置，用于将第一语言内容翻译为第二语言内容，如图8所示，该装置包括：
[0138] 第一获取模块801，被设置为获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；
[0139] 训练模块802，被设置为基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；
[0140] 翻译模块803，被设置为通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0141] 在可选实施方式中，所述第一数据与所述第二数据是通过预定标识区分的，所述第二数据添加有预定标识；
[0142] 所述装置还包括：
[0143] 第二获取模块，被设置为在所述翻译模块通过所述第二翻译模式对待翻译的第三数据进行翻译之前，获取待翻译的第四数据；
[0144] 第一数据确定模块，被设置为在所述第四数据中检测预定标识；以及响应于检测到所述预定标识，将所述第四数据确定为所述第三数据。
[0145] 在可选实施方式中，所述装置还包括：
[0146] 标识符添加模块，被设置为获取所述第四数据包含的词语个数；若所述个数小于或等于第一预定个数，则为所述第四数据添加所述预定标识。
[0147] 在可选实施方式中，所述第一数据与所述第二数据是通过包含的词语个数区分的，所述第二数据包含的词语个数小于或等于第二预定个数；
[0148] 所述装置还包括：
[0149] 第三获取模块，被设置为在所述翻译模块通过所述第二翻译模式对待翻译的第三数据进行翻译之前，获取待翻译的第五数据；
[0150] 第二数据确定模块，被设置为若所述第五数据包含的词语个数小于或等于所述第二预定个数，则将所述第五数据确定为所述第三数据。
[0151] 在可选实施方式中，所述第一获取模块还被设置为：
[0152] 获取词典短语平行语料数据和翻译资源数据；
[0153] 根据爬取词典数据的方法，从所述词典短语平行语料数据和所述翻译资源数据中获取词典数据；
[0154] 其中，所述第二数据包括所述词典数据。
[0155] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0156] 本公开的实施例通过在原始语料中加入较小数量的确定正确的数据集合，对机器翻译模型进行训练，就能在较大程度上克服多翻问题，提升翻译质量，而无需花费大量的经济成本和人工成本。
[0157] 图9是根据一示例性实施例示出的一种用于机器翻译装置900的框图。例如，装置900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0158] 参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电力组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
[0159] 处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
[0160] 存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
[0161] 电力组件906为装置900的各种组件提供电力。电力组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。
[0162] 多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0163] 音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
[0165] 传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0166] 通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。
在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
[0167] 在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0168] 在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
[0169] 一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种机器翻译方法，所述方法包括：获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0170] 图10是根据一示例性实施例示出的一种用于机器翻译装置1000的框图。例如，装置1000可以被提供为一服务器。参照图10，装置1000包括处理组件1022，其进一步包括一个或多个处理器，以及由存储器1032所代表的存储器资源，用于存储可由处理组件1022的执行的指令，例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1022被配置为执行指令，以执行上述方法：获取待训练的第一数据和除所述第一数据外的第二数据，所述第二数据的语言准确性高于第一数据的准确性；基于所述第一数据和所述第二数据，训练机器翻译模型，所述机器翻译模型包括：与所述第一数据对应的第一翻译模式，与所述第二数据对应的第二翻译模式；通过所述第二翻译模式对待翻译的第三数据进行翻译。
[0171] 装置1000还可以包括一个电源组件1026被配置为执行装置1000的电源管理，一个有线或无线网络接口1050被配置为将装置1000连接到网络，和一个输入输出(I/O)接口1058。装置1000可以操作基于存储在存储器1032的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
[0172] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于专利数据的半自动化翻译双语模板的构建方法及系统 | 2020-05-12 | 326 |
| 一种多源神经机器翻译模型的融合和压缩方法 | 2020-05-13 | 764 |
| 跨语言事件分类方法及装置 | 2020-05-08 | 128 |
| 语句诊断方法、装置和系统 | 2020-05-11 | 912 |
| 基于机器学习的翻译方法、装置、设备及存储介质 | 2020-05-12 | 962 |
| 基于弱监督技术主动学习的智能标注方法、装置及平台 | 2020-05-08 | 818 |
| 依存关系对齐组件、依存关系对齐训练方法、设备及介质 | 2020-05-11 | 293 |
| 一种自动化更新的词法分析系统 | 2020-05-11 | 405 |
| 留学文书智能自动创作系统 | 2020-05-08 | 885 |
| 语音合成方法、装置、电子设备及存储介质 | 2020-05-13 | 521 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
机器翻译热门专利
QQ群二维码
意见反馈
意见反馈