一种附图翻译方法、装置及存储介质
阅读：427发布：2020-05-11
专利汇可以提供一种附图翻译方法、装置及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种 附图 翻译方法、装置及存储介质，其中，方法包括：建立附图参数与待翻译字符的对应关系，对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符，基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系，基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元，本发明能够提高附图翻译效率，节约人 力 成本，满足大批量翻译要求，同时保证文本和附图翻译的一致性，提高阅读体验。，下面是一种附图翻译方法、装置及存储介质专利的具体信息内容。
1.一种附图翻译方法，其特征在于，包括：
建立附图参数与待翻译字符的对应关系，其中，所述附图参数包括待翻译字符在对应附图中的字符图元和所述字符图元在对应附图中的图元位置信息，所述待翻译字符为从所述附图中识别出的需要翻译的字符；
对待翻译文本中与所述待翻译字符相同的字符进行翻译，得到对应的翻译字符；
基于附图参数与待翻译字符的对应关系，建立所述翻译字符与所述附图参数的对应关系；
基于所述翻译字符与所述附图参数的对应关系，将所述字符图元替换为包含所述翻译字符的译文图元。
2.根据权利要求1所述的附图翻译方法，其特征在于，所述建立附图参数与待翻译字符的对应关系，包括：
确定包含待翻译字符的字符图元；
提取所述字符图元及所述图元位置信息，生成第一数据集，其中，所述第一数据集包括所述字符图元及所述图元位置信息的对应关系；
对所述第一数据集中的字符图元进行字符识别，识别出待翻译字符；
基于所述第一数据集和识别出的待翻译字符，生成第二数据集，其中，所述第二数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
3.根据权利要求2所述的附图翻译方法，其特征在于，在所述生成第一数据集之后，还包括：
基于所述第一数据集，将所述字符图元在附图中进行区别显示；
基于人员对所述字符图元位置的调整操作，更新所述第一数据集中需调整的字符图元及对应的图元位置信息。
4.根据权利要求3所述的附图翻译方法，其特征在于，还包括：
突出显示所述字符图元之外的待选附图区域；
将人员从所述待选附图区域选定的字符图元及对应的图元位置信息添加至所述第一数据集中。
5.根据权利要求4所述的附图翻译方法，其特征在于，还包括：
基于所述第二数据集，生成可视化列表，其中，所述可视化列表包括图元栏和可编辑的识别信息栏，所述图元栏列有字符图元，所述识别信息栏列有对应于所述字符图元的待翻译字符；
基于对所述识别信息栏编辑后的可视化列表以及所述第二数据集，生成第三数据集，其中，所述第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
6.根据权利要求5所述的附图翻译方法，其特征在于，所述基于所述第二数据集，生成可视化列表，包括：
基于所述第二数据集中的字符图元和待翻译字符，生成所述图元栏和所述识别信息栏；
基于所述第二数据集中的图元位置信息，确定各所述字符图元在附图中的位置；
按照设定的所述字符图元的位置顺序，在所述图元栏和所述识别信息栏顺序列出所述字符图元和所述待翻译字符。
7.根据权利要求5所述的附图翻译方法，其特征在于，所述可视化列表还包括确认栏，以确认所述识别信息栏中的待翻译字符是否正确。
8.根据权利要求5所述的附图翻译方法，其特征在于，所述可视化列表还包括可呼出的推荐信息栏，所述推荐信息栏列有与所述待翻译字符相匹配的推荐字符，所述推荐字符通过所述待翻译文本获取。
9.根据权利要求4所述的附图翻译方法，其特征在于，还包括：
基于所述第二数据集，以不遮挡所述字符图元的方式在所述字符图元附近生成可编辑的文本框，其中，所述文本框中显示有对应于所述字符图元的待翻译字符；
基于编辑后所述文本框以及所述第二数据集，生成第三数据集，其中，所述第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
10.根据权利要求2所述的附图翻译方法，其特征在于，所述确定包含待翻译字符的字符图元，包括：
基于ORB算法定位附图中出现的所有文字内容；
将预设间距的连续字符视为待翻译字符；
截取包含所述待翻译字符的矩形图元作为字符图元。
11.根据权利要求2所述的附图翻译方法，其特征在于，所述附图为专利文件的说明书附图，所述附图翻译方法还包括：
提取待翻译说明书中的附图标记；
以所述附图标记的字符为特征，在确定包含待翻译字符的字符图元时，排除包含所述附图标记的字符的字符图元。
12.根据权利要求1所述的附图翻译方法，其特征在于，所述将所述字符图元替换为包含所述翻译字符的译文图元，包括：
对所述字符图元进行背景色填充；
将所述翻译字符以预设大小及字体显示在所述字符图元中。
13.根据权利要求1所述的附图翻译方法，其特征在于，还包括：
当所述待翻译文本中检索不到与所述待翻译字符相同的字符时，采用分词算法提取所述待翻译字符中的专业术语；
基于所述专业术语对所述待翻译文本进行检索匹配；
若在所述待翻译文本中检索匹配到相同的专业术语，则将所述待翻译文本中与所述专业术语对应的字符，和所述待翻译字符建立关联。
14.一种附图翻译装置，其特征在于，包括：
第一关系建立单元，用于建立附图参数与待翻译字符的对应关系，其中，所述附图参数包括待翻译字符在对应附图中的字符图元和所述字符图元在对应附图中的图元位置信息，所述待翻译字符为从所述附图中识别出的需要翻译的字符；
翻译单元，用于对待翻译文本中与所述待翻译字符相同的字符进行翻译，得到对应的翻译字符；
第二关系建立单元，用于基于附图参数与待翻译字符的对应关系，建立所述翻译字符与所述附图参数的对应关系；
显示单元，用于基于所述翻译字符与所述附图参数的对应关系，将所述字符图元替换为包含所述翻译字符的译文图元。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-13中任一所述的附图翻译方法。
一种附图翻译方法、装置及存储介质
技术领域
背景技术
[0002] 在翻译领域，如果待翻译的文献带有附图，且附图中带有文字，为了提高阅读体验，通常需要分别对文本部分和附图部分的文字分别翻译。
[0003] 对附图中的文字翻译是一大难题，目前通常采用的方法是，由翻译人员将附图中的文字和其对应的翻译内容制作成表格，再由图片处理人员另行对图片进行处理，将翻译内容添加到附图中相应的位置。
[0004] 现有的附图翻译方法翻译效率低，且耗费大量人力成本，无法满足大批量翻译的要求，此外，文本和附图分开翻译，难以保证两者的一致性，影响阅读体验。
发明内容
[0005] 本发明提供一种附图翻译方法、装置及存储介质，以提高附图翻译效率，节约人力成本，满足大批量翻译要求，同时保证文本和附图翻译的一致性，提高阅读体验。
[0006] 第一方面，本发明实施例提供了一种附图翻译方法，包括：
[0007] 建立附图参数与待翻译字符的对应关系，其中，附图参数包括待翻译字符在对应附图中的字符图元和字符图元在对应附图中的图元位置信息，待翻译字符为从附图中识别出的需要翻译的字符；
[0008] 对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符；
[0009] 基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系；
[0010] 基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元。
[0011] 可选的，建立附图参数与待翻译字符的对应关系，包括：
[0012] 确定包含待翻译字符的字符图元；
[0013] 提取字符图元及图元位置信息，生成第一数据集，其中，第一数据集包括字符图元及图元位置信息的对应关系；
[0014] 对第一数据集中的字符图元进行字符识别，识别出待翻译字符；
[0015] 基于第一数据集和识别出的待翻译字符，生成第二数据集，其中，第二数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
[0016] 可选的，在生成第一数据集之后，还包括：
[0017] 基于第一数据集，将字符图元在附图中进行区别显示；
[0018] 基于人员对字符图元位置的调整操作，更新第一数据集中需调整的字符图元及对应的图元位置信息。
[0019] 可选的，在生成第一数据集之后，还包括：
[0020] 突出显示字符图元之外的待选附图区域；
[0022] 可选的，该方法还包括：
[0023] 基于第二数据集，生成可视化列表，其中，可视化列表包括图元栏和可编辑的识别信息栏，图元栏列有字符图元，识别信息栏列有对应于字符图元的待翻译字符；
[0024] 基于对识别信息栏编辑后的可视化列表以及所述第二数据集，生成第三数据集，其中，第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
[0025] 可选的，基于第二数据集，生成可视化列表，包括：
[0026] 基于第二数据集中的字符图元和待翻译字符，生成图元栏和识别信息栏；
[0027] 基于第二数据集中的图元位置信息，确定各字符图元在附图中的位置；
[0028] 按照设定的字符图元的位置顺序，在图元栏和识别信息栏顺序列出字符图元和待翻译字符。
[0029] 可选的，可视化列表还包括确认栏，以确认识别信息栏中的待翻译字符是否正确。
[0030] 可选的，可视化列表还包括可呼出的推荐信息栏，推荐信息栏列有与待翻译字符相匹配的推荐字符，推荐字符通过待翻译文本获取。
[0031] 可选的，该方法还包括：
[0032] 基于第二数据集，以不遮挡字符图元的方式在字符图元附近生成可编辑的文本框，其中，文本框中显示有对应于字符图元的待翻译字符；
[0033] 基于编辑后文本框以及第二数据集，生成第三数据集，其中，第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
[0034] 可选的，确定包含待翻译字符的字符图元，包括：
[0036] 将预设间距的连续字符视为待翻译字符；
[0037] 截取包含待翻译字符的矩形图元作为字符图元。
[0039] 提取待翻译说明书中的附图标记；
[0040] 以附图标记的字符为特征，在确定包含待翻译字符的字符图元时，排除包含附图标记的字符的字符图元。
[0041] 可选的，将字符图元替换为包含翻译字符的译文图元，包括：
[0042] 对字符图元进行背景色填充；
[0043] 将翻译字符以预设大小及字体显示在字符图元中。
[0044] 可选的，该方法还包括：
[0045] 当待翻译文本中检索不到与待翻译字符相同的字符时，采用分词算法提取待翻译字符中的专业术语；
[0046] 基于专业术语对待翻译文本进行检索匹配；
[0047] 若在待翻译文本中检索匹配到相同的专业术语，则将待翻译文本中与专业术语对应的字符，和待翻译字符建立关联。
[0048] 第二方面，本发明实施例还提供了一种附图翻译装置，包括：
[0049] 第一关系建立单元，用于建立附图参数与待翻译字符的对应关系，其中，附图参数包括待翻译字符在对应附图中的字符图元和字符图元在对应附图中的图元位置信息，待翻译字符为从附图中识别出的需要翻译的字符；
[0050] 翻译单元，用于对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符；
[0051] 第二关系建立单元，用于基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系；
[0052] 显示单元，用于基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元。
[0053] 第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面任意所述的附图翻译方法。
[0054] 本发明实施例通过建立附图参数与待翻译字符的对应关系，对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符，基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系，并基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元，提高了附图翻译效率，节约人力成本，满足大批量翻译要求，同时保证文本和附图翻译的一致性，提高阅读体验。
附图说明
[0055] 图1为本发明实施例提供的一种附图翻译方法的流程图；
[0056] 图2为本发明实施例中一待翻译的附图；
[0057] 图3为对图2线框A内的待翻译字符翻译后的示意图；
[0058] 图4为本发明实施例提供的另一种附图翻译方法的流程图；
[0059] 图5为本发明实施例中一种可视化列表的示意图；
[0060] 图6为图5中待翻译字符3的推荐信息栏被呼出后的示意图；
[0061] 图7为本发明实施例提供的一种附图翻译装置的结构示意图；
[0062] 图8为本发明实施例中第一关系建立单元的结构示意图。
具体实施方式
[0063] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0064] 本发明实施例提供了一种附图翻译方法，适用于对包含有附图的外文文献的附图翻译，图1为本发明实施例提供的一种附图翻译方法的流程图，如图1所示，该附图翻译方法具体包括如下步骤：
[0065] S110、建立附图参数与待翻译字符的对应关系。
[0066] 其中，附图参数包括待翻译字符在对应附图中的字符图元和字符图元在对应附图中的图元位置信息，待翻译字符为从附图中识别出的需要翻译的字符。图2为本发明实施例中一待翻译的附图，如图2所示，具体的，待翻译字符为附图中的词、词组、一行或多行文字，如图2中线框A框选的词组“MemoryDevice”，其不包括附图中的附图标记，如单个字符和数字。字符图元为附图中包含待翻译字符的图元，字符图元的尺寸可根据待翻译字符的尺寸进行自适应，形状可以是直角四边形，对应的附图标记包含在该直角四边形内，如图2中的线框A所示的图元。图元位置信息是指字符图元在附图中的具体位置，示例性的，可以基于附图，建立二维坐标系，根据字符图元在该坐标系中的坐标信息，确定该字符图元的图元位置信息。需要说明的是，上述确定的附图标记图元的图元位置信息的方法只是本发明的其中一实施例，事实上，只要能够用来确定附图标记图元的图元位置信息即可，本发明在此不做限定。
[0067] S120、对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符。
[0068] 具体的，待翻译文本为外文文献的文本部分，在对待翻译文本翻译的过程中，首先基于识别到的待翻译字符，从待翻译文本中检索与待翻译字符完全相同的字符，并建立对应关系，对待翻译文本全文进行翻译，得到待翻译字符对应的翻译字符。
[0069] S130、基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系。
[0070] 具体的，基于附图参数与待翻译字符的对应关系，和待翻译字符与翻译字符的对应关系，建立翻译字符与附图参数的对应关系。
[0071] S140、基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元。
[0072] 基于翻译字符与附图参数的对应关系，可以查找到翻译字符对应的待翻译字符的字符图元和该图元的位置信息，进而将附图中的字符图元替换为包含翻译字符的译文图元。图3为对图2线框A内的待翻译字符翻译后的示意图，如图3所示，包含待翻译的字符“Memory Device”的图元被包含翻译字符“存储器”的译文图元所替换。由于翻译字符是来自翻译文本中与待翻译字符对应的字符，如此，保证了翻译文本和翻译后的附图的内容一致性，提升阅读体验。
[0073] 本发明实施例通过建立附图参数与待翻译字符的对应关系，对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符，基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系，并基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元，提高了附图翻译效率，节约人力成本，满足大批量翻译要求，同时保证文本和附图翻译的一致性，提高阅读体验。
[0074] 可选的，建立附图参数与待翻译字符的对应关系，包括：
[0075] 确定包含待翻译字符的字符图元；
[0076] 提取字符图元及图元位置信息，生成第一数据集，其中，第一数据集包括字符图元及图元位置信息的对应关系；
[0077] 对第一数据集中的字符图元进行字符识别，识别出待翻译字符；
[0078] 基于第一数据集和识别出的待翻译字符，生成第二数据集，其中，第二数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
[0079] 相应的，图4为本发明实施例提供的另一种附图翻译方法的流程图，如图4所示，该方法包括：
[0080] S111、确定包含待翻译字符的字符图元。
[0081] 可选的，基于ORB(Oriented FAST and Rotated BRIEF)算法，以待翻译文献的语言字符为特征，定位附图中出现的所有文字内容，设定单个字符间的预设间距，将满足该预设间距的连续字符视为待翻译字符，截取包含待翻译字符的矩形图元作为字符图元。进一步的，若附图中存在多行待翻译字符，以行为单位，各字符图元不重叠的方式截取对应的字符图元。需要说明的是，上述附图中出现的所有文字内容进行定位，也可以采用其他算法，只要能够初步定位到图片中的待翻译内容即可，本发明并无特别限定。
[0082] 可选的，若附图为专利文件的说明书附图，那么可以首先提取待翻译说明书中的附图标记，然后，以附图标记的字符为特征，在确定包含待翻译字符的字符图元时，排除包含附图标记的字符的字符图元。以此提高确定包含待翻译字符的字符图元的效率，以及避免附图标记的干扰，提高后续中待翻译字符识别的准确性。
[0083] S112、提取字符图元及图元位置信息，生成第一数据集。
[0084] 其中，第一数据集包括字符图元及图元位置信息的对应关系。具体的，在确定包含待翻译字符的字符图元之后，将字符图元及对应的图元位置信息提取出来，并建立第一数据集，第一数据集包括字符图元及图元位置信息的对应关系。
[0085] S113、对第一数据集中的字符图元进行字符识别，识别出待翻译字符。
[0086] 可选的，从字符图元中识别待翻译字符可以采用神经网络算法，具体的，可以采用卷积神经网络(Convolutional Neural Networks，CNN)、深度残差网络(Deep Residual Learning，DRN)、视觉几何组(Visual Geometry Group，VGG)、深度学习结构(GoogLeNet)。下面，以CNN为例进行具体说明：
[0087] (1)准备训练数据集：基于历史数据，使用已核对过待翻译字符的大量的外文文献，提取该大量外文文献中的待翻译字符和对应的字符图元，作为训练数据集。
[0089] (3)训练测试：使用常用的神经网络开发构架(例如Tensorflow、Caffe、Keras、Python等)构建卷积神经网络进行训练和测试。
[0090] (4)将训练好的模型用于待翻译字符的识别，定位可能为待翻译字符的图元并识别其内容。
[0091] 采用光学字符识别(Optical Character Recognition，OCR)来识别附图中的待翻译字符，该方法难以应对图片中的大量干扰字符，仍然需要翻译人员耗费大量精力一一核对，识别准确率不高，对于准确性要求极高的翻译工作来说，辅助性并不强。本发明实施例采用神经网络算法识别附图中的待翻译字符，提高识别了识别效率和准确率。
[0092] S114、基于第一数据集和识别出的待翻译字符，生成第二数据集。
[0093] 具体的，可以是在第一数据集的基础上，添加识别出的对应的待翻译字符，生成第二数据集。其中，第二数据集包括识别出的待翻译字符、字符图元和图元位置信息的对应关系。
[0094] S120、对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符。
[0095] S130、基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系。
[0096] S140、基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元。
[0097] 可选的，在生成第一数据集之后，还包括对第一数据集的字符图元进行核对，具体包括：
[0098] 基于第一数据集，将字符图元在附图中进行区别显示。具体的，根据第一数据集中的字符图元的图元位置信息，将字符图元在附图中进行区别显示，例如，边缘高亮显示，以区别于附图的其他部分。
[0099] 在将字符图元在附图中进行区别显示之后，在附图中对第一数据集的字符图元进行核对，该核对过程可以由人工执行，当出现字符图元中包含非待翻译字符、字符图元包含的待翻译字符不完整或字符图元不包含待翻译字符等情况时，可以人工对附图中的图元位置进行调整或删除，机器基于人员对字符图元位置的调整操作，更新第一数据集中需调整的字符图元及对应的图元位置信息。
[0100] 可选的，在生成第一数据集之后，还包括对附图中字符图元以外的区域进行漏检，具体的包括：
[0101] 突出显示字符图元之外的待选附图区域，具体的，可以暗显示或隐藏显示第一数据集中的字符图元，以突出显示字符图元之外的待选附图区域。
[0102] 将人员从待选附图区域选定的字符图元及对应的图元位置信息添加至第一数据集中。具体的，在突出显示字符图元之外的待选附图区域之后，可以对待选附图区域进行漏检，当附图中存在没有被步骤S112提取到的字符图元时，人工选取包括待翻译字符的字符图元，机器将人员从待选附图区域选定的字符图元及对应的图元位置信息添加至第一数据集中。
[0103] 可选的，该方法还包括对识别出的待翻译字符进行核对，具体包括：
[0104] 基于第二数据集中的字符图元和待翻译字符，在新的窗口中生成可视化列表，可视化列表包括图元栏和可编辑的识别信息栏，图元栏列有字符图元，识别信息栏列有对应于字符图元的待翻译字符。
[0105] 基于对识别信息栏编辑后的可视化列表以及第二数据集，生成第三数据集，其中，第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。进一步的，第三数据集可作为神经网络算法的样本数据，用于训练图片识别神经网络模型，并将训练好的模型用于步骤S111确定包含待翻译字符的字符图元，和步骤S113对第一数据集中的字符图元进行字符识别，以提高机器识别的准确性。
[0106] 具体的，基于第二数据集中的图元位置信息，确定各字符图元在附图中的位置。按照设定的字符图元的位置顺序，例如，在图片中，从上到下且从左向右在图元栏和识别信息栏中顺序列出第二数据集中的字符图元和对应的待翻译字符。图5为本发明实施例中一种可视化列表的示意图，如图5所示，其中，图元栏列有包含待翻译字符的字符图元，识别信息栏列有对应于字符图元的待翻译字符，该识别信息栏为可编辑格式，在发现识别出的待翻译字符与字符图元中的字符不一致时，可对待翻译字符进行人工编辑。
[0107] 可选的，可视化列表还包括确认栏，该确认栏可以通过勾选等方式确认识别信息栏中识别出的待翻译字符无误。另外，可视化列表亦可包括序号栏，对各字符图元和对应的待翻译字符进行编号。
[0108] 可选的，可视化列表还包括可呼出的推荐信息栏，推荐信息栏列有与待翻译字符相匹配的推荐字符，推荐字符通过待翻译文本获取，具体的，该推荐字符是基于识别出的待翻译字符，在待翻译文本中检索与该待翻译字符高度相似的字符来获得。相似度匹配可以采用业界常用的方法，也可以采用双语互译质量评估辅助算法(Bilingual Evaluation Understudy，BLEU)，将多个推荐字符按评分由高到低排序，并在推荐信息栏中显示评分较高的前几个推荐字符。图6为图5中待翻译字符3的推荐信息栏被呼出后的示意图，如图5所示，推荐信息栏平时为隐藏状态，当人员发现图元栏中字符图元中的字符和识别信息栏中的待翻译字符不一致时，如图6所示，字符图元3和待翻译字符3不一致，可通过点选识别信息栏右下方的呼出标识呼出推荐信息栏，选取推荐信息栏中与字符图元中的字符一致的推荐字符，机器基于对识别信息栏编辑后的可视化列表以及第二数据集，生成第三数据集。
[0109] 可选的，在本发明另一实施例中，对识别出的待翻译字符进行核对也可采用以下方法：
[0110] 基于第二数据集中的字符图元和对应的图元位置信息，以不遮挡字符图元的方式在字符图元附近的空白区域生成可编辑的文本框，其中，文本框中显示有对应于字符图元的待翻译字符。
[0111] 人员可以对字符图元和文本框中的字符进行核对，若存在待翻译字符识别错误，可以在文本框中进行更改，机器基于编辑后文本框以及第二数据集，生成第三数据集，其中，第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
[0112] 可选的，将字符图元替换为包含翻译字符的译文图元，包括：
[0113] 基于第三数据集中字符图元及对应的图元位置信息，在附图中对字符图元进行背景色填充，根据翻译字符与附图参数的对应关系，将翻译字符以预设大小及字体显示在字符图元中。
[0114] 在本发明另一实施例中，基于第三数据集，定位字符图元中的待翻译字符的像素点，以背景色或白色填充黑色像素点而形成背景色和白色的字符图元，进而将第三数据集中的翻译字符以预先设定的大小及字体设置在该图元的适当位置。
[0115] 此外，为了附图的简洁和美观，附图中的文字经常存在省略、简化的情况，例如省略介词、定语等，进而导致在待翻译文本中检索不到与待翻译字符完全一致的字符，但是关键的名词，例如专业术语不会省略。可选的，针对该情况，本发明实施例中，当在待翻译文本中检索不到与待翻译字符相同的字符时，采用分词算法提取待翻译字符中的专业术语，基于专业术语对待翻译文本进行检索匹配，若在待翻译文本中检索匹配到相同的专业术语，则将待翻译文本中与专业术语对应的字符，和待翻译字符建立关联，在后续的翻译时，保证专业术语在文本和附图中的翻译一致性。
[0116] 本发明实施例还提供了一种附图翻译装置，图7为本发明实施例提供的一种附图翻译装置的结构示意图，如图7所示，该附图翻译装置包括：
[0117] 第一关系建立单元100，用于建立附图参数与待翻译字符的对应关系，其中，附图参数包括待翻译字符在对应附图中的字符图元和字符图元在对应附图中的图元位置信息，待翻译字符为从附图中识别出的需要翻译的字符。具体的，待翻译字符为附图中的词、词组、一行或多行文字，其不包括附图中的附图标记，如单个字符和数字。字符图元为附图中包含待翻译字符的图元，字符图元的尺寸可根据待翻译字符的尺寸进行自适应，形状可以是直角四边形，对应的附图标记包含在该直角四边形内。图元位置信息是指字符图元在附图中的具体位置，示例性的，可以基于附图，建立二维坐标系，根据字符图元在该坐标系中的坐标信息，确定该字符图元的图元位置信息。需要说明的是，上述确定的附图标记图元的图元位置信息的方法只是本发明的其中一实施例，事实上，只要能够用来确定附图标记图元的图元位置信息即可，本发明在此不做限定。
[0118] 翻译单元200，用于对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符。具体的，待翻译文本为外文文献的文本部分，在对待翻译文本翻译的过程中，首先翻译单元200中的字符检索模块201基于识别到的待翻译字符，从待翻译文本中检索与待翻译字符完全相同的字符，关联模块202建立对应关系，翻译模块203对待翻译文本全文进行翻译，得到待翻译字符对应的翻译字符。
[0119] 第二关系建立单元300，用于基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系。
[0120] 显示单元400，用于基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元。基于翻译字符与附图参数的对应关系，可以查找到翻译字符对应的待翻译字符的字符图元和该图元的位置信息，进而将附图中的字符图元替换为包含翻译字符的译文图元。由于翻译字符是来自翻译文本中与待翻译字符对应的字符，如此，保证了翻译文本和翻译后的附图的内容一致性，提升阅读体验。
[0121] 本发明实施例通过第一关系建立单元建立附图参数与待翻译字符的对应关系，翻译单元对待翻译文本中与待翻译字符相同的字符进行翻译，得到对应的翻译字符，第二关系建立单元基于附图参数与待翻译字符的对应关系，建立翻译字符与附图参数的对应关系，显示单元基于翻译字符与附图参数的对应关系，将字符图元替换为包含翻译字符的译文图元，提高了附图翻译效率，节约人力成本，满足大批量翻译要求，同时保证文本和附图翻译的一致性，提高阅读体验。
[0122] 图8为本发明实施例中第一关系建立单元的结构示意图，如图8所示，可选的，第一关系建立单元100包括字符图元确定模块101、附图参数提取单元102、第一数据集生成模块103、字符识别模块104和第二数据集生成模块105。其中，字符图元确定模块101用于确定包含待翻译字符的字符图元，具体的，基于ORB(Oriented FAST and Rotated BRIEF)算法，以待翻译文献的语言字符为特征，定位附图中出现的所有文字内容，设定单个字符间的预设间距，将满足该预设间距的连续字符视为待翻译字符，截取包含待翻译字符的矩形图元作为字符图元。进一步的，若附图中存在多行待翻译字符，以行为单位，各字符图元不重叠的方式截取对应的字符图元。需要说明的是，上述附图中出现的所有文字内容进行定位，也可以采用其他算法，只要能够初步定位到图片中的待翻译内容即可，本发明并无特别限定。附图参数提取单元102在字符图元确定模块101确定包含待翻译字符的字符图元之后，将字符图元及对应的图元位置信息提取出来，第一数据集生成模块103基于附图参数提取单元102提取的字符图元及对应的图元位置信息建立第一数据集，第一数据集包括字符图元及图元位置信息的对应关系。字符识别模块104采用神经网络算法从字符图元中识别待翻译字符，具体的，可以采用卷积神经网络(Convolutional Neural Networks，CNN)、深度残差网络(Deep Residual Learning，DRN)、视觉几何组(Visual Geometry Group，VGG)、深度学习结构(GoogLeNet)。第二数据集生成模块105基于基于第一数据集和字符识别模块104识别出的待翻译字符，生成第二数据集。其中，第二数据集包括识别出的待翻译字符、字符图元和图元位置信息的对应关系。
[0123] 可选的，第一关系建立单元100还包括字符图元核对模块106，用于在生成第一数据集之后，对第一数据集的字符图元进行核对。具体的，字符图元核对模块106基于第一数据集，向显示单元400发送指令，该指令包括字符图元及对应的图元位置信息，显示单元400将字符图元在附图中进行区别显示。具体的，显示单元400根据字符图元的图元位置信息，将字符图元在附图中进行区别显示，例如，边缘高亮显示，以区别于附图的其他部分。在将字符图元在附图中进行区别显示之后，在附图中对第一数据集的字符图元进行核对，该核对过程可以由人工执行，当出现字符图元中包含非待翻译字符、字符图元包含的待翻译字符不完整或字符图元不包含待翻译字符等情况时，可以人工对附图中的图元位置进行调整或删除，附图参数提取单元102基于人员对字符图元位置的调整操作，重新提取调整后的字符图元及对应的图元位置信息，第一数据集生成模块103更新第一数据集中需调整的字符图元及对应的图元位置信息。
[0124] 可选的，第一关系建立单元100还包括字符图元漏检模块107，用于在生成第一数据集之后，对附图中字符图元以外的区域进行漏检。具体的，字符图元漏检模块107基于第一数据集，向显示单元400发送指令，该指令包括字符图元及对应的图元位置信息，显示单元400暗显示或隐藏显示第一数据集中的字符图元，以突出显示字符图元之外的待选附图区域。人员对待选附图区域进行漏检，当附图中存在没有被提取到的字符图元时，人工选取包括待翻译字符的字符图元，附图参数提取单元102提取人工选取的字符图元及对应的图元位置信息，第一数据集生成模块103将漏检到的字符图元及对应的图元位置信息添加至第一数据集中。
[0125] 可选的，第一关系建立单元100还包括待翻译字符核对模块108和第三数据集生成模块109。其中，待翻译字符核对模块108用于在生成第二数据集之后，对识别出的待翻译字符进行核对。具体的，待翻译字符核对模块108基于第二数据集中的字符图元和待翻译字符，生成列表，该列表包括图元栏和识别信息栏，图元栏列有字符图元，识别信息栏列有对应于字符图元的待翻译字符。显示单元400将该列表在新的窗口中可视化显示，形成可视化列表，如图5所示，该可视化列表的识别信息栏为可编辑格式，在发现识别出的待翻译字符与字符图元中的字符不一致时，可对待翻译字符进行人工编辑。第三数据集生成模块109基于对识别信息栏编辑后的可视化列表以及第二数据集，生成第三数据集。进一步的，第三数据集可作为神经网络算法的样本数据，用于训练图片识别神经网络模型，并将训练好的模型用于字符图元确定模块101确定包含待翻译字符的字符图元，和字符识别模块104对第一数据集中的字符图元进行字符识别，以提高机器识别的准确性。
[0126] 可选的，可视化列表还包括确认栏，该确认栏可以通过勾选等方式确认识别信息栏中识别出的待翻译字符无误。另外，可视化列表亦可包括序号栏，对各字符图元和对应的待翻译字符进行编号。
[0127] 可选的，可视化列表还包括可呼出的推荐信息栏，推荐信息栏列有与待翻译字符相匹配的推荐字符，推荐字符通过待翻译文本获取，具体的，该推荐字符是基于识别出的待翻译字符，在待翻译文本中检索与该待翻译字符高度相似的字符来获得。相似度匹配可以采用业界常用的方法，也可以采用双语互译质量评估辅助算法(Bilingual Evaluation Understudy，BLEU)，将多个推荐字符按评分由高到低排序，并在推荐信息栏中显示评分较高的前几个推荐字符。如图6所示，推荐信息栏平时为隐藏状态，当人员发现图元栏中字符图元中的字符和识别信息栏中的待翻译字符不一致时，可通过点选识别信息栏附近的隐藏栏呼出，选取推荐信息栏中与字符图元中的字符一致的推荐字符，第三数据集生成模块109基于对识别信息栏编辑后的可视化列表以及第二数据集，生成第三数据集。
[0128] 可选的，待翻译字符核对模块108也可以基于第二数据集，向显示单元400发送指令，显示单元400根据指令以不遮挡字符图元的方式在字符图元附近的空白区域生成可编辑的文本框，其中，文本框中显示有对应于字符图元的待翻译字符。人员可以对字符图元和文本框中的字符进行核对，若存在待翻译字符识别错误，可以在文本框中进行更改，第三数据集生成模块109基于编辑后文本框以及第二数据集，生成第三数据集，其中，第三数据集包括待翻译字符、字符图元和图元位置信息的对应关系。
[0129] 可选的，参考图7，显示单元400包括字符图元填充模块401和翻译字符显示模块402，其中，字符图元填充模块401用于基于第三数据集中字符图元及对应的图元位置信息，在附图中对字符图元进行背景色填充，翻译字符显示模块402根据翻译字符与附图参数的对应关系，将翻译字符以预设大小及字体显示在字符图元中。
[0130] 在本发明另一实施例中，字符图元填充模块401基于第三数据集，定位字符图元中的待翻译字符的像素点，以背景色或白色填充黑色像素点而形成背景色和白色的字符图元，翻译字符显示模块402将第三数据集中的翻译字符以预先设定的大小及字体设置在该图元的适当位置。
[0131] 此外，为了附图的简洁和美观，附图中的文字经常存在省略、简化的情况，例如省略介词、定语等，进而导致在待翻译文本中检索不到与待翻译字符完全一致的字符，但是关键的名词，例如专业术语不会省略。可选的，针对该情况，本发明实施例中，第一关系建立单元100还包括专业术语提取模块110，当字符检索模块201在待翻译文本中检索不到与待翻译字符相同的字符时，专业术语提取模块110采用分词算法提取待翻译字符中的专业术语，字符检索模块201基于专业术语对待翻译文本进行检索匹配，若在待翻译文本中检索匹配到相同的专业术语，则关联模块202将待翻译文本中与专业术语对应的字符，和待翻译字符建立关联，在后续的翻译时，保证专业术语在文本和附图中的翻译一致性。
[0132] 本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述实施例任意所述的附图翻译方法。
[0133] 当然，本发明实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明上述任意实施例所提供的附图翻译方法中的相关操作。
[0134] 通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0135] 值得注意的是，上述附图翻译装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0136] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 打窝器 | 2020-05-12 | 46 |
| 一种专利附图检索法 | 2020-05-11 | 164 |
| 一种连续且可调深度取样装置 | 2020-05-12 | 478 |
| 命令遥控 | 2020-05-12 | 234 |
| 六定位平装式车箱开关 | 2020-05-11 | 434 |
| 激光加工装置及附图案基板的加工条件设定方法 | 2020-05-11 | 500 |
| 多凹面镜集成型蒸发式太阳能净水器 | 2020-05-13 | 18 |
| 内陆城市水资源良性循环与水污染全面治理法 | 2020-05-12 | 216 |
| 一种针对早期专利文档扫描件中图文信息的智能处理方法 | 2020-05-13 | 559 |
| 优化的数据传输系统和方法 | 2020-05-13 | 60 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈