神经网络训练图像生成系统专利检索-人工神经网络机器学习人工智能人工智能专利检索查询-专利查询网

神经网络训练图像生成系统

阅读：1030发布：2020-08-29

专利汇可以提供神经网络训练图像生成系统专利检索，专利查询，专利分析的服务。并且生成用于神经网络的训练图像的系统包含配置成接收表示在图像掩膜中的一个或多个选择的区域的输入的一个或多个处理器。一个或多个处理器配置成通过组合图像掩膜与设备的未标记图像，形成标记掩蔽图像。一个或多个处理器还配置成使用标记掩蔽图像来训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏和/或生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的一个或多个实际图像中出现的设备损坏。，下面是神经网络训练图像生成系统专利的具体信息内容。

权利要求

1.一种系统，包括：
一个或多个处理器，配置成接收表示在图像掩膜中的一个或多个选择的区域的输入，所述一个或多个处理器配置成通过组合所述图像掩膜与设备的未标记图像，形成标记掩蔽图像，
其中所述一个或多个处理器配置成使用所述标记掩蔽图像训练人工神经网络以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏，或者生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的所述一个或多个实际图像中出现的所述设备损坏。
2.根据权利要求1所述的系统，其中所述一个或多个处理器配置成接收表示人工异常将在所述标记掩蔽图像中在所述设备上何处出现的位置的所述输入。
3.根据权利要求1所述的系统，其中所述设备包含涡轮引擎，并且所述一个或多个选择的区域指示在所述涡轮引擎上的位置，其中所述涡轮引擎的被覆层的损坏将在所述标记掩蔽图像中出现。
4.根据权利要求1所述的系统，其中所述标记掩蔽图像的像素以由所述像素表示的对象的指示来标注。
5.根据权利要求1所述的系统，其中所述未标记图像的像素不以由所述像素表示的对象的指示来标注。
6.根据权利要求1所述的系统，其中所述图像掩膜是包含在所述标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。
7.根据权利要求6所述的系统，其中在所述标记掩蔽图像中出现的区域的所述类型的第一类型是所述设备的损坏的人工外观，并且在所述标记掩蔽图像中出现的区域的所述类型的第二类型是所述未标记图像的未改变的部分。
8.一种方法，包括：
接收表示在图像掩膜中的一个或多个选择的区域的输入；
通过组合所述图像掩膜与设备的未标记图像，形成标记掩蔽图像；以及使用所述标记掩蔽图像训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏，或者生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的所述一个或多个实际图像中出现的所述设备损坏。
9.根据权利要求8所述的方法，其中收到的所述输入表示人工异常将在所述标记掩蔽图像中在所述设备上何处出现的位置。
10.根据权利要求8所述的方法，其中所述设备包含涡轮引擎，并且所述一个或多个选择的区域指示在所述涡轮引擎上的位置，其中所述涡轮引擎的被覆层的损坏将在所述标记掩蔽图像中出现。

说明书全文

神经网络训练图像生成系统

技术领域

[0001] 本文中描述的主题涉及使用一个或多个神经网络的图像分析系统。

背景技术

[0002] 人工神经网络能够用于检查图像和进行在图像中描绘的对象的预测。这些神经网络是被训练成识别图像中的对象的计算机化的系统。神经网络的训练能够包含提供训练图像到神经网络。训练图像能够是带有被标记或标注的像素的图像，以反映每个像素表示什么类型的对象（例如，对象类）。例如，训练图像中的每个像素能够与指示像素描绘至少部分的什么对象的数据或资料关联。

[0003] 训练图像的创建能够是时间密集和昂贵的努力。通过一个或多个人员手动检查图像中的每个像素并且将像素以数据或资料来标注或标记以识别由像素表示什么对象类，创建一些训练图像。一些训练图像被使用众包（crowd sourcing）创建，其中不一定处在相同位置的若干人员能够查看和标注图像以加速创建训练图像的过程。但是，并非所有图像都能够使用众包进行标注。一些图像无法以允许此类众包的方式被广泛散布。例如，与机密性协议或限制有关或受其影响而使用的设备（诸如飞机引擎）的损坏的一些图像可能不能在许多人员之中分布以用于像素标注的众包。发明内容

[0004] 在一个实施例中，系统包含配置成接收表示在图像掩膜中的一个或多个选择的区域的输入的一个或多个处理器。一个或多个处理器配置成通过组合图像掩膜与设备的未标记图像，形成标记掩蔽图像。一个或多个处理器还配置成使用标记掩蔽图像训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏和/或生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的一个或多个实际图像中出现的设备损坏。

[0005] 在一个实施例中，方法包含接收表示在图像掩膜中的一个或多个选择的区域的输入，通过组合图像掩膜与设备的未标记图像，形成标记掩蔽图像，以及使用标记掩蔽图像训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏，或者生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的一个或多个实际图像中出现的设备损坏。

[0006] 在一个实施例中，系统包含配置成接收设备的实际图像的一个或多个处理器。实际图像不包含由实际图像中的每个像素表示什么对象的标注。一个或多个处理器还配置成获得图像掩膜，图像掩膜表示在其中设备的损坏将出现的一个或多个选择的区域。一个或多个处理器配置成通过组合实际图像与图像掩膜，生成标记掩蔽图像。标记掩蔽图像包含由来自图像掩膜的一个或多个选择的区域中的多个像素表示什么对象的标注。

[0007] 本发明还公开了一组技术方案，如下：1. 一种系统，包括：
一个或多个处理器，配置成接收表示在图像掩膜中的一个或多个选择的区域的输入，所述一个或多个处理器配置成通过组合所述图像掩膜与设备的未标记图像，形成标记掩蔽图像，
其中所述一个或多个处理器配置成使用所述标记掩蔽图像训练人工神经网络以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏，或者生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的所述一个或多个实际图像中出现的所述设备损坏。

[0008] 2. 根据技术方案1所述的系统，其中所述一个或多个处理器配置成接收表示人工异常将在所述标记掩蔽图像中在所述设备上何处出现的位置的所述输入。

[0009] 3. 根据技术方案1所述的系统，其中所述设备包含涡轮引擎，并且所述一个或多个选择的区域指示在所述涡轮引擎上的位置，其中所述涡轮引擎的被覆层的损坏将在所述标记掩蔽图像中出现。

[0010] 4. 根据技术方案1所述的系统，其中所述标记掩蔽图像的像素以由所述像素表示的对象的指示来标注。

[0011] 5. 根据技术方案1所述的系统，其中所述未标记图像的像素不以由所述像素表示的对象的指示来标注。

[0012] 6. 根据技术方案1所述的系统，其中所述图像掩膜是包含在所述标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。

[0013] 7. 根据技术方案6所述的系统，其中在所述标记掩蔽图像中出现的区域的所述类型的第一类型是所述设备的损坏的人工外观，并且在所述标记掩蔽图像中出现的区域的所述类型的第二类型是所述未标记图像的未改变的部分。

[0014] 8. 一种方法，包括：接收表示在图像掩膜中的一个或多个选择的区域的输入；
通过组合所述图像掩膜与设备的未标记图像，形成标记掩蔽图像；以及
使用所述标记掩蔽图像训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏，或者生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的所述一个或多个实际图像中出现的所述设备损坏。

[0015] 9. 根据技术方案8所述的方法，其中收到的所述输入表示人工异常将在所述标记掩蔽图像中在所述设备上何处出现的位置。

[0016] 10. 根据技术方案8所述的方法，其中所述设备包含涡轮引擎，并且所述一个或多个选择的区域指示在所述涡轮引擎上的位置，其中所述涡轮引擎的被覆层的损坏将在所述标记掩蔽图像中出现。

[0017] 11. 根据技术方案8所述的方法，其中所述标记掩蔽图像的像素以由所述像素表示的对象的指示来标注。

[0018] 12. 根据技术方案8所述的方法，其中所述未标记图像的像素不以由所述像素表示的对象的指示来标注。

[0019] 13. 根据技术方案8所述的方法，其中所述图像掩膜是包含在所述标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。

[0020] 14. 根据技术方案13所述的方法，其中在所述标记掩蔽图像中出现的区域的所述类型的第一类型是所述设备的损坏的人工外观，并且在所述标记掩蔽图像中出现的区域的所述类型的第二类型是所述未标记图像的未改变的部分。

[0021] 15. 一种系统，包括：一个或多个处理器，配置成接收设备的实际图像，所述实际图像不包含由所述实际图像中的每个像素表示什么对象的标注，所述一个或多个处理器还配置成获得图像掩膜，所述图像掩膜表示在其中所述设备的损坏将出现的一个或多个选择的区域，所述一个或多个处理器配置成通过组合所述实际图像与所述图像掩膜，生成标记掩蔽图像，其中所述标记掩蔽图像包含由来自所述图像掩膜的所述一个或多个选择的区域中的多个像素表示什么对象的标注。

[0022] 16. 根据技术方案15所述的系统，其中所述一个或多个处理器配置成使用所述标记掩蔽图像训练人工神经网络以自动识别在设备的一个或多个附加的图像中出现的设备损坏。

[0023] 17. 根据技术方案15所述的系统，其中所述一个或多个处理器配置成生成一个或多个训练图像，以用于训练人工神经网络以自动识别在设备的所述一个或多个附加的图像中出现的设备损坏。

[0024] 18. 根据技术方案15所述的系统，其中所述设备包含涡轮引擎，并且所述一个或多个选择的区域指示在所述涡轮引擎上的位置，其中所述涡轮引擎的被覆层的损坏将在所述标记掩蔽图像中出现。

[0025] 19. 根据技术方案15所述的系统，其中所述图像掩膜是包含在所述标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。

[0026] 20. 根据技术方案19所述的系统，其中在所述标记掩蔽图像中出现的区域的所述类型的第一类型是所述设备的损坏的人工外观，并且在所述标记掩蔽图像中出现的区域的所述类型的第二类型是所述未标记图像的未改变的部分。附图说明

[0027] 参照附图，从阅读下面非限制性实施例的描述将更好地理解本发明主题，其中下面：图1图示了图像分析神经网络系统的一个实施例；
图2图示了生成对抗网络（GAN）系统的一个实施例；
图3图示了用于创建标记掩蔽图像的方法的一个实施例的流程图；
图4图示了未标记图像、异常检测掩膜和标记掩蔽图像的示例；
图5图示了未标记图像、异常检测掩膜和标记掩蔽图像的附加示例；
图6图示了神经网络训练图像生成系统的一个实施例；以及
图7图示了视觉异常检测系统的一个示例。

具体实施方式

[0028] 本文中描述的本发明主题的一个或多个实施例提供生成标记图像以用于训练人工神经网络以自动识别在其它图像中的对象的系统和方法。深度对抗网络能够用于生成在其它情况下获取代价昂贵的（特别是如果图像是工业数据的话）用于标注的现实图像。在有限训练数据可用的情况下（例如，监督图像，诸如具有以由各种像素表示的对象标记或标注的像素的图像），耦合的生成对抗网络和条件对抗网络能够用于学习产生现实标注图像的图像生成模型。这些图像然后能够用于训练一个或多个其它神经网络以自动识别其它图像中的类似对象。

[0029] 但在其中标注或标记图像不可用的未监督设置中，来自像素标注对其可用的其它模型（例如，计算机辅助制图（或CAD）模型）的仿真数据能够通过学习现实主义生成器，结合未监督的数据被用于产生现实标注图像，由此传播仿真数据的标注到生成的现实数据。然后，能够训练条件对抗网络以在给定真实图像上生成像素标注。

[0030] 本文中描述的主题的至少一个技术效果包含用于神经网络的标注训练图像的创建。通过在监督和未监督设置两者中利用在（生成对抗网络的）生成器网络与（生成对抗网络）的鉴别器网络之间的对抗训练，能够产生现实标注图像。在对抗训练中，生成器网络学习生成伪图像，所述伪图像如此接近训练图像数据的概率分布并且能够潜在地欺骗鉴别器网络而确定伪图像是相同对象的真实图像。鉴别器网络的任务是正确地分类图像样本。例如，为将训练图像样本识别为真实图像并且将（从生成器网络）生成的图像识别为伪图像。通过对这些目的的优化或以其它方式改进，发起在两个模型之间的对抗训练。在模型被训练后，生成器网络被认为已学习如何从训练图像数据的概率分布生成图像样本。

[0031] 在本文中描述的本发明主题的一个实施例中，提供到生成器网络的输入图像适应于产生用于提供的掩膜的现实图像和真实图像。这些产生的图像作为学习的（例如，标记）图像完成，而不使用监督图像数据。带有标注的仿真图像能够从CAD模型获得并且用于产生带有从对应仿真图像借入的标注的现实图像。使用监督数据，针对彼此耦合的对抗网络的训练得以改进，使得生成器网络能够欺骗对应鉴别器网络。网络之一能够经训练以生成真实图像，并且其它网络能够经训练以生成对应标注。条件对抗网络能够经训练以通过学习从掩膜到真实图像的映射，以完全监督方式产生用于给定掩膜的现实图像。系统和方法能够在监督和未监督设置两者中生成现实标注图像数据。真实图像和对应像素标注能够在无人为干预（例如，在标记图像的任何像素方面）的情况下由系统生成。

[0032] 本文中描述的系统和方法的至少一个技术效果包含快速和准确地识别在一个或多个图像中描绘的对象以用于多种最终使用，诸如用于识别和修复组件的损坏（例如，修复引擎中的热障被覆层），自动改变车辆的移动（例如，响应于识别图像中的人员或其它对象而应用制动和/或改变移动的方向）等。在医疗应用中，系统和方法能够迅速和准确地从图像中识别肿瘤、损伤等，并且系统和方法能够自动实现一个或多个医疗过程以去除或修复识别的肿瘤或损伤。

[0033] 图1图示了图像分析神经网络系统100的一个实施例。系统100使用一个或多个人工深度神经网络102，识别图像中的对象。神经网络102是从一个或多个处理器（例如，微处理器、集成电路、现场可编程门阵列等）形成的人工神经网络。神经网络102被分成两个或多于两个层104，诸如接收输入图像106的输入层、输出输出图像108的输出层和一个或多个中间层。神经网络102的层104表示人工神经元的不同群组或集合，其能够表示由处理器对输入图像106执行的不同函数以识别在输入图像106中的对象。人工神经元在应用到输入图像106的函数中应用不同权重以尝试识别输入图像106中的对象。输出图像108由神经网络102通过基于像素的特性的分析，为输出图像108中的不同像素指派不同对象类或者将输出图像108中的不同像素与不同对象类关联而生成。因为神经网络102可以在预测由不同像素表示什么对象方面不是100%准确，输出图像108可以不确切地类似或描绘输入图像106中的对象。

[0034] 神经网络102的层104中的人工神经元能够检查输入图像106中的单独像素114。（作为人工神经元操作的）处理器能够使用线性分类来计算用于对象的不同类别（本文中称为“类”）（诸如树、小汽车、人员、热障被覆层的剥落、表面中的裂缝、痕迹等）的评分。这些评分能够指示像素114表示不同类的概率。例如，对于像素114的评分能够被表示为上述向量的一个或多个。每个人工神经元能够对相同像素应用诸如激活函数的数学函数，其中不同神经元应用的函数影响由其它神经元应用的函数，并且不同神经元应用与一个或多个或所有其它神经元不同的权重到函数中的不同项。函数的应用生成对于像素114的分类评分，其能够用于识别输入图像106中的对象。

[0035] 在一个实施例中，输入图像106经由一个或多个有线和/或无线连接，从诸如摄像机的源被提供到神经网络102。神经网络102的层104中的神经元检查像素114的特性（诸如强度、颜色等），以确定对于各种像素114的评分。在神经网络102的层104已经确定对于像素114的评分向量后，神经网络102检查每个像素114的评分向量，并且确定对于每个像素114哪个对象类具有最高概率或对于每个像素114哪个对象类具有比一个或多个或所有其它对象类更高的概率。

[0036] 例如，具有[0.6 0.15 0.05 0.2]的评分向量的第一像素114指示神经网络102计算出第一像素114有60%概率表示第一对象类（例如，人体或人员）、第一像素114有15%概率表示第二对象类（例如，小汽车）、第一像素114有5%概率表示第三对象类（例如，树）和第一像素114有20%概率表示第四对象类（例如，地面）。这些概率能够由输出图像108表示，其中不同区域116、118表示基于这些计算出的概率的不同对象。区域116、118可稍微表示对象110、112，但由于小于100%的概率而可不准确地表示或指示对象110、112。处理器能够确定像素114表示具有这些概率中的最多或最大的对象类。例如，由于60%概率，处理器能够确定像素114表示人员。此过程能够对于若干或所有其它像素114重复进行。

[0037] 基于提供到神经网络102的训练图像，能够创建和/或修改由神经网络102中的神经元使用的函数和权重。训练图像能够被称为监督、标记和/或标注图像，因为这些图像具有以前被指定为表示不同对象类的像素114（例如，带有由每个像素114表示哪个对象类的100%概率）。本文中描述的本发明主题的一个或多个实施例能够用于创建训练图像。

[0038] 在一个实施例中，通过将训练图像（例如，如图2中示出的标记训练图像206）作为图像106输入神经网络102中，并且检查来自神经网络102的输出图像108来训练神经网络102。如下所述，在一个实施例中，这些训练图像不是手动标记训练图像。输出图像108能够（例如，由神经网络102和/或由系统100的一个或多个用户或操作员）被检查，以确定训练和输出图像如何密切相互匹配。能够确定在这些图像之间的差别，并且能够修改由神经网络
102用于检查训练图像的权重和/或函数以改变输出图像108。此过程能够被迭代重复，直至输出图像108匹配或更接近输入到神经网络102的训练图像，和/或直至神经网络102能够自动和准确地识别在训练图像中的对象（例如，对象110、112）。

[0039] 图2图示了GAN系统200的一个实施例。GAN系统200包含人工神经网络，即，生成器神经网络202和鉴别器神经网络204。生成器和鉴别器网络202、204中的每个能够是从一个或多个处理器形成并且由人工神经元的层104组成的人工神经网络，如上所述。这些网络202、204能够在二人极小极大值博弈（two-player minimax game）的设置中交互以学习如何生成标记训练图像206（图2中的“TI”）。这些训练图像206能够用于训练神经网络102以自动识别其它图像106对象110、112，如上所述。

[0040] 生成器网络202能够被提供有包含标记或标注像素114的掩蔽图像208（图2中和下面描述的“MI”）。掩蔽图像208用于训练生成器网络202以创建标记训练图像206。标记训练图像206能够被传递到另一神经网络（诸如神经网络102）以训练神经网络102自动识别图像106中的对象，如上所述。

[0041] 为生成标记训练图像206，生成器网络202确定像素114的特性的分布，诸如在掩蔽图像208中的各种位置中的像素114的强度、颜色等的高斯分布。掩蔽图像208能够描绘相同或类似对象，诸如在引擎（例如，涡轮引擎）中的热障被覆层（或其它被覆层）的剥落、开裂或其它损坏。这些分布能够指示图像中像素114将具有特性的某个集合的可能性。例如，基于在涡轮增压器喷嘴上的热障被覆层的剥落的图像中的像素特性的分布，生成器网络202能够创建输出图像210（图2中的“OI”）。

[0042] 输出图像210包含基于从掩蔽图像208确定的像素特性的分布而具有最可能或更可能在剥落的图像中发生（例如，比未示出剥落的图像中像素的分布更可能发生）的特性的像素114或由其形成。在一个实施例中，由生成器网络202创建的输出图像210不是被输入生成器网络202中的掩膜图像208的任何掩膜图像的副本或确切复制品。例如，因为输出图像210是基于掩膜图像208中的像素114的颜色、强度等的统计分布（例如，高斯分布）创建的，并且不是掩膜图像208的确切副本，掩膜图像208可显得与输出图像210不同。

[0043] 生成器网络202将输出图像210（例如，经由一个或多个有线和/或无线连接）提供到鉴别器网络204。鉴别器网络104检查输出图像210以尝试和识别在输出图像210中出现的对象，像神经网络102（图1中示出）操作的方式。鉴别器网络204能够检查在输出图像210中的像素的特性以确定一个或多个对象（诸如涡轮引擎中被覆层的剥落或裂缝）是否出现在输出图像210中。鉴别器网络204能够检查输出图像210的内容，并且确定对于输出图像210的一个或多个损失函数或误差。损失函数或误差能够表示输出图像210描绘一个或多个对象（例如，剥落）并且不描绘另一对象的置信度。例如，大的损失函数或误差能够指示输出图像210示出剥落以外的其它事情，而更小的损失函数或误差能够指示输出图像210示出热障被覆层的剥落。

[0044] 鉴别器网络204能够通过检查输出图像210中的像素的特性，确定损失函数或误差。例如，鉴别器网络204能够确定输出图像210中的第一像素的特性比输出图像210中的不同的第二像素更类似于与掩蔽图像208关联的像素特性的分布。掩蔽图像208中的像素特性的分布能够被提供到鉴别器网络204和/或由鉴别器网络204确定（例如，例如通过计算掩蔽图像208中的像素多频繁地具有各种特性）。与第二像素相比，第一像素能够（通过鉴别器网络204）与更小的误差或损失函数关联。能够为输出图像210中的许多或所有像素确定损失函数和/或误差。具有带有更小损失函数或误差的像素的输出图像210能够（例如，通过鉴别器网络210）被确定成描绘或者比具有更大损失函数或误差的输出图像210更准确地描绘在掩蔽图像208中出现的对象。

[0045] 在一个实施例中，鉴别器网络204的层106中的人工神经元能够检查输出图像210中的单独像素。（作为人工神经元操作的）处理器能够使用线性分类来计算对于对象的不同类别（本文中称为“类”）（诸如热障被覆层的剥落、表面中的裂缝等）的评分。这些评分能够指示像素表示不同类的概率。每个人工神经元能够对相同像素应用诸如激活函数的数学函数，其中由不同神经元应用的函数影响由其它神经元应用的函数，并且不同神经元应用与一个或多个或所有其它神经元不同的权重到函数中的不同项。函数的应用生成对于像素的分类评分，其能够用于识别输出图像210中的对象。鉴别器网络204的层106中的神经元检查输出图像210中的像素的特性（诸如强度、颜色等），以确定对于各种像素的评分。

[0046] 例如，鉴别器网络204能够确定在输出图像210之一中的像素具有[0.6 0.15 0.25]的评分向量。此评分向量指示鉴别器网络204已计算出该像素有60%概率表示第一对象类（例如，热障被覆层的剥落）、该像素有15%概率表示第二对象类（例如，开裂被覆层）和该像素有25%概率表示第三对象类（例如，被覆层的未损坏区域）。此过程能够对于相同输出图像210中的若干或所有其它像素重复进行。

[0047] 鉴别器网络204的处理器能够然后基于这些概率，确定用于输出图像210中的像素的损失函数或误差。损失函数或误差能够被计算为在对于像素114的选择的对象类与对于该对象类的对象评分之间的差。此误差值能够是在100%（或1）与选择的对象类的概率之间的差。关于前面的示例，第一对象类是对于像素的选择的对象类，因为第一对象类具有比对于该相同像素的其它对象类更大的概率（即，60%）。对于该像素的损失函数或误差能够被计算为[0.4 -0.15 -0.25]。0.4（或40%）的值被计算为在1与0.6之间（或在100%与60%之间）的差。此过程能够对于像素中的若干或所有像素重复进行。

[0048] 如果鉴别器204确定输出图像210描绘也在掩蔽图像208中出现的识别的对象，则生成器网络202已成功欺诈或欺骗鉴别器网络204而确定输出图像210是对象（例如，热障被覆层中的剥落或裂缝）的实际或真实图像。鉴别器网络204能够检查输出图像210的损失函数，并且比较该损失函数和一个或多个阈值以确定输出图像210是否描绘与掩蔽图像208中的对象相同或类似（例如，与掩蔽图像208中的对象相同对象类）的对象。如果损失函数或误差大于阈值，则鉴别器网络204可不将输出图像210识别为描绘与掩蔽图像208中对象相同或类似的对象。但是，如果损失函数或误差不大于阈值，则鉴别器网络204可将输出图像210识别为示出与掩蔽图像208中出现的一个或多个对象相同或类似的对象。

[0049] 但是，如果鉴别器网络204未被欺诈或欺骗而确定输出图像210是与在掩蔽图像208中出现的那些对象相同的对象或相同类型的对象的实际或真实图像，则鉴别器网络204能够将信号传递到生成器网络202。响应于接收此信号，生成器网络202能够改变如何创建输出图像210。例如，生成器网络202能够修改像素分布的一个或多个，能够获得一个或多个附加的掩蔽图像208以确定或更新像素分布，能够改变由在生成器网络202的层104中的人工神经元应用的一个或多个函数或权重以创建输出图像210，等。这能够造成附加的输出图像210不同于以前创建的输出图像210。鉴别器网络204检查这些新输出图像210以确定新输出图像210是否示出与在掩蔽图像208中相同或类似的对象，如上所述。此过程能够被迭代重复，除非或直至生成器网络202能够欺骗或欺诈鉴别器网络204而确定输出图像210是在掩蔽图像208中出现的对象的实际或真实图像。

[0050] 生成器网络202能够然后创建训练图像206的一个或多个。例如，一旦生成器网络202能够创建欺诈或欺骗鉴别器网络204（如上所述）的输出图像210，生成器网络202便能够创建作为训练图像206的附加输出图像210。训练图像206能够（例如经由一个或多个有线和/或无线连接）传递到神经网络102（图1中示出）以用于训练神经网络102自动识别在其它未标记或非训练图像106中的对象，如上所述。训练图像206包含用于由组成训练图像206的各种像素114表示什么对象类的指定或标签。标签能够指示由每个像素114表示什么对象类的100%确定性或概率。在没有人工干预的情况下，能够创建训练图像206。例如，在没有人员标记或标注组成训练图像206的像素114中的任何像素的情况下，训练图像206能够由GAN系统200创建。

[0051] 在本文中描述的主题的一个实施例中，在没有使掩蔽图像208的像素114被一个或多个人员、用户或操作员手动标记的情况下，系统和方法操作以创建提供到生成器网络202以训练生成器网络202的掩蔽图像208。这能够加快用于获得掩蔽图像208的过程，所述掩蔽图像208用于训练生成器网络202以创建然后用于训练神经网络102的训练图像206（相对于用于训练生成器网络202的图像的手动标记）。可选的是，创建的掩蔽图像208能够用于直接训练神经网络102。例如，掩蔽图像208能够如上所述作为用于训练神经网络102的标记训练图像被提供到神经网络102，而不是提供掩蔽图像208到生成器网络202（用于训练生成器网络202以创建训练图像206）。

[0052] 图3图示了用于创建标记掩蔽图像的方法300的一个实施例的流程图。方法300的流程图能够表示由下面描述的神经网络训练图像生成系统执行的操作，诸如在软件的指导下由一个或多个处理器（例如，一个或多个微处理器、现场可编程门阵列和/或集成电路）执行以创建本文中描述的掩蔽图像208的功能。可选的是，方法300能够表示用于编写此类软件的算法。

[0053] 在302，获得一个或多个对象的未标记图像。在一个实施例中，图像未标记，因为图像中并非所有像素114或没有像素114在以前已被指定关于在图像中示出一个或多个什么对象。图4和5图示了未标记图像400、500、异常检测掩膜402、502（在下面描述）和标记掩蔽图像404、504（也在下面描述）的示例。图4中示出的未标记图像400描绘涡轮增压器叶片406的部分侧视图，而图5中示出的未标记图像500描绘另一涡轮增压器叶片506的俯视图。异常408、508出现在未标记图像400、500中的每个中。在图示的示例中，这些异常408、508是在涡轮增压器叶片406、506上或者在涡轮增压器叶片406、506附近表面上的热障被覆层的剥落。
未标记图像400、500能够从一个或多个摄像机和/或一个或多个计算机可读存储器获得。

[0054] 返回图3中示出的方法300的流程图的描述，在304，创建异常检测掩膜。通过在未标记图像中识别或选择将人工表示异常的一个或多个区域，能够创建异常检测掩膜。例如，能够将一个或多个二维区域或形状选择或识别为表示剥落。在图4和5中，将二维区域410、510选择为在异常检测掩膜402、502中的人工异常。区域410、510是人工异常，因为区域410、
510将被添加到未标记图像400、500，叠加在未标记图像400、500上或以其它方式与未标记图像400、500组合，以添加未标记异常或区域到未标记图像400、500，如下所述。

[0055] 区域410、510能够被随机选择，能够被手动选择，或者能够基于实际异常的一个或多个图像（例如，在涡轮增压器中的热障被覆层中的剥落的其它图像）。例如，区域410、510的位置、大小和/或形状能够与另一涡轮增压器的剥落的实际图像相同或是从其缩放的。

[0056] 异常检测掩膜402、502能够是确实表示或不表示异常的区域的二进制表示。在图示的示例中，选择的区域410、510表示被覆层的剥落，并且在处于选择的区域410、510外或以其它方式未包括在其内的掩膜402、502中的其它区域不表示被覆层的剥落。异常检测掩膜402、502能够是标记图像或图像的标记表示，因为二进制表示指示异常检测掩膜402、502中的每个像素114表示什么。例如，选择的区域410、510内的像素114能够具有表示异常（例如，剥落、裂缝等）的100%概率或确定性，而在选择的区域410、510外或以其它方式不包括在其中的像素114具有表示异常的0%概率或确定性。可选的是，掩膜402、502能够是像素的不同区域或编组的三级或更大表示。例如，掩膜402、502能够包含包围被标记为表示第一对象（例如，被覆层的剥落）的像素114的第一区域、包围被标记为表示不同的第二对象（例如，被覆层中的裂缝）的像素114的第二区域、包围被标记为表示不同的第三对象（例如，未损坏的背景或被覆层）的像素114的第三区域等等。

[0057] 返回图3中示出的方法300的流程图的描述，在306，创建标记掩蔽图像。通过组合在图4和5中示出的掩膜402、502和未标记图像400、500，能够创建标记掩蔽图像（例如，图2中示出的掩蔽图像208）。例如，掩膜402能够被应用到未标记图像400以形成标记掩蔽图像404，并且掩膜502能够被应用到未标记图像500以形成标记掩蔽图像504，如图4和5中所示。
通过将掩膜402、502叠加到未标记图像400、500上，通过将掩膜402、502覆盖到未标记图像
400、500上，通过将未标记图像400、500中的像素114替换成在对应掩膜402、502的选择的区域410、510中的像素114等，能够将掩膜402、502应用到未标记图像400、500。例如，在未标记图像400中的与掩膜402的选择的区域410中的标记像素114对应的未标记像素114可被替换成掩膜402的标记像素114。可选的是，由在未标记图像400中的与掩膜402的选择的区域410中的标记像素114对应的像素114表示的对象类的概率能够被改变成像素114表示异常408的100%概率或确定性。

[0058] 在将掩膜402、502应用到未标记图像400、500以形成标记掩蔽图像404、504中，标记掩蔽图像404、504包含在图像404、504的区域中的对应于区域410、510的位置的创建的或人工异常412、512。如图4和5中所示，在标记掩蔽图像404、504中，人工异常412、512能够替换在图像400、500中出现的真实异常408、408，遮挡其视图，与其完全重叠或至少部分重叠。掩蔽图像404、504由此被创建以包含在原图像400、500中出现的对象406、506的区域中的异常（例如，诸如剥落或裂缝的损坏）。这能够提供比在图像400、500、406、506中手动标记像素
114更容易和更快的用于创建标记图像406、506的技术。掩膜402、502中的在区域410、510外的像素114能够被标记为不表示异常（例如，损坏），诸如通过以异常对象类的零概率、设备（例如，涡轮叶片）的100%概率等来标记这些像素114。

[0059] 返回图3中示出的方法300的流程图的描述，在308，提供标记掩蔽图像到人工神经网络。在一个实施例中，能够将标记掩蔽图像404、504传递到图2中示出的GAN系统200的生成器网络202。标记掩蔽图像404、504能够作为掩蔽图像208被提供到生成器网络202，以用于训练生成器网络202来创建输出图像210和/或训练图像206，如上所述。备选的是，标记掩蔽图像能够作为训练图像被提供到图1中示出的神经网络102以用于训练神经网络102。例如，代替使用标记掩蔽图像以用于训练生成器网络202来创建训练图像206，能够将标记掩蔽图像作为训练图像提供到神经网络102。

[0060] 在310，使用标记掩蔽图像来训练神经网络。如上所述，在试图欺诈或欺骗鉴别器网络204（并且然后最终创建对于神经网络102的训练图像206）中，标记掩蔽图像能够被提供到生成器网络202以训练生成器网络202来创建输出图像210。可选的是，标记掩蔽图像能够被提供到神经网络102以训练神经网络102自动识别图像106中的对象。

[0061] 图6图示了神经网络训练图像生成系统600的一个实施例。系统600能够用于创建上述的标记掩蔽图像208。系统600包含诸如摄像机的提供在其上应用掩膜的实际或真实图像的传感器602。例如，传感器602能够获得设备的照片，并且将照片作为类似于图4和5中示出的图像400、500的图像来提供到控制器604。可选的是，控制器604能够从存储器610（诸如计算机硬盘驱动器、服务器、光驱动器、闪存驱动器等）获得这些图像。控制器604表示包含一个或多个处理器（例如，一个或多个微处理器、现场可编程门阵列和/或集成电路）和/或与所述一个或多个处理器连接的硬件电路系统，所述一个或多个处理器接收真实或未标记图像（例如，图像400、500），接收来自一个或多个输入装置606的输入以表示掩膜（例如，掩膜402、502），并且将掩膜应用到未标记图像以形成标记掩蔽图像。

[0062] 输入装置606能够表示键盘、指示笔、电子鼠标、触摸屏等，其接收指示在掩膜和/或未标记图像中何处将示出人工异常（例如，异常412、512和/或选择的区域410、510）的操作员输入。可选的是，选择的区域和/或异常的位置能够由控制器604以随机方式或基于在一个或多个其它标记掩蔽图像或未标记图像中的异常的位置自动选择。控制器604可选地能够以指示人工异常的对象类概率来对标记掩蔽图像的像素114进行标记。例如，控制器604能够为在掩膜的选择的区域中和在人工异常的区域中的那些像素将异常对象类的对象类概率的值设置为100%。

[0063] 输出装置608接收来自控制器604的标记掩蔽图像并且将标记掩蔽图像提供给操作员和/或神经网络。例如，输出装置608能够包含用于向操作员视觉呈现标记掩蔽图像的显示装置或触摸屏，和/或能够包含用于与一个或多个有线和/或无线连接对接以用于将标记掩蔽图像传递到神经网络102和/或生成器网络202的通信电路系统（例如，调制解调器、天线等）。

[0064] 图7图示了视觉异常检测系统700的一个示例。系统700包含上述神经网络102，其自动识别在图像中的对象，如上所述。系统700包含获得对象的图像的传感器，诸如将设备的图像或视频帧作为图像106提供到神经网络102的摄像机。可选的是，控制系统700包含存储对于神经网络102的图像106的存储器704，诸如计算机硬盘驱动器、光盘等。

[0065] 神经网络102能够自动识别图像中的对象（诸如在涡轮叶片上的热障被覆层中的剥落或裂缝），自动识别在移动车辆附近的人员或其它对象等。被识别的对象能够被传递到自动化供能系统（powered system）708的控制器706。控制器706表示包含一个或多个处理器（例如，一个或多个微处理器、现场可编程门阵列、集成电路等）和/或与所述一个或多个处理器连接的硬件电路系统。控制器706控制供能系统708的操作，其能够表示操作以响应于由神经网络102识别的异常而（诸如通过喷射添加剂到组件的被覆层上、通过替换组件等）修复组件的自动化机器人系统。可选的是，控制器706能够改变行驶的方向和/或减慢或停止车辆的移动（其是或其包含供能系统708）以避免与由神经网络102识别的对象冲突。

[0066] 在一个实施例中，系统包含配置成接收表示在图像掩膜中的一个或多个选择的区域的输入的一个或多个处理器。一个或多个处理器配置成通过组合图像掩膜与设备的未标记图像，形成标记掩蔽图像。一个或多个处理器还配置成使用标记掩蔽图像训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏和/或生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的一个或多个实际图像中出现的设备损坏。

[0067] 可选的是，一个或多个处理器配置成接收表示人工异常将在标记掩蔽图像中在设备上何处出现的位置的输入。

[0068] 可选的是，设备包含涡轮引擎，并且一个或多个选择的区域指示在涡轮引擎上的位置，其中涡轮引擎的被覆层的损坏将在标记掩蔽图像中出现。

[0069] 可选的是，标记掩蔽图像的像素以由像素表示的对象的指示来标注。

[0070] 可选的是，未标记图像的像素不以由像素表示的对象的指示来标注。

[0071] 可选的是，图像掩膜是包含在标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。

[0072] 可选的是，在标记掩蔽图像中出现的区域的类型的第一类型是设备的损坏的人工外观，并且在标记掩蔽图像中出现的区域的类型的第二类型是未标记图像的未改变的部分。

[0073] 在一个实施例中，方法包含接收表示在图像掩膜中的一个或多个选择的区域的输入；通过组合图像掩膜与设备的未标记图像，形成标记掩蔽图像；以及使用标记掩蔽图像训练人工神经网络，以进行以下的一个或多个：自动识别在设备的一个或多个实际图像中出现的设备损坏，或者生成一个或多个训练图像以用于训练另一人工神经网络以自动识别在设备的一个或多个实际图像中出现的设备损坏。

[0074] 可选的是，收到的输入表示人工异常将在标记掩蔽图像中在设备上何处出现的位置。

[0075] 可选的是，设备包含涡轮引擎，并且一个或多个选择的区域指示在涡轮引擎上的位置，其中涡轮引擎的被覆层的损坏将在标记掩蔽图像中出现。

[0076] 可选的是，标记掩蔽图像的像素以由像素表示的对象的指示来标注。

[0077] 可选的是，未标记图像的像素不以由像素表示的对象的指示来标注。

[0078] 可选的是，图像掩膜是包含在标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。

[0079] 可选的是，在标记掩蔽图像中出现的区域的类型的第一类型是设备的损坏的人工外观，并且在标记掩蔽图像中出现的区域的类型的第二类型是未标记图像的未改变的部分。

[0080] 在一个实施例中，系统包含配置成接收设备的实际图像的一个或多个处理器。实际图像不包含由实际图像中的每个像素表示什么对象的标注。一个或多个处理器还配置成获得图像掩膜，图像掩膜表示在其中设备的损坏将出现的一个或多个选择的区域。一个或多个处理器配置成通过组合实际图像与图像掩膜，生成标记掩蔽图像。标记掩蔽图像包含由来自图像掩膜的一个或多个选择的区域中的多个像素表示什么对象的标注。

[0081] 可选的是，一个或多个处理器配置成使用标记掩蔽图像训练人工神经网络以自动识别在设备的一个或多个附加的图像中出现的设备损坏。

[0082] 可选的是，一个或多个处理器配置成生成一个或多个训练图像，以用于训练人工神经网络以自动识别在设备的一个或多个附加的图像中出现的设备损坏。

[0083] 可选的是，设备包含涡轮引擎，并且一个或多个选择的区域指示在涡轮引擎上的位置，其中涡轮引擎的被覆层的损坏将在标记掩蔽图像中出现。

[0084] 可选的是，图像掩膜是包含在标记掩蔽图像中出现的两个不同类型的区域的二进制掩膜。

[0085] 可选的是，在标记掩蔽图像中出现的区域的类型的第一类型是设备的损坏的人工外观，并且在标记掩蔽图像中出现的区域的类型的第二类型是未标记图像的未改变的部分。

[0086] 如本文所使用，以单数形式叙述并以单词“a”或“an”继续进行的元素或步骤应理解为不排除多个所述元素或步骤，除非这种排除被明确陈述。此外，对当前描述的主题的“一个实施例”的引用没有意图解释为排除也包含所述特征的附加实施例的存在。此外，除非相反地明确陈述，否则，“包括”或“具有”含特定特性的元素或多个元素的实施例可包含不具有那个特性的附加的此类元素。

[0087] 要理解，上面描述意图是说明性的而不是限制性的。例如，上述实施例（和/或其方面）可彼此结合使用。另外，可进行许多修改以使特定情形或材料适合本文所阐述的主题的教导，而不背离其范围。虽然本文所述材料的尺寸和类型意图定义所公开主题的参数，但是它们决不是限制性的，而是示范性的实施例。在审阅上面描述时，许多其它实施例对于本领域的技术人员将是显而易见的。因此，应参考所附权利要求书连同这类权利要求书所被赋予的等同物的全部范围来确定本文描述的主题的范围。在所附权利要求书中，术语“包含”和“其中”用作相应术语“包括”和“在其中”的易懂英语等同物。此外，在下面权利要求书中，术语“第一”、“第二”和“第三”等只用作标记，而不是意图对其对象强加数字要求。此外，下面的权利要求书的限制没有以方法加功能形式来书写并且不意图基于35 U.S.C.§ 112（f）来解释，除非并且直到这类权利要求限制确切地使用后面是缺乏进一步结构的功能陈述的短语“用于……的部件”。

[0088] 本书面描述使用包含最佳模式的示例来公开本文所阐述的主题的若干实施例，并且还使本领域的任何技术人员能够实施所公开的主题的实施例，包含制作和使用装置或系统以及执行方法。本文描述的主题的可取得专利的范围由权利要求书限定，并且可包含本领域的技术人员想到的其它示例。如果这类其它示例具有没有不同于权利要求书的文字语言的结构元件，或者如果它们包含具有与权利要求书的文字语言的无实质差异的等效结构元件，则它们意图处于权利要求书的范围之内。

标题	发布/更新时间	阅读量
用于求取车辆的车灯的状态的方法和设备	2020-05-08	485
基于通信受限的神经网络系统远程状态估计方法及装置	2020-05-12	704
一种基于前车与自车互动的短期车速工况实时预测方法	2020-05-14	311
用于执行LSTM运算的装置和方法	2020-05-14	598
一种快速建模的方法	2020-05-08	753
一种基于人工神经网络的高速公路智能预养护方法及系统	2020-05-08	1363
基于人工神经网络的视觉测试系统	2020-05-14	504
一种非线性动态质量系统预测方法	2020-05-12	668
数据流重构方法及可重构数据流处理器	2020-05-08	88
一种基于大数据技术的市场评估分析方法	2020-05-12	126

神经网络训练图像生成系统

神经网络训练图像生成系统

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：