用神经网络对热成像图像进行处理以鉴定保温层下腐蚀
(CUI)
技术领域
[0001] 本
发明涉及检查技术，尤其是涉及其中用神经网络使用热成像
图像处理来鉴定保温层下腐蚀(CUI)的方法和系统。
背景技术
[0002] 保温层下腐蚀(CUI)是其中诸如金属管之类的保温结构在保温层下面的金属表面上受到腐蚀的情况。由于保温层
覆盖物通常会包围整个结构，无法轻易观察到腐蚀，因此检测CUI具有挑战性。CUI的典型原因是
水分积聚，渗入保温材料中。水会积聚在保温层和金属表面之间的环形空间中，从而导致表面腐蚀。可引起腐蚀的水源包括雨水、漏水和冷凝、
冷却水塔漂流、雨淋系统和
蒸汽伴热
泄漏。虽然腐蚀通常是局部开始的，但是如果水介质中存在重复热循环或的污染物(如氯化物或酸)，则腐蚀会高速进展。
[0003] 研究表明，管道维护成本的40％至60％是由CUI产生的。当未检测到CUI时，其结果可导致工艺设备或整个设施的关闭，并且可导致灾难性事件。由于它是一种隐藏的腐蚀机制，因此在移除保温层或使用先进的NDT(非破坏性试验)技术(如红外热成像)确定保温层下方的金属状况之前，仍然没有注意到损坏。移除保温层可能是一个耗时且昂贵的过程，而由于大量变量(例如，几何、环境、材料相关的变量)会在检测过程中产生
假阳性(不正确地检测到腐蚀)和假阴性(不正确地未检测到腐蚀)，因此准确的NDT技术可能还不够。
[0004] 因此，需要在NDT检测工艺中进行改进，以使外部变量和混杂变量能够得到更适当的考虑，从而提高CUI检测的准确性。
发明内容
[0005] 本发明的
实施例提供了一种用于鉴定结构中的保温层下腐蚀(CUI)的计算机实现的方法。该方法包括：a)使用红外
辐射传感器接收从结构捕获的热图；b)使用第一
机器学习系统将一个或多个
滤波器应用于热图；c)基于来自所述一个或多个滤波器的输出初始确定CUI分类；d)通过对所述结构的检查来验证初始CUI分类；e)基于验证的结果训练第一机器学习系统的滤波器；f)对附加热图数据重复步骤a)至e)，直到达到CUI分类准确性的第一
阈值。在进一步的步骤中，将第一机器学习系统的输出以及与结构和环境条件有关的附加数据输入第二机器学习系统中，第二机器学习系统将来自早期状态的信息合并到当前状态中，并且训练第二机器学习系统根据第一机器学习系统的输出和附加数据随时间的变化鉴定CUI，直到达到CUI分类准确性的第二阈值。在达到所述第一和第二阈值之后，使用所述第一和第二机器学习系统基于当前热图和附加数据协同鉴定所述结构中的CUI。
[0006] 在一些实施例中，第一机器学习系统包括
卷积神经网络。卷积神经网络的实施方式可包括多个分级分层，每个分级分层包括卷积阶段、非线性函数阶段和汇集阶段。
[0007] 在一些实施例中，第二机器学习系统包括
递归神经网络。
[0008] 在一些实施方式中，输入到第二机器学习系统的附加数据包括环境
温度、结构的物理特性以及随时间测量的天气状况。有利地，可以训练第一和第二机器学习系统鉴定与来自所述结构外部的物体的红外辐射的反射有关的假阳性结果。
[0009] CUI的鉴定可以包括鉴定所述结构在保温层下的易损区域，所述易损区域很可能限制水分。在一些实施方式中，使用以下至少两种技术来进行验证：脉冲
涡流评价、目视检查、保温层移除和壁减薄的超声测试。
[0010] 在其他实施方式中，包括预处理所述热图数据和所述附加数据，以对分类变量进行编码并且对连续变量进行归一化。热图数据、环境变量和结构信息可以矢量化，并用作神经网络的输入。
[0011] 本发明的实施例还提供了一种用于鉴定结构中的保温层下腐蚀(CUI)的系统，该系统包括：包括通信模
块的红外摄像机，所述通信模块
定位成以便捕获从所述结构发出的红外辐射，并适于经由所述通信模块传输所述捕获的辐射的热图；以及包括处理器、
存储器和通信模块的
计算机系统。计算机系统的处理器配置为执行进行以下步骤的程序：i)使用第一机器学习系统，将一个或多个滤光器应用于经由通信模块从红外摄像机接收的热图；ii)基于来自所述一个或多个滤波器的输出初始确定CUI分类；iii)通过对所述结构的检查来验证初始CUI分类；并且iv)基于验证的结果训练第一机器学习系统的滤波器。处理器配置为用附加热图数据重复步骤i)至iv)，直到达到CUI分类准确性的第一阈值为止。将第一机器学习系统的输出以及与结构和环境条件有关的附加数据输入第二机器学习系统，所述第二机器学习系统将来自早期状态的信息合并到当前状态中。训练所述第二机器学习系统根据所述第一机器学习系统的输出和所述附加数据随时间的变化来鉴定CUI，直到达到CUI分类准确性的第二阈值为止。在达到所述第一和第二阈值之后，使用所述第一和第二机器学习系统基于当前热图和附加数据协同鉴定所述结构中的CUI。
[0012] 可使用本文公开的各种实施例和实施方案的任何组合。
[0013] 这些和其它方面、特征和优点可从本发明的某些实施例和
附图以及
权利要求的以下描述中了解。
附图说明
[0014] 图1是根据本发明实施例，用于使用热成像检测CUI的系统的示意图。
[0015] 图2是根据本发明的实施例，用神经网络进行热图像处理以鉴定CUI的方法的示意图。
[0016] 图3是可以在本发明的上下文中使用的示例性卷积神经网络的示意图。
[0017] 图4是示出如何将卷积应用于图像数据的实例的示意图。
[0018] 图5是可以在本发明的上下文中使用的示例性递归神经网络(RNN)500的示意图。
[0019] 注意，附图是说明性的，不一定是按比例绘制的。
具体实施方式
[0020] 本文公开的实施例涉及一种用于预测检测保温层下腐蚀(CUI)的系统和方法，其考虑了所有相关和独立的周围变量。该方法包括随时间推移使用多个IR(红外)摄像机捕获结构的热图像数据(热图)，处理和分析热图数据以形成关于结构中是否存在一个或多个指示腐蚀的异常的初始确定，进行后续检查(验证)以评估初始异常分析的准确性。验证过程的结果将在有监督的训练过程中反馈，以提高随时间进行的异常分析和分类的准确性。可以使用电磁NDT对通
过热成像技术发现的异常进行其他评价，以找到相关关系并增加CUI检测的可能性。
[0021] 分析和训练的主要目的是使学习系统能够根据当前的环境、结构和实验参数正确地区分异常。在此过程中考虑了大量参数，以防止假阳性和假阴性的确定。作为示例，在结构直接暴露于阳光时检测到结构上的热点不是异常情况。相反，如果在没有阳光和/或其他预计可能产生热点的外部条件下出现热点，则可以得出初始结论，即保温层已经以某种方式受到损害。在后一种情况下，记录异常，然后在检查之后生成报告以训练关于验证所记录的异常是否是对CUI的准确鉴定的
算法。重复进行后，验证和反馈会使
软件随时间的推移变得更加“智能”。
[0022] 可以无限制地使用许多呈不同组合的不同机器学习算法。已证实特别有用的机器学习过程的一个实施例包括“卷积”(CNN)和“递归”(RNN)神经网络的组合。CNN对于根据图像拓扑将热图像分层为抽象级别特别有用，而RNN对于随时间的推移检测图案特别有用。两个因素都很重要，因为重点是既要检测热点，又要确定其随时间的变化。另外，在一些实施例中，诸如“Adaboost”之类的增强算法可以连同CNN和RNN一起使用，以便以更高的计算时间为代价获得更高的准确性。由于错误的代价非常高，因此以牺牲计算时间为代价提高准确性是可以接受的权衡方案。
[0023] 图1是根据本发明实施例，用于使用热成像检测CUI的系统100的示意图。要测试CUI的示例性结构102包括保温层110围绕的管道105。保温层可包括带有薄金属包裹物的
泡沫层，或任何其他常规的结构保温层。存在位于在管道105的外表面和保温层110之间的接合处的界面115，水可以在其中积聚并引起下面的管道腐蚀和降解。在图1的说明中，示出了在管道表面122、124上累积了腐蚀的两个区域。
[0024] 为了检测保温层下方的腐蚀，安装在可移动平台135(如三
脚架)上的红外摄像机130定位为捕获以各种纵向
位置和
角度从结构102发射的红外辐射，以便捕获来自结构的整个长度和周长的数据。在适合处于难以接近的位置的结构(如高架管道安装)的替代实施例中，红外摄像机130可安装在无人
飞行器(例如，无人机)上。
无人飞行器可由检查人员远程控制，行进到处于此类位置的目标结构上，以收集热图像数据。平台135或UAV可包括用于检测包括湿度、气压和
风速在内的环境条件的附加传感器。由红外摄像机130捕获的红外辐射的热图像或热图揭示了在保温层下方的在可见
光谱辐射中无法检测到的温度差和
对比度。
更具体地说，管道表面上的IR热图案是由从温热内管通过保温层传导到外包裹物的热量产生的。
[0025] 红外摄像机130优选捕获代表在
选定的(长)持续时间内从结构103的区域连续接收的红外辐射的热图。摄像机130适于将热图转换成计算机可读文件格式(即，图1所示的热图文件137)。优选地，热图文件135通过无线通信模式(例如，蓝牙、Wi-Fi)传输到现场计算机系统140，以进行进一步处理。在其他实施方式中，热图文件135可以通过有线连接进行传输，或者可替代地可存储在红外摄像机处的存储介质(例如，SD卡、闪存
驱动器)中，然后手动传送到计算机系统140。
[0026] 计算机系统140可以是
平板电脑、膝上型计算机、智能电话或能够执行用于训练机器学习算法以检测CUI的程序的任何其他
便携式计算设备，如以下关于图2更详细地讨论的。计算机系统与
数据库145通信耦合，该数据库用于长期存储热图数据。由于在结构上的各个位置在长时间(例如，几分钟到几小时)内拍摄了许多热图，因此热图数据集可能需要计算机系统140的大量存储器资源(例如，千兆字节(GB)为到兆兆字节(TB)的范围)。可以进行从计算机系统140到数据库145的定期归档，以释放计算机系统140中的存储器。
[0027] 在一些实施方式中，优选检查人员遵循某些经验法则以获得最佳可能结果。例如，优选在日落之后进行IR检查，以防止保温层覆盖物的太阳光反射。还优选考虑并最小化来自外部来源(如地面)的热发射和反射。
[0028] 图2是根据本发明的实施例，用神经网络进行热图像处理以鉴定CUI的方法的示意图。在较高层面的概述方面，该方法包括三个连续阶段：数据捕获阶段202，接着是图像处理和分析阶段204，接着是验证阶段206。将验证阶段206获得的信息反馈到图像处理和分析阶段204。数据捕获阶段202涵盖设置一种设备以从目标结构捕获热图像数据以及测定环境条件数据。例如，数据捕获阶段202可以涉及设置红外摄像机212以在选定的持续时间内获取特定
分辨率的图像，将IR摄像机214安装在目标结构附近或安装在移动交通工具(例如，无人机)上，在结构上定义特定的目标区域216以捕获热图像，并测定环境参数218，如湿度、气压、风速等。
[0029] 图像处理和分析阶段204包括将热成像图像数据输入到机器学习算法中，该算法将结构目标区域的图像分类为各种类别，并且能够初始鉴定这些图像是否显示目标区域的异常状况222。异常状况表明在结构的目标区域中可能存在CUI。在训练过程中，因为将热图用作
训练数据，所以初始确定不是决定性的。在后续验证过程206中，可以使用多种技术来确定机器学习算法的初始确定是否正确。各种技术可以包括脉冲涡流评价232、目视检查234、保温层移除236、壁减薄的超声测试238，这些技术的任何组合以及其他但不限于此，以形成关于结构目标区域中是否存在CUI的明确结论。因此，在学习过程中，可以使用破坏性或非破坏性技术来验证是否存在CUI。
[0030] 将初始鉴定和验证之间的差异反馈到机器学习算法224中，以更新激活(用于热图和环境数据的各种输入参数的权重)，其目的是根据有监督的学习过程的技术
优化算法。一旦机器学习算法的准确性提高到足够水平，就不再进行验证，并且使用图像处理和分析阶段204直接检测和鉴定CUI。图像处理和分析阶段可以采用多种有监督的机器学习算法和技术中的任何一种或多种，包括但不限于卷积神经网络、递归神经网络、
集成学习和增强方法(如Adaboost)、
决策树和
支持向量机。
[0031] 在一个有利的实施例中，使用卷积神经网络(CNN)对捕获的热图数据进行分级分类。在这之后，使用递归神经网络(CNN)处理在相当长的时间内捕获的热图数据。在一些实施方式中，增强算法可以连同CNN和RNN一起使用，以便实现更高的准确性。虽然增强算法增加了计算的总数，因此增加了计算时间，但由于错误鉴定的成本高昂，附加准确性是更为重要的因素。
[0032] 在本发明的一些实施例中，进行预处理阶段。在预处理阶段，对神经网络算法的输入(包括热图和环境数据)进行编码和/或归一化。可以将分类(即，限制为少量可能的离散值)的变量进行一次热编码，然后将其送到神经网络。可替代地，将连续(即，可以具有大量可能的值)的变量归一化，并且将连续变量的平均值转变为零，然后送到神经网络中。
[0033] 预处理阶段的输出是所有输入的合并。可以使用各种技术(或其组合)来实现合并，例如，包括：a)将变量彼此
串联(例如，将环境变量附加到热图上，就像它们是图像的扩展部分一样)；b)将每个输入展平为n维向量，然后将n维向量串联为单个长向量；和/或c)应用可以使用附加网络实现的
编码器，将所有输入压缩或缩减为单个输入，之后将其送入到主网络中。所有输入变量(包括热图数据、环境或其他变量)都经过相同的预处理程序。CNN操作以相对于不太相关的变量强调和突出相关变量。
[0034] 图3中示出了可以在本发明的上下文中使用的示例性卷积神经网络(CNN)300的示意图。在所示的实例中，CNN 300接收图像302的局部部分作为输入。如图所示，CNN 300包括三个分层级别312、314、316。注意，可以使用更少或更多数量的分层级别。第一分层级别312包括三个并行处理路径，每个处理路径又包括三个不同的处理阶段。可以通过在单个级别上解释单个处理路径的阶段来阐明该复杂方案。现参考第一分层级别上最左边的路径，第一卷积阶段322将第一卷积函数(滤波器)应用于输入的图像数据。注意，其他处理路径对输入图像的另一局部区域进行操作。每个分层级别可以对其接收到的数据应用不同的卷积函数，以更好地鉴定图像中的特征。滤波器可以例如通过平均化而使相邻图像值之间的对比度模糊，或者相反，一些滤波器可以增强差异以使边缘清晰。每个滤波器都会将较低级别特征的局域斑块组成较高级别的表示形式。以这种方式，可以从
像素辨别出边缘，可以从边缘辨别出形状，等等。图4示出了如何将卷积应用于图像数据的实例。在图4中，示出了像素值410的5×5平方样品，通过使卷积矩阵420在样品值410的值上滑动，可以向其施加卷积矩阵
420或“窗口”。在所示的实例中，卷积矩阵是一个3x3的矩阵函数，该函数将在对角线上的所有值乘以1，将不在对角线上的所有值乘以零。将受到卷积矩阵作用的图像样品的每个3x3部分的总和提供给输出矩阵430。然后，将输出矩阵430作为输出送到分级分层的下一阶段。
[0035] 分级分层312的下一阶段将非线性函数324应用于卷积阶段的数据，如ReLU(修正线性单元)或双曲正切函数(tanh function)。该阶段可以表示为yi,j＝f(ai,j)，其中f表示非线性函数，而ai,j表示来自卷积阶段的输出矩阵的第i行第j列的像素。非线性函数阶段324的输出因此是从卷积阶段322输出的矩阵的
修改版本。分层级别312的最后阶段是可用于简化数据的汇集阶段326。例如，汇集阶段可以应用最大值函数，以仅输出来自非线性阶段的输出矩阵的多行和多列像素的非线性函数的最大值。在简化数据之后，可以将所有三个处理路径的汇集阶段的输出相加，然后输入到下一分级分层314的处理路径之一的卷积阶段332。在分级分层314中，相似或不同的卷积矩阵可用于处理从第一分级分层312接收的数据，并且相同或不同的非线性函数和简化函数可在随后的非线性阶段334和汇集阶段336中使用。来自第二分级分层314的并行处理路径的输出可以类似地汇集，然后作为输出矩阵提供给第三分级分层316，在其中进行进一步处理。最终输出350可以解释为类别标签概率，或者换句话说，解释为图像最可能的分类。分类可以包括不同类型的指示温度差和可能的CUI的热点。
[0036] CNN通过验证和反向传播学习。这等效于设置输出端350的值，然后将算法从较高的分级分层向下运行到较低的分层，并使用优化函数修改卷积矩阵以产生更好的结果。训练后，CNN应该能够将输入的热图准确地分类为预设类别之一，如热点、非热点等。
[0037] 虽然CNN是一种用于根据热成像图像拓扑将输入图像分层为抽象级别的有效且有用的方法，但它并不是最适合随时间推移检测图案的方法。因此，本发明的实施例采用与CNN相关联的递归神经网络(RNN)以改善基于时间的图案鉴定。
[0038] 图5是可以在本发明的上下文中使用的示例性递归神经网络(RNN)500的示意图。RNN 500包括多个分层，其中明确示出了三层502、504、506。参照第二层504最好地解释RNN。
在该层中，xt是时间步骤t处该层的输入。输入xt512可以是值的向量或矩阵。St 514表示在时间步骤t的隐藏状态。隐藏状态可以视为RNN的“内存”。基于先前的隐藏状态和当前步骤的输入来计算隐藏状态：st＝f(Uxt+Wst-1)。函数f通常是非线性函数，如tanh或ReLU。通常将第一隐藏状态初始化为全零。通过参数向量V修改St以得出Ot，它是步骤t的输出。Ot可以解释为下一状态s+1的概率矩阵或向量。RNN 500在所有步骤中共享相同的参数(上面的U、V、W)。这反映了以下事实：在每个步骤执行每个步骤的相同任务，但输入不同。这样减少了要学习的参数的总数，因此也减少了处理时间。虽然在所示实例中，每一层在每个时间步骤都有输出，但这不是必需的，因为在某些实施方式中，仅关注最终输出。
[0039] RNN可用于检测热图随时间的变化，并说明环境变量。这些变量可以与热图数据一起作为参数引入RNN中。要考虑的最重要的变量可以分为四大类别：i)环境条件，ii)目标结构的条件，iii)鉴定出的任何CUI的条件，以及iv)IR摄像机相对于该结构的配置。例如，分析中要考虑的环境条件包括但不限于随时间变化的
环境温度，结构内的
流体温度，包括降雨量、灰尘和风速在内的天气状况，一年中的时间以及在该位置的日照量。结构条件包括但不限于：结构和保温层的尺寸，保温层的类型和物理特性，接缝、肘部、盲管段等的排列以及裸露表面的光学特性，结构金属的反射率和任何观察到的
缺陷(例如，保温层中的空隙)。鉴定出的任何CUI的条件包括但不限于CUI的位置(向上或向下)和生长方向，以及CUI相对于未受损区域的分布情况。红外摄像机配置的主要因素是红外摄像机与结构之间的距离。
[0040] 使用各种热图和条件随时间变化的趋势信息，可以进行更深级别的分析。例如，分析可以集中在：结构上各个位置的温度差数据(例如热点、异常)的相关或可区分程度；温度和异常随时间变化的总体趋势；随时间变化的功能是出现、消失还是退化；影响是否更可能是由于外部发射率和反射而不是CUI条件引起的。
[0041] 在一些实施例中，诸如Adaboost之类的增强算法可以连同CNN和RNN一起使用，以便以附加计算为代价获得更高的准确性。增强通常用于组合和改进“弱学习者”成为“强”学习者，这些“弱学习者”是即使在训练之后，也具有高错误率鉴定的机器学习算法。Adaboost将弱学习算法的输出组合成表示增强分类器的最终输出的加权和。任何给定算法的权重均基于该算法的准确性。虽然通常可以将CNN和RNN训练成为强学习者，但有利的是增加增强法以进一步确保准确性，因为错误的代价非常高。以牺牲计算时间为代价提高准确性可以是可以接受的权衡方案。此外，增强法在设计阶段对于测试CNN和RNN可能很有用。
[0042] 本发明提供了许多使得能够准确检测CUI的优点。通常，水和潮湿点通常容易干燥而不会及时被检测出。但是，通过红外成像连续监测，可以捕获和鉴定限制水和潮湿点的易损位置。本发明的方法使得可以根据监测结果和图像处理结果来实施的年度检查计划的预算成为可能。监测方法本质上也是安全的，并且该方法的自动化消除了人工检查的误差。只要管道中的温度与环境温度完全不同，IR评价方法通常即可达到所需标准。可以使用其他技术(例如，脉冲涡流(PEC))，使用相关方法进一步评价通过IR发现的异常。另外，IR成像可用于寒冷天气的应用中以检测保温层失效和结
冰。
[0043] 应当理解，本文所公开的任何结构和功能细节不应被解释为限制所述系统和方法，而是作为用于教导本领域技术人员实施所述方法的一种或多种方式的代表性实施例和/或布置方式来提供。
[0044] 本文所述的方法可以在有形存储介质上通过机器可读形式的软件，例如以
计算机程序的形式执行，该计算机程序包括计算机程序代码装置，该计算机程序代码装置适于在程序运行时执行本文所述的任何方法的所有步骤，并且其中所述计算机程序可以体现在计算机可读介质上。有形存储介质的实例包括计算机存储设备，该计算机存储设备包括诸如磁盘、拇指驱动器、存储器等计算机可读介质，不包括传播的
信号。传播的信号可存在于有形存储介质中，但是传播的信号本身并不是有形存储介质的实例。软件可适于在并行处理器或串行处理器上执行，使得可以以任何合适的顺序或同时进行所述方法步骤。
[0045] 应进一步理解，贯穿几个附图，在附图中相同的数字表示相同的元件，并且对于所有实施例或布置不是需要所有的参考附图描述和说明的组件和/或步骤
[0046] 本文所使用的术语仅出于描述特定实施方案的目的，并且不旨在限制本发明。如本文所用，除非上下文另外清楚地指明，否则单数形式“一(a/an)”和“所述(the)”意图还包括复数形式。将进一步理解，术语“包含(comprises)”和“包含(comprising)”在用于本
说明书中时
指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但并不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。
[0047] 本文所用的取向术语仅用于约定和参考的目的，而不应被解释为限制性的。然而，应认识到，这些术语可参考观看者使用。因此，不暗示或推断出任何限制。
[0048] 此外，本文所用的措词和术语是出于描述的目的并且不应被视为限制性的。本文“包含”、“包括”或“具有”、“含有”、“涉及”和其变化形式的使用意指涵盖在其后所列出的项目和其等效物以及附加项目。
[0049] 虽然已参考例示性实施例描述了本发明，但本领域的技术人员应了解，在不脱离本发明范围的情况下可以进行不同的改变并且其多种元素可以由多种等效物代替。此外，在不脱离本发明的基本范围的情况下，所属领域的技术人员将理解许多修改以使特定仪器、情形或材料适于本发明的教示。因此，不希望本发明限于作为预期用于实施本发明的最佳模式来公开的具体实施例，但本发明将包括属于所附权利要求书的范围内的所有实施例。
