基于卷积神经网络的智能钢渣检测方法和系统
阅读：930发布：2024-01-11
专利汇可以提供基于卷积神经网络的智能钢渣检测方法和系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于卷积神经神经网络的智能 钢 渣检测方法和系统，包括钢渣 图像识别 、钢流目标检测、彩色钢渣 图像分割 步骤：以 视频 帧 图像中的彩色钢渣图像为对象，采用基于改进的AlexNet 卷积神经网络 的图像识别方法识别出彩色钢渣图像；对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而准确检测出钢流夹渣情况；基于Lab 颜色 空间的K均值聚类 算法 对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从 钢 水 中完全分离。利用 可视化 用户界面 系统，进行钢渣可视化检测。本发明简便易行成本低，能够将钢渣和钢水进行区分，避免误检，提高钢渣图像的实时识别 精度 ，提高钢水的纯净度。，下面是基于卷积神经网络的智能钢渣检测方法和系统专利的具体信息内容。
1.一种基于卷积神经神经网络的智能钢渣检测方法，其特征在于包括如下顺次执行的步骤：
钢渣图像识别：利用红外探测器和摄像机，获取包含钢流和钢渣亮度信息的钢渣视频帧图像；以视频帧图像中的彩色钢渣图像为对象，采用基于改进的AlexNet卷积神经网络的图像识别方法识别出彩色钢渣图像；
钢流目标检测：对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而准确检测出钢流夹渣情况；
彩色钢渣图像分割步骤：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题，基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从钢水中完全分离。
2.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于钢渣图像识别步骤中，基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：
选取样本图片进行样本数据分类，样本图片中的一大部分作为训练集，剩余的部分作为测试集，将样本图片分为正样本和负样本两类，将正样本命名为“have”，表示钢渣含量多，负样本命名为“no”，表示钢渣含量少；
搭建tensorflow和keras深度学习框架，利用这两个框架来创建改进的AlexNet卷积神经网络模型；
进行图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；导入Python中的os、numpy、matplotlib库；
定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；
将所有的训练集图片和测试集图片转换为numpy数组；
将训练集数据和测试集数据存储到h5文件；
导入数据集，对数据集进行测试并将部分数据集可视化；
训练AlexNet网络模型，对AlexNet网络模型进行改进；
利用训练好的AlexNet网络模型得到最优识别精度。
3.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于钢渣目标检测步骤中，基于YOLOv3卷积神经网络模型的目标检测方法包括如下步骤：首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；
最后，通过非极大值抑制算法过滤边界框，得到最优结果。
4.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于彩色钢渣图像分割步骤中，首先，将RGB颜色空间通过变换转到均匀的Lab颜色空间；然后，利用k均值聚类算法对图像进行预处理以实现了钢渣与背景的初步分离；最后，将背景像素点占整幅图像的比例作为权重引入到目标方程式中，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割，将钢渣较为准确的从钢流中分离出来。
5.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割括如下具体步骤：
将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；
设置阈值t；
将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；
根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；
根据最佳阈值进行图像分割，输出分割图像。
6.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于利用可视化用户界面系统，进行钢渣可视化检测；步骤如下：
新建主窗口；
将ui文件转为py文件；
调用函数文件；
布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；
当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
7.一种基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块和可视化用户界面系统；
所述图像识别模块设置为利用基于改进的AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析由红外探测器和摄像机获取的图像，所述改进的AlexNet卷积神经网络共有：卷积层5个、池化层5个、全连接层2个，使用RELU函数作为CNN的激活函数，训练时使用Dropout随机忽略一部分神经元，在CNN中使用重叠的最大池化；
所述目标检测模块设置为基于YOLOv3卷积神经网络模型，利用基于YOLOv3卷积神经网络模型的目标检测方法对图像识别模块识别出的彩色钢渣图像进行检测，将钢流从复杂的背景中检测出来；
所述图像分割模块设置为利用基于Lab颜色空间的K均值聚类算法对目标检测模块处理后的彩色图像进行预处理，并利用改进的Otsu方法的图像分割算法对彩色钢渣图像进行分割时，将钢渣从钢水中完全分离；
所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
基于卷积神经网络的智能钢渣检测方法和系统
技术领域
[0001] 本发明属于钢渣检测技术领域，具体涉及一种基于卷积神经网络的智能钢渣检测方法和系统。
背景技术
[0002] 要产生高质量、高附加值的钢铁，严格控制钢渣进入下一道工序是必不可少的，如铁水脱硫扒渣和转炉炼钢是炼钢过程中不可或缺的工艺环节。铁水脱硫扒渣是铁水预处理工艺。脱硫过程需加入脱硫剂，脱硫后会在铁水表面漂浮一层残渣，在铁水入炉前，需要用扒渣机将料渣扒出。铁水脱硫决定了处理终点铁水含硫的水平，而扒渣是将脱硫处理后的高硫渣从铁水中去除的重要手段，是决定入炉硫总量的主要因素。为了满足转炉对高质量铁水的需求、缩短冶炼时间以及有效去除钢渣，因此在转炉炼钢之前检测出铁水中的钢渣是十分必要的。因此，在铁水脱硫扒渣以及转炉炼钢工艺环节中，检测出钢水中的钢渣也具有重要意义。
[0003] 目前国内外钢渣检测的方法很多，如人眼观测法、称重检测法、电磁检测法、超声波检测法、红外检测法。而在这些方面应用中都或多或少的存在一些不足。人眼观测法具有较大的主观性，需要操作工人具有丰富的操作经验；称重检测法主要以多次浇注的钢水质量的平均值作为参考值来选择是否关闭水口，参考值将直接影响检测结果，设置过高导致钢流含渣超标，设置过低导致资源浪费；电磁检测方法要在出钢口附近安装特质线圈，由于出钢口温度高，导致该线圈使用寿命短，因此改造和维护费用很高；超声波检测方法使用的探头工作环境温度高达1500℃左右，改造费用以及恶劣的环境对设备维护费用提出较高的要求；红外检测法在检测中钢流不能被遮挡，为了避免钢流的遮挡情况发生，必须除去长水口，而这样就会引起钢水的二次氧化；由于炼钢现场的环境恶劣，存在多种外界振动干扰信号，其检测的准确率容易受到影响。
[0004] 此外，视觉检测在钢渣检测的应用，如红外检测方法，目前在图像处理阶段一般是用分割方法进行，也只能把钢渣和钢水一起检测出来，并没有达到最终目的，因而对钢渣检测的效果并不理想。
发明内容
[0005] 本发明要解决的技术问题是提供一种基于卷积神经神经网络的智能钢渣检测方法和系统，简便易行成本低，能够将钢渣和钢水进行区分，避免误检，提高钢渣图像的实时识别精度，提高钢水的纯净度。
[0006] 为解决上述技术问题，本发明提供如下技术方案：
[0007] 一种基于卷积神经神经网络的智能钢渣检测方法，其特征在于包括如下顺次执行的步骤：
[0008] 钢渣图像识别：利用红外探测器和摄像机，获取包含钢流和钢渣亮度信息的钢渣视频帧图像；以视频帧图像中的彩色钢渣图像为对象，采用基于改进的AlexNet卷积神经网络的图像识别方法识别出彩色钢渣图像；
[0009] 钢流目标检测：对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而降低复杂背景对检测目标的影响；
[0010] 彩色钢渣图像分割：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题，基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从钢水中完全分离。
[0011] 进一步的，钢渣图像识别步骤中，基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：
[0012] 选取样本图片进行样本数据分类，样本图片中的一大部分作为训练集，剩余的部分作为测试集，将样本图片分为正样本和负样本两类，将正样本命名为“have”，表示钢渣含量多，负样本命名为“no”，表示钢渣含量少；
[0014] 进行图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；导入Python中的os、numpy、matplotlib库；
[0015] 定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；
[0016] 将所有的训练集图片和测试集图片转换为numpy数组；
[0017] 将训练集数据和测试集数据存储到h5文件；
[0018] 导入数据集，对数据集进行测试并将部分数据集可视化；
[0019] 训练AlexNet网络模型，对AlexNet网络模型进行改进；
[0020] 利用训练好的AlexNet网络模型得到最优识别精度。
[0021] 进一步的，钢渣目标检测步骤中，基于YOLOv3卷积神经网络模型的目标检测方法包括如下步骤：首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；最后，通过非极大值抑制算法过滤边界框，得到最优结果。
[0022] 进一步的，彩色钢渣图像分割步骤中，首先，将RGB颜色空间通过变换转到均匀的Lab颜色空间；然后，利用k均值聚类算法对图像进行预处理以实现了钢渣与背景的初步分离；最后，将背景像素点占整幅图像的比例作为权重引入到目标方程式中，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割，将钢渣较为准确的从钢流中分离出来。
[0023] 进一步的，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割括如下具体步骤：
[0024] 将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；
[0025] 设置阈值t；
[0026] 将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；
[0027] 根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；
[0028] 根据最佳阈值进行图像分割，输出分割图像。
[0030] 新建主窗口；
[0031] 将ui文件转为py文件；
[0032] 调用函数文件；
[0033] 布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；
[0034] 当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
[0035] 本发明还提供一种基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块和可视化用户界面系统；
[0036] 所述图像识别模块设置为利用基于改进的AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析由红外探测器和摄像机获取的图像，所述改进的AlexNet卷积神经网络共有：卷积层5个、池化层5个、全连接层2个，使用RELU函数作为CNN的激活函数，训练时使用Dropout随机忽略一部分神经元，在CNN中使用重叠的最大池化；
[0037] 所述目标检测模块设置为基于YOLOv3卷积神经网络模型，利用基于YOLOv3卷积神经网络模型的目标检测方法对图像识别模块识别出的彩色钢渣图像进行检测，将钢流从复杂的背景中检测出来；
[0038] 所述图像分割模块设置为利用基于Lab颜色空间的K均值聚类算法对目标检测模块处理后的彩色图像进行预处理，并利用改进的Otsu方法的图像分割算法对彩色钢渣图像进行分割时，将钢渣从钢水中完全分离；
[0039] 所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
[0040] 本发明的原理如下：
[0041] 本发明利用红外探测器和摄像机采集钢渣视频图像，由于钢水和钢渣在颜色上有明显的差异，所以采集得到视频帧图像中的钢流和钢渣亮度不同。以彩色钢渣图像为对象，经过计算机图像处理，首先识别出彩色钢渣图像，然后对钢流进行检测，最后将钢流中的钢渣分割出来，从而准确检测出钢流夹渣情况。钢渣图像识别：充分发挥当前摄像机的图像采集能力和计算机的计算能力，采用基于改进的AlexNet网络的图像识别方法识别出钢渣图像，改进过后的AlexNet网络提高了钢渣图像的识别精度。钢渣目标检测：通过基于YOLOv3的目标检测方法，将钢流从复杂的背景中检测出来，代替现场工人完成钢渣检测工作，使钢渣检测不再依赖于人眼观察，不仅保护了操作人员的视力，而且使检测结果不存在较大的主观性。钢渣图像分割：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题。
[0042] 本发明相比现有技术，创造性地将基于深度学习的目标检测方法应用于钢渣检测领域，建立卷积神经网络模型，把目标初步识别和框选出来，这种处理方法能识别和检测出渣面(钢渣漂浮在钢水表面或者夹杂在钢流中)，然后利用检测得到的位置信息截取出目标区域，去除背景干扰对检测目标的影响，最后通过改进的阈值分割方法将钢渣从钢水中分割出来以改善分割效果。
[0043] 其优点和积极效果主要体现在以下几个方面：
[0044] 1)钢流识别功能。基于改进的AlexNet卷积祌经网络的识别方法避免了繁杂的显示特征提取，将图像的特征分析并入神经网络之中，通过调节神经网络的权值和偏置，实现图像特征的有效区分。
[0045] 2)钢流检测功能。用YOLOv3检测算法对标记过后的图片进行检测，YOLOv3检测算法使用逻辑回归替代softmax回归，利用多尺度特征对目标进行检测，设定3种先验框，总共聚类出9种尺寸的先验框，给每个特征图分配3个先验框。YOLOv3借鉴了残差网络的思想，使用Darknet-53网络，增加跳远连接，利用跳远连接训练更深层的网络，使检测精度更高，算法速度更快。
[0046] 3)钢渣分割功能。由于彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣，要想得到理想的分割效果，单独使用基于彩色空间聚类的分割方法是无法实现的。所以需要在Lab颜色空间利用K-means聚类算法对彩色钢渣图像进行预处理，对预处理后的图像用改进的Otsu方法进行阈值分割，从而实现钢渣图像的有效分割。附图说明
[0047] 图1本发明基于卷积神经神经网络的智能钢渣检测方法的流程图；
[0048] 图2本发明实施例基于卷积神经神经网络的智能钢渣检测系统总体结构图；
[0049] 图3本发明实施例部分数据集可视化图；
[0050] 图4本发明实施例的AlexNet网络模型结构图；
[0051] 图5本发明实施例的YOLOv3网络模型结构图；
[0052] 图6本发明实施例的YOLOv3检测算法的检测效果图；
[0053] 图7本发明实施例的目标所在区域图；
[0054] 图8本发明实施例的K-meaans算法预处理效果图；
[0055] 图9本发明实施例的K-meaans算法流程图；
[0056] 图10本发明实施例的改进Otsu算法流程图；
[0057] 图11本发明实施例的改进Otsu算法分割效果图。
具体实施方式
[0058] 为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0059] 图1-2为本发明实施例基于卷积神经网络的智能钢渣检测系统总体结构图；本实施例是利用红外探测器和摄像机(如图2的红外摄像头)采集钢渣视频图像，采用笔记本电脑作为终端控制平台与显示硬件，具有使用灵活方便和容易维护的优势。
[0060] 本实施例采用的笔记本终端的基本配置如下：
[0061] (1)处理器：英特尔酷睿i7-8550M，主频2.60GHz：
[0062] (2)内存：8GB，799MHz；
[0063] (3)显卡：NVIDA GeForce MX130，显示器：15.6寸；
[0065] (5)存储硬盘：500GB，转速5400转/分。
[0066] 上述基本配置并不限制本发明的保护范围，只要有利用红外探测器和摄像机采集钢渣视频图像，采用笔记本电脑作为终端控制平台与显示硬件均在本发明的保护范围之内。
[0067] 本发明的基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块；
[0068] 所述图像识别模块：深度学习在图像识别上实现了重大的突破，研究学者逐步加深网络模型的深度以加强卷积神经网络对高层次特征的提取能力。但是随着网络的加深，在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时梯度爆炸或梯度弥散问题的出现使深度网络变得难以训练。
[0069] 所以本实施例利用AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析图像特征，在AlexNet卷积神经网络模型的基础上加以改进以识别出钢渣图像，提高识别精度。改进的AlexNet网络共有：卷积层5个，池化层5个，全连接层2个。它成功使用RELU函数作为CNN的激活函数，解决了Sigmoid在网络较深时的梯度弥散现象。训练时使用Dropout随机忽略一部分神经元，以避免过拟合。在CNN中使用重叠的最大池化，提升了特征的丰富性，减少了信息的丢失。
[0070] 所述目标检测模块：因为YOLOv3网络不仅在识别速度对比其它算法有了巨大的提升，就识别性能方面YOLOv3网络也是效果优越。所以本实施例使用该方法对钢渣图像进行钢流目标检测。
[0071] 本实施例采用卷积神经网络作为钢渣目标检测模块的模型框架，利用YOLOv3算法检测出钢渣目标。首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；最后，通过非极大值抑制算法过滤边界框，得到最优结果。
[0072] 所述图像分割模块：在对彩色钢渣图像进行分割时，无法通过单一方法将钢渣从钢水中完全分离，当图像中钢渣亮光与目标部分方差差别较小时，运用Otsu法得到的阈值将会偏小，从而使分割阈值过低而导致错分。
[0073] 本实施例利用基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并提出了一种改进的Otsu方法的图像分割算法。首先，将RGB颜色空间转换为均匀的Lab颜色空间；然后，利用K均值算法将彩色图像中钢渣亮光与钢渣从背景中分离；最后；通过对传统Otsu算法中最优阈值选取公式进行分析，在目标方差加权方法的基础上，利用背景大小在图像中的比例，修改最优阈值选取公式，解决了阈值偏低误将部分钢渣亮光划分到目标的问题，并提高了算法执行速度，降低了分类误差以及改善了分割效果。
[0074] K均值聚类算法如下：
[0075] 设样本集合X＝{xi|xi∈Rd,i＝1,2,…,n}由n个像素点组成，每个样本所代表的像素点xi由表征其特征的b个数据构成。K均值聚类的目的是将n个像素点划分为k类并形成k个聚类中心，其构成的数据集为C＝{ck|k＝1,2,…,k}，其中σk为ck的聚类中心。定义欧氏距离：
[0076]
[0077] 其中，n个像素点分别被划分到ck类，则所有被划分到ck类的像素点到其所属类别的聚类中心的欧氏距离之和为：
[0078]
[0079] 将聚类中的每个子类统计一次则得到所有像素点到其所属类别的聚类中心的欧氏距离之和为：
[0080]
[0081] 其中，
[0082] 改进最大类间方差法如下：
[0083] 由于图像中钢渣亮光与目标部分方差差别较小，本发明对传统类间方差法进行改进，用改进的最大类间方差法将K均值分割后的图像进行阈值分割。
[0084] 传统最大类间方差法的基本原理为：设一幅图像为I，图像灰度值的取值范围为[0，L-1]，用N表示像素总数，ni表示灰度级为i(i∈[0,L-1])的像素点数，pi表示所有灰度级为i的像素点出现的概率，则有：
[0085] pi＝ni/N (4)
[0086] 目标区域比例为：
[0087]
[0088] 背景区域比例为：
[0089]
[0090] 目标均值为：
[0091]
[0092] 背景均值为：
[0093]
[0094] 类间方差计算公式为：
[0095]
[0096] 改进后的阈值选取准则公式为：
[0097]
[0098] 其中ω，ω2分别表示为 和 两项方差的权重系数。
[0099] 所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
[0100] 本发明提供的一种基于卷积神经网络的智能钢渣检测方法如图1所示，包括以下顺次执行的步骤：
[0101] 步骤1：用红外探测器和摄像机采集钢渣视频图像，获取样钢渣的视频帧本图片，对本图片进行数据增强和预处理；
[0102] 步骤2：利用基于改进的AlexNet卷积神经网络的图像识别方法对本图片进行识别；
[0103] 步骤3：利用YOLOv3检测算法检测出钢流；
[0104] 步骤4：利用YOLOv3检测算法检测出的位置信息截取出目标所在区域；
[0105] 步骤5：利用K均值聚类算法对图像进行预处理；
[0106] 步骤6：利用改进的Otsu算法对图像进行分割。
[0107] 进一步的，步骤1包括以下步骤：
[0108] 步骤1.1：利用红外探测器和摄像机采集钢渣视频图像；
[0109] 步骤1.2：驱动图像采集卡捕获视频，接收钢渣视频帧数据；
[0110] 步骤1.3：处理视频帧，将视频帧转换为样本图片，利用opencv库将出钢视频转换为一帧一帧的图片并保存成扩展名为“.jpg”格式作为实验素材；
[0111] 步骤1.4：对图片进行数据增强；本实施例通过数据增强的方法获得大量的数据，即利用已有的数据比如翻转、平移或旋转，创造出更多的数据，来使得神经网络具有更好的泛化效果，提升模型的鲁棒性。翻转因子为：2.3，平移因子为：0.4，旋转因子为：2.5：
[0112] 步骤2：基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：
[0113] 步骤2.1：实验数据分类
[0114] 采集2000张图片(图3是2000张图片的部分数据可视化图)，其中1400张作为训练集，600张作为测试集。将图片分为正样本和负样本两类。将正样本命名为“have”，表示钢渣含量多。负样本命名为“no”，表示钢渣含量少。图3各图片中亮度最明显的流动带为下渣流程，“have”类钢流亮度较亮，而里面夹杂的钢渣亮度较暗，所以钢渣含量较多。图3中“no”类钢流亮度较亮，而里面夹杂的钢渣亮度与钢流亮度几乎一致，所以钢渣含量较少。
[0115] 步骤2.2：搭建tensorflow和keras深度学习框架，利用这两个框架来创建模型；
[0116] 步骤2.3：图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；
[0117] 步骤2.3.1：导入Python中的os、numpy、matplotlib库；
[0118] 步骤2.3.2：定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；
[0119] 步骤2.3.3：将所有的训练集图片和测试集图片转换为numpy数组；
[0120] 步骤2.3.4：将训练集数据和测试集数据存储到h5文件；
[0121] 步骤2.3.5：导入数据集，对数据集进行测试并将部分数据集可视化；
[0122] 步骤2.4：训练AlexNet网络模型，对AlexNet网络模型进行改进；
[0123] 步骤2.5：利用训练好的AlexNet网络模型得到最优识别精度；
[0124] 图4为本发明的AlexNet网络模型结构图，将AlexNet网络模型中的第一层卷积核尺寸由原来的11×11改为3×3，第二层卷积核尺寸由原来的7×7改为3×3，步长由原来的4改为1，在每个卷积层后加入ReLu激活函数层和Dropout层，Dropout层取值为0.3。由于全连接层会引起参数的剧增，所以在全连接层后再加入一个全连接层，通道数改为2(类别数为2)。
[0125] 参见表1的模型参数表，和表2的训练精度和测试精度对比表。
[0126] 表1模型参数表
[0127]
[0128] 表2训练精度和测试精度对比表
[0129]
[0130] 步骤3：利用YOLOv3检测算法检测出钢流；
[0131] 具体包括以下步骤：
[0132] 步骤3.1：对图片数据集进行标记；
[0133] 目标检测中，需要对原始图片数据集做标注，告诉机器需要的目标，然后让机器去学习，用LabelImg软件对图片数据集进行标记，每一个标记好的图片形成一个xml文件，然后将xml文件转为txt文件，为后续检测做准备。
[0134] 步骤3.2：读取待检测图片数据集，将输入钢渣图像尺寸归一化；
[0135] 步骤3.2：定位信息预测；
[0136] 步骤3.2.1：采用K-means聚类的方式来做Anchor Box的初始化，这种先验知识有利于边界框的预测。
[0137] 步骤3.2.2：通过YOLOv3网络模型用逻辑回归预测每个边界框的目标存在的可能性得分；
[0138] 如果当前预测的边界框能够更好地与ground truth对象重合，那它的置信度就是1。如果当前的预测不是最好的，但它和ground truth对象重合到了一定阈值以上，神经网络会忽视这个预测。置信度越接近1，检测效果越好。
[0139] 步骤3.2.3：通过YOLOv3网络模型将单标签分类改进为多标签分类，网络结构上将原来单标签分类的Softmax分类器换成多标签分类的Logistic分类器来进行类别信息预测，本实施例的类别信息为1，将类别命名为“gangzha”；
[0140] 步骤3.3：多尺度特征检测；
[0141] YOLOv3网络模型采用上采样和特征融合做法，融合了3个尺度，在多个尺度的融合特征图上分别独立做检测以检测出钢流。
[0142] 步骤3.4：通过非极大值抑制算法过滤边界框，得到最优结果。
[0143] 图5为YOLOv3网络模型结构图；YOLOv3网络结构由卷积层、Res层、Darknet-53结构和YOLO层组成。
[0144] (1)卷积层：YOLOv3网络的输入像素为640×480，通道数为3的图片。每一个卷积层都会对输入数据进行BN操作。每个卷积层卷积采用32个卷积核，每个卷积核大小为33，步长为1。
[0145] (2)Res层：一共选用五种具有不同尺度和深度的Res层，它们只进行不同层输出间的求残差操作。
[0146] (3)Darknet-53结构：YOLOv3采用了Darknet-53的网络结构，含有53个卷积层，其余为Res层，这些卷积层是从各主流网络结构选取性能比较好的卷积层进行整合得到。由连续的3×3和1×1卷积层组合而成。它借鉴了残差网络的思想，在一些层之间设置了跳远连接，利用跳远连接构建能够训练更深层的网络。
[0147] (4)YOLO层：从75层到105层为YOLOv3网络的特征融合层，分为三个尺度(13×13、26×26和52×52)，每个尺度下先堆积不同尺度的特征图，而后通过卷积核的方式实现不同尺度特征图之间的局部特征融合。最终输出的是特征图是深度为18的张量3×(4+1+1)＝
18，其中包含3个边界框，4个边界框坐标参数、1个目标预测置信度以及1种类别数。
18，其中包含3个边界框，4个边界框坐标参数、1个目标预测置信度以及1种类别数。
[0148] 参见表3的网络模型参数表；
[0149] 表3网络模型参数
[0150]
[0151] 图6为本发明实施例的YOLOv3检测算法的检测效果图，图6(a)和图6(b)为铁水脱硫扒渣图，图6(c)为转炉下渣图。通过YOLOv3算法能够将钢渣从各自的背景中检测出来，图6的三张由前往后的图片(a)-(c)的置信度分别为1、0.83和0.95。置信度范围为[0-1]，当置信度越接近1，检测效果越好。图片(a)-(c)的置信度都大于0.8，从图中(a)-(c)可以看出能够准确识别出类别为“gangzha”，而没有识别成其它类别。结合置信度和类别信息表明YOLOv3检测算法能够较准确的检测出钢流。
[0152] 步骤4：利用YOLOv3检测算法检测出的位置信息截取出钢渣目标所在区域，这种方法降低了复杂背景对目标检测的影响；
[0153] 具体包括以下步骤：
[0154] 步骤4.1：导入Python的os、numpy、cv2库；
[0155] 步骤4.2：读取彩色钢渣图片，遍历每一张图片数据集；
[0156] 步骤4.3：利用从YOLOv3检测算法中得到的目标位置坐标，设置左上和右下两像素点的位置坐标；
[0157] 步骤4.4：根据步骤4.3设置的位置坐标对图像进行剪裁，得到目标区域；
[0158] 图7是目标所在区域图，图7(a)为本发明实施例选取的铁水脱硫扒渣原图，罐中的钢水与钢渣为目标。暗度区域为背景，亮度区域及亮度区域中的暗度区域分别为钢水与钢渣。图7(b)为目标所在区域图。YOLOv3检测算法含有被检测物体的位置信息，然后通过位置信息截取出罐体及罐中的钢水与钢渣，目的是为了降低复杂背景对钢渣目标检测的影响。图7(a)图中的文字“脱硫扒渣”是视频自带的干扰，所以要截取出罐中的钢水与钢渣，去除这种干扰对检测目标的影响。此处是为了将图片中的字去掉并且将钢渣和钢水区域凸显出来，这样做更容易在下一步中分割出目标。
[0159] 步骤5：基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理；参见图8的K-means算法预处理流程图，包括如下具体步骤：
[0160] 步骤5.1：读取待分割的钢渣彩色图像；
[0161] 步骤5.2：将RGB颜色空间转换到Lab颜色空间,并提取每个像素点样本的3个特征分量L、a和b；
[0162] 步骤5.3：初始化。随机选取4个对象作为初始聚类的中心；
[0163] 步骤5.4：根据聚类中心对像素点进行划分；
[0164] 步骤5.5：根据结果修正各个类的聚类中心，计算类的均值，根据类的均值更新类的中心，获得新的中心；
[0165] 步骤5.6：当获得4个新的中心时，需要重新将数据集中的像素点划分到与距它最近的新中心所属类别进行循环迭代，直到准则函数收敛，聚类中心不再变化，平方误差函数值最小，则终止；
[0166] 步骤5.7：输出预处理后的图像。
[0167] 分割技术以往在其他领域通常采用的是灰度图像，但钢渣灰度图像会缺失很多重要的特征信息从而导致图像分割效果不理想。而彩色图像比灰度图像能够提供颜色、亮度、饱和度等更多的特征信息，因此灰度图像分割方法不适用于钢渣的图像检测与分割。研究彩色图像分割具有重大意义，对彩色钢渣图像进行分割，就要选择恰当的色彩空间，从而提取出钢渣图像的颜色特征，能更容易将目标提取出来。为了解决彩色钢渣图像目标与背景区域颜色存在较大差异的问题，利用基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理，该算法将钢渣亮光与钢渣划分为同一类，将钢渣与钢水亮光从背景中分割了出来，实现了第一次分割。
[0168] 参见图9本发明实施例的K-means算法预处理效果图；利用k均值聚类算法对图像进行预处理，预处理后的图像(a)-(c)基本实现了钢渣、钢水亮光与背景的分离。
[0169] 步骤6：利用改进的Otsu算法对钢流中的钢渣进行分割；参见图10改进Otsu算法的流程图。包括如下具体步骤：
[0170] 步骤6.1：将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；
[0171] 步骤6.2：设置阈值t；
[0172] 步骤6.3：将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；
[0173] 步骤6.4：根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；
[0174] 步骤6.5：根据最佳阈值进行图像分割，输出分割图像。图11(a)-(c)为步骤5处理后用改进Otsu算法分割的效果图，其中图11(a)和(b)中罐体内亮度区域为钢渣，罐体内壁及上方亮度区域为钢渣亮光，黑色区域为背景。图11(c)中钢流带亮度区域为钢渣，黑色区域为背景。；
[0175] 由于在下渣过程中，罐体向下倾斜，所以钢渣集中在罐体下方，钢流暴露出来，会发出亮光，在分割过程中，亮光会被误分割为钢渣。
[0176] 在对彩色钢渣图像进行分割时，无法通过单一方法将钢渣从钢水中完全分离，当图像中钢渣亮光与目标部分方差差别较小时，运用Otsu法得到的阈值将会偏小，从而使分割阈值过低而导致错分。通过对传统Otsu算法中最优阈值选取公式进行分析，在目标方差加权方法的基础上，利用背景大小在图像中的比例，修改最优阈值选取公式，解决了阈值偏低误将部分钢渣亮光划分到目标的问题，并提高了算法执行速度，降低了分类误差以及改善了分割效果。图9(a)和(b)中罐体内亮度区域为钢渣，罐体内壁及上方亮度区域为钢渣亮光，黑色区域为背景。(c)中钢流带亮度区域为钢渣，暗度区域为钢流亮光，黑色区域为背景。从图9(a)-(c)可以看出，K-means算法未能将钢渣完整分割出来，部分钢渣亮光被误分割为目标。图11(a)和(b)中罐体内壁及上方亮度区域经步骤6处理后变小，(c)中钢流带暗度区域经步骤6处理后变小，从图11(a)-(c)可以看出，改进的最大类间方差法减小了钢渣亮光对目标区域钢渣的影响，能够较为准确的将钢渣分割出来。
[0177] 本实施例采用了两种类型图片，一种是铁水脱硫扒渣工艺流程中的图片(有罐子)，一种是转炉下渣工艺流程中的图片(钢流形式)。图6、图9和图11中(a)和(b)是铁水脱硫扒渣工艺流程中的图片，图(c)是转炉下渣工艺流程中的图片。图7中选取的是铁水脱硫扒渣工艺流程中的图片。
[0178] 步骤7：可视化操作，步骤如下：
[0179] 步骤7.1：新建主窗口；
[0180] 步骤7.2：将ui文件转为py文件；
[0181] 步骤7.3：调用函数文件；
[0182] 步骤7.4：布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；
[0183] 当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 摄像辅助装置、摄像辅助方法及存储介质 | 2020-05-08 | 845 |
| 一种基于复合膜的声学超构体及声障板 | 2020-05-08 | 343 |
| 一种移动用户位置预测方法与系统 | 2020-05-08 | 773 |
| 一种基于区块链的新农村建设评价方法及系统、存储介质 | 2020-05-11 | 478 |
| LED箱体及LED显示屏 | 2020-05-08 | 446 |
| 耳罩结构 | 2020-05-08 | 636 |
| 一种轻小型相控阵天线 | 2020-05-08 | 845 |
| 自主多租户数据库云服务框架 | 2020-05-08 | 154 |
| 具有引线框架互连结构的半导体封装 | 2020-05-08 | 306 |
| 一种基于区块链的城市管网的管理方法、设备及介质 | 2020-05-11 | 406 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
框架热门专利
QQ群二维码
意见反馈
意见反馈