技术领域
[0001] 本
发明属于图像识别技术领域，特别涉及基于卷积神经网络的绿通车运载货物放射源图像识别方法。
背景技术
[0002] 放射源检查通常采用γ射线和x射线，当射线穿透该物体时，探测器最终检测的
能量是该方向上射线被多种物质吸收后的结果，此时的衰减系数是一个关于空间
位置和能量的函数。为获得不同空间位置的能量，需要对被检物体进行多方位投影，得到各方向的最终能量值。经反Radon变换后即可得到各空间位置的能量值。将能量值映射为
像素值，经重建计算获得图像矩阵。放射源成像
质量影响因素包括两个方面，一是
硬件条件，主要有设备焦点尺寸、成像放大倍数、管
电压、
电流等[33]。二是被检测物自身属性，主要有被检测物结构复杂度、被检测物自身尺寸、被检测物的构成物质
密度及厚度差异等。
[0003] 放射源检查在国内外众多行业得到广泛运用，包括安检、医疗、工业检测等领域，对放射源图像的自动识别成为亟需解决的热点问题，为提高放射源图像识别准确率，国内外的众多学者为此进行了大量的研究。绿通车运载货物放射源图像与医学、安检等领域的放射源图像特征较为相似。
[0004] 基于
模式识别与传统
机器学习的图像分类
算法并不适用于绿通车运载货物放射源图像分类问题。主要原因是针对放射源图像数据集，人工设定规则提取图像特征难度较大，并且模式识别与传统机器学习无法满足
大数据集的计算复杂度要求。而卷积神经网络强大的图像特征提取能
力及高效的计算能力使得基于卷积神经网络的图像分类模型在放射源图像分类方面有着惊人的表现，因此选用卷积神经网络作为基本算法，并对经典卷积神经网络常用模型进行改进。
[0005] 卷积神经网络结构从数据流
角度可分为
输入层、
隐藏层和
输出层。在图像识别领域的应用中，输入层可直接处理图像原始像素值，并对输入数据进行标准化处理，以提高模型性能。隐藏层的基本构造中包含卷积层、
池化层和全连接层，该层可对输入数据进行
降维处理，实现图像特征自动提取，并通过全连接层实现分类任务。输出层负责对上层的分类任务进行结果输出。卷积神经网络可在不改变图像网络拓扑结构的
基础上，可实现图像信息特征自动提取。相对于其他神经网络结构，卷积神经网络具有局部连接和权值共享的特性，能够减少网络训练时所需参数个数，具有强大的高维
数据处理能力。
[0006] 基于卷积神经网络的放射源图像识别技术在医疗、安检、工业检测等领域得到广泛应用。但在高速公路绿通车检查领域，国内外学者未进行相应研究。
[0007] 当前绿通车检验方式主要为人工开箱检查和放射源图像人工评判两种方式。人工开箱检查方式耗时费力，检查时间不可控，易引起交通拥堵。放射源图像人工评判是查验人员通过放射源扫描图像判断货物外形、灰度值和装载均匀性等是否符合货物特点，来判断车厢内部是否夹带有非法物品。人工评判耗时长、难度大且准确度较低，因此难以成为理想的检查方式。
发明内容
[0008] 本发明的目的在于提供基于卷积神经网络的绿通车运载货物放射源图像识别方法，以解决上述问题。
[0009] 为实现上述目的，本发明采用以下技术方案：
[0010] 基于卷积神经网络的绿通车运载货物放射源图像识别方法，包括以下步骤：
[0011] 步骤1，绿通车运载货物放射源图像预处理：对绿通车运载货物放射源图像进行数据清洗、货物区域分割、降噪处理、数据增强和通道转化；
[0012] 步骤2，输入图像样本准备：将图像尺寸大小调整为统一尺寸，并以8:1:1的数量比例分为训练集、验证集及测试集；
[0013] 步骤3，设计绿通车运载货物放射源图像识别模型；
[0014] 步骤4，对绿通车运载货物放射源图像识别模型进行调优：首先提高数据集图像质量，然后使用数据
迭代器解决内存占用过大问题，增加网络输入图像尺寸；
[0015] 步骤5，通过对模型的训练、验证及测试，并记录训练过程中损失函数及分类准确率的变化，损失函数能够反映模型对货物类型准确分类的能力。
[0016] 进一步的，步骤1中，绿通车运载货物放射源图像数据清洗具体包括：
[0017] 选用人工检查结果与放射源检查结果相一致的图像数据，通过匹配数据源中 SCANGOODS和MANUALGOODS两个字段来完成该阶段数据清洗任务；
[0018] 删除数据源中货物区域占比过小的图像。
[0019] 进一步的，步骤1中，绿通车运载货物放射源图像货物区域分割：
[0020] 确定图像中货物区域的行、列下标公式如下：
[0021]
[0022]
[0023]
[0024]
[0025] 式中rowmin为货物区域的行下标最小值，rowmax为货物区域行下标最大值，colmin为货物区域列下标最小值，colmax为货物区域列下标最大值，Xij为图像数据矩阵，row为数据矩阵的行数，col为数据矩阵的列数，where()函数表示满足条件的像素点下标值数组；
[0026] 利用上述公式对原始图像数据进行货物区域分割。
[0027] 进一步的，步骤1中，绿通车运载货物放射源图像降噪处理：采用中值
滤波器，将图像中的各像素值替换为窗口区域内像素值的中值，降低图像中的噪声污染。
[0028] 进一步的，步骤1中，利用翻转、旋转等方法对绿通车运载货物放射源图像进行数据增强处理。
[0029] 进一步的，步骤1中，将单通道图像过渡为三通道图像，图像表征无变化，达到符合网络输入数据格式要求的目的，采用OpenCV中COLOR_GRAY2BGR函数实现由单通道数据转换为三通道数据的功能，转换公式如下：
[0030] B＝G＝R＝Gray
[0031] 即单通道图的像素点分布在RGB空间的直线R＝G＝B上，使用该函数对绿通车运载货物放射源图像进行图像通道转换。
[0032] 进一步的，步骤3中，基于
随机森林思想将多种常用卷积神经网络模型输出结果的平均值作为网络的最终输出结果，通过集成互不依赖的多种网络模型，以并行运算的方式，通过“投票法”得出输出结果；采用AlexNet、GoogLeNet、ResNet和DenseNet四种卷积神经网络常用模型建立
集成学习规则，对上述四种卷积神经网络常用模型预测结果进行混合运算，取平均预测概率最大值对应货物类型为最终结果；
[0033] 以Cifar10数据集对AlexNet、DenseNet、GoogleNet和ResNet-进行预训练，然后使用绿通车运载货物放射源图像进行重新训练以微调模型。
[0034] 进一步的，步骤4中，采用数据迭代器对程序进行优化，迭代器按需读取数据，解决内存爆炸问题，将输入图像尺寸直接增加至AlexNet、GoogLeNet、ResNet和DenseNet 模型规定尺寸大小，并分别设置实验。
[0035] 与
现有技术相比，本发明有以下技术效果：
[0036] 本发明采用基于卷积神经网络的绿通车运载货物放射源图像识别可避免查验结果对查验人员的主观依赖性，减轻一线查验人员工作强度。同时可提高检查效率，减少收费站拥堵情况的产生；
[0037] 不同绿通车放射源扫描设备的放射源、穿透力等参数不同，会导致同一货物在不同品牌绿通车放射源检查设备下的扫面成像外观表现也不同，采用本发明可有效避免稽查人员的误判行为；
[0038] 本发明的研究结果在实现判断货物是否符合鲜活农产品目录的基础上，实现了绿通车运载货物类型的精准识别，为以后挖掘农产品流转规律提供前导性研究，同时为放射源检查装置实现货物自动识别提供理论参考；
[0039] 本发明的所有成果均依赖于数据源
支撑，图像质量的优劣对模型性能有着至关重要的作用。由于原始图像数据存在标签错误、有效信息占比不足、噪声污染及分布不均匀等
缺陷，依次采用数据清洗、货物区域分割、图像降噪及数据增强等方式对放射源图像进行预处理，大大提升了模型性能及模型泛化能力；
[0040] 本发明采用数据迭代器对程序进行优化，降低了程序内存占用率，有效解决了内存爆炸问题。
附图说明
[0041] 图1为绿通车放射源图像人工评判流程。
[0042] 图2为基于卷积神经网络的绿通车运载货物放射源图像识别流程。
[0043] 图3为基于卷积神经网络的绿通车运载货物放射源图像识别的设计流程。
[0044] 图4为RF-CNN模型图示。
具体实施方式
[0045] 以下结合附图对本发明进一步说明：
[0046] 请参阅图1至图4，基于卷积神经网络的绿通车运载货物放射源图像识别主要包括以下四个部分，分别为绿通车运载货物放射源图像预处理；绿通车运载货物放射源图像识别模型设计；绿通车运载货物放射源图像识别模型调优；验证实验结果。
[0047] 各部分具体如下：
[0048] 1、绿通车运载货物放射源图像预处理
[0049] 绿通车运载货物放射源图像预处理主要包括数据清洗、货物区域分割、降噪处理、数据增强和通道转化。
[0050] 绿通车运载货物放射源图像数据清洗
[0051] 为了保证输入网络的图像数据标签可靠以及图像信息足够丰富，需要对绿通车运载货物放射源图像有效性进行分析。根据绿通车运载货物放射源图像特点和分析需求，需对数据源进行数据清洗，该过程分两步进行。
[0052] 为保证数据标签可靠，只选用人工检查结果与放射源检查结果相一致的图像数据。通过匹配数据源中SCANGOODS和MANUALGOODS两个字段来完成该阶段数据清洗任务。
[0053] 为保证所选图像数据的有效性，需删除数据源中货物区域占比过小的图像。
[0054] 绿通车运载货物放射源图像货物区域分割
[0055] 由于车辆尺寸、车辆与放射源检查设备间距等原因，合格绿通车运载货物放射源图像中仍然存在大面积非货物区域。但由于放射源图像中存在噪声污染，图像中非货物区域并非完全空白。而绿通车运载货物放射源图像中非货物区域对提取图像中货物特征信息无任何有利作用，若直接将该类图像作为神经网络输入数据，将导致网络计算负担大幅度增加，所以货物区域分割是十分有必要的。
[0056] 经过多次实验，最终确定图像中货物区域的行、列下标公式如下：
[0057]
[0058]
[0059]
[0060]
[0061] 式中rowmin为货物区域的行下标最小值，rowmax为货物区域行下标最大值，colmin为货物区域列下标最小值，colmax为货物区域列下标最大值，Xij为图像数据矩阵，row为数据矩阵的行数，col为数据矩阵的列数，where()函数表示满足条件的像素点下标值数组。
[0062] 利用卷积神经网络进行图像识别，对硬件设备的计算能力要求较高，利用上述公式对原始图像数据进行货物区域分割，可进一步增强图像信息。将有限的计算资源最大化的利用在有效信息的提取方面。同时，增加图像数据的有效信息占比，能够去除无关信息对识别结果的影响，提高模型识别准确率。
[0063] 绿通车运载货物放射源图像降噪处理
[0064] 放射源图像在生成、传输、接收和处理的过程中，不可避免的存在外部干扰或内部干扰，如探测器中敏感元件灵敏度的不均匀性，数字化过程中产生量化误差，传输过程中的误差以及人为因素等。
[0065] 本发明采用中值滤波器，其原理是将图像中的各像素值替换为窗口区域内像素值的中值。与其他滤波方式相比，采用中值滤波降噪后的图像峰值
信噪比最大，能最大限度的降低图像中的噪声污染。
[0066] 在绿通车运载货物放射源图像中，各类数据分布不均匀，为了最大限度地增加训练样本的数量，同时均衡样本在各个类别的分布，在图像分类问题中，数据增强经常被使用。数据增强的本质是利用有限的数据生成更多的等价数据，只改变
训练数据的数组表征而保持标签不变。增加训练数据的数量，防止过度拟合，同时提高网络模型的泛化能力。
[0067] 利用翻转、旋转等方法对绿通车运载货物放射源图像进行数据增强处理。
[0068] 绿通车运载货物放射源图像为灰度图，即单通道图，每个像素点由0到255之间的单一数字表示灰度值。而论文采用的四种经典卷积神经网络模型的应用场景均为对自然图像的处理，自然图像为三通道图，每个像素点由三个数字表示
颜色属性。为实现对经典卷积神经网络模型的迁移应用，需要对绿通车运载货物放射源图像进行通道转换处理。
[0069] 在图像通道转换研究中，将单通道图像简单过渡为三通道图像，图像表征无变化，达到符合网络输入数据格式要求的目的。采用OpenCV中COLOR_GRAY2BGR函数实现由单通道数据转换为三通道数据的功能，转换公式如下：
[0070] B＝G＝R＝Gray
[0071] 即单通道图的像素点分布在RGB空间的直线R＝G＝B上，使用该函数对绿通车运载货物放射源图像进行图像通道转换。
[0072] 2、绿通车运载货物放射源图像识别模型设计
[0073] 卷积神经网络结构从数据流角度可分为输入层、隐藏层和输出层。在图像识别领域的应用中，输入层可直接处理图像原始像素值，并对输入数据进行标准化处理，以提高模型性能。隐藏层的基本构造中包含卷积层、池化层和全连接层，该层可对输入数据进行降维处理，实现图像特征自动提取，并通过全连接层实现分类任务。输出层负责对上层的分类任务进行结果输出。
[0074] 卷积神经网络在图像识别领域的应用不断深入，优秀算法层出不穷。通常情况下，卷积神经网络可以通过加深网络深度及宽度以提高网络性能。但当网络深度及宽度增加足够大时，网络的训练难度也越来越大，最终导致网络性能下降。经过对众多学者在相关领域的研究总结和思考，本发明对研究涉及的经典卷积神经网络模型进行两点改进。
[0075] 结合随机森林思想，从集成学习角度出发，对卷积神经网络常用模型进行改进。基于随机森林思想将多种常用卷积神经网络模型输出结果的平均值作为网络的最终输出结果。通过集成互不依赖的多种网络模型，以并行运算的方式，通过“投票法”得出输出结果。采用AlexNet、GoogLeNet、ResNet和DenseNet四种卷积神经网络常用模型建立集成学习规则，对上述四种卷积神经网络常用模型预测结果进行混合运算，取平均预测概率最大值对应货物类型为最终结果。建立的卷积神经网络常用模型集成学习规则如图4所示，改进后的模型命名为RF-CNN。
[0076] 为构建绿通车运载货物放射源图像识别模型，论文以Cifar10数据集对AlexNet、 DenseNet、GoogleNet和ResNet-进行预训练，然后使用绿通车运载货物放射源图像进行重新训练以微调模型。这是图像识别训练常用的数据集。CIFAR-10数据集是由 CIFAR(Candian Institute For Advanced Research)收集
整理的一个用于机器学习和图像识别问题的数据集。这个数据集共有60000张32*32的涵盖10个分类的彩色图片。
[0077] 该数据集数量多、类别丰富，可满足绝大多数神经网络的训练。
[0078] 3、绿通车运载货物放射源图像识别模型调优
[0079] 在确定绿通车运载货物放射源图像识别模型
框架基础上，需进一步优化模型性能。论文对绿通车运载货物放射源图像识别模型调优分为两步，首先提高数据集图像质量，然后使用数据迭代器解决内存占用过大问题，增加网络输入图像尺寸。
[0080] 网络将数据集中所有图像数据一次性加载到内存中，由于数据集图像数量达到上万余张，考虑到程序内存占用率过大将导致计算机内存不足(“内存爆炸”)，上述实验中输入图像尺寸仅采用32×32，经插值处理后分别转换为AlexNet、GoogLeNet、ResNet和 DenseNet模型规定尺寸大小。由于输入图像尺寸过小，造成大量原始图像特征信息丢失，不利于网络性能的提升。
[0081] 为降低程序内存占用率，论文采用数据迭代器对程序进行优化，与之前的数据读取方式不同，迭代器按需读取数据，可有效解决内存爆炸问题。使用数据迭代器优化后的程序可应对大数据量读取问题。理论上，应尽可能增加图像尺寸以保证原始图像特征信息不丢失，当输入图像尺寸大于模型规定尺寸时，在进行卷积运算提取图像特征前，网络仍然会将图像尺寸降低至规定尺寸大小。因此论文将输入图像尺寸由32×32直接增加至 AlexNet、GoogLeNet、ResNet和DenseNet模型规定尺寸大小，并分别设置实验，验证优化后的程序对网络性能的提升效果。
[0082] 4、验证实验结果
[0083] 通过对模型的训练、验证及测试，并记录训练过程中损失函数及分类准确率的变化。损失函数能够反映模型对货物类型准确分类的能力。
