技术领域
[0001] 本
发明设计一种
图像处理方法，属于图像处理技术领域，尤其是指一种基于实例分割模型的集装箱检测方法。技术背景
[0002] 随着科学技术的进步和国家进出口贸易的增加，物流运输行业处于逐年迅速发展和需求大量提升的环境，对集装箱的运输量也是逐年增加。对于集装箱来讲在海上运输起到重要的作用，在海运大
力发展的同时，需要更加智能快速的方法获取到集装箱信息，从而对大规模集装箱能够实现集装箱的信息化、智能化和现代化。
[0003] 在实际场景应用中，无论是智能堆场，还是集装箱检验系统，或是箱号检测系统，集装箱检测都是
基础，重中之重。现如今
计算机视觉技术空前成熟，还未有相关技术应用到集装箱检测领域。集装箱的检测分割技术在将来的智能化航运中起着至关重要的作用。高效准确的分割技术在检测中同样起着至关重要的作用。基于实例分割模型的集装箱检验方法应运而生
[0004] 基于传统
图像分割算法grabcut在分割开始时，需要手动的框选需分割的前景区域，需要人的交互式操作，与数字化，智能化的需求有巨大的偏差。其次，由于对图像的每个
像素均要计算混合高斯模型以确定是前景与背景的概率，同时相邻的像素均要计算二范数从而确定边缘，通过不断地
迭代以使得模型参数收敛，大大的降低了分割速率，在实际中一张图像要处理1分钟左右的时间，不具有工业的可实施性。同时，模型的参数不具有泛化性。算法对每张图像都要重新进行高斯混合模型的搭建与参数的迭代学习，学到的参数仅对当前图像有效，对其他图像无效。原因在于该算法同时对背景也做了建模，即使相同的前景，背景不同也会导致模型的参数不同。同时，该模型对交叉类似的物体分割困难，因为交叉类似的物体具有相似的特征如纹理，
颜色。该算法建立的混合高斯模型由于对前景进行建模，导致与前景相似的内容均归为前景，不能很好的分割相似的交叉物体，而集装箱的外表形状均很相似，故对一张图像中含有两个及以上集装箱的图像，不能分割出单独的集装箱。其次，该模型对背景与前景颜色相似，即边缘不易区分的分割效果不理想。由于该模型同时对边缘进行建模，由于颜色等相似，而该模型确定边缘主要以颜色相近度为主，故前景与背景颜色相近的情况下，不能区分。最后，该算法仅能进行前景的分割，不具有识别功能，即是否分割与图片内容无关，不知道图像是否包含所需内容，只要给出交互框，均分割。
[0005] 为解决此问题可以结合目标检测算法，首先通过一个目标检测
框架可以将图像中的物体框选出来，然后在进行分割，实现无需交互的自动化分割，且能识别出被分割的物体。该算法分割结果仍受限与传统的分割算法的性能，如复杂环境下分割效果差，速度较慢，且模型复用性不足。
[0006] 结合目标检测与传统分割的算法，仍然受限于传统过的分割算法的局限：速度慢，可复用性差，受限于复杂环境与背景，如颜色相似的背景，且对相同目标交叉情况下，不能单独区分每一个目标。
[0007] 为获得较好的分割效果，
深度学习中有语义分割模型，语义分割模型有较好的分割效果，很强的模型复用性，只要将图像输入可以输出图像中不同目标的分割结果，相同的目标也会有类别标注，即知道分割对象那个的类别。
[0008] 基于深度学习的语义分割模型，虽然有较快的速度，可复用性强，能应对复杂的背景，但有一个较大的
缺陷，对图像中有相同的目标不能每个目标单独区分，对具有交叉的相同目标不能单独分割出每个目标，这对集装箱分割有很大影响，因集装箱拍摄地点大部分有很多集装箱，导致拍摄背景中会包含很多集装箱，但是语义分割模型不能很好的区分每个集装箱，而是将所有集装箱进行分割。
发明内容
[0009] 针对上述方案存在的缺点，我们提出集装箱分割新的框架，即基于实例分割的模型来解决传统分割算法分割速度慢，复用率低，目标检测与传统算法结合，受限于传统分割算法，语义分割算法不能区分同一类目标的缺陷。该算法利用深度学习，目标检测网络框架中加入分割分支，利用目标检测框架实现每个集装箱的单独检测，并且可以识别不同
角度的集装箱，利用分割网络分支将每个集装箱进行分割。由这种目标检测框架加分割分支网络，可以快速识别出集装箱的
位置，角度，以及集装箱的边缘信息，大大提高集装箱检测的准确率与速率。
[0010] 本发明是通过以下技术方案来实现的
[0011] 首先本发明的整体框架是，利用目标检测框架进行集装箱的
定位，并且可以识别出集装箱的拍摄角度，同时利用分割分支对每个目标进行分割，实现一个或多个集装箱的定位，拍摄角度，以及每个集装箱的边缘信息。
[0012] (1)、本发明提出的目标检测框架是基于区域的方法的目标检测框架，或是两阶段的目标检测模型，但并非仅是指基于区域的方法的框架，基于其他方法的目标检测框架，如基于回归方法的目标检测框架，都在所保护范围内。只要使用基于目标检测的框架都受到该
专利的保护。
[0013] 基于区域的方法的目标检测框架是指：
[0014] 首先基于图片提出若干可能包含物体的区域(即图片的局部裁剪，被称为区域提议 (Region Proposal))，；二是在提出的这些区域上运行分类网络与回归网络得到每个区域内物体的类别与每个物体的最小外接框坐标即物体的位置信息。
[0015] a、提出包含物体区域的方法是指：
[0016] 区域提议网络其目的是用来产生图像中感兴趣区域，即提出大量可能包含目标的矩形框具体为通过将特征提取网络生成的几个feature maps上的像素投影到原图以生成大量的锚框，首先通过非极大值抑制筛选掉一些重复的框，及排除掉一些超边界框，选取
置信度最高的某个固定数量的锚框，来减少计算量，将剩余的锚框输入两个分支网络：分类网络、边界框回归网络，输出每一个锚框是前景还是背景，即是否包含目标，以及如果包含目标，锚框区域与真实区域的偏差。通过锚框及边界框回归网络生成的偏差来修正锚框区域得到提议区域。
[0017] 网络输入：原始图像，特征提取网络生成的特征图层
[0018] 网络输出：大量的提议区域，及提议区域为前景还是背景
[0019] 特征提取网络是指：
[0020] 特征提取网络包括骨架提取网络(backbone)和特征金字塔网络(FPN)，仅依靠骨架提取层的最后一层(特征层(feature maps))会造成检测小物体性能极具下降，而FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。FPN的功能就是融合了骨架提取网络中产生的不同尺度的feature maps，从而充分的利用了提取到的各个阶段的特征。
[0021] b、分类网络与回归网络是指：
[0022] 将提出的提议区域经过感兴趣区域对齐，输入到两个网络，一个是分类网络，能够区分出区域内包含目标的类别，即集装箱的拍摄角度，另一个是回归网络或检测网络，能够输出目标的位置信息，即目标最小外接框的坐标。
[0023] 感兴趣区域对齐是指：
[0024] 感兴趣区域对齐网络：因为后续有全连接层的存在，使得输入后续网络的提议区域需大小一致，而经过区域提议网络输出的提议区域，有各种尺寸，所以需要经过感兴趣区域对齐网络使得每个区域大小一致。
[0025] (2)、本发明对目标检测过程中感兴趣区域对齐后的区域输入到分割网络，进行分割处理
[0026] 分割网络是指：
[0027] 分割任务需要预测一幅图像中所有像素点的类别，这是个空间密集型的预测任务。传统用卷积网络进行语义分割的方法是“将像素周围一个小区域作为卷积网络输入，做训练和预测。这样做存储开销大，计算效率低下，过多的重复计算，如何来确定区域大小，这也限制了
感知区域的大小，而全卷积网络能够对图像进行像素级的分类，与经典的卷积网络在卷积层之后使用全连接层得到固定长度的
特征向量进行分类不同，全卷积网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上
采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类，从而进行分割。
[0028] 采用以上技术方案，本发明的有益效果是：通过目标检测网络和分割网络的结合，相比于传统分割加目标检测，速度和准确率大大的提升，同时所获得的模型具有很强的鲁棒性，复用性，与语义分割相比，能够在分割的同时区分在具有多个相同类别目标的情况下，区分每一个单独的目标。该发明能够精确定位图像中的每一个集装箱，并且可以获得每个集装箱的拍摄角度与边缘信息，同时速率能够满足工业需求，并且获得的结果能够真正的满足需求。
附图说明
[0030] 图2为本发明实例分割模型网络结构。
[0031] 图3为骨架提取网络。
[0032] 图4为区域提议网络。
[0033] 图5为ROIAlign原理图。
[0035] 图7为实例分割模型详细网络结构
[0036] 图8为实例分割模型输出结果
具体实施方式
[0037] 下面对本发明的
实施例作详细说明，本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0038] 本发明基于实例分割的集装箱检测如图示所示，首先对图片进行归一化处理，利用特征提取网络获取特征图层，将特征图层输入到区域提议网络获得提议区域，将提议区域所对应的特征图输入到感兴趣区域对齐网络，进行大小改变，统一为固定大小，将统一为固定大小的感兴趣区域输入到三个网络：分类网络，检测网络，分割网络获得最终的输出结果，即每个集装箱的位置，拍摄角度与边缘信息。算法流程图如图1所示[0039] 下面详细介绍整个系统各个模
块的实现方法，首先输入的图像如图1。本例以基于区域的目标检测与全连接网络的分割网络为例，但适用与其他任何目标检测网络与全连接网络结合的基于实例分割的集装箱检测。
[0040] 1、图像归一化处理
[0041] 首先将所有的图像该为10245*1024的尺寸
[0042] 2、特征提取网络搭建
[0043] 特征提取网络包括特征提取网络和特征金字塔网络，具体为：将集装箱图像输入到特征提取网络中，我们使用的是resnet101网络，resnet101经过5次卷积加残差层，会得到五个不同尺寸的特征图，取后四个特征图，他们的尺寸为输入图像的 不同尺寸的feature maps之间的尺寸相差一倍，FPN是通过将将上一层小尺寸的feature maps上
池化，即将该feature maps放大2倍，这样与小尺寸的下一层feature maps具有相同的尺寸，然后将小尺寸的下一层feature maps做1x1的卷积然后与池化后的feature maps进行融合
串联。实施公式如下，结构如图3所示，最终输出为5个不同尺寸的feature maps[0044]
[0045] 式中Ci代表backbone提取出的不同尺寸的feature maps，Pi为FPN融合后的不同尺寸的 feature maps。
[0046] 网络输入：原始采集的集装箱图像
[0047] 网络输出：5个不同尺寸的feature maps
[0048] 3、区域提议网络：
[0049] 区域提议网络具体实施为：在特征提取层提出的5层feature maps的后四层的每一个像素点处，以该像素点为中心生成三个具有固定长宽比但尺寸不一的矩形框以
覆盖整个集装箱图像特征图，其中每个feature maps生成的矩形框长宽比不同；然后对所有的矩形框进行分类以区分是前景物体矩形框还是背景矩形框，得到所有的前景物体矩形框，即为前景物体特征图。
[0050] 同时回归所有前景与背景的矩形框，对矩形框的坐标进行修正，生成提议区域。修正，包括：
[0051] B1：前景物体矩形框进行回归，得到回归后的矩形框；
[0052] B2：计算回归后的矩形框与每一个真实标签之间的交并比；
[0053] B3：取交并比最高的预定数量个矩形框进行图像边界修正，去除其中超出图像边界的矩形框；
[0054] B4：在步骤B3中的去除超出图像边界后剩余的矩形框中进行非极大值抑制计算，找出最适合的矩形框，得到的前景物体矩形框的具体位置得以修正。
[0055] B5：对前景与背景的区域通过RPN输出的矩形框坐标偏移进行矩形框四角坐标的修订，得到最终提议区域。
[0056] 网络输入：原始图像，特征提取网络输出的特征层
[0057] 网络输出：大量的提议区域，及提议区域为前景还是背景
[0058] 4、感兴趣区域对齐：
[0059] 感兴趣区域对齐：对生成的最终的提议区域进行归一化对齐，即将所有的提议区域统一归一化为大小为7*7的感兴趣区域，具体方法为将提议区域分成7*7个等大小区域，每个小区域再次平均划分为四分，对每份的中心通过双线性插值计算像素大小，然后去四小分区域中四个像素的最大值作为该区域的像素值。这样将原提议区域归一化为7*7的感兴趣区域 (ROI)
[0060] 网络输入：大量提议区域
[0061] 网络输出：大小相同的感兴趣区域
[0062] 5、输出层
[0063] 输出层：在经过感兴趣区域对齐网络归一化以后，一部分输入全连接层，该部分有两个输出，一是通过softmax得到每个物体对应的类别，即每个集装箱的拍摄角度，另一个输出是通过reshape(
变形)输出每个集装箱的边界框，即集装箱最小外接矩形左上坐标与右下坐标。另一部分输入到全卷积网络获得每个集装箱的分割结果，即每个集装箱的分割结果，包含每个集装箱的边缘信息。
[0064] 尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种
修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的
权利要求来限定。
