技术领域
[0001] 本
发明属于
图像处理领域，具体涉及一种基于图像级标签和少量人工标注框的深度图像协同分割方法。
背景技术
[0002]
图像分割是图像处理领域的一个
基础研究，也是
计算机视觉领域中的关键步骤。图像分割技术在无人驾驶、智能医疗、医学影像分析、遥感气象服务、军事工程等领域有着广泛的应用。图像分割技术是依据语义信息将图像分成若干个对象区域，是
图像分析的第一步，也是关键性的一步。
[0003] 图像协同分割是图像分割的重要分支。图像协同分割致
力于从一组图像中提取出共同的对象区域，可广泛应用于计算机视觉及多媒体处理中,近期受到了广泛的关注。然而由于目标信息不足且存在的诸多信息干扰，图像协同分割是一个具有挑战性的工作。特别是在前景多变和背景复杂的情况下，如何有效地构建图像协同分割模型、实现语义区域相似性度量已经成为了计算机视觉和
人工智能研究的迫切需求。
[0004] 图像协同分割旨在从一组图像中提取出相似的对象区域，难点在于模型的建立和优化、局部区域前景一致性的衡量、共同对象信息的提取等。传统的协同分割方法采用人工设计的特征，很难刻画区域的语义性，无法有效衡量区域的一致性。在复杂背景下很难实现对象的语义协同分割。例如，大多数最近提出的图像协同分割方法仍然依赖于图像的
颜色、形状、纹理等特征。这些底层且不包含语义信息的图像特征很难协同分割有一定挑战性的图像协同分割工作。
[0005]
卷积神经网络近年来在很多领域实现了性能的显著突破，包括目标检测、目标分类、
语音识别、目标
定位以及视频生成等等。由于卷积神经网络包含千百万的网络参数，能够自动地学习不同层次和结构中的图像特征。相比传统方法，卷积神经网络抽象学习到的特征包含很强的语义信息，并且对对象目标的形状大小、空间
位置以及方向的变化等具有非常强的鲁棒性。卷积神经网络使得机器能更好地学习输入与输出之间的映射关系，并通过充分学习自动生成最优特征，很好地替代了人工选择特征的过程。因为这些优点，卷积神经网络在众多领域中得到了越来越多的重视。
[0006] 目前，现存的图像协同分割方法很难实现复杂图像的协同分割，因此图像协同分割
算法结合卷积神经网络将是实现复杂图像协同分割算法的一个有效方法。但是，现存的卷积神经网络需要大量的人工标注数据，而图像协同分割算法仅仅包含图像级粗糙标签，很难提供丰富且准确的训练样本，与卷积神经网络结合实现图像协同分割是一个困难的工作。
发明内容
[0007] 本发明的发明目的在于：针对上述存在的问题，提供一种只利用很少量的人工标注框便能实现较好图像分割结果的方法，根据图像内在信息和图像之间的信息实现弱监督图像协同分割。
[0008] 本发明的基于少量标注框的深度图像协同分割方法，包括下列步骤：
[0009] 步骤1：设置深度图像协同分割网络：
[0010] 所述深度图像协同分割网络包括两个分支，第一分支网络包括特征提取网络和分割网络；第二分支网络包括特征提取网络和分割网络，两个分支网络的网络结构相同；
[0011] 所述特征提取网络采用卷积神经网络结构，用于提取输入图像的深度特征；
[0012] 所述分割网络也采用卷积神经网络结构，用于基于特征提取网络提取的深度特征，对输入图像进行前景分割，得到分割结果；
[0013] 步骤2：对深度图像协同分割网络进行
深度学习训练：
[0014] 基于待分割的类别需求，设置包括所有需求类别的图像集S，并从图像集S中为每种图像类别选择少量的样本图像，即为每个图像类别选择一定数量的样本图像，得到图像集S1；其中，选取的图像数量远小于待分割处理的图像集；例如分别为每种图像类别选择1～10幅样本图像；并对选择出的样本图像给出表示前景区域的标注框，即人工框出前景区域；
[0015] 对图像集S与图像集S1包括的所有图像进行图像预处理，包括图像灰度化和尺寸归一化处理；即归一化后的尺寸与深度图像协同分割网络的输入相匹配；
[0016] 初始化深度图像协同分割网络的网络参数，将图像集S1及其标注框作为深度图像协同分割网络的第一分支网络的输入；图像集S作为第二分支网络的输入；
[0017] 基于每条分支网络的特征提取网络的输出，得到输入图像的深度特征；基于每条分支网络的分割网络的输出，得到输入图像的分割结果；
[0018] 并设置深度图像协同分割网络的损失函数L为：交叉熵损失函数Lc和相似性损失函数sim的加权和；
[0019] 其中，Lc＝∑xy(x)log(y0(x))+(1-y(x))log(1-y0(x))，y0表示第一个分支网络的输出的分割结果，y表示标注框，x表示输入图像的
像素；
[0020] 相似性损失函数sim的计算过程为：
[0021] 将两条分支网络的分割网络输出的分割结果分别下
采样到与其特征提取网络输出的深度特征尺寸相同后，再分别将每条分支网络的分割结果与深度特征进行匹配处理，得到匹配后的第一分支深度特征和第二分支深度特征；
[0022] 其中匹配处理为：
[0023] 将
下采样后的分割结果中的0和非0的像素位置对应到深度特征相应的位置，其中，0像素对应位置为深度特征的背景特征，非0的像素对应位置为深度特征的前景特征；
[0024] 将匹配后的第一分支深度特征中的每个前景特征与第二分支深度特征中的每个前景特征求欧式距离，所有欧式距离求和再求平均，得到参数 将第二分支深度特征中的每个前景特征与每个背景特征求欧式距离，所有欧式距离求和再求平均，得到参数并根据公式 计算得到相似性损失函数sim；
[0025] 在深度图像协同分割网络的深度学习训练过程中，设置的收敛条件为：损失函数L最近两次输出的损失函数L的变化率不超过预设的变化率
阈值时，停止训练；
[0026] 步骤3：对待分割图像进行图像预处理，包括图像灰度化和尺寸归一化处理；
[0027] 将预处理后的待分割图像输入到训练好的深度图像协同分割网络，并对深度图像协同分割网络输出的分割结果进行尺寸变换到待分割图像的原图大小，作为待分割图像的分割结果。
[0028] 综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0029] 本发明提出了一种基于卷积神经网络的深度图像协同分割网络，仅利用图像级标签和少量人工标注框实现图像协同分割的方法。该方法不仅考虑了图像的内在信息，而且结合卷积神经网络提取的深度语义特征利用了图像之间的相关性，使得在弱
监督学习情况下，图像也能得到更加准确的分割结果。
附图说明
[0030] 图1是本发明的深度协同分割网络
框架示意图；
[0031] 图2是在本发明所用数据集中选取几张图像的分割结果展示。
具体实施方式
[0032] 为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
[0033] 多数利用卷积神经网络实现图像分割的算法，其得到较好分割结果的基础是耗费大量的人力成本获得大量的人工标注样本进行训练。为了减少大量人力成本的投入，本发明提出只利用很少量的人工标注框便能实现较好图像分割结果的方法。即对于具有相似对象区域的图像集，本发明只利用图像的图像级标签少量的人工标注框，设置深度卷积神经网络，衡量深度语义特征的相似性，实现图像的协同分割。
[0034] 目前图像分割的方法，不管是强监督学习还是弱监督学习都只是利用了图像的内在信息进行分割，没有考虑到图像之间的信息，因此本发明提出用图像协同分割的方法，共同考虑图像内在和图像间的信息以解决图像分割问题。而对于图像协同分割方法，现存大部分图像协同分割方法只是利用图像的颜色、形状、纹理等底层特征进行相似度衡量，这对于复杂图像很难有较好的分割结果，因此本发明结合卷积神经网络构建深度图像协同分割网络，提取具有语义信息的深度网络特征进行相似度衡量以解决复杂图像的协同分割问题。
[0035] 本发明提出的一种新型的基于卷积神经网络的深度图像协同分割网络，利用了图像的图像级标签和少量人工标注框，根据网络得到的深度语义特征，设置网络损失函数，实现对图像公共区域的分割。该方法不仅弥补了卷积神经网络需利用大量人工标注的
缺陷，而且能很好的将图像协同分割算法与卷积神经网络相结合，实现复杂图像的协同分割。本发明的具体实现过程如下：
[0036] 步骤一、数据准备。
[0037] 1.1选择深度学习图像分割数据集。
[0038] 本具体实施方式中，采用的深度学习图像分割数据集为Icoseg数据集和PASCAL VOC2012验证集，Icoseg数据集包含熊猫、
足球队、
风筝、金字塔等38个类别，总共643张图像，PASCAL VOC2012验证集包含飞机、
自行车、猫、
牛等20个类别，总共1449张图像。此外，对于Icoseg数据集，每个类别挑选出一两张图像，对于PASCAL VOC2012数据集，每个类别挑选出四五张图像，并给挑选出图像的人工标注框即框出图像的前景区域。将挑选出来的图像作为图像集S1，整个图像集的图像作为图像集S2，S1、S2中包含相同的类别，其中S2中图像的数目远大于S1中图像的数目。
[0039] 1.2将所有的图像大小归一化为320*320，以适应网络的输入，即与待训练的深度学习网络的输入相匹配。
[0040] 1.3本具体实施方式中，所设置的网络包含两个分支；训练时，将图像集S1中的图像和其标注框作为第一个分支的输入，图像集S2中的图像作为另一个分支的输入。
[0041] 输入时第一个分支和第二个分支输入为同一类别图像，由于第一个分支S1图像的数目远少于第二个分支S2图像的数目，所以输入时将S2中的一张图像作为第二个分支的输入，从S1中挑选与第二个分支相同类别的任意一张图像作为第一个分支的输入。
[0042] 步骤二、构建深度图像协同分割网络。
[0043] 参见图1，本发明的深度图像协同分割网络包括两个分支网络，第一分支网络包括特征提取网络和分割网络；第二分支网络包括特征提取网络和分割网络，两个分支网络的的网络结果相同；其中所述特征提取网络采用卷积神经网络结构，用于提取输入图像的深度特征；分割网络也采用卷积神经网络结构，用于基于特征提取网络提取的深度特征，对输入图像进行前景分割，得到分割结果，即二值化的前景图像；
[0044] 即，本发明的深度图像协同分割网络的框架结构为全卷积网络(FCN，Fully Convolutional Networks)的框架结构，其损失函数采用交叉熵损失函数和相似性损失函数。
[0045] 优选的，深度图像协同分割网络的特征提取网络的网络结构采用16层的VGG(Visual Geometry Group)网络结构，即VGG-16，其初始参数优选采用在ImgNet1000类图像上训练得到的VGG-16网络的参数，初始学习率设为1.0e-10,随着
迭代次数的增加而逐渐下降，动量momentum，和权重衰减weight decay设置分别为0.9和0.0005。
[0046] 本具体实施方式中，分割网络采用FCN网络结构。
[0047] 步骤三、构建相似性度量方法。
[0048] 3.1将深度图像协同分割网络中两个分支网络的特征提取网络(用于提取图像特征的卷积神经网络，具体的网络结构可以选择已有的用于提取图像特征的卷积神经网络，如VGG-16所示的，也可以是基于应用需求自行设置的)的最后一个卷积层输出的4096维特征作为网络的深度特征，特征尺寸为11*11*4096。
[0049] 同时，基于特征提取网络所提取的深度特征，通过两个分支网络的分割网络(基于卷积神经网络结构)得到输入图像的分割结果(二值化的前景图像)；
[0050] 3.2将网络两个分支的分割结果(size为320*320)分别下采样到与深度特征尺寸(size为11*11)相同，将分割结果与深度特征相匹配，即：将下采样后的分割结果中0和非0的像素位置对应到深度特征相应的位置，0像素对应位置为背景特征，非0的像素对应位置为前景特征。
[0051] 3.3将匹配后的第一个分支深度特征中的每个前景特征与第二个分支深度特征中的每个前景特征求欧式距离，所有距离求和再求平均。将第二个分支的深度特征中的每个前景特征与每个背景特征求欧式距离，所有距离求和再求平均，并计算
相似性得分sim，具体公式如下：
[0052]
[0053]
[0054]
[0055] 其中， 表示第一个分支的深度特征中第i个前景特征， 表示第二个分支深度特征中第j个前景特征, 表示第二个分支深度特征中第k个背景特征，N表示前景特征欧式距离ff的总个数，M表示背景特征欧式距离fb的总个数。
[0056] 步骤四、设置深度图像协同分割网络的损失函数
[0057] 4.1交叉熵损失函数是分割网络常用的损失函数，常用的交叉熵损失函数是衡量分割结果与人工标注的像素级标签之间的差异，而本发明的图像协同分割网络中的交叉熵损失是衡量分割结果与标注的少量标注框之间的差异，将其作为网络的一个约束，公式如下：
[0058]
[0059] 其中，y0表示第一个分支图像的分割结果，y表示对应的人工标注框，x表示像素。
[0060] 4.2将相似性得分作为网络的另一个约束。
[0061] 4.3整个网络的损失函数由交叉熵损失函数和相似性得分组成，公式如下：
[0062] L＝α*Lc+β*sim
[0063] 根据实验，当α＝1，β＝1时效果最好。
[0064] 则，在本发明的深度图像协同分割网络训练过程中，迭代的收敛条件为整个网络的损失函数的变化率不超过预设的变化率阈值。
[0065] 用γ表示变化率，即 变化率阈值本具体实施方式中设置为3*10-4，其中LN-1、LN分别表示第第N、N-1次迭代时的整个网络的损失函数L，即最近两次迭代(训练时的)的损失函数L的变化率不超过预设的变化率阈值。
[0066] 步骤五、得到分割结果。
[0067] 5.1将图像集输入到深度协同分割网络，经过训练得到所有图像的分割结果，分割结果尺寸为320*320，将该分割结果进行尺寸变换处理到原图大小即为最终的分割结果。
[0068] 即首先对本发明的深度协同分割网络进行训练，再基于训练好的深度协同分割网络对待分割图像进行分割处理，具体为：
[0069] 对待分割的图像进行图像预处理，灰度化和尺寸变换处理，使得待分割图像与到深度协同分割网络的输入相匹配；
[0070] 输入到训练好的深度协同分割网络，同时输入到两个分支网络或者其中一路分支网络即可，将度协同分割网络输出的分割结果尺寸变换到原始待分割图像大小，从而得到最终的分割结果。
[0071] 基于步骤一准备的深度学习图像分割数据集，对本发明的深度协同分割网络进行训练，将验证集输入到训练好的深度协同分割网络对待分割图像进行分割处理，可以得到如图2所示的分割结果。图2中给出的图像像素级标签仅用于与本发明的分割结果做对比用。
[0072] 为了对本发明的深度学习图像分割网络的分割结果进行客观打分，从而确定分割性能，本具体实施方式中，利用图像分割结果以及数据集中图像的像素级标签计算其IOU值(客观打分分值)，IOU值计算公式如下：
[0073]
[0074] 其中GTi表示第i个分割结果对应的分割参考标准即图像的像素级标签，Ri表示第i个分割结果。
[0075] 本发明的图2中的所示的分割结果的客观打分IOU＝0.75。通过在现有的数据集上进行验证，结果表明本发明提出的基于少量标注框的深度图像协同分割方法对于分割图像公共区域具有非常好的效果。
[0076] 以上所述，仅为本发明的具体实施方式，本
说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
