技术领域
[0001] 本
发明涉及
图像分割技术领域，具体涉及一种基于深度学习的CT图像中肾脏分割方法。
背景技术
[0002] 随着互联网上图像数据的大规模增长，图像分割技术受到广泛的关注和应用。尤其是在医学领域的分割上，医生的分割成本高分割效率低，以及分割标准参差不齐，[0003] 现有的医学分割技术普遍基于传统
计算机视觉技术，将CT值 (-1000Hu,1000Hu)投射到RGB空间(0～255)上，手动提取特征，根据医生的经验采用启发式
算法，用提取出来的特征进行
降维和
机器学习算法等操作。这样的方法有很多优点，例如医生的经验能够很好地实现自动化，又如，以
随机森林和SVM为代表的以系列机器学习算法具有可解释性和具有相对最优解，并且对于数据量的要求不是很高，大概几十条或者几百条就能够得到表现优良的模型，但对于新数据的预测上表现极为不理想，尤其是在多中心验证上取得的成绩很不理想。
[0004] 从目前的研究来看，近年来解决这些问题的方法已经从传统的计算机视觉领域，转移到深度学习与计算机视觉相结合，深度学习方法具有很多优点，高鲁棒性就是其中重要一条。
[0005] 例如，神经网络Unet做分割确实有一定效果，但是对于形状类似，CT 值类似的图像，如图1所示，肾脏、脾脏会出现混淆，有鉴于此，亟需提供一种对于CT图片可准确识别分割出肾脏的方法。
发明内容
[0006] 为了解决上述技术问题，本发明所采用的技术方案是提供了一种基于深度学习的CT图像中肾脏分割方法，包括以下步骤：
[0007] S1、输入CT图像组；
[0008] S2、对图像组中各图像进行归一化处理；
[0009] S3、生成肾脏的
位置编码图，并将带有位置编码图与步骤S2中各图像进行
叠加；
[0010] S4、对步骤S3中的各图像进行卷积，确定感兴趣位置区域，并对感兴趣位置区域与处理后的各图像进行
像素Hadmard Product，获得分割后的图像或特征图像；
[0011] S5、输出端二值化图像；
[0012] S6、将步骤S5得到的图像与步骤S2中的各图像进行Hadmard Product，确定输出分割出肾脏部分的图像。
[0013] 在上述方法中，还包括步骤：设定损失函数，选取多个模型进行训练，将训练好的模型建立模型集合，通过模型集合中模型分别对图像组进行分割，使用模型融合技术，将多个模型的结果进行以投票的方式进行融合，得到最终的分割结果。
[0014] 在上述方法中，所述对图像组中各图像进行归一化处理计算如下式：
[0015]
[0016] 式中，Iorigin代表原始图像，Inormal表示归一化后的图像。
[0017] 在上述方法中，所述位置编码生成具体如下：
[0018] PE(i,j)＝cos(β*ei)+sin(β*ej),i∈(0,511),j∈(0,511)
[0019] 其中，(i,j)代表肾脏像素点坐标，PE函数是关于(i,j)的位置函数；β为超参数，用来调整不同位置的
频率大小；
[0020] 将所述位置编码图与处理后的各图像相加，计算式为：
[0021] Inew＝Inormal(i,j)+α*PE(i,j)
[0022] 其中，α为用来调整归一化处理后的原图像和位置信息的比例。
[0023] 在上述方法中，所述感兴趣区域(ROI)与处理后的各图像进行像素 Hadmard Product计算如下：
[0024] f1up＝concat(f2up,f2down)*f2attention；
[0025] f2up＝concat(f3up,f3down)*f3attention；
[0026] f3up＝concat(f4up,f4down)*f4attention；
[0027] 其中，f1～4up是上
采样1～4层卷积输出特征图像；f2～4down是
下采样2～ 4层输出图像；f2～4attention是经过了一层卷积和
池化的特征图像。
[0028] 在上述方法中，所述二值化图像具体为：勾勒出肾脏轮廓的二值化图像用0与1值进行区分。
[0029] 在上述方法中，所述CT图像组为3张连续CT图像。
[0030] 本发明通过在神经网络Unet训练图像的时候加入了positional encoding(位置编码)，能够很好地区分和解决脾脏和肾脏难以区分的问题；另外，使用了attention注意
力机制，让神经网络通过反向传播 (back-propagation)过程中，网络会根据PE信息调整ROI进而达到感兴趣区域注意效果，不仅能够让网络拟合收敛速度更快，更使网络能够注意到肾脏位置区域，从而排除了脾脏的干扰。
附图说明
[0031] 图1为本发明提供的背景技术中现有分割方法分割的结果示意图；
[0032] 图2为本发明提供的方法流程；
[0033] 图3为本发明提供的神经网络结构示意图；
[0034] 图4为本发明提供的加入位置编码和区域注意力机制后的神经网络
框架示意图；
[0035] 图5为本发明提供的通过本发明CT图像分割的效果图。
具体实施方式
[0036] 本发明提供了一种加入位置编码和注意力机制，让神经网络通过反向传播(back-propagation)，在分割肾脏的时候不会跟脾脏或者其他器官混淆的肾脏CT图像分割网络的方法。下面结合附图对本发明作出详细的说明。
[0037] 如图2-3所示，本发明提供了一种基于深度学习的CT图像中肾脏分割方法，包括以下步骤：
[0038] S1、输入CT图像组；本
实施例中，CT图像组可为3张连续CT图像，长宽为512*512，像素值范围-1000～2000HU，训练时可以传入多组图像进行训练，3张连续图像具有上下层的信息，让模型通过上下层的信息一并预测
中间层的mask。
[0039] S2、对图像组中各图像进行归一化处理；由于实际测量的肾脏像素值一般是分布在25～50之间，而脾脏像素值一般是分布在35～60之间，因此，对输入CT图像组进行归一化处理，具体通过如下公式处理：
[0040]
[0041] 其中，Iorigin代表原始图像，Inormal表示归一化后的图像。
[0042] S3、生成肾脏的位置编码图(Positional encoding)，并将带有位置编码图与步骤S2中各图像进行叠加；实现步骤具体如下：
[0043] 如图4所示，为加入了位置编码及注意力机制后的神经网络，位置编码生成具体如下：
[0044] PE(i,j)＝cos(β*ei)+sin(β*ej),i∈(0,511),j∈(0,511
[0045] 其中，(i,j)代表肾脏像素点坐标，PE函数是关于(i,j)的位置函数,β为超参数，用来调整不同位置的频率大小。
[0046] 将该位置编码图与处理后的各图像相加，相当于将位置信息用频率的形式加以表达，并且把信息叠加到处理后的各图像上，公式为：
[0047] Inew＝Inormal(i,j)+α*PE(i,j)
[0048] 其中，α为用来调整归一化处理后的原图像和位置信息的比例，为了不让α影响归一化处理后的原图像，取值为0.1；
[0049] S4、对步骤S3中的各图像进行卷积，确定感兴趣位置区域(ROI)，并对感兴趣位置区域(ROI)与处理后的各图像进行像素哈达码积(Hadmard Product)，获得分割后的图像或特征图像，具体为：
[0050] 本实施例由于加入了PE，即位置信息，在卷积过程中位置信息一直参与计算，从而卷积过程中网络对于位置信息有一定的敏感性，对敏感位置有‘注意’的效果。
[0051] 将步骤S3中的各图像进行卷积操作之后将会找到位置区域，进行2*2 池化，找到感兴趣位置区域，并将得到的感兴趣区域(ROI)做像素Hadmard Product。这样在反向传播的过程中，网络会根据PE信息调整ROI进而达到感兴趣区域注意效果，其中，感兴趣区域(ROI)与处理后的各图像进行像素 Hadmard Product计算如下：
[0052] f1up＝concat(f2up,f2down)*f2attention；
[0053] f2up＝concat(f3up,f3down)*f3attention；
[0054] f3up＝concat(f4up，f4down)*f4attention；
[0055] 其中，f1～4up是上采样1～4层卷积输出特征图像(feature map)；
[0056] f2～4down是下采样2～4层输出图像；f2～4attention是经过了一层卷积和池化的特征图像，再将fdown和fup对应的特征图拼接后再与fattention相乘，最终得到了位置区域ROI的图像。这样做不仅能够让网络拟合收敛速度更快，更使网络能够注意到肾脏位置区域，从而排除了脾脏的干扰。
[0057] S5、输出端二值化图像：勾勒出肾脏轮廓的二值化图像用0与1值进行区分。可以通过这一步进行down streaming tasks(下游任务)。
[0058] S6、将步骤S5得到的图像与步骤S2中的各图像进行哈达码积(Hadmard Product)，确定输出分割出肾脏部分的图像；如图5所示，为使用本发明分割的结果。
[0059] 本实施例优选，为了有效的提高分割结果的准确率，还包括步骤：设定损失函数，选取多个模型进行训练，将训练好的模型建立模型集合S，通过模型集合S中模型分别对图像组进行分割，使用模型融合技术，将多个模型的结果以投票的方式进行融合，得到最终的分割结果，具体如下：
[0060] 本实施例，加入了注意力机制的Unet以后，还分别使用不同的backbone 作为Unet的模型候选，模型候选可包括：ResNet52，VggNet，DenseNet， SENet等；通过不同的超参数调整，将多个模型通过步骤S1-S6训练到损失函数没有明显变化并且放到模型集合S中，通过模型集合S中模型分别对图像组进行分割，将结果进行投票，对投票结果进行加权平均，得到最终分割的结果；模型训练过程通过现有公知技术实现即可，并非本实施例技术保护点，因此不过多赘述。
[0061] 本实施例，选取上述4个模型中的2～4个模型返回的结果进行投票，并将所有投票结果进行加权平均，得到最终的分割结果。可选取上述4个模型中的3个模型返回的结果进行投票，总共能得出 组投票结果，再将这4组投票结果进行加权平均，得到最终的结果，此处投票具体指的是，同一像素位置，如果超过2个模型预测有肾脏，则判定Mask的像素值为1，否则为0。这样做的好处是能够有效降低个
体模型误差。
[0062] 本发明方法所提出的基于深度学习的CT图像中肾脏分割方法，在数据集KiTS19数据集合上边进行训练，Dice系数(Dice系数是常见的评价分割效果的方法之一，同样的也可以作为损失函数衡量分割的结果和标签之间的差距)从之前用单一Unet进行训练得出来的结果0.64到现在结果 0.77，在不加入任何其他优化方法下提升了约20％。
迭代收敛速度，从单一Unet需要进行30～35次迭代，到本发明加入了位置编码及注意力机制的Unet，进行10～15次迭代，训练速度提升了约60％，而且在有
肿瘤的肾脏中表现也能够达到0.77的Dice值。
[0063] 本发明有益效果：
[0064] (1)本发明方法由于存在注意力机制，训练曲线收敛更快，更容易找到图像中的特征，并且将特征进行细化的学习，在与单一Unet的对比当中，收敛速度明显提升，在该任务中Unet需要大约30次左右的迭代次数，加入Positional Encoding和Attention之后只需要大约10～15次迭代就可以达到之前的效果。
[0065] (2)本发明方法在分割肾脏的任务当中表现更好，量化标准(Dice Coefficient)达到更高的
水平，究其原因，主要是由于任务特异性(Specificity) 有大幅度提升，与之前的网络相比，由于位置信息的重要性可以通过α进行调整，使得网络不仅学习到了肾脏和脾脏的形状，还根据其位置进行判断，从而降低了
假阳性(非肾脏区域，预测为肾脏区域)的出现。
[0066] (3)本发明方法端对端的预测方法，跟传统机器学习方法相比，由神经网络学习到的参数构成一个输入输出式的模型，单一模型(以ResNet52 作为backbone为例)能够在1E-2s内对图像进行分割，提升了分割效率，与手动分割相比，更具有统一标准，为下游任务提供有力保证。
[0067] 本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
