技术领域
[0001] 本
发明涉及数字医学影像处理与分析和
计算机辅助诊断领域，具体涉及一种基于FCN的腹部多器官核磁共振图像分割方法、系统及介质。
背景技术
[0002] 了解复杂医
疗程序的先决条件对于手术的成功起着重要作用。为了丰富理解
水平，医生使用三维
可视化和打印等高级工具，这些工具需要从DICOM图像中提取感兴趣的对象。腹部多器官(即肝脏，肾脏和脾脏)的精确分割对于几种临床程序至关重要，包括但不限于基于活体供体的移植手术的肝脏预评估或腹部多器官的详细分析以确定在腹主动脉手术之前，为了正确
定位移
植物的血管并进入它们。这促使正在进行的研究需要克服由于腹部的高度灵活的解剖学特性和反映图像特征的模态的限制带来的无数挑战，以获得更好的分割结果。
[0003] 腹部多器官核磁共振(MR)图像的精确分割对于诊断、手术规划、术后分析以及化疗、放疗计划至关重要，目前国内外有很多研究人员提出了各种各样的腹部多器官MR图像的分割
算法，主要包括基于图形分割的算法以及基于
像素的分割算法等。基于图形的分割算法在网络图中使用
顶点来表示图像的像素，使用图中的边来表示像素之间的相似度，通过以
能量最小化问题为优化目标将网络图逐渐分割成子网络图，使得子网络图内部的相似度以及子网络图之间的差异度达到最大。此类算法一般需要解决一个求解广义
特征向量问题，在图像
分辨率大小较大的情况下，此类算法会产生较大的计算量，复杂度较高。基于像素的分割算法的基本思想是根据每个像素在MR图像上
亮度信息、纹理信息等把该像素点分类到正确的的类别中。分类的算法包括无监督的聚类和有监督的学习。例如，基于模糊C均值
聚类算法(Fuzzy C-Means,FCM)的模糊均值聚类的算法，以核磁共振图像的像素强度作为特征向量，利用该算法对所有像素点进行聚类得到初始的分类，根据对称性，像素强度值分布等先验知识对初始分类进行优化，得到最终的分割结果。由于FCM聚类时，没有考虑空间邻域信息，并且器官组织的像素强度值分布会产生重叠，因此容易发生误分割的情况。
[0004] 近年来，
深度学习理论引起了很大关注，在
自然语言处理、
计算机视觉等领域已经取得了广泛的应用，尤其是深度
卷积神经网络(Convolution Neural Network，简称CNN)具有非常强的自主学习能
力和高度的非线性映射，在计算机视觉的各个方向表现出优异的性能，如，图像分类、目标检测、语义分割等。
[0005] 2014年提出的用于语义分割的全卷积神经网络(Fully Convolutional Networks，简称FCN)，将传统用于图像分类的CNN末尾的全连接层替换为卷积层，使得网络可以接受不同尺寸的图片输入实现像素级别的分类，并且解决了网络输入在原图向上滑动而带来的重复存储和计算的问题，这为设计对鲁棒性和
精度要求高的分割模型提供了可能。随后，2015年专
门为医学图像分割所设计的全卷积神经网络U-Net被提出，U-Net继承了FCN使用全卷积神经网络进行图像分割的思路，网络架构包括两部分，即编码网络和解码网络，两个子网络串行连接，编码网络通过堆叠卷积、
池化操作，对原图像下
采样减小图像的分辨率提取整个图像中上下文语义信息，解码网络通过堆叠卷积、反卷积，对特征图上采样逐渐将分辨率恢复到原图像大小，并且在编码网络和解码网络之间使用跳跃连接融合低级别特征和高级别特征，由于编码网络和解码网络的对称性，这种网络结构呈现出字母“U”的形状，因此被命名为U-Net。因为医学图像存在边界不清晰、灰度范围大等特点，需要结合更多的低级别特征来实现精细的分割，所以U-Net这种结构被广泛地应用于各种医学图像的分割，并在各种医学分割竞赛中取得良好的效果。
[0006] U-Net网络结构使用跳跃连接的方式，直接将低级特征图与上采样(反卷积)后的高级特征图进行融合，缺少对低级特征的变换，同时先编码再解码的串行网络结构限制了不同分辨率特征图相互之间进行特征融合。
发明内容
[0007] 本发明要解决的技术问题：针对
现有技术的上述问题，提供一种基于FCN的腹部多器官核磁共振图像分割方法、系统及介质，本发明能够实现腹部多器官核磁共振图像的自动分割，例如按照无器官区(C0)、肝脏区(C1)、右肾区(C2)、左肾区(C3)和脾脏区(C4)五种不同区域类别对腹部多器官MR图像进行分割。
[0008] 为了解决上述技术问题，本发明采用的技术方案为：
[0009] 一种基于FCN的腹部多器官核磁共振图像分割方法，实施步骤包括：
[0010] 1)获取输入的腹部多器官核磁共振图像并进行数据预处理、图像归一化操作；
[0011] 2)将归一化后的腹部多器官核磁共振图像输入完成训练的高分辨率全卷积神经网络模型得到最终预测图，所述高分辨率全卷积神经网络模型被预先训练建立了归一化后的腹部多器官核磁共振图像及其对应的最终预测图的映射关系；
[0012] 3)将最终预测图使用激活函数激活得到预测得分图，且在每个像素
位置取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图。
[0013] 可选地，所述高分辨率全卷积神经网络模型包括第一卷积模
块、多分辨率并行-融合模块和最终卷积模块三个部分，且三个部分除了最终卷积模块最后的卷积层不包括激活操作之外其他所有部分的卷积层都包括卷积操作、批量归一化操作和激活操作，且三个部分使用的
瓶颈块结构相同。
[0014] 可选地，所述多分辨率并行-融合模块包括多个并行的并行-融合模块，每一个并行-融合模块对应着不同分辨率大小和通道数的特征图以实现对不同分辨率的特征图并行卷积操作，每一个并行-融合模块都由并行部分、融合部分这两部分组成，并行部分用于对上一个模块输出的多个特征图进行多分支并行的卷积操作，融合部分对并行部分输出的多个不同分辨率的特征图，经过上采样和
下采样后在通道维度拼接，实现不同分辨率特征之间的相互融合，并且除最后一个多分辨率并行-融合模块以外的最后一个分支融合结果进行下采样，使得下一个分辨率并行-融合模块增加一条新分辨率的并行分支。
[0015] 可选地，所述多分辨率并行-融合模块包括4个并行的并行-融合模块MP-FM1～MP-FM4，其中：并行-融合模块MP-FM1的输入为大小分别为32*H*W和64*H/2*W/2的特征图，其并行部分PP_1为通道数分别为32和64的2个并行的瓶颈块，融合部分FP_1包括1个最大池化层、1个双线性插值上采样操作、2个通道维度上的连接操作和1个通道数为128的卷积池化层，且其输出为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图；并行-融合模块MP-FM2的输入为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图，其并行部分PP_2为通道数分别为32、64和128的3个并行的瓶颈块，融合部分FP_2包括3个最大池化层、3个双线性插值上采样操作、3个通道维度上的连接操作和1个通道数为256的卷积池化层，输出为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图；并行-融合模块MP-FM3的输入为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图，其并行部分PP_3为通道数分别为32、64、128和256的4个并行的瓶颈块，融合部分FP_3包括6个最大池化层、6个双线性插值上采样操作、4个通道维度上的连接操作和1个通道数为512的卷积池化层，输出为大小分别为480*H*W、480*H/2*W/2、480*H/4*W/4、480*H/8*W/8和512*H/16*W/16的特征图；并行-融合模块MP-FM4的输入为大小分别为480*H*W、480*H/2*W/
2、480*H/4*W/4、480*H/8*W/8和512*H/16*W/16的特征图，其并行部分PP_4为通道数分别为
32、64、128、256和512的5个并行的瓶颈块，融合部分FP_4包括4个双线性插值上采样操作和
1个通道维度上的连接操作，输出为大小为992*H*W的特征图。
[0016] 可选地，所述瓶颈块包含3个不改变输入尺寸的卷积层，第一个卷积层将输出特征图的通道数调整为该瓶颈块所在分支通道数，第二个卷积层将特征图通道数减半，第三个卷积层将特征图通道数恢复到该瓶颈块所在分支通道数，瓶颈块的输出结果为第一个卷积层结果与第三个卷积层输出结果的和。
[0017] 可选地，所述第一卷积模块包含1个卷积核大小为5*5的卷积层、1个通道数为32的瓶颈块和1个通道数为64的卷积池化层，所述第一卷积模块的输入为1*H*W大小的经过图像归一化之后MR图像，输入的MR图像经过卷积层、瓶颈块得到的大小为32*H*W的特征图和再经过卷积池化层得到的大小为64*H/2*W/2的特征图；所述最终卷积模块的输入为大小为992*H*W的特征图，所述最终卷积模块的包含1个卷积核个数为32、大小为1*1的卷积层、1个卷积核个数为5、大小为1*1的卷积层，其输出为大小为5*H*W的特征图。
[0018] 可选地，步骤1)中的预处理包括校正偏差域，具体是指使用SimpleITK支持的N4ITK校正法，消除所获数据集X中所有MR图像样本因核磁共振
扫描仪磁场多向性而导致的的相同组织
体素值在切片图像上的差异，从而完成偏差域校正。
[0019] 可选地，步骤2)之前还包括训练高分辨率全卷积神经网络模型的步骤，详细步骤包括：
[0020] S1)获取腹部多器官MR图像的训练集数据，包括MR图像X_train，分割标签图Y_train和测试集数据MR图像X_test；
[0021] S2)对训练集中MR图像X_train及其对应的分割标签图Y_train进行数据预处理，分别得到预处理后的MR图像X_processed、预处理后的分割标签图Y_processed；
[0022] S3)打乱经过步骤S2)预处理后的训练集顺序，针对预处理后的MR图像X_processed进行随机数据增强得到增强后的MR图像X_aug；
[0023] S4)针对增强后的MR图像X_aug进行归一化处理得到MR图像X_norm；
[0024] S5)在归一化处理处理后的MR图像X_norm中取一个批量输入到高分辨率全卷积神经网络模型，在高分辨率全卷积神经网络模型的多分辨率并行-融合模块中的每一个并行-融合模块的第一条分支得到的特征图；
[0025] S6)将得到的多个特征图分别输入到对应的深度监督模块DSVi以及最终卷积模块，从而分别得到对应的预测图；
[0026] S7)将得到的预测图分别经过softmax函数激活得到多类别预测得分图，并与步骤S2)中得到该批次对应的Y_processed根据设定的损失函数，计算训练阶段总损失；
[0027] S8)使用随机梯度下降算法更新网络参数；
[0028] S9)判断训练集数据是否全部经过网络一轮，如果没有则跳转执行步骤S5)；
[0029] S10)判断训练过程是否达到预设的
迭代轮次，如果尚未达到预设的迭代轮次则跳转执行步骤S3)；否则判定高分辨率全卷积神经网络模型训练完成。
[0030] 此外，本发明还提供一种基于FCN的腹部多器官核磁共振图像分割系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于FCN的腹部多器官核磁共振图像分割方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行所述基于FCN的腹部多器官核磁共振图像分割方法的
计算机程序。
[0031] 此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于FCN的腹部多器官核磁共振图像分割方法的计算机程序。
[0032] 和现有技术相比，本发明具有下述优点：
[0033] 1、本发明能够实现腹部多器官核磁共振图像的自动分割，例如按照无器官区(C0)、肝脏区(C1)、右肾区(C2)、左肾区(C3)和脾脏区(C4)五种不同区域类别对腹部多器官MR图像进行分割，具有分割准确度高、操作方便快捷的优点。
[0034] 2、本发明还可以进一步高分辨率全卷积神经网络模型采用第一卷积模块、多分辨率并行-融合模块和最终卷积模块三个部分，且三个部分除了最终卷积模块最后的卷积层不包括激活操作之外其他所有部分的卷积层都包括卷积操作、批量归一化操作和激活操作，且三个部分使用的瓶颈块结构相同，通过多分辨率并行-融合模块可使得高分辨率全卷积神经网络包含多个并行的分支，每条分支对应着不同分辨率大小和通道数的特征图，实现了对多个不同分辨率的特征图并行卷积操作，使得高分辨率的低级特征能够在网络中一直保持，并且对不同分辨率大小的特征图相互之间进行充分的特征融合，使得最终的预测分割图能够结合更多不同级别的特征。
附图说明
[0035] 图1为本发明
实施例方法的基本流程示意图。
[0036] 图2为本发明实施例高分辨率全卷积神经网络模型的结构示意图。
[0037] 图3为本发明实施例各个模块的内部结构示意图，其中左上为瓶颈块(Bottleneck Block)的内部结构示意图，左下为LCM及DSV模块的内部结构示意图，右侧以MP-FM2为例描述了多分辨率并行-融合模块(MP-FM)并行部分(PP)和融合部分(FP)的内部结构示意图。
[0038] 图4为本发明实施例网络训练和分割的基本
流程图。
[0039] 图5为本发明实施例训练集中MR图像校正偏差域前后的对比，左侧图像为校正前的MR图像，右侧为校正后的MR图像。
[0040] 图6为本发明实施例训练集中MR图像(上)及其对应分割标签图(下)提取前景区域前后的对比，左侧图像为提取前的图像，右侧为提取后的图像。
具体实施方式
[0041] 下文将以无器官区(C0)、肝脏区(C1)、右肾区(C2)、左肾区(C3)和脾脏区(C4)五种不同区域类别对腹部多器官MR图像进行分割为例，对本发明基于FCN的腹部多器官核磁共振图像分割方法、系统及介质进行进一步的详细说明。
[0042] 如图1所示，本实施例基于FCN的腹部多器官核磁共振图像分割方法的实施步骤包括：
[0043] 1)获取输入的腹部多器官核磁共振图像并进行数据预处理、图像归一化操作；
[0044] 2)将归一化后的腹部多器官核磁共振图像输入完成训练的高分辨率全卷积神经网络模型得到最终预测图，所述高分辨率全卷积神经网络模型被预先训练建立了归一化后的腹部多器官核磁共振图像及其对应的最终预测图的映射关系；
[0045] 3)将最终预测图使用激活函数激活得到预测得分图，且在每个像素位置取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图。
[0046] 如图2所示，本实施例中高分辨率全卷积神经网络模型包括第一卷积模块(First Convolution Module，简称FCM)、多分辨率并行-融合模块(Multi-Resolution Parallel-Fuse Module，简称MP-FM)和最终卷积模块三个部分，且三个部分除了最终卷积模块最后的卷积层不包括激活操作之外其他所有部分的卷积层都包括卷积操作、批量归一化操作和激活操作，且三个部分使用的瓶颈块结构相同。
[0047] 如图2所示，多分辨率并行-融合模块包括多个并行的并行-融合模块，每一个并行-融合模块对应着不同分辨率大小和通道数的特征图以实现对不同分辨率的特征图并行卷积操作，每一个并行-融合模块都由并行部分(Parallel Parts，简称PP)、融合部分(Fuse Parts，简称FP)这两部分组成，并行部分用于对上一个模块输出的多个特征图进行多分支并行的卷积操作，融合部分对并行部分输出的多个不同分辨率的特征图，经过上采样和下采样后在通道维度拼接，实现不同分辨率特征之间的相互融合，并且除最后一个多分辨率并行-融合模块以(本实施例中具体为第4个MP-FM除外)外的最后一个分支融合结果进行下采样，使得下一个分辨率并行-融合模块增加一条新分辨率的并行分支。
[0048] 本实施例中的多分辨率并行-融合模块包含多个并行的分支，每条分支对应着不同分辨率大小和通道数的特征图，实现了对多个不同分辨率的特征图并行卷积操作，使得高分辨率的低级特征能够在网络中一直保持，并且对不同分辨率大小的特征图相互之间进行充分的特征融合，使得最终的预测分割图能够结合更多不同级别的特征。
[0049] 如图2和图3所示，本实施例中多分辨率并行-融合模块包括4个并行的并行-融合模块MP-FM1～MP-FM4，其中：
[0050] 并行-融合模块MP-FM1的输入为大小分别为32*H*W和64*H/2*W/2的特征图XFCM_1和XFCM_2，其并行部分PP_1为通道数分别为32和64的2个并行的瓶颈块，融合部分FP_1包括1个最大池化层、1个双线性插值上采样操作、2个通道维度上的连接操作和1个通道数为128的卷积池化层，且其输出为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图XMPFM_1_1、XMPFM_1_2和XMPFM_1_3；
[0051] 并行-融合模块MP-FM2的输入为大小分别为96*H*W、96*H/2*W/2和128*H/4*W/4的特征图XMPFM_1_1、XMPFM_1_2和XMPFM_1_3，其并行部分PP_2为通道数分别为32、64和128的3个并行的瓶颈块，融合部分FP_2包括3个最大池化层、3个双线性插值上采样操作、3个通道维度上的连接操作和1个通道数为256的卷积池化层，输出为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图XMPFM_2_1、XMPFM_2_2、XMPFM_2_3和XMPFM_2_4；
[0052] 并行-融合模块MP-FM3的输入为大小分别为224*H*W、224*H/2*W/2、224*H/4*W/4和256*H/8*W/8的特征图XMPFM_2_1、XMPFM_2_2、XMPFM_2_3和XMPFM_2_4，其并行部分PP_3为通道数分别为32、64、128和256的4个并行的瓶颈块，融合部分FP_3包括6个最大池化层、6个双线性插值上采样操作、4个通道维度上的连接操作和1个通道数为512的卷积池化层，输出为大小分别为480*H*W、480*H/2*W/2、480*H/4*W/4、480*H/8*W/8和512*H/16*W/16的特征图XMPFM_3_1、XMPFM_3_2、XMPFM_3_3、XMPFM_3_4和XMPFM_3_5；
[0053] 并行-融合模块MP-FM4的输入为大小分别为480*H*W、480*H/2*W/2、480*H/4*W/4、480*H/8*W/8和512*H/16*W/16的特征图XMPFM_3_1、XMPFM_3_2、XMPFM_3_3、XMPFM_3_4和XMPFM_3_5，其并行部分PP_4为通道数分别为32、64、128、256和512的5个并行的瓶颈块，融合部分FP_4包括4个双线性插值上采样操作和1个通道维度上的连接操作，输出为大小为992*H*W的特征图XMPFM_4_1。
[0054] 如图3所示，瓶颈块包含3个不改变输入尺寸的卷积层，第一个卷积层将输出特征图的通道数调整为该瓶颈块所在分支通道数，第二个卷积层将特征图通道数减半，第三个卷积层将特征图通道数恢复到该瓶颈块所在分支通道数，瓶颈块的输出结果为第一个卷积层结果与第三个卷积层输出结果的和。
[0055] 如图3所示，第一卷积模块包含1个卷积核大小为5*5的卷积层、1个通道数为32的瓶颈块和1个通道数为64的卷积池化层，所述第一卷积模块的输入为1*H*W大小的经过图像归一化之后MR图像Xnormed，输入的MR图像经过卷积层、瓶颈块得到的大小为32*H*W的特征图XFCM_1和再经过卷积池化层得到的大小为64*H/2*W/2的特征图XFCM_2。
[0056] 如图3所示，最终卷积模块的输入为大小为992*H*W的特征图XMPFM_4_1，最终卷积模块的包含1个卷积核个数为32、大小为1*1的卷积层、1个卷积核个数为5、大小为1*1的卷积层，其输出为大小为5*H*W的特征图XLCM。
[0057] 由于核磁共振扫描仪中的患者的位置，扫描仪自身以及许多其它未知问题等因素回造成MR图像上的亮度差异。换句话说，图像的像素强度值(从黑色到白色)可以在同一组织内变化，这被称为偏差域(Bias Field)。这是一种低频平滑的不良
信号，会破坏MR图像。在进行分割或分类之前，需要预处理步骤来校正偏差域带来的不利影响。本实施例中，步骤
1)中的预处理包括校正偏差域，具体是指使用SimpleITK支持的N4ITK校正法，消除所获数据集X中所有MR图像样本因核磁共振扫描仪磁场多向性而导致的的相同组织体素值在切片图像上的差异，从而完成偏差域校正。本实施例中，使用SimpleITK支持的N4ITK校正法所采用的各项参数设置如表1所示。
[0058] 表1、N4ITK校正法参数表。
[0059]参数 值
最大迭代次数 50
高斯反卷积的宽度 0.15
对数输入强度直方图的区间数 200
偏差场估计的样条顺序 3
收敛
阈值 0.001
[0060] 如图4所示，步骤2)之前还包括训练高分辨率全卷积神经网络模型的步骤，详细步骤包括：
[0061] S1)获取腹部多器官MR图像的训练集数据，包括MR图像X_train，分割标签图Y_train和测试集数据MR图像X_test；
[0062] S2)对训练集中MR图像X_train及其对应的分割标签图Y_train进行数据预处理，分别得到预处理后的MR图像X_processed、预处理后的分割标签图Y_processed；
[0063] S3)打乱经过步骤S2)预处理后的训练集顺序，针对预处理后的MR图像X_processed进行随机数据增强得到增强后的MR图像X_aug；
[0064] S4)针对增强后的MR图像X_aug进行归一化处理得到MR图像X_norm；
[0065] S5)在归一化处理处理后的MR图像X_norm中取一个批量输入到高分辨率全卷积神经网络模型，在高分辨率全卷积神经网络模型的多分辨率并行-融合模块中的每一个并行-融合模块的第一条分支得到的特征图；
[0066] S6)将得到的多个特征图分别输入到对应的深度监督模块DSVi以及最终卷积模块，从而分别得到对应的预测图；
[0067] S7)将得到的预测图分别经过softmax函数激活得到多类别预测得分图，并与步骤S2)中得到该批次对应的Y_processed根据设定的损失函数，计算训练阶段总损失；
[0068] S8)使用随机梯度下降算法更新网络参数；
[0069] S9)判断训练集数据是否全部经过网络一轮，如果没有则跳转执行步骤S5)
[0070] S10)判断训练过程是否达到预设的迭代轮次，如果尚未达到预设的迭代轮次则跳转执行步骤S3)；否则判定高分辨率全卷积神经网络模型训练完成。
[0071] 本实施例中，步骤S2)以及步骤1)中的预处理均包括下述环节：
[0072] S2.1、校正偏差域。
[0073] 参见前文，具体是指使用SimpleITK支持的N4ITK校正法，消除所获数据集X中所有MR图像样本因核磁共振扫描仪磁场多向性而导致的的相同组织体素值在切片图像上的差异，从而完成偏差域校正。
[0074] 图5为训练集中MR图像校正偏差域前后的对比，左侧图像为校正前的MR图像，右侧为校正后的MR图像。
[0075] S2.2、提取感兴趣区域。
[0076] 获取腹部多器官MR图像的训练集数据时，由于MR图像四周存在着一些无组织区域，这些像素位置的灰度范围值为0-40，这些无组织区域在分割图上的标签类别为无器官区(C0)，我们将这些无组织的背景区域在MR图像及其对应的分割标签图上裁减掉，提取出感兴趣区域，有助于缓解C0类别占所有类别极大比例的类别
不平衡问题。获取所获数据集的训练集X经过校正偏差域后的每个切片图像上前景区域(即切片图像上像素灰度值大于40的位置)所占的最小矩形区域在各个维度上的起始位置和结束位置索引值，根据获取到的索引值，同时在训练集X_train图像及对应的分割图Y_train的各个维度上进行裁剪。
[0077] 图6为训练集中MR图像(上)及其对应分割标签图(下)提取前景区域前后的对比，左侧图像为提取前的图像，右侧为提取后的图像。
[0078] S2.3、设置分割标签图类别值。
[0079] 本实施例中在分割标签图中，将无器官区(C0)、肝脏区(C1)、右肾区(C2)、左肾区(C3)和脾脏区(C4)五种不同区域类别的类别值分别设置为0、1、2、3、4。
[0080] 本实施例中，步骤S3)中的随机数据增强包括下述策略：
[0081] S3.1)多尺度随机放缩
[0082] 在训练集数据中获取数据时，使用[0.5、0.6、...，1.5]的多个放缩尺度中的一个随机尺度，对每一个训练样本的图像及其对应的分割标签图进行相同尺度的随机放缩操作。
[0083] S3.2)固定尺度裁剪或填充策略
[0084] 当训练集数据样本经过多尺度随机放缩后的尺度大于所设计的高分辨率全卷积神经网络要求的输入图像大小1*H*W时，对样本的图像及其对应的分割图进行相同的随机裁剪或填充，并保证裁剪后的图像及其对应的分割标签图大小为1*H*W和H*W。
[0085] 当训练集数据样本经过多尺度随机放缩后的尺度小于所设计的高分辨率全卷积神经网络要求的输入图像大小1*H*W时，对样本的图像及其对应的分割标签图的下方和右方进行像素填充，图像填充的像素值为0.0，分割标签图填充的像素值为标签类别数num_classes＝5，并保证填充后的图像及其对应的分割标签图大小为1*H*W和H*W。
[0086] 当训练集数据样本经过多尺度随机放缩后的尺度等于所设计的高分辨率全卷积神经网络要求的输入图像大小1*H*W时，则不做处理。
[0087] S3.2)随机翻转策略：对经过固定尺度裁剪或填充后的
训练数据的图像及其对应的分割图进行统一的随机左右翻转。
[0088] 步骤S4)及使用过程中都需要进行归一化操作。本实施例中，获取训练集X中所有数据样本经过MR图像预处理和随机数据增强之后的每一张MR切片图像Xaug，求得每一张切片图像Xaug上所有像素值的平均数μ和标准差σ，进行Z-score归一化，公式为：
[0089] Xnormed＝(Xaug-μ)/σ
[0090] 上式中，Xnormed为归一化图像，Xaug为切片图像Xaug，μ为切片图像Xaug上所有像素值的平均数，σ为切片图像Xaug上所有像素值的标准差。
[0091] 本实施例中，步骤S7)将得到的预测图分别经过softmax函数激活并计算训练阶段总损失时采用多类别加权损失函数设计。
[0092] 1、基于softmax函数的多类别加权交叉熵损失：
[0093] 假设经过了高分辨率全卷积神经网络的最终的预测图为Ypred＝XLCM，则经过softmax多类别分类器的预测得分图为 在第i(0-4)个类别上的预测得分 计算方式
如下：
[0094]
[0095] 上式中，numclasses为分割标签图填充的像素值，Ypred[j]为预测图的第j个类别对应的预测值，Ypred[i]为第i个类别对应的预测值,exp(…)是以e为底的指数函数。
[0096] 本实施例中，多类别加权交叉熵损失函数的定义如下：
[0097]
[0098] 上式中，m为类别个数，即m＝num_classes，N为预测得分图上的像素个数，ωj为第j个类别的权重， 为 在第i个像素位置上第j个类别图上的预测得分，yij为分割标签图Y_label第i个像素位置值的one-hot向量yi在第j个类别上的值，独热(one-hot)编码时不考虑随机数据增强时填充的类别值num_classes＝5,因此向量的长度为num_classes，编码类别为0,1,2,3,4。本实施例中，独热(one-hot)向量编码规则如下：
[0099]
[0100] 上式中，Y_labeli为分割标签图中第i个像素位置的类别值。
[0101] 2、各个类别加权策略。
[0102] 由于各个类别在训练集的分割标签图中所占类别存在较大差异，其中无器官区(C0)，即第0类占据绝大部分，因此存在类别不平衡问题，容易使得训练出得模型的预测结果倾向于训练集中占比较多的类别。为了解决类别不平衡问题，我们在损失函数中为每一个类别设置了一个权重，该权重的作用是减小训练集中占比较多的类别在损失函数中的贡献，增加训练集中占比较少的类别在损失函数中的贡献。
[0103] 各个类别的加权策略如下：
[0104] (1)计算分割标签图中各个类别(C0，C1，C2，C3，C4)的像素个数Num0，Num1，Num2，Num3，Num4。
[0105] (2)计算分割标签图中各个类别(C0，C1，C2，C3，C4)的像素频数Freq0,Freq1,Freq2,Freq3,Freq4。
[0106]
[0107] (3)计算分割标签图中各个类别(C0，C1，C2，C3，C4)的像素频数的中位数Freqmedian。
[0108] (4)计算分割标签图中各个类别(C0，C1，C2，C3，C4)的权重ω0，ω1，ω2，ω3，ω4。
[0109]
[0110] 本实施例的前述深度监督训练中，如果只在网络的最后
输出层，即MP-FM4的输出的特征图经过LCM的输出的最终预测图上计算损失Lossfinal，然后通过随机梯度下降算法实现误差的反向传播，误差在反向传播过程中会大幅减小，即发生梯度消失现象，为了解决此问题，在训练网络时，本实施例中在网络输出的中间特征图上也和分割标签图计算损失，实现深度监督(Deep Supervision，简称DSV)，这种方法可以使得误差的梯度可以直接回传到网络的
中间层。本实施例中在网络的中间层MP-FM1，MP-FM2和MP-FM3的第一个分支的输出的特征图XMPFM_1_1，XMPFM_2_1和XMPFM_3_1上，实现深度监督：将XMPFM_1_1，XMPFM_2_1和XMPFM_3_1分别送入3个DSV模块，DSV模块的结果与LCM相同，分别在输出的预测结果上与分割标签图计算损失函数Loss0，Loss1，Loss2。如图2所示，所以网络训练时的总损失函数为：
[0111] Losstotal＝Loss0+Loss1+Loss2+Lossfinal
[0112] 在完成训练以后，可以得到适应训练集数据训练好的多分辨率全卷积神经网络模型。参见图1和图4，该多分辨率全卷积神经网络模型不限制图像输入的大小，将测试集中腹部MR图像经过以下步骤(A1)-(A3)可得到最终的分割预测图，实现对腹部多器官的分割：(A1)使用发明内容中所述的MR图像预处理策略和归一化方法对测试集中MR图像X_test进行数据预处理和图像归一化操作。(A2)将步骤(A1)中得到的图像输入经过训练的得到的高分辨率全卷积神经网络模型，在模块XMPFM_4_1处得到最终预测图Xpred。(A3)将步骤(A2)中得到预测图Xpred使用激活函数激活得到预测得分图Xscore，在每个像素位置，取预测得分最高的类别作为该像素位置的预测标签类别，得到最终的分割预测图Y_pred。
[0113] 此外，本实施例还提供一种基于FCN的腹部多器官核磁共振图像分割系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述基于FCN的腹部多器官核磁共振图像分割方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行本实施例前述基于FCN的腹部多器官核磁共振图像分割方法的计算机程序。
[0114] 此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述基于FCN的腹部多器官核磁共振图像分割方法的计算机程序。
[0115] 以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
