技术领域
[0001] 本
发明属于海马体分割技术领域，具体涉及一种基于3D神经网络的人脑核磁共振影像的海马体提取方法。
背景技术
[0002] 海马体结构是人脑中重要的组织结构，其形态学分析对于检测和诊断大脑的临床状况至关重要。海马体结构与记忆机制相关，其形态变化与阿尔兹海默症和其他神经系统
疾病有着密切的联系。从核磁共振影像(magnetic resonance images，MRI)中估计海马体是否萎缩被认为是诊断阿尔兹海默症的关键技术之一。然而，由于海马体在大脑中尺寸较小，形态复杂，与周边结构的边界不明显等因素，手动分割脑部MRI中的海马体结构费时耗
力且容易出错。因此，如何快速分割核磁共振中海马体结构已成为国内外近年来前沿性研究课题，不仅具有重要的学术价值，更具有重要的社会意义和广泛的应用前景。
[0003] 现有的海马体分割方法分为手动分割，传统分割方法和基于
深度学习的方法。手动分割容易遭受到认为因素的影响使得分割的效果不稳定。而传统分割方法也是耗时过长，分割效果不准确。
发明内容
[0004] 针对
现有技术中的上述不足，本发明提供了一种基于3D神经网络的人脑核磁共振影像的海马体提取方法，旨在解决现有人脑核磁共振影像中海马体自动分割技术的耗时过长、
精度不高的问题。
[0005] 为了达到上述发明目的，本发明采用的技术方案为：
[0006] 一种基于3D神经网络的人脑核磁共振影像的海马体提取方法，包括以下步骤：
[0007] S1、获取含3D标签的人脑核磁共振影像的原始图像数据集作为训练集，对原始图像数据集和标签进行预处理；
[0008] S2、构建由编码部分和通道注意力解码部分组成的3D海马体分割神经网络模型，将步骤S1预处理后的图像通过编码部分提取特征，再将特征通过含通道注意力机制的解码部分进行聚合重组，最终得到海马体分割概率图；
[0009] S3、利用设定的卷积层对步骤S1预处理后的训练集标签数据提取边界，定义边界增强损失函数；
[0010] S4、利用反向传播
算法优化步骤S3定义的边界增强损失函数，训练步骤S2构建的3D海马体分割神经网络模型；
[0011] S5、利用步骤S4训练后的3D海马体分割神经网络模型对经过步骤S1预处理后的待检测图像进行检测，得到海马体分割概率图，并设定
阈值判定海马体分割概率图中每个点所属类别，进一步得到海马体分割结果。
[0012] 进一步地，所述步骤S1中对原始图像数据集进行预处理具体包括以下分步骤：
[0013] S11、对原始图像数据及其对应的标签图像数据进行中心区域裁剪，得到裁剪后大小为H*W*D的图像集；
[0014] S12、对步骤S11得到的裁剪后的图像集进行单张图像的归一化处理，即统计每组图像数据的
亮度值的均值及标准差，将单张图像的亮度值减均值再除以标准差，得到归一化结果。
[0015] 进一步地，所述步骤S2中构建的由编码部分和通道注意力解码部分组成的3D海马体分割神经网络模型具体包括卷积模
块、残差模块和通道注意力模块，所述卷积模块由卷积、组正则化、ReLU激活组成，所述残差模块由卷积、组正则化、ReLU激活、逐点相加sum操作组成，所述通道注意力模块由卷积、组正则化、ReLU激活、sigmoid激活、逐点相加sum操作、点乘mul操作组成。
[0016] 进一步地，所述步骤S2中3D海马体分割神经网络模型的处理过程具体划分为七个分步骤，第一个分步骤包括一个卷积模块、一个残差模块和一个最大
池化操作，第二个分步骤包括两个残差模块和一个最大池化操作，第三个分步骤包括两个残差模块和一个最大池化操作，第四个分步骤包括两个卷积模块和一个上
采样操作，第五个分步骤包括一个卷积模块、一个通道注意力模块、一个残差模块和一个上采样操作，第六个分步骤包括一个卷积模块、一个通道注意力模块、一个残差模块和一个上采样操作，第七个分步骤包括一个卷积模块、一个通道注意力模块、一个残差模块和一个卷积操作。
[0017] 进一步地，所述步骤S3具体包括以下分步骤：
[0018] S31、设定卷积层，利用sobel算子初始化卷积核，对输入到步骤S2所构建的网络模型中的训练图像对应的标签数据进行卷积操作提取边界；
[0019] S32、利用步骤S31提取的边界定义边界增强对数dice损失函数、定义边界增强交叉熵损失函数、定义类precision损失函数；
[0020] S33、设定各项损失函数的权重，相加得到边界增强损失函数。
[0021] 进一步地，所述边界增强损失函数具体表示为：
[0022] LBE＝ωBEDLBED+ωBECLBEC+ωPLP
[0023] 其中，LBED为边界增强对数dice损失函数，LBEC为边界增强交叉熵损失函数，LP为类precision损失函数， LBEC＝∑x-αB(x)(ln(PH(x))δH(x)+ln(PBG(x))δBG(x))， x为
体素点的
位置，PH(x)为网络模型将x点预测为海马体的
置信度值，PBG(x)为网络模型将x点预测为海马体的置信度值；当x点的真值标签为海马体时δH(x)的值为1，否则为0；当x点的真值标签为背景时δBG(x)的值为1，否则为0；当x点被认定为边界时αB(x)的值为α，否则为1；ε为平滑系数，ωBED、ωBEC和ωP分别为LBED、LBEC和LP的权重。
[0024] 进一步地，所述步骤S4中利用反向传播算法优化步骤S3定义的边界增强损失函数具体为：
[0025] 随机初始化步骤S2中构建的3D海马体分割神经网络模型，将步骤S1预处理后的图像输入网络模型中得到海马体分割概率图，将得到的海马体分割概率图与输入图像对应的原始标签利用步骤S3定义的边界增强损失函数计算损失值，选取在训练轮次内使得模型损失最小的模型权重。
[0026] 本发明具有以下有益效果：
[0027] (1)本发明提出一种含注意力机制的三维全卷积U形网络结构，高效的复用低层级的空间结构信息以增强网络对类间差异的判别能力；
[0028] (2)本发明设计一种新的边界增强的损失函数，实现在均衡因海马体结构过小而引起的类
不平衡问题的同时也能够让网络模型对海马体结构的边界更加敏感，利用该损失函数训练出相较于其他损失函数分割精度更高且更加鲁棒的网络模型；
[0029] (3)本发明利用3D海马体分割神经网络模型，实现对人脑MRI中海马体结构的高效自动化精准分割，能够减小医生在对阿兹海默症进行早期诊断时的时间。
附图说明
[0030] 图1是本发明基于3D神经网络的人脑核磁共振影像的海马体提取方法流程示意图；
[0031] 图2是本发明中3D海马体分割神经网络模型结构示意图；
[0032] 图3是本发明的3D海马体分割神经网络模型中各个模块组合示意图。
具体实施方式
[0033] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0034] 参照图1，本发明实施例提供了一种基于3D神经网络的人脑核磁共振影像的海马体提取方法，包括以下步骤S1至S5：
[0035] S1、获取含3D标签的人脑核磁共振影像的原始图像数据集作为训练集，对原始图像数据集和标签进行预处理；
[0036] 在本实施例中，获取的原始图像数据集包含130组尺寸大小为197*233*189的NIFTI格式的脑MRI海马体影像文件。
[0037] 下面对获取的原始图像数据集进行预处理，具体包括以下分步骤：
[0038] S11、对原始图像数据及其对应的标签图像数据进行中心区域裁剪，得到裁剪后大小为H*W*D的图像集；
[0039] 在本实施例中，对130组原始图像及其对应的标签图像进行中心点区域裁剪，得到裁剪后大小为64*64*96的图像集。
[0040] S12、对步骤S11得到的裁剪后的核磁共振图像集进行单张图像的归一化处理，即统计每组图像数据的亮度值的均值及标准差，将单张图像的亮度值减均值再除以标准差，得到归一化结果。
[0041] S2、构建由编码部分和通道注意力解码部分组成的3D海马体分割神经网络模型，将步骤S1预处理后的图像通过编码部分提取特征，再将特征通过含通道注意力机制的解码部分进行聚合重组，最终得到海马体分割概率图；
[0042] 在本实施例中，本发明提出了一种基于边界增强损失的含注意力机制的3D海马体分割全
卷积神经网络模型，以解决核磁共振影像中海马体结构过小而引发的类不平衡问题和海马体结构与其周围组织边界模糊而引发的类间差异小的问题。
[0043] 参照图2和图3，3D海马体分割神经网络模型包括编码部分和通道注意力解码部分，模型的编解码具体包括卷积模块(Convolution Block，CB)、残差模块(Residual Block，RB)和通道注意力模块(Channel Attention Block，CAB)；图3(a)为卷积模块，由卷积、组正则化、ReLU激活组成；图3(b)为残差模块，由3D通道加权模块和sum、组正则化、ReLU激活组成；图3(c)为通道注意力模块由卷积、组正则化、ReLU激活、sigmoid激活、逐点相加sum操作、点乘mul操作组成。
[0044] 3D海马体分割神经网络模型将步骤S1预处理后的图像通过编码部分提取特征，再将特征通过含通道注意力机制的解码部分进行分割，每次只将一张图像送入网络训练。
[0045] 参照图2，3D海马体分割神经网络模型的处理过程具体划分为七个分步骤；第一个分步骤包括一个卷积模块、一个残差模块和一个步长为2的2×2×2最大池化操作，卷积模块和残差模块中卷积核的个数均为64，模块中采用的组归一化是将每两个通道分为一组进行归一化，本发明中所提到的组归一化均采用同样的策略；第二个分步骤包括两个残差模块和一个步长为2的2×2×2最大池化操作，其中每个卷积层的卷积核个数为64；第三个分步骤包括两个残差模块和一个步长为2的2×2×2最大池化操作，其中每个卷积层的卷积核个数为128；第四个分步骤包括两个卷积模块和一个采样率为2的上采样操作，三个模块中的每个卷积层的卷积核个数分别为256，128，128；第五个分步骤包括一个卷积模块、一个通道注意力模块、一个残差模块和一个采样率为2的上采样操作，其中每个卷积层的卷积核个数为128；第六个分步骤包括一个卷积模块、一个通道注意力模块、一个残差模块和一个采样率为2的上采样操作，其中每个卷积层的卷积核个数为64；第七个分步骤包括一个卷积模块、一个通道注意力模块、一个残差模块和一个卷积核个数为2、卷积核大小为3×3×3的卷积操作，其中卷积模块和通道注意力模块中卷积层的卷积核个数均为64，残差模块中卷积层的卷积核个数为32，本实施例中所有卷积步长均为1。在最后一个卷积层后加上softmax操作得到最终的海马体分割概率图。
[0046] S3、利用设定的卷积层对步骤S1预处理后的训练集标签数据提取边界，定义边界增强损失函数(Boundary Enhance Loss,BEL)。
[0047] 在本实施例中，步骤S3具体包括以下分步骤：
[0048] S31、设定卷积层，利用sobel算子初始化卷积核，对输入到步骤S2所构建的网络模型中的训练图像对应的标签数据进行卷积操作提取边界；
[0049] 对单张图像进行正向传播获得单次
迭代结果，首先将标签分别送入两个权重固定的卷积层以确定标签的边界。其中，两个卷积层权重分别初始化为Sobel算子的两个卷积核Gx和Gy，将训练集中包含的三维标签数据以矢状面为mini-batch进行卷积操作提取边界。
[0050] 记初始的标签图片为A，求得矢状面的梯度大小G，
[0051]
[0052] 其中，
[0053] 标签图片A为海马体区域亮度值为1，而背景区域的值为0。依据求得的矢状面梯度G，设置边界判决阈值α，将G大于阈值α的点认定为海马体结构的边界。
[0054] S32、利用步骤S31提取的边界定义边界增强对数dice损失函数、定义边界增强交叉熵损失函数、定义类precision损失函数；
[0055] 其中，定义边界增强对数dice损失函数LBED为：
[0056]
[0057] 定义边界增强交叉熵损失函数LBEC为：
[0058] LBEC＝∑x-αB(x)(ln(PH(x))δH(x)+ln(PBG(x))δBG(x))
[0059] 定义类precision损失函数LP为
[0060]
[0061] 其中，x为体素点的位置，PH(x)为网络模型将x点预测为海马体的置信度值，PBG(x)为网络模型将x点预测为海马体的置信度值；当x点的真值标签为海马体时δH(x)的值为1，否则为0；当x点的真值标签为背景时δBG(x)的值为1，否则为0；当x点被认定为边界时αB(x)的值为α，否则为1；ε为平滑系数，为了防止分母取值为0，ε取值为0.0001。
[0062] S33、设定各项损失函数的权重，相加得到边界增强损失函数LBE，表示为：
[0063] LBE＝ωBEDLBED+ωBECLBEC+ωPLP
[0064] 其中，ωBED、ωBEC和ωP分别为LBED、LBEC和LP的权重。
[0065] S4、利用反向传播算法优化步骤S3定义的边界增强损失函数，训练步骤S2构建的3D海马体分割神经网络模型。
[0066] 在本实施例中，利用反向传播算法优化步骤S3定义的边界增强损失函数具体为：
[0067] 随机初始化步骤S2中构建的3D海马体分割神经网络模型，将步骤S1预处理后的图像输入网络模型中得到海马体分割概率图，将得到的海马体分割概率图与输入图像对应的原始标签利用步骤S3定义的边界增强损失函数计算损失值，选取在训练轮次内使得模型损失最小的模型权重。
[0068] 根据优化边界增强损失函数得到的模型权重初始化3D海马体分割神经网络模型。
[0069] S5、利用步骤S4训练后的3D海马体分割神经网络模型对经过步骤S1预处理后的待检测图像进行检测，得到海马体分割概率图，并设定阈值判定概率图中每个点所属类别，进一步得到海马体分割结果。
[0070] 在本实施例中，将经步骤S1预处理后的待检测图像输入至步骤S4训练后的3D海马体分割神经网络模型中，并设定阈值为0.5，得到最终的分割结果即为海马体提取结果。
[0071] 为了验证本发明方法的有效性，在EADC-ADNI
数据库上进行了实验，本发明的实验数据由130组脑MRI图像，130组中包括真实患者和健康对比人群。为了验证模型的性能，将数据划分为5份，采用5折交叉验证实验，4份用于训练，1份用于测试，直到所有的数据都被测试。关于模型的
优化算法，采用Adam算法，初始学习率设置为0.001，权重初始化使用Xavier均匀分布初始化方法。
[0072]
硬件设备如下：处理器Intel Core i7-9700K CPU@4.2GHz；内存(RAM)24.0GB；独立显卡，NVIDIA GeForce GTX 1080Ti；系统类型，Ubuntu 16.04；开发工具，Python和基于tensorflow后端的Keras
框架。
[0073] 采用Dice相似度作为实验的评价指标，表示为
[0074]
[0075] 其中，TP表示图像中真值为海马体并且预测为海马体的体素总数，FN表示图像中真值为海马体但是预测结果为背景的体素总数，FP表示图像中真值为背景但是预测结果为海马体的体素总数。
[0076] 实施方案验证包含以下三部分。第一部分使用本发明提出的损失函数BEL分别训练不同的网络结构，以验证所提出网络结构的有效性；2)使用不同的损失函数训练本发明提出的网络结构，以验证所提出的损失函数的有效性；3)最终将本发明提出的方法与两种同样是利用三维卷积神经网络做医疗影像分割的两组算法进行了对比。
[0077] 1.损失函数对比
[0078] 分别利用本发明设计的损失函数与小批次加权交叉熵(Batch Weighted Cross Entropy,BWCE)损失、指数对数损失(Exponential log Loss,EL)训练本发明设计的卷积神经网络。其中，本发明中损失函数中ωBED、ωBEC、ωP、分别为4、5、1效果最佳。统计损失函数对比实验结果于表1中。从表1Dice栏可以看出本发明提出的损失函数BEL得到最高的Dice精度，同时从Convergence Epoch栏可以看出其展现最快的收敛速度。
[0079] 表1使用不同损失函数训练提出的网络得到的分割结果(mean±std％)
[0080]
[0081] 2.网络结构对比
[0082] 本组实验以本发明提出的损失函数分别训练两种不同的3D卷积神经网络与本发明提出的网络结构相对比，统计对比实验结果于表2中。
[0083] 表2使用提出的损失函数训练不同网络得到的分割结果(mean±std％)
[0084]
[0085] 3.与现有方法对比
[0086] 表3统计了多种不同方法在同一数据集上性能及其提出年份。其中FreeSurfer及Label Fusion采用同一数据集中的不同案例得到结果。其他方法采用同样案例进行。从表3的Dice栏可以看出本发明优于其他方法。
[0087] 表3本发明方法与其他算法性能对比(mean±std％)
[0088]
[0089] 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体
变形和组合，这些变形和组合仍然在本发明的保护范围内。
