| 热词 | 分割 前列腺 前列 图像 解码 解码器 模型 数据 采样 mri | ||
| 专利类型 | 发明授权 | 法律事件 | 公开; 实质审查; 授权; |
| 专利有效性 | 有效专利 | 当前状态 | 授权 |
| 申请号 | CN202011118130.7 | 申请日 | 2020-10-19 |
| 公开(公告)号 | CN112508973B | 公开(公告)日 | 2024-10-18 |
| 申请人 | 杭州电子科技大学; | 申请人类型 | 学校 |
| 发明人 | 魏展; 张桦; 周文晖; 黄鸿飞; 施江玮; 杨思学; | 第一发明人 | 魏展 |
| 权利人 | 杭州电子科技大学 | 权利人类型 | 学校 |
| 当前权利人 | 杭州电子科技大学 | 当前权利人类型 | 学校 |
| 省份 | 当前专利权人所在省份：浙江省 | 城市 | 当前专利权人所在城市：浙江省杭州市 |
| 具体地址 | 当前专利权人所在详细地址：浙江省杭州市下沙高教园区2号大街 | 邮编 | 当前专利权人邮编：310018 |
| 主IPC国际分类 | G06T7/12 | 所有IPC国际分类 | G06T7/12 ; G06T7/155 ; G06T5/30 ; G06T5/90 ; G06T5/60 ; G06N3/0455 ; G06N3/0464 ; G06N3/08 |
| 专利引用数量 | 0 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 1 | 专利文献类型 | B |
| 专利代理机构 | 杭州君度专利代理事务所 | 专利代理人 | 朱月芬; |
| 摘要 | 本 发明 公开一种基于 深度学习 的MRI 图像分割 方法。本发明先利用图像数据增强、提取技术，对数据进行扩容，利用形态学的方法，得到前列腺边缘的标签。然后在U‑Net网络 基础 上加入IBN模 块 ，把maxpool层改成stride conv层，采用2D和3D卷积结合的方法，作为编码部分；在解码部分中，采用两个 解码器 ，其中一个解码器进行前列腺整体的分割预测，另一个解码器进行单独的前列腺边缘的预测。本发明采用了IN和BN相结合的策略，使得模型泛化能 力 得到加强。同时，把原本下 采样 的maxpool层改成stride conv层，使得模型保留图像细节信息的能力得到加强，使得分割的结果更加精细。采用2D和3D卷积相结合的做法进一步提高模型的 精度 。 | ||
| 权利要求 | 1.一种基于深度学习的MRI图像分割方法，其特征在于包括以下步骤： |
||
| 说明书全文 | 一种基于深度学习的MRI图像分割方法技术领域背景技术[0002] 在过去几年里，随着人工智能的兴起，计算机视觉的应用逐渐普遍起来。其中，图像分割是计算机视觉领域中非常重要的一个方向，而图像的语义分割更是图像分割的基石性技术，在自动驾驶系统、地址图像研究、现代化工业、医疗图像等等领域中都有重要的应用。例如，在前列腺癌、前列腺炎、前列腺肥大等前列腺疾病的诊断中，在三维MR图像上进行准确的前列腺分割对于医生对病人病情的诊断、掌握和提出有针对性的治疗方案方面具有重要意义。当前，人为地对前列腺区域进行分割非常的耗时，而且对放射科的医师的丰富经验提出了很高的要求。因此，前列腺MRI图像的自动分割在医学图像处理领域引起了越来越多的关注。 [0004] 1985年，Hinton等提出了后向传播算法，使神经网络的训练变得简单可行。在分类方面，1998年，LeNet5标志着CNN的真正问世。2012年提出AlexNet，取得了该年度ImageNet分类比赛的冠军。2014年，GoogLeNet使用了Inception结构，使网络结果不仅变深，而且变“宽”。2015年，何凯明等提出了深度残差网络ResNet，使用了残差单元，网络层数突破1000。2016年，黄高等提出的DenseNet，使用了稠密连接，在达到与ResNet相当分类精度前提下，参数和计算量只有ResNet的一半。2017年，国内自动驾驶公司Momenta提出的(Squeezeand‑Excitation Networks，SENet)采用了“特征重标定”策略，并同年获得了ImageNet图像分类任务的冠军。在分割方面，2014年，Long等提出的全卷积网络FCN，使得卷积神经网络不需要全连接层就可以实现密集的像素级别的分类。2015年提出的U‑Net网络，使用了编码器‑解码器的结构，并在编码器到解码器之间引入了快捷连接，从而更好的恢复物体的细节信息，特别是利用在医疗图像上的分割任务，取得了较好的成绩。虽然这些分类方法已经取得了非常不错的效果，但是，在分割前列腺的边缘上，效果一直不理想，主要原因是没有给网络模型一个学习器官边缘的指导，网络只要把器官的大部分分割出来，就可以有效降低loss，从而使得网络不再关注器官边缘的分割结果，其次是图像的数据少，给深度学习带来了困难。 发明内容[0005] 本发明要解决的技术问题是，提供一种基于深度学习的MRI图像分割方法。一种基于深度学习的能够有效分割MRI(Magnetic Resonance Imaging磁共振成像)图像中前列腺的图像分割方法。首先利用图像数据增强、提取技术，对数据进行扩容，利用形态学的方法，得到前列腺边缘的标签。然后用3DResBlock作为基础结构，在U‑Net网络基础上加入IBN模块，把maxpool层改成stride conv(跨步卷积)层，下采样采用2D和3D下采样结合的方法，作为编码部分；在解码部分中，采用两个解码器，其中一个解码器进行前列腺整体的分割预测，另一个解码器进行单独的前列腺边缘的预测。使用MICCAI在2012年的竞赛数据集Promise12进行模型训练。 [0006] 本发明面提出的基于深度学习的前列腺分割方法。在数据预处理阶段，利用图像增强技术，对原始图像进行随机改变亮度，gamma值，随机水平翻转等方式，达到对原始数据集进行扩容的目的。然后随机地把数据分成等量的五个部分，进行5折的训练。数据预处理可以使得小数据集的数据得到充分的利用。加之采用较深的网络模型以及特征多次重用的网络结构，尽管数据集中的图像数量较少，也可以尽可能地学习到图像中的信息，因此可以高效、准确地实现对前列腺器官的分割任务。 [0007] 为了实现上述目的，本发明采用了以下技术方案： [0008] 首选Python语言作为基础。在图像增强上，使用numpy库对原始图像数据进行左右翻转、随机改变亮度、对比度、gamma值、随机裁剪图像、随机高斯噪声等，然后输出图像增强后的数据集。并在此基础上，随机把图像分成等量的5份，用于5折训练。然后使用开源深度学习框架PyTorch，实现网络模型，完成模型的搭建。通过对数据集进行5折训练，每一折都选取出在验证集上最优的模型，对选出的五个模型进行模型融合，以得到最终的结果。 [0009] 一种基于深度学习的MRI图像分割方法包括以下步骤： [0010] 步骤1、获取相关领域的MRI前列腺原始图像数据集，并对获得的原始图像数据集进行清洗。 [0011] 所述的MRI前列腺原始图像数据集包括图像以及图像对应的前列腺分割标签； [0012] 步骤2、利用图像增强技术对清洗后的图像数据集进行增强处理，增加样本的数量并丰富数据内容。 [0013] 步骤3、利用形态学方法，对增强后的图像数据集中每张图像对应的前列腺分割标签进行腐蚀，然后用原标签减去腐蚀后的标签，从而获得图像对应的前列腺边缘的标签。 [0014] 步骤4、将经过步骤4处理后的图像数据集进行随机划分，分成等量的5份数据集。 [0015] 步骤5、搭建图像分割模型，在图像分割模型的编码网络中加入IBN模块，把网络所有的下采样层从maxpool改成stride conv，其中，第一个下采样利用2D卷积核进行，其他下采样利用3D卷积核进行；然后在编码网络中连接两个解码器，其中一个解码器用于输出整个前列腺的分割结果，另一个解码器用于输出前列腺边缘的分割结果。 [0016] 步骤6、根据步骤4得到的5份数据集，对图像分割模型进行五折训练，并把每折训练得到的最优模型进行融合。 [0017] 进一步的，步骤2具体包括以下步骤： [0018] 步骤2.1、数据形态增强：对清洗后的原始图像数据集及其标注，进行水平镜像的翻转。 [0019] 步骤2.2、数据空间域增强：较小程度的随机改变亮度对比度以及gamma值，在保证图像物理意义的同时，扩增图像数据数量，经过实验发现为有效的数据增强。 [0020] 步骤2.3、对图像数据进行随机裁剪，即利用图像数据集中图像的前列腺分割标签获取前列腺的中心；然后让裁剪的中心在前列腺中心随机抖动一定范围进行64*176*176的图像裁剪。 [0021] 步骤5具体包括以下步骤： [0022] 步骤5.1、图像分割模型的编码网络，该图像分割模型在U‑Net模型的基础上加入IBN模块；然后把U‑Net模型中的原下采样阶段的maxpool层改成stride conv层，有利于模型保留图像的细节信息，对于提升分割结果的精细程度有很好的效果。 [0023] 所述的IN对于目标的外观变化具有不变性，BN对于保留特征图的特征具有良好的性能，把两者结合起来，从而能够很好地提升模型对于特征的学习能力和泛化性能。 [0024] 步骤5.2、解码阶段：采用双解码器结构，其中一个解码器用于输出整个前列腺的分割结果，另一个解码器用于输出前列腺边缘的分割结果，以帮助网络加强分割边缘的学习。 [0025] 与现有技术相对，本发明具有以下明显优势： [0026] 深度学习模型一般需要大量的数据集去训练，以此来寻求最佳模型，而医学图像数据集相对自然图像而言，由于获取的难度大，成本高，使得数据集规模较小。本模型采用了IN和BN相结合的策略，使得模型泛化能力得到加强。同时，把原本下采样的maxpool层改成stride conv层，使得模型保留图像细节信息的能力得到加强，使得分割的结果更加精细。采用2D下采样和3D下采样相结合的做法，即根据数据集的特点，在编码阶段的第一层采用2D卷积进行下采样，而在其他下采样层采用3D卷积进行下采样，来解决3D图像各向异性的特点，进一步提高模型的精度。在解码阶段，采用双解码器的策略，其中一个解码器用于输出前列腺整体的分割，另一个解码器用于输出前列腺边缘的分割，使得模型能更加注重学习前列腺边缘。总体上来讲，本发明可以比较高效准确的对地址盐层图像进行分割。附图说明 [0027] 图1为本发明所涉及方法的流程图； [0028] 图2为本发明所涉及的语义分割网络总体结构图； [0029] 图3是本发明的网络结构图； [0030] 图4是本发明的2D ResBlock结构； [0031] 图5是本发明的3D ResBlock结构。具体实施方式 [0032] 以下结合具体实施，并参照附图，对本发明进一步详细说明。 [0034] 如图1所示，本发明提供一种基于深度学习的MR图像前列腺分割方法，具体包括以下步骤： [0035] 步骤1，获取相关领域的地质盐层图像数据集，并对这些数据进行第一种基于深度学习的MRI图像分割方法包括以下步骤： [0036] 步骤1、获取相关领域的MRI前列腺原始图像数据集，并对获得的原始图像数据集进行清洗。 [0037] 所述的MRI前列腺原始图像数据集包括图像以及图像对应的前列腺分割标签； [0038] 步骤2、利用图像增强技术对清洗后的图像数据集进行增强处理，增加样本的数量并丰富数据内容。 [0039] 步骤3、利用形态学方法，对增强后的图像数据集中每张图像对应的前列腺分割标签进行腐蚀，然后用原标签减去腐蚀后的标签，从而获得图像对应的前列腺边缘的标签。 [0040] 步骤4、将经过步骤4处理后的图像数据集进行随机划分，分成等量的5份数据集。 [0041] 步骤5、搭建图像分割模型，利用3D ResBlock作为基础结构，在图像分割模型的编码网络中加入IBN模块，在下采样层中把maxpool层改成stride conv层其中第一个下采样采用2D卷积核，其他下采样采用3D卷积核；然后在编码网络中连接两个解码器，其中一个解码器用于输出整个前列腺的分割结果，另一个解码器用于输出前列腺边缘的分割结果。 [0042] 步骤6、根据步骤4得到的5份数据集，对图像分割模型进行五折训练，并把每折训练得到的最优模型进行融合。 [0043] 如图2所示，是一整个基于MR图像前列腺的语义分割网络的结构图，整体由两大模块组成，编码模块和解码模块。 [0044] 步骤5.1、编码阶段，采用在U‑Net上的对于分割的任务要求进行改进的编码模型，加入IBN结构，IN对于目标的外观变化具有不变性，BN对于保留特征图的特征具有良好的性能，把两者结合起来，能够很好地提升模型对于特征的学习能力和泛化性能。把原下采样阶段的maxpool层改成stride conv层，有利于模型保留图像的细节信息，对于提升分割结果的精细程度有很好的效果。 [0045] 如图3所示，为本发明所涉及的网络结构图。从图中可以看出，编码网络在第一个下采样操作采用了2D下采样，其他下采样操作采用了3D下采样。解码器网络包括了两个解码器，其中一个进行前列腺整体的分割，另一个进行前列腺边缘的分割。 [0046] 图4为本发明的2D ResBlock结构。 [0047] 如图5所示，是本发明的3D ResBlock结构。从图中可以看出，利用了IN和BN相结合的IBN结构。 [0048] 步骤5.2、解码阶段，采用双解码器的方案，其中一个解码器用于输出整个前列腺的分割结果，另一个解码器用于输出前列腺边缘的分割结果，以帮助网络加强分割边缘的学习。 [0049] 本发明模型具体的实现流程如下： [0050] 如图3所示，预处理后的图像经过3D残差结构，之后进入一个2D下采样层，具体操作是采用2*2*1的卷积核尺寸和2*2*1的卷积跨度。然后进入3D卷积和3D下采样交替的结构，重复几次之后，将编码器输出的特征图复制一份，得到的两份特征图分别输入到两个解码器中，一个解码器输出前列腺整体分割，另一个解码器输出前列腺边缘分割。 [0051] 把图像分别输入五折训练得到的五个模型，取每一个模型的整体分割结果，每一个像素点做五个分割结果的平均，然后经过Sigmoid激活函数，用0.5作为阈值，大于0.5的点作为前景，小于0.5的点作为背景，得到最终的分割结果。 |
||
QQ群二维码
意见反馈
意见反馈