首页 / 专利库 / 诊断设备和程序 / 医学影像学 / 分子成像 / 磁共振成像 / 血管内磁共振成像 / 一种基于卷积神经网络的颅内动脉瘤检测方法及系统

一种基于卷积神经网络的颅内动脉瘤检测方法及系统

阅读:989发布:2020-05-26

专利汇可以提供一种基于卷积神经网络的颅内动脉瘤检测方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 属于医学 图像处理 领域,公开了一种基于 卷积神经网络 的颅内 动脉瘤 检测方法及系统,其中检测方法是基于三维时间飞跃磁共振血管成像图像(3D Time-of-Flight MR Angiography,3D TOF MRA),先对血管进行提取,接着沿血管的中心线提取一系列的立方体 体素 块 ,作为感兴趣区域(Region of Interest,ROI),对每个感兴趣区域ROI进行多个方向上的最大 密度 投影,得到最大密度投影图(Maximal Intensity Projection,MIP);通过将MIP图作为输入并使用经过训练的卷积神经网络对MIP图进行分类,得到的分类结果反映ROI中是否包含动脉瘤,进而判断待检测对象是否存在颅内动脉瘤。本发明通过对方法整体流程处理、及相应系统装置中各个功能模块组件的设置方式进行改进,使检测方法及系统具有较高的分类准确率和敏感度。,下面是一种基于卷积神经网络的颅内动脉瘤检测方法及系统专利的具体信息内容。

1.一种基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,包括以下步骤:
(1)准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
(2)基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,然后在该三维数据中提取血管对应的区域;
(3)在所述三维数据中,沿血管的中心线提取一系列的立方体体素,作为感兴趣区域ROI;
(4)根据最大密度投影原理对每个感兴趣区域ROI进行投影,生成得到与该感兴趣区域ROI相对应的MIP图,用于作为网络的输入;
(5)将所述步骤(4)得到的基于感兴趣区域ROI生成的MIP图作为输入,输入到经过训练的卷积神经网络中进行分类,从而判定与所述MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;若存在某个所述MIP图被判定为存在颅内动脉瘤,则所述待检测对象存在颅内动脉瘤。
2.一种基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,包括以下步骤:
(1)准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
(2)基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,然后在该三维数据中提取血管对应的区域;
(3)在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为主感兴趣区域ROI;
对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主感兴趣区域ROI对应的若干个副感兴趣区域ROI;将主感兴趣区域ROI与副感兴趣区域ROI一起作为待使用的感兴趣区域ROI;
(4)根据最大密度投影原理对每个待使用的感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图,由此得到一系列MIP图,用于作为网络的输入;
(5)针对任意一个所述主感兴趣区域ROI,将所述步骤(4)得到的基于该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI它们的MIP图作为输入,输入到经过训练的卷积神经网络中进行分类,从而判定与这些MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;具体的,若存在某个所述主感兴趣区域ROI满足:
i.基于该主感兴趣区域ROI的MIP图被判定为存在颅内动脉瘤;或者,
ii.基于该主感兴趣区域ROI的MIP图被判定为不存在颅内动脉瘤,但基于该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI全部的MIP图中超过半数被判定为存在颅内动脉瘤;
则,所述待检测对象存在颅内动脉瘤。
3.如权利要求1或2所述基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,所述步骤(1)中,所述准备三维时间飞跃磁共振血管成像图像,具体是利用灰度拉伸方法对这些三维时间飞跃磁共振血管成像图像进行预处理,并将各个切片图像归一化到512×512像素的大小,以提高图像质量
所述步骤(2)中,具体是使用大津(Otsu)阈值分割和Hessian矩阵提取血管对应的区域。
4.如权利要求1所述基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,所述步骤(3)中,在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI或主感兴趣区域ROI,具体是:
使用一个大小为48×48×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列48×48×24像素的立方体体素块,将每一个立方体体素块作为感兴趣区域ROI;
优选的,所述步骤(3)还包括对每个所述感兴趣区域ROI进行降采样使其尺寸为24×24×24像素。
5.如权利要求2所述基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,所述步骤(3)中,在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为主感兴趣区域ROI,具体是:
使用一个大小为64×64×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列64×64×24像素的立方体体素块,对每个64×64×24像素的立方体体素块取中心的48×48×
24像素立方体体素块作为主感兴趣区域ROI;
对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主感兴趣区域ROI对应的若干个副感兴趣区域ROI,具体是:
对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在对应的64×
64×24像素的立方体体素块中设置平移窗口,该平移窗口大小为48×48×24像素,然后将窗口的中心点由对应的64×64×24像素的立方体体素块的中心点出发,沿所述三维数据的X轴和Y轴,并按X轴上和Y轴上的平移距离分别独立取自-8、-4、0、4、8像素,在对应的64×64×24像素的立方体体素块中平移,平移过程中保持平移窗口的尺寸不变,由此使一个主感兴趣区域ROI经扩展得到与这个主感兴趣区域ROI对应的24个副感兴趣区域ROI;
优选的,所述步骤(3)还包括对每个所述感兴趣区域ROI进行降采样使其尺寸为24×24×24像素。
6.如权利要求1或2所述基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,所述步骤(4)中,根据最大密度投影原理对每个感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图,具体包括以下步骤:
(4-1)对于任意一个感兴趣区域ROI,按照预先设定的九个方向,从感兴趣区域ROI中生成沿这九个方向的九个MIP图,对于斜向投影的MIP图进行降采样,使得任意一个MIP图的尺寸大小均为24×24像素;
(4-2)将所述九个MIP图垂直连接生成大小为24×216像素的MIP连接图,该MIP连接图即作为卷积神经网络的输入。
7.如权利要求1或2所述基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,所述步骤(5)中,所述卷积神经网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层及全连接层,输出层的两个输出量分别对应于输入图像是否包含动脉瘤的概率,该卷积神经网络使用有softmax函数将输出的概率归一化到0~1的区间范围;
所述训练所采用的训练集通过以下步骤获得:
(S1)准备经医生确诊的患颅内动脉瘤的病人的三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组切片图像组成;
(S2)基于所述步骤(S1)得到的所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,然后在该三维数据中提取血管对应的区域;
(S3)在所述步骤(S2)得到的所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI;具体包括以下步骤:
(S3-1)使用一个大小为64×64×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列64×64×24像素的立方体体素块,对每个64×64×24像素的立方体体素块取中心的48×48×24像素的体素块作为感兴趣区域ROI;
(S3-2)在包含颅内动脉瘤的ROI中,选取动脉瘤位于ROI中间区域的ROI作为正样本;在没有包含颅内动脉瘤的ROI中,选取靠近Willis环的ROI作为负样本;并记录下作为正样本和负样本的各个ROI在三维数据中的位置;
记这些作为正样本或负样本的ROI为主ROI,对于任意一个主ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主ROI对应的若干个副ROI;得到的副ROI其正样本或负样本标签值与所对应的主ROI的正样本或负样本标签值相同,最后将该主ROI与副ROI一起作为正样本或负样本;
由此即可得到正样本集和负样本集,从而用于共同构建训练集。
8.如权利要求7所述基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,所述步骤(S3-2)中,对于任意一个主ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主ROI对应的若干个副ROI,具体是:
对于任意一个主ROI,根据它在三维数据中的位置及尺寸大小在对应的64×64×24像素的立方体体素块中设置平移窗口,该平移窗口大小为48×48×24像素,然后将窗口的中心点由对应的64×64×24像素的立方体体素块的中心点出发,沿所述三维数据的X轴和Y轴,并按X轴上和Y轴上的平移距离分别独立取自-8、-4、0、4、8像素,在对应的64×64×24像素的立方体体素块中平移,平移过程中保持平移窗口的尺寸不变,由此使一个主ROI经扩展得到与这个主ROI对应的24个副ROI;
优选的,所述步骤(S3-2)还包括对所述训练集中的任意一个样本进行降采样使其尺寸为24×24×24像素。
9.一种基于卷积神经网络的颅内动脉瘤检测系统,其特征在于,该系统包括:
图像预处理模块,用于准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
三维数据重建模块,用于基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,并在该三维数据中提取血管对应的区域;
感兴趣区域ROI提取模块,用于在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI;
MIP处理模块,用于根据最大密度投影原理对每个感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图;
卷积神经网络,用于将基于感兴趣区域ROI的MIP图作为输入,通过该卷积神经网络的分类处理判定与所述MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;若存在某个所述MIP图被判定为存在颅内动脉瘤,则所述待检测对象存在颅内动脉瘤。
10.一种基于卷积神经网络的颅内动脉瘤检测系统,其特征在于,该系统包括:
图像预处理模块,用于准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
三维数据重建模块,用于基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,并在该三维数据中提取血管对应的区域;
感兴趣区域ROI提取模块,用于在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为主感兴趣区域ROI;
对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主感兴趣区域ROI对应的若干个副感兴趣区域ROI;将主感兴趣区域ROI与副感兴趣区域ROI一起作为待使用的感兴趣区域ROI;
MIP处理模块,用于根据最大密度投影原理对每个待使用的感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图,由此得到一系列MIP图;
卷积神经网络,用于针对任意一个所述主感兴趣区域ROI,将基于该主感兴趣区域ROI自身及与该主感兴趣区域ROI相对应的副感兴趣区域ROI它们的MIP图作为输入,通过该卷积神经网络的分类处理判定与这些MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;具体的,若存在某个所述主感兴趣区域ROI满足:
i.基于该主感兴趣区域ROI的MIP图被判定为存在颅内动脉瘤;或者,
ii.基于该主感兴趣区域ROI的MIP图被判定为不存在颅内动脉瘤,但基于该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI全部的MIP图中超过半数被判定为存在颅内动脉瘤;
则,所述待检测对象存在颅内动脉瘤。

说明书全文

一种基于卷积神经网络的颅内动脉瘤检测方法及系统

技术领域

[0001] 本发明属于医学图像处理领域,更具体地,涉及一种基于卷积神经网络的颅内动脉瘤检测方法及系统。

背景技术

[0002] 颅内动脉瘤是脑血管病的典型病症,破裂之后通常导致严重的神经系统后遗症并且可能致命。在临床上,三维时间飞跃磁共振血管成像已被广泛用作脑动脉瘤的筛查方法。然而,在三维时间飞跃磁共振血管成像图像中通过观察检测未破裂的颅内动脉瘤对于放射科医生来说比较困难。
[0003] 医生在临床上诊断颅内动脉瘤时,通过磁共振成像(Magnetic Resonance Imaging,MRI)显示器能够观察血管各个度的MIP图,以确定血管是否真的存在颅内动脉瘤。然而医生的疲劳会导致潜在的漏诊险,会进一步降低放射科医生的敏感性,这是一个相当严重的问题。因此,实现脑部磁共振血管成像图像中的颅内动脉瘤的检测以及自动提取对医生进行脑部肿瘤临床诊断和治疗具有重要意义。

发明内容

[0004] 针对现有技术中存在医生由图像诊断颅内动脉瘤工作量较大且敏感度较低等问题,本发明的目的在于提供一种基于卷积神经网络的颅内动脉瘤检测方法及系统,通过对方法整体流程处理、及相应系统装置中各个功能模组件的设置方式进行改进,基于三维时间飞跃磁共振血管成像数据,先对血管进行提取,接着以血管中心线为滑动路线,滑动选取立方体体素块作为感兴趣区域ROI,对立方体体素块进行多个方向上的最大密度投影,得到MIP图;通过将MIP图引入到动脉瘤的识别中,即,将MIP图作为输入并使用训练好的卷积神经网络对MIP图进行分类,得到的分类结果即可反映感兴趣区域ROI立方体体素块中是否包含有动脉瘤,进而判断待检测对象是否存在颅内动脉瘤,该检测方法及系统具有较高的分类准确率和敏感度。另外,本发明通过对训练集所使用的训练用正负样本进行扩展,有效解决了医学数据少的问题。
[0005] 为实现上述目的,按照本发明的一个方面,提供了一种基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,包括以下步骤:
[0006] (1)准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
[0007] (2)基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,然后在该三维数据中提取血管对应的区域;
[0008] (3)在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI;
[0009] (4)根据最大密度投影原理对每个感兴趣区域ROI进行投影,生成得到与该感兴趣区域ROI相对应的MIP图,用于作为网络的输入;
[0010] (5)将所述步骤(4)得到的基于感兴趣区域ROI生成的MIP图作为输入,输入到经过训练的卷积神经网络中进行分类,从而判定与所述MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;若存在某个所述MIP图被判定为存在颅内动脉瘤,则所述待检测对象存在颅内动脉瘤。
[0011] 按照本发明的另一方面,本发明提供了一种基于卷积神经网络的颅内动脉瘤检测方法,其特征在于,包括以下步骤:
[0012] (1)准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
[0013] (2)基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,然后在该三维数据中提取血管对应的区域;
[0014] (3)在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为主感兴趣区域ROI;
[0015] 对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主感兴趣区域ROI对应的若干个副感兴趣区域ROI;将主感兴趣区域ROI与副感兴趣区域ROI一起作为待使用的感兴趣区域ROI;
[0016] (4)根据最大密度投影原理对每个待使用的感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图,由此得到一系列MIP图,用于作为网络的输入;
[0017] (5)针对任意一个所述主感兴趣区域ROI,将所述步骤(4)得到的基于该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI它们的MIP图作为输入,输入到经过训练的卷积神经网络中进行分类,从而判定与这些MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;具体的,若存在某个所述主感兴趣区域ROI满足:
[0018] i.基于该主感兴趣区域ROI的MIP图被判定为存在颅内动脉瘤;或者,[0019] ii.基于该主感兴趣区域ROI的MIP图被判定为不存在颅内动脉瘤,但基于该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI全部的MIP图中超过半数被判定为存在颅内动脉瘤;
[0020] 则,所述待检测对象存在颅内动脉瘤。
[0021] 作为本发明的进一步优选,所述步骤(1)中,所述准备三维时间飞跃磁共振血管成像图像,具体是利用灰度拉伸方法对这些三维时间飞跃磁共振血管成像图像进行预处理,并将各个切片图像归一化到512×512像素的大小,以提高图像质量
[0022] 所述步骤(2)中,具体是使用大津(Otsu)阈值分割和Hessian矩阵提取血管对应的区域。
[0023] 作为本发明的进一步优选,所述步骤(3)中,在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI或主感兴趣区域ROI,具体是:
[0024] 使用一个大小为48×48×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列48×48×24像素的立方体体素块,将每一个立方体体素块作为感兴趣区域ROI;
[0025] 优选的,所述步骤(3)还包括对每个所述感兴趣区域ROI进行降采样使其尺寸为24×24×24像素。
[0026] 作为本发明的进一步优选,所述步骤(3)中,在所述三维数据中,沿血管的中心线提取一系列立方体体素块,作为主感兴趣区域ROI,具体是:
[0027] 使用一个大小为64×64×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列64×64×24像素的立方体体素块,对每个64×64×24像素的立方体体素块取中心的48×48×24像素立方体体素块作为主感兴趣区域ROI;
[0028] 对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主感兴趣区域ROI对应的若干个副感兴趣区域ROI,具体是:
[0029] 对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在对应的64×64×24像素的立方体体素块中设置平移窗口,该平移窗口大小为48×48×24像素,然后将窗口的中心点由对应的64×64×24像素的立方体体素块的中心点出发,沿所述三维数据的X轴和Y轴,并按X轴上和Y轴上的平移距离分别独立取自-8、-4、0、4、8像素,在对应的64×64×24像素的立方体体素块中平移,平移过程中保持平移窗口的尺寸不变,由此使一个主感兴趣区域ROI经扩展得到与这个主感兴趣区域ROI对应的24个副感兴趣区域ROI;
[0030] 优选的,所述步骤(3)还包括对每个所述感兴趣区域ROI进行降采样使其尺寸为24×24×24像素。
[0031] 作为本发明的进一步优选,所述步骤(4)中,根据最大密度投影原理对每个感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图,具体包括以下步骤:
[0032] (4-1)对于任意一个感兴趣区域ROI,按照预先设定的九个方向,从感兴趣区域ROI中生成沿这九个方向的九个MIP图,对于斜向投影的MIP图进行降采样,使得任意一个MIP图的尺寸大小均为24×24像素;
[0033] (4-2)将所述九个MIP图垂直连接生成大小为24×216像素的MIP连接图,该MIP连接图即作为卷积神经网络的输入。
[0034] 作为本发明的进一步优选,所述步骤(5)中,所述卷积神经网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层及全连接层,输出层的两个输出量分别对应于输入图像是否包含动脉瘤的概率,该卷积神经网络使用有softmax函数将输出的概率归一化到0~1的区间范围;
[0035] 所述训练所采用的训练集通过以下步骤获得:
[0036] (S1)准备经医生确诊的患颅内动脉瘤的病人的三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组切片图像组成;
[0037] (S2)基于所述步骤(S1)得到的所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,然后在该三维数据中提取血管对应的区域;
[0038] (S3)在所述步骤(S2)得到的所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI;具体包括以下步骤:
[0039] (S3-1)使用一个大小为64×64×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列64×64×24像素的立方体体素块,对每个64×64×24像素的立方体体素块取中心的48×48×24像素的体素块作为感兴趣区域ROI;
[0040] (S3-2)在包含颅内动脉瘤的ROI中,选取动脉瘤位于ROI中间区域的ROI作为正样本;在没有包含颅内动脉瘤的ROI中,选取靠近Willis环的ROI作为负样本;并记录下作为正样本和负样本的各个ROI在三维数据中的位置;
[0041] 记这些作为正样本或负样本的ROI为主ROI,对于任意一个主ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主ROI对应的若干个副ROI;得到的副ROI其正样本或负样本标签值与所对应的主ROI的正样本或负样本标签值相同,最后将该主ROI与副ROI一起作为正样本或负样本;
[0042] 由此即可得到正样本集和负样本集,从而用于共同构建训练集。
[0043] 作为本发明的进一步优选,所述步骤(S3-2)中,对于任意一个主ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,然后将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主ROI对应的若干个副ROI,具体是:
[0044] 对于任意一个主ROI,根据它在三维数据中的位置及尺寸大小在对应的64×64×24像素的立方体体素块中设置平移窗口,该平移窗口大小为48×48×24像素,然后将窗口的中心点由对应的64×64×24像素的立方体体素块的中心点出发,沿所述三维数据的X轴和Y轴,并按X轴上和Y轴上的平移距离分别独立取自-8、-4、0、4、8像素,在对应的64×64×
24像素的立方体体素块中平移,平移过程中保持平移窗口的尺寸不变,由此使一个主ROI经扩展得到与这个主ROI对应的24个副ROI;
[0045] 优选的,所述步骤(S3-2)还包括对所述训练集中的任意一个样本进行降采样使其尺寸为24×24×24像素。
[0046] 按照本发明的又一方面,本发明提供了一种基于卷积神经网络的颅内动脉瘤检测系统,其特征在于,该系统包括:
[0047] 图像预处理模块,用于准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
[0048] 三维数据重建模块,用于基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,并在该三维数据中提取血管对应的区域;
[0049] 感兴趣区域ROI提取模块,用于在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为感兴趣区域ROI;
[0050] MIP处理模块,用于根据最大密度投影原理对每个感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图;
[0051] 卷积神经网络,用于将基于感兴趣区域ROI的MIP图作为输入,通过该卷积神经网络的分类处理判定与所述MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;若存在某个所述MIP图被判定为存在颅内动脉瘤,则所述待检测对象存在颅内动脉瘤。
[0052] 按照本发明的再一方面,本发明提供了一种基于卷积神经网络的颅内动脉瘤检测系统,其特征在于,该系统包括:
[0053] 图像预处理模块,用于准备三维时间飞跃磁共振血管成像图像,这些三维时间飞跃磁共振血管成像图像由一组来自同一待检测对象的切片图像组成;
[0054] 三维数据重建模块,用于基于所述三维时间飞跃磁共振血管成像图像,将切片图像重建为三维数据,并在该三维数据中提取血管对应的区域;
[0055] 感兴趣区域ROI提取模块,用于在所述三维数据中,沿血管的中心线提取一系列的立方体体素块,作为主感兴趣区域ROI;
[0056] 对于每一个主感兴趣区域ROI,根据它在三维数据中的位置及尺寸大小在所述三维数据中设置平移窗口,将窗口的中心点沿预先设定的方向并按预先设定的平移距离在所述三维数据中平移,平移过程中保持平移窗口的尺寸不变,由此在平移过程中得到与这个主感兴趣区域ROI对应的若干个副感兴趣区域ROI;将主感兴趣区域ROI与副感兴趣区域ROI一起作为待使用的感兴趣区域ROI;
[0057] MIP处理模块,用于根据最大密度投影原理对每个待使用的感兴趣区域ROI进行投影,得到与该感兴趣区域ROI相对应的MIP图,由此得到一系列MIP图;
[0058] 卷积神经网络,用于针对任意一个所述主感兴趣区域ROI,将基于该主感兴趣区域ROI自身及与该主感兴趣区域ROI相对应的副感兴趣区域ROI它们的MIP图作为输入,通过该卷积神经网络的分类处理判定与这些MIP图对应的感兴趣区域ROI是否存在颅内动脉瘤;具体的,若存在某个所述主感兴趣区域ROI满足:
[0059] i.基于该主感兴趣区域ROI的MIP图被判定为存在颅内动脉瘤;或者,[0060] ii.基于该主感兴趣区域ROI的MIP图被判定为不存在颅内动脉瘤,但基于该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI全部的MIP图中超过半数被判定为存在颅内动脉瘤;
[0061] 则,所述待检测对象存在颅内动脉瘤。
[0062] 通过本发明所构思的以上技术方案,与现有技术相比,本发明中基于卷积神经网络的颅内动脉瘤检测方法具体是,基于三维时间飞跃磁共振血管成像图像,先对血管进行提取,接着以血管中心线为滑动路线,滑动选取立方体体素块作为感兴趣区域ROI,对立方体体素块进行多个方向上的最大密度投影,得到MIP图;通过将MIP图作为输入并使用训练好的卷积神经网络对MIP图进行分类,得到的分类结果即可反映感兴趣区域ROI中是否含有动脉瘤,进而判断待检测对象是否存在颅内动脉瘤;相应检测系统也是通过设置相对应的功能模块,利用各个模块间的整体配合,实现颅内动脉瘤检测功能;该检测方法及系统具有较高的分类准确率和敏感度。
[0063] 本发明卷积神经网络训练所采用的训练集,可以基于已知患颅内动脉瘤的病人的三维时间飞跃磁共振血管成像图像。并且,利用已有的正、负样本,通过设置平移窗口使平移窗口的中心点沿预先设定的方向并按预先设定的平移距离在三维数据中平移,由此能够扩展正、负样本的数量,解决了医学数据少、训练集所使用的训练样本数量有限等问题。
[0064] 本发明优选采用投票分类的方式,即,针对待分类的感兴趣区域ROI,以该感兴趣区域ROI作为主感兴趣区域ROI,通过设置平移窗口使平移窗口的中心点沿预先设定的方向并按预先设定的平移距离在三维数据中平移,获得主感兴趣区域ROI附近的其他若干个副感兴趣区域ROI(如,在包含目标待测区域的前提下,多次移动立方体小块取得多个感兴趣区域ROI测试数据,使得目标区域在立方体小块中处于不同的位置),然后对所有取得的感兴趣区域ROI立方体数据进行最大密度投影并输入卷积神经网络进行测试,根据测试结果进行投票计数,若主感兴趣区域ROI被分类为正样本,或者该主感兴趣区域ROI被分类为负样本,但与该主感兴趣区域ROI相对应的副感兴趣区域ROI中超过半数感兴趣区域ROI被分类成正样本,则此感兴趣区域ROI的分类结果为正,否则为负(正代表存在颅内动脉瘤,负代表不存在颅内动脉瘤);采用投票分类,能够减少直接分类时存在的漏检情况。附图说明
[0065] 图1为本发明实施例中基于投票分类的方法流程示意图。
[0066] 图2为九个方向投影示意图。
[0067] 图3为卷积神经网络结构示意图,自左至右分别为第一卷积层、第一最大池化层、第二卷积层、第二最大池化层及全连接层,第一卷积层和第二卷积层的卷积核的数量分别为10和36,全连接层的特征维度为15。
[0068] 图4为直接分类ROC曲线图。
[0069] 图5为投票分类ROC曲线图。

具体实施方式

[0070] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0071] 实施例1
[0072] 总体来说,本发明在进行动脉瘤分类时,是先对血管进行提取,得到血管的位置信息,然后利用血管的位置信息,以血管中心线为滑动路线,滑动选取立方体小块,对立方体小块进行九个方向上的最大密度投影,得到MIP图。将MIP图作为输入使用二维卷积神经网络对MIP图进行分类,得到分类结果,分类结果反映的是立方体小块中是否包含有动脉瘤。
[0073] 如图1所示,本发明实施例的基于MIP图像和卷积神经网络的颅内动脉瘤识别方法,包括以下步骤:
[0074] (1)对三维时间飞跃磁共振血管成像图像进行灰度拉伸、归一化等预处理,提高图像质量;
[0075] (2)将切片图像重建为三维数据,在三维数据中使用现有技术中已知的大津(Otsu)阈值分割和Hessian矩阵提取血管;
[0076] (3)使用一个大小为64×64×24像素的滑动窗沿着血管滑动,在滑动过程中生成一系列64×64×24像素的立方体小块,每个立方体小块中心48×48×24像素的体素块为主感兴趣区域ROI(之所以选用64×64×24像素的滑动窗、而非48×48×24像素的滑动窗,是为了后续对训练样本集进行扩展,或者是为了后续在投票分类时得到与主感兴趣区域ROI相对应的副感兴趣区域ROI;当不需要进行扩展,或不采用投票分类而采用直接分类时,也可直接采用48×48×24像素的滑动窗;而采用64×64×24像素能够使后续平移扩展时确保能够取到所有的48×48×48像素的体素块)。
[0077] 在包含颅内动脉瘤的感兴趣区域ROI中,选取动脉瘤位于中间的感兴趣区域ROI作正样本,在没有包含颅内动脉瘤的感兴趣区域ROI中,选取Willis环附近的感兴趣区域ROI作负样本,同时记录下感兴趣区域ROI在三维数据中的位置(该位置用于后续对训练样本集进行扩展,或者用于后续在投票分类时得到与主感兴趣区域ROI相对应的副感兴趣区域ROI;当不需要进行扩展,或不采用投票分类而采用直接分类时,也可不记录位置)。
[0078] (4)将主感兴趣区域ROI使用48×48×24像素的滑动窗沿立方体小块的轴、Y轴分别平移-8、-4、0、4、8像素,排列组合后可以使感兴趣区域ROI数据数量扩充25倍,将数量扩充后的48×48×24像素的立方体小块降采样为24×24×24像素(之所以采用降采样的方式,主要是考虑到有些肿瘤较大,X轴与Y轴取48像素基本能够包含所有的肿瘤,再降采样保证体素块和肿瘤形状规则)。
[0079] (5)对步骤(4)中得到的扩充后的数据进行9个方向的最大密度投影如图2所示,得到9个方向24×24像素的MIP图(这9个方向为预先设定的,如图2所示的9个方向为典型的九个方向,由这典型的九个方向得到的MIP能够很好地反映数据的信息;这9个方向自左到右、自上到下分别是:①+X方向,②+Y方向,③+Z方向,④与+X、+Y均呈45°的方向,⑤与+Y、+Z均呈45°的方向,⑥与+X、+Z均呈45°的方向,⑦与-X、+Y均呈45°的方向,⑧与-Y、+Z均呈45°的方向,⑨与-X、+Z均呈45°的方向;其中,对于斜向投影的④、⑤、⑥、⑦、⑧、⑨投影后进行降采样至24×24像素),将9张MIP图纵向连接,得到24×216像素大小的图像作为卷积神经网络的输入。
[0080] (6)使用训练得到卷积神经网络对待测图像进行检测,在检测时引入投票机制。具体步骤如下:
[0081] (6-1)搭建卷积神经网络,如图3所示,所使用的网络可由卷积层、池化层、卷积层、池化层、全连接层依次连接而成。需要说明的是,该图3仅为示例,图3示例的这种结构简单卷积神经网络,网络结构可进行优化。
[0082] (6-2)一般情况下,参数设置为:训练图像大小为24×216,测试图像大小为24×216,第一个卷积层的卷积核大小设置为10×3×3,第一个池化层尺寸为2,第二个卷积层的卷积核大小设置为36×3×3,第二个池化层尺寸为2,全连接层特征维度为15,输出维度为
2,激励采用ReLU,输出为输入图像是否包含动脉瘤的概率,采用随机梯度下降法来优化网络权重。
[0083] (6-3)设置训练参数并初始化网络参数,对网络进行训练。
[0084] 一般情况下,可设置学习率为0.000001,学习动量为0。为了方便观察训练过程中的网络变化,设置每100次显示一次loss值,迭代1000次保存网络结构。
[0085] (6-4)使用(6-3)训练得到的网络对测试样本进行测试。
[0086] 更具体地讲,在对待测图像进行检测时两种测试方式,第1种测试为直接测试(即,直接分类):对测试样本中的感兴趣区域ROI直接作MIP图投影后输入到网络中进行预测(这些测试样本来自步骤(3),未经步骤(4)的扩展操作);第2种测试为投票测试(即,投票分类):(i)在包含目标待测区域的前提下,多次移动立方体小块取得25个感兴趣区域ROI测试数据,使得目标区域在立方体小块中处于不同的位置;(ii)对所有取得的感兴趣区域ROI立方体数据进行MIP投影并输入网络进行测试,根据测试结果进行投票;针对任意一个主感兴趣区域ROI,若主感兴趣区域ROI被分类为正样本,或者该主感兴趣区域ROI及与该主感兴趣区域ROI相对应的副感兴趣区域ROI中超过感兴趣区域ROI半数被分类成正样本,则此样本的分类结果为正样本,否则为负样本(正代表存在颅内动脉瘤,负代表不存在颅内动脉瘤)。表1展示了网络对测试样本的直接分类结果,表2展示了网络对测试样本的投票分类结果,表3展示了直接分类和投票分类的识别准确率(Accuracy,表3中记为ACC)和敏感度(Sensitivity,表3中记为SEN,也称作真阳性率,即识别为正、且样本为正的概率),图4和图
5分别表示两种测试方法的ROC曲线。
[0087] 表1网络对各组样本的直接测试结果
[0088]
[0089] 表2网络对各组样本的投票测试结果
[0090]
[0091] 表3测试样本的识别准确率和敏感度
[0092]
[0093] 从表1、表2、表3、图4和图5可以看出,在直接测试时,神经网络准确度和敏感度已经较高,在引入投票机制后,其准确度和敏感度进一步提升,能够有效地检测出颅内动脉瘤。本发明采用卷积神经网络利用MIP图对网络进行训练,最后由网络得出一组图像数据存在肿瘤的概率,能够帮助医生判断待检测对象是否存在颅内动脉瘤。
[0094] 上述实施例是将正、负样本扩展后的集合,取其中的部分作为训练集,另一部分作为测试集;实际应用时,可以直接将来自待检测诊断对象(如待确诊患者)的三维时间飞跃磁共振血管成像图像,按本发明方法或直接输入到本发明系统中,利用已训练好的卷积神经网络,即可实现对感兴趣区域ROI是否存在颅内动脉瘤的分类,进而判断待检测对象是否存在颅内动脉瘤。
[0095] 本发明未详细说明之处,均可参考相关现有技术,例如,Otsu阈值分割可参考:Kittler J,Illingworth J,Minimum error thresh-olding[J].Pattern Recognit,1986,
19(1):41-47.;Hessian矩阵提取血管可参考:Frangi A.F.,Niessen W.J.,Vincken K.L.,Viergever M.A.(1998)Multiscale vessel enhancement filtering.In:Wells W.M.,Colchester A.,Delp S.(eds)Medical Image Computing and Computer-Assisted Intervention—MICCAI’98.MICCAI 1998.Lecture Notes in Computer Science,vol 
1496.Springer,Berlin,Heidelberg;最大密度投影原理可参考:Uchiyama Y,Yamauchi M,Ando H,et al.Automated classification of cerebral arteries in MRA images and its application to maximum intensity projection[C]//2006 International Conference of the IEEE Engineering in Medicine and Biology Society.IEEE,2006:
4865-4868.。
[0096] 本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈