首页 / 专利库 / 数学与统计 / 聚类算法 / 一种基于多模态数据的超体素序列肺部图像的3D肺结节分割方法

一种基于多模态数据的超体素序列部图像的3D肺结节分割方法

阅读:1020发布:2020-05-30

专利汇可以提供一种基于多模态数据的超体素序列部图像的3D肺结节分割方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于多模态数据的超 体素 序列 肺 部图像的3D肺结节分割方法,包括以下步骤:步骤A,通过超 像素 分割和自生成神经森林聚类提取得到序列肺实质图像;步骤B,采用基于互信息的PET/CT多模态数据配准序列肺实质图像;步骤C,采用多尺度可变圆形模板匹配 算法 标记并提取精确序列肺结节区域;步骤D,使用超体素3D区域增长算法对序列肺结节图像进行 三维重建 ,得到最终的肺结节的三维形态。使用超体素3D区域增长算法形成肺结节的三维重建区域,可以反映出肺部病灶与周围组织的动态关系,而且便于从直观上了解肺结节形状、大小、外观等形态和与周围胸膜或血管的牵拉情况。,下面是一种基于多模态数据的超体素序列部图像的3D肺结节分割方法专利的具体信息内容。

1.一种基于多模态数据的超体素序列部图像的3D肺结节分割方法,其特征在于,具体步骤如下:
A,使用超像素序列图像分割算法得到ROI序列图像的超像素样本,接着采用自生成神经森林算法对超像素样本进行聚类,最后根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域,为之后在此肺实质图像的基础上精确提取、分割、三维重建肺结节做准备;
B,采用基于互信息的医学图像配准方法配准PET/CT多模态数据的肺实质区域;当两幅图像达到配准位置时,其互信息达到最大值,在步骤A中得到的肺实质图像的基础上进行多模态数据的配准,以消除包括心脏在内的活跃区域对最终结果的影响;
C,采用多尺度可变圆形模板匹配算法确定配准之后的图像中肺结节的位置和边缘信息,得到较为精确的肺结节区域;
D,采用超体素3D区域增长方法,以超体素为基本单位,结合PET图像中的SUV特征,利用肺结节序列图像的序列特征,自动选取种子点并在其6邻接区域中根据提出的相似度函数进行超体素区域增长,最终实现肺结节序列图像的快速分割与重建。
2.根据权利要求1所述的方法,其特征在于,所述步骤A具体过程如下:
A1、对于输入的肺部序列CT图像,提取其肺部序列ROI图像;
A2、使用超像素序列图像分割算法得到ROI序列图像的超像素样本;
A3、采用自生成神经森林算法对超像素样本进行聚类;
A4、根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域。
3.根据权利要求1所述的方法,其特征在于,所述步骤B具体过程如下:
B1、利用线性插值的方法将PET图像插值成与CT图像同样大小;
使用线性插值的方法将PET图插值为512×512,两种模态的图像数大小相同后再将PET图像与CT图像做配准;
B2、利用互信息配准方法配准PET/CT多模态数据;
对于两个随机变量A、B;它们的熵别是H(A)、H(B)、H(A、B),概率分布分别为PA(a)和PB(b),联合概率分布为PAB(a,b),则它们的互信息MI(A,B)为:
对于待配准的两幅医学图像,认为它们是关于图像灰度的两个随机变量集浮动图像A和参考图像B,a和b是两幅图像中相关的体素灰度值,a和b通过坐标变换相联系;它们的边缘概率分布分别为PA(a)、PB(b),联合概率分布为PAB(a,b),分别通过归一化各自的灰度直方图和联合灰度直方图而得到;当两幅图像达到配准位置时,其互信息MI(A,B)达到最大值。
4.根据权利要求1所述的方法,其特征在于,所述步骤C具体过程如下:
C1、采用大的圆形模板用来确定结节位置信息;
根据模版匹配算法的思想,提出一种在PET图像中搜寻可疑结节区域的模版匹配方法,由于肺结节为肺组织包绕的局限性圆形或卵圆形的结果;其形态为类圆形;因此选择模版为圆形模版;初始采用大的圆形模板用来确定结节位置信息,在大模版中,最小结节在模版中会占1/40,最大的结节在模版中会占1/4的位置;
C2、采用小模板来确定结节边缘信息;
在大模板确定了肺结节基本的位置信息的基础上采用小模板来确定肺结节的边缘信息,通过可变的圆形模板得到准确的肺结节区域。
5.根据权利要求4所述的方法,其特征在于,当肺实质内某区域的SUV均值在2.5以上时,判定该区域是结节区域;为了保证最小的结节也会被发现,通过计算肺部PET图像正常组织的SUV值,将初始的模板中SUV的判断阈值设为1.5以保证模板的灵敏度;SUV的计算公式如公式(2):
其中tissue concentrasion为病灶的放射性浓度,injected dose是注射剂量,body weight是患者的体重。
6.根据权利要求4所述的方法,其特征在于,初始模板半径T1=30mm,因为孤立性肺结节为直径小于3cm的肿;计算更小半径的模版Ti+1进行继续判断,公式如下(3)所示:
7.根据权利要求4所述的方法,其特征在于,多尺度圆形模板匹配方法,其具体步骤如下:
第1步,设置初始模板的半径T1=30mm,阈值S=1.5;
第2步,选用半径为T1的圆形模板,从输入图像的原点开始匹配;
第3步,计算圆形模板内的SUVmean,若大于2.5则转到第6步,否则转到第4步;
第4步,若模板内SUVmean>S&&<2.5,则计算Ti+1,生成具有新的半径的较小模板,转到第3步;
第5步,重复步骤3-4直到Ti=Tmin,结束本次模板匹配;
第6步,标记该区域为肺结节区域,将模板移动Timm,转到第3步;
第7步,重复步骤2-6直到所有序列PET图像匹配完成。
8.根据权利要求4所述的方法,其特征在于,可变圆形模版匹配之后得到肺结节区域,之后与步骤A中得到的肺实质区域做比对,得到超像素分割的序列肺结节区域,由此得到准确的肺结节轮廓,与CT原图做与运算得到最终准确的肺结节区域。
9.根据权利要求1所述方法,其特征在于,所述步骤D具体步骤如下:
D1、将超像素概念推广到超体素;
由超像素的概念推广到三维图像上,超体素是一系列具有相似特征的空间中相邻的体素点组成的集合,并且集合中的体素的特征具有一致性,这些超体素可以保留原始图像的边界信息,而且具有多个体素的统计信息,包含了丰富的特征信息;
D2、超像素分割简单线性迭代聚类(SLIC)算法;
通过使用Lab色彩空间中的L,a,b三维颜色信息和像素点的坐标以及图像序列号组成的一个5维特征向量[l,a,b,x,y]T来表达图像中的每个像素点,通过计算两个像素的特征向量之间的距离来衡量像素之间的相似性,通过此聚类算法将图像中的具有相似特征的像素点聚成一类,就形成了一个超像素;
在SLIC算法中,假设原图有N个像素,需要将其分为K个超像素,则分割后每块超像素大致有N/K个像素,每块超像素的边长大致为 每隔S个像素取一个聚类中心,以这个聚类中心的周围2S×2S为其搜索空间,搜寻相似像素点;
在SLIC算法中,每张图像中的两个像素点之间的相似度Ds通过计算像素与聚类中心之间的颜色特征距离Dlab和空间位置特征距离Dxy,再根据权值叠加公式来计算得到,如公式(4)(5)(6)所示;
公式中:
i表示第i个超像素的聚类中心,j表示搜索区域内某一像素点;
α是距离相似度的调节参数,值越大,在衡量两个像素相似性时,两个像素之间的空间位置特征距离权重就越大;
D3、超体素3D区域增长规则;
将二维上超像素的概念推广到三维超体素上,采用Lab色彩空间中的L,a,b三维颜色信息和超像素的质心坐标(x,y)及每张CT图像对应的序号z,以及在PET图中当前坐标下的SUV值w组成的一个7维特征向量[l,a,b,x,y,z,w]T来表达分割好的每一个超体素;假设原始序列图有M个体素,需要将其分为L个超体素,则分割后每块超体素大致有M/L个体素,每隔S个体素取一个聚类中心,以这个聚类中心的周围2S×2S×2S为其搜索空间,搜寻相似体素点;
序列图像中的两个体素点之间的相似度Ds通过计算体素与聚类中心之间的颜色特征距离Dlab、空间位置特征距离Dxyz和标准摄取值差异Dw,再根据权值叠加公式来计算得到,如公式(7)(8)(9)(10)所示;
Dw=|suvj-suvi|    (9)
公式中:
i的是第i个超体素的聚类中心,j表示搜索区域内某一体素点;
α是距离相似度的调节参数,值越大,在衡量两个体素相似性时,两个像素之间的空间位置特征距离权重就越大;
β是SUV值的相似度调节参数,值越大,在衡量两个体素相似性时,两个像素之间的SUV值的差异权重就越大;
D4,超体素3D区域增长;
提出一种以超体素为基本单位的3D区域增长方法,该方法以超体素为基本单位,结合PET图像中的SUV特征,自动选取种子点并在其6邻接区域中根据D3提出的相似度函数进行
3D超体素区域增长,在大幅度减少时间复杂度的同时,提高分割精度
选取PET图中SUV值最高的点作为种子点,得到其二维质心坐标(x,y),同时得到其序列号z,将其坐标(x,y,z)作为种子点进行自动超体素3D区域增长,增长规则即D2中公式(7)-(10),结合超体素之间的颜色信息,位置距离信息和标准摄取值之间的差异信息,根据相应的调节参数计算两个超体素之间的相似度,将具有相似性质的超体素合并到种子区域并作为新的种子区域,不断在其6邻接区域内搜寻超体素并合并相似超体素直到种子区域集合大小不再变化为止,结束增长;将种子区域内的所有超体素输出显示;
所述超体素3D区域增长方法具体步骤如下:
第1步,选取PET图中SUV值最高的点,得到其质心坐标(x,y)及序列号z;
第2步,以(x,y,z)为超体素增长的种子点,将其标记为种子区域;
第3步,在种子区域的6邻接区域内根据生长规则搜寻超体素;
第4步,将与种子点具有相似性质的超体素合并到种子区域中作为新的种子区域;
第5步,重复步骤3-4直到种子区域集合大小不再变化;
第6步,显示所有种子区域的体素集合。

说明书全文

一种基于多模态数据的超体素序列部图像的3D肺结节分割

方法

技术领域

[0001] 本发明属于医学图像处理领域,涉及肺结节的分割与三维重建,具体涉及了基于 医学PET和CT影像的多模态数据,对肺结节的超体素三维分割与重建的方法。

背景技术

[0002] 三维重建可以反映出肺部病灶与周围组织的动态关系,而且便于从直观上了解肺结 节形状、大小、外观等形态和与周围胸膜或血管的牵拉情况,有助于医师直观的了解病 情并引导复杂解剖区域手术的进行,以提高手术质量和降低手术危险,值得临床进一步 推广使用。目前的医学成像的临床应用产生的多为二维图像,二维断层图象只是表达某 一截面的信息,仅由二维图象,人们很难建立起三维空间的立体结构。为提高医疗诊断 和治疗规划的准确性与科学性,由二维断层图象序转换成为具有直观立体效果的图象, 展现人体器官的三维结构与形态,从而提供若干用传统手段无法获得的解剖结构信息, 并为进一步模拟操作提供视觉交互手段。医学图象三维重建与可视化技术就是在这一背 景下提出的,这一技术一经提出,就得到大量研究与广泛应用。目前,随着三维重建技 术的日渐成熟,其在临床诊疗的应用日趋广泛,而基于肺部病灶三维影像的分割技术尚 未达到相对成熟的解决方案。针对以上问题,本文提出了一种基于多模态数据的超体素 序列肺部图像的3D肺结节分割方法,充分的结合了PET/CT数据中所提供的肺部病灶 自身的信息,大幅度减少了时间复杂度。

发明内容

[0003] 本发明针对现有技术的不足提供一种基于多模态数据的超体素序列肺部图像的3D 肺结节分割方法,既能充分结合多模态PET/CT数据中所提供的肺部病灶自身的信息, 又能有效分割与重建多种类型的肺结节,便于从直观上了解肺结节形状、大小、外观等 形态和与周围胸膜或血管的牵拉情况,有助于医师直观的了解病情并引导复杂解剖区域 手术的进行,以提高手术质量和降低手术危险。
[0004] 本发明采用的技术方案为:
[0006] 步骤A,使用超像素序列图像分割算法得到ROI序列图像的超像素样本,接着采用 自生成神经森林算法对超像素样本进行聚类,最后根据聚类后的超像素集的灰度特征和 位置特征识别结节肺实质区域,为之后在此肺实质图像的基础上精确提取、分割、三维 重建肺结节做准备;
[0007] 步骤B,采用基于互信息的医学图像配准方法配准PET/CT多模态数据的肺实质区 域;当两幅图像达到配准位置时,其互信息达到最大值,在A中得到的肺实质图像的基 础上进行多模态数据的配准,以消除心脏等活跃区域对最终结果的影响;
[0008] 步骤C,采用多尺度可变圆形模板匹配算法确定配准之后的图像中肺结节的位置和 边缘信息,得到较为精确的肺结节区域;
[0009] 步骤D,采用超体素3D区域增长方法,以超体素为基本单位,结合PET图像中的 SUV特征,利用肺结节序列图像的序列特征,自动选取种子点并在其6邻接区域中根据 提出的相似度函数进行超体素区域增长,最终实现肺结节序列图像的快速分割与重建。
[0010] 所述的方法,所述步骤B的具体过程如下:
[0011] B1、利用线性插值的方法将PET图像插值成与CT图像同样大小;
[0012] 因为PET图像的大小是128×128像素的,而CT图像的大小是512×512像素的,所 以使用线性插值的方法将PET图插值为512×512,两种模态的图像数大小相同后再将 PET图像与CT图像做配准;
[0013] B2、利用互信息配准方法配准PET/CT多模态数据;
[0014] 对于两个随机变量A、B。它们的熵别是H(A)、H(B)、H(A、B),概率分布分别为 PA(a)和PB(b),联合概率分布为PAB(a,b),则它们的互信息MI(A,B)为:
[0015]
[0016] 对于待配准的两幅医学图像,可以认为它们是关于图像灰度的两个随机变量集浮动 图像A和参考图像B,a和b是两幅图像中相关的体素灰度值,a和b通过坐标变换相 联系。它们的边缘概率分布和联合概率分布PA(a)、PB(b)和PAB(a,b)即为在图像中具有灰 度a,b的概率,可以分别通过归一化各自的灰度直方图和联合灰度直方图而得到。当两 幅图像达到配准位置时,其互信息MI(A,B)达到最大值。
[0017] 根据B所述的方法,直接在步骤A得到的序列肺实质图像的基础上进行配准,以 消除心脏等活跃区域对实验结果的影响。
[0018] 所述的方法,所述步骤C具体过程如下:
[0019] C1、采用大的圆形模板用来确定结节位置信息;
[0020] 根据模版匹配算法的思想,使用一种在PET图像中搜寻可疑结节区域的模版匹配方 法,由于肺结节为肺组织包绕的局限性圆形或卵圆形的结果,其形态为类圆形。因此选 择模版为圆形模版。初始采用大的圆形模板用来确定结节位置信息,在大模版中,由于 最小结节在模版中会占约1/40,最大的结节在模版中会占约1/4的位置。
[0021] C2、采用小模板来确定结节边缘信息。
[0022] 在大模板确定了肺结节基本的位置信息的基础上采用小模板来确定肺结节的边缘 信息,通过可变的圆形模板得到准确的肺结节区域。
[0023] 所述的方法,当肺实质内某区域的SUV均值在2.5以上时,可以判定该区域是结节 区域。为了保证最小的结节也会被发现,通过计算肺部PET图像正常组织的SUV值, 将初始的模板中SUV的判断阈值设为1.5以保证模板的灵敏度。SUV的计算公式如公 式(2):
[0024]
[0025] 其中tissue concentrasion为病灶的放射性浓度,injected dose是注射剂量,body weight 是患者的体重。在人体中,不同器官会有不同的代谢平。通常心脏、大脑、血管、肾 脏会有较高的代谢水平。在同一器官内肿瘤一般会有较高的代谢,这一特征是用于肿瘤 的诊断的基础。
[0026] 所述的方法,初始模板半径T1=30mm,因为孤立性肺结节为直径小于3cm的肿。 计算更小半径的模版Ti+1进行继续判断,公式如下(3)所示:
[0027]
[0028] 所述的方法,多尺度圆形模板匹配方法,其具体步骤如下:
[0029] 第1步,设置初始模板的半径T1=30mm,阈值S=1.5;
[0030] 第2步,选用半径为T1的圆形模板,从输入图像的原点开始匹配;
[0031] 第3步,计算圆形模板内的SUVmean,若大于2.5则转到第6步,否则转到第4步;
[0032] 第4步,若模板内SUVmean>S&&<2.5,则计算Ti+1,生成具有新的半径的较小 模板,转到第3步;
[0033] 第5步,重复步骤3-4直到Ti=Tmin,结束本次模板匹配;
[0034] 第6步,标记该区域为肺结节区域,将模板移动Timm,转到第3步;
[0035] 第7步,重复步骤2-6直到所有序列PET图像匹配完成。
[0036] 所述的方法,可变圆形模版匹配之后可以得到肺结节区域,之后与步骤A中得到的 肺实质区域做比对,得到超像素分割的序列肺结节区域,由此可以得到准确的肺结节轮 廓,与CT原图做与运算得到最终准确的肺结节区域。
[0037] 所述的方法,所述步骤D具体步骤如下:
[0038] D1、将超像素概念推广到超体素;
[0039] 超像素是一系列有相似特征(颜色亮度、纹理等)的相邻像素点组成的集合,一 幅图像就是由一定数目的集合构成的,集合内的像素的特征具有一致性,这些小区域能 够保留原始图像的边界信息,而且具有多个像素的统计信息,因此相比于单个像素,超 像素含有丰富的特征信息,能够大大降低后续图像的处理复杂度,显著提高图像的分割 速度。由超像素的概念推广到三维图像上,超体素是一系列具有相似特征的空间中相邻 的体素点组成的集合,并且集合中的体素的特征具有一致性,这些超体素可以保留原始 图像的边界信息,而且具有多个体素的统计信息,包含了丰富的特征信息。
[0040] D2、超像素分割简单线性迭代聚类(SLIC)算法;
[0041] 通过使用Lab色彩空间中的L,a,b三维颜色信息和像素点的坐标以及图像序列号组 成的一个5维特征向量[l,a,b,x,y]T来表达图像中的每个像素点,通过计算两个像素的 特征向量之间的距离来衡量像素之间的相似性,通过此聚类算法将图像中的具有相似特 征的像素点聚成一类,就形成了一个超像素。
[0042] 在SLIC算法中,假设原图有N个像素,需要将其分为K个超像素,则分割后每块 超像素大致有N/K个像素,每块超像素的边长大致为 每隔S个像素取一 个聚类中心,以这个聚类中心的周围2S×2S为其搜索空间,搜寻相似像素点。
[0043] 在SLIC算法中,每张图像中的两个像素点之间的相似度Ds可以通过计算像素与聚 类中心之间的颜色特征距离Dlab和空间位置特征距离Dxy,再根据权值叠加公式来计算得 到,如公式(4)(5)(6)所示。
[0044]
[0045]
[0046]
[0047] 公式中:
[0048] i的是第i个超像素的聚类中心,j表示搜索区域内某一像素点;
[0049] α是距离相似度的调节参数,值越大,在衡量两个像素相似性时,两个像素之间 的空间位置特征距离权重就越大。
[0050] D3、超体素3D区域增长规则;
[0051] 将二维上超像素的概念推广到三维超体素上,我们采用Lab色彩空间中的L,a,b三 维颜色信息和超像素的质心坐标(x,y)及每张CT图像对应的序号z,以及在PET图中当 前坐标下的SUV值w组成的一个7维特征向量[l,a,b,x,y,z w]T来表达分割好的每一个 超体素。假设原始序列图有M个体素,需要将其分为L个超体素,则分割后每块超体 素大致有M/L个体素,每隔S个体素取一个聚类中心,以这个聚类中心的周围2S×2S×2S 为其搜索空间,搜寻相似体素点。序列图像中的两个体素点之间的相似度Ds可以通过 计算体素与聚类中心之间的颜色特征距离Dlab、空间位置特征距离Dxyz和标准摄取值差 异Dw,再根据权值叠加公式来计算得到,如公式(7)(8)(9)(10)所示。
[0052]
[0053]
[0054] Dw=|suvj-suvi|  (9)
[0055]
[0056] 公式中:
[0057] i表示第i个超体素的聚类中心,j表示搜索区域内某一体素点;
[0058] α是距离相似度的调节参数,值越大,在衡量两个体素相似性时,两个像素之间的 空间位置特征距离权重就越大;
[0059] β是SUV值的相似度调节参数,值越大,在衡量两个体素相似性时,两个像素之间 的SUV值的差异权重就越大。
[0060] D4,超体素3D区域增长;
[0061] 超体素可以保留原始图像的边界信息,而且具有多个体素的统计信息,所以含有丰 富的特征信息,同时还能够大大降低后续图像的处理复杂度,显著提高图像的分割速度。 所以本文提出一种以超体素为基本单位的3D区域增长方法,该方法以超体素为基本单 位,结合PET图像中的SUV特征,自动选取种子点并在其6邻接区域中根据D3提出 的相似度函数进行3D超体素区域增长,可以在大幅度减少时间复杂度的同时,提高分 割精度
[0062] 选取PET图中SUV值最高的点作为种子点,得到其二维质心坐标(x,y),同时得到 其序列号z,将其坐标(x,y,z)作为种子点进行自动超体素3D区域增长,增长规则即D2 中公式(7)-(10),结合超体素之间的颜色信息,位置距离信息和标准摄取值之间的差异信 息,根据相应的调节参数计算两个超体素之间的相似度,将具有相似性质的超体素合并 到种子区域并作为新的种子区域,不断在其6邻接区域内搜寻超体素并合并相似超体素 直到种子区域集合大小不再变化为止,结束增长。将种子区域内的所有超体素输出显示。
[0063] 所述的方法,所述超体素3D区域增长方法具体步骤如下:
[0064] 第1步,选取PET图中SUV值最高的点,得到其质心坐标(x,y)及序列号z;
[0065] 第2步,以(x,y,z)为超体素增长的种子点,将其标记为种子区域;
[0066] 第3步,在种子区域的6邻接区域内根据生长规则搜寻超体素;
[0067] 第4步,将与种子点具有相似性质的超体素合并到种子区域中作为新的种子区域;
[0068] 第5步,重复步骤3-4直到种子区域集合大小不再变化;
[0069] 第6步,显示所有种子区域的体素集合。
[0070] 与现有技术相比,本发明的有益效果为:
[0071] 1、本发明的方法基于多模态数据和超体素进行肺结节的三维分割与重建,有助于 医师直观的了解病情并引导复杂解剖区域手术的进行,以提高手术质量和降低手术危 险。
[0072] 2、通过使用本发明的技术,能够从直观上了解肺结节形状、大小、外观等形态和 与周围胸膜或血管的牵拉情况,有助于医师对肺部疾病的判断。
[0073] 3、通过本发明分割重建出的肺结节三维图像,这些图像所显示的病灶特征和与周 围组织的动态关系等可以为医师对肺部疾病的分析提供参考,起到辅助诊断的作用。附图说明
[0074] 图1是本发明对肺结节的分割与重建算法的流程图
[0075] 图2是使用超像素分割和自生成神经森林聚类方法得到的序列肺实质结果图。
[0076] 图3是对肺实质图像进行基于互信息的PET/CT图像配准结果图。
[0077] 图4是多尺度可变圆形模板匹配算法原理示意图。
[0078] 图5是多尺度可变圆形模版匹配算法得到肺结节区域的结果图。
[0079] 图6是本发明的步骤流程图。
[0080] 图7是2D与3D区域增长下的邻接区域图,a,2d像素数据,左为4邻域,右为8 邻域,b,3d像素数据,左为6邻域,右为26邻域。
[0081] 图8是本发明对孤立性肺结节的分割结果。
[0082] 图9是本发明对孤立性肺结节3D超体素区域增长重建结果。
[0083] 图10是本发明对胸膜牵拉型肺结节的分割结果。
[0084] 图11是本发明对胸膜牵拉型肺结节3D超体素区域增长重建结果。
[0085] 图12是本发明对血管粘连型肺结节的分割结果;所选的实验集在肺顶和肺底没有 发现肺结节,所以在列(b),列(e)和列(f)中,第一行、第五行没有实验结果图。
[0086] 图13是本发明对血管粘连型肺结节3D超体素区域增长重建结果。
[0087] 图14是本发明对对空洞型肺结节的分割结果;所选的实验集在肺顶和肺底没有发 现肺结节,所以在列(b),列(e)和列(f)中,第一行、第五行没有实验结果图。。
[0088] 图15是本发明对空洞型肺结节3D超体素区域增长重建结果。
[0089] 图16是本发明与传统基于体素的3D区域增长算法的重建结果对比图。

具体实施方式

[0090] 以下结合具体实施例,对本发明进行详细说明。
[0091] 参照图1,主要流程包括:超像素分割序列肺实质、互信息配准多模态PET/CT序 列肺实质数据、可变圆形模板匹配序列肺结节区域、超体素3D区域增长等步骤,本发 明方法的具体实施方式如下:
[0092] A,超像素分割序列肺实质:使用超像素序列图像分割算法得到ROI序列图像的超 像素样本,接着采用自生成神经森林算法对超像素样本进行聚类,最后根据聚类后的超 像素集的灰度特征和位置特征识别结节肺实质区域,为之后在此肺实质图像的基础上精 确提取、分割、三维重建肺结节做准备;
[0093] A1、对于输入的肺部序列CT图像,提取其肺部序列ROI图像;
[0094] A2、使用超像素序列图像分割算法得到ROI序列图像的超像素样本;
[0095] A3、采用自生成神经森林算法对超像素样本进行聚类;
[0096] A4、根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域。
[0097] 参考图2,图2第一行为CT原图,图2第二行为超像素分割和自生成神经森林聚 类肺实质结果图,图2第三行为最终的肺实质结果图。
[0098] B,基于互信息的医学图像配准方法配准PET/CT多模态数据的肺实质区域;当两 幅图像达到配准位置时,其互信息达到最大值,在步骤A中得到的肺实质图像的基础上 进行多模态数据的配准,以消除心脏等活跃区域对最终结果的影响;
[0099] B1、利用线性插值的方法将PET图像插值成与CT图像同样大小;
[0100] 使用线性插值的方法将PET图插值为512×512,两种模态的图像数大小相同后再 将PET图像与CT图像做配准;
[0101] B2、利用互信息配准方法配准PET/CT多模态数据;
[0102] 对于两个随机变量A、B。它们的熵别是H(A)、H(B)、H(A、B),概率分布分别为 PA(a)和PB(b),联合概率分布为PAB(a,b),则它们的互信息MI(A,B)为:
[0103]
[0104] 对于待配准的两幅医学图像,可以认为它们是关于图像灰度的两个随机变量集浮动 图像A和参考图像B,a和b是两幅图像中相关的体素灰度值,a和b通过坐标变换相 联系。它们的边缘概率分布和联合概率分布PA(a)、PB(b)和PAB(a,b)即为在图像中具有灰 度a,b的概率,可以分别通过归一化各自的灰度直方图和联合灰度直方图而得到。当两 幅图像达到配准位置时,其互信息MI(A,B)达到最大值。
[0105] 参考图3为对肺实质图像进行基于互信息的PET/CT图像配准结果图。图3列(a)是 从肺顶到肺底的5张CT原图,列(b)是列(a)所对应的肺实质分割结果图,列(c)是列(a) 所对应的PET图像进行差值后的结果图,列(d)是在CT原图(a)上进行互信息配准的结 果图,列(e)是在肺实质(b)上进行互信息配准的结果图。
[0106] C,可变圆形模板匹配序列肺结节区域:采用多尺度可变圆形模板匹配算法确定配 准之后的图像中肺结节的位置和边缘信息,得到较为精确的肺结节区域;
[0107] 参考图4为多尺度可变圆形模板匹配算法的原理图,将圆形模板分为大模板和小模 板分别进行模版匹配,以得到最终的肺结节区域。
[0108] C1、采用大的圆形模板用来确定结节位置信息;
[0109] 把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或 多幅图像在空间上对准,或根据已知模式到另一幅图中寻找相应模式的处理方法就叫做 模板匹配。根据模版匹配算法的思想,提出一种在PET图像中搜寻可疑结节区域的模版 匹配方法,由于肺结节为肺组织包绕的局限性圆形或卵圆形的结果。其形态为类圆形。 因此选择模版为圆形模版。初始采用大的圆形模板用来确定结节位置信息,在大模版中, 由于最小结节在模版中会占约1/40,最大的结节在模版中会占约1/4的位置。
[0110] C2、采用小模板来确定结节边缘信息。
[0111] 在大模板确定了肺结节基本的位置信息的基础上采用小模板来确定肺结节的边缘 信息,通过可变的圆形模板得到准确的肺结节区域。
[0112] 当肺实质内某区域的SUV均值在2.5以上时,可以判定该区域是结节区域。为了保 证最小的结节也会被发现,通过计算肺部PET图像正常组织的SUV值,将初始的模板 中SUV的判断阈值设为1.5以保证模板的灵敏度。SUV值全称为标准摄取值(standard uptake value,SUV),是PET在肿瘤诊断中常用的半定量指标,是指局部组织摄取的显像 剂的放射性活度与全身平均注射活度。目前SUV已被广泛用于肿瘤良恶性鉴别及疗效 评价,预后预测。SUV的计算公式如公式(2):
[0113]
[0114] 其中tissue concentrasion为病灶的放射性浓度,injected dose是注射剂量,body weight 是患者的体重。在人体中,不同器官会有不同的代谢水平。通常心脏、大脑、血管、肾 脏会有较高的代谢水平。在同一器官内肿瘤一般会有较高的代谢,这一特征是用于肿瘤 的诊断的基础。
[0115] 初始模板半径T1=30mm,因为孤立性肺结节为直径小于3cm的肿块。计算更小半 径的模版Ti+1进行继续判断,公式如下(3)所示:
[0116]
[0117] 多尺度可变圆形模板匹配方法,其具体步骤如下:
[0118] 第1步,设置初始模板的半径T1=30mm,阈值S=1.5;
[0119] 第2步,选用半径为T1的圆形模板,从输入图像的原点开始匹配;
[0120] 第3步,计算圆形模板内的SUVmean,若大于2.5则转到第6步,否则转到第4步;
[0121] 第4步,若模板内SUVmean>S&&<2.5,则计算Ti+1,生成具有新的半径的较小 模板,转到第3步;
[0122] 第5步,重复步骤3-4直到Ti=Tmin,结束本次模板匹配;
[0123] 第6步,标记该区域为肺结节区域,将模板移动Timm,转到第3步;
[0124] 第7步,重复步骤2-6直到所有序列PET图像匹配完成。
[0125] 参考图5,多尺度可变圆形模版匹配算法得到肺结节区域的结果图。
[0126] 参照图6,多尺度可变圆形模版匹配之后可以得到肺结节区域,之后与步骤A中所 述的得到的肺实质区域做比对,得到超像素分割的序列肺结节区域,由此可以得到准确 的肺结节轮廓,与CT原图做与运算得到最终准确的肺结节区域。
[0127] D、超体素3D区域增长:采用超体素3D区域增长方法,以超体素为基本单位,结 合PET图像中的SUV特征,利用肺结节序列图像的序列特征,自动选取种子点并在其 6邻接区域中根据提出的相似度函数进行超体素区域增长,最终实现肺结节序列图像的 快速分割与重建。
[0128] 参考图7,对应于2D图像区域生长中种子点是4或8个相邻接点,3D中的种子点 一般有6或26个相邻接点,关键取决于是否包括对线上的相邻接点。
[0129] D1、将超像素概念推广到超体素;
[0130] 超像素是一系列有相似特征(颜色、亮度、纹理等)的相邻像素点组成的集合,一 幅图像就是由一定数目的集合构成的,集合内的像素的特征具有一致性,这些小区域能 够保留原始图像的边界信息,而且具有多个像素的统计信息,因此相比于单个像素,超 像素含有丰富的特征信息,能够大大降低后续图像的处理复杂度,显著提高图像的分割 速度。由超像素的概念推广到三维图像上,超体素是一系列具有相似特征的空间中相邻 的体素点组成的集合,并且集合中的体素的特征具有一致性,这些超体素可以保留原始 图像的边界信息,而且具有多个体素的统计信息,包含了丰富的特征信息。
[0131] D2、超像素分割简单线性迭代聚类(SLIC)算法;
[0132] 通过使用Lab色彩空间中的L,a,b三维颜色信息和像素点的坐标以及图像序列号组 成的一个5维特征向量[l,a,b,x,y]T来表达图像中的每个像素点,通过计算两个像素的 特征向量之间的距离来衡量像素之间的相似性,通过此聚类算法将图像中的具有相似特 征的像素点聚成一类,就形成了一个超像素。
[0133] 在SLIC算法中,假设原图有N个像素,需要将其分为K个超像素,则分割后每块 超像素大致有N/K个像素,每块超像素的边长大致为 每隔S个像素取一 个聚类中心,以这个聚类中心的周围2S×2S为其搜索空间,搜寻相似像素点。
[0134] 在SLIC算法中,每张图像中的两个像素点之间的相似度Ds可以通过计算像素与聚 类中心之间的颜色特征距离Dlab和空间位置特征距离Dxy,再根据权值叠加公式来计算得 到,如公式(4)(5)(6)所示。
[0135]
[0136]
[0137]
[0138] 公式中:
[0139] i表示第i个超像素的聚类中心,j表示搜索区域内某一像素点;
[0140] α是距离相似度的调节参数,值越大,在衡量两个像素相似性时,两个像素之间 的空间位置特征距离权重就越大。
[0141] D3、超体素3D区域增长规则;
[0142] 将二维上超像素的概念推广到三维超体素上,我们采用Lab色彩空间中的L,a,b三 维颜色信息和超像素的质心坐标(x,y)及每张CT图像对应的序号z,以及在PET图中当 前坐标下的SUV值w组成的一个7维特征向量[l,a,b,x,y,z w]T来表达分割好的每一个 超体素。假设原始序列图有M个体素,需要将其分为L个超体素,则分割后每块超体 素大致有M/L个体素,每隔S个体素取一个聚类中心,以这个聚类中心的周围2S×2S×2S 为其搜索空间,搜寻相似体素点。序列图像中的两个体素点之间的相似度Ds可以通过 计算体素与聚类中心之间的颜色特征距离Dlab、空间位置特征距离Dxyz和标准摄取值差 异Dw,再根据权值叠加公式来计算得到,如公式(7)(8)(9)(10)所示。
[0143]
[0144]
[0145] Dw=|suvj-suvi|  (9)
[0146]
[0147] 公式中:
[0148] i的是第i个超体素的聚类中心,j表示搜索区域内某一体素点;
[0149] α是距离相似度的调节参数,值越大,在衡量两个体素相似性时,两个像素之间的 空间位置特征距离权重就越大;
[0150] β是SUV值的相似度调节参数,值越大,在衡量两个体素相似性时,两个像素之间 的SUV值的差异权重就越大。
[0151] D4,超体素3D区域增长;
[0152] 超体素可以保留原始图像的边界信息,而且具有多个体素的统计信息,所以含有丰 富的特征信息,同时还能够大大降低后续图像的处理复杂度,显著提高图像的分割速度。 所以本文提出一种以超体素为基本单位的3D区域增长方法,该方法以超体素为基本单 位,结合PET图像中的SUV特征,自动选取种子点并在其6邻接区域中根据D3提出 的相似度函数进行3D超体素区域增长,可以在大幅度减少时间复杂度的同时,提高分 割精度。
[0153] 选取PET图中SUV值最高的点作为种子点,得到其二维质心坐标(x,y),同时得到 其序列号z,将其坐标(x,y,z)作为种子点进行自动超体素3D区域增长,增长规则即D2 中公式(4)-(7),结合超体素之间的颜色信息,位置距离信息和标准摄取值之间的差异信 息,根据相应的调节参数计算两个超体素之间的相似度,将具有相似性质的超体素合并 到种子区域并作为新的种子区域,不断在其6邻接区域内搜寻超体素并合并相似超体素 直到种子区域集合大小不再变化为止,结束增长。将种子区域内的所有超体素输出显示。
[0154] 所述超体素3D区域增长方法具体步骤如下:
[0155] 第1步,选取PET图中SUV值最高的点,得到其质心坐标(x,y)及序列号z;
[0156] 第2步,以(x,y,z)为超体素增长的种子点,将其标记为种子区域;
[0157] 第3步,在种子区域的6邻接区域内根据生长规则搜寻超体素;
[0158] 第4步,将与种子点具有相似性质的超体素合并到种子区域中作为新的种子区域;
[0159] 第5步,重复步骤3-4直到种子区域集合大小不再变化;
[0160] 第6步,显示所有种子区域的体素集合。
[0161] 参考图8、10、12、14分别为本发明对孤立性肺结节、胸膜牵拉型肺结节、血管粘 连型肺结节和空洞型肺结节的分割结果图。其中每张图列(a)是从肺顶到肺底的5张CT 原图,列(b)是医师对肺结节的手工分割标准,列(c)是步骤A分割肺实质得到的效果, 列(d)是使用互信息配准PET/CT并在肺实质上显示的效果(步骤B),列(e)是将(c)列与 (d)列的融合之后的超像素分割的序列肺结节的效果,列(f)是最终的对四类肺结节分割效 果;图12和图14中,由于序列图像数目较多,我们挑选了从肺顶到肺底总共5张肺部 CT图像用来展示图像分割的过程和结果,其中肺顶肺底各一张,中间包含肺结节的图 像3张,因为所选的实验集在肺顶和肺底没有发现肺结节,所以在列(b),列(e)和列(f) 中,第一行跟、五行没有实验结果图。
[0162] 参考图9、11、13、15分别为本发明对孤立性肺结节、胸膜牵拉型肺结节、血管粘 连型肺结节和空洞型肺结节的超体素3D区域增长结果图,其中展示了四类不同类型的 肺结节的多角度的增长结果并显示了胸膜牵拉型肺结节和血管粘连型肺结节与周围组 织的关系。
[0163] 参考图16对比了本发明与传统的基于体素的3D区域增长的结果,从中可以很直观 地发现本发明的三维重建效果更好。
[0164] 应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换, 而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈