基于多模式增敏成像融合的早期肿瘤定位跟踪方法
专利汇可以提供基于多模式增敏成像融合的早期肿瘤定位跟踪方法专利检索，专利查询，专利分析的服务。并且一种基于多模式增敏成像融合的早期 肿瘤 定位 跟踪 方法，属于医学 图像处理 领域。本 发明 包括：获得肿瘤目标病灶成像增敏的术前医学图像；获得肿瘤目标病灶成像增敏的术中超声增敏图像；在图像导向 治疗 时，利用全局刚性变换和肿瘤目标病灶四周局部非刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维 可视化 模型；利用上述形变配准方法，完成术前图像的运动形变补偿，进而自动完成肿瘤目标病灶的靶向跟踪。本发明可于肿瘤早期诊断、图像导向肿瘤早期干预、图像导向 微创手术 、图像导向 物理治疗 等多种场合。，下面是基于多模式增敏成像融合的早期肿瘤定位跟踪方法专利的具体信息内容。
1.一种基于多模式增敏成像融合的早期肿瘤定位跟踪方法，其特征在于， 包括以下步骤：
第一步，获得术前增敏图像：通过术前成像增敏剂与肿瘤的靶向结合，利用 核磁共振医学成像手段，获得对目标病灶区域及周围组织结构进行成像增敏的术 前核磁共振医学图像，选定该图像为配准的浮动图像；
第二步，获得术中增敏图像：术中增敏图像是采用超声成像仪获得的，通过 术中超声成像增敏剂与肿瘤的靶向结合，配合术中可控频率超声场对超声成像增 敏剂的激发作用，获得能有效增敏目标病灶成像效果的术中三维超声图像，选定 该图像为参考图像，用于实时跟踪术中目标病灶的改变；
第三步，在图像导向治疗时，利用全局刚性变换和肿瘤目标病灶四周局部非 刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联 合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域 的三维可视化模型，对术中肿瘤目标病灶进行定位；
第四步，利用上述基于联合显著区域的形变配准方法，结合术中超声成像的 运动分析手段，完成对术前核磁共振图像的运动形变补偿，实时更新术中超声成 像和术前图像的配准关系，实时显示三维超声成像和术前医学图像在肿瘤病灶及 周围组织结构四周的成像融合效果，进而自动完成肿瘤目标病灶的靶向跟踪。
2.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述第三步中，利用全局刚体变换和多层B样条自由形变模型 组合构成形变的几何变换模型，然后利用术前和术中多模式成像灰度信息提取联 合显著区域，再基于联合显著区域的灰度相似性测度，进行非刚性图像配准。
3.根据权利要求2所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述的图像配准，具体实现如下：
(a)粗配准：利用图像体素为整体特征，采用传统的图像配准方法，对两幅 图像进行粗配准；
(b)获取多分辨率显著测度图：对获取的两种图像数据进行多分辨率金字塔 构建，并选用一种测度度量显著性程度，得到待配准图像各自的显著测度图；
(c)对当前分辨率尺度，利用相似性分析度量术前和术中多分辨率显著测度 图中公共显著区域的位置和程度，得到待配准图像之间的联合显著图；
(d)利用(c)得到的联合显著图，融合到联合灰度直方图的统计中，增强公共 显著区域在联合直方图统计中的权重，再定义一个基于联合灰度直方图统计计算 的灰度相似性测度，得到联合显著图下的最优几何匹配参数；
(e)利用联合显著图对两幅图像进行配准；
(f)配准后两种模式的图像在同一坐标系下将两幅图像的肿瘤病灶区域融合 表达成三维的图像模型。
4.根据权利要求3所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述联合显著图给出了两幅图像间的公共显著区域，公共显著区 域即为术前和术中超声成像增敏后的肿瘤目标病灶区域，如果该位置点对应图像 的公共显著区域，就被设定为目标感兴趣区域，接下来作为重点配准区域。
5.根据权利要求3或4所述的基于多模式增敏成像融合的早期肿瘤定位跟踪 方法，其特征是，所述联合显著图，其值域被归一化到[0，1]，即归一化联合显著 值，如果归一化联合显著值接近于1，表示待配准图像在该点具有相似的显著特 征分布，则认定该点是属于公共显著区域，这些公共显著区域继续参与进一步的 配准；如果归一化联合显著值接近于0，则表示在该点两幅图像没有相对应的显 著特征分布，此点是异常信号，不属于公共显著区域，被排除参与下一步的配准 过程。
6.根据权利要求5所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，在进行配准时，设定一阈值，将待配准图像各自的显著测度值低 于阈值的点在联合显著图中直接赋为0。
7.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述的将联合显著图融合到联合灰度直方图的统计中，具体融合 方法为：使用归一化联合显著值确定图像上的每对体素对联合灰度直方图的贡献 权重，即在得到了浮动图像F与参考图像R的灰度对(f，r)后，用归一化联合显 著值计入直方图频数h(f，r)中；如果其归一化联合显著权值很小，这些被判为异 常信号或显著性很小的点就被自动地排除在联合灰度直方图的计算，进而也自适 应的排除在配准过程之外。
8.根据权利要求3所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述利用联合显著图对两幅图像进行配准，是指：对两个数据集 进行非刚性变换，采用全局刚性变换组合多层B样条自由形变模型，即每个体 素位置的形变变换模型采用如下公式：
T(x，y，z)＝Tglobal(x，y，z)+Tlocal(x，y，z)，其中T(x，y，z)为两幅图像的整体变 换参数，Tglobal(x，y，z)为全局刚性变换参数，Tlocal(x，y，z)为局部非刚性变换参数；
这里每个点的局部形变利用一维三次B样条的三维张量积构成，在多分辨 率计算框架下，这里的局部形变模型采用多层B样条自由形变模型，即：
其中，H是指B样条的层数，Tlocal h(x，y，z)为 基于h层的B样条自由形变模型的非刚性变换参数；
这里每个体素点的局部形变是由多层次局部形变累加得到。
9.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述的术前成像增敏剂，是指：选用核磁共振成像，采用磁性物 质组成的、能对肿瘤目标病灶进行成像增敏的核磁共振成像造影剂；
所述的术中超声成像增敏剂，是指蛋白质空气微胶囊超声造影剂、氟碳气体 微胶囊超声造影剂、可生物降解高分子微胶囊超声造影剂、微泡超声造影剂、包 膜超声造影剂中的一种。
10.根据权利要求1所述的基于多模式增敏成像融合的早期肿瘤定位跟踪方 法，其特征是，所述的术中可控频率超声场，是由超声波发生器产生，频率小于 5MHz的多频超声波。
技术领域
本发明涉及一种医学图像处理技术领域的方法，具体涉及一种基于多模式增 敏成像融合的早期肿瘤定位跟踪方法。
背景技术
在图像导向治疗系统中，国内外还没有报道使用多模式增敏成像融合的早期 肿瘤定位跟踪方法，使其应用于图像导向治疗中，利用术前术中靶向成像增敏剂 的作用，增强术前医学成像和术中超声成像对肿瘤等病灶的成像效果；再引入基 于联合显著区域的非刚性形变配准融合，完成早期肿瘤干预过程中的靶向精确定 位和跟踪。
经对现有技术文献的检索发现，美国专利公开号：US2001/0007919 A1，公开 日：Jul.12，2001，专利名称：“Method and Apparatus for Volumetric Image Navigation”。该专利强调了利用术前核磁共振、CT图像和术中被跟踪的内窥镜、 超声图像进行配准，并结合图像分割和三维模型重建技术，用于手术导航。但该 专利没有提到利用多种模式造影剂对肿瘤目标病灶进行术前和术中成像靶向增 敏，在对肿瘤目标病灶的治疗过程中，也没有考虑基于肿瘤目标病灶感兴趣显著 区域，对多模式图像进行非刚性配准，以准确实时地对肿瘤靶向区域的治疗改变 进行动态跟踪。
发明内容
本发明是通过以下技术方案实现的，本发明包括以下步骤：
第一步，获得术前增敏图像
通过术前成像增敏剂与肿瘤的靶向结合，利用核磁共振医学成像手段，获得 对目标病灶区域及周围组织结构进行成像增敏的术前核磁共振医学图像。选定该 图像为配准的浮动图像；
第二步，获得术中增敏图像
术中增敏图像的获得是通过超声成像仪实现的。通过术中超声成像增敏剂与 肿瘤的靶向结合，配合术中可控频率超声场对超声成像增敏剂的激发作用，获得 能有效增敏目标病灶成像效果的术中三维超声图像；选定该图像为参考图像，用 于实时跟踪术中目标病灶的改变；
第三步，在图像导向治疗时，利用全局刚性变换和肿瘤目标病灶四周局部非 刚性变换组合作为形变配准的几何变换模型，对术前和术中增敏图像进行基于联 合显著区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域 的三维可视化模型，对术中肿瘤目标病灶进行精确治疗定位；
第四步，利用上述基于联合显著区域的形变配准方法，结合术中超声成像的 运动分析手段，完成对术前核磁共振图像的运动形变补偿，实时更新术中超声成 像和术前核磁共振图像的配准关系，实时显示三维超声成像和术前医学图像在肿 瘤病灶及周围组织结构四周的成像融合效果，进而自动完成肿瘤目标病灶的靶向 跟踪。
所述的术前成像增敏剂，是指根据所采用的术前成像方法，选用对肿瘤目标 病灶进行成像增敏的不同模式造影剂。选用核磁共振成像，可以采用磁性物质组 成的、能对肿瘤目标病灶进行成像增敏的核磁共振成像造影剂。
所述的术中超声成像增敏剂，是指微胶囊造影剂，包括蛋白质空气微胶囊超 声造影剂、氟碳气体微胶囊超声造影剂、可生物降解高分子微胶囊超声造影剂； 微泡超声造影剂；包膜超声造影剂等。该成像增敏剂都能与肿瘤病灶精确主动或 被动靶向结合，并且能有效提高超声成像效果。
所述的术中可控频率超声场，是指由超声波发生器产生，频率小于5MHz 的多频超声波。该可控频率多频超声场能激发超声造影剂产生局部可控谐振，超 声回波特性改变、局部空化现象等物理化学作用，从而获得高对比度的三维超声 成像效果。
所述利用全局刚性变换、和肿瘤目标病灶四周局部非刚性变换组合作为形变 配准的几何变换模型，对术前和术中增敏图像进行基于联合显著区域的形变配 准，是指：利用全局刚体变换和多层B样条自由形变模型组合构成形变的几何 变换模型，然后利用术前和术中多模式成像灰度信息提取联合显著区域，再基于 联合显著区域的灰度相似性测度，进行非刚性图像配准。具体实现如下：
(a)粗配准：利用图像体素为整体特征，采用传统的图像配准方法，对两幅 图像进行粗配准，使图像的相互重叠程度尽可能大；
(b)获取多分辨率显著测度图：对获取的两种图像数据进行多分辨率金字塔 构建，并选用一种测度度量显著性程度，得到待配准图像各自的联合显著图；
(c)对当前分辨率尺度，利用相似性分析度量术前和术中多分辨率显著测度 图中公共显著区域的位置和程度，得到待配准图像之间的联合显著图。该联合显 著图给出了两幅图像间的公共显著区域，本发明中公共显著区域即为术前和术中 超声成像增敏后的肿瘤目标病灶区域。如果该位置点对应图像的公共显著区域， 就被设定为目标感兴趣区域，接下来作为重点配准区域。
联合显著图的值域被归一化到[0，1](以下称为归一化联合显著值)，它在配 准过程中的应用如下：如果归一化联合显著值接近于1，表示待配准图像在该点 具有相似的显著特征分布，则认定该点是属于公共显著区域，本发明中肿瘤目标 感兴趣区域属于公共显著区域，因此肿瘤目标感兴趣区域联合显著值应是一个趋 于1的值，这些公共显著区域继续参与进一步的配准；如果归一化联合显著值接 近于0，则表示在该点两幅图像没有相对应的显著特征分布，此点是异常信号， 不属于公共显著区域，应当被排除参与下一步的配准过程。这样就实现了对包括 肿瘤目标感兴趣区域在内的公共显著区域进行重点配准，该重点配准可自适应地 排除全局异常信号。这些全局异常信号是没有在两幅图像中都有对应性表示的异 常信号特征，这些异常信号包括只有在术前图像中有显示的图像特征，而这些图 像特征由于手术或治疗改变就不再在术中图像中有对应性表示。或者这些全局异 常信号只是出现在术中超声图像中的异常图像特征，这些术中异常特征同样没有 在术前核磁共振图像中有对应性表示。
其中需要说明的是，可以设定一阈值，将待配准图像各自的显著测度值低于 阈值的点在联合显著图中直接赋为0，因为低显著性的点意味着不包含显著性特 征，无利于配准的进行。
(d)将(c)得到的联合显著图，融合到联合灰度直方图的统计中，可增强公共 显著区域在联合直方图统计中的权重，再定义一个基于联合灰度直方图统计计算 的灰度相似性测度，在多分辨率计算方案下得到联合显著图下的最优几何匹配参 数；
联合显著图和联合灰度直方图具体的融合方法如下：在统计图像联合灰度直 方图的过程中，由于它与配准变换参数相关，需要将其中一幅如浮动图像F变换 后与参考图像R进行统计，如果变换后的位置不在参考图像规整坐标网格上，则 需要插值计算出该位置处的参考图像灰度。本发明使用归一化联合显著值确定图 像上的每对体素对联合灰度直方图的贡献权重，即在得到了浮动图像F与参考图 像R的灰度对(f，r)后，用归一化联合显著值计入直方图频数h(f，r)中。如果其 归一化联合显著权值很小，这些被判为异常信号或显著性很小的点就被自动地排 除在联合灰度直方图的计算，进而也自适应的排除在配准过程之外。由于肿瘤目 标病灶区域在两图像中都有显著测度表示，因此能将肿瘤目标病灶区域作为配准 的重点感兴趣区域，进行自动集中配准。
(e)利用联合显著图对两幅图像进行配准。采用全局刚性变换组合多层B样 条自由形变模型(multilevel B spines free form deformation)，这里每个体素点的 局部形变是由多层次局部形变累加得到；
这样的非刚性变换每变动一次就计算联合显著图，再统计联合显著图加权的 联合灰度直方图。通过不断改变变换参数，使得图像灰度相似性测度函数达到最 优；
(f)配准后两种模式的图像在同一坐标系下将两幅图像的肿瘤病灶区域融合 表达成三维的图像模型。
本发明通过利用术前术中成像增敏剂的作用，在提高术前、术中多模式医学 影像技术对肿瘤病灶进行感兴趣增敏的基础上，利用多模医学图像形变配准技术 实时更新术中肿瘤靶向位置改变，从而提高肿瘤等病灶在图像导向治疗空间中的 靶向跟踪精度。在方法设计上，利用了成像增敏剂的造影功能和基于联合显著区 域的形变配准技术的优点，对术中肿瘤靶向跟踪的鲁棒性、动态跟踪精度及实时 效率都能满足实际需求。本发明可于肿瘤早期诊断、图像导向肿瘤早期干预、图 像导向微创手术、图像导向物理治疗等多种场合的定位跟踪。
附图说明
图1是本发明的流程图。
图2是本发明基于联合显著区域的形变配准方法的流程图。
具体实施方式
本实例为应用于对肝脏肿瘤的术中定位跟踪，其流程图如图1所示：
第一步，获得术前增敏图像。通过对病人注射水溶性顺磁性分子——锰— DPDP核磁共振成像造影剂，是其与肿瘤病灶精确靶向结合；然后对病人在腹部 进行核磁共振成像，获得对肝脏肿瘤增敏的术前医学图像，成像数据量为 512*512*120，并确定该图像为浮动图像；
第二步，获得术中超声增敏图像。首先对病人注射微胶囊类增敏剂，经过一 段时间后，使增敏剂和肝脏肿瘤病灶精确靶向结合。然后，启动术中超声成像设 备配合术中可控频率超声场对增敏剂进行进一步激发，对病人采集术中增敏图 像。超声波发生器的频率选择2～3MHz。选定该图像为参考图像，用于实时改变 融合图像；
第三步，在图像导向治疗时，利用全局刚体变换和多层B样条自由形变模 型组合构成形变的几何变换模型，对术前和术中增敏图像进行基于联合显著区域 的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维可视 化模型，对术中肿瘤目标病灶进行精确治疗定位。具体实现如下：
(a)粗配准。采用基于互信息的图像配准方法，变换模型取刚体变换模型， 优化算法选用单纯型法；
(b)获取多分辨率显著测度图。对获取的两种图像数据进行多分辨率金字塔 构建；利用以下公式计算每个分辨率尺度下的显著测度图。
特别说明，v＝(x，y，z)是分辨率尺度l下的体素位置，Nv是多分辨率尺度l 下的体素v的邻域，为了得到旋转不变性能量，本实例所施行的是圆周邻域，圆 周半径取3，即3*3*3领域；I(v，l)为在分辨率尺度l下的体素v的灰度值，I(u，l) 为在分辨率尺度l下体素v的邻域体素u的灰度值；E(v)即为v点对应的显著测 度值，计算出每个体素位置对应的显著测度值，即可获取在一定分辨率尺度下参 考图像和浮动图像各自的显著测度图；在高分辨率l尺度下的显著区域检测方 法，是通过累加低分辨率尺度和当前分辨率下的显著区域图而得到。
(c)对当前分辨率尺度l，计算两粗配准图像的联合显著图。这里选取矩相 似性分析作为产生联合显著图的方法。待配准两幅图像中每一对重叠体素位置的 联合显著值，可在各自的显著区域图上通过矩分析得到各自的惯性矩阵主轴方向 向量。如果该位置属于双方公共显著区域，则此对向量将具有相似性，在数学上 表现为向量间的平行度或相关度。
具体实施过程如下：对于两幅图像中的每一对重叠体素，以该点为中心计算 其邻域体素(采用(1)中的圆域系统)显著区域图的惯性矩阵及特征值和特征 向量，记录最大特征值对应的特征向量。以下式计算得出归一化联合显著值：
eig(vf)和eig(vr)分别代表浮动图像和参考图像对应点邻域的显著测度图 主轴方向向量。这样依据(b)得到的多分辨率显著测度图，再通过计算显著测度 图邻域特征向量的相关度，计算出每一对重叠体素点的归一化联合显著值，得到 联合显著图其中将在显著图中低于0.005倍能量最高值的点直接赋予W(v)为0。
d)将(c)得到的联合显著图和联合灰度直方图融合，选取归一化互信息作 为配准的相似性测度，计算该相似性测度值。在统计图像联合灰度直方图的过程 中，采用主流的三线性内插方法，即在得到了浮动图像F与参考图像R的灰度对 (f，r)。将(c)中得到的联合显著值计入直方图频数h(f，r)中。
(e)利用联合显著图对两幅图像进行配准。对两个数据集进行非刚性变换， 采用全局刚性变换组合多层B样条自由形变模型，即每个体素位置的形变变换 模型采用如下公式：
T(x，y，z)＝Tglobal(x，y，z)+Tolcal(x，y，z) (3)
特别说明，其中T(x，y，z)为两幅图像的整体变换参数，Tglobal(x，y，z)为全局 刚性变换参数，Tlocal(x，y，z)为局部非刚性变换参数。
这里每个点的局部形变利用一维三次B样条的三维张量积构成，在多分辨率 计算框架下，这里的局部形变模型采用多层B样条自由形变模型，即：
特别说明，其中H是指B样条的层数，Tlocal h(x，y，z)为基于h层的B样条自 由形变模型的非刚性变换参数。
这里每个体素点的局部形变是由多层次局部形变累加得到。
这样的非刚性变换每变动一次就计算联合显著图，再统计联合显著图加权的 联合灰度直方图。通过不断改变变换参数，采用遗传算法使得图像灰度相似性测 度函数达到最优；
实施例中采用前后两次所得到的最优配准参数的欧拉距离作为终止条件，选 取0.00001。
(f)配准后两种模式的图像在同一坐标系下将肝脏中的肿瘤区域的肿瘤、大血 管等有用信息表达成三维的图像模型。
第四步，利用上述形变配准方法，结合术中超声成像的运动分析手段，实时 更新术中超声成像和术前核磁共振图像的配准关系，完成对术前图像的运动形变 补偿，进而自动完成肿瘤目标病灶的靶向跟踪。
该实例通过对肝脏肿瘤的术中定位跟踪，说明该方法能满足对术中肿瘤靶向 跟踪的鲁棒性、动态跟踪精度及实时效率的需求。利用对术前核磁共振图像和术 中超声成像进行感兴趣增敏的基础上，利用全局刚体变换和多层B样条自由形 变模型组合构成形变的几何变换模型，对术前和术中增敏图像进行基于联合显著 区域的形变配准，而后对术前和术中图像进行融合，重建出肿瘤病灶区域的三维 可视化模型，对术中肿瘤目标病灶进行精确治疗定位。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于形变特征预测电池碰撞后SoH的方法 | 2020-05-08 | 245 |
| 人体三维建模数据处理方法及装置 | 2020-05-11 | 839 |
| 基于3D深度摄像头和柔性力敏传感器的跑步机自适应系统 | 2020-05-16 | 135 |
| 图像篡改取证方法及装置 | 2020-05-17 | 583 |
| 一种基于光外同轴送粉的变宽度薄壁件激光熔覆成形方法 | 2020-05-18 | 631 |
| 一种基于渐进式外接球结构的碰撞检测算法 | 2020-05-08 | 769 |
| 一种基于面部运动单元的三维非真实感表情生成方法 | 2020-05-11 | 349 |
| 一种形变物体的三维位姿估计方法及定位抓取系统 | 2020-05-12 | 600 |
| 一种基于手势识别的全息投影装置的工作方法 | 2020-05-13 | 725 |
| 一种基于升降轨时序InSAR的煤矿区地表形变监测方法 | 2020-05-16 | 273 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
