技术领域
[0001] 本
发明总体上涉及针对介入程序的，尤其是针对心脏介入程序的，准确图像引导。本发明特别涉及介入工具（例如，导管）在超声图像（“3D US”）中的可视化。
背景技术
[0002] 对于介入程序，尤其是心脏介入程序中的准确引导而言，知晓介入工具（例如，导管）关于程序前规划扫描（例如，
磁共振成像（“MRI”）扫描或计算机
断层摄影（“CT”）扫描）的相对
位置是重要的。由于
X射线荧光图像提供程序期间介入工具的非常高解析的图像，因此本领域已知的用于在引导介入工具中提供视觉辅助的图像引导的系统聚焦于在荧光图像中
跟踪工具的末端，并
叠加在程序前扫描中。同样广为人知的是，为了所述介入工具的3D形状的实时可视化，将多个位置
传感器和/或形状感测传感器安装在介入工具上，以跟踪所述介入工具的3D形状。
[0003] 将超声图像（“2D US”）或3D US与X射线成像配准已越来越多地将X射线荧光检查扩充为用于引导介入程序的辅助。所述2D US或所述3D US的关键作用是为程序前扫描增加实时运动信息，同时（一个或多个）X射线荧光图像实时地提供所述介入工具的高分辨可视化。此外，随着3D US的实时引入，在超声中更清楚地将所述介入工具可视化正变为可能，由此实现仅由超声引导的介入。
[0004] 在心脏介入程序中，将导管的末端以及所述导管末端的取向可视化是重要的。导管末端的识别在3D US中是困难的，尤其是在心脏介入设定中。因此，用于在X射线图像中识别所述导管末端，以及将这些点标定到3D US中，用于在程序前扫描中的提取和融合的方法对于介入程序是有益的。
发明内容
[0005] 本发明的一种形式是采用X射线成像设备（例如，单平面或双平面）和超声成像设备的图像引导的系统，所述X射线成像设备用于生成图示解剖区域中的工具（例如，心脏区域中的导管）的一个或多个X射线图像，所述超声成像设备用于生成图示所述解剖区域中的所述工具的超声图像。
[0006] 所述图像引导的系统还采用工具跟踪设备，用于视觉地跟踪所述解剖区域中的所述工具。在运行中，所述工具跟踪设备响应于对位于所述（一个或多个）X射线图像中的所述工具的部分（例如，所述导管的末端）的识别，确
定位于所述超声图像中的所述工具的所述部分的位置，并且关于位于所述超声图像中的所述工具的所述部分的位置确定，对位于所述超声图像内的所述工具的整体执行
图像分割（例如，切图分割）。
[0007] 本发明的第二种形式是用于视觉地跟踪解剖区域中的工具的图像引导方法。所述方法涉及生成图示解剖区域中的工具（例如，心脏区域中的导管）的一个或多个X射线图像，以及生成图示所述解剖区域中的所述工具的超声图像。
[0008] 所述方法还涉及响应于对位于所述（一个或多个）X射线图像中的所述工具的部分（例如，所述导管的末端）的识别，确定位于所述超声图像中的所述工具的所述部分的位置，以及关于位于所述超声图像中的所述工具的所述部分的位置确定，对位于所述超声图像中的所述工具的整体执行图像分割（例如，切图分割）。
[0009] 结合
附图，根据以下对本发明各个示范性
实施例的详细描述，本发明的前述形式和其他形式，以及本发明的各种特征和优点将变得更加明显。所述详细描述及附图仅是对本发明的举例说明，而非限制，本发明的范围由所附
权利要求书及其等价方案限定。
附图说明
[0010] 图1图示了根据本发明的图像引导的系统的示范性实施例。
[0011] 图2图示了表示根据本发明的图像引导的方法的
流程图。
[0012] 图3图示了通过图1的图像引导的系统对图2的图像引导的方法的示范性实现方式。
[0013] 图4至图6图示了根据本发明的工具跟踪设备的各个实施例。
[0014] 图7图示了根据本发明的、X射线图像与超声图像之间的示范性几何关系。
[0015] 图8图示了根据本发明的、超声图像中示范性的工具末端移动。
[0016] 图9图示了表示心脏介入程序的一个实施例的流程图，所述心脏介入程序将根据本发明的工具跟踪方法的一个实施例并入。
[0017] 图10图示了表示根据本发明的工具跟踪方法的第二实施例的流程图。
[0018] 图11图示了表示根据本发明的工具位置确定方法的一个实施例的流程图。
[0019] 图12图示了表示根据本发明的加权图构造方法的一个实施例的流程图。
[0020] 图13图示了根据本发明的对应于
能量函数的示范性加权图。
[0021] 图14图示了表示根据本发明的图像分割方法的一个实施例的流程图。
具体实施方式
[0022] 如前文所陈述，本发明提供用于在三维程序前规划扫描内部将介入工具的三维形状实时可视化的各种方法。如本领域普通技术人员从以下对图1至图13的描述将认识到地，这些方法通过本发明的利用X射线图像和超声图像的工具跟踪设备得以实现。为了方便对本发明的理解，本文将针对在心脏介入程序期间跟踪导管来描述所述工具跟踪设备。
[0023] 具体而言，图1图示了一种图像引导的系统，其采用X射线成像系统、3D US成像系统和导管跟踪设备50形式的工具跟踪设备。
[0024] 出于本发明的各目的，在本文中将所述X射线成像系统广泛地定义为包括X射线成像设备20，所述X射线成像设备20用于控制X射线源21和X射线探测器22的运行，在结构上被配置为生成解剖区域（例如，心脏区域）的X射线图像（“XRI”）25，所述解剖区域由体积40表示；所述X射线成像设备20并且/或者用于控制X射线源23和X射线探测器24的运行，在结构上被配置为生成解剖区域40的X射线图像（“XRI”）。在实践中，部件20-22（排除了部件23和24）表示任意类型的单平面X射线系统，并且部件21-24共同表示任意类型的双平面X射线系统。所述X射线成像系统的范例包括但不限于，用于执行心脏介入程序的任意类型的X射线系统。在一个实施例中，来自由“飞利浦医疗系统”市售的Allure Xper系列的X射线系统可以充当所述X射线成像系统。
[0025] 出于本发明的各目的，在本文中将所述3D US成像系统广泛地定义为包括3D US成像设备30，所述3D US成像设备30用于控制3D US
探头31的运行，在结构上被配置为生成解剖区域40的超声图像（“USI”）32。所述3D US成像系统的范例包括但不限于，任意类型的超声成像系统，尤其是采用3D TEE探头的超声成像系统。在一个实施例中，由“飞利浦医疗系统”市售的iEEE智能回波系统可以充当3D US成像系统。
[0026] 出于本发明的各目的，在本文中将导管跟踪设备50广泛地定义为在结构上被这样配置的任意设备：所述设备被配置为出于在解剖区域40中识别导管41的末端的目的，将（一个或多个）X射线图像25/26与超声图像32配准，并且被配置为在包括解剖区域40的3D程序前规划扫描中，实时地可视化导管41的3D形状。为此，导管跟踪设备50执行由如图2所示的流程图60表示的图像引导方法。
[0027] 参考图2，流程图60的阶段S61包括涉及对患者的解剖区域的3D扫描（例如，MRI扫描或CT扫描）的介入程序的术前规划。例如，如图3中所示，阶段S61可以包括对患者70的心脏区域71的3D程序前扫描，以及3D程序前扫描72在
数据库73中的存储。
[0028] 流程图60的阶段S62包括通过导管跟踪设备50将所述患者的所述解剖区域的（一个或多个）X射线图像与超声
图像配准。例如，如图3中所示，心脏区域71的X射线图像25和/或X射线图像26以及心脏区域71的超声图像32分别由X射线成像系统和3D US成像系统生成，由此，导管跟踪设备50将X射线图像25和/或X射线图像26配准到超声图像32。在实践中，所述配准可以包括使用本领域已知的系统校准与实时跟踪的组合，将X射线坐标转换到3D US实时坐标。例如，所述配准可以包括手动对准或电磁跟踪技术。
[0029] 流程图60的阶段S63包括在所述超声图像中识别所述导管的部分（例如，所述导管的末端）。在与图3相关的一个实施例中，阶段S63涉及如本领域已知地，由在X射线图像25和/或X射线图像26中对导管41的末端的自动或手动识别和在超声图像32中对导管41的末端的定位，导出X射线/3D US配准。
[0030] 流程图60的阶段S64包括以所述导管末端充当图像分割过程的初始点，对超声图像32中的导管41进行图像分割。
[0031] 流程图60的阶段S65包括跟踪所述解剖区域的程序前扫描中的所述导管，所述导管通过在所述超声图像中对所述导管的3D形状的图像分割导出。例如，如图3中所示，阶段S65包括导管跟踪设备50在显示器80上显示3D程序前扫描72和投影到扫描72中的导管的跟踪叠加75，所述导管通过在所述超声图像32中对导管41的3D形状的前述图像分割导出。
[0032] 本文中现在将提供对图4至图13的描述，以提供对本发明的导管跟踪设备的各个实施例的详细解释，所述导管跟踪设备包括在结构上用
硬件、
软件和/或
固件配置的、用于实现流程图60（图2）和阶段S63和S64的模
块。
[0033] 具体而言，图4图示了用于根据在本文中被称作“末端探测模式”的过程实现阶段S63和S64的导管图像跟踪模块51a，所述过程鉴于这样的事实，即探测所述末端的方式可以充当针对随后的图像分割的边界约束。
[0034] 一般而言，所述“末端探测模式”利用X射线和超声体积的几何关系，其中所述X射线图像中的工具末端对应于在使用X射线/3D US配准的变换之后通过所述超声图像的线或线集。例如，如图7中所示，导管41经由X射线源21到X射线探测器22上的X射线投影90，对应于在使用X射线/3DUS配准的变换之后通过超声体积33的三（3）条线的线集91。通过使用所图示的几何约束，将六（6）个
自由度（“DOF”）的导管跟踪问题[x、y、z、a、b、c]（其中xyz是平移，并且a、b和c是旋转）降低为具有[r、a、b、c]的四（4）DOF的问题，其中，r为沿与图7中所示的所述导管末端相关联的追踪线92的平移。在实践中，该导管跟踪问题可以通过使用基于Kalman
滤波器或粒子滤波器的视觉跟踪器有效地解决，所述视觉跟踪器己在
计算机视觉中得到广泛研究。搜索空间降低到四（4）DOF显著地改善了如下文所述的视觉跟踪
算法的步骤。
[0035] 例如，使用粒子滤波器来图示如何建立所述导管跟踪模块51。具体而言，令X=[r,a,b,c]指示表示导管41的位置和
姿态的状态向量。所述导管跟踪问题可以由描述，即，使用超声体积历史来估计状态向量X。通过使用贝叶斯规则，导出以下等式[1]用于跟踪目的：
[0036]
[0037] 通过假设从Xt-1到Xt——如图8中所示在3D US体积33中从点93到点94——的动态改变遵循某种分布p(Xt|Xt-1)，从前一3D US体积 取样的粒子可以被传播到下一
帧，在所述下一帧，通过 测量所评估的工具末端对当前3D US帧的匹配度。
通过应用来自如图8中所示的单个X射线图像25的几何约束，状态向量X中变量的数目从六（6）减少到（4），这继而减少了粒子滤波器中所使用的样本的数目，并且相比于3D US中未经约束的跟踪，针对相当的跟踪准确度，使跟踪时间缩短了三分之一（1/3）。换言之，以相同的计算时间，所提出的方案可以使用更多的样本来使3D US体积33中的导管可视化更准确并且更加鲁棒。
[0038] 图9图示了表示心脏介入程序的流程图100，所述心脏介入程序经由跟踪循环并入本发明的“末端探测模式”，所述跟踪循环包括流程图100的阶段S104-S106。
[0039] 具体而言，阶段S104包括在心腔的3D US探测期间，生成所述心腔的单个X射线图像。在阶段S105期间，所述单个X射线图像被工具识别模块52a用于在一个时间
相位或ECG相位中，在所述心脏的超声图像中识别所述导管的所述末端。
[0040] 在阶段S105的一个实施例中，通过所述3D US成像系统的用户输入，在超声图像中手动地识别所述导管的所述末端，并且确定被投影到所述X射线探测器上的、从所述X射线源延伸通过3D US体积的所述导管末端的线。
[0041] 在阶段S105的第二个实施例中，通过所述X射线图像系统的用户输入，在所述X射线图像中手动地识别所述导管的所述末端，并且然后基于所述X射线/3D US配准，将所述导管的所述末端标定到所述超声图像。额外地，确定被投影在所述X射线探测器上的、从所述X射线源延伸通过3DUS体积到所述导管末端的线。
[0042] 在阶段S105的第三个实施例中，通过已知的
模版匹配算法在所述X射线图像中自动识别所述导管的所述末端，并且然后基于所述X射线/3DUS配准，将所述导管的所述末端标定到所述超声图像。再次，确定被投影在所述X射线探测器上的、从所述X射线源延伸通过3D US体积到所述导管末端的线。
[0043] 在阶段S105的第四个实施例中，可以使用基于学习的技术在所述超声图像中自动探测所述导管末端，其中外观模型可以来自在样品3D US图像中对导管末端的手动识别，或者来自双平面X射线图像。在该外观建模过程中，首先从所识别的导管末端周围的训练3D US体积提取3D图像块。每个块被重整为向量，并且可以被视为矩阵M的列。可以将奇T
异值分解（“SVD”）应用到所构造的矩阵，以提取所述训练块的主分量U。即M=UΣV。
[0044] 在探测过程期间，沿从在X射线图像中所识别的导管末端后向投影到所述3D US的线进行搜索。针对每个搜索位置，提取具有相同尺寸的块Ip作为训练块。然后可以将所T 2述块分解成b=UIp，并且通过‖b‖测量从所述块到习得模型的距离。可以将所述导管末端位置探测为具有最小距离的点。
[0045] 阶段S106包括图像分割模块53a在所述超声图像中将所述导管的3D形状可视化。在实践中，本发明不对用于可视化目的的所述导管的分割施加任何制约或限制。然而，在阶段S106期间，后向投影的线或线集可以充当所述超声图像中的导管分割的边界约束，即所述导管末端必须被定位在沿该线或线集的某处。所述导管分割可以进一步受所述超声图像的维度的约束。额外地，给定前文提及的边界条件，对导管形状的先验知识可以被进一步用于确定统计上可能的姿态。
[0046] 所述跟踪循环阶段S104-S106的执行的一个优点是单平面X射线成像系统的使用。
[0047] 参考流程图100的整体执行，流程图100的阶段S101包括向心腔中插入导管。在所述插入之后，利用3D US探头（例如，图3中所示的探头31）根据需要选择性地触发所述跟踪循环。具体而言，如果所述3D US探头图示所述导管处于心脏壁并且在靶处，那么流程图100从阶段S101通过阶段S102和S103到结束。否则，如果所述3D US探头图示在阶段S102期间所述导管不在心脏壁处，则执行跟踪循环阶段S104-S106。可选地，如果所述3D US探头图示阶段S103期间所述导管不在所述心脏壁的靶处，则在跟踪循环阶段S104-S106的执行之前，在阶段S107期间缩回所述导管。
[0048] 图5图示了用于根据在本文中被称做“切图分割模式”的过程来实现阶段S63和S64（图2）的导管图像跟踪模块51b，所述过程鉴于以下事实，即导管被分割的方式是基于切图方法。
[0049] 一般而言，所述“切图分割模式”实现图10中所示的流程110，涉及在阶段S111期间在3D US体积空间中定位导管末端以及在阶段S112期间在3D US体积空间中对导管进行分割。
[0050] 在阶段S111的一个实施例中，可以在所述3D US体积空间中手动地识别所述导管末端。
[0051] 在阶段S111的更可靠的第二实施例中，执行表示如图11中所示本发明的导管末端定位方法的流程图120。
[0052] 参考图11，当导管被插入解剖区域中时，流程图120的阶段S121包括使用已知的心脏和呼吸
门控技术，在特
定心脏时相（例如，舒张期结束）和
指定呼吸阶段（例如，呼吸末阶段）期间，在第一
机架角度对所述导管的X射线进行
图像采集，并且流程图120的阶段S122包括在阶段S121期间采集的X射线图像中对所述导管末端进行手动或自动分割。
[0053] 对于单平面X射线成像系统，流程图120的阶段S123包括使用已知的心脏和呼吸门控技术，在相同的指定心脏时相和相同的指定呼吸阶段期间，以第二机架角度对所述导管的X射线进行图像采集，并且流程图120的阶段S124包括在阶段S123期间采集的所述X射线图像中对所述导管末端进行手动或自动分割。
[0054] 对于双平面X射线成像系统，可以同时执行阶段S121/S122和阶段S123/S124。
[0055] 对于任一X射线成像系统，在流程图120的阶段S125期间，重建所述导管末端在所述2D X射线
坐标系中相应的3D位置。在阶段S125的一个实施例中，利用已知的外极线约束来在所述2D X射线坐标系中重建所述导管末端的3D位置。
[0056] 其后，在流程图120的阶段S126期间，使用系统校准和实时跟踪，将所重建的所述导管末端的2D X射线坐标位置转换成3D US实时坐标位置。在阶段S126的一个实施例中，将手动对准用作转换的
基础。在阶段S126的第二实施例中，将已知的电磁跟踪技术用作所述转换的基础。
[0057] 返回参考图10，在阶段112期间，流程图120便于流程图150（图14）的执行。
[0058] 流程图150的前提是以下能量函数[2]的最小化：
[0059]
[0060] 其中xp是
像素p的标签，并且p～q指示像素p和q相邻。所述能量函数Dp(xp)的首项描述基于像素的标签将像素分配到前景或分配到背景的代价。将像素分配到所述前景的代价被选为该像素的滤波器响应fp与所述图像的最小滤波器响应ε之间的绝对差。该代价在所述导管内的像素处达到其最小值，因为突出所述导管的滤波器在那些像素处给出其最低响应。以类似的方式，将像素分配到后景的代价被选为该像素的滤波器响应fp与所述图像的平均滤波器响应μ之间的绝对差。
[0061] 另一方面，第二成对部分作为调整项。当两个相邻像素p和q具有不同的标签xp和xq’时，判断项[xp≠xq]取值为1，并且wpq累积到所述能量，否则，其取值为0，并且wpq对所述能量无贡献。作为有助于将相同的标签分配到具有相似滤波器响应的邻近像素的wpq的自然选择，可以利用相似度度量
[0062] 为了寻找等式[2]的全局最小值，执行图12中所示的流程图130，用于构造加权图，例如图13中所示的加权图140。参考图12和图13，流程图130的阶段S131包括针对每个像素将
节点构造到所述图。由于这是个二进制优化问题，流程图130的阶段S132包括添加分别表示后景和前景的两（2）个终端节点s和t。接下来，流程图130的阶段S133包括将终端节点s连接到表示像素的每个节点以及分配权重，以及将终端节点t连接到每个节点以及将权重|fp-μ|分配到那些边。最终，流程图130的阶段S134包括添加连接表示相邻像素的节点的边，以及将权重wpq分配到所述边。
[0063] 现在参考图14，执行流程图150，用于在所述3D US体积空间中分割所述导管。具体而言，利用由流程图120（图11）确定的在3D US体积空间中确定位置的工具末端作为初始
种子点，并且流程图150的阶段S151包括在所识别的工具末端周围生成小的邻域，以计算导管强度的概率分布函数（PDF）。接下来，流程图150的阶段S152包括出于构造加权图的目的，计算等式[2]的项Dp(xp)，以将权重分配到每个终端链路，并且流程图150的阶段S153包括向所构造的图应用切图，以获得初始分割。
[0064] 所述初始分割可能不是理想的，因为不仅导管自身还有其周围具有相似外观的一些其他结构都可以被包括到所述分割中。因此，流程图150的阶段S154包括应用导管形状滤波器，以细化所述初始分割。所述导管形状滤波器被设计为利用所述导管的管状结构，并且在设计上可以是具有3D取向的2D高斯核的二阶导数。在一个实施例中，通过计算所述初始分割的主方向来设置所述滤波器的取向。
[0065] 在完成阶段S154后，流程图150的阶段S155包括以与阶段S152相同的方式构造新的3D图。在流程图150的阶段S156期间，通过在该新图上再次应用切图来完成最终导管分割。
[0066] 根据图7至图14的描述，本领域普通技术人员将认识到导管跟踪设备51a（图4）和导管跟踪设备51b（图5）分别的“末端探测模式”和“切图分割模式”。图6图示了根据如由工具探测模块52c执行的“末端探测模式”与由图像分割模块53c执行的“切图分割模式”的组合，用于实现阶段S63和S64的导管图像跟踪模块51c。
[0067] 根据图1至图14的描述，本领域技术人员将进一步理解根据本发明如何实现针对的任何应用的工具跟踪方法。
[0068] 在实践中，可以将任意数目的X射线成像设备20、3D US成像设备30和工具跟踪设备集成为单个设备。
[0069] 尽管已经图示并描述了本发明的各个示范性实施例，但是本领域技术人员将理解，本文中所描述的本发明的示范性实施例仅为举例说明，并且可以在不偏离本发明的真正范围的情况下进行各种
修改和
变形，以及可以对其要素进行等价替换。此外，可以进行许多变型，以适应本发明的教导，而不偏离其中心范围。因此，目的是，本发明不限于所公开的、预期为执行本发明的最佳方式的具体实施例，而是本发明包括落入所附权利要求范围内的所有实施例。
