技术领域
[0001] 本
发明涉及X射线引导的医学介入领域，更具体而言涉及用于X射线引导的医学介入中的姿态恢复的方法和系统。
背景技术
[0002] 在整个本
申请中，下列术语意在传达附随的定义。
[0003]
C型臂：意思是手术中X射线（
荧光检查法）
[0004] C型臂姿态：意思是X射线源（增强器）的三维（3D）
位置和取向
[0005] C型臂姿态
跟踪：意思是从一种姿态到另一种姿态估计C型臂姿态（与姿态恢复相同）。变换矩阵编码3个平移和三个旋转以从第一姿态确定第二姿态。
[0006]
支气管镜检查是利用
内窥镜检查支气管气道内壁和执行随后的诊断或
治疗介入的实时模态。在支气管镜检查过程期间，C型臂可用来实时监测内窥镜的位置。然而，由于X射线图像的低图像
对比度，病变和气道都很难看见。这阻碍了X射线荧光镜检查法作为一种协助支气管镜介入的实时图像引导工具的应用。
[0007] 对低对比度问题的一个解决方案是将三维（3D）计算机
断层摄影（CT）图像体积和二维X射线图像进行融合，而且将病变
叠加到X射线图像。通过在2D图像和3D图像体积之间配准将3D图像体积融合到2D X射线图像。融合的
可视化提供了手术中引导，以便人们可以精确
定位病变并识别其与内窥镜的空间关系。
[0008] X射线图像和CT体积之间的2D-3D配准可以基于图像或者基于基准物。基于图像的配准方法使用分割，具有相对较小的捕捉范围和缓慢的收敛速度。此外，为基于图像的配准的计算开销很大。还有，当使用图像中的特征时，结果取决于分割的精确度和特征的特性。
[0009] 为方便基于图像的配准方法，必须要提供C型臂的良好初始化姿态以减少在优化方案中的搜索空间。然而，当C型臂在手术中移动到不同姿态时，在新的C型臂姿态中这个初始化不再可用。因此，2D X射线和3D图像体积数据的实时融合不总是可行的。
[0010] 基于基准物的配准解决了手术中C型臂运动后姿态恢复的问题。在基于基准物的配准中，对射线不透明的装置，叫做基准物，被放置在患者身体外部。基准物既在手术中C型臂运动前的X射线
帧中被拍摄，也在手术中C型臂运动后的X射线帧中被拍摄。因为基准物必须在这两帧中都被拍摄，所以它们限制了可用于手术中引导的体积尺寸。
[0011] 基准物的X射线图像本质上是二维的。如果外部基准物的3D配置是未知的，为了进行配准，必须用对极几何来在X射线空间中重建基准物的3D位置。那么，X射线空间的基准物可以配准到CT空间中的基准物。对极几何把两个已知的C型臂姿态作为输入。
[0012] 因此，基于图像和基于基准物的2D/3D配准都需要快速和准确的C型臂姿态恢复方法。遗憾的是，只有极少数医院拥有有能
力估计和跟踪X射线姿态的昂贵的高端移动C型臂。当前应用在医院的大多数临床C型臂不提供姿态跟踪能力。
发明内容
[0013] 本发明提供了用于在内窥镜流程期间的X射线姿态恢复的方法、系统和程序产品。
[0014] 根据一个
实施例，提供了一种用于在内窥镜流程期间进行X射线姿态恢复的方法。基准物附着于内窥镜远端区域的表面。在姿态变化前以第一姿态拍摄X射线图像，在姿态变化后以第二姿态拍摄X射线图像，作为其上带有基准物的内窥镜区域的三维曲线的二维投影。在姿态变化期间保持内窥镜稳定。利用分割方法确定基准物在每个二维X射线图像上的位置。然后，利用来自至少两个不同姿态的二维投影的其上带有基准物的所述内窥镜区域的三维曲线执行
迭代优化，以确定从第一X射线姿态到第二X射线姿态的C型臂三维平移和旋转。
[0015] 根据本发明的一个实施例，迭代优化步骤整合对事先已知的先验形状（例如
曲率）、几何约束来进行姿态的迭代估计。
[0016] 根据本发明的一个实施例，迭代优化步骤利用基准物的对应关系进行姿态的迭代估计。
[0017] 根据本发明的一个实施例，所述迭代优化还利用先验形状模型以在迭代过程中约束估计并加快收敛。
[0018] 根据本发明的一个实施例，所述迭代优化还利用预定几何约束以在迭代过程中约束估计并加快收敛。
[0019] 根据本发明的一个实施例，所述迭代优化步骤包括：
[0020] 做出初始姿态估计；
[0021] 重建其上带有基准物的所述内窥镜区域的三维形状；
[0022] 测试收敛；
[0023] 在不满足收敛测试时，利用受限解剖结构中内窥镜的先验几何约束（例如内窥镜必须要在气道支气管中，因此内窥镜的曲率是预先定义的），来细化其上带有基准物的所述内窥镜区域的三维形状；
[0024] 做出迭代姿态估计，并重复形状估计和收敛测试的步骤；
[0025] 在满足收敛测试时，输出最终的姿态估计。
[0026] 根据本发明的一个实施例，将先验形状与几何约束中的至少一个与来自二维投影的三维形状的重建进行比较以改进收敛。
[0027] 根据本发明的一个实施例，将先验形状与几何约束中的至少一个与三维形状的重建进行比较以测试收敛。
[0028] 根据本发明的一个实施例，提供了一种用于在内窥镜流程期间进行X射线姿态恢复的系统。该系统包括：
[0029] 内窥镜，其具有附着于其上的基准物；
[0030] C型臂荧光镜，其用于生成内部的患者特征的荧光检查图像；
[0031] 处理器，其用于处理来自C型臂的荧光检查图像，并提供内部的患者特征的已处理图像以供在流程中使用；
[0032]
存储器，其操作性连接到所述处理器并且其上编码了：
[0033] 能够由处理器执行以利用分割来定位所述基准物的程序指令；
[0034] 能够由所述处理器执行以利用内窥镜带基准物区域的三维曲线的两个二维投影来执行迭代优化以确定所述C型臂从第一X射线姿态到第二X射线姿态的三维平移和旋转的程序指令。
[0035] 根据本发明的一个实施例，所述基准物是附着于内窥镜外表面的对
辐射不透明的环。
[0036] 根据本发明的一个实施例，所述迭代优化程序指令重建其上带有基准物的所述内窥镜区域的三维形状，所述基准物间隔开已知间距，将所述间距与所述三维形状的重建进行比较以改进收敛。
[0037] 根据本发明的一个实施例，所述迭代优化程序指令重建其上带有基准物的所述内窥镜区域的三维形状，所述基准物间隔开已知间距，将所述间距与所述三维形状的重建进行比较以测试收敛。
[0038] 根据本发明的一个实施例，提供了一种
计算机程序产品，包括其上具有指令程序的计算机可读非易失性存储介质，包括：
[0039] 用于利用处于第一C型臂姿态的C型臂拍摄X射线荧光检查图像以捕获内窥镜中的其上带有基准物的区域作为其上带有基准物的所述内窥镜区域的三维曲线的二维投影的程序指令；
[0040] 用于将所述C型臂从所述第一姿态移动到处于另一视
角的第二姿态同时维持所述内窥镜的位置的程序指令；
[0041] 用于利用处于第二C型臂姿态的C型臂拍摄另一X射线荧光检查图像以捕获其上带有基准物的内窥镜区域作为其上带有基准物的所述内窥镜中区域的三维曲线的另一二维投影的程序指令；
[0042] 用于利用分割方法确定所述基准物在每个二维荧光检查图像上的位置的程序指令；以及
[0043] 用于利用其上带有基准物的所述内窥镜区域的三维曲线的两个二维投影来执行迭代优化以确定从第一X射线姿态到第二X射线姿态的C型臂三维平移和旋转的程序指令。
附图说明
[0044] 在结合附图阅读时，从优选实施例的以下详细描述，将更清晰地理解本发明的特征和优点。附图中包括以下图示：
[0045] 图1是在本发明的实施例中使用的C型臂的等距视图；
[0046] 图2示出了使用C型臂来引导内窥镜的内窥镜流程；
[0047] 图3是根据本发明的实施例的在内窥镜流程期间用于X射线姿态恢复的系统的方
框图；
[0048] 图4示出了根据本发明实施例的内窥镜远端，所述内窥镜具有附着于其上的基准物；
[0049] 图5示出了根据本发明的实施例的X射线姿态之间的C型臂运动；
[0050] 图6和7分别示出了根据本发明的实施例的姿态变化前后的X射线图像；
[0051] 图8是根据本发明的实施例的在内窥镜流程期间用于X射线姿态恢复的方法的
流程图；并且
[0052] 图9是根据本发明实施例的用于姿态估计的迭代优化程序指令的流程图。
具体实施方式
[0053] 本发明提供了用于在内窥镜流程期间的X射线姿态恢复的方法、系统和程序产品。根据本发明的一个实施例，在程序之前将基准物置于内窥镜的远端。利用内窥镜上内部基准物和内窥镜曲率的对应关系来进行姿态恢复。
[0054] 图1示出了具有X射线源110的移动C型臂100。如图2中所示，可以将移动C型臂用于X射线引导的内窥镜检查。通过来自C型臂100的X射线图像引导内窥镜200。
[0055] 图3是根据本发明实施例的用于X射线姿态恢复的系统方框图。处理单元300被操作性连接到存储器320的处理器310。根据一个实施例，它们通过总线330连接。处理器310可以是能够执行程序指令的任何装置，例如一个或多个
微处理器。存储器可以是任何易失性或非易失性存储设备，例如可移除盘、
硬盘驱动器、CD、
随机存取存储器（RAM）、
只读存储器（ROM）等。
[0056] 显示器340还操作性连接到处理器310。显示器可以是适于呈现能够呈现医学图像的图形
用户界面（GUI）的任何监视器、屏幕等。
[0057] C型臂100操作性连接到处理器310。C型臂向处理器310提供X射线成像数据，以创建解剖特征的X射线图像。然后在显示器340上呈现X射线图像。
[0058] 内窥镜200装配有基准物400，基准物400可以在处理器310生成的X射线图像中看到并呈现于显示器340上。基准物400可以采取装配于内窥镜200外表面的对辐射不透明的环的形式。根据一个实施例，基准物400设置于内窥镜200的远端，使得它们将始终处于感兴趣区域，因此处于C型臂100的视场中。这是在X射线图像的帧中被捕获的区域。精确测量（或设置）基准物400之间的距离。
[0059] 图4示出了根据本发明实施例的内窥镜的远端，基准物附着于其上。在图示的实施例中，基准物400是分别在位置a1-a4附着于内窥镜200外表面的一系列环401-404。相对于内窥镜200的远端尖端b，位置a1-a4是已知的。
[0060] 根据各种备选的实施例，基准物可以是能够容易固定到内窥镜的规定数量的珠子、螺旋曲线、闭合曲线（其几何结构部分或完全已知）、或它们的组合。备选地，基准物可以嵌入内窥镜中。基准物400的相对位置是精确确定的或事先已知的。
[0061] 返回到图3，存储器320上编码有程序指令322，可以由处理器310执行程序指令322以处理来自C型臂100的X射线图像。除了用于处理图像以在显示器340上表达的程序指令之外，还提供了指令程序324，其进行姿态恢复以及2D X射线图像与流程之前产生的3D
图像空间的配准。
[0062] 姿态恢复指令程序324包括可以由处理器310执行以利用分割来定位基准物的程序指令326。亦即，基准物位置程序指令326定位基准物在2D X射线图像中的位置。基准物位置程序指令326可以使用适于在X射线图像之内定位高对比度图像
片段的中心的任何分割程序。这些分割程序是本领域公知的，在本申请中将不再进一步描述。基准物位置程序指令326可以是姿态恢复程序324的部分，或可以是可由姿态恢复程序324调用的独立程序或模
块。
[0063] 姿态恢复指令程序324还包括可以由处理器310执行以进行内窥镜200形状的迭代优化的程序指令328。根据本发明的实施例，使用姿态估计以及内窥镜有基准物区域的三维曲线从两个不同姿态进行的二维投影，重建的有基准物功能的内窥镜的三维形状。对姿态估计进行细化并再次重建三维形状。将过程重复固定的迭代次数或直到实现满意的重建。使用这种迭代过程确定相对于彼此的姿态。即确定C型臂从第一X射线姿态到第二X射线姿态的三维平移和三维旋转。在两种C型臂姿态之间保持内窥镜的实际位置恒定，并将所得的X射线图像用作优化过程的输入。
[0064] 图5示出了根据本发明实施例的C型臂重新定位。具体而言，C型臂100的X射线源110被示为在3D空间中相对于内窥镜200处于第一X射线姿态110A和第二X射线姿态110B。X射线源具有六个
自由度：沿X轴、Y轴和Z轴的三个平移（T），以及关于X轴、Y轴和Z轴的三个旋转（R）。将内窥镜200保持稳定，使其对于第一姿态和第二姿态都处于具有相同曲线的相同位置。
[0065] 图6是来自图5中的第一姿态的X射线图像，图7是来自图5中的话第二姿态的X射线图像。X射线图像分别示出了内窥镜三维曲线从第一姿态和第二姿态的视角的二维投影。由于内窥镜200从第一姿态到第二姿态保持稳定，因而X射线图像是内窥镜200的相同三维曲线的投影。
[0066] 假如内窥镜的3D曲线，从第一基准物a1到尖端b，对于两个X射线图像的截图保持相同，则可以使用这一3D曲线的两个2D投影：S1（a1b）和S2（a1b）进行变换矩阵从第一姿态到第二姿态的迭代优化。如前所述，根据一个实施例，进行姿态估计，并利用姿态估计和内窥镜3D曲线的2D投影，重建3D曲线。然后，细化姿态估计，再次重建内窥镜的3D曲线。重复这个迭代过程，直到符合结束条件，例如预定次数的迭代、姿态估计或重建的3D曲线中的
阈值变化。根据一个实施例，姿态估计包括变换矩阵值的估计（X射线源的三个平移和三个旋转）。
[0067] 在另一实施例中，作为先验知识精确确定每对基准物之间的距离，可以使用基准物的对应关系（即，对于两个X射线结果，基准物都在三维空间中的相同点处）进行姿态恢复估计。亦即，可以利用姿态估计和2D投影中的距离计算基准物之间的距离。然后可以将这些计算的距离与预定的实际距离进行比较，并可以细化姿态估计。
[0068] 在又一实施例中，可以使用曲线和基准物的对应关系来进行姿态恢复。基于对极几何和三角测量
算法，如果在2D图像中识别了对应的基准物，就能够恢复拍摄2D图像的两个摄像机姿态（或X射线姿态）之间的相对平移和旋转。如果内窥镜的3D曲线是已知的，优化将会更快更准确地收敛。
[0069] 根据本发明的各个实施例，可以向优化方案增加内窥镜的预定形状（先验形状）、预定的几何约束或它们的组合。先验形状和几何约束可用于改进迭代优化的收敛速度和精确度。根据各实施例，先验形状和几何约束可以由系统用户输入、存储在存储器中或从存储的图像数据（例如手术前CT扫描）来确定。
[0070] 可以从内窥镜定位于特定气道段（例如，在右上叶还是左下叶中，内窥镜的形状会是有区别性的，符合气道的形状）的知识导出先验形状。可以从医学图集或患者的手术前CT扫描获得先验形状。
[0071] 几何约束可以从手术前测量导出，或者可以存储在存储器中，从数据源下载，或以其他方式针对具体内窥镜提供。几何约束可以包括，例如内窥镜的直径、基准物的厚度、延长的
活检针的长度或可以在手术前获得的内窥镜或基准物的任何其他几何性质。
[0072] 图8是根据本发明的实施例的用于在内窥镜流程期间的X射线姿态恢复的方法方框图。尽管以下描述讨述了
肺部气道中的流程，但显然，本发明不限于本范例。相反，可以在任何内窥镜流程期间实践本发明。
[0073] 肺病专家利用处于第一姿态的C型臂驱动具有附接于周边的气道的基准物400的内窥镜200（步骤810）。因为在这个步骤中C型臂保持在相同姿态，所以可以利用荧光检查图像实时跟踪内窥镜。
[0074] 肺病专家让技术人员拍摄第一姿态的X射线图像（步骤820）。因为基准物400定位于内窥镜的远端，所以被定位为拍摄内窥镜远端的X射线图像拍摄了所有基准物。
[0075] 肺病专家将内窥镜200保持稳定，让技术人员移动C型臂，将姿态从第一姿态变为第二姿态（步骤830）。因为内窥镜200保持稳定，所以在第二姿态拍摄的X射线图像中内窥镜200和附着于它的基准物400将在它们在第一姿态拍摄的X射线图像中处于三维空间中相同的位置。
[0076] 肺病专家让技术人员拍摄第二姿态的X射线图像（步骤840）。由于重新定位C型臂导致视角变化，所以在第二姿态中，内窥镜三维曲线的二维投影将是不同的。
[0077] 由处理器310执行利用分割方法的姿态恢复指令程序324中用于定位基准物的程序指令326，以确定在第一姿态下基准物在二维X射线图像中的位置（步骤850）。可以在重新定位C型臂之前任选地执行这个步骤。
[0078] 由处理器310执行利用分割方法的姿态恢复指令程序324中用于定位基准物的程序指令326，以确定在第二姿态下基准物在二维X射线图像中的位置（步骤860）。
[0079] 姿态恢复指令程序324中的迭代优化程序指令328确定从第一姿态到第二姿态的变换矩阵（姿态恢复）（步骤870）。
[0080] 图9是根据本发明的实施例的来自图8的姿态估计迭代优化程序指令的详细流程图（步骤871）。初始化是基于已知信息，例如2D投影图像中基准物的对应关系，对X射线姿态进行的粗略估计。初始姿态估计的形式是从第一姿态的X射线源110的位置和取向到第二姿态的X射线源110的位置和取向的变换矩阵。
[0081] 利用初始姿态估计以及针对第一姿态和第二姿态的每个所确定的基准物的2D投影位置，姿态恢复指令程序324中的迭代优化程序指令328重建内窥镜2D形状（步骤872）。
[0082] 迭代优化程序指令328接收先验形状和几何约束（如果提供了的话）并将它们与计算的3D形状比较（步骤873）。先验形状和几何约束可以由技术人员基于手术前测量输入，或可以从制造数据检索它们，或可以从手术前CT
图像采集它们。例如，可以利用拟合计算优度、最小方差剩余误差估计、逻辑回归等，来将计算的形状和先验形状或几何约束进行比较。
[0083] 迭代优化程序指令328测试迭代优化的收敛（步骤874）。可以将收敛定义为迭代可能收敛的预定次数。在这种情况下，测试会包括迭代计数器以及判断是否达到阈值计数的测试。
[0084] 备选地，可以将收敛定义为3D曲线的拟合阈值优度或与3D曲线的先前迭代的阈值差异、3D空间中基准物的位置或任何其他适当的收敛测试。
[0085] 如果未满足步骤874的收敛测试，那么迭代优化程序指令328细化3D形状（步骤875）。亦即，3D曲线的估计被变为更密切匹配先验形状和/或几何约束。或者，如果未提供先验形状或几何约束，通过进行到达先前的形状的迭代步骤来细化内窥镜曲线的3D形状。
[0086] 迭代优化程序指令328基于细化的内窥镜3D形状做出新的姿态估计（步骤876）。亦即，基于细化的内窥镜3D形状做出变换矩阵新的估计值。
[0087] 如果在步骤874中符合收敛测试，那么迭代优化程序指令328将估计的姿态输出为最终估计姿态（步骤877）。
[0088] 本发明能够采取有形介质上编码的程序指令的形式。这样一来，本发明可以是完全
硬件的实施例、完全
软件的实施例或包含硬件和软件元件的实施例。在示范性实施例中，将本发明实现于软件中，其包括，但不限于
固件、常驻软件、微代码等。
[0089] 此外，本发明可以采取可从计算机可用或计算机可读介质
访问的非易失性计算机程序产品的形式，提供程序代码，供计算机或任何指令执行系统或设备使用或者与其结合使用。出于本说明的目的，计算机可用或计算机可读介质可以是，可以包含或存储由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何装置。
[0090] 可以由包括机器可读介质的程序产品实来现前述方法，机器可读介质具有机器可执行指令程序，在由诸如计算机的机器执行时，该程序执行方法的步骤。这种程序产品可以存储于任何各种已知的机器可读介质上，包括，但不限于光盘、
软盘、USB存储设备等。
[0091] 介质可以是
电子的、磁的、光的、电磁的、红外的或
半导体系统（或设备或设备）。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机盘、随机存取存储器（RAM）、只读存储器（ROM）、硬磁盘和光盘。当前光盘的范例包括光盘–只读存储器（CD-ROM）、光盘–读/写（CD-R/W）和DVD。
[0092] 前面的描述和附图意在进行例示，并非要限制本发明。本发明的范围意在在
权利要求的最大可能范围内涵盖等价变化和配置。
