[0002] 本申请要求于2010年9月10日提交的美国临时
专利申请第61/381,749号的权益，其以此为了所有目的通过引用被并入，如同在本文中完全地提出的一样。
发明领域
[0003] 本发明涉及用于表面下解剖部的可视化(visualization of subsurface anatomy)的系统和方法。更具体地，本发明涉及用于使用两个不同的成像模态的表面下解剖部的可视化的系统和方法。
[0004] 发明背景
[0005] 在手术期间，重要的是，外科医生可以足够地可视化受试者(subject)的解剖部。目前的手术系统被限于受试者的解剖部的实时视觉成像。例如，在
腹腔镜手术中，来自立体视频
内窥镜的图像被提供给外科医生，使得关心的区域可以对外科医生可视化。然而，内窥镜图像不提供患者的表面下解剖部的任何可视化。
[0006] 相似地，用于软组织手术的商业遥控
机器人手术系统通常被限于视觉成像。用于
微创手术的遥控机器人辅助已经在临床实践中被良好地建立。例如，超过1750种TM
机器人手术系统以及多种其他的机器人摄像机操纵器例如AESOP (Intuitive TM
Surgical有限公司)和ENDOASSIST (Prosurgics有限公司)处于临床使用中。在美国，
机器人手术现在是用于正在进行的关键的前列腺
切除术的主要的
治疗方式。机器人手术还在
心脏手术以及复杂的妇科和泌尿外科的手术的领域中广泛应用。机器人手术现在还正在用于肾癌的治疗的部分
肾切除术。
[0007] 因为关键的表面以及手术目标经常位于表面下，所以随着机器人手术获得流行多种可视化技术已经被研究。这包括神经、血管和
肿瘤的可视化。超声已经在之前被用于在机器人手术中提供肿瘤的配准过的可视化，但是超声遭受噪音、差的灵敏度和专一性的损害，并且主要用于
定位深藏于表面下方的大的肿瘤或把仪器引导至它们。超声还提供窄的视场并且需要
接触操纵以获取任何图像。光学相干
断层成像(OCT)也已经被用于成像解剖结构。然而，OCT是数据密集的，具有小的视场和近接触成像，需要大量的测试和计算，并且因此对于对大的视场进行成像是不合适的。
[0008] 此外，当多重的成像模态被使用时，图像典型地作为
画中画图像被显示。然而，难以把这样的信息与主要的内窥镜视图相关联，因为其可能不涉及视觉内窥镜图像中可见的表面。虽然画中画可视化(picture-in-picture visualization)提供相对于单独的视觉内窥镜视图的优点，但是对于人类来说仍然是困难的是解释以非常不同的和无关的视点存在的多重的信息源。
[0009] 虽然用于神经、血管和肿瘤的可视化的工具和标记物已经获得有意义的研究，但是尿道的积分成像尚未得到足够的注意。在改进泌尿外科手术的形势的认知度上，输尿管的可动化(mobilization)是重要的。输尿管手术需要在肾盂输尿管交界处(UPJ)或输尿管膀胱连接部(UVJ)处的可动化和横断。输尿管的可动化提出许多独特的挑战，包括把输尿管从一个或多个向其供应血液的动脉断开连接，导致各种程度的
局部缺血，导致在吻合部中的狭窄。目前的成像模态不提供任何用于在这样的过程期间有效地对表面下输尿管进行成像的手段。
[0010] 据此，在本领域中，需要一种集成成像系统，用于泌尿系统的可视化的实时多模
图像配准。此外，在本领域中，需要整合
计算机视觉方法，以精确地分割和追踪解剖学信息，例如输尿管和肾收集系统。最后，在本领域中，需要表面图像和表面下图像之间的精确的配准，以创建增强手术认知度以使关键的输尿管任务更容易的融合的可视化。
[0011] 概述
[0012] 根据本发明的第一方面，用于被包含在可见表面下方的解剖结构的可视化的方法包括：使用第一摄像机获得关心的区域的第一图像；使用第一摄像机的第二通道或第二摄像机获得关心的区域的第二图像，第二摄像机和第一摄像机的第二通道能够在紫外
光谱、可见光谱或红外光谱中对表面下方的解剖部进行成像，第一图像和第二图像含有被共享的解剖结构；进行在第一图像和第二图像之间的配准；以及生成配准过的可视化。
[0013] 根据本发明的第二方面，用于被包含在可见表面下方的解剖结构的可视化的集成手术系统包括：第一摄像机，其用于获得关心的区域的第一图像；第一摄像机的第二通道或第二摄像机，其用于获得关心的区域的第二图像，第二摄像机和第一摄像机的第二通道能够在紫外光谱、可见光谱或红外光谱中对表面下方的解剖部进行成像，其中第一图像和第二图像含有被共享的解剖结构。
数据处理器被配置为用于计算第一摄像机对第二摄像机或第一摄像机的第二通道的配准，并且可视界面被设置为显示配准过的可视化。
[0015] 附图提供可见的表现形式，可见的表现形式将被用于更完全地描述本文公开的代表性的实施方案并且可以被本领域的技术人员用于更好地理解它们和它们的固有的优点。在这些附图中，相似的参考数字标识相应的单元，并且：
[0016] 图1是根据本发明的特征的示例性的成像系统的示意图。
[0017] 图2是根据本发明的特征的示例性的方法的示意图。
[0018] 图3是根据本发明的特征的示例性的方法的示意图。
[0019] 图4是根据本发明的特征的示例性的方法的示意图。
[0020] 图5是根据本发明的特征的
近红外图像对
立体内窥镜图像的配准过的
叠加的照片。
[0021] 优选的实施方案的详细描述
[0022] 现在将在下文参照附图更完全地描述现在公开的主题内容，在附图中，本发明的某些而非所有的实施方案被示出。现在公开的主题内容可以被以许多不同的形式实施并且不应当被解释为限于本文提出的实施方案；而是这些实施方案被提供，以使得本公开内容将满足适用的法定要求。实际上，本文提出的现在公开的主题内容的许多
修改和其他的实施方案将被现在公开的主题内容涉及的领域的技术人员想到，其具有在上文的
说明书和相关联的附图中提出的教导内容的权益。因此，将理解，现在公开的主题内容不限于所公开的具体的实施方案，并且修改和其他的实施方案意图被包含在所附的
权利要求的范围内。
[0023] 本发明涉及用于在任何类型的手术程序期间的表面下解剖部的可视化的系统和方法，所述手术包括但不限于腹腔镜手术、机器人手术和其他的微创手术以及开放手术(open surgery)。本发明允许从关心的区域的两个源成像。在以下的实施方案中，给出两源
实施例。然而，本发明可以利用图像的多于两个源。第一源获得关心的区域的第一图像，并且第二源使用能够对表面下方的解剖部进行成像的第一摄像机的第二通道或第二摄像机获得关心的区域的第二图像，其中第一图像和第二图像含有被共享的解剖结构。配准在第一图像和第二图像之间进行，使得配准过的可视化可以被生成。虽然本发明的示例性的实施方案主要地在机器人手术系统的内容中描述，但是应当理解，本发明的系统和方法适用于其他的手术平台，例如徒手(freehand)腹腔镜手术和其他的微创手术以及开放手术。
[0024] 参照图1，本发明的系统和方法参照示例性的机器人手术系统2被描述。可以结合有本发明的可视化的方法和系统的机器人手术系统的一个实例是由加利福尼亚州的山景城的Intuitive Surgical，Inc.制造的 系统。如本领域中已知的，机器人手术系统2包括了包含外科医生控制台的主控制站4。外科医生控制台优选地包括一对主操纵器和一个显示器，其允许外科医生察看3维自动化立体图像以及操纵一个或多个从属站。除了3维自动化立体成像之外，显示器还允许多重视频源的同时可视化。
[0025] 机器人手术系统2可以包括任何数量的从属站，包括但不限于用于容纳立体内窥镜
视野(stereo endoscopic vision)以及计算设备的视觉推车6以及具有一个或多个患者侧操纵器10的患者推车8。如本领域中已知的，范围广泛的可容易移除的手术仪器可以被附接于患者推车8的患者侧操纵器10，其响应于在外科医生控制台处的主操纵器的移动而移动。此外，应当理解，根据本发明的特征的机器人手术系统可以包括一个或多个主操纵器、以及任何数量的从属操纵器，如本领域中已知的。
[0026] 当进行手术时，本发明的系统和方法允许表面下解剖部的更综合性的可视化。在机器人手术的背景下，第一摄像机12可以被附接于患者推车8的患者侧操纵器。优选地，第一摄像机12是能够对关心的区域的表面进行成像的立体内窥镜摄像机。然而，应当理解，第一摄像机12可以是任何类型的能够对关心的区域的表面进行成像的摄像机。在机器人手术的背景下，被内窥镜12获取的图像可以被显示在外科医生控制台的自动化立体显示器上，以由此在手术期间指导外科医生。图像还可以被引导至视觉推车6，以允许在其上的显示。
[0027] 在腹腔镜手术的背景下，第一摄像机12可以被设置在一个口内，并且第二摄像机20可以被设置在另一个口内。第一摄像机12获得第一图像，并且第二摄像机20获得第二图像，其中每个第一图像和第二图像含有被共享的解剖结构。第二摄像机20能够在紫外光谱、可见光谱或红外光谱中对表面下方的解剖部进行成像。配准被在第一图像和第二图像之间进行，这生成配准过的可视化。相似地，在开放手术中，第一摄像机12和第二摄像机20应当被设置为使得从第一摄像机12和第二摄像机20获得的第一图像和第二图像含有被共享的解剖结构。然后图像被处理和配准以生成配准过的可视化。
[0028] 然而，应当理解，第一摄像机可以包括在其中察看不同的类型的图像的两个通道。以这种方式，第一通道将是可操作的，以获得关心的区域的第一图像，并且第一摄像机的第二通道将能够在紫外光谱、可见光谱或红外光谱中对表面下方的解剖部进行成像，以获得关心的区域的第二图像。
[0029] 根据本发明的特征，被第一摄像机12获取的图像必须被进一步处理，以启用根据本发明的特征的配准过的可视化。特别地，从第一摄像机12获得的图像优选地被发送至工作站14。工作站14包括用于进行根据本发明的特征的可视化的数据处理器16或
计算机系统。数据处理器包括
存储器设备18，该存储器设备具有带有机器可读指令的程序，其用于进行必需的
算法以生成根据本发明的特征的可视化。工作站14可以是独立的计算机系统或可以被结合到现有的
软件中。例如，在机器人手术的背景下，数据处理器14可以被结合到现有的用于 手术系统的软件中。
[0030] 除了从内窥镜摄像机和类似物生成的传统的图像之外，类似于摄像机的第二摄像机20(或第一摄像机的第二通道)被提供，以用于表面下解剖部的成像。优选地，第二摄像机20(或第一摄像机的第二通道)能够在紫外光谱、可见光谱和红外光谱中对表面下方的解剖部进行成像。在本示例性的实施方案中，第二摄像机或第一摄像机的第二通道是近红外成像器(NIR)。NIR图像提供来自不同的视图的位于表面略微下方的解剖部特征(例如输尿管和收集系统)。近红外(NIR)
荧光成像可以捕获在内窥镜可见光成像中不可见的其他的相关的解剖部。荧光在荧光团衰减并且发射NIR
光子时发生，这然后可以被取样和可视化。NIR成像已经被用于对尿道进行可视化以用于尿中的新陈代谢的表征以及膀胱癌的检测。然而，其他的类型的摄像机可以被使用，例如IR(红外)成像器、远红外成像器(FIR)和类似物。
[0031] 相似于来自第一摄像机12的图像，来自第二摄像机20(或第一摄像机的第二通道)的图像优选地被发送至工作站14，并且在其中被处理。如上文描述的，存储器设备18包括机器可读指令，用于进行必需的算法以用于生成根据本发明的特征的可视化。
[0032] 对于 机器人手术系统来说，其操纵器的移动的流测量(streaming measurement)是可能的。特别地，应用程序
接口(API)提供对移动矢量的透明
访问，包括
关节角度和速度、直角坐标
位置和速度、夹具角度以及关节转矩数据。 机器人手术系统还可以包括当前的立体内窥镜摄像机
姿态、以及摄像机姿态的变化。API可以被配置为使得以各种速率(高至100Hz)流动，以提供比视频获取速率更好的操纵数据。API提供可用于内窥镜图像对表面下图像的配准的数据。
[0033] 如在图1中汇总的，来自第一摄像机12和第二摄像机20(或第一摄像机的第二通道)的图像优选地经过以下的步骤：图像获取、分割和预处理、配准、以及可视化和交互，其将在下文更详细地描述。在图像获取之前，第一摄像机12和第二摄像机20(或第一摄像机的第二通道)优选地被校准以识别固有的和外部的摄像机参数。校准是简单的过程并且每当在具有光学链的重配置时可以被重复。例如，摄像机可以使用用于MATLAB的摄像机校准工具箱被校准。
[0034] 一旦摄像机被校准，那么图像被从第一摄像机12和第二摄像机20(或第一摄像机的第二通道)获取。参照图2，关心的区域的第一图像22使用第一摄像机获得，并且关心的区域的第二图像24使用第二摄像机(或第一摄像机的第二通道)获得。第一图像22作为从内窥镜取得的立体图像被示出并且第二图像24作为从IR摄像机取得的单一图像被示出。然而，应当理解，第一图像22可以是立体或单一图像，并且第二图像24可以是立体或单一图像。此外，其他的类型的图像是可能的，并且在本发明的范围内。
[0035] 一旦第一图像和第二图像被获取，那么图像被处理使得它们可以被向彼此配准。根据示例性的实施方案的特征，第一图像22和第二图像24使用之前计算出的校准参数被矫正。矫正过的图像中的相应的特征然后被用于找到每个基准点在相应的
图像空间中的3维位置，即在内窥镜视图中的3维点以及在表面下视图中的3维或2维位置。
[0036] 一旦立体图像中的3维位置和NIR成像器中的图像特征之间的对应被建立，那么齐次方程AX＝XB被解出以获得配准基准和相应的成像器之间的配准变换T＝(R，p)。T
考虑到两个变换Ti＝(Ri，pi)，两个成像器之间的配准通过各个变换的合适的合成(RiRj，T
pi-Ri，Rjpj)被获得。配准然后允许待被创建的图像的叠加、画中画可视化或融合。虽然图像平面之间的刚性配准在此被描述，但是该方法同等地适用于采用从摄像机图像(或相关联的外科手术前CT/MR图像数据)提取的表面和体积的非刚性2D-2D、2D-3D和3D-3D配准方法。在这样的情况下，分别的配准将在第一摄像机和对表面下解剖部进行可视化的第二摄像机之间以及在第二摄像机和外科手术前影像之间进行。这将建立在三个空间之间的可以被实时地更新的配准，而没有任何基于接触的/侵入的/
辐射的成像。交互的、基于界标(landmark)的以及自动化的配准方法全部同等地适用于建立用于这样的配准的特征点。
[0037] 在配准方法被进行之后，第二图像24被叠加在第一图像22的顶部，由此创建融合叠加部26。这创建表面下解剖部的可视化，其对于单独的内窥镜是不可能的。即，配准过的可视化融合第一图像和第二图像以创建单个视图。叠加部提供关于解剖部的结构的重要信息，其从通过内窥镜获得的表面图像是不可见的。虽然叠加部26被示出，但是画中画可视化和类似物是可能的并且在本发明的范围内。
[0038] 优选地，配准被实时地进行并且当第一摄像机或第二摄像机的位置有变化时被更新。然而，应当理解，在一个摄像机被移除之后或如果摄像机由于发荧光的标记物被排出而不再生成良好的图像，使用收集的图像的配准可以被保持。这通过依赖于被存储在数据处理器中的之前的图像来实现，并且不依赖于来自不起作用的摄像机的实时图像。
[0039] 参照图3，图示了使用来自第一摄像机和第二摄像机(或第一摄像机的第二通道)的立体图像的示例性的配准方法的细节。特别地，图示了基于特征的配准方法，其涉及每个待被配准的图像的相应的特征的提取。这些特征包括但不限于
颜色、边缘、角落、纹路或更稳健的特征(more robust feature)，其然后被用于计算两个图像之间的变换。优选地，对于照亮的变化稳健的并且在第一摄像机成像范围和第二摄像机成像范围二者中可用以匹配动态
手术环境的特征被选择。这样的特征包括空间的和基本的加权过的特征以及位于解剖学界标中的梯度特征。探测到的特征可以使用标准方法例如差方和(SSD)方法被追踪。在矫正过的
立体像对中，特征对应可以然后使用图像相似性度量例如归一化交对比(NCC)、差方和(SSD)或零平均SSD被计算。在用于立体像对中的特征的图像坐标之间的绘图(
视差图)然后作为过度约束线性系统(over-constrained linear system)被公式化并且解出。然而，虽然基于特征的配准方法参照本发明的示例性的实施方案被主要地描述，但是应当理解，任何类型的配准是可能的，包括基于面积的配准，如由Zitova等人，“Image registration methods：a survey”，Image and Vision Computing，21(11)：977-1000(2003)更完全地描述的，其全部公开内容通过引用并入本文。
[0040] 此外，还应当理解，配准方法可以计算单个刚性的同质变换或将来自两个图像源的两个重构的表面对准的可形变的绘图(deformable map)。当应用刚性配准时，配准是在第一图像和第二图像的图像平面之间。当第一图像是立体图像并且第二图像是立体图像时，配准可以是以平面几何学的方式。当应用可形变配准时，配准过的2D-3D或3D-3D点之间的关系允许用于可视化的表面下图像的形变。据此，可形变配准可以在从立体图像创建的表现形式之间进行。如本领域中已知的，可形变配准可以使用表面、体积和类似物。
[0041] 根据本示例性的实施方案，在关心的区域中的基准标记物30上的点被用于配准两个图像。在手术期间，基准标记物30可以是被放置到表面下解剖部上的目标(object)，如本领域中已知的。此外，基准标记物30可以是虚拟的，例如通过使用结构光系统。此外，基准标记物可以是解剖学界标。在这点上，解剖学界标可以被交互地注释或标记。可选择地，解剖学界标中的仅某些可以被交互地注释或标记，而其余的配准被自动地进行(例如使用诸如SIFT或SURF的方法)。此外，配准可以是完全地自动的，使用诸如SIFT或SURF的方法。
[0042] 参照图4，图示了示例性的根据本发明的特征的配准方法。配准方法以内窥镜(第一摄像机)和NIR成像器(第二摄像机或第一摄像机的第二通道)为特征。然而，如上文描述的，多种其他的成像模态可以被用于第一摄像机和第二摄像机或第一摄像机的第二通道。在步骤100，立体图像从内窥镜和NIR成像器获取。在步骤102中，每个像对使用之前计算出的校准参数被矫正。在步骤104，相应的特征点被设置在每个对中。根据示例性的方法，至少六个特征点被检测到。然而，更少的或更多的特征点可以根据应用和设计偏好被选择。
[0043] 在步骤106，用于内窥镜图像的3维点优选地使用摄像机参数由所选择的特征点被生成，并且用于表面下图像的3维点由表面下图像的所选择的特征点被生成。然而，如上文描述的，应当理解，表面下图像可以是单一图像，其可以被用于生成用于表面下图像的2维点。
[0044] 在步骤108，所述内窥镜图像的所选择的特征点使用上文描述的配准变换对NIR图像的所选择的特征点被配准。在步骤110，配准被用于生成两个图像的叠加或画中画可视化，其可以然后使用任何移动被更新。可视化然后被显示在可视界面上。
[0045] 在机器人手术的背景下，可视化优选地被显示在外科医生控制台上，或在视觉推车6或患者推车8上的显示器上(图1)。在腹腔镜手术的背景下，可视界面可以是被设置为毗邻于外科医生的显示器。以这种方式，可视化被用作手术中显示(intra-operative display)。此外，可视化可以生成分别的配准过的图像(画中画可视化)并且可视界面可以是多视图显示(multi-view display)。然而，任何多种类型的显示和配准是可能的，取决于应用和设计偏好。
[0046] 此外，外科医生还可以以另一种“masters as mice”模式操纵图像，其中主操纵器被从从属操纵器脱耦合，并且被用作3D输入设备以在3D环境中操纵图形目标。例如，外科医生可以把叠加部移动至视野的不同的区，使得其不阻碍重要的解剖部的察看。见例如美国专利公布第2009/0036902号，其整个内容通过引用并入本文。
[0047] 据此，本发明提供集成的手术系统和方法，其允许患者的表面下解剖部的从两个分离的成像源的配准过的可视化，使得患者的表面下解剖在手术程序期间被更精确地可视化。这种技术将是对于输尿管可动化以及其他的高灵敏度的操作的复杂性来说大有益处。实施例
[0048] 以下的实施例已经被包括，以向本领域的技术人员提供用于实践现在公开的主题内容的代表性的实施方案的指导。根据本公开内容和本领域的技术的一般
水平，本领域的技术人员可以意识到，以下的实施例意图是仅示例性的，并且多种改变、修改和变化可以被采用，而不偏离现在公开的主题内容的范围。以下的实施例以例证的方式而非限制的方式被提供。
[0049] 实施例1
[0050] 使用含有模拟膀胱和输尿管以及适合于NIR和立体内窥镜成像二者的非临床
化学发光剂的无毒弹道凝胶
假体(ballistic gel phantom)，用于使用 机器人手术系统的工程验证。在第一实验中，把假体和NIR成像器放置在具有内窥镜口的躯干模型中，以收集单一和立体NIR视频以及立体内窥镜视频。构建定制的立体红外成像器
原型，其具有由位于加利福尼亚州的
门洛帕克的Videre Design供应的两个摄像机。
[0051] 使用原型成像器，可用的配准精确度使用至少6个特征被获得(小于立体图像空间中的6个
像素)。该平均RMS误差当使用14个特征点时下降至低于3个像素(最多4.93个像素)。表格1包括代表性的基准配准误差。
[0052] 表格1
[0053] 使用14个基准的基准配准误差
[0054]基准 均方根误差
1 2.98
2 2.51
3 1.94
4 3.40
5 0.76
6 1.64
7 1.27
8 1.45
9 3.76
10 1.68
11 3.95
12 3.75
13 3.49
14 4.93
平均 2.67
[0055] 实施例2
[0056] 在一只30-40kg的雌性猪模型上进行初始预临床实验，该猪模型已经通过
耳部静脉被注射Genhance-7501.5mg/kg，具有相似于人类肾的短髓袢肾单位和尿运输特征。使用原型光动
力眼(prototype photodynamic eye，Hamamatsu PDE)进行NIR成像，连同获取TMDAVINCI 立体内窥镜视频。使用14个特征点进行配准，平均RMS误差为2.67个像素。图
5示出了NIR图像在内窥镜图像上的配准过的图像叠加。如图5中所示的，表面下输尿管在叠加过的图片中更强烈地可见，增强了手术认知度并且使关键的输尿管任务例如输尿管的可动化更容易。
[0057] 虽然已经参照其优选实施方案描述了本发明，但是本领域的技术人员将意识到，可以作出未具体地描述的增加、删除、修改和代替，而不偏离本发明的如在所附的权利要求中限定的精神和范围。
