[0002] 本申请要求于2014年4月4日提交并且以引用的方式并入本文中的美国临时申请序列号61/975,330的权益。
[0003] 背景
[0004] 本申请大体上涉及一种用于在外科手术环境中显示外科手术过程以帮助外科手术的系统和方法。更具体地说，本申请涉及一种通过在外科手术过程期间将组织动
力学模型联接到患者特定图像来将实际外科手术患者的静态/静止医疗图像转
化成与医疗工具(例如像外科手术工具、探针和/或可植入医疗装置)交互作用的动态和交互式图像的系统和方法。与医疗工具的交互作用已经实现接近警告，所述接近警告是用于提供工具接近特定解剖结构的连续指示和警告的机制。
[0005] 外科医生缺乏将向其提供外科手术患者的真实视觉图像的外科手术工具，其中真实物理组织性质与医疗工具(例如像外科手术工具、探针和/或可植入医疗装置)一起显示在3d显示器中。一种外科手术工具，其包括：(i)患者特定外科手术区域(例如，
动脉瘤)的真实的“逼真的”2D和/或3D显示；(ii)对局部患者特定外科手术区域几何形状和物理性质的建模；(iii)
接口，其使得能够操纵患者特定外科手术模型区域并且显示诸如切割、转移和夹紧的外科手术动作；以及(iv)接口，其向外科医生提供反馈提示并且给出实时3d导航，所述3d导航提供工具接近特定解剖结构的警告。
[0006] 概述
[0007] 大体提供用于通过将组织动力学和工具特性的模型联接到患者特定图像来将特定患者的医疗图像转化成与包括医疗装置的医疗工具交互作用的高
分辨率3D动态和交互式图像以便以准确和动态的方式模拟医疗过程的示例性系统和方法。所述方法包括用于添加和/或调整动态组织图像的工具和在所述动态组织图像上绘制和添加几何形状的能力。所述系统导入3D外科手术计划(开颅术、头
位置、入路等)。外科医生建立多个视图，旋转导航图像并且与导航图像交互作用来看到病变后面和关键结构。外科医生可使得诸如
肿瘤、血管和组织的结构透明从而改善
可视化并且能够看到病变后面。所述系统可关于工具接近特定解剖结构做出警告。
[0008] 另外是多个示例性实施方案，包括但不限于一种用于对特定患者执行医疗过程的建模系统，其包括：显示器；图像生成器，所述图像生成器包括在
计算机系统上执行的专用
软件用于生成动态组织图像以便在所述显示器上显示，所述生成用于在所述显示器上显示真实地表示特定患者的对应实际
生物组织的组织；用户工具生成器，所述用户工具生成器包括在计算机系统上执行的专用软件用于生成用户工具的工具模型用于通过由用户输入提供的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；以及计算机系统的用户接口，所述用户接口被配置用于允许用户通过添加或
修改所述组织的特征来调整在所述显示器上显示的动态组织图像以便帮助外科手术操作。建模系统被配置用于在对特定患者的医疗过程期间在
手术室中使用。
[0009] 进一步提供了用于执行外科手术过程的建模系统，其包括：
触摸屏显示器；
数据库，所述数据库用于存储不同器官和/或组织的多个模型的库，其中所述数据库还被配置用于存储特定患者的医疗图像，其中所述建模系统被配置用于通过使用患者医疗图像为特定患者创建模型来在所述外科手术过程之前建立支持所述过程的病例；用户接口，所述用户接口用于从多个此类病例中选择所述病例以便加载在所述建模系统中；图像生成器，所述图像生成器包括在计算机系统上执行的专用软件用于基于所述选择的病例生成动态组织图像以便在所述显示器上显示，所述生成用于在所述显示器上显示真实地表示特定患者的对应实际生物组织的组织；用户工具生成器，所述用户工具生成器包括在计算机系统上执行的专用软件用于生成用户工具的工具模型用于通过由用户输入提供的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；计算机系统的用户接口，所述用户接口被配置用于从用户接收输入来通过所述触摸屏显示器配置建模系统；以及接口，所述接口连接到存在于手术室中的外部外科手术系统或工具的接口以便从外部外科手术系统或工具接收数据用于生成所述动态组织图像以便显示与所述外部外科手术系统或工具的操作一致。
[0010] 以上的建模系统可被配置用于在对特定患者的外科手术期间在手术室中使用。
[0011] 另外提供了使用建模系统(诸如本文所描述的)来支持医疗过程的方法，其包括以下步骤：
[0012] 提供被配置用于手术室中的计算机系统；
[0013] 提供连接到所述计算机系统的显示器；
[0014] 获得关于特定患者的生物组织的患者图像信息以便存储在所述计算机系统中；
[0015] 使用在计算机系统上执行的专用软件生成特定患者的生物组织的
动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示特定患者的对应实际组织；
[0016] 使用所述计算机系统生成用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
[0017] 使用所述计算机系统的用户输入通过添加或修改用于显示的所述组织的特征来调整在所述显示器上显示的动态组织图像以便调整位于特定患者的实际生物组织中的解剖结构；以及
[0018] 使用计算机系统生成对特定患者执行的外科手术过程的至少一部分的真实模拟以便在所述显示器上显示，示出根据用户的输入动态组织图像与用户工具模型之间的交互作用。
[0019] 另外提供了使用建模系统(诸如本文所描述的)来支持医疗过程的方法，其包括以下步骤：
[0020] 提供被配置用于手术室中的计算机系统；
[0021] 提供连接到所述计算机系统的
3D显示器；
[0022] 获得关于特定患者的生物组织的患者图像信息；
[0023] 通过使用被配置用于生成特定患者的生物组织的动态图像的患者医疗图像为特定患者创建模型来在所述外科手术之前建立支持所述外科手术的病例；
[0024] 使用在计算机系统上执行的专用软件、使用所述病例生成特定患者的生物组织的动态图像以便在所述显示器上显示，所述生成使用所述患者图像信息以使得所述动态组织图像在所述显示器上被显示为真实地表示特定患者的对应实际组织；
[0025] 使用所述计算机系统生成用户工具模型用于通过由用户输入的操纵与所述动态组织图像动态地交互作用以便在所述显示器上显示；
[0026] 使用所述计算机系统的用户输入通过添加或修改用于显示的所述组织的特征来调整在所述显示器上显示的动态组织图像以便调整位于特定患者的实际生物组织中的解剖结构；
[0027] 使用计算机系统生成对特定患者执行的外科手术过程的至少一部分的真实模拟以便在所述显示器上显示，示出根据用户的输入动态组织图像与用户工具模型之间的交互作用；
[0028] 从在外科手术期间使用的外部外科手术系统接收数据，所述数据由所述模拟工具使用来确保生物组织的所述动态图像与外部外科手术系统的操作一致；以及
[0029] 提供警告用户关于一个或多个外科手术工具接近患者的特定解剖结构的能力。
[0030] 本
发明还提供另外的示例性实施方案，下文更详细地描述这些另外的实施方案中的一些但不是全部
[0032] 通过阅读以下说明并参考附图，本发明所涉及领域的技术人员将清楚本文所述的本发明的实例的特征和优点，其中：
[0033] 图1是示出用于使用本文公开的SNAP外科手术工具的示例性系统结构和接口的
框图；
[0034] 图1A是示出用于移动车实施方案的示例性SNAP工具部件的框图；
[0035] 图1B是用于移动车实施方案的示例性SNAP工具部件的图形表示；
[0036] 图1C是示出用于示例性SNAP移动护理实施方案的示例性软件接口的框图；
[0037] 图2-图11和图12-图18是用于示例性SNAP工具的示例性显示和/或控制接口的屏幕截图；并且
[0038] 图11A是示出使用SNAP工具用于组合不同分割的组织数据集的示例性融合处理流
水线方法的框图。
[0039] 示例性实施方案的详述
[0040] 本文使用的术语只用于描述示例性实施方案的目的，而不是意图成为限制。如本文所用，除非上下文另外明确说明，否则单数形式“一(a/an)”和“所述(the)”意欲也包括复数形式。将进一步理解，术语“包括(comprises)”和/或“包括(comprising)、(including)、(having)、(containing)”在用于本
说明书中时，规定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组。
[0041] 本申请并入有在2013年9月30日提交的美国
专利申请序列号14/008,917和在2013年5月24日提交的PCT申请序号列PCT/US13/42654的所有教义，所述教义提供用于本文中论述的改善的设计信息。
[0042] 所公开示例性外科手术图形工具(SNAP)与手术室技术整合以便提供先进的3D能力和
增强现实，允许外科医生增强其外科手术执行和提前准备。例如，除其他用途外，SNAP工具给神经外科医生提供
虚拟现实引导以确定移除脑肿瘤和
治疗血管病变的最安全和最有效途径。
[0043] SNAP导入开颅术、头位置、到病变的路径入路的3D计划，例如用于
锁孔和其他微创技术。SNAP允许外科医生提前看到预期的外科医生眼视图。
[0044] 利用SNAP工具，外科医生可在手术室中利用特定患者的实际CT/MRI(及其他)扫描的同时执行其外科手术计划，允许增强的准确度和效率。SNAP还提供允许外科医生以可旋转3D形式看到后面的动脉和其他关键结构的创新特征，所述可旋转3D形式可被修改来使图像对外科医生更有用。例如，SNAP提供旋转图像或使半透明的能力以便帮助外科医生可视化操作。SNAP利用允许外科医生执行“患者专用”外科手术的现实“穿越”的先进成像技术。工具提供手术室外的准备支持并且还可用于采取预先计划的路径进入外科医生(及其工作人员)在过程期间待使用的手术室自身。
[0045] SNAP通过连接至OR术中
跟踪导航系统获得外科手术工具、导航探针、
显微镜焦点等的跟踪坐标。SNAP提供使增强的情景意识减弱的3D导航模式。SNAP可从这些外科手术工具中的任一个接收图像或跟踪/导航信息，所述外科手术工具被配置来收集此类信息，并且此类信息可由SNAP系统使用来致使高分辨率图像显示给外科医生以对应于所接收信息。例如，SNAP图像可跟踪工具在所显示图像中的位置，或者基于由例如工具提供的视觉信息更新图像。
[0046] SNAP接近警告系统的操作方式类似于
近地警告系统(GPWS)和
机载防撞系统(ACAS)、地面防撞系统(TCAS)以及飞机中的指示和警告机组人员接近和/可能致使接近地面和其他障碍物的机动的其他类似系统。SNAP接近警告系统操作包括以下主要阶段：
[0047] -SNAP接近警告系统可自动地标记外科医生需要避开的解剖结构。此类解剖结构可包括
纤维轨迹、神经、血管、动脉等。
[0048] -SNAP接近警告系统允许将标记手动放置在3D或2D导航场景中。这些标记可标记障碍物和解剖结构以便避开或标记出外科医生将导航到的目标。被放置的每个标记可被标示，具有特定
颜色、特定形状等。
[0049] -SNAP接近警告系统的警告的指示可以是视觉的(例如，颜色变化)、声音的(声音)和其他。
[0050] -SNAP可允许创建轨迹。通过标记进入点并随后将此进入点与上方标记/目标相关联，SNAP创建允许从进入点导航到所述目标的轨迹。
[0051] -SNAP路径计划器允许连接若干标记、目标以及进入点并且创建路径。可创建多个路径。路径可以是要遵循的所需路线或者要避开的路径。
[0052] -类似于飞机仪表着陆系统(ILS)，SNAP向外科医生提供视觉图形引导。只要外科医生将其移动维持在引导的标记内，他就将准确地从点A到点B(从进入点到目标)。
[0053] 工具给机构(例如，医院)及其各自外科医生提供减少外科手术失误、降低外科手术浪费和相关成本的量、减少手术室时间并且使过程的高
风险性最小化的机会。工具提供维持神经外科培训的高
质量的机会和在手术室外进行教学的机会：外科手术技能的Halstedian培训依赖于大量的、多种病例以及在医院中的几乎无尽的驻留时间。近期发展已迫使反思Halstedian系统。关于Halstedian系统的近期众多压力包括：受限的工作时数、提高的群众监督以及手术经验的减少。
[0054] 使用工具的训练可减少对后续过程和调整的需要。例如，当工具用于动脉瘤手术时，使用所述工具可减少调整或更换动脉瘤夹具的需要。夹具的调整和更换可通常导致延长的临时阻塞和整体较长的过程时间。这会增加整体过程风险。
[0055] 本领域的技术人员应理解，本文所公开的示例性实施方案可被实现为或者可大体使用方法、系统、
计算机程序产品或前述组合。因此，实施方案中的任一个可采用以下形式：完全
硬件实施方案、用于硬件上的执行的完全软件实施方案(包括
固件、常驻软件、微代码等)或者组合本文可大体称为“系统”的软件方面和硬件方面的实施方案。此外,实施方案中的任一个可采用以下形式:位于具有在介质上体现的计算机可用程序代码的计算机可用存储介质上的计算机程序产品。
[0056] 例如，本文公开的特征可使用如图1所示的设置在医院环境(诸如手术室)中的联网计算机系统1实现。此系统可设置在外科手术环境中，其中外科医生20由各个外科手术工作人员22支持对患者5进行操作。这种系统1整合一个或多个
服务器(例如，PC)10A-10n，所述服务器从使用
计算机网络12一起联网的一个或多个数据库15A-15n
访问数据。系统将执行提供来实现本文描述的功能和其他特征的专有软件。一个或多个计算机20可用于与各种外科手术工具，诸如外科手术探针/摄像机32、其他外科手术工具34和/或连接到计算机20的其他设备36对接，所述对接使用作为计算机18与工具之间的接口的一个或多个计算机总线或网络30。应注意，在一些情况中，计算机18、服务器10以及数据库15可全被容纳在单个服务器平台中。
[0057] 系统连接到高分辨率3D显示器40，在所述显示器40上，外科医生可监测各个工具32、34以及36的操作和活动。在一些情况下，显示器可能不具有3D能力。
[0058] 系统被配置为具有包括患者成像细节的患者特定参数7和其他信息，所述患者成像细节包括来自先前获取的患者可用CT和MRI图像的图像准备，所述其他信息关于模拟模型，诸如患者年龄、性别等(这些信息中的部分或全部可从例如像医疗数据库、实验室或其他源的外部实体获取)。系统使用从系统数据库获取的描述组织和器官特征的组织信息参数。系统可被配置来在需要的情况下通过诸如互联网的通信网络50与一个或多个外部实体60交互作用。
[0059] 任何合适的计算机可用(计算机可读)介质可被用于存储用于在一个或多个计算机上执行的软件，以便实现公开的处理并存储公开的数据和信息。计算机可用或计算机可读介质可以是(例如但不局限于)电、磁、光学、电磁、红外或
半导体系统、设备、装置或传播介质。计算机可读介质的更具体实例(并非详尽清单)将包括以下：具有一根或多根
导线的电连接、有形介质诸如便携式计算机
软盘、
硬盘、随机存取
存储器(RAM)、
只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、压缩光盘只读存储器(CDROM)或其他有形的光学或
磁性存储装置；或传输介质诸如支持互联网或内联网的介质。应注意计算机可用或计算机可读介质甚至可包括另一介质，从所述另一介质可通过例如光学或磁性扫描来
电子地获取程序随后编译、解译或者如有必要以其他合适的方式处理，并且随后存储在任何可接受类型的计算机存储器中。
[0060] 在本文档的上下文中，计算机可用或计算机可读介质可以是可包含、存储、通信、传播或传输程序以便由指令执行系统、平台、设备或装置使用或与指令执行系统、平台、设备或装置组合使用的任何介质，所述指令执行系统、平台、设备或装置可包括任何合适的计算机(或计算机系统)，所述任何合适的计算机包括一个或多个可编程或专用处理器/
控制器。计算机可用介质可包括处于基带中或作为载波一部分的传播数据
信号，其中实施有计算机可用程序代码。可使用任何适当介质，包括但不限于互联网、电线、光纤
电缆、射频(RF)或其他手段来传输计算机可用程序代码。
[0061] 用于进行示例性实施方案操作的计算机程序代码可由常规手段使用任何计算机语言编写，所述计算机语言包括但不限于解译或事件驱动语言诸如BASIC、Lisp、VBA或VBScript，或GUI实施方案诸如visual basic，编译的编程语言诸如FORTRAN、COBOL或Pascal，面向对象、脚本或非脚本编程语言诸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等，
人工智能语言诸如Prolog，实时嵌入式语言诸如Ada，或甚至使用阶梯逻辑的更直接或简化的编程，汇编程序语言，或使用适当的机器语言的直接编程。
[0062] 计算机程序指令可被存储或以其他方式加载在计算机可读介质存储器中，所述存储器可引导计算装置或系统(诸如由图1的示例性系统1所描述)，或其他可编程
数据处理设备，以便以特定方式起作用，使得存储在计算机可读存储器中的指令产生制品，所述制品包括实现本文所
指定的功能/作用的指令手段。
[0063]
软件包括通过提供给执行装置或部件而被执行的专用计算机程序指令，所述执行装置或部件可包括通用计算机、专用计算机或控制器或其他可编程数据处理设备或部件、本文所描述的定制器件的处理器，使得专用计算机程序的指令在被执行时创建用于实现本文所指定的功能/作用的手段。因此，定制软件的计算机程序指令用于致使将在执行装置或部件或者其他可编程设备上执行的一系列操作产生计算机实现的处理，使得指令在计算机或其他可编程设备上执行用于实现本公开指定的功能/作用的步骤。这些步骤或动作可与操作员或人类实现的步骤或动作以及由其他部件或设备提供的步骤或动作组合以便进行任何数量的本发明的示例性实施方案。根据需要，定制的软件还可使用各种可商购软件，诸如计算机
操作系统、数据库平台(例如，MySQL)或者其他COTS软件。
[0064] 对于被称为“外科
手术导航先进平台”(SNAP)的示例性系统，实际患者的医疗图像被转换成动态、交互式3D场景。此动态和交互式图像/模型为医疗图像创建新型和初始标准，并且具有许多应用。
[0065] SNAP向外科医生(神经外科医生等)提供例如独特虚拟现实引导以确定移除肿瘤(大脑的等)并且治疗畸形诸如血管畸形的最安全且最有效途径。“外科手术导航先进平台”(SNAP)可用作独立系统或外科手术导航系统的应用，或者与第三方导航系统一起用于第三方导航系统所用于的过程类型。这些过程包括但不限于大脑、脊和
耳鼻喉(ENT)。
[0066] SNAP允许外科医生在外科手术之前分析并计划特定患者病例，并且随后将所述计划带入手术室(OR)中并且在外科手术期间结合导航系统使用它。SNAP随后将导航数据呈现到先进交互式的高质量3D图像中，具有多个视图点。
[0067] SNAP实际是包括医疗成像装置的图像引导的外科手术系统，其呈现外科手术过程的实时和动态多个视线视图(从不同/多个
角度)。图像包括扫描的医疗图像(基于扫描诸如CT、MRI、超声、
X射线等)和外科手术仪器。它还可包括基于视频形成显微镜或其他源的实时视频和模型。SNAP为外科医生提供实时3D交互式引导图像。解剖结构(即，头、脑、膝、肩等)的取向在物理/患者的和扫描的医疗图像(CT、MRI、超声、X射线等)中被标记并预先对准；因此扫描的医疗图像和患者在外科手术时的真实解剖结构的取向是同步且对准的。
[0068] 此外，上述的预先对准的标记提供跟踪外科手术仪器和OR显微镜(和/或外科医生头部)并且因此允许在空间上相对于扫描的医疗图像呈现外科手术仪器图像/模型的球形参考。
[0069] 患者的2D或3D解剖结构以及手术仪器的位置和取向是实时同步的，并且以仪器和标记在空间中相对于解剖结构的实时位置和取向呈现给外科医生。
[0070] SNAP系统能够准备具有多个扫描数据集的病例。内置“融合”模式允许用户选择一个数据集来作为主数据集，并且添加将对准(“融合的”)至主扫描数据集的次数据集。
[0071] SNAP系统具有独特的剪裁特征。ANY平面IG立方体剪裁是这样的特征，用户可从任何所需角度“剪裁”3D模型，尤其是切割到模型中并且移除一区段以暴露模型内部。剪裁平面是3D模型被“剪裁”时的平面，由2个变量限定的平面，平面法线(向量)和平面位置(在平面穿过的空间中的点)。
[0072] 此外，SNAP系统知道使ANY平面IG立方体剪裁从属场景中的3D移动元件。由于立方体剪裁平面由法线和位置限定，我们可在场景中使用移动元件来为用户限定平面。元件是：导航探针、3D控制器(Omni)、通道、IG视点(眼睛摄像机)等。
[0073] 另一特征是传递函数。SNAP系统具有显示“组织特定强度”的特殊能力。初始数据集片被采集并堆叠以再构建
像素立方体或我们所称作的
体素立方体。3D模型是立方体体积的体素。传递函数用于将每个体素强度值映射到颜色和不透明度。以那种方式我们控制组织强度并且使得外科医生能够看到他通常无法看到的内容。此创新特征允许外科医生看到后面的动脉和其他关键结构，这是直到现在才可能的事情。
[0074] SNAP可在同一屏幕上或多个屏幕上的一个或多个窗口上呈现模型。SNAP的特征和应用的实例中，多个特征可在屏幕上被并排地激活。
[0075] 典型系统配置包括以下主要部件：(1)系统安装用于移动性的车；(2)医疗级隔离
变压器；(3)运行Microsoft Windows 7操作系统的个人计算机(或服务器)；(4)用于高质量图形的高端nVIDIA图形适配器；(5)27”或32”全HD触摸屏显示器；(6)医疗级
键盘和
鼠标；以及(7)用于实现本文所描述特征的SNAP软件应用。这种系统由图1A的框图示出,其中包括触摸屏监测器71的示例性移动车安装的SNAP系统70被配置为具有PC 72和电力系统73，所有这些可提供在手术室中。示例性系统70连接到提供在手术室中的导航系统75，诸如示例性图像引导外科手术(IGS)系统，从其SNAP系统70可接收数据，使得SNAP系统70可显示遵循导航系统操作的高分辨率真实的3D图像，从而基于正进行手术的特定患者的图像使用SNAP高分辨率成像能力有效地增强导航系统的操作和显示能力。
[0076] 图1B中示出图1A的系统70的示例性车安装部分，示出安装在
支架101上的带有补充显示器104的主高分辨率显示器71，带有键盘102、计算机72以及移动平台107，所有被配置用于手术室环境中。此图中未示出电力系统和导航系统。如果必要的话，则此配置可使
用例如以太网联网到一个或多个另外服务器。
[0077] 外科手术导航先进平台(SNAP)旨在用作软件接口和
图像分割系统，以便将来自CT或MR医疗
扫描仪的成像信息传递到输出文件。组织分割窗口被提供来编辑并更新组织分割以准备病例。组织分割的改变反映在3D图像中，并且结果可被保存为病例文件的一部分。它还旨在用作术前和术中的软件，以便模拟/评估外科手术治疗选项。外科手术导航先进平台(SNAP)是模拟/评估外科手术治疗选项的术前和术中工具。
[0078] 系统将通常提供可适用于手术室的EMC抗扰度，并且将使用触摸屏操作来导航、打字和图像操纵。系统可使用病例文件来存储个体患者病例，所述病例文件可按需要加载到系统中。外科医生可使用扫描的信息(例如，MR或CT DIACOM图像数据文件)和特定患者的患者数据来从头开始创建病例。可按需要编辑并更新这些病例。编辑窗口可用于编辑和操纵图像和文件。
[0079] 可提供各种器官和组织的通用模型，所述通用模型可基于患者成像或其他诊断工具或实验输入与患者特定模型重叠。因此，对于非特定关注的器官或其他特征，系统可使用通用模型(例如，眼睛或其他器官)，其中患者特定信息不需要用于专用治疗中。
[0080] 外科手术导航先进平台显示具有实时导航数据的患者特定动态和交互式3D模型。当执行导航对话时，通过指向并触摸患者上的可见结构(即，鼻尖、耳垂)并且验证SNAP屏幕上的
指针指向3D模型中的相同位置，可使用工具来验证SNAP导航指针位置(设置在SNAP高分辨率显示器上)的准确度。
[0081] 图1C示出由软件模
块驱动的主要处理例程的实例，所述
软件模块生成由SNAP工具提供的图像。图像生成器110通过使用存储在数据库115上的信息(诸如通用组织图像、患者特定图像等)生成真实组织图像以便在显示器160上显示。图像生成器110指派每个分割(阴影纹理等等)的视觉表示，并且机械性能和其他建模特征将提供真实图像。
[0082] 类似地，用户工具生成器将生成外科手术工具的真实图像，所述图像被显示为与由图像生成器生成的组织图像动态地交互作用。在外科手术环境中，在显示器160上显示的工具图像可表示实际外科手术工具接口140，所述实际手术工具接口140的表示可由例如图像生成器110或用户工具生成器120生成以便显示。外科手术工具接口可与由图像生成器110生成的组织图像动态地交互作用。同样，关于工具图像的规范和细节可存储在数据库
115中。需注意，因为显示器160可以是触摸屏显示器，所以显示器160可充当用户接口130连同诸如键盘、鼠标或其他输入装置的其他装置。
[0083] SNAP工具还提供外部系统接口150，所述外部系统接口150允许系统与向外科医生提供导航或其他功能的其他外部系统对接，使得SNAP工具可基于外部系统的操作生成与外部系统的输出一致的图像，例如镜像导航或更新成像。SNAP工具可随后适当地更新它的显示图像以便向外科医生提供与图形工具交互作用的高分辨率3D图像中的整合视图。
[0084] 一旦外科医生选择了外科手术工具和其他对象，它们就被整合到由显示器160显示的虚拟外科手术场景中并且成为模拟情景的整合元件，所述整合元件包括应用于那些所选择项目中的每一个的真实视觉特征和机械性质以及操作性质特征，例如，显示的
剪刀具有实际机械特性并且将像实际剪刀所做的那样进行切割，并且动脉瘤夹子在放置在血管处时会阻塞血流。以此方式，显示的工具与组织模型以真实方式交互作用，但在某种程度上，外科医生可操纵来提供在现实世界中不可能的视点，诸如使多个特征透明、旋转图像、颠倒过程等。
[0085] 显示给外科医生的交互式图像/场景由各元件构成，所述元件为体积
渲染元件和表面渲染元件两者。此外，每个元件、体积或表面与为体积的一个或多个元件交互作用。元件之间的交互作用包括但不限于物理交互作用诸如：碰撞模型，所述模型被实现来表示由根据诸如压力、元件材料(弹性、粘性等)的物理条件和诸如碰撞角度和元件取向的碰撞条件来复制所述元件的实际物理移动的元件的移动和/或再成形所引起的元件之间的交互作用。
[0086] 渲染过程方程可考虑所有的照明阴影和阴影效果现象并且产生并入有所有视觉元件的最终输出流。
[0087] 使用组织绘制或魔术组织棒
算法创建并且与扫描图像整合的解剖结构是图像的整合部分。例如，最初是部分的并且在应用魔术组织绘制和组织棒算法后是完整的血管解剖结构将变成完整的解剖结构，这个完整的解剖结构具有由原始扫描图像和新创建的结构组合而成的结构。此外，控件(复选框)允许选择新创建的结构并且在开启(示出新创建的结构)或关闭(隐藏新创建的结构)之间切换。另外，为选择以体积和或网络/多边形渲染/重建来渲染新创建的结构提供选项。
[0088] 所开发的算法和软件工具为用户提供接口来以二维或三维方式(例如，线、圆、临床、球等)绘制任何几何形状或徒手绘制形状。包括/封闭/捕获在所述几何形状(二维或三维)内的区域被定义为“标记区域”。用户随后具有定义和指派任何视觉特性和任何机械性质给所述“标记区域”的能力。
[0089] 视觉特性：颜色/透明度/阴影处理-利用魔术组织绘制、组织棒算法或标记区域的新创建的结构可以可选自可用颜色库的颜色和可在0至100的任何等级上选择的透明度的任何所选择视觉特性来呈现。此外，新创建的结构的阴影处理和阴影效果的特性可通过调节虚拟
光源的特性加以修改。虚拟光源特性包括：空间中的球形位置、光的颜色、光的强度、纵横比、虚拟源的几何形状等。
[0090] 机械性质-利用组织绘制、魔术组织棒算法或标记区域的新创建的结构可被指派机械性质特性。也就是说，特定组织的机械模型可联接到新创建的结构，并且因此新创建的结构将带有这类机械性质并且将根据那些机械性质动态地且静态地作出反应。例如，如果“软组织”机械性质被指派给新创建的结构，那么新创建的结构将根据软组织作出反应。例如，当新创建的结构被虚拟外科手术仪器推挤时，它将根据所施加的力和组织机械模型
挤压和再成形。此外，新创建的结构与其他新创建的结构之间的交互作用、最初扫描的结构与新创建的结构之间的交互作用以及新创建的结构与最初扫描的结构之间的交互作用是无缝的。任何解剖结构的机械性质系数(
刚度、弹性等)可由用户调节以创建量身定做的机械行为。
[0091] 实时跟踪和反馈-用于在外科手术期间跟踪实际外科手术仪器的系统。跟踪系统传递外科手术仪器相对于实际解剖结构(例如，患者头上的特定斑点)的取向和位置的空间位置和坐标。随后将仪器的位置和取向发送到外科手术模拟系统。基于患者特定模拟和仪器的位置和取向，向外科医生提供反馈。这种反馈的一个实例可以是：系统向外科医生生成针对他正在剖开的组织类型的反馈，并且万一他剖开了健康的脑组织而不是肿瘤，则警告外科医生。另外实例是在外科医生将器具应用于实际解剖结构上(例如，应用于实际患者身上的动脉瘤上的动脉瘤夹子)后，系统允许外科医生旋转模拟图像/模型，所述模拟图像/模型基于跟踪按实际解剖结构来精确取向，并且观察和评估所放置
植入物的位置和效力。
[0092] 实际仪器的这种跟踪和反馈可以多种方式完成，诸如通过使用视频系统来跟踪仪器和患者特征的位置和移动。或者(或除视频跟踪外)，可修改外科手术仪器以实现跟踪，诸如通过使用GPS、
加速度计、磁性检测或其他位置和
运动检测装置和方法。例如，此类修改的仪器可使用WiFi、Bluetooth、MICS、有线USB、RF通信或其他通信方法(例如，通过图1C的外科手术工具接口140)来与SNAP工具通信。
[0093] 图2示出与外科手术仪器201尖端相关的虚拟视图210的图像:这是增强版实例，好像
虚拟摄像机被附接到仪器201的尖端那样。通过此内窥视镜视图210，如果探针尖端具有摄像机(模拟探针作为“虚拟
内窥镜”)那么提供表示在SNAP平面上所看到内容的能力，以及提供预演、计划、评估和模拟内窥镜过程或其他过程的能力。外科医生可使用触摸屏工具栏220操纵图像。并且通过触摸屏幕上的模型以便旋转、缩放；因此，图1示出虚拟摄像机视图的实例。
[0094] 显微镜视图是从外科
手术显微镜的取向的视图或外科医生眼睛的视图。图3是并列显微镜视图230和关键结构视图235的实例。此视图可受限于通过开颅术的视图，尽管开颅术的
接触受到限制，所述开颅术允许外科医生模拟到病变的导航和入路。另外，微创或锁孔入路或内窥视镜入路可被模拟和评估，从而允许外科医生尝试、评估并决定哪种入路将提供具有最小风险(例如，到病变的路线中不会有碰触血管的风险的入路)的最需要的结果(例如最大肿瘤
切除)。之后，通过加载计划，外科医生可在SNAP帮助下在患者头部上钻/创建所决定的开颅术/入路，并且随后通过以上选择的入路借助于SNAP来实际地导航和执行手术。
[0095] 图4示出还可提供的病变255(此处是动脉瘤)的后面视图，例如外科医生可“
冰冻”指针/标记或仪器250的跟踪以便探索在系统中的图像以进一步明确仪器250在解剖结构内的取向。冰冻指针在适当位置中并且操纵图像(旋转、调焦、改变分割)使得外科医生可从后面观察动脉瘤以例如允许看到夹具250是否被正确地运用。
[0096] 显示多个视点的能力提供实时地从多个视点同时观看解剖图像和外科手术仪器外科手术模型的能力，并且你可以独立地旋转、偏移、调焦每个图像。图5示出并列的显微镜视图260和矢状图265。图6示出并列的显微镜视图和冠状图。这允许外科医生通过他选择的入路导航并且看到外科医生想避开的但是在显微镜或传统跟踪导航系统中无法看到的结构(例如，隐藏在肿瘤内部或后面的血管)的3D导航图像。SNAP示出与显微镜视图(外科医生眼视图)相关并且与以同步的方式另外地看到外科医生不能看到的视图相关的视图-从病变后面的视图。
[0097] 控制分割单独示出每个视点；例如，一个图像可被分割以便仅示出血管而另一个图像可被分割以便仅示出软组织。例如，图7示出多个分割视点。通过操纵组织分割，我们可清楚地看到与普通视点图245并列的动脉瘤颈240。从不同有利点的独立和同时视图被提供以便增强可视化。独立分割可被用于提高动脉瘤颈和其他关键结构的可视化。
[0098] 不同模态(CT和或MRI)可在每个图像/角度中呈现，例如一个图像可来自MRI而另一图像可以来自同一患者的CT。图8示出并列的不同分割，示出CTA图像280和MRI图像285。重叠图像可被示出，其中一个图像可从多个模态中组合；例如MRI层叠/重叠在CT上。图9示出与不同左分割290和右分割295组合的CT和MRI图像的重叠。当创建历史病例研究时，患者特定静态图像(快照)或在实际外科手术期间或者在诊断期间生成的视频文件可存储在患者病例文件夹中。SNAP软件支持所有标准Windows
位图图像文件格式，诸如bmp、jpeg、png和gif，并且支持所有标准Windows视频文件格式，诸如mpeg和avi。
[0099] 还可提供具有渐入/渐出模态的重叠图像，其中在组合图像中，一个模态可渐入和渐出；例如，CT和MRI层叠/重叠图像，同时CT渐出或重叠图像，具有在每个模态上的分割控制；例如，CT和MRI层叠/重叠图像，同时CT被分割以仅示出血管。图10示出具有透明度的重叠，10％CTA，100％MRI。图11示出具有透明度的重叠，30％CTA，100％MRI。图11A示出示例性的融合处理流水线方法，使用SNAP工具用于不同地采取组织数据集301、302并且独立地限定且分割它们303、304从而组合它们350，以便使用由用户308指定的透明度来呈现组合图像307。
[0100] 增强接近和取向指示允许外科手术仪器和或指针/标记接近特定解剖结构的指示的计算和生成。在图12中，例如示出了在用于动脉瘤颈的评估的导航探针尖端处的虚拟夹具310。导航图像可被冰冻并旋转以从多个视点检查夹具，诸如通道视图311和旋转视图312。设置在虚拟夹具上的标记允许测量颈并且贴合夹具。
[0101] 通过SNAP工具，更容易地选择开颅术的尺寸，并且还允许一个人更好地识别一些重要界标。肿瘤的三维表示给出肿瘤边界、静脉和窦的优越视图，以确保当开颅术实际地开始时外科医生可远离这些结构。图13示出并列的开颅术视图310和静脉视图315。
[0102] 基于对外科手术仪器和/或指针/标记到特定解剖结构的接近度的计算，外科医生可生成关于与接近和取向指示相关的
阈值的危险。另外，通过在标记指针中虚拟标记距离的测量受到支持，例如到导航探针的虚拟侧面延展被呈现以便测量剩余的肿瘤和离动脉的距离。图14示出使用缩放探针320、325通过虚拟侧面延展的测量实例，而图15示出通过虚拟标记330、335来测定动脉瘤尺寸测量其中测量结果示于窗口337中的实例。
[0103] 系统允许执行从任何所需平面独立地
修剪3D图像的“立方体剪裁”。平面由2个变量限定，平面法线(向量)和平面位置(在平面穿过的空间中的点)。所述“立方体剪裁”可针对每个图像独立执行。图16示出不同的独立剪裁，而图17示出在不同模态上不同的剪裁。
[0104] SNAP工具具有绘制肿瘤的能力。例如，外科医生可在编辑期间使用绘制以用于病例准备和用于所有特征。这可在准备或外科手术期间被打开和关闭。图18示出绘制组织的实例。SNAP中的“病例准备”用于分析和观看驻留在本地驱动上文件夹中的DICOM对象，并且以专有格式生成被用作到导航对话输入的3D场景。这涉及将DICOM图像的2D集合转化成3D容积模型，所述3D容积模型具有使用SNAP工具完成的属性。
[0105] 通过对标记指针中的距离、植入物位置的虚拟标记进行测量。植入物的SNAP组合建模(例如动脉瘤夹具或椎弓根螺钉)和使用增强现实以引导外科手术以便准确放置植入物。例如，螺钉放置的计划用SNAP执行并且螺钉模型(3D或2D)放置/
定位在患者的3D/2D模型(CT、MRI等)的顶部。随后外科医生可在手术室中导航实际螺钉并且SNAP将计算与预先计划的放置相比螺钉当前在导航中的实际放置。来自SNAP的反馈可从正在被导航的螺钉的图像/模型提供，仅当螺钉的实际放置与计划放置匹配时所述螺钉的图像/模型将会变成绿色。距离、角度、取向等的测量可被实时地显示，表示相对于螺钉(或任何其他参考点)的计划放置位置的实际螺钉位置及其取向(或在导航场景中的任何其他通路、植入物、标记、探针)的测量。
[0106] SNAP导航图像可针对每个图像独立旋转、偏移、调焦等；外科医生眼视图可被独立地旋转、偏移、调焦到其他图像/视图(例如病变后面的视图等)。
[0107] 改变每个分割范围的透明度和颜色。SNAP允许用户以任何特定颜色和任何特定透明度来呈现导航场景内的任何组织类型或元件。
[0108] 使用SNAP
[0109] SNAP工具可由外科医生在外科手术前准备和实际外科手术期间使用。例如，SNAP可用于支持动静脉畸形病灶(Nidus)(“病灶(nest)”的拉丁文)-AVM病灶。
[0110] 准备-SNAP可用于分析和观看驻留在本地驱动上文件夹中的DICOM对象，并且可用于以专有格式生成被用作到导航对话输入的3D场景。这需要将DICOM图像的2D集合转化成具有属性的3D容积模型。第一被选择的是库中的优选病例以便加载它(使它成为当前病例)并且随后通过点击导航按钮来激活导航对话模式。
[0111] 计划-限定关注体积(VOI)，并且组织
变形VOI指示当与外科手术中的外科手术工具/探针交互作用时使用组织机械性质来真实地反应的“活的”组织。轴向、冠状和矢状滑块控件用于限定表示将被使用的组织变形关注体积(VOI)立方体。随后，在SNAP触摸屏上的图像的交互作用和操纵被完成来计划入路角度和需要的暴露范围以充分地可视化引流静脉并且理解动脉供血器相对于AVM病灶的位置和取向。作为病例准备的部分，SNAP允许外科医生使用图像生成器来显示关注体积(VOI)窗口来限定图像，诸如用于限定用于模拟的组织变形体积。按钮随后允许外科医生显示VOI窗口来限定VOI的特性。
[0112] 轴向、冠状和矢状滑块控件被设置在SNAP中以限定立方体，所述立方体表示外科手术模拟应用使用的关注体积(VOI)。调整高和低边界轴向滑块限定VOI的顶部和底部边界。调整高和底边界冠状滑块限定VOI的前和后边界。调整高和低边界矢状滑块限定VOI的左和右边界。每个轴线的滑块值设置在高和低边界域中。
[0113] 可视化-组织分割窗口可用于修改应用到患者数据的组织特定强度范围。组织渲染阈值(分割默认值)特征可被使用，或者分割可被修改。通过这样做，可调整和定制分割以突出显示AVM病灶、引流静脉、供血动脉和横向窦以便最佳可视化，同时使颅骨和非关键结构更加透明。
[0114] 3D导航-SNAP可与传统导航系统整合，其中一个人可同时地观察DICOM图像的2D集合(在传统导航系统上)和3D容积模型(在SNAP)上的轨迹。通过SNAP，外科医生能够使用3D
血管造影来导航并且准确地瞄准AVM病灶上表面处的非栓塞供血动脉。
[0115] 示例性应用
[0116] 如上文所讨论的，SNAP可被用在外科手术环境中以便支持对患者的外科手术操作。本文中，我们提供一个示例性场景来举例说明其在具有脑肿瘤的示例性患者的开颅术中的使用。
[0117] 外科医生通过输入其患者的设定参数来创建并且更新患者病例，所述患者的设定参数包括允许系统上载特定患者的相关数据的患者细节，随后SNAP加载患者CT、CTA、MRI和MRA图像和有关模拟模型的其他信息，诸如患者年龄、性别等。
[0118] 外科医生将在传统导航系统上看到三个平面，所述三个平面将是轴向的、冠状和矢状计划，并且同时在SNAP显示器上外科医生将看到同一患者头部的三维图像。因此，SNAP显示器以更真实的观看方式示出更大的细节。
[0119] 外科医生通过点击SNAP触摸屏上的导航按钮来激活导航对话模式。系统显示导航对话窗口-两个独立的IG摄像机窗口(帆布)和导航快捷窗口。
[0120] 外科医生将启用融合模式，其中SNAP将示出CTA重叠MRI的组合模型并且限定工作模式，例如他将选择组合模式，其中两个层(CTA和MRI)都被显示在两个帆布上。
[0121] 现在外科医生将使用透明度预设定按钮和在显示器对话窗口上的左/右按钮从而针对层(CTA和MRI)来设定所需的透明度等级。
[0122] 在左帆布上外科医生将选择四个传递函数中的一个。他将通过移动传递函数对话窗口上的“键”来开始改变透明度。对于改变“键”，他将使用系统鼠标。外科医生将操纵“键”直到他得到所需的外观，例如可看到肿瘤、边界和静脉的外观。
[0123] 在右帆布上外科医生将选择不同的传递函数，例如他可看见重要界标。
[0124] 通过触摸SNAP屏幕来左右转动模型并且放大和缩小，外科医生得到在三维空间中肿瘤的更佳表示并且可确定将要进行的骨开口是多大。外科医生可真正地理解肿瘤与血管位于的地方之间的关系以及他将在操作中如何接近肿瘤。
[0125] 外科医生将使用SNAP工具来标记重要静脉和颅骨上所需骨开口。
[0126] 外科医生将使用SNAP导航指针来估测从颅骨到肿瘤的路径长度。他将指针尖端放在颅骨上的穿透点上，并且将在SNAP工具上从导航指针类型菜单中选择虚拟轨迹指针。
[0127] 在SNAP显示器上，外科医生将看到具有按照他的运动来实时地移动的轨迹延展的指针。通过给出恰当的方向，他将会获得穿透长度。
[0128] 外科医生具有冰冻来自导航系统的数据的选项。在这种情况下，传入数据被忽略并且在点击冰冻按钮之前指针保持在它最后的位置处。外科医生将使用SNAP左右转动模型并且放大和缩小并且他将会得到路径和周围关键部分的更好表示。
[0129] 接下来，外科医生将根据他在SNAP上看到的信息开始开颅术。在打开开颅术后，外科医生开始沿路径切入，并且通过使用导航指针他可在SNAP上遵循其在右路径上，他可估测距肿瘤的距离以及他离窦和静脉有多近。
[0130] 使用接近应用的实例。
[0131] 路径被创建来通过锁孔开颅术朝向肿瘤导航。锁孔开颅术是较小的并且不允许外科医生看到很多结构。因此，创建到目标(肿瘤)的路径或轨迹。另外，标记或路径将被制作以标记要避开的区域。
[0132] 在外科手术期间，SNAP呈现导航场景的实时3D和2D图像，所述导航场景向外科医生示出其工具位置，外科医生可遵循导航路径。外科医生还可修改路径、标记、轨迹等。所述修改以所述标记、目标等被创建的类似方式进行。标记、目标等可被拖带到不同的位置、被重新
染色等。
[0133] 在导航期间，外科医生应该以特定预设值(距离、角度等)偏离特定的标记、路径、轨迹等，警告将会消除。特定预设值(距离、角度等)可被修改。
[0134]
导管成排第三脑室
造口术目标的导向实例。-外科医生在第三脑室造口术中标记点作为目标。外科医生标记进入点。SNAP创建轨迹和可视图形以引导外科医生形成导管放置。
[0135] 本发明的许多其他示例实施方案可通过上述特征的各种组合来提供。虽然已在上文中使用特定实例和实施方案来描述本发明，但是本领域的技术人员应当了解，可以使用各种替代方案，并且等同物可以替代本文所述的元件和/或步骤，而不必背离本发明的意图范围。为使本发明适于特定情形或者适于特定需要，可能需要修改，而不会背离本发明的意图范围。本发明不意图限制于本文所述的特定实现方式和实施方案，但是
权利要求书进行最广泛的合理解释以涵盖所有新颖的和不明显的实施方案，无论是字面的还是等同的实施方案、公开的还是未公开的实施方案均被权利要求书涵盖。
