用于规划程序的图形用户界面专利检索-交互式应用程序应用软件软件计算机系统电脑零配件专利检索查询-专利查询网

用于规划程序的图形 用户界面

阅读：309发布：2020-05-13

专利汇可以提供用于规划程序的图形用户界面专利检索，专利查询，专利分析的服务。并且一种规划程序的系统和方法包括规划工作站，该规划工作站包括：显示系统；以及用户输入装置。规划工作站被配置为：经由显示系统显示图像数据；经由用户输入装置接收第一用户输入；经由显示系统显示至少基于第一用户输入识别的所显示的图像数据内的医疗程序的目标；经由显示系统显示交互式图像，交互式图像包括图像数据、多个连接的解剖通道和所识别的目标；经由用户输入装置接收第二用户输入；经由显示系统显示目标和沿着至少基于第二用户输入识别的多个连接的解剖通道中的最近通道的出口点之间的轨迹；经由用户输入装置接收第三用户输入；并且至少基于所定义的轨迹和第三用户输入调整交互式图像。，下面是用于规划程序的图形用户界面专利的具体信息内容。

权利要求

1.一种规划工作站，其包括：
显示系统；和
用户输入装置；
其中，所述规划工作站被配置为：
经由所述显示系统显示图像数据；
经由所述用户输入装置接收第一用户输入；
经由所述显示系统显示至少基于所述第一用户输入识别的显示的图像数据内的医疗程序的目标；
经由所述显示系统显示交互式图像，所述交互式图像包括图像数据、多个连接的解剖通道和所识别的目标；
经由所述用户输入装置接收第二用户输入；
经由所述显示系统显示所述目标和沿着至少基于所述第二用户输入识别的所述多个连接的解剖通道中的最近通道的出口点之间的轨迹；
经由所述用户输入装置接收第三用户输入；以及
至少基于所定义的轨迹和所述第三用户输入来调整所述交互式图像。
2.根据权利要求1所述的规划工作站，其中所述用户输入装置包括所述显示系统的触摸屏。
3.根据权利要求1所述的规划工作站，其中所述显示系统调整所述交互式图像，包括：
确定所述轨迹所表示的距离；
确定所述距离是否大于预定阈值；
经由所述用户输入接收第四用户输入；
至少基于所述第四用户输入来识别比所述最近的连接通道更靠近所述目标的未连接通道；以及
将所述未连接通道连接到所述多个连接通道。
4.根据权利要求3所述的规划工作站，其中所述规划工作站进一步被配置为经由所述用户输入装置接收第五用户输入，并且至少基于所述第五用户输入来旋转所述交互式图像以识别所述交互式图像中的所述未连接通道。
5.根据权利要求4所述的规划工作站，其中所述交互式图像围绕一个或多个用户定义的旋转点旋转。
6.根据权利要求1所述的规划工作站，其中所述显示系统调整所述交互式图像，包括：
基于所述轨迹来确定出口角；以及
通过改变所述出口点沿所述最近的连接通道的方位来调整所述出口角。
7.根据权利要求1所述的规划工作站，其中所述规划工作站被进一步配置为经由所述用户输入装置接收第四用户输入，并且基于所述第四用户输入来经由显示系统显示所述显示的图像数据内的所述医疗程序的危险。
8.根据权利要求7所述的规划工作站，其中所述危险对应于患者解剖体的易受伤害部分和所述多个连接的解剖通道中的一者或多者中的过度弯曲中的至少一者。
9.根据权利要求7所述的规划工作站，其中所述危险使用危险栅栏来显示，所述危险栅栏包括圆盘、圆锥形危险栅栏和半球形危险栅栏中的至少一者。
10.一种规划医疗程序的方法，所述方法包括：
接收包括多个分支的解剖通道的表示图；
经由图形用户界面显示所述表示图的图像；
接收表示第一标签的选择的第一用户输入；
接收表示所述多个分支中的第一分支的选择的第二用户输入；以及
响应于所述第一用户输入和所述第二用户输入：
用所述第一标签标记所述第一分支；以及
经由所述图形用户界面显示应用于所述第一分支的所述第一标签的表示图。
11.根据权利要求10所述的方法，进一步包括：基于用所述第一标签标记所述第一分支：
选择第二标签；以及
经由所述图形用户界面显示所述第二标签已经被选择的指示。
12.根据权利要求11所述的方法，其中基于所述解剖通道内的所述多个分支的布置来选择所述第二标签。
13.根据权利要求11所述的方法，进一步包括：
接收表示所述多个分支中的第二分支的选择的第三用户输入；
用所述第二标签标记所述第二分支；以及
经由所述图形用户界面显示应用于所述第二分支的所述第二标签的表示图。
14.根据权利要求10所述的方法，进一步包括：
从包括所述第一分支的所述多个分支中识别分支组；以及
响应于所述第一用户输入和所述第二用户输入，用所述第一标签标记所述分支组。
15.根据权利要求14所述的方法，其中识别所述分支组包括识别所述第一分支的后代分支并且在所述分支组中包括所述后代分支。
16.根据权利要求10所述的方法，进一步包括：经由所述图形用户界面显示所述多个分支中的不具有分配标签的第二分支的指示。
17.根据权利要求10所述的方法，进一步包括：响应于所述第一用户输入和所述第二用户输入：
为所述第一分支分配颜色；以及
显示所述解剖通道的表示图的图像，其中所述第一分支用分配的颜色着色。
18.根据权利要求10所述的方法，进一步包括：
经由所述图形用户界面提供光标；
检测所述光标与所述多个分支的第一分支对齐；以及
基于检测到所述光标与所述第一分支对齐，来修改所述光标的表示图。
19.根据权利要求10所述的方法，进一步包括：
接收表示旋转指令的第三用户输入；
响应于所述第三用户输入，旋转所述解剖通道的表示图；以及
经由所述图形用户界面显示解剖通道的旋转表示图的图像。
20.一种包括多个机器可读指令的非暂时性机器可读介质，当由与规划工作站相关联的一个或多个处理器执行时，所述多个机器可读指令适于使所述一个或多个处理器执行一种包括以下操作的方法：
为用户提供多个交互式窗口以查看医疗程序的所述规划，其中所述多个交互式窗口中的每个窗口显示解剖通道模型的不同渲染；
显示通过所述解剖通道至所述医疗程序的目标的路径；
显示器械在所述解剖通道内的虚拟图像；
在所述多个交互式窗口中的至少一者中显示对应于所述器械远端的控制点；
接收用户输入；
至少基于所述用户输入来识别所述控制点的方位；以及
响应于接收到所述用户输入，动态地更新所述多个交互式窗口中的至少一者中的器械的方位以匹配所述控制点的方位。

说明书全文

用于规划程序的图形用户界面

[0001] 相关申请

[0002] 本公开要求在2017年4月18日提交的题为“用于规划程序的图形用户界面”的美国临时专利申请62/486,896和在2017年10月27日提交的题为“用于标记解剖体的图形用户界面”的美国临时专利申请62/578,189的优先权，上述专利申请通过引用整体并入本文。

技术领域

[0003] 本公开涉及用于执行图像引导程序的系统和方法，并且更具体地涉及用于使用图形用户界面分析、识别和/或标记解剖体的系统和方法。

背景技术

[0004] 微创医疗技术旨在减少在医疗程序期间受损的组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖体中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，临床医生可以插入微创医疗器械(包括手术器械、诊断器械、治疗器械或活检器械)以到达目标组织位置。一种这样的微创技术是使用可转向的柔性细长装置(诸如导管)，其可以被插入解剖通道并朝向患者解剖体内的感兴趣区域导航。医疗人员在图像引导程序期间对这种细长装置的控制涉及几个自由度的管理，包括至少管理细长装置的插入和缩回以及装置的转向或弯曲半径。此外，还可以支持不同的操作模式。

[0005] 因此，提供支持包括微创医疗技术在内的医疗程序的直观规划的图形用户界面将是有利的。发明内容

[0006] 通过说明书所附的权利要求最好地总结了本发明的实施例。

[0007] 根据一些实施例，一种用于使用图形用户界面来规划医疗程序的方法可以包括经由图形用户界面显示图像数据并且接收定义所显示的图像数据内的医疗程序的目标的第一用户输入。该方法可以进一步包括经由图形用户界面显示交互式图像，交互式图像包括图像数据、通过图像数据的分割检测到的多个连接的解剖通道以及所定义的目标。该方法可以进一步包括接收第二用户输入，该第二用户输入定义目标和沿着多个连接的解剖通道中的最近通道的出口点之间的轨迹，并且接收基于所定义的轨迹来调整交互式图像的第三用户输入。

[0008] 根据一些实施例，一种用于使用图形用户界面来规划医疗程序的方法可以包括经由图形用户界面显示图像数据、接收定义所显示的图像数据内的危险的第一用户输入并且显示交互式图像。交互式图像包括图像数据、通过图像数据的分割检测到的多个连接的解剖通道以及所定义的危险。

[0009] 根据一些实施例，一种用于使用图形用户界面预览医疗程序的规划的方法可以包括为用户提供多个交互式窗口以查看医疗程序的规划。多个交互式窗口中的每个窗口可以显示解剖通道的模型的不同渲染。该方法可以进一步包括显示通过解剖通道至医疗程序的目标的路径，显示器械在解剖通道内的虚拟图像，在多个交互式窗口中的至少一个窗口中显示对应于器械的远端的控制点，接收定义控制点的方位的用户输入，并且响应于接收用户输入，动态地更新多个交互式窗口中的每个窗口中的器械的方位以匹配控制点的方位。

[0010] 根据一些实施例，规划工作站可以包括显示系统和用户输入装置。规划工作站可以被配置为：经由显示系统显示图像数据；经由用户输入装置接收第一用户输入，第一用户输入定义所显示的图像数据内的医疗程序的目标；经由显示系统显示交互式图像，交互式图像包括图像数据、通过分割图像数据检测到的多个连接的解剖通道以及所定义的目标；经由用户输入装置接收第二用户输入，第二用户输入定义目标和沿着多个连接的解剖通道中的最近通道的出口点之间的轨迹；并且经由用户输入装置接收第三用户输入，第三用户输入基于所定义的轨迹来调整交互式图像。

[0011] 根据一些实施例，非暂时性机器可读介质可以包括多个机器可读指令，当由与规划工作站相关联的一个或多个处理器执行时，所述多个机器可读指令适于使一个或多个处理器执行一种方法。该方法可以包括经由图形用户界面显示图像数据、接收在所显示的图像数据内定义危险的第一用户输入以及显示交互式图像。交互式图像可以包括图像数据、通过图像数据的分割检测到的多个连接的解剖通道以及所定义的危险。

[0012] 根据一些实施例，非暂时性机器可读介质可以包括多个机器可读指令，当由与规划工作站相关联的一个或多个处理器执行时，所述多个机器可读指令适于使一个或多个处理器执行一种方法。该方法可以包括为用户提供多个交互式窗口以查看医疗程序的规划，显示通过解剖通道至医疗程序的目标的路径，显示器械在解剖通道内的虚拟图像，在多个交互式窗口中的至少一个窗口中显示对应于器械的远端的控制点，接收定义控制点的方位的用户输入，并且响应于接收用户输入，动态地更新多个交互式窗口中的每个窗口中的器械的方位以匹配控制点的方位。多个交互式窗口中的每个窗口显示解剖通道的模型的不同渲染。

[0013] 根据一些实施例，一种规划医疗程序的方法可以包括接收成像数据并且基于成像数据提供解剖通道的模型，解剖通道包括多个分支。可以经由图形用户界面显示模型的图像。可以接收表示对第一标签的选择的第一用户输入，并且可以接收表示对多个分支中的第一分支的选择的第二用户输入。响应于第一用户输入和第二用户输入，第一分支可以用第一标签标记，并且可以经由图形用户界面显示应用于第一分支的第一标签的表示图。

[0014] 根据一些实施例，非暂时性机器可读介质可以包括多个机器可读指令。指令可以使一个或多个处理器：经由图形用户界面显示包括多个分支的解剖通道的模型；经由图形用户界面显示解剖标签的列表；接收从解剖标签的列表中选择第一标签的第一用户输入；接收选择多个分支中的第一分支的第二用户输入；和/或将第一标签应用于第一分支。

[0015] 根据一些实施例，规划工作站可以包括显示系统和用户输入装置。规划工作站可以被配置为：显示包括多个分支的解剖通道；显示标签列表；经由用户输入装置接收选择多个分支中的第一分支的第一用户输入；经由用户输入装置接收从标签列表中选择第一标签的第二用户输入；并且响应于第一用户输入和第二用户输入，经由显示系统显示应用于第一分支的第一标签的表示图。

[0016] 应当理解，前面的一般性描述和以下的详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，从以下详细描述中，本公开的其他方面、特征和优点对于本领域技术人员而言将是显而易见的。附图说明

[0017] 本专利或申请文件包含至少一幅彩色附图。具有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由受理局提供。

[0018] 图1为根据一些实施例的远程操作医疗系统的简化图。

[0019] 图2A为根据一些实施例的医疗器械系统的简化图。

[0020] 图2B为根据一些实施例的具有延伸的医疗工具的医疗器械的简化图。

[0021] 图3A和3B为根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。

[0022] 图4为根据一些实施例的处于数据选择模式中的图形用户界面的简化图。

[0023] 图5A-图5G为根据一些实施例的处于混合分割和规划模式中的图形用户界面的简化图。

[0024] 图6为根据一些实施例的处于预览模式中的图形用户界面的简化图。

[0025] 图7为根据一些实施例的处于保存模式中的图形用户界面的简化图。

[0026] 图8为根据一些实施例的处于管理模式中的图形用户界面的简化图。

[0027] 图9为根据一些实施例的处于回顾模式中的图形用户界面的简化图。

[0028] 图10为根据一些实施例的用于规划医疗程序的方法的简化图。

[0029] 图11为根据一些实施例的用于修改解剖表示(例如，模型)以提供对医疗程序的目标的进入的方法的简化图。

[0030] 图12为根据一些实施例的用于扩大解剖表示(例如，模型)以提供对医疗程序的目标的进入的方法的简化图。

[0031] 图13为根据一些实施例的用于使用图形用户界面规划医疗程序的方法的简化图。

[0032] 图14A-图14F为根据一些实施例的处于分支标记模式中的图形用户界面的简化图。

[0033] 图15A和图15B为根据一些实施例的将标签应用于解剖通道的分支模型的方法的简化图。

[0034] 图16为根据一些实施例的用于规划医疗程序的方法的简化图。

[0035] 图17A-图17N为根据一些实施例的与用于规划医疗程序的方法的执行相对应的图形用户界面的示意图。

[0036] 通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识一个或多个附图中示出的相同元件，其中，附图中的显示是出于示例说明本公开的实施例的目的而不是为了限制本公开的实施例。

具体实施方式

[0037] 在以下描述中，阐述了描述与根据本公开的一些实施例的具体细节。阐述了许多具体细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部具体细节的情况下实施一些实施例。本文公开的具体实施例为说明性的而非限制性的。本领域技术人员可以实现其他元素，虽然这里没有具体描述，但是这些元素在本公开的范围和精神内。另外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以结合到其他实施例中，除非另外特别描述或者如果一个或多个特征使得实施例不起作用。

[0038] 在某些情况下，没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊实施例的各方面。

[0039] 本公开根据各种器械和器械的部分在三维空间中的状态对其进行描述。如本文所用，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(高达六个自由度)。如本文所用，术语“形状”是指沿对象测量的一组姿态、方位或取向。

[0040] 本公开的一个总体方面包括一种用于规划医疗程序的方法，该方法包括：经由图形用户界面显示图像数据；通过图形用户界面接收第一用户输入；使用第一用户输入识别所显示的图像数据内的目标的至少一部分；经由图形用户界面显示交互式图像，交互式图像包括图像数据、与图像数据相关联的多个连接的解剖通道以及所识别的目标；接收第二用户输入；使用第二用户输入识别目标和沿着多个连接的解剖通道中最近连接通道的出口点之间的轨迹的至少一部分；接收第三用户输入；并且至少基于所识别的轨迹并使用第三用户输入来调整交互式图像。实现方式可以包括以下特征中的一者或多者。所述方法包括经由图形用户界面提供线条工具以接收第二用户输入。调整交互式图像的方法包括：确定轨迹所代表的距离；确定距离是否大于预定阈值；接收第四用户输入；使用第四用户输入识别比最近的连接通道更靠近目标的未连接通道的至少一部分；并且将未连接通道连接到多个连接通道。识别未连接通道的方法包括接收第五用户输入并且使用第五用户输入迭代地旋转交互式图像以识别交互式图像中的未连接通道。所述方法，其中交互式图像围绕一个或多个用户定义的旋转点迭代旋转。所述方法还包括至少基于一个或多个用户定义的旋转点识别旋转轴线。所述方法，其中交互式图像围绕旋转轴线迭代旋转。调整交互式图像的方法包括：基于轨迹确定出口角；并通过改变出口点沿最近的连接通道的方位来调整出口角。所述方法包括经由图形用户界面提供滑块并且经由改变出口点的滑块接收用户输入。所述方法还包括接收第四用户输入并且使用第六用户输入识别所显示的图像数据内的医疗程序的危险。所述方法，其中危险对应于患者解剖体的易受伤害部分。所述方法，其中危险对应于多个连接的解剖通道中的一者或多者中的过度弯曲。所述方法包括显示危险栅栏(fence)以表示危险。所述方法，其中危险栅栏包括圆盘、圆锥形危险栅栏和半球形危险栅栏中的至少一者。所述方法还包括接收第四用户输入并且使用第七用户输入识别至目标的多个连接通道内的路径的至少一部分。所述方法，其中在完成图像数据的分割之前接收第一用户输入。显示交互式图像的方法包括在所显示的图像数据上覆盖多个连接的解剖通道，并且其中多个连接的解剖通道被动态更新以反映图像数据的分割的进展。所述方法还包括接收第四用户输入并识别多个连接的解剖通道中与多个连接的解剖通道断开连接的至少一部分通道。所述方法，其中多个连接的解剖通道包括肺气道。

[0041] 本公开的一个总体方面包括一种用于规划医疗程序的方法，该方法包括：提供图形用户界面；经由图形用户界面显示图像数据；接收第一用户输入；使用第一用户输入识别所显示的图像数据内的危险的至少一部分；并显示包括图像数据、多个连接的解剖通道以及所识别的危险的表示的交互式图像。实现方式可以包括以下特征中的一者或多者。所述方法，其中所述危险包括患者解剖体的易受伤害部分。所述方法，其中所述危险包括多个连接的解剖通道内的过度弯曲。所述方法包括显示危险栅栏以表示危险。所述方法，其中所述危险栅栏包括圆盘、圆锥形危险栅栏和半球形危险栅栏中的至少一者。所述方法，其中多个连接的解剖通道包括肺气道。所述方法还包括接收第二用户输入、识别所显示的图像数据内的医疗程序的目标的至少一部分，并且其中危险对应于靠近目标的患者解剖体的易受伤害部分。所述方法，其中患者解剖体的易受伤害部分包括肺胸膜、血管、大疱(large bullae)和心脏中的至少一种。所述方法，其中在完成图像数据的分割之前接收第一用户输入。

[0042] 本公开的一个总体方面包括一种用于预览医疗程序的规划的方法，该方法包括：提供图形用户界面，该图形用户界面包括显示医疗程序的规划的多个交互式窗口，其中使用多个交互式窗口显示解剖通道的模型的至少两个不同的渲染；显示通过解剖通道至医疗程序目标的路径；显示器械在解剖通道内的虚拟图像；在多个交互式窗口中的至少一者中显示对应于器械远端的控制点；接收用户输入；使用用户输入识别控制点的方位；并且响应于接收到用户输入，动态地更新多个交互式窗口中的至少两个交互式窗口中的器械的方位以匹配控制点的方位。

[0043] 本公开的一个总体方面包括一种规划工作站，包括：显示系统；以及用户输入装置；其中规划工作站被配置为：经由显示系统显示图像数据；经由用户输入装置接收第一用户输入；经由显示系统显示至少基于第一用户输入识别的所显示的图像数据内的医疗程序的目标；经由显示系统显示交互式图像，交互式图像包括图像数据、多个连接的解剖通道和所识别的目标；经由用户输入装置接收第二用户输入；经由显示系统显示目标和沿着至少基于第二用户输入识别的多个连接的解剖通道的最近通道的出口点之间的轨迹；经由用户输入装置接收第三用户输入；并至少基于所定义的轨迹和第三用户输入调整交互式图像。实现方式可以包括以下特征中的一者或多者。所述规划工作站，其中用户输入装置包括显示系统的触摸屏。所述规划工作站，其中显示系统调整交互式图像包括：确定轨迹所代表的距离；确定距离是否大于预定阈值；经由用户输入接收第四用户输入；至少基于第四用户输入识别比最近的连接通道更靠近目标的未连接通道；并且将未连接通道连接到多个连接通道。所述规划工作站，其中所述规划工作站还被配置为经由用户输入装置接收第五用户输入，并且至少基于第五用户输入旋转交互式图像以识别交互式图像中的未连接通道。所述规划工作站，其中所述交互式图像围绕一个或多个用户定义的旋转点旋转。所述规划工作站，其中所述规划工作站还被配置为基于一个或多个用户定义的旋转点来识别旋转轴线。
所述规划工作站，其中所述显示系统调整交互式图像包括：基于轨迹确定出口角；并且通过改变出口点沿最近的连接通道的方位来调整出口角。所述规划工作站，其中所述规划工作站还被配置为经由用户输入装置接收第四用户输入，并且基于第四用户输入经由显示系统显示所显示的图像数据内的医疗程序的危险。所述规划工作站，其中所述危险对应于患者解剖体的易受伤害部分和多个连接的解剖通道中的一者或多者中的过度弯曲中的至少一者。所述规划工作站，其中所述危险使用危险栅栏显示，其中所述危险栅栏包括圆盘、圆锥形危险栅栏和半球形危险栅栏中的至少一者。所述规划工作站，其中所述用户输入装置被配置为在图像数据的分割完成之前接收第一用户输入。

[0044] 本公开的一个总体方面包括一种包括多个机器可读指令的非暂时性机器可读介质，当由与规划工作站相关联的一个或多个处理器执行时，所述多个机器可读指令适于使所述一个或多个处理器执行一种方法，所述方法包括：经由图形用户界面显示图像数据；接收第一用户输入；至少基于第一用户输入识别所显示的图像数据内的危险；以及显示交互式图像，交互式图像包括图像数据、通过图像数据的分割检测到的多个连接的解剖通道以及所识别的危险。实现方式可以包括以下特征中的一者或多者。所述非暂时性机器可读介质，其中所述危险包括患者解剖体的易受伤害部分。所述非暂时性机器可读介质，其中所述危险包括在多个连接的解剖通道内的过度弯曲。所述非暂时性机器可读介质，其中所述危险使用危险栅栏来表示。所述非暂时性机器可读介质，其中所述危险栅栏包括圆盘、锥形危险栅栏和半球形危险栅栏中的至少一者。所述非暂时性机器可读介质，其中所述多个连接的解剖通道包括肺气道。所述非暂时性机器可读介质，其中所述机器可读指令适于使所述一个或多个处理器执行所述方法，所述方法还包括：接收第二用户输入，使用至少第二用户输入识别所显示的图像数据内的医疗程序的目标，并且其中所述危险对应于靠近目标的患者解剖体的易受伤害部分。所述非暂时性机器可读介质，其中所述患者解剖体的易受伤害部分包括肺胸膜、血管、大疱和心脏中的至少一种。所述非暂时性机器可读介质，其中所述机器可读指令适于使一个或多个处理器执行所述方法，所述方法包括在图像数据的分割完成之前接收第一用户输入。

[0045] 本公开的一个总体方面包括一种包括多个机器可读指令的非暂时性机器可读介质，当由与规划工作站相关联的一个或多个处理器执行时，所述多个机器可读指令适于使所述一个或多个处理器执行一种方法，所述方法包括：为用户提供多个交互式窗口以查看医疗程序的规划，其中多个交互式窗口中的每个窗口显示解剖通道模型的不同渲染(rendering)；显示通过解剖通道至医疗程序目标的路径；显示器械在解剖通道内的虚拟图像；在多个交互式窗口中的至少一者中显示对应于器械远端的控制点；接收用户输入；至少基于用户输入识别控制点的方位；并且响应于接收到用户输入，动态地更新多个交互式窗口中的至少一者中的器械的方位以匹配控制点的方位。

[0046] 本公开的一个总体方面包括一种规划医疗程序的方法，该方法包括：接收包括多个分支的解剖通道的表示图；经由图形用户界面显示表示图的图像；接收表示第一标签的选择的第一用户输入；接收表示多个分支中的第一分支的选择的第二用户输入；并且响应于第一用户输入和第二用户输入：用第一标签标记第一分支；并且经由图形用户界面显示应用于第一分支的第一标签的表示图。实现方式可以包括以下特征中的一者或多者。该方法还包括，基于用第一标签标记第一分支：选择第二标签；并且经由图形用户界面显示已经选择第二标签的指示。所述方法，其中第二标签基于解剖通道内的多个分支的布置而被选择。该方法还包括：接收表示多个分支中的第二分支的选择的第三用户输入；用第二标签标记第二分支；并且经由图形用户界面显示应用于第二分支的第二标签的表示图。该方法还包括：从包括第一分支的多个分支中识别分支组；并且响应于第一用户输入和第二用户输入，用第一标签标记分支组。所述方法，其中识别所述分支组包括识别第一分支的下行/后代分支(descendent)并且在分支组中包括后代分支。所述方法，其中识别分支组包括识别第一分支的先行(antecedent)后代分支并且在分支组中包括先行分支。所述方法还包括：经由图形用户界面显示多个分支中的不具有分配标签的第二分支的指示。所述方法还包括：接收表示第二标签的选择的第三用户输入；用第二标签标记第二分支；并且经由图形用户界面显示应用于第二分支的第二标签的表示图。所述方法，其中解剖通道的表示图基于患者的成像数据。所述方法，其中所述成像数据包括解剖结构并且显示解剖通道的表示图的图像显示解剖通道和解剖结构。所述方法还包括：响应于第一用户输入和第二用户输入：
向第一分支分配颜色；并且显示带有用分配的颜色着色的第一分支的解剖通道的表示图的图像。所述方法还包括：经由图形用户界面提供光标；检测到该光标与多个分支中的第一分支对齐；并且基于检测到该光标与第一分支对齐，修改光标的表示图。该方法还包括：接收表示旋转指令的第三用户输入；响应于第三用户输入，旋转解剖通道的表示图；并且经由图形用户界面显示解剖通道的旋转表示图的图像。

[0047] 本公开的一个总体方面包括一种包括多个机器可读指令的非暂时性机器可读介质，当由一个或多个处理器执行时，所述机器可读指令使得一个或多个处理器执行包括以下操作的操作：经由图形用户界面显示解剖通道的表示图，其中所述解剖通道包括多个分支；经由图形用户界面显示解剖标签的列表；接收从解剖标签的列表中选择第一标签的第一用户输入；接收选择多个分支中的第一分支的第二用户输入；并且将第一标签应用于第一分支。实现方式可以包括以下特征中的一者或多者。所述非暂时性机器可读介质，其中所述第一分支被包括在分支组中，所述非暂时性机器可读介质包括进一步的指令，该进一步的指令使得一个或多个处理器基于选择多个分支中的第一分支的第二用户输入将第一标签应用于分支组。所述非暂时性机器可读介质包括进一步的指令，该进一步的指令使得一个或多个处理器通过识别第一分支的后代分支并将后代分支添加到分支组来识别分支组。所述非暂时性机器可读介质包括进一步指令，该进一步的指令使得一个或多个处理器执行包括以下操作的操作：在将第一标签应用于第一分支时，基于解剖通道内的分支的布置选择第二标签。所述非暂时性机器可读介质包括进一步指令，该进一步指令使一个或多个处理器执行包括以下操作的操作：接收选择多个分支中的第二分支的第三用户输入；并且将第二标签应用于第二分支。所述非暂时性机器可读介质包括进一步指令，该进一步指令使得一个或多个处理器执行包括以下操作的操作：在应用解剖标签的列表中的每个标签时：
识别多个分支中的未标记的第二分支；并且经由图形用户界面显示第二分支未标记的指示。所述非暂时性机器可读介质包括进一步指令，该进一步指令使一个或多个处理器执行包括以下操作的操作：接收从解剖标签的列表中选择第二标签的第三用户输入；并且将第二标签应用于第二分支。所述非暂时性机器可读介质包括进一步指令，该进一步指令使得一个或多个处理器执行包括以下操作的操作：经由图形用户界面显示第二标签的状态指示符，其指示第二标签被分配给不止一个分支。所述非暂时性机器可读介质包括进一步指令，该进一步指令使得一个或多个处理器执行包括以下操作的操作：经由图形用户界面显示应用于第一分支的第一标签的表示图。所述非暂时性机器可读介质包括进一步的指令，该进一步的指令使得一个或多个处理器基于将第一标签应用于第一分支来执行包括以下操作的操作：向第一分支分配颜色；并且经由图形用户界面显示带有用分配的颜色着色的第一分支的解剖通道的表示图。所述非暂时性机器可读介质，其中所述第一分支被包括在分支组中，所述非暂时性机器可读介质包括进一步的指令，该进一步的指令使得一个或多个处理器基于将第一标签应用于第一分支来执行包括以下操作的操作：向分支组分配颜色；并且经由图形用户界面显示带有用分配的颜色着色的分支组的解剖通道的表示图。所述非暂时性机器可读介质包括进一步的指令，该进一步的指令使得一个或多个处理器：经由图形用户界面提供光标；检测到该光标与多个分支中的一者对齐；并且基于检测到光标对齐，修改光标的表示图。非暂时性机器可读介质包括进一步指令，该进一步的指令使得一个或多个处理器基于选择第一标签的第一用户输入和选择多个分支中的第一分支的第二用户输入：将第一标签和第一分支与应用于第二分支的第二标签进行比较以确定第一标签和第二标签是否冲突；并且当确定第一标签和第二标签不冲突时，将第一标签应用于第一分支。

[0048] 本公开的一个总体方面包括一种规划工作站，其包括：显示系统；以及用户输入装置；其中规划工作站可以被配置为经由显示系统显示包括多个分支的解剖通道；经由显示系统显示标签列表；经由用户输入装置接收选择多个分支中的第一分支的第一用户输入；经由用户输入装置接收从标签列表中选择第一标签的第二用户输入；并且响应于第一用户输入和第二用户输入，经由显示系统显示应用于第一分支的第一标签的表示图。实现方式可以包括以下特征中的一者或多者。所述规划工作站，其中所述规划工作站还被配置为响应于第一标签被应用于第一分支，基于解剖通道内的分支的布置从标签列表中选择第二标签。所述规划工作站，其中所述规划工作站还被配置为执行包括以下操作的操作：识别多个分支中的未标记的第二分支；并且经由显示系统显示第二分支未标记的指示。所述规划工作站，其中所述规划工作站还被配置为响应于选择第一分支的第一用户输入，执行包括以下操作的操作：从包括第一分支的多个分支中识别分支组；将第一标签应用于分支组；并且经由显示系统显示应用于分支组的第一标签的表示图。所述规划工作站，其中所述规划工作站还被配置为响应于选择第一分支的第一用户输入，执行包括以下操作的操作：确定第一标签是否与第二标签冲突；并且当确定第一标签与第二标签不冲突时，将第一标签应用于第一分支。

[0049] 图1为根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可以适用于例如外科手术程序、诊断程序、治疗程序或活检程序。如图1所示，医疗系统100通常包括用于操作医疗器械104以对患者P执行各种程序的远程操作的操纵器组件102。远程操作的操纵器组件102被安装在手术台T上或其附近。主控组件106允许操作者(例如，如图1所示的外科医生、临床医生或医师O)观察介入部位并且控制远程操作的操纵器组件102。

[0050] 主控组件106可以位于外科医生的控制台处，该控制台通常位于与手术台T相同的房间中，诸如在患者P所在的手术台的侧面。然而，应当理解，医师O可以位于与患者P不同的房间或完全不同的建筑物中。主控组件106通常包括用于控制远程操作的操纵器组件102的一个或多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别装置、身体运动或存在传感器和/或诸如此类。为了向医师O提供直接控制器械104的强烈感觉，控制装置可以被提供有与相关医疗器械104相同的自由度。以这种方式，控制装置为医师O提供控制装置与医疗器械104为一体的远程呈现/远程临场感或者感知。

[0051] 在一些实施例中，控制装置可以具有比相关联的医疗器械104更多或更少的自由度，并且仍然为医师O提供远程呈现。在一些实施例中，控制装置可以可选地为以六个自由度移动的手动输入装置，并且还可以包括用于致动器械(例如，用于闭合抓取夹具、向电极施加电势、输送药物治疗和/或诸如此类)的可致动手柄。

[0052] 远程操作的操纵器组件102支撑医疗器械104并且可以包括一个或多个非伺服控制连杆的运动学结构(例如，可以被手动定位并锁定在适当位置的一个或多个连杆，通常称为装配结构)和远程操作操纵器。远程操作的操纵器组件102可以可选地包括多个致动器或马达，其响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入装置。致动器可以可选地包括驱动系统，当耦连到医疗器械104时，驱动系统可以将医疗器械104推进到自然或手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械
104的远端，所述自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔坐标轴线旋转)。另外，致动器可以被用于致动医疗器械104的可铰接的末端执行器，以用于抓取活检装置和/或类似物的夹具中的组织。
诸如解码器、编码器、电位计和其他机构的致动器方位传感器可以向医疗系统100提供描述马达轴的旋转和取向的传感器数据。该方位传感器数据可以被用于确定由致动器操纵的对象的运动。

[0053] 远程操作医疗系统100可以包括具有用于接收关于远程操作的操纵器组件102的器械的信息的一个或多个子系统的传感器系统108。这种子系统可以包括方位/位置传感器系统(例如，电磁(EM)传感器系统)；形状传感器系统，其用于确定沿着可以构成医疗器械104的柔性主体的远端和/或一个或多个区段的方位、取向、速度、速率、姿态和/或形状；和/或用于从医疗器械104的远端捕获图像的可视化系统。

[0054] 远程操作医疗系统100还包括显示系统110，其用于显示由传感器系统108的子系统生成的手术部位和医疗器械104的图像或表示图。显示系统110和主控组件106可以被取向，使得医师O能够利用远程呈现的感知来控制医疗器械104和主控组件106。

[0055] 在一些实施例中，医疗器械104可以具有可视化系统(在下面更详细讨论的)，其可以包括观察镜组件，该观察镜组件记录手术部位的即时或实时图像并且通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)将图像提供给操作者或医师O。即时图像可以为例如由位于手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括内窥镜部件，其可以一体地或可移除地耦连到医疗器械104。然而，在一些实施例中，附连到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对手术部位成像。可视化系统可以被实现为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，所述计算机处理器可以包括控制系统112的处理器。

[0056] 显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主控组件106的控件，使得医疗器械的相对方位类似于医师O的眼睛和手的相对方位。以这种方式，医师O可以操纵医疗器械104和手动控件，好像在基本上真实临场的情况下观察工作空间。就真实临场而言，它意味着图像的呈现是模拟正在物理操纵医疗器械104的医师的视点的真实透视图像。

[0057] 在一些示例中，显示系统110可以使用来自成像技术的图像数据来呈现术前或术中记录的手术部位的图像，成像技术诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管 X射线成像和/或类似技术。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像和/呈现为来自从术前或术中图像数据集创建的表示图/表示(representation)(诸如模型)的图像。

[0058] 在一些实施例中，通常出于成像引导外科手术程序的目的，显示系统110可以显示虚拟导航图像，在虚拟导航图像中医疗器械104的实际位置与术前或即时图像或表示图(例如，模型)配准(即，动态地参考)。这样做可以从医疗器械104的视点向医师O呈现内部手术部位的虚拟图像。在一些示例中，视点可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以被叠加在虚拟图像上，以帮助医师O控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。

[0059] 在一些实施例中，显示系统110可以显示虚拟导航图像，在该虚拟导航图像中，医疗器械104的实际位置与术前或即时图像配准，以从外部视点向医师O呈现手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形或字母数字指示符可以被叠加在虚拟图像上，以帮助医师O控制医疗器械104。如本文所述，数据点的视觉表示图可以被渲染到显示系统110。例如，本文描述的测量数据点、移动数据点、配准数据点和其他数据点可以以视觉表示图显示在显示系统110上。数据点可以通过显示系统110上的多个点或斑在用户界面中可视地表示，或者被可视地表示为渲染的表示图(例如，渲染的模型)，诸如基于数据点集创建的网格或线模型。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作已经实现以改变数据点之后，可以在显示系统110中刷新视觉表示图。

[0060] 远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，该计算机处理器用于实现医疗器械104、主控组件106、传感器系统108和显示系统110之间的控制。控制系统112还包括实现根据本文公开的各方面描述的一些或所有方法的编程指令(例如，存储指令的非暂时性机器可读介质)，其包括用于向显示系统110提供信息的指令。虽然在图1的简化示意图中控制系统112被示为单个块，但是本系统可以包括两个或更多个数据处理电路，其中，处理的一部分可选地在远程操作的操纵器组件102上或其附近执行，处理的另一部分在主控组件106和/或类似物处执行。控制系统112的处理器可以执行指令，该指令包括与本文公开的并且在下面更详细地描述的过程对应的指令。可以采用各种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以实现为多个单独的程序或子例程，或者它们可以集成到本文描述的远程操作系统的许多其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA(红外数据通信)、HomeRF(家用射频)、IEEE 802.11、DECT(数位加强式无线通信)和无线遥测。

[0061] 在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于反馈，控制系统112可以将信号发送到主控组件106。在一些示例中，控制系统112可以发送指示远程操作的操纵器组件102的一个或多个致动器移动医疗器械104的信号。医疗器械104可以经由患者P的身体中的开口延伸到患者P的体内的内部手术部位。可以使用任何合适的传统和/或专用致动器。在一些示例中，一个或多个致动器可以与远程操作的操纵器组件102分离或成一体。在一些实施例中，一个或多个致动器和远程操作的操纵器组件102被提供作为邻近患者P和手术台T定位的远程操作手推车的一部分。

[0062] 控制系统112可以可选地进一步包括虚拟可视化系统，以在图像引导外科手术程序期间控制医疗器械104时向医师O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的手术部位的图像，成像技术诸如诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或类似技术。可以与手动输入装置结合使用的软件被用于将记录的图像转换成部分或整个解剖器官或解剖区域的分割二维或三维复合表示图。图像数据集与复合表示图相关联。复合表示图和图像数据集描述了通道的各种位置和形状及其连接性。用于生成复合表示图的图像可以在临床程序期间被术前或术中记录。在一些实施例中，虚拟可视化系统可以使用标准表示图(即，不是患者特定的)或标准表示图和患者特定数据的混合。复合表示图和由复合表示图生成的任何虚拟图像可以表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿势。

[0063] 在虚拟导航程序期间，传感器系统108可以用于计算医疗器械104相对于患者P的解剖体的近似位置。该位置可以用于产生患者P的解剖体的宏观层面(外部)跟踪图像和患者P的解剖体的虚拟内部图像两者。本系统可以实现一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器以配准医疗器械与术前记录的外科手术图像并且一起显示医疗器械与术前记录的外科手术图像。例如，美国专利申请号13/107,562(2011年5月13日提交)(公开了“Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery”)公开了一种这样的系统，该申请通过引用整体并入本文。远程操作医疗系统100还可以包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括不止一个的远程操作的操纵器组件和/或不止一个的主控组件。远程操作的操纵器组件的确切数量将取决于外科手术程序和手术室内的空间限制以及其他因素。主控组件106可以并置或者它们可以位于不同的位置。多个主控组件允许不止一个操作者以各种组合控制一个或多个远程操作的操纵器组件。

[0064] 图2A为根据一些实施例的医疗器械系统200的简化图。在一些实施例中，医疗器械系统200可以用作利用远程操作医疗系统100执行的图像引导医疗程序中的医疗器械104。在一些示例中，医疗器械系统200可以用于非远程操作探索程序或涉及传统手动操作医疗器械(诸如内窥镜检查)的程序。可选地，医疗器械系统200可以用于收集(即，测量)对应于患者(诸如患者P)的解剖通道内的位置的数据点集。

[0065] 医疗器械系统200包括耦连到驱动单元204的细长装置202。细长装置202包括具有近端217和远端或尖端部分218的柔性主体216。在一些实施例中，柔性主体216具有约3mm的外直径。其他柔性主体外直径可以更大或更小。

[0066] 医疗器械系统200还包括跟踪系统230，其用于使用一个或多个传感器和/或成像装置确定沿着柔性主体216的远端218和/或一个或多个区段224处的柔性主体216的方位、取向、速度、速率、姿态和/或形状，如下面进一步详细描述的。在远端218和近端217之间的柔性主体216的整个长度可以有效地分成区段224。如果医疗器械系统200与远程操作医疗系统100的医疗器械104一致，则跟踪系统230。跟踪系统230可以可选地实现为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，所述计算机处理器可以包括图1中的控制系统112的处理器。

[0067] 跟踪系统230可以可选地使用形状传感器222跟踪远端218和/或一个或多个区段224。形状传感器222可以可选地包括与柔性主体216对准的光纤(例如，被提供在内部通道(未示出)内或被安装在外部)。在一个实施例中，光纤的直径约为200μm。在其他实施例中，尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤被用于在一个或多个维度中提供结构中的应变测量。用于监测光纤在三维中的形状和相对方位的各种系统和方法被描述在美国专利申请号11/180,389(2005年7月13日提交)(公开了“Fiber optic position and shape sensing device and method relating thereto”)；美国专利申请号12/047,
056(2004年7月16日提交)(公开了“Fiber-optic shape and relative position sensing”)；美国专利号6,389,187(1998年6月17日提交)(公开了“Optical Fibre Bend Sensor”)中，它们通过引用整体并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，柔性主体
216的形状可以使用其他技术来确定。例如，柔性主体216的远端姿态的历史可以被用于在时间间隔内重建柔性主体216的形状。在一些实施例中，跟踪系统230可以使用方位传感器系统220可选地和/或另外地跟踪远端218。方位传感器系统220可以是EM传感器系统的部件，其中方位传感器系统220包括可以经受外部生成的电磁场的一个或多个导电线圈。然后，EM传感器系统220的每个线圈产生感应电信号，该感应电信号具有取决于线圈相对于外部生成的电磁场的方位和取向的特性。在一些实施例中，方位传感器系统220可以被配置和定位成测量六个自由度(例如，三个位置坐标X、Y、Z和指示基点的俯仰、偏转和滚动的三个取向角)或五个自由度(例如，三个位置坐标X、Y、Z和指示基点的俯仰和偏转的两个取向角)。方位传感器系统的进一步描述被提供在美国专利号6,380,732(1999年8月11日提交)(公开了“Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked”)中，其通过引用整体并入本文。

[0068] 在一些实施例中，跟踪系统230可以交替地和/或另外地依赖于沿着交替运动的循环(诸如呼吸)为器械系统的已知点存储的历史姿态、方位或取向数据。该存储的数据可以被用于开发关于柔性主体216的形状信息。在一些示例中，诸如与方位传感器220中的传感器类似的电磁(EM)传感器的一系列方位传感器(未示出)可以沿着柔性主体216定位并且然后被用于形状感测。在一些示例中，在程序期间从这些传感器中的一个或多个获取的数据的历史可以被用于表示细长装置202的形状，特别在解剖通道通常是静态的情况下。

[0069] 柔性主体216包括通路221，通路221的尺寸和形状被设计成接收医疗器械226。图2B是根据一些实施例的具有延伸的医疗器械226的柔性主体216的简化图。在一些实施例中，医疗器械226可以用于诸如外科手术、活检、消融、照明、冲洗或抽吸的程序。医疗器械
226可以通过柔性主体216的通路221部署并且在解剖体内的目标位置处使用。医疗器械226可以包括例如图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断或治疗工具。医疗工具可以包括末端执行器，其具有单个工作构件，诸如手术刀、钝刀片、光纤、电极和/或诸如此类。其他末端执行器可以包括例如镊子、抓紧器、剪刀、施夹器和/或诸如此类。
其他末端执行器可以进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器和/或诸如此类。在各种实施例中，医疗器械226为活检器械，其可以用于从目标解剖位置移除样品组织或细胞取样。医疗器械226也可以与柔性主体216内的图像捕获探针一起使用。
在各种实施例中，医疗器械226可以为图像捕获探针，其包括在柔性主体216的远端218处或其附近具有立体摄像机或单视场摄像机的远侧部分，立体摄像机或单视场摄像机用于捕获图像(包括视频图像)，该图像由可视化系统231处理以显示和/或提供给跟踪系统230以支持远端218和/或一个或多个区段224的跟踪。图像捕获探针可以包括耦连到摄像机用于发送捕获的图像数据的缆线。在一些示例中，图像捕获器械可以为耦连到可视化系统231的光纤束，诸如纤维镜。图像捕获器械可以为单光谱或多光谱的，其用于例如在可见光、红外光和/或紫外光谱中的一者或多者中捕获图像数据。可替代地，医疗器械226本身可以为图像捕获探针。医疗器械226可以从通路221的开口被推进以执行该程序，然后当程序完成时缩回到通路中。医疗器械226可以从柔性主体216的近端217移除或者从另一个可选的器械端口(未示出)沿着柔性主体216移除。

[0070] 医疗器械226可以另外容纳在其近端和远端之间延伸以可控地弯曲医疗器械226的远端的缆线、联动装置或其他致动控件(未示出)。可转向的器械在美国专利号7,316,681(2005年10月4日提交)(公开了“Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity”)和美国专利申请号12/286,644(2008年9月30日提交)(公开了“Passive Preload and Capstan Drive for Surgical Instruments”)中详细描述，其通过引用整体并入本文。

[0071] 柔性主体216还可以容纳在驱动单元204和远端218之间延伸以可控地弯曲远端218的缆线、联动装置或其他转向控件(未示出)，例如如通过远端218的虚线描绘219所示的。在一些示例中，至少四根缆线被用于提供独立的用于控制远端218的俯仰和“上下”转向和用于控制远端281的偏转的“左右”转向。可转向导管在美国专利申请号13/274,208(2011年10月14日提交)(公开了“Catheter with Removable Vision Probe”)中详细描述，该专利申请通过引用整体并入本文。在医疗器械系统200由远程操作组件致动的实施例中，驱动单元204可以包括驱动输入，该驱动输入可移除地耦连到远程操作组件的驱动元件(诸如致动器)并且从其接收电力。在一些实施例中，医疗器械系统200可以包括握持特征、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以为可转向的，或可替代地，系统可以为不可转向的，其没有用于操作者控制远端218的弯曲的集成机构。在一些示例中，一个或多个管腔被限定在柔性主体216的壁中，医疗器械可以通过该一个或多个管腔在目标外科手术位置处部署并使用。

[0072] 在一些实施例中，医疗器械系统200可以包括柔性支气管器械，诸如支气管镜或支气管导管，其用于肺部的检查、诊断、活检或治疗。医疗器械系统200还适用于经由自然或外科手术创建的连接通道在各种解剖系统中导航和治疗其他组织，包括结肠、肠、肾和肾小管、大脑、心脏、循环系统(包括脉管系统)和/或诸如此类。

[0073] 来自跟踪系统230的信息可以被发送到导航系统232，在导航系统232中该信息与来自可视化系统231和/或术前获得的表示图(例如，模型)的信息组合，以向医师、临床医生或外科医生或其他操作者提供实时方位信息。在一些示例中，实时方位信息可以被显示在图1的显示系统110上，以用于控制医疗器械系统200。在一些示例中，图1的控制系统116可以将方位信息用作用于定位医疗器械系统200的反馈。2011年5月13日提交的美国专利申请号13/107,562中提供了用于使用光纤传感器来配准和显示外科手术器械与外科手术图像的各种系统，其公开了“Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery”，其通过引用整体并入本文。

[0074] 在一些示例中，医疗器械系统200可以在图1的医疗系统100内进行远程操作。在一些实施例中，图1的远程操作的操纵器组件102可以由直接操作者控件代替。在一些示例中，直接操作者控件可以包括用于器械的手持操作的各种手柄和操作者界面。

[0075] 图3A和3B为根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。如图3A和3B所示，外科手术环境300包括定位在平台302上的患者P。患者的总体运动受到镇静，束缚和/或其他手段的限制，从这个意义上说，患者P可以在外科手术环境中静止。包括患者P的呼吸和心脏运动的循环解剖学运动可以继续，除非要求患者屏住他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，可以在呼吸的特定阶段收集数据，并且用该阶段标记和识别数据。在一些实施例中，可以从患者P采集的生理信息推断采集数据的阶段。在外科手术环境300内，点收集器械304被耦连到器械托架306。在一些实施例中，点收集器械304可以使用EM传感器、形状传感器和/或其他传感器模态。器械托架
306被安装到固定在外科手术环境300内的插入台308。可替代地，插入台308可以为可移动的，但在外科手术环境300内(例如，经由跟踪传感器或其他跟踪装置)具有已知位置。器械托架306可以为远程操作的操纵器组件(例如，远程操作的操纵器组件102)的部件，其被耦连到点收集器械304以控制插入运动(即，沿着A轴线的运动)，并且可选地控制细长装置310的远端318在多个方向上的运动(包括偏转、俯仰和滚动)。器械托架306或插入台308可以包括致动器，诸如伺服马达(未示出)，其控制器械托架306沿插入台308的运动。

[0076] 细长装置310被耦连到器械主体312。器械主体312相对于器械托架306耦连和固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以与器械主体312一起移动，但是近侧点316的位置可以是(例如，经由跟踪传感器或其他跟踪装置)已知的。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。点收集器械304可以基本上类似于医疗器械系统200。

[0077] 方位测量装置320提供关于器械主体312在插入台308上沿插入轴线A移动时的方位的信息。方位测量装置320可以包括解码器、编码器、电位计和/或确定控制器械托架306的运动并因此控制器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308为线性的。在一些实施例中，插入台308可以为弯曲的或具有弯曲和线性部段的组合。

[0078] 图3A示出了沿着插入台308处于缩回方位的器械主体312和器械托架306。在该缩回方位，近侧点316位于轴线A上的方位L0。在沿插入台308的该方位中，近侧点316的位置的A分量可以被设定为零和/或另一参考值以提供基准参考来描述器械托架306在插入台308上的方位并因此描述近侧点316在插入台308上的方位。利用器械主体312和器械托架306的这种缩回方位，细长装置310的远端318可以恰好定位在患者P的进入孔口内。同样在该方位中，方位测量装置320可以被设定为零和/或另一个参考值(例如，I＝0)。在图3B中，器械主体312和器械托架306已经沿着插入台308的线性轨道被推进，并且细长装置310的远端318已经被推进到患者P中。在该推进方位，近侧点316处于轴线A上的方位L1处。在一些示例中，来自控制器械托架306沿插入台308的移动的一个或多个致动器和/或与器械托架306和/或插入台308相关联的一个或多个方位传感器的编码器和/或其他方位数据被用于确定近侧点316相对于方位L0的方位Lx。在一些示例中，方位LX可以进一步用作细长装置310的远端318插入患者P的解剖体的通道中的距离或插入深度的指示符。

[0079] 在说明性应用中，诸如医疗器械系统200的医疗器械系统可以包括用于肺活组织检查程序的机器人导管系统。机器人导管系统的导管提供用于工具的导管，工具诸如内窥镜、支气管内超声(EBUS)探针和/或活组织检查工具，其被递送到气道内的位置，在这些位置处，存在肺活组织检查的一个或多个目标，诸如病变、结节、肿瘤和/或类似物。当导管被驱动通过解剖体时，通常安装内窥镜，使得临床医生(诸如外科医生O)可以监测导管远端的实时摄像机馈送。实时摄像机馈送和/或其他实时导航信息可以经由图形用户界面显示给临床医生。用于监测活组织检查程序的图形用户界面的示例在题为“Graphical User Interface for Monitoring an Image-Guided Procedure and”并于2017年4月18日提交的美国临时专利申请号62/486,879中进行了描述，其通过上述引用并入本文。

[0080] 在使用机器人导管系统执行活组织检查程序之前，可以执行术前规划步骤以规划活组织检查程序。术前规划步骤可以包括图像数据(诸如患者CT扫描)的分割以创建解剖体的3D模型，选择3D模型内的目标，确定模型中的气道，扩大气道以形成连接的气道树，并规划目标和连接树之间的轨迹。这些步骤中的一者或多者可以在用于执行活组织检查的相同机器人导管系统上执行。可替换地或另外地，规划可以在不同的系统(例如专用于术前规划的工作站)上执行。活组织检查程序的规划可以(例如，作为一个或多个数字文件)被保存并且被传送到用于执行活组织检查程序的机器人导管系统。所保存的规划可以包括3D模型、气道的识别、目标位置、至目标位置的轨迹，通过3D模型的路线和/或诸如此类。

[0081] 下面提供用于规划医疗程序的图形用户界面的说明性实施例，包括但不限于上述肺活组织检查程序。图形用户界面可以包括多种模式，包括数据选择模式、混合分割和规划模式、预览模式、保存模式、管理模式和回顾模式。图形用户界面的一些方面类似于2016年6月30日提交的题为“Graphical User Interface for Displaying Guidance Information During and Image-Guided Procedure”的美国临时专利申请号62/357,217和2016年6月30日提交的题为“Graphical User Interface for Displaying Guidance Information in a Plurality of Modes During and Image-Guided Procedure”的美国临时专利申请号62/357,258中描述的特征，其全部内容通过引用并入本文。

[0082] 图4-图9为根据一些实施例的可在显示系统诸如显示系统110和/或独立规划工作站的显示系统上显示的图形用户界面400的简化图。图形用户界面400显示与在用户(诸如外科医生O)可查看的一个或多个视图中规划医疗程序相关联的信息。尽管图4-9中描绘了视图的说明性布置，但应理解，图形用户界面400可以以任何合适的布置和/或在任何合适数量的屏幕上显示任何合适数量的视图。在一些示例中，可以通过打开和关闭视图、最小化和最大化视图、在图形用户界面400的前景和背景之间移动视图、在屏幕之间切换和/或以其他方式完全或部分地掩盖视图来改变同时显示的视图的数量。类似地，视图的布置(包括它们的大小、形状、取向、排序(在重叠视图的情况下)和/或诸如此类)可以变化和/或可以为用户可配置的。

[0083] 在一些示例中，图形用户界面400可以包括一个或多个页眉、页脚、侧边栏、菜单、消息栏、弹出窗口和/或诸如此类。如图4-9所描绘，图形用户界面400包括基于图形用户界面400的模式进行更新的动态页眉410。在各种示例中，页眉400可以包括下拉控制菜单、页面标题、导航控件(例如，继续按钮和/或后退按钮)、患者信息、搜索栏和/或诸如此类。

[0084] 图4示出了根据一些实施例的处于数据选择模式中的图形用户界面400。数据选择模式用于选择在规划医疗程序时使用的数据源、患者和/或图像数据。因此，源选择模式中的图形用户界面400可以包括数据源选择器420、患者选择器430和数据选择器440。如图4所描绘，数据源选择器420包括用于从USB装置、DVD和/或网络加载数据的选项。应当理解，可以从各种其他源(包括外部和/或本地源)(例如，本地硬盘驱动器)加载数据。患者选择器430包括患者列表，其图像数据可从所选择数据源获得。各种患者属性可以在列表中显示，包括患者姓名、性别、出生日期、唯一患者ID和/或诸如此类。数据选择器440包括来自所选择数据源的可用于所选择患者的图像数据的列表。数据的各种属性可以在列表中显示，包括数据描述、获取数据的日期和/或指示用于规划医疗程序的图像数据的适合性的适合性评级。适合性评级可以为定性的和/或定量的，并且可以手动和/或自动分配。评级可以呈现为数字分数、星级、百分位数、符号表示和/或类似物。在一些示例中，适合性评级可以基于用于获取图像数据的成像技术的质量来确定。一旦选择了图像数据，用户就可以使用所选择的图像数据继续规划医疗程序。例如，用户可以点击和/或敲击导航面板450的加载按钮以继续。

[0085] 图5A-图5G示出了根据一些实施例的处于混合分割和规划模式中的图形用户界面400。分割为分析图像数据(诸如在数据选择模式中选择的图像数据)并且从数据创建3D模型的过程。在题为“Systems and Methods for Pre-Operative Modeling”的美国专利申请号14/845,031中描述了用于执行CT数据分割的自动化技术的示例，该申请通过引用整体并入本文。分割过程通常在一时间段(例如，一到三分钟)内发生，其可以根据许多因素(包括CT图像数据的质量、CT图像数据的大小和/或复杂性、3D模型中的细节水平、可用计算资源和/或诸如此类)变化。在一些示例中，图形用户界面400的混合分割和规划模式可以允许用户在分割过程正在发生时并且在3D模型完成之前基于图像数据和/或3D模型来规划医疗程序。因此，规划医疗程序的过程可以被加速，因为用户能够开始规划医疗程序而无需等待完成可能冗长的分割过程。

[0086] 在一些实施例中，混合分割和规划模式中的图形用户界面400可以被分成一个或多个帧。如图5A-图5G所示，图形用户界面400包括控制帧510和画布帧520。控制帧510提供用于规划医疗程序的一组控件和/或指示符。在一些示例中，控制帧510可以提供用于添加、查看、修改和/或删除模型和/或规划的一个或多个特征(诸如目标、路径、气道、轨迹和/或危险)的控件。在一些示例中，控制帧510可以提供控件以撤消和/或重做对规划的最近改变。在一些示例中，控制帧510可以基于沿着分割过程的进行程度来提供分割进度指示符515。分割进度指示符515可以被格式化为进度条、经过时间指示符、估算剩余时间指示符和/或任何其他合适的分割进度指示符。在一些实施例中，当分割完成时，分割进度指示符
515可以消失。

[0087] 在一些实施例中，混合分割和规划模式中的图形用户界面400可以包括画布帧520。如图5A-图5G所示，画布帧520提供用于选择、查看图像数据和/或模型数据和/或与图像数据和/或模型数据交互的工作空间522。可以经由工作空间522执行的说明性功能包括添加、修改和/或删除规划的特征(例如，目标、路径和/或危险)，操纵3D模型和/或验证分割过程的准确性。为了适应这些功能，工作空间522可以在多个交互式视图之间转换，包括选择视图、一个或多个图像视图以及一个或多个模型视图。

[0088] 在一些示例中，画布帧520可以包括提供可用工具列表的工具选择器524。如图5A-图5G所描绘，工具列表包括移动工具、放大镜工具、窗口/水平工具、物体绘制工具、线条绘制工具、修剪工具、危险工具、角度和/或距离测量工具、撤销/重做工具和/或类似工具。在一些示例中，可以基于工作空间522中显示的当前视图来启用和/或禁用某些工具。例如，当前视图未使用的工具可以被隐藏、变灰和/或以其他方式不可选择。在一些示例中，单击工具可以使菜单显示子工具列表。例如，对象绘制工具可以包括用于绘制各种2D和/或3D对象(诸如自由形式对象、预定义的2D形状(例如，圆形、矩形、椭圆形等)、3D形状(例如，球形、3D椭圆体等)和/或诸如此类)的子工具。在一些示例中，工具选择器524可以包括用于半自动地检测底层图像数据中的对象的工具(例如，单击图像数据中的点并使用边缘检测技术来自动识别对应的对象)。尽管工具选择器524被描绘为侧边栏，但是应当理解，工具选择器524可以以各种格式(包括调色板，页眉，页脚，下拉菜单，自动隐藏菜单和/或诸如此类)定位和/或显示。在一些实施例中，工具选择器524可以被省略，诸如当使用键盘快捷键执行工具选择时。

[0089] 图5A示出了在工作空间522中显示的选择视图的示例。在选择视图中，一组选择531-536被呈现为缩略图网格。选择531-536中的每者对应于图像数据和/或表示图(例如，模型)数据的不同渲染。所述渲染可以基于它们的视角、缩放级别、数据类型、样式和/或类似物而变化。例如，图像数据的渲染可以从各种视角(包括横向，矢状，冠状和/或虚拟内窥镜视角)而被提供。在图5A所描绘的示例中，对应于所渲染的表示数据的选择535和536显示等待指示符，因为分割尚未完成且表示图未准备好供显示。另一方面，对应于图像数据的渲染的选择531-534填充有实际图像数据，因为图形用户界面400允许在分割完成之前显示和/或接收图像数据的交互输入。一旦接收到对渲染的选择，就可以经由交互式窗口显示所选择的渲染、接收到的交互式输入或两者。例如，用户输入(诸如单击或点击)可以经由所选择的渲染的扩展视图按钮537而被接收以继续。在一些示例中，当检测到用户或悬停在对应选择上的用户保持对象时，扩展视图按钮537可以出现，否则扩展视图按钮537就会消失。虽然选择531-536被描绘为以缩略图网格排列，但是各种替代方案是可能的，诸如选择的列表。

[0090] 图5B-图5F示出了在工作空间522中显示的交互式窗口541的示例。交互式窗口541显示使用选择视图选择的渲染。在一些示例中，选择侧边栏542可以与交互式窗口541并排显示，以允许用户改变到不同的渲染而无需返回到选择视图。例如，选择侧边栏542可以显示通常对应于选择531-536的缩略图图像的可滚动栏，其中当前选择由蓝色边框标识。

[0091] 如图5B所描绘，原始图像数据543(例如，CT图像数据)被显示为第一调色板，诸如灰度，并且分割数据544(例如，检测到的气道)显示为对比色或阴影，诸如粉红色。在一些示例中，当分割仍在进行中时，分割数据544可以被动态地更新以反映分割进度。例如，随着时间的推移检测到新的气道，新的粉红色区域可以动态地出现在交互式窗口541中。

[0092] 在一些示例中，交互式窗口541可以显示医疗程序的规划的一个或多个特征，诸如目标、路径和/或危险。这些特征可以包括基于用户输入的特征、自动提取的特征、半自动提取的特征和/或类似特征。根据一些实施例，对特定渲染中所做的一个或多个特征的改变可以被动态地传播到其他渲染。例如，在一个渲染中添加的目标可以自动出现在其他渲染中，包括选择侧边栏542的缩略图图像。

[0093] 如图5B中所描绘，所述特征包括在底层图像数据中可见的病变上使用圆形工具识别的目标550。目标550的大小、形状和/或方位可以被调整从而以期望精度水平捕获病变的形状。当目标550的大小、形状和/或方位被调整时，在控制帧510中更新对应于目标550的统计552。在一些示例中，目标550可以通过使用控制帧510中提供的控件而被命名、重命名和/或删除。在一些示例中，在第一目标已经通过经由控制帧510检测到对应的用户输入而被识别之后，控制帧510中提供的控件能够识别附加目标。附加地或可替代地，工具选择器524可以包括用于添加、修改和/或删除目标的一个或多个工具。在一些示例中，在一次渲染中识别目标550可以自动地使目标550的更新表示图出现在其他渲染中。因此，可以基于从可切换地显示的可用渲染中检测用户输入，从多个视角调整目标550的参数。

[0094] 在图5C中，交互式窗口541包括目标550和出口位置562之间的轨迹560。出口位置562对应于医疗器械离开由分割过程检测到的解剖通道以到达目标550的点。在一些示例中，出口位置562是从最靠近的解剖通道至目标550的最靠近点。轨迹560表示位于出口位置
562处以在目标550处执行一个或多个介入步骤的医疗器械的轨迹。例如，器械可以在出口位置处刺穿解剖通道的内腔。例如，医疗器械可以包括活检针、消融工具、化学输送系统、超声探针和/或诸如此类。在一些示例中，医疗器械可以具有最大轨迹长度。例如，活检针可能无法在距离出口位置562超过3cm的目标处进行活组织检查。因此，当轨迹560的长度大于
3cm时，图形用户界面400可以显示超出范围警告564。在一些实施例中，超出范围警告564可以基于阈值来提供，该阈值可以包括固定阈值和/或可变阈值，该阈值基于例如将要用于进入目标的工具的类型而设置。例如，活检针可以提供与消融工具或成像探针不同的插入深度，在这种情况下，阈值可以相应地变化。在另一个示例中，不同类型的活检针可以提供不同的插入深度。用户可以输入正在使用的工具类型，或者系统可以自动检测工具。如图5C所描绘，超出范围警告564被呈现为控制帧510中的消息。

[0095] 在一些实施例中，至给定目标的多个轨迹可以被识别，诸如当发现轨迹560不能到达和/或另外不适合在医疗程序期间使用时将要使用的替代轨迹。与这样的实施例一致，控制帧510可以包括用于向目标550添加替代轨迹的控件。附加地或可替代地，工具选择器524可以包括用于添加、修改和/或删除轨迹的一个或多个工具。

[0096] 在图5D-图5F中，交互式窗口541包括危险栅栏570。危险栅栏570被用于通过识别位于目标位置附近的解剖体的易受伤害部分来促进轨迹规划。解剖体的易受伤害部分的示例可以包括血管、肺胸膜、大疱和/或类似物。例如，在医疗程序期间穿刺肺胸膜可能会给患者带来危险的气胸。与这样的实施例一致，出口位置和/或出口位置与目标位置之间的轨迹可以被约束以避开解剖体的易受伤害部分。例如，当轨迹在解剖体的易受伤害部分的阈值距离内通过、破坏解剖体的易受伤害部分和/或类似情况时，轨迹可能是无效的。在图5D-图5F所描绘的示例中，危险栅栏570提供警告以在使用所规划的轨迹时保护靠近目标位置的肺胸膜的一部分免受刺穿。如图5D-图5F所描绘，危险栅栏570通过使用工具选择器524的危险工具而被放置。附加地或可替代地，危险栅栏可以使用控制帧510中呈现的控件而被添加、修改和/或移除。

[0097] 图5D-图5F中的每个附图示出了不同类型的危险栅栏570。在图5D中，危险栅栏570被显示为平面危险栅栏，其中一对控制点571和572用于限定三维中的圆盘。为了表达圆盘的三维方面，从交互式窗口541突出的圆盘的部分可以以纯色渲染，而投射到交互式窗口541中的圆盘的部分可以以褪色的颜色和/或半透明的颜色渲染。在图5E中，危险栅栏570被显示为圆锥形危险栅栏，其中一对外部控制点573和574用于将三维圆盘定义为圆锥底并且顶点控制点575用于定义锥体高度。在图5F中，危险栅栏570被显示为半球形危险栅栏，其中三个控制点576-578用于限定半球。在图5E和5F中，交互式窗口541进一步包括目标550和轨迹560。当轨迹560连接到不处于底层图像的平面中的出口位置时(即，当轨迹560投射到交互式窗口541中和/或突出交互式窗口541时)，投影579被显示以将轨迹560链接到建模的通道。

[0098] 各种其他类型的危险可以使用合适的指示符(诸如危险栅栏570)而被识别和标记。例如，解剖通道可以产生不能被某些医疗器械(诸如活检针和/或导管)穿过的紧凑弯曲。因此，可以使用阻挡标志来指示弯曲，使得用户知道规划避免弯曲的至目标的不同路线。可以使用自动、手动和/或半自动技术来确定规划路线是否包括太紧凑的任何弯曲。例如，考虑到在医疗程序中使用的各种医疗器械的已知物理特性，可以自动识别太紧凑的弯曲半径。附加地或可替代地，用户可以在视觉上识别看起来太紧凑的弯曲，和/或可以执行测量以确认弯曲太紧凑。在一些示例中，候选路线可以基于用户定义的路线规则和/或路线的可行性特征(诸如路线的长度、路线中遇到的最紧凑的弯曲、沿路线的通道的宽度、路线末端与目标之间的轨迹长度和/或诸如此类)而被自动排序。因此，用户可以基于排名在候选路线中进行选择。

[0099] 在图5G中，交互式窗口541显示与通过图像数据的分割生成的3D模型对应的表示图(例如，模型)580。在一些示例中，表示图580可能在分割完成之前不可用。在一些示例中，当分割不完整时，模型580的部分版本可以被显示并且可以被实时更新以反映正在进行的分割进度。在一些实施例中，边界581可以在模型580周围显示为半透明图案、线框图案和/或诸如此类。如图5G所描绘，边界581对应于肺胸膜。边界581的外观(例如，颜色、大小、纹理和/或诸如此类)可以变化以识别各种特征。例如，边界581可以被着色成红色以指示危险栅栏570的方位。还可以在交互式窗口541中描绘各种特征，包括目标550、轨迹560、出口位置562和/或类似物。根据一些实施例，交互式窗口541可以包括取向图标582，以识别模型580相对于患者身体的观察视角。在一些示例中，模型580中沿着至目标550的路线的通道的外观可以被改变以指示它们在沿着路线。例如，在路线上的通道可以被着色为蓝色的，而在模型580中的其他通道可以被着色为灰色的。

[0100] 在一些示例中，可以在控制帧510中提供出口角选择器583。出口角选择器583提供调整控件，诸如滑块，以沿着解剖通道调整出口位置562的方位。调整出口位置562的方位引起轨迹560相对于解剖通道的出口角的相应调整。在一些示例中，可能期望基于各种因素和/或度量来设定轨迹560的出口角，诸如默认或“经验法则”出口角(例如，45度)、出口位置562和目标550之间的距离和/或出口位置562和危险栅栏570之间的距离。因此，出口角选择器583可以通过允许用户快速测试出口角范围并确认相关度量落在可接受的范围内来加速定义轨迹560的过程。例如，出口角选择器583可以显示出口角的值(例如，在所提供的示例中为37度)、从出口位置562到目标550的距离(例如，在所提供的示例中为2.4cm)和/或从出口位置562到危险栅栏570的距离(例如，在所提供的示例中为7.4cm)。出口角选择器583的外观(例如，颜色、纹理、大小、字体等)可以变化以在一个或多个相关度量不在预定范围内和/或不满足预定阈值时警告用户。在一些示例中，当确定值在可接受范围之外时，可以禁用角度调整滑块的一个或多个值。

[0101] 图6示出了根据一些实施例的处于预览模式的图形用户界面400。预览模式被用于预览在混合分割和规划模式中准备的医疗程序的规划。预览模式中的图形用户界面400显示模拟的实况内窥镜视图610、匹配的虚拟内窥镜视图620、全局解剖表示图(例如，模型)视图630和缩小的解剖表示图(例如，模型)视图640。模拟的实况内窥镜视图610和虚拟内窥镜视图620描绘了来自解剖通道内部的表示图(例如，模型)的渲染。所述渲染是从遵循所规划的医疗程序的路线的虚拟内窥镜的视角来看的。模拟的实况内窥镜视图610和虚拟内窥镜视图620大致相似，除了模拟的实况内窥镜视图610包括逼真的细节(例如，解剖内腔中的血管)以模拟来自内窥镜的实际相机馈送，而虚拟内窥镜视图620利用朝向目标位置的方向提示(诸如轮廓线621、路线线条、箭头和/或类似物)来增强。在解剖通道分支的情况下，通道可以在虚拟内窥镜视图620中变亮以指示用户应该转向的方向。模拟的实况内窥镜视图610和虚拟内窥镜视图620中的一者或多者可以显示各种轨迹度量，诸如至目标位置和/或危险的剩余距离。

[0102] 全局解剖模型视图630通常对应于图5G中描绘的模型580的3D透视图。如图6中所描绘，全局解剖模型视图630包括模型渲染631，其包括解剖模型、边界、多个目标位置、危险栅栏和取向图标。解剖模型视图630进一步包括将导管632作为绿线的描绘。内窥镜视图610和620提供来自导管632的远端的匹配视图。

[0103] 在一些实施例中，处于预览模式中的图形用户界面400可以显示缩小的解剖模型视图640。缩小的解剖模型视图640提供了包括路线的关键解剖特征的医疗程序的规划路线的简化概述。路线路径641被表示为直线。导管632的描绘被覆盖在路线路径641上以指示导管632沿着路线路径641的进度。解剖通道643被渲染为2D分层投影，以提供通道643的宽度的简化指示。分支644被渲染以示出它们连接到通道643的位置，但是不渲染分支644的其他细节，诸如它们的各种子分支。指示出口角和/或附近危险的目标图标645位于路线路径641的远端处。当医疗程序的规划包括多个目标和/或路径时，选择器646被包括以在多个目标和/或路径之间切换。在美国临时专利申请号62/486,879中进一步讨论了缩小的解剖表示图(例如，模型)视图的实施例，该专利申请通过引用并入本文。

[0104] 如图6中所描绘，缩小的解剖模型视图640用作控制器以允许用户导航通过路线的预览。特别地，导管632的远端包括控制点650，其可以沿着路线路径641来回拖动。当来回拖动控制点650时，更新内窥镜视图610和620以反映导管632在控制点650的更新方位处的视点。此外，全局解剖模型视图630中的导管632的描绘被更新以反映导管632在控制点650的更新方位处的形状。在图6所描绘的示例中，控制点650被显示为三角锥，其表示内窥镜从导管远端的投影视图。在替代实施例中，控制点650可以为各种形状和大小。

[0105] 一旦规划的一个或多个路线已经被预览，临床医生就可以继续保存规划。例如，临床医生可以点击和/或敲击页眉410的下一步按钮以继续。可替代地，临床医生可以回到规划过程的早期阶段以根据需要进行改变。

[0106] 图7示出了根据一些实施例的处于保存模式的图形用户界面400。当所规划的医疗程序完成和/或准备传送到医疗器械以执行医疗程序时，使用保存模式。经由图形用户界面400呈现一组选项710。选项710可以包括传送选项、丢弃选项、删除选项和/或保存选项。保存选项可以包括在本地保存规划、保存到外部装置和/或通过网络将规划发送到例如云存储设施。一个或多个选项可能需要安装外部存储装置。例如，传送选项可能需要与规划将被传送到的医疗器械兼容的存储装置(例如，USB装置)。因此，消息720可以被显示以通知用户适用的存储装置要求。

[0107] 图8示出了根据一些实施例的处于管理模式的图形用户界面400。管理模式被用于管理可用规划。可用规划可以被本地存储，可以被存储在外部驱动器上，和/或可以通过网络下载。显示选择网格810，其包括规划的缩略图表示图(例如，表示图(例如，模型)、规划的路线、目标位置和/或类似物的渲染)。附加地或可替代地，选择网格810可以包括患者数据，诸如患者姓名、出生日期和/或诸如此类。在一些示例中，可以使用图形用户界面400的预览模式来重新加载和查看正在规划的程序。在一些示例中，正在规划的程序可以在任何时间被保存并且使用图形用户界面400的混合分割和规划模式而被重新加载以在稍后的时间继续工作。因此，选择网格810可以包括每个规划的状态(例如，传送、规划、开始和/或诸如此类)和/或上次保存规划的时间的指示。在一些示例中，可以查看、删除和/或传送所选择的规划。在一些实施例中，选择网格810可以包括创建新规划的选项。当选择新规划时，图形用户界面400可以前进到先前在图4中描述的数据选择模式。

[0108] 图9示出了根据一些实施例的处于回顾模式中的图形用户界面400。回顾模式被用于回顾完成的医疗程序的记录。在使用给定规划执行医疗程序之后，程序的记录可以被保存并被传送到规划工作站。在一些实施例中，记录的程序文件可以包括在程序期间捕获的实况内窥镜图像的视频、相关的虚拟内窥镜图像、显示程序期间导管移动的解剖表示图(例如，模型)、临床医生在程序期间所作的笔记和/或诸如此类。因此，可以显示查看器910，其包括回放控件(例如，播放、暂停、缩放和/或诸如此类)、快照控件、注释和/或书签控件和/或诸如此类。

[0109] 图10为根据一些实施例的用于规划医疗程序的方法1000的简化图。根据与图1-图9一致的一些实施例，方法1000可以用于以多种模式(包括数据选择模式、混合分割和规划模式、预览模式、保存模式、管理模式和回顾模式)操作图形用户界面(诸如图形用户界面
400)。在一些实施例中，图形用户界面为交互式的并且可以经由鼠标、键盘、触摸屏、触控笔、轨迹球、操纵杆、语音命令、虚拟现实界面和/或类似物接收用户输入。

[0110] 在过程1010处，在数据选择模式中经由图形用户界面选择数据。根据一些实施例，选择数据包括使用数据源选择器(诸如数据源选择器420)来选择数据源，使用患者选择器(诸如患者选择器430)来选择患者，以及使用数据选择器(诸如数据选择器440)来选择数据。可以通过在图形用户界面上使用加载按钮来确认选择。数据可以包括成像数据，诸如CT数据和/或任何其他类型的成像或患者数据。

[0111] 在过程1020处，在混合分割和规划模式中经由图形用户界面规划医疗程序。根据一些实施例，在过程1010处选择的数据包括被分割以基于所提取的通道生成解剖表示图(例如，模型)的图像数据。同时在分割期间，通过接收定义规划的特征(例如目标、危险和/或路径)的用户输入来规划医疗程序。在一些示例中，交互式窗口诸如交互式窗口541可以为用户提供用于从规划添加、修改和/或删除特征的界面。当分割已经进展使得表示图(例如，模型)准备好用于查看时，交互式窗口可以用于查看表示图(例如，模型)和/或与表示图交互。在一些示例中，目标可以不具有足够靠近以在目标和所提取的通道之间绘制有效轨迹(例如，短于最大轨迹长度的轨迹)的任何提取通道。因此，用户可以手动识别表示图(例如，模型)并且向表示图添加附近的通道。下面参考图11更详细地描述用于手动地将连接通道添加到表示图(例如，模型)的示例性方法。

[0112] 在过程1030处，在预览模式下经由图形用户界面预览所规划的医疗程序。根据一些实施例，预览医疗程序可以包括查看实况模拟的内窥镜视图(诸如实况模拟内窥镜视图610)、虚拟内窥镜视图(诸如虚拟内窥镜视图620)、解剖模型视图(诸如解剖模型视图630)和/或简化的模型视图(诸如简化的模型视图640)。根据一些实施例，简化的模型视图可以包括控制点(诸如控制点650)，其用以在医疗程序的预览中来回滚动。

[0113] 在过程1040处，所规划的医疗程序在保存模式下经由图形用户界面传送到医疗器械。根据一些实施例，传送所规划的医疗程序可以包括安装与规划工作站和医疗器械兼容的存储装置。在一些示例中，可以经由图形用户界面显示消息以警告用户需要兼容性。在一些示例中，可以在过程1040期间保存所规划的医疗程序。在一些示例中，所规划的医疗程序可以被传送到机器人导管系统。在一些示例中，在过程1040之后，方法1000可以进行到过程1050以根据规划执行医疗程序。

[0114] 图11为根据一些实施例的用于修改解剖模型以提供对医疗程序的目标的进入的方法1100的简化图。根据一些实施例，可以在混合分割和规划模式中使用诸如图形用户界面400的图形用户界面来执行方法1100。在一些示例中，方法1100通常可以在分割完成并且解剖模型可用于查看和/或操纵之后而被执行。

[0115] 通常，用户感兴趣的通道是由器械从主通道(诸如气管)通过各种分支连续地导航到目标附近的通道处的出口点的通道。在某些情况下，自动分割可能无法检测到所有此类通道。因此，连接到通过分割生成的模型的通道组是不完整的。当初始模型不能提供对目标的令人满意的进入时(例如，当最靠近的出口点不在阈值距离内，诸如先前关于图5C所描述的3cm时)，用户可能期望连接最初与模型未连接的一个或多个通道。在一些情况下，自动分割可以检测用户不感兴趣的通道，诸如不通向目标的通道。方法1100提供了用于识别未通过自动分割检测到的感兴趣的通道并且将未连接通道连接到模型的技术的示例。方法1100进一步提供了用于修剪来自模型的用户不感兴趣的通道的技术的示例。

[0116] 在过程1110处，目标与最近的连接通道之间的距离被测量。根据一些实施例，距离可以被自动测量，例如，响应于用户经由图形用户界面定义目标而被自动测量。在一些示例中，距离可以通过单击目标和最近的连接通道经由图形用户界面而被测量。

[0117] 在过程1120处，确定测量的距离是否大于预定阈值。在一些示例中，预定阈值可以对应于医疗程序中使用的医疗工具(诸如活检针)的最大范围。在一些示例中，预定阈值可以为固定值，诸如3cm，和/或可以基于诸如所使用的医疗工具的类型和/或模型之类的因素而变化。在过程1130处，确定测得的距离小于预定阈值。模型可以被保存，并且方法1100可以在过程1130处终止，因为现有模型提供对目标的令人满意的进入。当距离大于预定阈值时，方法1100可以进行到过程1140以用于识别靠近目标的未连接通道并且使模型扩大以包括所识别的通道，如下面参考图12更详细地描述的。一旦所识别的通道已连接到模型，方法1100可以重复过程1110和过程1120，直到通道已连接到在距离目标的预定阈值距离内的模型。

[0118] 在一些实施例中，目标与最近的连接通道之间的距离可能不是确定模型是否提供足够的气道以到达目标的唯一考虑因素。在一些示例中，可以考虑影响从最靠近气道到目标的出口点的其他因素。这些因素可以包括从出口点的令人满意的出口角，必须通过连接气道导航以到达出口点的紧凑半径弯曲的存在、解剖通道的直径大小和/或出口点和目标之间的潜在危险。通过不同气道的不同路径可以基于这些考虑因素而被选择。因此，在可替代实施例中，可选过程1150a、1150b和1150c可以被完成以评估关于所选择通道的其他因素、以确定其他因素是否令人满意，并且当其他因素不令人满意时选择可替代的通道。

[0119] 图12为根据一些实施例的用于扩大解剖模型以提供对医疗程序的目标的进入的方法1200的简化图。在过程1210处，经由图形用户界面诸如图形用户界面400显示交互式图像。交互式图像描绘了图像数据、图像数据内的连接通道以及图像数据内的目标。在过程1220处，用户输入被接收以识别与最近的连接通道相比更靠近目标的未连接通道的至少一部分。在一个示例中，可以使用方法1200基于检测到的与模型的连接通道相邻或在其附近的未连接通道的识别并且以“前向”方式逐渐朝向目标工作，来扩大解剖模型。在替代示例中，方法1200可以用于基于检测到的与目标相邻或在其附近的未连接通道的识别并且以“后向”方式逐渐朝向模型的连接通道工作，来扩大解剖模型。

[0120] 在过程1230处，当在最初显示的交互式图像中未识别出合适的未连接通道时，可以通过迭代地旋转交互式图像并确定未连接通道是否可见来搜索交互式图像。在过程1240处，通过选择图像数据中的点(例如，通过双击该点)在图形用户界面中定义旋转点。在一些示例中，通过将十字准线放置在交互式图像上来显示旋转点。在一个示例中，旋转点被选择为沿着最靠近目标的连接气道的点。在另一个示例中，旋转点被选择为目标上的点。在其他示例中，旋转点可以为交互式图像中的任何点。在过程1250处，交互式图像围绕旋转点旋转。在一些示例中，旋转点提供围绕旋转点的在三维中的360度旋转。在过程1260处，确定在交互式图像中是否识别出未连接通道。当未识别出未连接通道时，在过程1270处选择新的旋转点，并且交互式图像围绕新的旋转点旋转，以便识别未连接通道。可以重复过程1240-1270，直到识别出未连接通道。

[0121] 当在过程1230或过程1260处在交互式图像中识别出未连接通道时，可以在过程1280处接收识别未连接通道的用户输入(例如，点击和/或敲击)并且未连接通道被连接到该模型。在一些实施例中，通过使用分割软件跟踪至与模型的连接点的通道，未连接通道可以被自动连接到模型。当过程1280完成时，方法1200可以返回到方法1100以确定新连接的通道是否提供对目标的令人满意的进入。可以重复过程1110-1150，直到实现对目标的令人满意的进入。

[0122] 根据一些实施例，当在过程1250期间围绕旋转点旋转交互式图像时，部分地识别未连接通道。在将交互式图像旋转到部分识别出未连接通道的状态之后，将旋转限制为围绕旋转轴线旋转而不是围绕旋转点的无约束3D旋转可能是有帮助的。通过在旋转点和第二点(诸如目标位置)之间绘制一条线，在图形用户界面中定义旋转轴线。将旋转限制到旋转轴线可以增强相对于仅围绕旋转点的旋转的可用性。与这样的实施例一致，搜索未连接通道可以通过使用旋转点(当需要无约束旋转时)和旋转轴线(当需要有限旋转时)的任何组合迭代地重复过程1240-1270来进行。

[0123] 从旋转点开始可以提供从旋转轴线开始的一些优点。例如，如果用户最初提供旋转轴线并且给定的未连接通道定位在与旋转轴线正交的取向上，则用户在旋转交互式图像时不会看到未连接通道的外观的任何变化，即未连接通道将显示为圆形，并且当围绕所选择的旋转轴线旋转时，未连接通道将总是显示为圆形。使用单个旋转点将提供三维中的360度旋转。因此，无论未连接通道的初始取向如何，用户最终将以未连接通道将是可见的方式旋转交互式图像。另外，选择新的旋转轴线可能很困难。用户在如何绘制新线方面没有指导。然而，改变旋转点很简单，因为它只选择单个点。可以在靠近连接通道的位置处选择旋转点，但是，如果证明旋转点不足，则旋转点可以容易地移动到目标处。

[0124] 在另一示例中，再次参考图11的过程1140，当用户绘制从最靠近的连接通道到目标的线时，可替代地扩大模型。使用自动化技术，看起来对应于未连接通道的结构可以被检测，并且最靠近的这种结构可以被连接到模型。用户可以迭代地继续绘制从最新的连接通道到目标的线，同时附加的未连接通道被检测到并且被连接到模型，直到最靠近的连接通道落入在过程1120中建立的阈值内。在一个示例中，当用户不能接受的通道被连接到模型时，用户可以选择气道并且从模型中清除或删除气道。

[0125] 在分割期间和/或模型扩大期间的任何时间，模型可以被修剪。在一些示例中，一个或多个连接通道可以被确定为无关的。例如，连接通道可以被确定为远离目标和/或以其他方式与医疗程序的目的很少相关和/或不相关。在一些示例中，可能期望从模型断开和删除无关通道。例如，断开无关通道可以减少视觉混乱和/或可以通过减小模型的大小来改善性能(例如，改善加载时间、渲染时间和/或诸如此类)。因此，修剪工具可以经由图形用户界面向用户提供。例如，修剪工具可以经由工具选择器(诸如工具选择器524)来选择。当启用修剪工具并且接收到识别出无关通道的用户输入(例如，用户点击和/或敲击)时，可以断开通道并从模型中删除通道。在一些示例中，通道可以在用户识别的点处断开。在一些示例中，通道可以在与模型的最近连接点处断开。在一些示例中，所识别的通道可以与所识别的通道的任何子分支一起断开。根据一些实施例，修剪可以在方法1100和/或1200期间的任何时间执行，和/或作为独立于方法1100和/或1200的独立过程执行。

[0126] 图13为根据一些实施例的用于使用图形用户界面规划医疗程序的方法1300的简化图。根据与图4-9一致的一些实施例，可以使用混合分割和规划模式中的图形用户界面400来执行方法1300，如图5A-5G中所描绘的。在一些示例中，可以在图像数据的分割之前、期间和/或之后执行方法1300和/或其各种过程以生成模型。

[0127] 在过程1210处，为用户提供交互式窗口，诸如交互式窗口541，以创建医疗程序的规划。交互式窗口可以经由显示系统显示，并且可以经由诸如鼠标、轨迹球、操纵杆、触摸屏，自然用户界面(例如，语音、手势)、增强/虚拟现实界面和/或诸如此类的用户界面进行交互。根据一些实施例，交互式窗口可以结合一个或多个其他视图(诸如工具选择器(例如，工具选择器524)、选择侧边栏(例如选择侧栏542)、控制帧(例如控制帧510)和/或诸如此类)来显示。

[0128] 在过程1310处，图像数据经由图形用户界面显示。在一些示例中，图像数据可以对应于患者的原始图像数据(例如，CT数据)。图像数据可以在图形用户界面的数据选择模式中被预先选择。在一些示例中，可以在使用背景分割过程来分割图像数据的同时显示图像数据。由分割过程(例如，在图像数据中检测到的气道)生成的分割数据可以被覆盖在图像数据上。例如，图像数据可以以第一调色板(诸如灰度)显示，并且分割数据可以以对比色(诸如粉红色)显示。随着图像数据的分割的进行，所显示的分割数据可以被更新以反映分割进度。

[0129] 在过程1320处，接收定义所显示的图像数据内的规划的一个或多个特征的第一用户输入。根据一些实施例，规划的一个或多个特征可以包括医疗程序的目标、医疗程序的危险和/或类似物。在一些示例中，可以使用具有由图形用户界面提供的合适形状的对象放置工具(例如，圆形工具和/或3D椭圆工具)来定义目标。在一些示例中，可以使用具有合适形状的危险栅栏放置工具(例如，3D圆盘、圆锥形危险栅栏和/或半球形危险栅栏)和/或用于限定危险栅栏的合适控制点来定义危险。危险的示例可包括解剖体的易受伤害部分(例如，肺胸膜、血管、大疱和/或心脏)和/或解剖通道中的过度弯曲(例如，太紧密而不能适应医疗器械(诸如活检针)的通过的弯曲)。

[0130] 在过程1330处，经由图形用户界面显示交互式图像。交互式图像包括图像数据、通过图像数据的分割检测到的连接的解剖通道以及在过程1320期间定义的一个或多个特征。连接的解剖通道形成每个分支可从主通道(诸如气管)到达的树。因此，经由主通道插入的医疗器械可进入连接的解剖通道。用户可以经由诸如鼠标、轨迹球、操纵杆、触摸屏、自然用户界面(例如，语音、手势)、增强/虚拟现实界面和/或诸如此类的用户界面与交互式图像交互。根据一些实施例，交互式图像可以结合一个或多个其他视图(诸如工具选择器(例如，工具选择器524)、选择侧边栏(例如选择侧栏542)、控制帧(例如控制帧510)和/或诸如此类)来显示。

[0131] 在过程1340处，接收识别交互式图像内的医疗程序的轨迹的至少一部分的第二用户输入。在一些示例中，可以通过将目标连接到连接解剖通道中的最靠近通道来识别轨迹。例如，所接收的第二用户输入可以包括经由图形用户界面提供的线条工具在目标和最靠近的通道之间绘制的线。

[0132] 在过程1350处，接收至少部分地基于所定义的轨迹来调整交互式图像的一个或多个方面的第三用户输入。根据一些实施例，过程1350通常可以对应于用于扩大解剖模型的方法1200，在这种情况下，第三用户输入可以包括在方法1200期间接收到的一个或多个用户输入。例如，过程1350可以包括确定由轨迹表示的距离，例如，最靠近的通道和目标之间的距离。与这样的示例一致，调整交互式图像可以包括当距离大于预定阈值(例如，3cm)时将未连接通道连接到连接通道。未连接通道可以通过接收识别与最近的通道相比更靠近目标的未连接通道的第四用户输入并且使用自动技术连接所识别的通道来连接。在一些示例中，调整交互式图像可以包括基于轨迹确定出口角(例如，当从通道进入目标时医疗器械刺穿通道的内腔的角度)并且接收第三用户输入来操纵由图形用户界面提供的控件(诸如滑块)以用于改变出口点沿通道的方位。在一些示例中，控件可以提供对出口点的方位的连续控制和/或可以提供与所选择的出口点相关联的实时更新的度量，诸如对应的出口角。

[0133] 图14A-图14F为根据一些实施例的处于分支标记模式中的图形用户界面400的进一步简化图。在该示例中，分支标记模式被应用于肺部解剖体，但是在其他示例中，图形用户界面400被用于标记任何合适的解剖结构。肺包括右肺和左肺，其中每个肺被分成肺叶，肺叶继而可以被分成片段和小叶。在每个肺叶内为各种解剖结构，其包括一组解剖通道1402，解剖通道1402可以包括多个分支1403。在图14A-图15E的示例中，分支标记模式可以用于识别和标记单个分支1403可以属于哪个肺叶。在替代实施例中，分支标记模式用于识别和标记片段和/或小叶和个体分支1403可以属于哪个肺。在分支标记模式中，图形用户界面400为用户提供用于将标签分配给分支1403的机制，从而反映相应分支1403属于肺部的哪个部段1404(例如，肺叶)。在示例性实施例中，分支标记模式用于帮助将气道模型配准到人体解剖体，以在图像引导的活组织检查程序期间提供导航。关于配准的进一步细节可以在US62/486,879中找到，该文献先前已通过引用并入。

[0134] 分支标记可以在3D模型(诸如上述的模型)或解剖通道1402的任何其他合适的模型上操作。可以从包括CT数据、MRI数据、OCT数据、x射线数据的成像数据和/或如前所述的其他类型的成像或患者数据创建模型。在一些实施例中，3D模型包括一组解剖通道1402和其他解剖结构，诸如肋骨、血管、肿瘤、病变和/或器官(例如心脏)。在所示实施例中，3D模型包括肺分支1403和肺胸膜1405，但是进一步的实施例包括任何类型的合适的解剖通道1402和周围结构。图形用户界面400显示3D模型的元素，并且可以隐藏或显示各个元素(例如，肺胸膜1405)的显示以提高清晰度。

[0135] 在一些示例中，图形用户界面400使标记过程的各方面(包括标签选择)自动化。此外，在一些示例中，图形用户界面400使标签验证的各方面(包括识别未标记的分支1403和/或识别用户输入中的冲突)自动化。在这些示例和其他示例中，图形用户界面400可以通过向用户提供用于识别分支的加速过程来加速医疗程序的规划。

[0136] 图14A示出了在标记任何分支1403的部段/肺叶1404之前处于分支标记模式的图形用户界面400的示例。在一些实施例中，图形用户界面400包括用于查看、选择、标记和/或以其他方式与解剖通道1402的模型交互的交互式窗口1406。交互式窗口1406可以将表示解剖通道1402和周围解剖体(例如，肺胸膜1405)的模型的图像显示为3D渲染、线框、横截面和/或其他合适的表示图。在一个这样的实施例中，交互式窗口1406通过中心线表示分支1403。

[0137] 在一些实施例中，图形用户界面400包括标签工具1408，其用于选择要分配给模型的分支的标签。标签工具1408可以被表示为调色板、页眉、页脚、侧边栏、菜单、消息栏、下拉菜单、弹出窗口和/或其他合适的表示图。在一些实施例中，标签工具1408显示要应用的标签的列表1410。标签工具1408可以使用突出显示、颜色、字体、轮廓、强调和/或其他合适的指示符来指示当前选择的标签。标签工具1408还可以为每个标签显示状态指示符1412，其指示诸如标签是否已被应用的状态。状态指示符1412可以指示标签是否已经应用于不止一个分支，并且在一个这样的实施例中，状态指示符1412显示单个复选标记以指示标签已经应用于单个分支并且显示两个复选标记以指示标签已应用于不止一个分支。附加地或替代地，标签工具1408可以显示一组交互式对象1414(例如，按钮、复选框、单选按钮、基于文本的按钮等)以用于设定相应标签的属性。例如，用户可以选择交互对象1414以指示标签对应的分支缺失并且不存在于模型和/或解剖体中。

[0138] 图形用户界面400可操作以响应于用户输入接收用户输入并显示光标1416。当光标1416位于标签工具的边界内时，图形用户界面400可以接收用户输入以从列表1410中选择标签、激活或停用交互式对象1414和/或采取其他合适的动作。当光标1416位于交互式窗口1406内时，图形用户界面400可以接收用户输入以选择模型的分支、操纵(例如，旋转、平移、缩放等)模型的图像和/或周围解剖体的图像数据和/或采取其他合适的动作。在示例中，图形用户界面400响应于交互式窗口1406内的第一鼠标按钮进行选择，并且响应于第二鼠标按钮将交互式窗口中所示的透视图旋转90°。当旋转透视图时，图形用户界面400还可以旋转患者取向指示符1417，其表示相对于患者在交互式窗口1406中显示的模型和周围解剖体的透视图。

[0139] 当标签被选择并且光标1416被定位在交互式窗口1406中的分支1403上时，图形用户界面400可以通过改变光标1416的表示图、分支1403或从交互式窗口1406中的所选择分支延伸的多个分支的表示图和/或提供其他合适的指示来指示分支1403可以被标记。附加地或替代地，当标签被选择并且光标1416被定位在交互式窗口1406中而不是定位于任何分支1403上时，图形用户界面400可以通过改变光标1416的表示图和/或提供其他合适的指示来指示光标不在分支上。

[0140] 参考图14B-图14F描述响应于用户输入的图形用户界面400的示例。图14B示出了经由图形用户界面400将标签施加到解剖通道1402的分支1403的示例。在一些实施例中，图形用户界面400的标签工具1408自动选择要应用的第一标签。标签工具1408可以从列表1410中尚未应用于至少一个分支的那些标签中选择第一标签。标签工具1408还可以提供第一标签已经被选择的指示，例如上面描述的那些指示。用户可以经由标签工具1408选择不同的标签来覆盖该自动选择。在图14A-图14F所示的示例中，标签指示肺叶。应当理解，标签可以指示肺的其他部段，包括左肺或右肺、肺段和/或肺小叶。

[0141] 然后，图形用户界面400可以经由交互式窗口1406接收对分支1403的用户选择，并且作为响应，可以将所选择的标签分配给所选择的分支1403。选择单个分支1403可以使图形用户界面400识别连接到所选择分支的其他分支1403，并且将标签分配给作为整体的多个分支1403。在一些示例中，标签指示符1418被显示在交互式窗口1406中，诸如标志、标记、文本框和/或表示所分配的标签和对应的分支1403或多个分支1403的其他合适的指示符。可以对交互式窗口1406中的分支1403或多个分支1403的表示图进行着色、描绘轮廓、强调、去强调或以其他方式修改以指示已经分配了标签。图形用户界面400还可以更新标签工具
1408中的相应状态指示符1412，以指示标签已被分配给至少一个分支。在所示的示例中，第一分支1403被用户选择并且被标记为“右上叶”。图形用户界面400用第一颜色突出显示连接到第一分支1403直到主干(例如肺的气管)的所有分支。此时，所有突出显示的分支被有效地识别并标记为属于“右上叶”部段/肺叶1404。

[0142] 如图14C所描绘，当标签被应用于分支1403或多个分支1403时，标签工具1408可以自动选择要在列表1410中应用的下一个标签。在一些实施例中，标签工具1408基于解剖通道1402中的分支的布置来选择下一个标签。例如，在分配上叶标签之后可以选择中叶标签，因为在解剖通道1402中上叶靠近中叶。在一些实施例中，标签工具1408从列表1410中尚未应用于任何分支的那些标签中进行选择。例如，如果中叶标签已经用于标记分支，则可以在分配上叶标签之后选择下叶标签。通过自动选择下一个标签，在这些实施例和其他实施例中，用户可以继续选择分支而不将光标移出交互式窗口1406。

[0143] 选择标签和分支的过程可以被重复。如上面在图14B的上下文中所解释的，在一个示例中，第一分支1403被用户选择并且被标记为“右上叶”。因此，连接到第一分支1403直到主干的所有分支也被标记为“右上叶”。作为响应，图形用户界面400选择下一个标签“右中叶”，如图14C所示。参考图14D，用户选择第二分支1403以分配标签“右中叶”。图形用户界面400为标签分配第二颜色并且以第二颜色改变作为第二分支的后代的所有分支1403的颜色(例如，源自第二分支或者远离并连接到第二分支的子分支)，识别并标记属于右中叶的后代分支。在一个示例中，当选择第二分支1403时，所有后代分支用第二颜色突出显示，并且近侧/父连接分支的一部分反映直到先前识别的部段/肺叶1404的主干的颜色的变化。在一个实施例中，多个分支1403可以重叠，可能属于两个单独的部段/肺叶1404。重叠分支可以以反映重叠的单独特定颜色突出显示。使用第三颜色对“右下叶”重复该过程，以识别和标记右下叶内第三用户选择的分支的远侧分支。可以再次对“左上叶”和“左下叶”重复该过程，直到所有分支1403已被识别并标记为属于如图14E所示的部段/肺叶1404。

[0144] 如图14E所描绘，为了帮助用户，在一些实施例中，图形用户界面400在交互式窗口1406中指示解剖通道1402中尚未具有标签的那些分支1403。图形用户界面400可以使用指示符1420，诸如标记、突出显示、轮廓、颜色、线宽和/或其他合适的指示符来指示未标记的分支1403。在一个这样的示例中，图形用户界面400显示带有连接器的标记问号标帜，该连接器延伸到未标记的分支1403。在一些实施例中，图形用户界面400在检测到每个标签已经应用于至少一个分支1403时指示用户参考的剩余未标记分支。当用户选择标签并选择未标记的分支时，可以将标签应用于分支1403和/或其所属的部段/肺叶1404，并且可以移除指示符1420，如图14F所示。在将每个标签应用于至少一个分支时执行未标记的分支检测的示例中，将标签应用于未标记的分支可能致使标签被应用于不止一个分支。因此，图形用户界面400可以相应地更新对应的状态指示符。在图14E的示例中，状态指示符1412A被更新以显示一对复选标记，因为左上叶已被分配给不止一个部段/肺叶1404。在将所有标签应用于至少一个分支时执行未标记的分支检测的另一示例中，当从分支中删除标签并且不再是所有标签已应用于至少一个分支的情况时，图形用户界面400移除未标记的分支指示符1420。

[0145] 图15A和图15B为根据一些实施例的用于规划医疗程序的方法1500的简化图。根据与图14A-图14F一致的一些实施例，方法1500可移用于在分支标记模式下操作图形用户界面，诸如图形用户界面400。

[0146] 在图15A的过程1501处，接收诸如患者的CT数据的成像数据。在过程1502处，根据图像数据提供患者解剖体的模型。该模型可以包括一组解剖通道1402和/或其他解剖结构，诸如器官、血管、肿瘤、病变等。具体地，解剖通道1402可以包括分支1403和/或其他合适的结构。

[0147] 在过程1504处，经由图形用户界面400显示模型的图像。根据一些实施例，模型的图像被显示在交互式窗口1406中，交互式窗口1406包括解剖通道1402和周围解剖体(例如，肺胸膜1405)的表示图。可以单独显示或隐藏周围解剖体的这些元素以提供参考帧并提高清晰度。

[0148] 在过程1506处，选择第一标签。可以自动选择第一标签和/或响应于由图形用户界面的标签工具1408接收的第一用户输入来选择第一标签。用户输入可以经由任何合适的输入机制(包括鼠标、键盘、触摸、触控笔、轨迹球、操纵杆、语音命令、虚拟现实界面和/或类似物)提供。在过程1508处，由图形用户界面的标签工具1408显示第一标签已经被选择的指示。

[0149] 在过程1510处，图形用户界面400可以接收第二用户输入，第二用户输入为第一标签选择第一分支1403。第二用户输入可以经由显示模型的交互式窗口1406选择第一分支1403。在过程1511处，在一些示例中，图形用户界面400识别连接到第一分支1403的其他分支1403，使得可以在单个过程中标记多个分支1403。在一个示例中，这包括识别作为第一分支1403的后代的那些分支1403(例如，从第一分支的远侧开始的子分支)并且在部段/肺叶
1404中包括后代。以这种方式，标签可以从所选择分支向下游传播。在一个示例中，这包括识别先行分支1403(例如，从第一分支的近侧开始的父分支、祖分支等)直到主分支。主分支可以为初始情况下的肺气管或先前识别的部段/肺叶1404的主分支。以这种方式，标签可以向上游传播，使得用户可以标记子树而不必选择子树的根。

[0150] 在过程1512处，图形用户界面400确定标签是否与先前选择的标签冲突。例如，用户可以用右上叶标签标记子分支。如果子分支包括先前用左上叶标签标记的父分支，则算法可以识别出子分支与父分支之间的冲突。图形用户界面400可以拒绝应用当前标签并通且过突出显示当前标签、当前选择的分支、先前标签和/或先前选择的分支来说明冲突。然后可以向用户呈现用于校正先前标签或当前标签的选项。一旦解决了任何冲突，在过程1513中处，第一分支1403和过程1511中识别的任何其他分支1403用第一标签标记。

[0151] 在过程1514处，图形用户界面显示应用于第一分支1403和/或其相应部段/肺叶1404的第一标签的表示图。在一些这样的示例中，图形用户界面在交互式窗口1406中显示标帜、标记、文本框和/或其他合适的指示符以表示第一标签。在一些示例中，交互式窗口
1406中的第一分支1403和/或其部段/肺叶1404的表示图被着色、描绘轮廓、强调、去强调或以其他方式修改以指示标签已被分配。

[0152] 现在参考图15B，在过程1516处，确定标签工具1408是否具有附加的未分配标签。如果是，则在过程1518处，选择下一个标签。可以基于解剖通道1402中的分支1403的布置和/或其他合适的标准，从一组未分配的标签中自动选择下一个标签。还可以响应于由图形用户界面的标签工具1408接收到的第一用户输入来选择下一个标签。在一些这样的示例中，用户选择覆盖自动选择。在过程1520处，第一标签已经被选择的指示由图形用户界面的标签工具1408显示。在过程1522处，图形用户界面可以接收选择标签的解剖通道的分支的用户输入。作为响应，在过程1524处，用标签标记所选择分支。在过程1526处，图形用户界面显示应用于分支的标签的表示图。可以基本上类似于过程1506-1514执行过程1518-1526。

[0153] 在过程1528处，图形用户界面可以识别没有分配标签的解剖通道1402的分支1403。当在过程1516中确定每个标签已被分配给至少一个分支时，可以执行此操作。在过程
1530处，图形用户界面显示识别交互式窗口1406中的未分配分支的指示符，诸如标帜、突出显示、轮廓、颜色、线宽和/或其他合适的指示符。在过程1532处，接收选择标签的用户输入。
这可以基本上类似于过程1506和/或1518来执行。在过程1534处，将所选择标签应用于未分配的分支及其相应的部段/肺叶，并且在过程1536处，图形用户界面显示应用于分支和/或部段/肺叶的标签的表示图。可以基本上类似于过程1511-1514执行过程1534-1536。这可以重复，直到为每个分支分配标签。

[0154] 图16为根据一些实施例的用于规划医疗程序的方法1600的简化图。图17A-图17P为根据一些实施例的在执行方法1600期间的图形用户界面400的对应图。根据与图1-图15B一致的一些实施例，图形用户界面400可以包括通常对应于图1-图15B中所描绘的类似特征的特征，诸如交互式页眉410、控制帧510、画布帧520、工作空间522、工具选择器524、交互式窗口541、选择侧边栏542、图像数据543、分割数据544和/或诸如此类。在一些实施例中，图形用户界面400可以包括模式选择器1712(示例性地放置在交互式页眉410内)和/或视图选择器1714(示例性地放置在交互式窗口541的下部)，以用于启用和/或禁用图形用户界面400的各种特征，包括在执行方法1600期间使用的各种特征。

[0155] 在过程1610处，经由图形用户界面400添加医疗程序的目标1720。在图17A和17B中描绘了对应于过程1610的说明性屏幕截图。在一些实施例中，目标1720通常可以对应于目标550。如图17A所描绘，在添加目标1720期间，新目标菜单1722可以被显示在控制帧510中。新目标菜单1722可以显示用于识别、放置、调整和/或以其他方式配置目标1720的指令，用于确认和/或取消目标1720的添加的控件和/或诸如此类。当添加了目标1720时，目标数据
1724可以被显示在控制帧510中。如图17B所描绘，目标数据1724可以包括与目标1720相关联的度量(例如，大小度量)、控件(例如，用于删除、重命名和/或编辑目标1720的控件)和/或诸如此类。

[0156] 在过程1620处，操作者可以可选地缩放到目标1720(和/或图像数据543的其他部分)查看图形用户界面400。在图17C-图17E中描绘了对应于过程1610的说明性屏幕截图。图形用户界面400可以提供用于缩放到目标1720的一个或多个选项，包括非同步缩放、同步缩放、自动缩放和/或诸如此类。图17C描绘了当未启用图形用户界面400的同步缩放特征时执行的缩放，并且图17D描绘了当启用同步缩放特征时执行的缩放。当未启用同步缩放特征时，放大和/或缩小交互式窗口541中显示的图像不会伴随选择侧边栏542中显示的缩略图图像中的匹配缩放效果。相反，当启用同步缩放特征时，放大和/或缩小交互式窗口541中显示的图像会伴随选择侧边栏542中显示的缩略图图像中的匹配缩放效果。图17E描绘了使用图形用户界面400的自动缩放特征执行的缩放。使用自动缩放特征使得目标1720在交互式窗口541中显示的图像中自动居中和/或放大。自动缩放特征可以或可以不伴随选择侧边栏542中显示的缩略图图像中的匹配缩放效果。

[0157] 在过程1630处，操作者可以可选地编辑目标1720。在图17F中描绘了对应于过程1630的说明性屏幕截图。如图17F所描绘，在目标1720的编辑期间，编辑目标菜单1726可以被显示在控制帧510中。编辑目标菜单1726可以显示用于编辑目标1720的指令、用于确认和/或取消目标1720的编辑的控件和/或诸如此类。在一些实施例中，操作者可以经由交互式窗口541和/或经由选择侧边栏542来修改目标1720的属性(例如，大小、方位和/或诸如此类)。

[0158] 在过程1640处，经由图形用户界面400识别至目标1720的路径1730。在图17G-图17I中描绘了对应于过程1640的说明性屏幕截图。如图17G所示，与所选择路径对应的路径数据1732可以被显示在控制帧510中。路径数据1732可以包括与路径1730相关联的度量(例如，路径和目标1720的端点之间的距离、路径的端点处的出口角和/或诸如此类)，控件(例如，删除、重命名和/或编辑路径1730的控件)和/或诸如此类。在一些实施例中，与路径相关联的一个或多个警报可以经由图形用户界面400而被显示。例如，如图17G所描绘，当路径的端点与目标1720的最近点之间的距离超过预定阈值时，显示警报1734。类似地，如图17H所描绘，当路径的端点处的出口角超过预定阈值时，显示警报1736。在一些实施例中，端点滑块1738可以被显示在控制帧510中，以允许操作者沿着路径调整端点的方位。在这方面，操作者可以确定端点的方位，该方位符合与至目标1720的距离和/或出口角相关联的预定阈值。

[0159] 在过程1650处，一个或多个通道可选地经由图形用户界面400而被延长。例如，当在过程1640处未识别到至目标1720的可接受路径时，一个或多个通道可以被延长。在图17J-图17M中描绘了对应于过程1650的说明性屏幕截图。如图17J所描绘，指令面板1740可以被显示在控制帧510中，以提供用于延长一个或多个通道的指令。如图17K所描绘，操作者可以经由交互式窗口541绘制路径延长1742。随后可以渲染路径延长1742，如图17L所描绘。
在一些实施例中，路径延长1742可以以不同的颜色、纹理、图案和/或类似物渲染，以将路径延长1742与通过分割确定的路径的部分区分开。如图17M所描绘，至目标1720的更新路径可以符合与至目标1720的距离和/或出口角相关联的预定阈值，使得警报1734和/或1736不再与路径数据1732一起显示。

[0160] 在过程1660处，医疗程序的规划经由图形用户界面400而被回顾。在图17N中描绘了对应于过程1660的说明性屏幕截图。图17N中描绘的特征通常对应于图6中描绘的图形用户界面400的预览模式的特征。与这些实施例一致，图17N描绘了虚拟内窥镜视图620、全局解剖模型视图630和缩小的解剖模型视图640。如图17N所描绘，全局解剖模型视图630包括控件，例如，其用于允许操作者平移、缩放和/或旋转模型视图和/或在不同类型的图像(例如，CT图像)中进行选择。同样地，缩小的解剖模型视图640包括控件，其用于开始和/或暂停医疗程序的规划的回放、导出当前规划和/或诸如此类。在一些实施例中，信息面板1750可以被显示以提供与规划相关联的信息，诸如与至目标1720的距离相关联的度量。

[0161] 控制单元的一些示例(诸如控制单元130)可以包括非暂时性有形的机器可读介质，其包括可执行代码，该可执行代码当由一个或多个处理器(例如，处理器140)运行时，可以使一个或多个处理器执行方法1000-1300和/或方法1500的过程以渲染图形用户界面400。可以包括方法1000-1300、方法1500的过程和/或用于渲染图形用户界面400的指令的一些常见形式的机器可读介质为例如软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他内存芯片或盒式磁带和/或任何其他处理器或计算机适于读取的介质。

[0162] 尽管已经示出和描述了说明性实施例，但是在前述公开中可以预期广泛的修改、改变和替换，并且在一些情况下，可以采用各实施例的一些特征而无需相应地使用其他特征。本领域普通技术人员将认识到许多变化、替代和修改。因此，本发明的范围应仅由所附权利要求限制，并且应当理解，权利要求应当以与本文公开的实施例的范围一致的方式广泛地解释。

标题	发布/更新时间	阅读量
业务办理方法及装置	2020-05-08	849
一种基于代码动态分析的移动应用源代码安全审计系统	2020-05-08	233
实现远程终端单元网络的方法和装置	2020-05-11	574
检测和响应交互式视频内容的展示	2020-05-12	451
一种基于仿真软件Simulink实时扩展RTX的飞行器实时仿真程序的编程方法	2020-05-13	222
用于规划程序的图形用户界面	2020-05-13	309
一种智能化线上线下互动教育系统及教育方法	2020-05-13	493
对象插入	2020-05-13	674
对话交互方法、装置及电子设备	2020-05-14	901
交互式白板共享	2020-05-08	572

用于规划程序的图形用户界面

用于规划程序的图形用户界面

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：