配置用于导航路径跟踪的机器人系统专利检索-纤维内窥镜内窥镜医疗设备专利检索查询-专利查询网

配置用于导航路径跟踪的 机器人系统

阅读：351发布：2020-05-12

专利汇可以提供配置用于导航路径跟踪的机器人系统专利检索，专利查询，专利分析的服务。并且某些方面涉及用于导航路径跟踪的系统和技术。在一个方面，一种系统显示被显示的内腔网络的手术前模型。该系统确定内腔网络内的器械相对于手术前模型的位置。基于器械相对于手术前模型的位置，系统确定是否进入路径跟踪模式。在路径跟踪模式下，系统显示指示器械相对于所显示的手术前模型的路径的视觉标记。视觉标记可以用于使器械的导航路径可视化和/或延伸手术前模型。，下面是配置用于导航路径跟踪的机器人系统专利的具体信息内容。

权利要求

1.一种其上存储有指令的非暂态计算机可读存储介质，所述指令在被执行时，使装置的处理器至少进行以下操作：
在用户显示器上显示与患者的内腔网络的映射部分相对应的手术前模型；
确定位于所述内腔网络内的器械的远端相对于所述手术前模型的所述映射部分的位置；
基于所述器械的所述远端相对于所述内腔网络的所述映射部分的位置，进入路径跟踪模式；以及
当在所述路径跟踪模式下时，在所述用户显示器上显示指示所述器械的所述远端相对于所显示的手术前模型的路径的视觉标记。
2.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械的所述远端的所述位置在所述手术前模型的所述映射部分以外时，进入所述路径跟踪模式。
3.根据权利要求2所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械的所述远端的所述位置在所述手术前模型的所述映射部分以内时，停用所述路径跟踪模式。
4.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械的所述远端的所述位置在所述手术前模型的最后区段的端部的25％、20％、15％、10％或5％内时，进入所述路径跟踪模式。
5.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述视觉标记指示在所述内腔网络内的所述器械的所述远端的历史位置。
6.根据权利要求1所述的非暂态计算机可读存储介质，其中，在所述路径跟踪模式下，所述指令被配置成使所述装置的所述处理器基于在所述视觉标记之间由所述器械行进的距离来调整所述视觉标记的频率。
7.根据权利要求1所述的非暂态计算机可读存储介质，其中，在所述路径跟踪模式下，所述指令被配置成使所述装置的所述处理器基于在所述视觉标记之间经过的时间来调整所述视觉标记的频率。
8.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分内时，基于多个导航模态来确定所述器械的所述远端的所述位置。
9.根据权利要求8所述的非暂态计算机可读存储介质，其中，所述多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据以及机器人命令和运动学数据。
10.根据权利要求8所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于少于所述多个导航模态来确定所述器械的所述远端的所述位置。
11.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于从EM传感器接收的EM数据来确定所述器械的所述远端的所述位置。
12.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于视觉数据与机器人命令和运动学数据的组合来确定所述器械的所述远端的所述位置。
13.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器将视觉数据与所述视觉标记相关联。
14.根据权利要求13所述的非暂态计算机可读存储介质，其中，所述视觉数据包括从所述器械的所述远端上的成像装置接收的图像。
15.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器将机器人命令和运动学数据与所述视觉标记相关联。
16.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：
从用户输入接收用户输入数据；以及
将所述用户输入数据与所述视觉标记相关联。
17.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述用户输入数据包括以下中的一个或更多个：
经过的内腔的指示；
未经过的内腔的指示；
内腔的端部的指示；
内腔的开口的指示；
当前内腔延伸超出所述器械的当前位置的指示；以及
内腔直径。
18.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器使几何结构适配所述视觉标记，以提供在所述内腔网络的所述映射部分以外的所述内腔网络的内腔的可视化。
19.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述内腔网络包括内腔的分支网络。
20.根据权利要求1所述的非暂态计算机可读存储介质，其中，所述内腔网络包括单个内腔。
21.一种用于对内腔网络进行导航的机器人系统，所述系统包括：
器械，所述器械具有细长体和设置在所述细长体的远端上的传感器；
其上存储有可执行指令的至少一个计算机可读存储器；以及
一个或更多个处理器，所述一个或更多个处理器与所述至少一个计算机可读存储器通信，并且被配置成执行所述指令以使所述系统至少进行以下操作：
访问所述内腔网络的映射部分的手术前模型，并且在用户显示器上显示所述手术前模型；
使用所述传感器确定在所述内腔网络内的所述器械的所述远端相对于所述手术前模型的位置；
基于所确定的相对于所述手术前模型的位置，检测何时所述器械的所述远端已经移动超出所述内腔网络的所述映射部分；以及
当所述器械的所述远端已经移动超出所述内腔网络的所述映射部分时，在所述用户显示器上显示所述器械的所述远端相对于所显示的手术前模型的位置的视觉标记。
22.根据权利要求21所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令，以使所述系统配准所述传感器的坐标系和所述手术前模型的坐标系。
23.根据权利要求21所述的系统，所述系统还包括场生成器，所述场生成器被配置成生成EM场，其中，所述传感器是EM传感器，并且其中，所述一个或更多个处理器被配置成执行所述指令，以使所述系统确定所述EM场内的所述EM传感器的位置。
24.根据权利要求21所述的系统，其中，所述传感器是形状感测纤维。
25.根据权利要求21所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令，以使所述系统在所述内腔网络内移动所述器械。
26.根据权利要求21所述的系统，其中，所述一个或更多个处理器被配置成执行所述指令，以使所述系统至少进行以下操作：
检测何时所述器械的所述远端的所述位置移动到所述内腔网络的所述映射部分中；以及
当所述器械的所述远端位于所述内腔网络的所述映射部分以内时，停止显示所述视觉标记。
27.根据权利要求21所述的系统，其中，所述视觉标记指示在所述内腔网络内的所述器械的所述远端的历史位置。
28.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器基于在所述视觉标记之间由所述器械行进的距离来调整所述视觉标记的频率。
29.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器基于在所述视觉标记之间经过的时间来调整所述视觉标记的频率。
30.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器：在所述器械位于所述手术前模型的所述映射部分内时，基于多个导航模态来确定所述器械的所述远端的所述位置。
31.根据权利要求30所述的系统，其中，所述多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据以及机器人命令和运动学数据。
32.根据权利要求30所述的系统，其中，所述指令被配置成使所述装置的所述处理器：
在所述器械位于所述手术前模型的所述映射部分以外时，基于少于所述多个导航模态来确定所述器械的所述远端的所述位置。
33.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于视觉数据与机器人命令和运动学数据的组合来确定所述器械的所述远端的所述位置。
34.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器将视觉数据与所述视觉标记相关联。
35.根据权利要求34所述的系统，其中，所述视觉数据包括从所述器械的所述远端上的成像装置接收的图像。
36.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器将机器人命令和运动学数据与所述视觉标记相关联。
37.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或多个处理器：
从用户输入接收用户输入数据；以及
将所述用户输入数据与所述视觉标记相关联。
38.根据权利要求37所述的系统，其中，所述用户输入数据包括以下中的一个或更多个：
经过的内腔的指示；
未经过的内腔的指示；
内腔的端部的指示；
内腔的开口的指示；
当前内腔延伸超出所述器械的当前位置的指示；以及
内腔直径。
39.根据权利要求21所述的系统，其中，所述指令被配置成使所述一个或更多个处理器使几何结构适配所述视觉标记，以提供在所述内腔网络的所述映射部分以外的所述内腔网络的内腔的可视化。
40.根据权利要求21所述的系统，其中，所述内腔网络包括内腔的分支网络。
41.根据权利要求21所述的系统，其中，所述内腔网络包括单个内腔。
42.根据权利要求21所述的系统，其中，所述器械是内窥镜。
43.根据权利要求21所述的系统，还包括器械定位装置，其中，所述器械被附接至所述器械定位装置。
44.根据权利要求43所述的系统，其中，所述器械定位装置包括机器人臂。
45.一种确定器械在内腔网络内的导航路径的方法，所述方法包括：
在用户接口上显示与内腔网络的映射部分相对应的手术前模型；
确定在所述内腔网络内的器械的远端相对于所述内腔网络的所述映射部分的位置；
在所述内腔网络内移动所述器械；
确定何时所述器械的所述远端已经前进经过所述内腔网络的所述映射部分进入所述内腔网络的未映射部分，并且进入路径跟踪模式；以及
当在所述路径跟踪模式下时，显示在所述内腔网络的所述未映射部分中的所述器械的所述远端相对于所述内腔网络的所述映射部分的所述手术前模型的路径的视觉标记。
46.根据权利要求45所述的方法，还包括：
检测何时所述器械的所述远端的所述位置移动到所述内腔网络的所述映射部分中；以及
当所述器械的所述远端位于所述内腔网络的所述映射部分以内时，停止显示所述视觉标记。
47.根据权利要求45所述的方法，其中，所述视觉标记指示在所述内腔网络内的所述器械的所述远端的历史位置。
48.根据权利要求45所述的方法，还包括基于在所述视觉标记之间由所述器械行进的距离来调整所述视觉标记的频率。
49.根据权利要求45所述的方法，还包括基于在所述视觉标记之间经过的时间来调整所述视觉标记的频率。
50.根据权利要求45所述的方法，其中，当所述器械位于所述手术前模型的所述映射部分内时，确定所述器械的所述远端的所述位置是基于多个导航模态。
51.根据权利要求50所述的方法，其中，所述多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据以及机器人命令和运动学数据。
52.根据权利要求50所述的方法，其中，当所述器械位于所述手术前模型的所述映射部分以外时，确定所述器械的所述远端的所述位置是基于少于所述多个导航模态。
53.根据权利要求45所述的方法，其中，当所述器械位于所述手术前模型的所述映射部分以外时，确定所述器械的所述远端的所述位置是基于从EM传感器接收的EM数据。
54.根据权利要求45所述的方法，其中，当所述器械位于所述手术前模型的所述映射部分以外时，确定所述器械的所述远端的所述位置是基于视觉数据与机器人命令和运动学数据的组合。
55.根据权利要求45所述的方法，还包括将视觉数据与所述视觉标记相关联。
56.根据权利要求55所述的方法，其中，所述视觉数据包括从所述器械的所述远端上的成像装置接收的图像。
57.根据权利要求45所述的方法，还包括将机器人命令和运动学数据与所述视觉标记相关联。
58.根据权利要求45所述的方法，还包括：
从用户输入接收用户输入数据；以及
将所述用户输入数据与所述视觉标记相关联。
59.根据权利要求58所述的方法，其中，所述用户输入数据包括以下中的一个或更多个：
经过的内腔的指示；
未经过的内腔的指示；
内腔的端部的指示；
内腔的开口的指示；
当前内腔延伸超出所述器械的当前位置的指示；以及
内腔直径。
60.根据权利要求45所述的方法，还包括使几何结构适配所述视觉标记，以提供在所述内腔网络的所述映射部分以外的所述内腔网络的内腔的可视化。
61.根据权利要求45所述的方法，其中，所述内腔网络包括内腔的分支网络。
62.根据权利要求45所述的方法，其中，所述内腔网络包括单个内腔。
63.一种其上存储有指令的非暂态计算机可读存储介质，所述指令在被执行时使装置的处理器至少进行以下操作：
在用户显示器上显示与患者的内腔网络的映射部分相对应的手术前模型；
确定位于所述内腔网络内的器械的远端相对于所述手术前模型的位置；
检测何时所述器械的所述远端的所述位置移动超出所述内腔网络的所述映射部分；以及
当所述器械的所述远端位于所述内腔网络的所述映射部分以外时，在所述用户显示器上显示指示所述器械的所述远端相对于所显示的手术前模型的位置的视觉标记。
64.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：
检测何时所述器械的所述远端的所述位置移动到所述内腔网络的所述映射部分中；以及
当所述器械的所述远端位于所述内腔网络的所述映射部分以内时，停止显示所述视觉标记。
65.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述视觉标记指示在所述内腔网络内的所述器械的所述远端的历史位置。
66.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器基于在所述视觉标记之间由所述器械行进的距离来调整所述视觉标记的频率。
67.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器基于在所述视觉标记之间经过的时间来调整所述视觉标记的频率。
68.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分内时，基于多个导航模态来确定所述器械的所述远端的所述位置。
69.根据权利要求68所述的非暂态计算机可读存储介质，其中，所述多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据以及机器人命令和运动学数据。
70.根据权利要求68所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于少于所述多个导航模态来确定所述器械的所述远端的所述位置。
71.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于从EM传感器接收的EM数据来确定所述器械的所述远端的所述位置。
72.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：在所述器械位于所述手术前模型的所述映射部分以外时，基于视觉数据与机器人命令和运动学数据的组合来确定所述器械的所述远端的所述位置。
73.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器将视觉数据与所述视觉标记相关联。
74.根据权利要求73所述的非暂态计算机可读存储介质，其中，所述视觉数据包括从所述器械的所述远端上的成像装置接收的图像。
75.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器将机器人命令和运动学数据与所述视觉标记相关联。
76.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器：
从用户输入接收用户输入数据；以及
将所述用户输入数据与所述视觉标记相关联。
77.根据权利要求76所述的非暂态计算机可读存储介质，其中，所述用户输入数据包括以下中的一个或更多个：
经过的内腔的指示；
未经过的内腔的指示；
内腔的端部的指示；
内腔的开口的指示；
当前内腔延伸超出所述器械的当前位置的指示；以及
内腔直径。
78.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述指令被配置成使所述装置的所述处理器使几何结构适配所述视觉标记，以提供在所述内腔网络的所述映射部分以外的所述内腔网络的内腔的可视化。
79.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述内腔网络包括内腔的分支网络。
80.根据权利要求63所述的非暂态计算机可读存储介质，其中，所述内腔网络包括单个内腔。

说明书全文

配置用于导航路径跟踪的 机器人系统

[0001] 相关申请的交叉引用

[0002] 本申请要求享有2017年10月13日提交的美国临时申请第62/572,285号和2018年9月26日提交的美国申请第16/143,362号的权益，该美国临时申请和该美国申请中的每一个在此通过引用将其全部内容并入本文。

技术领域

[0003] 本公开内容整体上涉及用于医疗器械的导航的系统和方法，并且更具体地涉及用于医疗器械的导航路径跟踪方法和导航系统。

背景技术

[0004] 医疗过程例如内窥镜检查(例如，支气管镜检查)可以涉及出于诊断和/或治疗的目的进入并且可视化患者内腔(例如，气道)的内部。在过程期间，可以将柔性管状工具或器械例如内窥镜插入患者体内。在某些情况下，第二器械可以通过内窥镜到达被识别用于诊断和/或治疗的组织部位。

[0005] 支气管镜检查是使得医师能够检查患者肺部中的气道例如支气管和细支气管的内部状况的医疗过程。在医疗过程期间，可以将被称为支气管镜的细的、柔性的管状工具或器械插入患者的嘴中，并沿患者的喉咙进入他的或她的肺部气道朝向被识别用于后续的诊断和治疗的组织部位。支气管镜可以具有内部腔(“工作通道”)，该内部腔提供至组织部位的路径，并且导管和各种医疗工具可以通过工作管道插入到组织部位。

[0006] 在某些医疗过程中，医疗机器人系统可以用于控制医疗器械的插入和/或操纵。医疗机器人系统可以包括至少一个机器人臂或其他器械定位装置，其他器械定位装置包括用于在过程期间控制医疗器械的定位的操纵器组件。发明内容

[0007] 机器人使能的医疗系统可以用于执行各种医疗过程，包括微创过程例如腹腔镜检查过程和无创过程例如内窥镜检查过程两者。在内窥镜检查过程中，机器人使能的医疗系统可以用于执行支气管镜检查、输尿管镜检查、肠胃病学等。在这样的过程期间，医师和/或计算机系统可以将医疗器械导航通过患者的内腔网络。内腔网络可以包括多个分支内腔(例如在支气管网络或肾脏网络中)或单个内腔(例如胃肠道)。机器人使能的医疗系统可以包括导航系统，该导航系统用于引导医疗器械(或辅助引导医疗器械)通过内腔网络。导航系统可以至少部分地基于内腔网络的手术前模型来提供引导。

[0008] 手术前模型可能只限于内腔网络的某些部分。即，内腔网络可以延伸超出手术前模型所表示的部分。然而，在过程期间，医师可能期望将医疗器械导航到内腔网络的手术前模型中未表示的部分。这可能是困难的，因为导航系统提供的引导可以至少部分地基于手术前模型。此外，当将医疗器械导航超出手术前模型时，医师难以跟踪器械的位置。在某些情况下，医师可能无法将医疗器械导航超出手术前模型，或者，如果医疗器械被导航超出手术前模型，则可能难以确定医疗器械的位置。

[0009] 通过本文中描述的内腔网络导航系统和技术解决了上述问题等。在一些实现方式中，所公开的技术提供导航路径跟踪。导航路径跟踪可以提供说明医疗器械的位置(和过去的位置)的历史路径(例如，面包屑导航(breadcrumbs))。可以将历史路径显示给医师，使得医师可以将内腔网络的未由手术前模型表示的部分可视化。可以在内腔网络的超出手术前模型的部分中提供导航路径跟踪。在某些情况下，可以使用导航路径跟踪来延伸手术前模型。在某些情况下，也可以在内腔网络的由手术前模型表示的部分内使用导航路径跟踪。

[0010] 本公开内容的系统、方法和装置每个均具有若干创新方面，其中没有一个方面单独地负责本文中公开的期望属性。

[0011] 因此，一个方面涉及一种其上存储有指令的非暂态计算机可读存储介质，所述指令在被执行时，使装置的处理器至少进行以下操作：在用户显示器上显示与患者的内腔网络的映射部分相对应的手术前模型；确定位于内腔网络内的器械的远端相对于手术前模型的映射部分的位置；基于器械的远端相对于内腔网络的映射部分的位置，进入路径跟踪模式；当在路径跟踪模式下时，在用户显示器上显示指示器械的远端相对于所显示的手术前模型的路径的视觉标记。

[0012] 第一方面可以包括以任意组合的以下特征中的一个或更多个：(a)其中，指令被配置成使装置的处理器：在器械的远端的位置在手术前模型的映射部分以外时，进入路径跟踪模式；(b)其中，指令被配置成使装置的处理器：在器械的远端的位置在手术前模型的映射部分内时，停用路径跟踪模式；(c)其中，指令被配置成使装置的处理器：在器械的远端的位置在手术前模型的最后区段的端部的25％、20％、15％、10％或5％内时，进入路径跟踪模式；(d)其中，视觉标记指示在内腔网络内的器械的远端的历史位置；(e)其中，在路径跟踪模式下，指令被配置成使装置的处理器基于在视觉标记之间由器械行进的距离来调整视觉标记的频率；(f)其中，在路径跟踪模式下，指令被配置成使装置的处理器基于在视觉标记之间经过的时间来调整视觉标记的频率；(g)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分内时，基于多个导航模态来确定器械的远端的位置；(h)其中，多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据、形状感测数据和/或机器人命令和运动学数据；(i)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于少于多个导航模态来确定器械的远端的位置；(j)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于从EM传感器接收的EM数据来确定器械的远端的位置；(k)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于视觉数据与机器人命令和运动学数据的组合来确定器械的远端的位置；(l)其中，指令被配置成使装置的处理器将视觉数据与视觉标记相关联；(m)其中，视觉数据包括从器械的远端上的成像装置接收的图像；(n)其中，指令被配置成使装置的处理器将机器人命令和运动学数据与视觉标记相关联；和/或(o)其中，指令被配置成使装置的处理器：从用户输入接收用户输入数据；以及将用户输入数据与视觉标记相关联；(p)其中，用户输入数据包括以下中的一个或更多个：经过的内腔的指示；未经过的内腔的指示；内腔的端部的指示；内腔的开口的指示；以及当前内腔延伸超出器械的当前位置的指示；以及内腔直径；(q)其中，指令被配置成使装置的处理器使几何结构适配视觉标记，以提供在内腔网络的映射部分以外的内腔网络的内腔的可视化；(r)其中，内腔网络包括内腔的分支网络；和/或(s)其中，内腔网络包括单个内腔。

[0013] 第二方面涉及一种用于对内腔网络进行导航的机器人外科手术或医疗系统，该系统包括：器械，该器械具有细长体和设置在该细长体的远端上的传感器；其上存储有可执行指令的至少一个计算机可读存储器；以及一个或更多个处理器，一个或更多个处理器与至少一个计算机可读存储器通信，并且被配置成执行指令以使系统至少进行以下操作：访问内腔网络的映射部分的手术前模型，以及在用户显示器上显示手术前模型；使用传感器确定在内腔网络内的器械的远端相对于手术前模型的位置；基于所确定的相对于手术前模型的位置，检测何时器械的远端已经移动超出内腔网络的映射部分；以及当器械的远端已经移动超出内腔网络的映射部分时，在用户显示器上显示器械的远端相对于所显示的手术前模型的位置的视觉标记。

[0014] 第二方面可以包括以任意组合的以下特征中的一个或更多个：(a)其中，一个或更多个处理器被配置成执行指令，以使系统配准传感器的坐标系和手术前模型的坐标系；(b)场发生器，其被配置成生成EM场，其中，传感器是EM传感器，并且其中，一个或更多个处理器被配置成执行指令，以使系统确定在EM场内的EM传感器的位置；(c)其中，传感器是形状感测纤维；(d)其中，一个或更多个处理器被配置成执行指令，以使系统在内腔网络内移动器械；(e)其中，一个或更多个处理器被配置成执行指令以使系统至少：检测何时器械的远端的位置移动到内腔网络的映射部分中；以及当器械的远端位于内腔网络的映射部分以内时，停止显示视觉标记；(f)其中，视觉标记指示在内腔网络内的器械的远端的历史位置；(g)其中，指令被配置成使一个或更多个处理器基于在视觉标记之间由器械行进的距离来调整视觉标记的频率；(h)其中，指令被配置成使一个或更多个处理器基于在视觉标记之间经过的时间来调整视觉标记的频率；(i)其中，指令被配置成使一个或更多个处理器：在器械位于手术前模型的映射部分内时，基于多个导航模态确定器械的远端的位置；(j)其中，多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据、形状感测数据和/或机器人命令和运动学数据；(k)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于少于多个导航模态来确定器械的远端的位置；(l)其中，指令被配置成使一个或更多个处理器：在器械位于手术前模型的映射部分以外时，基于视觉数据与机器人命令和运动学数据的组合来确定器械的远端的位置；(m)其中，指令被配置成使一个或更多个处理器将视觉数据与视觉标记相关联；(n)其中，视觉数据包括从器械的远端上的成像装置接收的图像；(o)其中，指令被配置成使一个或更多个处理器将机器人命令和运动学数据与视觉标记相关联；(p)其中，指令被配置成使一个或更多个处理器：从用户输入接收用户输入数据；以及将用户输入数据与视觉标记相关联；(q)其中，用户输入数据包括以下中的一个或更多个：经过的内腔的指示；未经过的内腔的指示；内腔的端部的指示；内腔的开口的指示；当前内腔延伸超出器械的当前位置的指示；以及内腔直径；(r)其中，指令被配置成使一个或更多个处理器使几何结构适配视觉标记，以提供在内腔网络的映射部分以外的内腔网络的内腔的可视化；(s)其中，内腔网络包括内腔的分支网络；(s)其中，内腔网络包括单个内腔；(u)其中，器械是内窥镜；(v)器械定位装置，其中，器械被附接至器械定位装置；和/或(w)其中，器械定位装置包括机器人臂。

[0015] 第三方面涉及一种确定器械在内腔网络内的导航路径的方法，该方法包括：在用户接口上显示与内腔网络的映射部分相对应的手术前模型；确定在内腔网络内的器械的远端相对于内腔网络的映射部分的位置；在内腔网络内移动器械；确定何时器械的远端已经前进经过内腔网络的映射部分进入内腔网络的未映射部分，并且进入路径跟踪模式；以及当在路径跟踪模式下时，显示在内腔网络的未映射部分中的器械的远端相对于内腔网络的映射部分的手术前模型的路径的视觉标记。

[0016] 第三方面可以包括以任意组合的以下特征中的一个或更多个：(a)检测何时器械的远端的位置移动到内腔网络的映射部分中；以及当器械的远端位于内腔网络的映射部分以内时，停止显示视觉标记；(b)其中，视觉标记指示在内腔网络内的器械的远端的历史位置；(c)基于在视觉标记之间由器械行进的距离来调整视觉标记的频率；(d)基于在视觉标记之间经过的时间来调整视觉标记的频率；(e)其中，当器械位于手术前模型的映射部分内时，确定器械的远端的位置是基于多个导航模态；(f)其中，多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据、形状感测数据和/或机器人命令和运动学数据；(g)其中，当器械位于手术前模型的映射部分以外时，确定器械的远端的位置是基于少于多个导航模态；(h)其中，当器械位于手术前模型的映射部分以外时，确定器械的远端的位置是基于从EM传感器接收的EM数据；(i)其中，当器械位于手术前模型的映射部分以外时，确定器械的远端的位置是基于视觉数据与机器人命令和运动学数据的组合；(j)将视觉数据与视觉标记相关联；(k)其中，视觉数据包括从器械的远端上的成像装置接收的图像；(l)将机器人命令和运动学数据与视觉标记相关联；(m)从用户输入接收用户输入数据；以及将用户输入数据与视觉标记相关联；(n)其中，用户输入数据包括以下中的一个或更多个：经过的内腔的指示；未经过的内腔的指示；内腔的端部的指示；内腔的开口的指示；当前内腔延伸超出器械的当前位置的指示；以及内腔直径；(o)将几何结构适配视觉标记，以提供在内腔网络的映射部分以外的内腔网络的内腔的可视化；(p)其中，内腔网络包括内腔的分支网络；和/或(q)其中，内腔网络包括单个内腔。

[0017] 第四方面涉及一种其上存储有指令的非暂态计算机可读存储介质，所述指令在被执行时，使装置的处理器至少进行以下操作：在用户显示器上显示与患者的内腔网络的映射部分相对应的手术前模型；确定位于内腔网络内的器械的远端相对于手术前模型的位置；检测何时将器械的远端的位置移动超出内腔网络的映射部分；以及当器械的远端位于内腔网络的映射部分以外时，在用户显示器上显示指示器械的远端相对于所显示的手术前模型的位置的视觉标记。

[0018] 第四方面可以包括以任意组合的以下特征中的一个或更多个：(a)其中，指令被配置成使装置的处理器：检测何时器械的远端的位置移动到内腔网络的映射部分中；以及当器械的远端位于内腔网络的映射部分以内时，停止显示视觉标记；(b)其中，视觉标记指示在内腔网络内的器械的远端的历史位置；(c)其中，指令被配置成使装置的处理器基于在视觉标记之间由器械行进的距离来调整视觉标记的频率；(d)其中，指令被配置成使装置的处理器基于在视觉标记之间经过的时间来调整视觉标记的频率；(e)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分内时，基于多个导航模态来确定器械的远端的位置；(f)其中，多个导航模态包括多个手术前模型数据、视觉数据、位置传感器数据、形状感测数据和/或机器人命令和运动学数据；(g)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于少于多个导航模态来确定器械的远端的位置；(h)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于从EM传感器接收的EM数据来确定器械的远端的位置；(i)其中，指令被配置成使装置的处理器：在器械位于手术前模型的映射部分以外时，基于视觉数据与机器人命令和运动学数据的组合来确定器械的远端的位置；(j)其中，指令被配置成使装置的处理器将视觉数据与视觉标记相关联；(k)其中，视觉数据包括从器械的远端上的成像装置接收的图像；(l)其中，指令被配置成使装置的处理器将机器人命令和运动学数据与视觉标记相关联；(m)其中，指令被配置成使装置的处理器：从用户输入接收用户输入数据；以及将用户输入数据与视觉标记相关联；(n)其中，用户输入数据包括以下中的一个或更多个：经过的内腔的指示；未经过的内腔的指示；内腔的端部的指示；内腔的开口的指示；以及当前内腔延伸超出器械的当前位置的指示；以及内腔直径；(p)其中，指令被配置成使装置的处理器使几何结构适配视觉标记，以提供在内腔网络的映射部分以外的内腔网络的内腔的可视化；(q)其中，内腔网络包括内腔的分支网络；和/或(r)其中，内腔网络包括单个内腔。
附图说明

[0019] 在下文中将结合附图描述所公开的方面，提供这些附图是为了说明而不是限制所公开的方面，其中，相似的附图标记表示相似的元件。

[0020] 图1示出了被布置用于诊断和/或治疗性支气管镜检查过程的基于推车的机器人系统的实施方式。

[0021] 图2描绘了图1的机器人系统的另外的方面。

[0022] 图3示出了被布置用于输尿管镜检查的图1的机器人系统的实施方式。

[0023] 图4示出了被布置用于血管手术的图1的机器人系统的实施方式。

[0024] 图5示出了被布置用于支气管镜检查过程的基于台的机器人系统的实施方式。

[0025] 图6提供了图5的机器人系统的替选视图。

[0026] 图7示出了被配置成收起机器人臂的示例系统。

[0027] 图8示出了被配置用于输尿管镜检查过程的基于台的机器人系统的实施方式。

[0028] 图9示出了被配置用于腹腔镜检查过程的基于台的机器人系统的实施方式。

[0029] 图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方式。

[0030] 图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。

[0031] 图12示出了示例性器械驱动器。

[0032] 图13示出了具有成对的器械驱动器的示例性医疗器械。

[0033] 图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。

[0034] 图15描绘了示出根据示例实施方式的定位系统的框图，该定位系统估计图1至图10的机器人系统的一个或更多个元件的定位，例如图13至图14的器械的定位。

[0035] 图16示出了可以由机器人控制的医疗器械导航的示例内腔网络。

[0036] 图17示出了图16的内腔网络的示例手术前模型。

[0037] 图18是覆盖在图16的内腔网络上的图17的手术前模型的视图，并且示出了手术前模型与内腔网络的映射部分相对应。

[0038] 图19提供了在内腔网络内导航的医疗器械的示例。

[0039] 图20示出了示例医疗器械的远端的详细视图。

[0040] 图21示出了用于确定医疗器械的位置的示例电磁(EM)系统的某些部件。

[0041] 图22示出了根据一个实施方式的用于示例医疗机器人系统的包括显示器的示例命令控制台。

[0042] 图23A是示出可以在某些机器人系统中实现的示例导航路径跟踪方法的流程图。

[0043] 图23B是示出作为某些导航路径跟踪方法的一部分的确定在内腔网络内的器械的位置的示例方法的流程图。

[0044] 图24是示出确定器械在内腔网络内的导航路径的示例方法的流程图。

[0045] 图25提供了导航路径跟踪系统的示例输出。

[0046] 图26提供了导航路径跟踪系统的另一示例输出。

[0047] 图27提供了导航路径跟踪系统的另一示例输出，并且示出了导航路径跟踪系统可以用于延伸手术前模型。

具体实施方式

[0048] 1.概述。

[0049] 本公开内容的各方面可以被集成到能够执行各种医疗过程的机器人使能的医疗系统中，各种医疗过程包括诸如腹腔镜检查的微创过程以及诸如内窥镜检查的无创过程二者。在内窥镜检查过程中，系统可以能够执行支气管镜检查、输尿管镜检查、胃镜检查等。

[0050] 除了执行广泛的过程之外，系统可以提供另外的益处例如增强的成像和指导以帮助医师。另外，该系统可以为医师提供从人体工程学位置执行过程的能力，而不需要笨拙的臂运动和位置。更进一步地，该系统可以为医师提供以改进的易用性执行过程的能力，使得系统的一个或更多个器械可以由单个用户控制。

[0051] 出于说明的目的，下面将结合附图描述各种实施方式。应当理解的是，所公开的构思的许多其他实现方式是可能的，并且利用所公开的实现方式可以实现各种优点。本文中包括标题以供参考，并且有助于定位各个部分。这些标题不意在限制关于标题所描述的构思的范围。这样的构思可以在整个说明书中具有适用性。

[0052] A.机器人系统-推车。

[0053] 取决于具体过程，可以以各种方式配置机器人使能的医疗系统。图1示出了被布置用于诊断和/或治疗性支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，推车11具有一个或更多个机器人臂12，用于将医疗器械例如可操纵的内窥镜13——其可以是用于支气管镜检查的特定于过程的支气管镜——递送到自然孔口进入点(即，在本示例中为位于台上的患者的嘴)，以递送诊断和/或治疗工具。如图所示，推车11可以位于患者的上躯干附近，以便提供进入该进入点。类似地，机器人臂12可以被致动以相对于进入点安置支气管镜。当利用胃镜——一种用于胃肠过程的专用内窥镜——执行胃肠(GI)过程时，也可以利用图1中的布置。图2更详细地描述了推车的示例实施方式。

[0054] 继续参照图1，一旦推车11被正确安置，机器人臂12就可以以机器人方式、手动地或以其组合方式将可操纵内窥镜13插入到患者内。如图所示，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接到来自一组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接到单独的机器人臂的远端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置来在空间中重新安置“虚拟轨道”29。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜
13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医师偏好来调整、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在向医师提供对内窥镜13的接近同时使由于使内窥镜13弯曲到患者的嘴中而产生的摩擦最小化之间的折衷。

[0055] 可以使用来自机器人系统的精确命令在插入之后沿着患者的气管和肺引导内窥镜13，直到到达目标目的地或手术部位。为了增强导航通过患者的肺网络和/或到达期望的目标，内窥镜13可以被操纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分被彼此独立地驱动。

[0056] 例如，可以引导内窥镜13以将活检针递送至目标，例如，患者肺内的病变或结节。可以沿着工作通道部署针以获得要由病理学家分析的组织样本，该工作通道沿着内窥镜的长度延伸。取决于病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。
在识别出结节是恶性的之后，内窥镜13可以通过内窥镜递送工具以切除潜在的癌组织。在一些情况下，可能需要在单独的过程中递送诊断和治疗处理。在那些情况下，内窥镜13也可以用于递送基准以“标记”目标结节的位置。在其他情况下，可以在相同的过程期间递送诊断和治疗处理。

[0057] 系统10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供对控制、电子、流控、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调整和/或重新安置的更小形状因子的推车11。此外，在推车/台与支持塔30之间的功能划分减少了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以被安置成靠近患者，但是塔30可以被收起在远程位置中以在过程期间不挡道。

[0058] 为了支持上述机器人系统，塔30可以包括基于计算机的控制系统的一个或多个部件，该基于计算机的控制系统将计算机程序指令存储在例如非暂态计算机可读存储介质例如永久性磁存储驱动器、固态驱动器等内。这些指令的执行——无论是在塔30中还是在推车11中发生执行——都可以控制整个系统或其子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机器人臂，以及控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂安置成特定姿势。

[0059] 塔30还可以包括泵、流量计、阀控制器和/或流体入口，以向可以通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机系统来控制。在一些实施方式中，冲洗和抽吸能力可以通过一个或多个单独的线缆直接递送至内窥镜13。

[0060] 塔30可以包括电压和浪涌保护器，电压和浪涌保护器被设计成向推车11提供经滤波和受保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而产生更小、更可移动的推车11。

[0061] 塔30还可以包括用于部署在整个机器人系统10中的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人系统10的光学传感器或摄像装置接收到的数据的光电子设备。与控制系统结合，这样的光电子设备可以用于生成实时图像以显示在部署在整个系统中的任何数量的控制台中，包括显示在塔30中。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以用于容纳和安置EM场发生器，以由医疗器械中或医疗器械上的EM传感器检测。

[0062] 除了在系统的其余部分中可用的其他控制台例如安装在推车顶部的控制台之外，塔30还可以包括控制台31。控制台31可以包括用于医师操作者的用户接口和显示屏，例如触摸屏。系统10中的控制台通常设计成提供机器人控制以及过程的手术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是仅医师可用的控制台时，控制台31可以由第二操作者例如护士使用，以监测患者的健康或生命特征以及系统的操作，以及提供特定于过程的数据，例如导航和定位信息。在其他实施方式中，控制台30容纳在与塔30分开的体中。

[0063] 塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，可以通过单个线缆将来自塔30的支持功能提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能可以耦接在单独的线缆和连接中。例如，尽管可以通过单个电力线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。

[0064] 图2提供了来自图1所示的基于推车的机器人使能系统的推车的实施方式的详细图示。推车11通常包括细长的支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部处的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂支承件”)。托架17可以包括可单独配置的臂安装件，这些臂安装件沿着垂直轴线旋转以调整机器人臂12的基部，以相对于患者更好地安置。托架17还包括托架接口19，托架接口19允许托架17沿着柱14竖直平移。

[0065] 托架接口19通过诸如槽20的槽连接至柱14，所述槽被安置在柱14的相对侧以引导托架17的竖直平移。槽20包含用于相对于推车基部15将托架安置和保持在各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机器人臂12的可达范围以满足各种台高度、患者大小和医师偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成一定角度。

[0066] 在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入柱14的内部腔室和竖直平移接口。可以通过位于槽20的竖直顶部和底部附近的弹簧卷轴对来部署槽盖。盖在卷轴内盘绕直到被部署成在托架17竖直地上下平移时从盖的盘绕状态延伸和缩回。当托架17朝卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，而当托架17平移远离卷轴时也保持紧密密封。盖可以使用例如托架接口19中的支架连接至托架17，以确保在托架17平移时盖适当地延伸和缩回。

[0067] 柱14可以在内部包括诸如齿轮和马达的机构，这些机构被设计成使用竖直对准的导螺杆，以响应于控制信号来以机械化方式平移托架17，所述控制信号响应于用户输入例如来自控制台16的输入来生成。

[0068] 机器人臂12通常可以包括由一系列连接件23分开的机器人臂基部21和端部执行器22，一系列连接件23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控的马达。每个独立可控的关节表示机器人臂可用的独立自由度。臂12中的每一个具有七个关节，并且因此提供七个自由度。多个关节引起多个自由度，从而允许“冗余”自由度。冗余自由度允许机器人臂12使用不同的连接件位置和关节角度将它们各自的端部执行器22安置在空间中的特定位置、取向和轨迹处。这允许系统从空间中的期望点安置和引导医疗器械，同时允许医师将臂关节移动到远离患者的临床有利位置以产生更大的接近，同时避免臂碰撞。

[0069] 推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容纳较重的部件，例如电子器件、马达、电源以及使得能够移动和/或固定推车的部件。例如，推车基部15包括允许推车在过程之前容易地在室中移动的可滚动的轮形脚轮25。在到达适当位置之后，可以使用轮锁固定脚轮25，以在过程期间将推车11保持在适当位置。

[0070] 安置在柱14的竖直端部处的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者向医师用户提供手术前数据和手术中数据两者。触摸屏26上的潜在手术前数据可以包括手术前规划、从手术前计算机化断层层析成像(CT)扫描得出的导航和映射数据和/或来自手术前患者面谈的注释。显示器上的手术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计数据，例如呼吸、心率和/或脉搏。控制台16可以被安置和倾斜成允许医师从柱14的与托架17相对的侧接近控制台。从该位置，医师可以在从推车11后面操作控制台16时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。

[0071] 图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被安置成将输尿管镜32——即，被设计成穿过患者的尿道和输尿管的特定于过程的内窥镜——递送到患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12安置输尿管镜32，以直接线性进入患者的尿道。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接插入患者的下腹部。

[0072] 在插入到尿道中之后，使用与支气管镜检查中类似的控制技术，输尿管镜32可以被导航到膀胱、输尿管和/或肾中以用于诊断和/或治疗应用。例如，可以将输尿管镜32引导到输尿管和肾中以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的篮状件移除所得到的结石碎片。

[0073] 图4示出了类似地被布置成用于血管手术的机器人使能系统的实施方式。在血管手术中，系统10可以被配置成使得推车11可以将医疗器械34例如可操纵导管递送至患者腿部的股动脉中的进入点。股动脉呈现用于导航的较大直径以及到患者心脏的相对较少迂回曲折的路径两者，这简化了导航。如在输尿管镜检查过程中，推车11可以被安置成朝向患者的腿和下腹部，以允许机器人臂12提供直接线性进入患者的大腿/髋部区域中的股动脉进入点的虚拟轨道35。在插入动脉后，可以通过平移器械驱动器28来引导和插入医疗器械34。替选地，推车可以被安置在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。

[0074] B.机器人系统-台。

[0075] 机器人使能医疗系统的实施方式还可以包含患者台。通过移除推车，包含台减少了手术室内的资本设备的量，这允许更大地接近患者。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于将平台38(示为“台”或“床”)支承在地面上的支承结构或柱37。与基于推车的系统非常相似，系统36的机器人臂39的端部执行器包括器械驱动器42，器械驱动器42被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长的医疗器械，例如图5中的支气管镜40。实际上，通过将发射器和检测器放置在台38周围，可以将用于提供荧光透视成像的C形臂安置在患者的上腹部区域上方。

[0076] 出于讨论的目的，图6提供了没有患者和医疗器械的系统36的替选视图。如所示出的，柱37可以包括在系统36中被示为环形的一个或更多个托架43，一个或更多个机器人臂39可以基于一个或更多个托架43。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移，以提供不同的有利点，机器人臂39可以被安置成从这些有利点到达患者。托架43可以使用位于柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧，例如患者的两侧。在具有多个托架的实施方式中，托架可以单独地安置在柱上，并且可以独立于其他托架而平移和/或旋转。尽管托架43不需要围绕柱37或甚至是圆形的，但所示的环形形状有利于托架43绕柱37旋转，同时保持结构平衡。托架43的旋转和平移允许系统将医疗器械例如内窥镜和腹腔镜对准到患者的不同进入点中。在其他实施方式中(未示出)，系统36可以包括患者台或床，患者台或床具有沿着其边延伸的棒或杆形式的可调节的臂支承件。一个或更多个机器人臂39(例如，经由具有肘关节的肩部)可以被附接至可调节的臂支承件，这些可调节的臂支承件可以被竖直调节。通过提供竖直调节，机器人臂39有利地能够紧被凑地收起在患者台或床下面，并且随后在过程期间升高。

[0077] 臂39可以通过包括一系列关节的一组臂安装件45安装在托架上，该组臂安装件45可以单独地旋转和/或可伸缩地延伸，以为机器人臂39提供附加的可配置性。此外，臂安装件45可以被安置在托架43上，使得当托架43适当地旋转时，臂安装件45可以被安置在台38的相同侧(如图6所示)、台38的相对侧(如图9所示)或台38的相邻侧(未示出)。

[0078] 柱37在结构上为台38提供支承并且为托架的竖直平移提供路径。在内部，柱37可以配备有用于引导托架的竖直平移的导螺杆，以及使基于导螺杆的所述托架的平移机械化的马达。柱37还可以将电力信号和控制信号传送至托架43和安装在托架43上的机器人臂39。

[0079] 台基部46提供与图2所示的推车11中的推车基部15类似的功能，容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46也可以包含用于在过程期间提供稳定性的刚性脚轮。从台基部46的底部部署的脚轮可以在基部46的两侧沿相反方向延伸，并且当系统36需要移动时缩回。

[0080] 继续图6，系统36还可以包括塔(未示出)，该塔在台与塔之间划分系统36的功能以减小台的形状因子和体积。如在较早公开的实施方式中，塔可以为台提供各种支持功能，例如处理、计算和控制能力、电力、流控和/或光学和传感器处理。塔还可以是可移动的以被安置成远离患者，以改善医师的接近并且使手术室不杂乱。此外，将部件放置在塔中允许台基部中的更多储存空间用于机器人臂的潜在收起。塔还可以包括主控制器或控制台，该主控制器或控制台提供用于用户输入的用户接口例如键盘和/或悬架式操纵台(pendant)以及用于手术前和手术中信息例如实时成像、导航和跟踪信息的显示屏(或触摸屏)。在一些实施方式中，塔还可能包含用于吹气的气罐的支架。

[0081] 在一些实施方式中，台基部可以在不使用时收起和储存机器人臂。图7示出了在基于台的系统的实施方式中收起机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收起在基部49内。基部盖52可以平移和缩回，打开以绕柱53部署托架48、臂安装件51和臂50，以及关闭以在不使用时收起托架48、臂安装件51和臂50以保护它们。可以沿着基部盖52的开口的边缘用膜54密封基部盖52，以防止在关闭时灰尘和流体进入。

[0082] 图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者安置成与柱37和台基部46成偏角的旋转部分55。旋转部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以将旋转部分55的底部部分安置成远离柱37。例如，旋转部分55的枢转允许C形臂(未示出)安置在患者的下腹部上方，而不与台38下方的柱(未示出)争夺空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以沿着虚拟轨道57将输尿管镜56直接插入患者的腹股沟区域中以到达尿道。在输尿管镜检查中，镫58也可以固定至台38的旋转部分55，以在过程期间支承患者的腿的位置，并且允许清楚地进入患者的腹股沟区域。

[0083] 在腹腔镜检查过程中，通过患者腹壁中的一个或多个小切口，可以将微创器械插入患者的解剖结构中。在一些实施方式中，微创器械包括细长刚性构件，例如轴，其用于进入患者体内的解剖结构。在患者的腹腔膨胀之后，可以引导通常称为腹腔镜的器械执行外科手术或医疗任务，例如抓取、切割、切除、缝合等。在一些实施方式中，器械可以包括观察仪器例如腹腔镜。图9示出了被配置用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如图9所示，系统36的托架43可以被旋转并且竖直调整成将成对的机器人臂39安置在台38的相对侧，使得可以使用臂安装件45将器械59安置成穿过患者两侧的最小切口到达他/她的腹腔。

[0084] 为了适应腹腔镜检查过程，机器人使能的台系统还可以将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗系统的实施方式。如图10所示，系统36可以适应台38的倾斜，以将台的一部分安置在比其他部分距地面更远的距离处。此外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，伸缩部分60允许柱37的竖直延伸以防止台38接触地面或与基部46碰撞。

[0085] 图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。可以通过将正交轴线1、2安置在柱-台接口处来实现俯仰旋转机构61，每个轴线由单独的马达3、4响应于电俯仰角命令来致动。沿着一个螺杆5的旋转将使得能够沿一个轴线1进行倾斜调整，而沿着另一个螺杆6的旋转将使得能够沿着另一个轴线2进行倾斜调整。在一些实施方式中，球形关节可以用于以多个自由度改变台38相对于柱37的俯仰角。

[0086] 例如，当试图将台安置在头低脚高(Trendelenburg)位置，即，将患者的下腹部安置在比患者的下腹部距地面更高的位置以用于下腹部外科手术时，俯仰调整特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹部，从而清出腹腔以使微创工具进入并且执行下腹部外科手术或医疗过程，例如腹腔镜前列腺切除术。

[0087] C.器械驱动器和接口。

[0088] 系统的机器人臂的端部执行器包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其包含用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有任何机电部件例如马达。该二分法可能是由对医疗过程中使用的医疗器械进行消毒的需要以及由于昂贵的资本设备的复杂机械组件和敏感电子器件而不能对昂贵的资本设备进行充分消毒所驱动的。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以便由医师或医师的工作人员单独消毒或处置。相比之下，器械驱动器不需要被更改或消毒，并且可以被覆盖以便保护。

[0089] 图12示出了示例器械驱动器。安置在机器人臂的远端处的器械驱动器62包括一个或更多个驱动单元63，一个或更多个驱动单元63以平行轴线布置以经由驱动轴64向医疗器械提供受控的扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64、用于将马达轴旋转转换成期望扭矩的齿轮头65、用于生成驱动扭矩的马达66、用于测量马达轴的速度并且向控制电路提供反馈的编码器67以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号传输至马达66，将由编码器67测量的得到的马达速度与期望速度进行比较，以及调制马达信号以生成期望扭矩。

[0090] 对于需要无菌环境的过程，机器人系统可以包含驱动接口，例如连接至无菌披盖(drape)的无菌适配器，该驱动接口位于器械驱动器与医疗器械之间。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的由薄的柔性材料例如透明或半透明塑料组成的无菌披盖被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。使用该披盖将允许资本设备安置在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)中。在无菌披盖的另一侧，医疗器械可以在需要消毒的区域(即无菌区)中与患者对接。

[0091] D.医疗器械。

[0092] 图13示出了具有成对器械驱动器的示例医疗器械。与被设计成与机器人系统一起使用的其他器械类似，医疗器械70包括细长轴71(或细长体)和器械基部72。器械基部72——由于其意在被设计用于由医师进行的手动交互，因此也被称为“器械手柄”——通常可以包括可旋转的驱动输入73例如插口、滑轮或卷轴，驱动输入73被设计成与延伸通过机器人臂76的远端处的器械驱动器75上的驱动接口的驱动输出74配合。当物理连接、闩锁和/或耦接时，器械基部72的配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转轴线，以允许扭矩从驱动输出74传递到驱动输入73。在一些实施方式中，驱动输出74可以包括花键，这些花键被设计成与驱动输入73上的插口配合。

[0093] 细长轴71被设计成例如如在内窥镜检查中通过解剖结构开口或内腔或例如如在腹腔镜检查中通过微创切口来递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计用于腹腔镜检查时，刚性细长轴的远端可以连接至端部执行器，该端部执行器从由具有至少一个自由度的U形夹形成的有关节的腕部和外科手术工具或医疗器械例如抓握器或剪刀延伸，当驱动输入响应于从器械驱动器75的驱动输出74接收的扭矩而旋转时，可以基于来自腱部的力来致动该端部执行器。当被设计成用于内窥镜检查时，柔性细长轴的远端可以包括可操纵或可控制的弯曲部分，该弯曲部分可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。

[0094] 使用沿轴71的腱部沿着细长轴71传递来自器械驱动器75的扭矩。这些单独的腱部例如牵引线可以单独地锚定至器械手柄72内的单独的驱动输入73。从手柄72沿着沿细长轴71的一个或更多个牵引内腔引导腱部并且将腱部锚定在细长轴71的远侧部分处，或者在细长轴的远侧部分处的腕部中。在过程例如腹腔镜检查、内窥镜检查或混合过程期间，这些腱部可以耦接至远侧安装的端部执行器，例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩将张力传递到腱部，从而使端部执行器以某种方式致动。在一些实施方式中，在外科手术过程期间，腱部可以使关节绕轴线旋转，从而使端部执行器沿一个方向或另一个方向移动。替选地，腱部可以连接至在细长轴71的远端处的抓握器的一个或更多个爪部(jaw)，其中来自腱部的张力使抓握器闭合。

[0095] 在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件耦接至沿着细长轴71安置(例如，在远端处)的弯曲或接合区段。当固定地附接至弯曲区段的远端时，将沿着腱部传递施加在驱动输入73上的扭矩，从而使较软的弯曲区段(有时称为可接合区段或区域)弯曲或接合。沿着非弯曲区段，使单独的牵引内腔螺旋或盘旋可以是有利的，所述牵引内腔沿着内窥镜轴的壁(或在内部)引导单独的腱部，以平衡由牵引线中的张力产生的径向力。为了特定目的，可以改变或设计螺旋的角度和/或其之间的间隔，其中更紧的螺旋在负载力下呈现更小的轴压缩，而更小的螺旋量在负载力下引起更大的轴压缩，但也呈现有限的弯曲。另一方面，牵引内腔可以被引导成平行于细长轴71的纵向轴线以允许在期望的弯曲或可接合区段中进行受控接合。

[0096] 在内窥镜检查中，细长轴71容纳多个部件以辅助机器人过程。轴可以包括用于将外科手术工具(或医疗器械)、冲洗和/或抽吸部署到轴71的远端处的手术区域的工作通道。轴71还可以容纳电线和/或光纤以向远侧尖端处的光学组件/从远侧尖端处的光学组件传递信号，该光学组件可以包括光学摄像装置。轴71也可以容纳光纤，以将光从位于近处的光源例如发光二极管传送到轴的远端。

[0097] 在器械70的远端处，远侧尖端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧尖端还可以包括用于摄像装置例如纤维镜或数码摄像装置的端口，该摄像装置用于捕获内部解剖空间的图像。相关地，远侧尖端还可以包括用于光源的端口，所述光源用于在使用摄像装置时照亮解剖空间。

[0098] 在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。当腱部从驱动输入73延伸出去并且进入到细长轴71内的牵引内腔时，在保持驱动输入73静止的同时沿着其轴线滚动细长轴71会引起腱部的不期望的缠结。所得到的这样的腱部的缠结可能扰乱旨在在内窥镜检查过程期间预测柔性细长轴的移动的任何控制算法。

[0099] 图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示出的，圆形器械驱动器80包括四个驱动单元，其驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出81被容纳在器械驱动器80的旋转组件83中，器械驱动器80由组件83内的驱动单元之一驱动。响应于由旋转驱动单元提供的扭矩，旋转组件83沿着圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传送至旋转组件83，电接触可以通过电刷滑环连接(未示出)的旋转来保持。在其他实施方式中，旋转组件
83可以响应于集成到不可旋转部分84中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及其各自的驱动输出81作为单个单元绕器械驱动器轴线85旋转。

[0100] 与较早公开的实施方式类似，器械86可以包括细长的轴部分88和器械基部87(出于讨论的目的，以透明的外表示出)，该器械基部87包括被配置成接纳器械驱动器80中的驱动输出81的多个驱动输入89(例如，插口、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中器械轴88的轴线基本平行于驱动输入89的轴线，而不是如图13的设计中那样正交。

[0101] 当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合绕器械驱动器轴线85旋转。由于器械轴88被安置在器械基部87的中心处，因此器械轴88在被附接时与器械驱动器轴线85共轴。因此，旋转组件83的旋转使器械轴
88绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部
87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行允许轴旋转而不会使任何控制腱部缠结。

[0102] E.导航和控制。

[0103] 传统的内窥镜检查可以包括使用荧光镜检查(例如，如可以通过C形臂递送的)和其他形式的基于辐射的成像模态，以向操作医师提供腔内指导。相比之下，本公开内容所设想的机器人系统可以提供基于非辐射的导航和定位装置，以减少医师暴露于辐射并且减少手术室内的设备的数量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。诸如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在其他情况下，在仍使用基于辐射的成像模态的情况下，可以单独地或组合地使用手术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。

[0104] 图15是示出根据示例实施方式的估计机器人系统的一个或更多个元件的定位例如器械的定位的定位系统90的框图。定位系统90可以是被配置成执行一个或更多个指令的一组一个或更多个计算机装置。计算机装置可以由以上讨论的一个或更多个部件中的处理器(或多个处理器)和计算机可读存储器来实施。作为示例而非限制，计算机装置可以位于图1所示的塔30、图1至图4所示的推车、图5至图10所示的床等中。

[0105] 如图15所示，定位系统90可以包括定位模块95，定位模块95处理输入数据91至94以生成医疗器械的远侧尖端的定位数据96。定位数据96可以是表示器械的远端相对于参考系的定位和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知对象例如EM场生成器(参见下文关于EM场生成器的讨论)的参考系。

[0106] 现在更详细地描述各种输入数据91至94。手术前映射可以通过使用低剂量CT扫描的集合来完成。手术前CT扫描被重构成三维图像，这些三维图像被可视化为例如患者的内部解剖结构的剖面图的“切片”。当总体分析时，可以生成患者的解剖结构例如患者的肺网络的解剖腔、空间和结构的基于图像的模型。可以从CT图像确定和近似诸如中心线几何形状的技术，以形成患者的解剖结构的三维体积，该三维体积被称为模型数据91(当仅使用手术前CT扫描生成时也被称为“手术前模型数据”)。在美国专利申请第14/523,760号中讨论了中心线几何形状的使用，该申请的全部内容并入本文中。网络拓扑模型也可以从CT图像中得出，并且特别适于支气管镜检查。

[0107] 在一些实施方式中，器械可以配备有摄像装置以提供视觉数据92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉的定位跟踪。例如，手术前模型数据可以与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道前进的器械)的基于计算机视觉的跟踪。例如，使用手术前模型数据91，机器人系统可以基于内窥镜的预期行进路径从模型生成预期内窥镜图像的库，每个图像链接至模型内的定位。在手术中，机器人系统可以参考该库，以将在摄像装置(例如，在内窥镜远端处的摄像装置)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。

[0108] 其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像装置的运动，并且因此确定内窥镜的运动。定位模块95的一些特征可以识别手术前模型数据91中的与解剖内腔对应的圆形几何结构并且跟踪那些几何结构的变化，以确定选择了哪个解剖内腔以及摄像装置的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。

[0109] 光流——另一种基于计算机视觉的技术——可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像装置移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过多次迭代进行多个帧的比较，可以确定摄像装置(以及因此确定内窥镜)的移动和定位。

[0110] 定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时定位，该实时定位可以被配准到由手术前模型表示的患者的解剖结构。在EM跟踪中，包括以一个或更多个定位和取向嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个传感器线圈的EM传感器(或跟踪器)测量由安置在已知位置处的一个或更多个静态EM场生成器产生的EM场的变化。由EM传感器检测的定位信息被存储为EM数据93。EM场生成器(或发送器)可以靠近患者放置，以产生嵌入的传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对这些小电流进行分析以确定EM传感器与EM场生成器之间的距离和角度。这些距离和取向可以在手术中“配准”到患者的解剖结构(例如，手术前模型)，以确定将坐标系中的单个定位与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦被配准，在医疗器械的一个或更多个位置(例如，内窥镜的远侧尖端)中的嵌入的EM跟踪器可以提供对医疗器械通过患者的解剖结构的进展的实时指示。

[0111] 机器人命令和运动学数据94也可以由定位模块95使用以提供机器人系统的定位数据96。可以在手术前校准期间确定由接合命令引起的装置俯仰和偏航。在手术中，这些校准测量可以与已知的插入深度信息结合使用，以估计器械的位置。替选地，可以结合EM、视觉和/或拓扑建模来分析这些计算，以估计医疗器械在网络内的位置。

[0112] 如图15所示，定位模块95可以使用多个其他输入数据。例如，尽管在图15中未示出，但是利用形状感测纤维的器械可以提供定位模块95可以用来确定器械的定位和形状的形状数据。

[0113] 定位模块95可以组合地使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向从输入数据91至94中的每一个确定的位置分配置信度权重。因此，在EM数据可能不可靠的情况下(可能是存在EM干扰的情况)，由EM数据93确定的定位的置信度可能降低，并且定位模块95可能更多地依赖于视觉数据92和/或机器人命令和运动学数据94。

[0114] 如以上所讨论的，本文讨论的机器人系统可以被设计成包含以上技术中的一个或更多个的组合。基于塔、床和/或推车的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在例如非暂态计算机可读存储介质例如永久性磁存储驱动器、固态驱动器等内，计算机程序指令在执行时使系统接收并且分析传感器数据和用户命令，生成整个系统的控制信号并且显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。

[0115] 2.导航路径跟踪。

[0116] 本公开内容的实施方式涉及用于导航路径跟踪的系统和技术。导航路径跟踪可以用于生成并显示如下视觉标记：该视觉标记指示在导航医疗器械通过内腔网络时该器械的历史路径(例如面包屑导航)。在导航器械通过内腔网络时，可以确定器械的位置，并且可以显示(例如，绘制或以其他方式显示)指示器械的位置的视觉标记。视觉标记可以帮助用户可视化内腔网络中经器械探索或导航的那些部分。视觉标记也可以用于可视化内腔网络的形状和/或延伸内腔网络的手术前模型。

[0117] A.示例内腔网络和手术前模型

[0118] 图16示出了可以使用本文所描述的导航路径跟踪方法和系统来导航的患者的示例内腔网络130。在所示出的实施方式中，内腔网络130是患者的肺内部的气道的支气管网络。如所示出的，内腔网络130包括以分支结构布置的多个内腔132。尽管所示出的内腔网络130包括多个分支内腔132，但是在某些情况下，内腔网络13可以仅包括单个内腔132。也就是说，在某些情况下，内腔网络130不需要包括分支布置的内腔132。为了便于说明，图16将内腔网络130表示为二维结构。这绝不应被解释为将本公开内容限制为二维内腔网络。通常，内腔网络130包括三维结构。

[0119] 尽管在图17中示出了特定的内腔网络130，但是，本文所描述的导航路径跟踪方法和系统可以在各种内腔网络130的导航期间实现。这样的内腔网络130可以包括例如支气管网络、肾网络、心血管网络(例如，动脉和静脉)、胃肠道、泌尿道等。本文所描述的导航路径跟踪方法和系统在分支内腔网络130和非分支内腔网络130二者的导航期间均可实现[0120] 图17示出了图16的内腔网络130的示例手术前模型150。如将在下面更详细地描述的，在某些情况下，手术前模型可以用于促进导航医疗器械通过内腔网络130。在某些情况下，可以在内腔网络130的导航之前和/或在内腔网络130的导航期间向用户显示手术前模型150。

[0121] 手术前模型150可以表示正在由医疗器械导航的内腔网络130的一个或更多个部分。在一些实施方式中，可以使用各种手术前成像和映射技术中的一种或更多种在内腔网络导航之前生成手术前模型150。作为一个示例，可以通过使用低剂量CT扫描的集合来完成手术前映射。如上面所讨论的，手术前CT扫描可以生成二维图像，每个二维图像表示患者内部解剖的剖视图的“切片”。当总体分析时，可以生成针对患者的解剖结构例如患者的肺部网络(即内腔网络)的解剖腔、空间和结构的基于图像的手术前模型。用于生成手术前模型150的其他方法也是可行的。

[0122] 在所示出的实施方式中，手术前模型150包括多个区段152。手术前模型150的区段152对应于内腔网络130的内腔132的至少一部分。因此，如果内腔网络130包括分支布置的内腔132，则手术前模型150可以包括对应的分支布置的分段152。如果内腔网络130包括单个内腔132，则手术前模型150可以包括对应的单个分支152。通常，手术前模型150包括与内腔网络130的三维形状的至少一部分对应的三维形状。尽管手术前模型150可以包括三维形状，但是为了便于说明，图17将手术前模型150示出为二维形状。在某些情况下，可以在二维显示器上显示三维手术前模型150的截面。

[0123] 对图16的内腔网络130和图17的手术前模型150进行比较，可以看出，在某些情况下，手术前模型150可以表示或者对应于内腔网络130的仅一部分。这在图18中进一步示出，图18是覆盖在内腔网络130上的手术前模型150的视图。在某些情况下，用于生成手术前模型150的手术前成像和映射技术的局限性可能阻止生成与整个内腔网络130对应的模型。例如，内腔网络内的某些分支内腔132可能足够小，以至于无法使用常见的手术前成像和映射技术清楚地描绘和分析它们。因此，手术前模型150可能不提供内腔网络130的完整表示，例如，使得在手术前模型150中未映射和/或未表示内腔网络130的各个部分。

[0124] 例如，如图18所示，手术前模型150可以对应于内腔网络130的映射部分155。内腔网络130的可能未由手术前模型150表示的未映射部分135可以延伸超出映射部分155。

[0125] 在一些实施方式中，手术前模型150还可以包括包含有内腔网络的器官的外表面的表示。例如，在肺的情况下，手术前模型可以包括气道的至少一部分的表示并且还包括肺的外表面的表示。

[0126] B.使用医疗器械来导航内腔网络。

[0127] 图19提供了医疗器械(例如，内窥镜315和导管345)在内腔网络330内导航的示例。如所示出的，内腔网络330(其可以类似于上面描述的内腔网络130)包括分支结构的气道
350(其可以类似于内腔132)。在该示例中，将内窥镜315导航(例如指导、引导、移动等)通过内腔网络330朝向感兴趣的区域(例如，结节355)以进行诊断和/或治疗。在所示的示例中，结节355位于内腔网络330和气道350的外围。内窥镜315具有第一直径，并且因此其远端可能不能被安置通过结节355周围的较小直径的气道。因此，可操纵导管345可以从内窥镜315的工作通道延伸剩余距离至结节355。可操纵导管345可以具有内腔，器械例如活检针、细胞学刷、组织采样钳等可以通过所述内腔被传递至结节355的目标组织部位。在这样的实施方式中，内窥镜315的远端与可操纵导管345的远端都可以设置有EM器械传感器(或其他位置传感器)以跟踪其在气道350中的位置。在其他实施方式中，内窥镜315的总直径可以小到足以在没有可操纵导管345的情况下到达外围，或者可以足够小(例如在2.5厘米至3厘米内)以接近外围，从而通过不可操纵的导管来部署医疗器械。通过内窥镜315部署的医疗器械可以配备有EM器械传感器(或其他位置传感器)。

[0128] 如上所述，在图19的示例中，结节355位于内腔网络330的外围处。这可能是内腔网络330的未由手术前模型150表示的区域。也就是说，在某些情况下，结节355可能被安置在内腔网络130、330的未映射部分135中。

[0129] 图20示出了示例医疗器械400的远端的细节图。医疗器械400表示图19的内窥镜315或可操纵导管345。医疗器械400可以表示贯穿本公开内容所描述的任何医疗器械，例如图1的内窥镜13、图3的输尿管镜32以及图9的腹腔镜59等。在图19中，器械400的远端包括成像装置415、照明源410以及形成EM器械传感器的EM传感器线圈405的端部。远端还包括器械的工作通道420的开口，外科手术(或医疗)器械例如活检针、细胞学刷和镊子等可以通过该开口沿着器械轴插入，从而使得能够接近器械尖端附近的区域。

[0130] 位于器械400的远端上的EM线圈405(也称为EM位置传感器405)可以与EM跟踪系统(参见下面描述的图21)一起使用，以在器械400被安置在内腔网络内时检测器械400的远端的位置和取向。在一些实施方式中，线圈405可以成角度以向沿不同轴线的EM场提供灵敏度，从而给与所公开的导航系统测量完整的6个自由度(DoF)的能力：三个位置DoF和三个角度DoF。在其他实施方式中，仅单个线圈405可以被设置在远端上或者被设置在远端内，其中，其轴线沿器械轴定向。由于这样的系统的旋转对称性，可能对绕其轴线的转动不敏感，因此在这样的实现方式中可以仅检测五个自由度。EM线圈可以被配置成提供EM数据93(参见图15)，导航和定位系统90可以根据该EM数据93来确定或估计器械的位置。在一些实施方式中，可以用用于检测器械400的位置的其他类型的位置传感器代替EM线圈405，或者除了用于检测器械400的位置的其他类型的位置传感器之外使用EM线圈405。

[0131] 图21示出了用于基于由EM线圈405生成的EM数据93来确定医疗器械的位置的示例电磁(EM)系统500的某些部件。系统500可以包括EM场生成器510和被安置在器械400上的EM线圈405。系统500可以在包括用于支承患者的台的操作环境中实现。还可以包括某些附加的装置/元件，但是未在图21中示出。例如，环境还可以包括：被配置成引导医疗器械的移动的机器人系统、用于控制外科手术(或医疗)机器人系统的操作的命令中心/控制台以及EM控制器。EM控制器可以进一步连接至EM场生成器510，以向其提供用于生成EM场的控制信号。在某些实施方式中，EM控制器可以部分地或完全地并入包括EM场生成器510、推车11(参见图1)、塔30(参见图1)等的系统的一个或更多个其他处理装置中。

[0132] 在包括EM控制器的情况下，EM控制器可以控制EM场生成器510以产生EM场。EM场可以是变化的EM场。取决于实施方式，EM场可以是时变的和/或空间上变化的。EM场生成器510可以位于类似于图2所示的推车11的推车上，或者可以经由一个或多个支承柱附接至台的轨道。在其他实施方式中，EM场生成器510可以安装在例如类似于图1的外科手术(或医疗)机器人系统10中所示的那些可以围绕患者提供灵活的设置选项的机器人臂上。

[0133] EM空间测量系统可以确定EM场内被嵌入或设置有EM传感器线圈例如EM线圈405(如图20所示)的物体的定位。当如本文所述将EM传感器放置在受控的变化的EM场内时，在EM传感器中包括的传感器线圈中感应出电压。EM空间测量系统可以使用这些感应电压来计算EM传感器的位置和取向，并因此计算具有EM传感器的物体的位置和取向。由于EM场强度低并且可以安全地穿过人体组织，因此可以在没有光学空间测量系统的视线约束的情况下对物体进行定位测量。

[0134] 可以相对于EM场生成器510的坐标系来定义EM场，并且可以将内腔网络130的手术前模型150的坐标系映射(或配准)至EM场的坐标系。因此，可以在手术前模型的坐标系内确定由EM场内的器械上的EM器械传感器405的位置所确定的器械的位置，而不依赖于手术前模型来确定位置。

[0135] 因此，系统500可以返回可由定位系统90用来确定器械的位置的EM数据93。如上所述，该EM数据93可以提供可以被用于确定已映射或配准至手术前模型150的坐标系中的位置的模态。

[0136] 返回至图20，器械400还可以包括照明源410。照明源410提供光以照亮解剖空间的一部分。照明源每个均可以是被配置成以选定波长或波长范围发射光的一个或更多个发光装置。波长可以是任何合适的波长，举几个例子，例如可见光谱光、红外光、x射线(例如，用于荧光镜检查)。在一些实施方式中，照明源410可包括位于器械400的远端处的发光二极管(LED)。在一些实施方式中，照明源410可以包括延伸通过内窥镜的长度以从远程光源例如x射线生成器穿过远端传输光的一个或更多个光纤。在远端包括多个照明源410的情况下，这些照明源每个均可以被配置成彼此发射相同或不同波长的光。

[0137] 成像装置415可以包括被配置成将表示接收到的光的能量转换成电信号的任何光敏基板或结构，例如，电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)图像传感器。成像装置415的一些示例可以包括被配置成将表示图像的光从内窥镜的远端400传输至内窥镜近端附近的目镜和/或图像传感器的光纤(例如，光纤束)。此外，成像装置415可以包括各种光学设计所需的一个或更多个透镜和/或波长通过或截止滤波器。从照明源410发射的光使得成像装置415能够捕获患者的内腔网络内部的图像。然后，这些图像可以作为单独帧或一系列连续帧(例如视频)被传输至计算机系统例如命令控制台200。

[0138] 图22示出了示例命令控制台200，其可以与本文描述的机器人系统的一些实现方式一起使用。如所示出的，在一些实施方式中，命令控制台200包括控制台基部201、显示器202(例如，监视器)和一个或更多个控制模块(例如，键盘203和操纵杆204)。用户205(例如，医师)可以使用命令控制台200从人体工程学位置来远程控制医疗机器人系统(例如，参照图1至图15描述的系统)。例如，用户205可以使用命令控制台200在患者的内腔网络内对器械进行导航。命令控制台200还可以向用户205显示可以用于帮助内腔网络的导航的信息。

[0139] 显示器202可以包括电子监视器(例如，LCD显示器、LED显示器和触敏显示器)、虚拟现实观看装置(例如，护目镜或眼镜)和/或其他显示装置。在一些实施方式中，一个或更多个显示器202可以显示患者的内腔网络130的手术前模型150。显示器202还可以显示从被安置在内腔网络130内的器械上的摄像装置或其他感测装置接收的图像信息。在一些实施方式中，器械的模型或表示被与手术前模型150一起显示以帮助指示外科手术或医疗过程的状态。

[0140] 在一些实施方式中，控制台基部201包括中央处理单元(CPU或处理器)、存储单元(计算机可读存储器)、数据总线以及相关联的数据通信端口，该数据通信端口负责解释和处理例如来自被安置于患者的内腔网络内的医疗器械的信号例如摄像装置图像和跟踪传感器数据。在某些情况下，由控制台基部201的处理器执行下面描述的用于导航路径跟踪的方法。控制台基部201还可以处理由用户205通过控制模块203、204提供的命令和指令。除了图22所示的键盘203和操纵杆204之外，控制模块可以包括：诸如计算机鼠标、触控板、轨迹球、控制板的其他装置；诸如手持式远程控制器的控制器；以及捕获手的姿势和手指姿势的传感器(例如，运动传感器或摄像装置)。控制器可以包括被映射至器械的操作(例如，接合、驱动、水冲洗等)的一组用户输入(例如，按钮、操纵杆、方向垫等)。用户205可以使用控制台基部200的控制模块203和204来导航器械通过内腔网络130。

[0141] A.示例导航路径跟踪方法和系统。

[0142] 图23A是示出示例性导航路径跟踪处理、算法或方法100的流程图。方法100可以在某些机器人系统中实现，例如在图1至图15所示的机器人系统和其他机器人系统中实现。方法100可以在诸如图15的导航或定位系统90的导航系统中实现或由该导航系统实现。在一些实施方式中，一个或更多个计算机装置可以被配置成执行方法100。计算机装置可以由上述一个或更多个部件中的处理器(或多个处理器)和计算机可读存储器来实施。该计算机可读存储器可以存储指令，指令可以由处理器执行以执行方法100。指令可以包括一个或更多个软件模块。作为示例而不是限制，计算机装置可以在图1所示的塔30中、图1至图4所示的推车中、图5至图10所示的床中、图22所示的控制台200等中。

[0143] 方法100(或植入方法100的系统)可以被配置成提供(例如，绘制或以其他方式显示)视觉标记(例如，参见图25至27)，该视觉标记指示安置在内腔网络(例如图16的内腔网络130)内的医疗器械的位置(例如，历史位置和/或当前位置)。视觉标记可以表示医疗器械在导航内腔网络时所行进的路径。视觉标记可以经由用户显示器(例如图22的显示器202)显示给用户。所显示的视觉标记可以向用户提供由医疗器械导航的内腔网络的一个或更多个部分的可视化。视觉标记还可以用于延伸内腔网络的手术前模型。在方法100的一些实现方式中实现的这些和其他特征将在下面更详细地描述。

[0144] 导航路径跟踪方法100处于框101处。例如，如图21所示，可以例如在导航医疗器械通过内腔网络130时执行方法100。在一些实施方式中，当医疗器械被引入内腔网络130中时，方法100因此可以被触发。在一些实施方式中，方法100可以被自动触发。在一些实施方式中，例如当接收到用户输入或命令时，可以手动触发方法100。如上所述，方法100可以被实现为用于各种内腔网络的导航，各种内腔网络包括分支的内腔网络(例如支气管网络、肾网络、心血管网络(例如，动脉和静脉)等)和非分支的(例如，单个内腔)内腔网络(例如胃肠道、泌尿道等)。

[0145] 在框103处，方法100显示手术前模型(例如，手术前模型150)，其可以包含例如在用户接口上显示与内腔网络的映射部分相对应的手术前模型。如前所述，可以使用各种成像和映射技术在手术前(在当前过程之前)生成手术前模型150。手术前模型150可以包括3D模型。手术前模型150可以从存储器中检索。手术前模型150可以存储在存储器中，例如，作为参照图15描述的手术前模型数据91。手术前模型150可以表示或对应于内腔网络130的至少一部分。因此，在一些实施方式中，如图18所示，手术前模型150可以表示并对应于内腔网络130的映射部分155。在一些实施方式中，内腔网络130的未映射部分135(参见图18)可以不由手术前模型150表示。手术前模型150可以在用户显示器(例如，用户显示器202)上显示。用户显示器可以是命令控制台200或其他装置的一部分。

[0146] 在显示手术前模型150的情况下，方法100移至框105。在框105处，方法100确定医疗器械相对于手术前模型150的位置，这可以包括例如确定在内腔网络内的器械的远端相对于内腔网络的映射部分的位置。在一些实施方式中，使用以上所描述并在图15中示出的导航或定位系统90来确定或估计位置。定位系统90可以单独地或组合地使用各种技术或模态，例如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据来确定或估计器械的位置。在某些情况下，可以使用基于辐射的成像模态(例如，荧光镜检查)。在这种情况下，可以通过手术前映射、计算机视觉、实时EM跟踪和/或机器人命令数据来补充基于辐射的成像模态。

[0147] 如上所述，定位系统90可以包括定位模块95，定位模块95处理来自各种模态的多种类型的输入数据91至94以生成医疗器械的定位数据96(例如，定位数据96可以指示器械的远侧尖端的位置)。各种类型的输入数据可以包括例如如上所述的手术前模型数据91(例如手术前模型150)、视觉数据92、EM数据93(或其他位置传感器数据)、形状感测数据和/或机器人命令和运动学数据94。此外，在某些情况下，定位系统90可以使用概率方法，该概率学方法将置信度权重分配给根据输入数据91至94中的每一个确定的定位。因此，在一种类型的数据可能不可靠(由于各种原因)的情况下，可以降低由该类型的数据确定的定位的置信度，并且定位模块95在确定器械的位置时可以更加依赖于另一种类型的数据。

[0148] 定位系统90提供指示器械的位置的定位数据96。定位数据96可以在已经配准至手术前模型150的坐标系中呈现，使得能够确定器械相对于手术前模型150的位置。例如，如上所述，可以将EM数据93(或其他位置传感器数据)配准至手术前模型150，使得可以将由EM数据确定的位置呈现在手术前模型150的坐标系内。在一些情况下，各种其他模态中的一个或更多个(例如，视觉数据92和/或机器人命令和运动学数据94)也可以被配准至模型150的坐标系。在一些实现方式中，可以在显示器202之一上将定位数据96显示给用户205。

[0149] 另外，在一些实施方式中，仅当器械位于内腔网络130的由手术前模型150所映射的部分内时，才可以利用定位模态中的某些定位模态。例如，在一些实施方式中，仅当器械位于手术前模型150内时，才可以使用视觉数据92来确定器械的位置估计。这可能是因为，在一些实施方式中，基于视觉数据92确定位置也部分地依赖于手术前模型数据91。例如，可以将视觉数据92与手术前模型数据91进行比较以确定位置。在一些实施方式中，在手术前模型150之外，视觉数据92可能会提供不可靠的位置估计。类似地，在一些实施方式中，仅当器械位于手术前模型150内时，才可以使用机器人命令和运动学数据94来确定器械的位置估计。这可能是因为，在一些实施方式中，基于机器人命令和运动学数据94确定位置也部分地依赖于手术前模型数据91。例如，机器人命令和运动学数据94可以与手术前模型数据91结合以确定位置。在一些实施方式中，在手术前模型150之外，机器人命令和运动学数据94可能会提供不可靠的位置估计。

[0150] 相比之下，在一些实施方式中，无论器械是否位于内腔网络130的由手术前模型150所映射的部分内，都可以利用定位模态中的某些定位模态。例如，在一些实施方式中，EM数据93(或其他位置传感器数据)可以用来确定位置，而与器械是否位于内腔网络130的由手术前模型150所映射的部分内无关。这可能是因为，除了被配准至手术前模型150的坐标系之外，EM数据93(或其他位置传感器数据)的定位确定可以独立于手术前模型数据91。

[0151] 作为另一示例，在一些实施方式中，视觉数据92和机器人以及机器人命令和运动学数据94可以提供不依赖于器械是否位于手术前模型150内的导航模态。例如，视觉算法或模块可以分析从器械上的成像装置415接收的图像，以检测内腔的一个开口。机器人命令和运动学算法或模块可以分析器械通过内腔的移动以估计器械的行进长度。可以组合这些模态以开发不基于手术前模型150的位置估计。在某些情况下，视觉数据92和机器人以及机器人命令和运动学数据94可以结合以开发器械位置的人工或二维估计。

[0152] 在一些实施方式中，可以使用其他模态来确定位置(在已配准到手术前模型的坐标系内的位置)，而无需进一步基于手术前模型150和/或手术前模型数据91。这些可以包括荧光镜检查、形状感测纤维、位置和/或运动传感器等。

[0153] 在一些实施方式中，在框105处，方法100确定器械是位于内腔网络130的由手术前模型150所表示的部分以内还是以外。在一些实施方式中，如果器械位于内腔网络130的由手术前模型150所表示的部分内，则使用取决于手术前模型数据91的模态和/或不取决于手术前模型数据91的模态来相对于手术前模型150确定定位(例如，在已映射到手术前模型150的坐标系中的定位)。在一些实施方式中，如果器械位于内腔网络130的由手术前模型
150所表示的部分之外，则使用不取决于手术前模型数据91的模态来相对于手术前模型150确定定位(例如，在已经映射到手术前模型150的坐标系中的定位)。在一些实施方式中，不取决于手术前模型数据91的模态包括已经被配准至手术前模型150的坐标系的EM数据93和/或其他位置传感器数据。

[0154] 在框105处确定器械相对于手术前模型的位置之后，方法100移至决策状态107。在决策状态107处，方法100确定是否进入或者保持在路径跟踪模式下，这可能包含例如确定何时器械的远端已经前进经过内腔网络的映射部分进入内腔网络的未映射部分并进入路径跟踪模式。如下面参照图25至图27更详细描述的，在路径跟踪模式下，可以显示视觉标记以指示器械通过内腔网络130的历史路径。

[0155] 在一些示例中，至少部分地基于在框105处确定的器械相对于手术前模型150的位置确定是否进入还是保持在路径跟踪模式下。例如，当器械位于手术前模型150之外时，方法100可以进入或保持在路径跟踪模式下。因此，在一些实施方式中，当器械在内腔网络130的如由手术前模型150所表示的映射部分155之外时，方法100触发路径跟踪模式。

[0156] 作为另一示例，可以基于与手术前模型150的端部或手术前模型150的区段的端部的接近度来确定决策状态107。例如，当器械位于手术前模型150的端部或手术前模型150的区段的端部的0.1mm、0.25mm、0.5mm、0.75mm、1cm、1.5cm、2cm、2.5cm、3cm、4cm、5cm、7.5cm或10cm内时，方法100可以进入路径跟踪模式。作为另一示例，当器械位于手术前模型105的长度或手术前模型150的区段(例如最后的区段)的长度的1％、2.5％、5％、7.5％、10％、15％、
20％、25％或50％内时，方法100可进入路径跟踪模式。因此，在一些情况下，在将器械移动超出手术前模型150之前触发路径跟踪模式。可替选地或者附加地，在一些实现方式中，当器械位于手术前模型150内时，激活路径跟踪模式。

[0157] 作为另一示例，可以基于器械在内腔网络130内的行进方向来确定决策状态107。例如，在一些情况下，当器械前进到内腔网络130中、在内腔网络130中向后缩回、或进行两者时激活路径跟踪模式。

[0158] 作为另一示例，可以基于器械在内腔网络130内行进的距离来确定决策状态107。例如，在一些情况下，当器械已经行进了至少0.1mm、0.25mm、0.5mm、0.75mm、1cm、1.5cm、
2cm、2.5cm、3cm、4cm、5cm、7.5cm或10cm时，激活路径跟踪模式。也可以使用其他距离。

[0159] 作为另一示例，可以基于经过的时间来确定决策状态107。例如，可以每0.1秒、0.25秒、0.5秒、0.75秒、1秒、1.5秒、2秒、2.5秒、3秒、4秒、5秒、7.5秒或10秒来激活路径跟踪模式。也可以使用其他时间段。

[0160] 在一些示例中，至少部分地基于用户输入来确定是否进入或保持在路径跟踪模式下。例如，在一些情况下，用户可以根据需要激活或停用路径跟踪模式。在一些实施方式中，这是通过在命令控制台200处输入用户命令来完成的。

[0161] 还可以考虑其他因素来确定是否进入或保持在路径跟踪模式下。此外，在一些情况下，可以在决策状态107处考虑组合因素。

[0162] 如果决策状态107确定进入或保持在路径跟踪模式下，则方法100移动到框109，在框109处生成和/或显示视觉标记，这可能涉及例如显示在内腔网络的未映射部分中的器械的远端相对于内腔网络的映射部分的手术前模型的路径的视觉标记。如前所述，视觉标记是当器械行进通过内腔网络130时器械的历史位置的指示符。视觉标记可以创建表示器械通过内腔网络130的行进路径的轨迹(例如，面包屑导航或历史路径)。视觉标记可以显示在显示器202上。视觉标记可以包括如下面参照图25至图27所描述的许多类型的指示符。

[0163] 在框109处生成并显示视觉标记之后，方法100移至决策状态111。在决策状态111处，该方法确定结束(例如，如果过程完成)还是继续(例如，如果过程将继续)。如果决策状态111确定方法100应该结束，则该方法在框113处结束。如果决策状态111确定方法100将继续，则该方法移至框115。

[0164] 在框115处，将器械移至内腔网络130内的新位置。这可以通过使器械在内腔网络130内前进或缩回来实现。这可以通过使器械接合来实现。方法100然后返回至框105，在框
105处，确定器械在内腔网络130内的新位置。

[0165] 如图23A所示，当方法100继续时，在器械在内腔网络内移动之后，方法100包括针对每个新位置的两个可能的循环。如果决策状态107确定路径跟踪模式是激活的，则循环生成并显示新位置的新视觉标记。如果决策状态107确定路径跟踪模式是未激活的，则不会生成或显示新的视觉标记。因此，可以改变决策状态107所使用的标准来确定何时显示视觉标记。如上所述，这些标准可以包括器械是在手术前模型的以内还是以外、器械行进的距离(例如，自先前的视觉标记起)、行进方向、先前的视觉标记之间经过的时间等。本领域技术人员将意识到，可以改变这些标准以确定生成视觉标记的频率以及连相继的视觉标记之间的距离。

[0166] 因此，路径跟踪方法100(或实现该方法的系统)可以在器械行进通过内腔网络时生成并显示指示器械的历史位置的视觉标记。随着生成和显示视觉标记，可以可视化器械经过的内腔。关于经过的内腔的数据可以与视觉标记相关联并显示给用户。也可以存储数据和视觉标记以供将来使用。在一些情况下，可以在视觉标记周围适配管状结构，以将手术前模型延伸到内腔网络的先前未由手术前模型映射的部分中。因此，路径跟踪方法100(或实现该方法的系统)可以有利地帮助用户导航和可视化内腔网络。

[0167] 图23B是示出了在一些实施方式中用于执行图23A的方法100的步骤105的示例子例程的流程图。图23B的子例程不必包括在方法100的所有实现方式中。子例程提供了确定在内腔网络130内的器械的位置的方法。该子例程在框117处开始。在决策状态119处，该子例程确定器械是否位于手术前模型150内。例如，在将定位数据96配准至手术前模型的坐标系之后，可以将定位数据96与手术前模型150进行比较，以确定器械是在内腔网络130的映射部分155内还是在未映射部分135内(见图18)。

[0168] 如果确定器械在手术前模型150内，则子例程移至框121。在框121处，子例程返回部分地基于手术前模型150和/或手术前模型数据91的位置(例如，位置数据96)。也就是说，当器械位于手术前模型150内时，子例程可以返回位置数据，该位置数据至少部分基于使用手术前模型150和/或手术前模型数据的导航模态。然后，该子例程在框123处结束。

[0169] 如果在决策状态119处确定器械在手术前模型150之外，则子例程移至框125。在框125处，该子例程返回以下位置：该位置除了被配准至手术前模型150的坐标系之外，不基于手术前模型150和/或手术前模型数据91。也就是说，当器械位于手术前模型150之外时，子例程可以返回基于不使用手术前模型150和/或手术前模型数据(除了将其输出配准至手术前模型150的坐标系之外)的导航模态的位置数据。这可能是因为器械可能位于手术前模型之外，并且可能无法获得来自依赖于手术前模型150或手术前模型数据91的导航模态的数据。然后，该子例程在框127处结束。

[0170] 考虑决策状态119，子例程根据器械是否在手术前模型150内，返回基于各种导航模态的位置。当器械在手术前模型150内时，定位系统90可以使用比当器械在手术前模型150之外时更多数量的导航模态。

[0171] 在一些实施方式中，EM数据93(或其他位置传感器数据)可以提供不取决于器械是否位于手术前模型150内的导航模态。也就是说，除了被配准至手术前模型150的坐标系之外，EM数据93(或其他位置传感器数据)可以提供不基于手术前模型150的定位确定。因此，在子例程的框125处，可以使用EM数据93来返回位置，而不基于手术前模型。

[0172] 图24是示出了确定器械在内腔网络内的导航路径的示例过程、算法或方法140的流程图。与图23A的方法100一样，图24的方法140可以在某些机器人系统中实现，例如在图1至图15所示的机器人系统以及其他机器人系统中实现。方法140可以在诸如图15的导航或定位系统90的导航系统中实现或由该导航系统实现。

[0173] 方法140在框141处开始。在框142处，方法100在用户接口上显示与内腔网络的映射部分相对应的手术前模型。如以上参照图23A的方法100所指出的，可以使用各种成像和映射技术在手术前(在当前过程之前)生成手术前模型150。上面参考图23A的方法100描述的许多方面适用于图24的方法140，并且为了简洁起见将不再重复。

[0174] 在框143处，方法140确定在内腔网络内的器械的远端相对于内腔网络的映射部分的位置。在一些实施方式中，使用以上描述并在图15中示出的导航或定位系统90来确定位置。定位系统90可以使用各种技术或模态，例如手术前映射、计算机视觉、实时EM跟踪、形状感测纤维数据和/或机器人命令和运动学数据来确定或估计器械的位置。

[0175] 在框144处，方法140在内腔网络内移动器械。这可以通过使器械在内腔网络130内前进或缩回来实现。这可以通过使器械接合来完成。

[0176] 在框145处，方法140确定何时器械的远端已经前进经过内腔网络的映射部分进入内腔网络的未映射部分，并进入路径跟踪模式。在路径跟踪模式下，可以显示视觉标记以指示器械通过内腔网络130的历史路径。

[0177] 在框146处，当在路径跟踪模式下时，方法140显示在内腔网络的未映射部分中的器械的远端相对于内腔网络的映射部分的手术前模型的路径的视觉标记。视觉标记可以包括如下参照图25至图27描述的多种类型的指示符。方法140在框147处结束。

[0178] C.示例导航路径跟踪输出和显示。

[0179] 图25提供了示出视觉标记170的导航路径跟踪系统或方法的示例输出。在所示出的示例中，视觉标记170被示为圆形，但是并非在所有实施方式中都是如此。例如，视觉标记170可以是任何合适的形状或标记，例如点、破折号、X、其他形状等。如图25所示，视觉标记
170可以揭示内腔网络130的未由手术前模型150表示的部分的形状。也就是说，当器械移动通过内腔网络130并且绘制或显示视觉标记170时(例如，当在路径跟踪模式下时)，视觉标记170可以提供对内腔网络130的形状或结构的指示。

[0180] 图26提供了示出了若干不同类型的视觉标记的导航路径跟踪系统或方法的另一示例输出。视觉标记可以变化以向用户提供各种类型的信息。例如，在所示出的图26的示例中，视觉标记170被示为变黑的圆形。视觉标记170可以表示在内腔网络的内腔中的器械的位置。视觉标记172、174被示为三角形。视觉标记172、174可以表示在内腔网络130内的器械的的位置，在该位置处存在分支。视觉标记172被示为变黑的三角形，其可以表示器械已经沿着该位置处的所有可用分支行进过。视觉标记174被示为未变黑的三角形，其可以表示器械尚未探索从该位置起的分支。视觉标记176、178被示为未变黑的圆形。在此示例中，未变黑的圆形可以表示器械已探索过的内腔内的最远点。视觉标记176被示为具有实线轮廓的未变黑的圆形。这可以表示内腔的端部的位置，或在其处由于例如器械和内腔的相对尺寸而使器械在其处不能进一步进入内腔的点的位置。视觉标记178被示为带有虚线轮廓的未变黑的圆形。这可以表示内腔继续并且尚未被器械探索。视觉标记171被示为灰色圆形。在示出的示例中，视觉标记171示出了器械在手术前模型内的历史位置。

[0181] 图26中示出的各种视觉标记仅作为示例提供并且不意在限制。这些示例示出可以使用各种类型的视觉标记来向用户提供关于器械的历史位置的不同信息以及关于内腔网络130的各种信息。用于示出各种视觉标记的具体符号以及可以表示的信息类型可以有很大的变化。

[0182] 在一些情况下，视觉标记可能会随时间变化。例如，视觉标记可能随着时间而褪色，使得最近行进的部分比先前行进的部分暗。

[0183] 如图26所示，在一些实现方式中，数据180可以与视觉标记相关联。例如，用户(例如，医师)可以创建包含与某些视觉标记相关联的数据的笔记。用户可以经由命令控制台200输入数据180，并且可以经由显示器202查看数据180。

[0184] 另外，方法100(或实现方法100的系统)可以将各种其他类型的数据与视觉标记相关联。例如，视觉数据(例如，在由视觉标记表示的定位处的内腔的图像)可以与视觉标记相关联。可以从视觉数据中得到各种信息，例如是否存在分支、内腔的直径/大小等。

[0185] 图27提供了导航路径跟踪系统或方法的另一示例输出，并且示出了导航路径跟踪系统可以用于延伸手术前模型150。如图27所示，视觉标记170可以被分组以延伸手术前模型150。例如，路径跟踪模式可以将视觉标记170串识别为与内腔相对应，并且将管状结构190适配视觉标记串以延伸手术前模型190。可以使用内腔内部的视觉数据或其他方法来确定管状结构190的直径。因此，管状结构190将手术前模型150延伸至内腔网络130的先前未被手术前模型150映射的部分中。延伸的手术前模型可以保存在例如计算机可读存储器中以供在将来的过程中使用。

[0186] 3.实现系统和技术

[0187] 本文公开的实现方式提供了用于导航路径跟踪的系统、方法和设备。本文描述的各种实现方式提供了内腔网络的改进的导航。

[0188] 应当注意的是，如本文所使用的术语“耦合(couple)”、“耦接(coupling)”、“被耦接(coupled)”或其他词语耦合(couple)的变型可以指示间接连接或直接连接。例如，如果第一部件“被耦接”至第二部件，则第一部件可以经由另一部件间接连接至第二部件，或者直接连接至第二部件。

[0189] 本文描述的位置估计和机器人运动致动功能可以作为一个或更多个指令存储在处理器可读或计算机可读介质上。术语“计算机可读介质”是指可以由计算机或处理器访问的任何可用介质。作为示例而非限制，这样的介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘只读存储器(CD-ROM)或其他光盘存储设备、磁盘存储设备或其他磁性存储设备、或可用于以指令或数据结构形式存储所需程序代码且可由计算机访问的任何其他介质。应当注意，计算机可读介质可以是有形的并且非暂态的。如本文所使用的，术语“代码(code)”可以指可由计算装置或处理器执行的软件、指令、代码或数据。

[0190] 本文公开的方法包括用于实现所描述的方法的一个或更多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非所描述的方法的正确操作要求步骤或动作的特定顺序，否则可以在不背离权利要求的范围的情况下来修改特定步骤和/或动作的顺序和/或使用。

[0191] 如本文所用的，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”涵盖多种动作，因此，“确定”可以包括估算、计算、处理、推导、调查、查找(例如，在表、数据库或其他数据结构中查找)、查明等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、精选、选择、建立等。

[0192] 除非另外明确指出，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述了“仅基于”和“至少基于”两者。

[0193] 如本文所使用的，术语“大约”是指长度、厚度、数量、时间段或其他可测量值的测量范围。这样的测量范围包括特定值的或者从特定值的+/-10％或更小、优选+/-5％或更小、更优选+/-1％或更小并且再更优选+/-0.1％或更小的变化，只要这样的变化是适当的，以便在所公开的装置、系统和技术中起作用。

[0194] 提供所公开的实现方式的先前描述以使本领域的任何技术人员能够制造或使用本发明。对这些实现方式的各种修改对于本领域技术人员而言将是明显的，并且在不脱离本发明的范围的情况下，本文中限定的一般原理可以应用于其他实现方式。例如，应当理解，本领域的普通技术人员将能够采用许多相应的替选和等效的结构细节，例如紧固、安装、耦接或接合工具部件的等效方法、用于产生特定致动运动的等效机制以及用于递送电能的等效机制。因此，本发明不限于本文所示的实现方式，而是应被赋予与本文所揭示的原理和新颖特征一致的最广范围。

标题	发布/更新时间	阅读量
一种具有远程清理功能的工业内窥镜	2020-05-13	811
应用标准厚度砝码检测灌浆套筒内浆面高度的方法	2020-05-14	716
基于胶原的药物组合物和装置和生产方法及其用途	2020-05-11	718
用于医用内窥镜防护钬激光破坏的中空纤维套管及其应用	2020-05-16	160
光源模组和内窥镜用光源系统	2020-05-15	137
用于估计器械定位的系统与方法	2020-05-11	319
一种单目电子硬管内窥镜及其制造方法	2020-05-14	209
一种可视下咽喉气管表面麻醉和气管插管型纤维内窥镜	2020-05-12	865
一种可视电泵车载牛胃补液机	2020-05-16	112
一种能够减小感染风险的胃肠镜仪器	2020-05-16	54

配置用于导航路径跟踪的机器人系统

配置用于导航路径跟踪的机器人系统

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：