首页 / 专利库 / 医疗设备 / 外科手术机器人 / 提供延伸到进入引导器远端外的可铰接器具的辅助视图的医疗机器人系统

提供延伸到进入引导器远端外的可铰接器具的辅助视图的医疗机器人系统

阅读:165发布:2020-11-03

专利汇可以提供提供延伸到进入引导器远端外的可铰接器具的辅助视图的医疗机器人系统专利检索,专利查询,专利分析的服务。并且医疗 机器人 系统(100)包括具有外科工具(231,241)和摄像机(211)的进入引导器(200),所述外科工具(231,241)和摄像机(211)延伸到所述进入引导器(200)远端外。为了补充由摄像机获取的图像所提供的视图,包括外科工具和/或摄像机的可铰接臂的辅助视图由感应或另外确定的关于它们 位置 和方向的信息生成并且其特定观察点的透视图显示在显示屏(140)上。,下面是提供延伸到进入引导器远端外的可铰接器具的辅助视图的医疗机器人系统专利的具体信息内容。

1.一种提供计算机生成视图的方法,包括:
接收延伸到进入引导器远端外的一个或多个可铰接器具的状态信息;
应用所述接收的信息和所述一个或多个可铰接器具的正向运动学生成视图;以及在显示屏上显示所述生成的视图。
2.权利要求1所述的方法,其中所述显示的视图用于补充由摄像机获取的图像,所述摄像机观察所述一个或多个可铰接器具的至少一个远顶端。
3.权利要求1所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机,并且所述显示的视图用于补充由所述可铰接摄像机获取的图像。
4.权利要求1所述的方法,其中所述接收的信息由感应致动器活动的传感器提供,所述致动器铰接所述可铰接器具。
5.权利要求1所述的方法,其中所述接收的信息由感应所述一个或多个可铰接器具的所述状态的传感器提供。
6.权利要求5所述的方法,其中所述传感器包括转动传感器,所述转动传感器感应所述一个或多个可铰接器具的接头的转动状态。
7.权利要求5所述的方法,其中所述传感器包括位移传感器,所述位移传感器感应所述一个或多个可铰接器具的棱柱接头的线性状态。
8.权利要求5所述的方法,其中所述传感器被包括在所述一个或多个可铰接器具中。
9.权利要求5所述的方法,其中所述传感器在所述一个或多个可铰接器具的外部,以便感应位于所述一个或多个可铰接器具上的重要点的可追踪元件的位置
10.权利要求9所述的方法,其中所述可追踪元件是有源元件。
11.权利要求10所述的方法,其中所述可追踪元件被置于所述一个或多个可铰接器具的所述顶端,并且所述视图的所述生成包括:
通过将所述感应的可追踪元件的位置应用于所述一个或多个可铰接器具的反向动学来确定所述一个或多个可铰接器具的接头位置;以及
通过将所述确定的接头位置应用于所述一个或多个可铰接器具的所述正向运动学来确定所述一个或多个可铰接器具的连杆位置和方向。
12.权利要求9所述的方法,其中所述可追踪元件是无源元件。
13.权利要求1所述的方法,其中所述视图的所述生成包括:
应用所述接收的信息生成所述一个或多个可铰接器具的计算机模型;
将所述计算机模型转换成可选择观察点的透视图;以及
渲染所述转换的模型。
14.权利要求13所述的方法,其中所述计算机模型的所述生成包括应用所述一个或多个可铰接器具关于固定参考点的正向运动学。
15.权利要求14所述的方法,其中所述固定参考点是远中心,所述进入引导器可绕所述远中心转动。
16.权利要求14所述的方法,其中所述计算机模型向所述可选择观察点的透视图的转换包括:
计算所述固定参考点至所述可选择观察点的距离;以及
应用所述计算的距离将计算机模型转换和定向成可选择观察点的所述透视图。
17.权利要求13所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机和一个或多个可铰接外科工具,并且所述转换的计算机模型的所述渲染包括以不同于所述一个或多个可铰接外科工具的颜色渲染所述可铰接摄像机,以便所述可铰接摄像机可以在所述显示屏上显示的视图中容易地区分。
18.权利要求13所述的方法,其中所述转换的计算机模型的所述渲染包括当所述可铰接器具中至少一个达到事件的阈时改变所述一个或多个可铰接器具中所述至少一个的至少部分的颜色。
19.权利要求18所述的方法,其中所述阈是警告阈,并且所述事件是要避免的情况。
20.权利要求19所述的方法,其中所述警告阈基于所述一个或多个可铰接器具中所述至少一个的所述部分的活动范围。
21.权利要求20所述的方法,其中所述要避免的情况是所述一个或多个可铰接器具中所述至少一个的所述部分的所述活动范围的限制。
22.权利要求19所述的方法,其中所述警告阈基于所述一个或多个可铰接器具中所述至少一个的所述部分与所述一个或多个可铰接器具中另一个的部分之间的距离。
23.权利要求22所述的方法,其中所述要避免的情况是所述一个或多个可铰接器具中所述至少一个的所述部分与所述一个或多个可铰接器具中所述另一个的所述部分之间的碰撞。
24.权利要求23所述的方法,其中当所述一个或多个可铰接器具中所述至少一个的所述部分达到所述警告阈时,所述一个或多个可铰接器具中所述另一个的所述部分改变颜色。
25.权利要求23所述的方法,其中当所述一个或多个可铰接器具中所述至少一个的所述部分达到警告阈时,在所述一个或多个可铰接器具中所述至少一个的所述部分和所述一个或多个可铰接器具中所述另一个的所述部分周围显示球体。
26.权利要求19所述的方法,其中当所述一个或多个可铰接器具中所述至少一个的所述部分越过所述警告阈向要避免的事件移动时,所述颜色的亮度改变。
27.权利要求19所述的方法,其中所述颜色以随着所述一个或多个可铰接器具中所述至少一个的所述部分越过所述警告阈向要避免的事件移动而增加的频率开启和关闭。
28.权利要求19所述的方法,其中所述颜色在所述一个或多个可铰接器具中所述至少一个的所述部分达到所述警告阈时从第一颜色变成第二颜色,在所述一个或多个可铰接器具中所述至少一个的所述部分到达所述要避免的事件时从第二颜色变成第三颜色。
29.权利要求18所述的方法,其中所述阈是提示阈,并且所述事件是所述一个或多个可铰接器具中所述至少一个的期望位置。
30.权利要求18所述的方法,其中所述阈是提示阈,并且所述事件是所述一个或多个可铰接器具中所述至少一个的期望方位。
31.权利要求13所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机,并且所述计算机模型的所述生成包括生成截锥体,以从所述可铰接摄像机的顶端延伸出来并指示所述可铰接摄像机的所述观察范围。
32.权利要求31所述的方法,其中所述转换的计算机模型的所述渲染包括在所述截锥体的基础上渲染由所述可铰接摄像机获取的图像。
33.权利要求13所述的方法,进一步包括:计算所述一个或多个可铰接器具的矩心,和所述视图在所述显示屏上的显示,所述显示包括在所述显示屏上显示所述矩心,以提供所述进入引导器是否需要重新定位的指示。
34.权利要求13所述的方法,进一步包括:从操作者控制的输入机构接收所述可选择观察点的指示。
35.权利要求13所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机和一个或多个可铰接外科工具,所述可选择观察点与所述可铰接摄像机的观察点一致,并且所述生成的视图在所述显示屏上的显示包括将由可铰接摄像机获取的图像显示在所述显示屏上,以便所述图像中获取的所述一个或多个可铰接外科工具与所述视图中的所述一个或多个可铰接外科工具一致并覆盖所述视图中的所述一个或多个可铰接外科工具。
36.权利要求13所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机,所述可选择观察点与所述可铰接摄像机的观察点一致,并且所述生成的视图在所述显示屏上的显示包括在所述显示屏上显示由所述可铰接摄像机获取的图像,和通过邻近所述图像镶嵌所述图像中未显示的所述渲染和转换的模型的对齐部分来增加所述图像。
37.权利要求13所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机和一个或多个可铰接外科工具,所述可铰接摄像机包括立体摄像机,并且邻近所述可铰接摄像机和延伸到所述进入引导器所述远端外的所述一个或多个可铰接外科工具的所述显示视图将由所述可铰接摄像机获取的图像作为三维图像显示在所述显示屏上。
38.权利要求37所述的方法,其中所述可铰接摄像机和延伸到所述进入引导器所述远端外的所述一个或多个可铰接外科工具的所述显示视图是三维视图。
39.权利要求13所述的方法,其中所述一个或多个可铰接器具包括可铰接摄像机和一个或多个可铰接外科工具,当一个或多个输入装置与所述进入引导器关联以重新定位所述进入引导器时所述可选择视图来自第一位置和方向,当所述一个或多个输入装置与所述一个或多个可铰接外科工具关联以使用所述工具进行手术时所述可选择视图来自第二位置和方向,以及当所述一个或多个输入装置与所述可铰接摄像机关联以移动所述可铰接摄像机从不同的透视图获取图像时所述可选择视图来自第三位置和方向。
40.一种医疗机器人系统,包括:
进入引导器;
多个延伸穿过所述进入引导器远端并延伸到所述进入引导器远端外的器具;
多个适于感应所述多个器具的铰接元件状态的传感器;
显示屏;以及
控制器,其设置成接收包括来自所述多个传感器的所述铰接元件的所述感应的状态的信息,应用所述接收的信息生成视图,并且在所述显示屏上显示所述生成的视图。
41.根据权利要求40所述的医疗机器人系统,其中所述铰接元件包括铰接所述多个器具的致动器。
42.根据权利要求40所述的医疗机器人系统,其中所述铰接元件包括接头,以及所述多个传感器包括感应所述接头的转动运动的转动传感器。
43.根据权利要求40所述的医疗机器人系统,其中所述铰接元件包括连杆,并且所述多个传感器包括感应所述连杆的线性运动的位移传感器。
44.根据权利要求40所述的医疗机器人系统,其中所述多个传感器被布置于所述多个器具中。
45.根据权利要求40所述的医疗机器人系统,其中所述多个传感器在所述多个器具的外部,以便感应位于所述多个器具上的重要点的可追踪元件的状态。
46.根据权利要求40所述的医疗机器人系统,其中所述控制器通过如下生成所述视图:应用所述接收的信息生成所述多个器具的计算机模型,将所述计算机模型转换成可选择观察点的透视图,以及渲染所述转换的模型。
47.根据权利要求46所述的医疗机器人系统,其中所述控制器通过计算所述多个器具关于固定参考点的正向运动学来生成所述计算机模型。
48.根据权利要求47所述的医疗机器人系统,其中所述固定参考点是远中心,所述进入引导器绕所述远中心转动。
49.根据权利要求46所述的医疗机器人系统,其中所述控制器通过这样来将所述计算机模型转换成可选择观察点的所述透视图:计算从所述固定参考点至可选择观察点的距离以及应用所述计算的距离将所述计算机模型转换和定向为可选择观察点的透视图。
50.根据权利要求46所述的医疗机器人系统,其中多个器具包括可铰接摄像机,并且所述控制器通过以不同于所述多个器具中的其它器具的颜色渲染所述可铰接摄像机来渲染所述转换的计算机模型,这样所述可铰接摄像机可以在所述显示屏上显示的所述视图中容易地区分。
51.根据权利要求46所述的医疗机器人系统,其中所述控制器通过这样来渲染所述转换的计算机模型:当所述多个器具中所述至少一个达到事件的阈时,改变所述多个器具中所述至少一个的至少部分的颜色。
52.根据权利要求51所述的医疗机器人系统,其中所述阈是警告阈,并且所述事件是要避免的情况。
53.根据权利要求52所述的医疗机器人系统,其中所述警告阈基于所述多个器具中所述至少一个的所述部分的活动范围。
54.根据权利要求53所述的医疗机器人系统,其中所述要避免的情况是所述多个器具中所述至少一个的所述部分的所述活动范围的限制。
55.根据权利要求52所述的医疗机器人系统,其中所述警告阈基于所述多个器具中所述至少一个的所述部分与所述多个器具中另一个的部分之间的距离。
56.根据权利要求55所述的医疗机器人系统,其中所述要避免的情况是所述多个器具中所述至少一个的所述部分与所述多个器具中所述另一个的所述部分之间的碰撞。
57.根据权利要求56所述的医疗机器人系统,其中当所述多个器具中所述至少一个的所述部分达到所述警告阈时,所述多个器具中所述另一个的所述部分改变颜色。
58.根据权利要求57所述的医疗机器人系统,其中当所述多个器具中所述至少一个的所述部分达到警告阈时,在所述多个器具中所述至少一个的所述部分和所述多个器具中所述另一个的所述部分周围显示球体。
59.根据权利要求52所述的医疗机器人系统,其中当所述多个器具中所述至少一个的所述部分越过所述警告阈向所述要避免的事件移动时,所述颜色的亮度改变。
60.根据权利要求52所述的医疗机器人系统,其中所述颜色以随着所述多个器具中所述至少一个的所述部分越过所述警告阈向所述要避免的事件移动而增加的频率开启和关闭。
61.根据权利要求52所述的医疗机器人系统,其中所述颜色在所述多个器具中所述至少一个的所述部分达到所述警告阈时从第一颜色变成第二颜色,在所述多个器具中所述至少一个的所述部分到达所述要避免的事件时从第二颜色变成第三颜色。
62.根据权利要求51所述的医疗机器人系统,其中所述阈是提示阈,并且所述事件是所述一个或多个可铰接器具中所述至少一个的期望位置。
63.根据权利要求51所述的医疗机器人系统,其中所述阈是提示阈,并且所述事件是所述一个或多个可铰接器具中所述至少一个的期望方位。
64.根据权利要求46所述的医疗机器人系统,其中所述多个器具包括可铰接摄像机,并且控制器通过生成截锥体来生成所述计算机模型,以从所述可铰接摄像机的顶端延伸出来并指示所述可铰接摄像机的所述观察范围。
65.根据权利要求64所述的医疗机器人系统,其中控制器通过在所述截锥体的基础上渲染由所述可铰接摄像机获取的图像来渲染所述转换的计算机模型。
66.根据权利要求46所述的医疗机器人系统,其中所述控制器设置成计算所述多个器具的矩心以及通过在所述显示屏上显示所述矩心来在所述显示屏上显示所述视图,以提供所述进入引导器是否需要重新定位的指示。
67.根据权利要求46所述的医疗机器人系统,进一步包括:
输入机构;
其中所述控制器设置成从所述输入机构接收所述可选择观察点的指示。
68.根据权利要求46所述的医疗机器人系统,其中所述多个器具包括可铰接摄像机和一个或多个可铰接外科工具,所述可选择观察点与所述可铰接摄像机的观察点一致,并且所述控制器通过将由所述可铰接摄像机获取的图像显示在所述显示屏上来在所述显示屏上显示所述生成的视图,以便所述图像中获取的所述一个或多个可铰接外科工具与所述视图中的所述一个或多个可铰接外科工具一致并覆盖所述视图中的所述一个或多个可铰接外科工具。
69.根据权利要求46所述的医疗机器人系统,其中所述多个器具包括可铰接摄像机和一个或多个可铰接外科工具,所述可选择观察点与所述可铰接摄像机的观察点一致,并且控制器通过在所述显示屏上显示由所述可铰接摄像机获取的图像和通过邻近所述图像镶嵌所述图像中未显示的所述渲染和转换的模型的对齐部分增加所述图像来在所述显示屏上显示所述生成的视图。
70.根据权利要求46所述的医疗机器人系统,其中所述多个器具包括可铰接摄像机和一个或多个可铰接外科工具,所述可铰接摄像机包括立体摄像机,并且邻近延伸到所述进入引导器所述远端外的所述一个或多个外科工具的所述显示视图将由所述可铰接摄像机获取的图像作为三维图像显示在所述显示屏上。
71.根据权利要求70所述的医疗机器人系统,其中所述延伸到所述进入引导器所述远端外的所述一个或多个外科工具的所述显示视图是三维视图。
72.根据权利要求46所述的医疗机器人系统,进一步包括:一个或多个输入装置;其中当所述一个或多个输入装置与所述进入引导器关联以重新定位所述进入引导器时所述可选择视图来自第一位置和方向,当所述一个或多个输入装置与所述一个或多个可铰接外科工具关联以使用所述工具进行手术时所述可选择视图来自第二位置和方向,以及当所述一个或多个输入装置与所述可铰接摄像机关联以移动所述可铰接摄像机从不同的透视图获取图像时所述可选择视图来自第三位置和方向。

说明书全文

提供延伸到进入引导器远端外的可铰接器具的辅助视图的

医疗机器人系统

发明领域

[0001] 本发明总体涉及医疗机器人系统,并具体涉及提供可铰接器具(articulatableinstruments)的辅助视图的医疗机器人系统,所述可铰接器具延伸到进入引导器(entry guide)远端外。
[0002] 发明背景
[0003] 医 疗 机 器 人 系 统,如 用 于 进 行 微 创 外 科 手 术 的 遥 操 作 系 统(teleoperativesystem),相对于常规的开放式外科技术提供多种益处,包括较少的疼痛、较短的住院期、较快地恢复正常活动、最小化的疤痕、缩减的恢复期以及对组织较少的伤害。因此,对该医疗机器人系统的需求是强烈并且增长的。
[0004] 该医疗机器人系统的其中一个实例是来自加利福尼亚州森尼韦尔的IntuitiveSurgical,Inc.的da 手术系统,其为微创机器人外科系统。da 外科系统具有多个机器人臂,所述机器人臂响应于外科医生观察图像获取装置获取的手术位点的图像而进行的输入装置的移动来移动所连接的医疗装置,如图像获取装置和Intuitive Surgical专有的Endo 铰接外科器具。每个医疗装置穿过其自身的微创切口插入患者体内并定位,以在手术位点进行医疗手术。所述切口位于患者身体周围,以便所述外科器具可用于协助进行医疗手术,并且图像获取装置可以观察它,而它们的机器人臂在手术过程中不碰撞。
[0005] 对于进行某些医疗手术,应用单一进入孔如微创切口或自然的身体腔口进入患者来进行医疗手术可能是有利的。例如,可首先将进入引导器插入、定位及保持在进入孔中适当的位置。然后可以将用于进行医疗手术的器具,如可铰接摄像机和多种可铰接外科工具,插入进入引导器的近端,以便延伸到其远端外。因此,进入引导器为多种器具提供单一进入孔,同时在引导器将它们向工作位点引导时保持所述器具绑在一起。
[0006] 由于进入引导器一般具有相对小的直径以便适合穿过微创切口或自然的身体腔口,当遥控操作外科器具进行医疗手术以及遥控操作摄像机观察医疗手术时,可能产生许多问题。例如,因为将摄像机与外科工具捆绑,所以摄像机相对于外科工具的定位受限,从而其对外科工具的观察受限。
[0007] 因此,虽然可铰接外科工具的顶端可保持在摄像机的视野中,但有助于外科工具可铰接性的可控联动机构(controllable linkage)可能不在摄像机的视野中。所以,外科工具的可控联动机构可能在医疗手术的进行过程中不经意地彼此(或与摄像机的连接)碰撞,结果对患者造成伤害或以其它方式不利地影响医疗手术的进行。
[0008] 同样,由于可铰接摄像机一般不能观察到其自身的可控联动机构,操作者对摄像机的移动尤其重要——其中与外科工具连接的碰撞将被避免。进一步,当提供直观控制以协助操作者遥控操作移动外科工具和摄像机时,产生所述工具和摄像机顶端的这类直观移动所需要的联动机构的移动可能对于操作者不明显或不直观,从而使操作者避免摄像机视野外的联动机构之间的碰撞更加困难。
[0009] 发明概述
[0010] 因此,本发明一个或多个方面的目的是向操作者提供辅助视图以协助操作者使用医疗机器人系统对患者进行医疗手术的方法,所述医疗机器人系统具有延伸到进入引导器远端外的可铰接器具,所述进入引导器穿过单一进入孔插入患者体内。
[0011] 本发明一个或多个方面的另一目的是在这种医疗机器人系统中实施的、向操作者提供视觉指示的方法,所述视觉指示指示何时可铰接器具的可控联动机构可能碰撞。
[0012] 本发明一个或多个方面的另一目的是在医疗机器人系统中实施的、向操作者提供视觉指示的方法,所述视觉指示指示何时可铰接器具的接头(joints)和/或连杆(links)和/或其部分正接近不期望的或期望的事件或情况。
[0013] 本发明一个或多个方面的另一目的是在这种医疗机器人系统中实施的、增加操作者对摄像机视野之外的可铰接器具的联动机构相对位置(configuration)了解的方法。
[0014] 通过本发明的各个方面实现这些以及另外的目的,其中简而言之,一方面是提供计算机生成视图的方法,包括:接收一个或多个延伸到进入引导器远端外的可铰接器具的状态信息;利用接收的信息和一个或多个可铰接器具的正向运动学(forward kinematics)生成视图;以及在显示屏上显示生成的视图。
[0015] 另一方面是医疗机器人系统,包括:进入引导器;延伸穿过进入引导器远端并且延伸到进入引导器远端外的多个器具;适于感应多个器具的铰接元件状态的多个传感器;显示屏;以及控制器,其配置为接收包括从多个传感器感应的铰接元件状态的信息,利用所接收的信息生成视图,并且在显示屏上显示生成的视图。
[0016] 本发明各个方面的另外的目的、特征和优势从其优选实施方式的下列描述来看将变得明显,该描述应当结合附图
[0017] 附图简述
[0018] 图1图解了手术室的俯视图,该手术室使用了应用本发明方面的医疗机器人系统。
[0019] 图2图解了在应用本发明方面的医疗机器人系统中用于控制装置操控器并将装置操控器与可左手和右手操控的输入装置选择性关联的部件的方框图
[0020] 图3-4分别图解了在应用本发明方面的医疗机器人系统中所使用的、延伸到进入引导器远端外的可铰接摄像机和一对可铰接外科工具的俯视图和侧视图。
[0021] 图5图解了在应用本发明方面的医疗机器人系统中所使用的进入引导器及其四自由度运动的透视图。
[0022] 图6图解了在应用本发明方面的医疗机器人系统中所使用的进入引导器以及在其近端和远端之间延伸的、限定在其中的通道的横截面视图。
[0023] 图7图解了在应用本发明方面的医疗机器人系统中所使用的进入引导器操控器的互作用型部件的方框图。
[0024] 图8图解了在应用本发明方面的医疗机器人系统中所使用的可铰接器具操控器和可铰接器具的互作用型部件的方框图。
[0025] 图9图解了应用本发明方面的、用于提供计算机生成辅助视图的方法的流程图
[0026] 图10图解了在应用本发明方面的医疗机器人系统中所用的、利用器具接头位置和正向运动学确定器具连杆位置和方向的数据和处理流程图。
[0027] 图11图解了在应用本发明方面的医疗机器人系统中所用的、利用感应的器具顶端位置和反向动学确定器具接头位置的数据和处理流程图。
[0028] 图12-13分别图解了通过在应用本发明方面的医疗机器人系统中实施的方法生成并显示在显示屏上的俯视和侧视辅助视图。
[0029] 图14图解了通过在应用本发明方面的医疗机器人系统中实施的方法生成并在显示屏上单独窗口中显示的俯视和侧视辅助视图。
[0030] 图15图解了在应用本发明方面的医疗机器人系统中在监视器上邻近可铰接摄像机所获取的图像而显示的辅助视图。
[0031] 图16图解了通过在应用本发明方面的医疗机器人系统中实施的方法在显示屏上生成和显示的、具有截锥体的可铰接摄像机的辅助侧视图。
[0032] 图17图解了来自摄像机观察点的一对可铰接外科工具的辅助视图与摄像机所获取的图像的结合显示,所述辅助视图通过在应用本发明方面的医疗机器人系统中实施的方法生成并显示在显示屏上。
[0033] 图18图解了应用本发明方面的、用于提供辅助观察模式的方法的流程图,所述辅助观察模式相应于医疗机器人系统中的装置控制模式。
[0034] 优选实施方式的详述
[0035] 图1作为实例图解了手术室的俯视图,其中外科医生20正在利用医疗机器人系统100对面朝上平躺在手术台50上的患者40进行医疗手术。当外科医生20通过操控外科医生控制台10上的输入装置108、109遥控操作进行手术时,一个或多个助手30可位于患者
40附近协助手术。
[0036] 本实例中,将进入引导器(EG)200穿过单一的进入孔150插入患者40体内。虽然本实例中进入孔150是微创切口,但在进行其它医疗手术中,其却可以是自然的身体腔口。进入引导器200通过机器人臂组件130进行保持和操控。
[0037] 对于医疗机器人系统100的其它部件,图1中简化了机器人臂组件130的图解。医疗机器人系统100的一个实例中,机器人臂组件130包括安置臂(set up arm)和进入引导器操控器(entry guide manipulator)。安置臂用于将进入引导器200定位在进入孔
150,以使其正确地进入进入孔150。然后进入引导器操控器用于通过机器操作将进入引导器200插入和撤出进入孔150。其也可用于通过机器操作使进入引导器200绕位于进入孔
150的枢轴点以倾斜、滚动和偏转转动。这种进入引导器操控器的实例是图2的进入引导器操控器202,并且图5显示了其操纵进入引导器200四自由度运动的实例。
[0038] 控制台10包括向外科医生显示手术位点3-D图像的3-D监视器104;可左手和右手操控的输入装置108、109;和处理器(本文中也被称为“控制器”)102。输入装置108、109可包括多种输入装置如操纵杆、手套、触发枪(trigger gun)、手动操作的控制器或类似装置中的任何一种或多种。为使外科医生与医疗机器人系统100相互作用而提供的其它输入装置包括脚踏开关(foot pedal)105、常规语音识别系统160和图形化用户界面(GUI)170。
[0039] 将辅助显示屏140与控制台10(和处理器102)连接,用于向外科医生提供辅助视图,以补充监视器104上显示的视图。同样,将第二辅助显示屏140′与控制台10(和处理器102)连接,用于向助手(一个或多个)提供辅助视图。同样,将输入装置180与控制台连接,以使助手(一个或多个)在显示在第二辅助显示屏140′上的可用辅助视图间进行选择。
[0040] 通常将控制台10置于与患者相同的房间内,以便外科医生可直接监视手术、如有必要身体上接近助手(一个或多个)以及能够与助手(一个或多个)直接交谈而不是通过电话或其它交流媒介。然而,要理解的是,外科医生也可位于不同的房间、完全不同的建筑物或其它允许远程外科手术的距患者远的位置。这种情况下,可通过网络连接如局域网、广域网或因特网将控制台10与第二个辅助显示屏140′和输入装置180连接。
[0041] 如图3-4所示,进入引导器200具有延伸到其远端外的可铰接器具,如可铰接外科工具231、241和可铰接立体摄像机211。虽然仅显示两个工具231、241,但进入引导器200可引导在患者的工作位点进行医疗手术所需的另外工具。例如,如图4所示,通道351可用于延伸另一个可铰接外科工具穿过进入引导器200并从其远端穿出。各外科工具231/241以工具跟踪模式与输入装置108、109其中一个关联。外科医生通过操纵输入装置108、109进行医疗手术,以便控制器102引起输入装置各自关联的外科工具231、241的相应移动,同时随着工作位点的图像正在被可铰接摄像机211获取,外科医生在控制台监视器104上观察3-D工作位点。
[0042] 优选地,输入装置108、109以至少与它们关联的工具231、241相同的自由度被配置,以向外科医生提供远程呈现(telepresence)或者输入装置108、109与工具231、241成一体的感知,以便外科医生具有直接控制工具231、241的强烈感觉。所以,监视器104也位于外科医生的双手附近,以便其显示被定向的投影图像,这样外科医生感到他或她实际上正在工作位点上直接向下观看并且工具231、241的图像呈现基本位于外科医生双手所处的位置。
[0043] 此外,优选将监视器104上的实时图像投影成透视图像,以便外科医生可通过工具231、241相应的输入装置108、109操纵工具231、241的末端执行器(endeffectors)331、341,好像在实质上真实的现场中观察工作位点一样。真实的现场,其意思是图像呈现的是模拟正在身体上操控末端执行器331、341的操作者观察点的真实透视图像。因此,处理器
102可将末端执行器331、341的坐标转换成感知位置(perceived position),这样监视器
104上正显示的透视图像是假设外科医生直接位于末端执行器331、341后外科医生会看到的图像。
[0044] 在系统100中处理器102执行各种功能。其执行的一个重要的功能是通过控制总线(bus)110上的信号来转换和传输输入装置108、109的机械运动,以便外科医生可有效地操控当时选择性地与输入装置108、109关联的装置,如工具231、241、摄像机211和进入引导器200。另一个功能是执行本文所述的各种方法和控制器功能。
[0045] 虽然被描述为处理器,但要理解的是,处理器102可以在实践中通过硬件软件固件(firmware)的任意组合实现。同样,本文所述的其功能可以由一个单元执行或分配在不同的组件中,每一功能进而可通过硬件、软件和固件的任意组合来实现。进一步,虽然被显示为控制台10的一部分或与控制台10物理上相邻,但处理器102也可包括分布于整个系统中的多个分单元。
[0046] 对于如本文所述医疗机器人系统各个方面的构造和操作的另外细节,参见:例如,美国专利号6,493,608,″Aspects of a Control System of a Minimally InvasiveSurgical Apparatus″和美国专利号6,671,581,″Camera Referenced Control in aMinimally Invasive Surgical Apparatus″,在此将其引入作为参考。
[0047] 图2作为实例图解了控制装置操控器并选择性地将装置操控器与输入装置108、109关联的框图。各种外科工具如夹具(grasper)、切割器(cutter)和针(needle)可用于在患者的工作位点进行医疗手术。该实例中,两个外科工具231、241用于通过机器操作进行手术,并且摄像机211用于观察手术。将工具231、241和摄像机211插入穿过进入引导器200中的通道。如参考图1所述,应用机器人臂组件130的安置部分将进入引导器200穿过进入孔150插入患者体内,并通过机器人臂组件130的进入引导器操控器(EGM)202移动至将要进行医疗手术的工作位点。
[0048] 每一装置231、241、211、200通过其各自的操控器进行操控。具体地,通过摄像机操控器(ECM)212操控摄像机211,通过第一工具操控器(PSM1)232操控第一外科工具231,通过第二工具操控器(PSM2)242操控第二外科工具241,以及通过进入引导器操控器(EGM)202操控进入引导器200。为了不过度妨碍附图,在附图中没有显示装置231、241、
211、200,而仅显示了其各自的操控器232、242、212、202。
[0049] 各器具操控器232、242、212是带有致动器并提供机械的、无菌接口以将动作传输到其各自的可铰接器具的机械装置。各器具231、241、211是接收来自其操控器的动作并通过电缆传输将该动作传输至其远端的铰接(例如,接头)的机械装置。该接头可以是棱柱形的(例如,线性动作)或转动的(例如,其绕机械轴旋转)。此外,器具可具有内部机械约束(例如,电缆、齿轮凸轮、皮带等),其迫使多个接头以预定的方式一起移动。每组机械约束的接头实现了特定的运动轴,并且约束可被设计成匹配转动接头(例如,啮合接头)。也要注意的是,这种方式下器具可能比可用的致动器具有更多的接头。
[0050] 相反,进入引导器操控器202具有不同的构造和操作。下面参考图7描述了进入引导器操控器202的部件和操作。
[0051] 该实例中,可选择性地将各输入装置108、109与装置211、231、241、200其中之一关联,这样可由输入装置通过其控制器和操控器来控制关联的装置。例如,通过在工具跟踪模式“T2”和“T1”中分别安置转换器258、259,可分别将左侧和右侧输入装置108、109与第一和第二外科工具231、241关联,所述外科工具通过其各自的控制器233、243(优选在处理器102中实现)和操控器232、242被遥控控制,这样外科医生可对患者进行医疗手术,同时将进入引导器200定在适当的位置。
[0052] 当摄像机211或进入引导器200要被外科医生重新定位时,可以将左侧和右侧输入装置108、109其中之一或两者与摄像机211或进入引导器200关联,这样外科医生可通过其各自的控制器(213或203)和操控器(212或202)移动摄像机211或进入引导器200。这种情况下,由其控制器将外科工具231、241中未关联的一个或多个相对于进入引导器200锁定在恰当的位置上。例如,通过在摄像机定位模式“C2”和“C1”中分别安置转换器258、259,可将左侧和右侧输入装置108、109与摄像机211关联,所述摄像机通过其控制器213(优选在处理器102中实现)和操控器212被遥控控制,这样外科医生可定位摄像机
211,同时外科工具231、241和进入引导器200通过其各自的控制器233、243、203锁定在适当的位置。如果将仅使用一个输入装置定位摄像机,那么仅安置转换器258、259其中之一在其摄像机定位模式中,而转换器258、259中另一个保持在其工具跟踪模式中,这样其各自的输入装置能继续控制其关联的外科工具。
[0053] 另一方面,通过在进入引导器定位模式“G2”和“G1”中分别安置转换器258、259,可将左侧和右侧输入装置108、109与进入引导器200关联,所述进入引导器通过其控制器203(优选在处理器102中实现)和操控器202被遥控控制,这样外科医生可定位进入引导器200,同时外科工具231、241和摄像机211通过其各自的控制器233、243、213相对于进入引导器200锁定在适当的位置。对于摄像机定位模式,如果仅应用一个输入装置定位进入引导器,那么仅安置转换器258、259其中之一在其进入引导器定位模式中,而转换器258、
259中的另一个保持在其工具跟踪模式中,这样其各自的输入装置能继续控制其关联的外科工具。
[0054] 可以由外科医生以常规方式应用GUI170或语音识别系统160进行输入装置108、109与该实例中其它装置的选择性关联。可选地,可以由外科医生按压输入装置108、109之一上的按钮或按压脚踏开关105,或应用任何其它公知的模式转换技术改变输入装置108、
109的关联。
[0055] 图3-4作为实例分别图解了进入引导器200远端的俯视图和右视图,其中摄像机211和外科工具231、241向外延伸。如图5中简化的(不按比例)进入引导器200的透视图所示,进入引导器200的形状为大致圆柱状,并具有沿其长度中心走向的纵轴X′。枢轴点,其也被称为远中心(remote center)“RC”,用作所示的具有X、Y和Z轴的固定坐标系统和所示的具有X′、Y′和Z′轴的进入引导器坐标系统的原点。当系统100在进入引导器定位模式中时,进入引导器操控器202能够响应一个或多个关联的输入装置的运动将进入引导器200以偏转(yaw)ψ在远中心“RC”绕Z轴(其在空间上保持固定)转动。此外,进入引导器操控器202能够响应一个或多个输入装置的运动将进入引导器200以倾斜(pitch)θ绕Y′轴(其与进入引导器200的纵轴X′垂直)转动,能够响应一个或多个关联的输入装置的运动将进入引导器200以滚动 绕其纵轴X′旋转,并使进入引导器200在插入/撤回或进/出“I/O”方向上沿其纵轴X′线性移动。要注意的是,与空间上固定的Z轴不同,X′和Y′轴随进入引导器200移动。
[0056] 如图7所示,进入引导器操控器(EGM)202具有四个致动器701-704,用于致动进入引导器200的四自由度移动(即,倾斜θ、偏转ψ、滚动 和进/出I/O),以及用以实现它们的四个相应的组件711-714。
[0057] 再参考图3-4,可铰接摄像机211延伸穿过通道321,并且可铰接外科工具231、241分别延伸穿过进入引导器200的通道431、441。摄像机211包括顶端311(其安装与摄像机控制器相连的立体摄像机和与外部光源相连的光纤电缆)、第一、第二和第三连杆322、324、326、第一和第二接头组件(本文中也简称为“接头”)323、325以及肘节组件(wrist assembly)327。第一接头组件323连接第一和第二连杆322、324,并且第二接头组件325连接第二和第三个连杆324、326,这样第二连杆324可绕第一接头组件323以倾斜和偏转转动,同时第一和第三个连杆322、326保持彼此平行。
[0058] 第一和第二接头323、325被称为“啮合接头”,因为它们一起协同操作,这样当第二连杆324绕第一接头323以倾斜和/或偏转转动时,第三连杆326以互补方式(in complementary fashion)绕第二接头325转动,以便第一和第三连杆322、326总是保持彼此平行。第一连杆322也可围绕其纵轴以滚动旋转以及穿过通道321移入和移出(例如,插向工作位点和撤离工作位点)。肘节组件327也具有倾斜和偏转动能力,这样摄像机的顶端311可以向上或向下和向左或向右以及其组合定向。
[0059] 工具231、241的接头和连杆与摄像机211的接头和连杆在构造和操作上类似。具体地,工具231包括末端执行器331(具有钳夹338、339)、第一、第二和第三连杆332、334、336、第一和第二接头组件333、335以及肘节组件337,它们由参考图8所述的致动器(加上用于致动末端执行器331的另外的致动器)进行驱动。同样,工具241包括末端执行器
341(具有钳夹348、349)、第一、第二和第三连杆342、344、346、第一和第二接头组件343、
345以及肘节装置347,它们也由参考图8所述的致动器(加上用于致动末端执行器341的另外的致动器)进行驱动。
[0060] 图8作为实例图解了可铰接器具的互作用型部件(interacting parts)(如可铰接摄像机211和可铰接外科工具231、241)及其相应的器具操控器(如摄像机操控器212和工具操控器232、242)的图。各器具包括多个可致动组件821-823、831-833、870,用于完成器具(包括其末端执行器)的铰接,并且其相应的操控器包括多个致动器801-803、811-813、860,用于致动可致动组件。
[0061] 此外,也可以提供多个接口机构。例如,在无菌操控器/器具接口中提供了倾斜/偏转连接机构840、850(分别用于啮合接头倾斜/偏转和肘节倾斜/偏转)及齿数比845、855(分别用于器具滚动和末端执行器致动),以达到器具接头在器具接头空间内运动所需的范围,同时既满足了操控器致动器空间中的紧凑约束,又保持了运动经过接口的准确传输。虽然显示为单一的方框840,但啮合接头致动器801、802(以#1和#2区分)和啮合接头倾斜/偏转组件821、822之间的连接可包括一对连接机构——无菌接口每一侧一个(即一个在接口的操控器侧,一个在接口的器具侧)。同样,虽然显示为单一的方框850,但肘节致动器812、813(以#1和#2区分)和肘节倾斜/偏转接头组件832、833之间的连接也可包括一对连接机构——无菌接口每一侧一个。
[0062] 啮合接头倾斜组件821和啮合接头偏转组件822均共用第一、第二和第三连杆(例如,可铰接摄像机211的连杆322、324、326)以及第一和第二接头(例如,可铰接摄像机211的接头322、325)。除这些共用的部件外,啮合接头倾斜和偏转组件821、822还包括将第一和第二接头(通过啮合连接840)与啮合接头倾斜和偏转致动器801、802连接的机械连接,以便第二连杆可以可控地绕这样的线转动:所述线穿过第一接头并沿着与第一连杆(例如,可铰接摄像机211的连杆322)的纵轴呈横向的轴,以及第二连杆可以可控地绕这样的线转动:所述线穿过第一接头并沿着与第一连杆的横轴和纵轴均垂直的轴。
[0063] 进/出(I/O)组件823包括第一连杆(例如,可铰接摄像机211的连杆322)和穿过传动系统(drive train)的接口,所述传动系统将进/出(I/O)致动器803与第一连杆连接,这样可通过I/O致动器803的致动将第一连杆可控地沿其纵轴线性移动。滚动组件831包括第一连杆和穿过一个或多个齿轮(即,具有齿数比845)的接口,所述齿轮将滚动致动器811的转动元件(如电机转子)与第一连杆连接,这样可通过滚动致动器811的致动将第一连杆可控地绕其纵轴转动。
[0064] 器具操控器(例如,摄像机操控器212)包括通过肘节连接850致动肘节组件(例如,可铰接摄像机211的肘节327)的倾斜和偏转接头832、833的肘节致动器812、813,以便引起器具顶端(例如,摄像机顶端311)相对于肘节组件在上下(即,倾斜)和左右(即,偏转)方向上可控地转动。夹具组件870包括末端执行器(例如,外科工具231的末端执行器331)和穿过一个或多个齿轮(即,具有齿数比855)的接口,所述齿轮将夹具致动器860与末端执行器相连,以便可控地致动末端执行器。
[0065] 图9作为实例图解了在医疗机器人系统100的控制器102中实施的、用于提供计算机生成辅助视图的方法的流程图,所述辅助视图包括延伸到进入引导器200远端外的可铰接器具,如可铰接摄像机211和/或一个或多个可铰接外科工具231、241。为了本实例的目的,假定可铰接摄像机211和外科工具231、241延伸到进入引导器200的远端外,并包括在辅助视图中。但要理解的是,该方法可用于可铰接器具的任何组合,包括那些没有可铰接摄像机的可铰接器具和/或那些具有可选类型的图像获取装置如超声探针的可铰接器具。
[0066] 在901中,该方法决定是否要生成辅助视图。如果901中的决定是“否(NO)”,那么该方法返回,以定期检查来看情况是否改变。另一方面,如果901的决定是“是(YES)”,那么该方法进入902。要生成辅助视图的指示可以程序化到控制器102中、自动生成或由操作者的指令生成。
[0067] 在902中,该方法接收各器具211、231、241和进入引导器200的状态信息,如位置和方向。该信息可以由与其各自操控器212、232、242、202中的致动器连接的编码器提供。可选地,该信息可以由与器具211、231、241和进入引导器操控器202的接头和/或连杆连接的传感器,或相应操控器和器具之间接口的连接机构、齿轮和传动系统提供,以便测量它们的运动。在此第二种情况下,器具211、231、241和进入引导器操控器202中可包括传感器,如感应转动接头转动运动的转动传感器和感应器具211、231、241和进入引导器操控器
202中棱柱接头线性运动的线性传感器。也可应用其它传感器提供器具211、231、241和进入引导器200的位置和方向信息,如感应和追踪可追踪元件的外部传感器,所述可追踪元件可以是有源元件(例如,无线电频率、电磁等)或无源元件(例如,磁等),其被置于器具
211、231、241、进入引导器200和/或进入引导器操控器202的重要点(strategic point)上(如它们的接头、连杆和/或顶端上)。
[0068] 在903中,该方法利用902中接收的信息以及器具211、231、241、进入引导器200和进入引导器操控器202的正向运动学和已知构造生成延伸到进入引导器200远端外的可铰接摄像机211和可铰接外科工具231、241的三维计算机模型。该实例中生成的计算机模型可以参考图5所示的远中心坐标系统(X、Y、Z轴)。可选地,生成的计算机模型可以参考在进入引导器200远端所限定的坐标系统。在此后者情况下,如果由该方法生成的辅助视图中不需考虑进入引导器200从远中心的方向和延伸,那么可在902中省略进入引导器200的位置和方向信息。
[0069] 例如,参考图10,如果902中接收的状态信息是器具的接头位置1001,那么可使用器具的运动学模型1003将该信息应用到器具的正向运动学1002,以生成相对于坐标系统1004的器具的连杆位置和方向1005。如果902中接收的状态信息是操控器/器具接口中啮合连接和齿轮机构的被感应状态,一般也可应用同样的方法。
[0070] 另一方面,参考图11,如果902中接收的状态信息是器具的顶端位置1101(在坐标系统1004中),那么可使用器具的运动学模型1003和传感器坐标系统将该信息应用到器具的反向运动学1102,以生成器具的接头位置1001。然后如参考图10所述可利用器具的接头位置1001生成相对于坐标系统1004的器具的连杆位置和方向1005。
[0071] 可选地,同样参考图11,如果902中提供的状态信息仅限于摄像机的顶端位置,那么可通过使用常规图像处理技术确认摄像机211获取的图像中的顶端,然后将它们的位置转换至坐标系统1004,来相对于摄像机坐标系统确定外科工具231、241顶端的位置,这样可以如参考图10、11所述应用摄像机和工具顶端的位置生成相对于坐标系统1004的器具的连杆位置和方向1005。
[0072] 在904中,该方法将延伸到进入引导器200远端外的可铰接摄像机211和可铰接外科工具231、241在坐标系统的三维空间中的计算机模型视图调整至特定的观察点(其中在本文中将术语“观察点”理解为包括位置和方向)。例如,图12图解了延伸到进入引导器200远端外的可铰接摄像机211和可铰接外科工具231、241的俯视图,其相应于在进入引导器200远端上方且略后方的观察点。作为另一个实例,图13图解了延伸到进入引导器200远端外的可铰接摄像机211和可铰接外科工具231、241的侧视图,其相应于进入引导器200远端右侧且略前方的观察点。要注意的是,虽然图12-13所示的辅助视图是二维的,但它们也可以是三维视图,因为可以从生成的计算机模型得到三维信息。在此后者情况下,正显示它们的辅助显示屏140将必须是像监视器104一样的三维显示屏。
[0073] 观察点可以设置在固定点,如提供图12所示透视图的等轴(三维)视图的观察点。当工具231、241弯曲成所示的“抬肘(elbows out)”(其为应用外科工具231、241进行医疗手术的典型方位)时,该透视图向外科医生提供可铰接摄像机211和可铰接外科工具231、241的清晰视图。另一方面,当正在应用第三外科工具时(例如,插入图6中所示的通道351),图13透视图的侧视图可另有所用,因为第三外科工具可能在可铰接摄像机211下方从而在图12所示的透视图中被可铰接摄像机211遮掩。
[0074] 除将观察点始终设置到固定点外,观察点也可根据当时运行的控制模式(即,参考图2所述的模式之一)自动改变。作为实例,图18图解了根据医疗机器人系统100中正在运行的控制模式自动改变辅助视图模式的方法。具体地,应用这种方法,当在1801中确定医疗机器人系统100在工具跟踪模式中时,在1802中执行第一辅助观察模式,当在1803中确定医疗机器人系统100在进入引导器定位模式中时,在1804中执行第二辅助观察模式,以及当在1805中确定医疗机器人系统100在摄像机定位模式中时,在1806中执行第三辅助观察模式。选择各控制模式的观察模式,以便对外科医生在该模式中执行动作最有益。例如,在工具跟踪和摄像机定位模式中,外科工具231、241和摄像机211之一或两者在那时正在被移动,因此延伸到进入引导器200远端外的可铰接摄像机211和可铰接外科工具231、241的辅助视图,如图12和13所示,对避免摄像机211视野之外的连杆之间的碰撞是有用的。另一方面,在进入引导器定位模式中,可铰接摄像机211和可铰接外科工具231、241被锁定在相对于进入引导器200适当的位置,因此如图16和17所示的提供关于其它情况的信息的辅助视图可能是有用的。
[0075] 可选地,可提供用于在医疗手术进行过程中改变观察点的操作者可选择设备(operator selectable means)。例如,GUI 170或语音识别系统160可适于向外科医生提供交互设备(interactive means),以选择观察模式和/或改变延伸到进入引导器200远端外的可铰接摄像机211和/或可铰接外科工具231、241的辅助视图的观察点。输入装置108、109或脚踏开关105上的按钮也可用于外科医生对观察模式的选择。对于助手(一个或多个),输入装置180可以与关联于显示屏140′的GUI一起用于观察模式的选择。因此,外科医生和助手(一个或多个)当时看到的观察模式可以被优化用于它们当时的具体任务。图12-17显示了这种操作者可选择观察模式和观察角度的实例。
[0076] 在905中,该方法渲染计算机模型。该情况下的渲染包括:向模型添加三维特征,如器具211、231、241和进入引导器200远端的已知构造特征;填充任何间隙以制作实体模型;以及提供自然的色彩和阴影。此外,渲染可包括改变器具211、231、241中一个或多个(或它们的接头或连杆或其部分中的一个或多个)的颜色亮度,以便突出器具(或接头或连杆或其部分),用于识别目的。
[0077] 可选地,器具211、231、241(或它们的接头、连杆或其部分)中一个或多个的颜色、亮度或闪烁(blinking on and off)(例如,闪光(flashing))频率的改变可用作这样的警告(warning):器具(或接头或连杆或其部分)正接近不期望的事件或情况,如正接近其活动范围的极限或太靠近另一器具或将与另一器具碰撞。在颜色被用作警告的情况下,当达到要避免的事件的警告阈(例如,活动限制或碰撞的范围)时,颜色可从第一颜色(例如,绿色)变成第二颜色(例如,黄色),当要避免的事件到来时,从第二颜色变成第三颜色(例如,红色)。在亮度用作警告的情况下,颜色的亮度随器具(或其部分)越过警告阈向要避免的事件移动而改变,在该事件到来时提供最大亮度。在颜色的闪烁用作警告的情况下,闪烁的频率随器具(或其部分)越过警告阈向需要避免的事件移动而改变,在该事件到来时提供最高频率。警告阈可基于器具(或其部分,如其接头)的活动范围或器具(或其部分)与另一个可能与其碰撞的器具(或其部分)之间的距离。器具移动的速度也可以是确定警告阈的因素。警告阈可以由操作者应用例如GUI 170程序化,或由处理器102中的程序化算法自动确定,所述程序化算法考虑其它因素,如器具的移动速度。
[0078] 可选地,器具211、231、241(或其接头、连杆或其部分)中一个或多个的颜色、亮度或闪烁(例如,闪光)频率的改变可用作这样的提示(alert):器具(或接头或连杆或其部分)正接近期望的事件或情况,如进行医疗手术或观察医疗手术的最佳位置或方位。这种情况下,可限定提示阈,这样器具211、231、241(或它们的接头、连杆或其部分)中一个或多个的颜色、亮度和/或闪烁可以以类似于先前关于警告阈和不期望事件或情况所述的方式改变,所不同的是,在这种情况下,当达到提示阈时所述改变开始,并且当期望的事件或情况到来时或另外实现时所述改变最大或另外终止。提示阈也可以以概念上与警告阈相似的方式由操作者程序化或由程序化算法自动确定。
[0079] 作为以识别、警告或提示为目而突出器具的实例,图15显示了窗口1502中摄像机211和外科工具231、241的辅助视图,其中突出了摄像机211。作为以识别、警告或提示为目的而突出器具接头的实例,图12显示了被突出的外科工具231、241的接头。作为以警告为目的而突出器具部件的实例,图14显示了被突出的外科工具241的部件1402和摄像机
211的部件1403,以表明这些部件危险地接近碰撞。
[0080] 渲染也可包括当辅助图像的观察点与摄像机211观察点相同或在摄像机211观察点的正后方时将摄像机211获取的图像覆盖于辅助视图上。作为实例,图17图解了摄像机211获取的图像1700,其被渲染成覆盖到外科工具231、241的辅助视图,所述辅助视图由摄像机211(或正后方)的观察点生成。该实例中,在辅助显示屏140(和/或辅助显示屏140′)上显示的外科工具231、241的辅助视图包括在覆盖获取图像1700中的部件(例如,1731、1741)和在覆盖获取图像1700外的部件(例如,1732、1742)。因此,在获取图像1700外的外科工具231、241的部件向外科医生提供关于摄像机211视野外的它们各自的连杆或铰接臂的额外信息。也可以以识别为目的或为了表明如上所述的警告或提示情况而进行获取图像1700外的器具部件(例如,1732、1742)的突出。在辅助视图上覆盖获取图像1700在显示解剖结构360的情况下也具有优势,所述解剖结构在外科工具231、241的前方,一般不会在辅助视图中。虽然该实例显示了覆盖辅助显示屏140上的辅助视图的获取图像1700,但在另一个渲染方案中,辅助视图可覆盖监视器104上显示的获取图像。
[0081] 除了覆盖获取图像外,渲染也可包括通过仅显示部分器具231、241将辅助视图用于增加(augment)由摄像机211获取的图像,那部分器具231、241以同轴度(in proper alignment)在获取图像中看不到(即,图17中器具231、241的虚线部分)并且以镶嵌的方式邻近获取图像。
[0082] 除将获取图像覆盖在辅助视图上或用辅助视图增加获取图像外或取而代之,渲染也可包括提供辅助视图中其它有用的信息。作为实例,图16图解了可铰接摄像机211的辅助侧视图,其中截锥体1601被渲染在辅助视图上,以便显示在辅助显示屏140上,所述截锥体从摄像机顶端311发出并且随摄像机顶端311而移动。要注意的是,虽然图中显示截锥体1601为截头圆锥体,但其也可呈现截头棱锥体,以相应于在监视器104上所显示的获取图像。截锥体1601的边表示摄像机211的观察范围,以及截锥体1601的底1602显示由摄像机211获取的图像1650。要注意的是,为了简化起见,该实例中去除了一般在辅助视图中的外科工具231、241。作为另一个实例,图14显示了半透明的球体或泡体1401(优选显红色),当达到警告阈时其通过作为部分渲染处理的方法而显示,以便指示操作者:外科工具241和摄像机211的被突出部件1402、1403危险地接近碰撞。这种情况下,被突出部件1402、1403优选位于球体中心。作为又一个实例,图14也显示了标记或其它指示1410,表明摄像机顶端311观察正在用来进行医疗手术的外科工具231、241末端执行器的最佳位置。
例如,通过找到末端执行器顶端与获取图像中心等距的位置可以确定该最佳位置。
[0083] 在906中,该方法使从所选观察点的透视图渲染的计算机模型(即,辅助视图)显示在一个或多个显示屏(例如,140和140′)上。如图12-14和16-17所示,在辅助显示屏140上显示辅助视图。如图14所示,一次可显示一个以上辅助视图(例如,在窗口1421和1422可分别同时提供俯视透视图和侧视透视图)。如图15所示,也可在主监视器104上、窗口1502中显示辅助视图,其邻近由可铰接摄像机211获取的、显示在另一个窗口1501中的图像。虽然窗口1501和1502在该实例中呈相同尺寸,但要理解的是,辅助视图窗口1502的位置和尺寸可变化,并仍在本发明的范围内。同样,如先前所述,辅助视图可被窗口
1501中的获取图像覆盖,而不单独显示在窗口1502中。这种情况下,可由外科医生开启或关闭被覆盖的辅助视图,以免在医疗手术进行的过程中混乱获取图像。可通过按压输入装置108、109其中之一上的按钮或按压脚踏开关105进行该情况下的开启和关闭。可选地,其可以应用语音识别系统160通过语音激活或通过外科医生与GUI 170的交互作用或应用任何其它常规功能转换设备来进行。
[0084] 完成906后,然后该方法返回至901,以重复901-906,进行控制器102的下一处理循环。
[0085] 虽然围绕优选实施方式描述了本发明的各个方面,但要理解的是,本发明拥有所附权利要求的全部范围内的全部保护物的权利。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈