具有增强现实显示的手术系统专利检索-机器人手术器械医疗设备专利检索查询-专利查询网

具有 增强现实显示的手术系统

阅读：375发布：2020-08-27

专利汇可以提供具有增强现实显示的手术系统专利检索，专利查询，专利分析的服务。并且一种手术系统包括检测器，该检测器包括像素阵列，该像素阵列被配置为能够检测由手术装置反射的光并生成第一信号。该第一信号包括表示手术装置的可见图像的第一数据集。该手术系统还包括处理器，该处理器被配置为能够接收该第一信号和表示手术装置的一个或多个操作参数的第二信号。该处理器还被配置为能够生成手术装置的修改的图像，该修改的图像包括与一个或多个操作参数有关的信息。，下面是具有增强现实显示的手术系统专利的具体信息内容。

权利要求

1.一种手术系统，包括：
检测器，所述检测器包括像素阵列，所述像素阵列被配置为能够检测由包括手术装置的手术环境反射的光，并且生成包括表示所述手术环境和所述手术装置的可见图像的第一数据集的第一信号；和
处理器，所述处理器被配置为能够：
接收所述第一信号和表示所述手术装置的一个或多个操作参数的第二信号，生成所述手术装置的修改的图像，所述修改的图像包括所述手术环境和所述手术装置的至少一部分以及与所述一个或多个操作参数有关的信息。
2.根据权利要求1所述的系统，还包括显示装置，所述显示装置被配置为能够显示所述修改的图像，其中所述显示装置包括集成到外科医生所佩戴的附件中的监视器和显示器中的至少一个。
3.根据权利要求1所述的系统，其中，在所述修改的图像中与所述手术装置相邻地显示与所述一个或多个参数有关的所述信息。
4.根据权利要求1所述的系统，其中，在所述修改的图像中在所述手术装置上显示与所述一个或多个参数有关的所述信息。
5.根据权利要求1所述的系统，其中，所述修改的图像替换所述手术装置的至少一部分和手术区域的至少一部分中的一个或多个。
6.根据权利要求1所述的手术系统，其中，所述第一数据集包括表示由所述第一像素阵列的一个或多个像素检测到的所述光的颜色的值。
7.根据权利要求1所述的系统，其中，所述处理器被配置为能够从所述第一数据集识别表示手术器械的数据，以基于所述检测器相对于所述手术器械的位置确定所述手术指令的取向。
8.根据权利要求1所述的系统，其中，所述手术装置包括一个或多个标记，所述一个或多个标记中的每一个都被配置为能够反射预定频率的光。
9.根据权利要求8所述的系统，其中，所述处理器过滤所述第一信号以基于所述一个或多个标记的位置通过图像识别算法确定所述手术装置的取向。
10.根据权利要求1所述的系统，其中，所述手术系统是机器人手术系统，并且所述机器人手术系统包括至少一个机器人臂，所述机器人臂被配置为能够保持并操纵所述手术装置。
11.根据权利要求1所述的系统，其中，所述手术装置具有包括切割、缝合和能量输送中的至少一种的功能。
12.根据权利要求11所述的系统，其中，所述一个或多个参数包括关节运动角度、轴旋转角度、刀具的位置、所述刀具的运动、组织位置和重新加载信息中的至少一个。
13.一种手术系统，包括：
第一检测器，所述第一检测器包括第一像素阵列，所述第一像素阵列被配置为能够检测由具有一个或多个具有预定颜色的区域的手术环境内的手术装置反射的光，所述第一像素阵列还被配置为能够生成包括表示第一可见图像的第一数据集的第一信号；
第二检测器，所述第二检测器包括第二像素阵列，所述第二像素阵列被配置为能够检测由所述手术环境反射的光并生成第二信号，所述第二信号包括表示第二可见图像的第二数据集；和
处理器，所述处理器被配置为能够：
接收所述第一信号和所述第二信号，
从所述第一数据集和所述第二数据集中识别表示所述手术环境的数据，所述手术环境不包括具有所述预定颜色的所述手术装置的所述一个或多个区域，并且基于所述识别的数据生成所述手术环境的修改的图像。
14.根据权利要求13所述的手术系统，其中，所述预定颜色是绿色。
15.根据权利要求13所述的手术系统，其中，所述第一数据集包括表示由所述第一像素阵列的一个或多个像素检测到的所述光的颜色的值，并且所述第二数据集包括表示由所述第二像素阵列的一个或多个像素检测到的所述光的颜色的值。
16.根据权利要求13所述的手术系统，其中，所述修改的图像不包括具有所述预定颜色的所述手术装置的所述一个或多个区域。
17.根据权利要求13所述的手术系统，其中，所述修改的图像用所述手术环境内的组织的图像的一部分替换所述手术环境内的手术装置的图像的一部分。
18.根据权利要求17所述的手术系统，其中，组织的所述图像是在所述手术装置的所述图像的所述被替换部分下面的组织的图像。
19.根据权利要求13所述的系统，还包括：显示装置，所述显示装置被配置为能够显示所述修改的图像。
20.一种手术方法，包括：
检测由手术装置反射的光；
生成第一信号，该第一信号包括表示手术装置的图像的第一数据集；
接收第一信号和表示手术装置的一个或多个操作参数的第二信号；以及生成所述手术装置的修改的图像，所述修改的图像包括与一个或多个操作参数有关的信息。

说明书全文

具有增强现实显示的手术系统

技术领域

[0001] 提供了用于微创手术，尤其是用于提供手术环境的增强现实显示的方法和装置。

背景技术

[0002] 由于术后恢复时间减少且瘢痕形成最小化，因此微创外科手术(MIS)器械通常优于传统的开放式手术器械。腹腔镜式外科手术是一种类型的MIS手术，其中在腹部形成一个或多个小切口，并且通过切口插入套管针以形成进入腹腔的通路。套管针用于将各种器械和工具引入腹腔中，而且提供注气使腹壁升高到器官上方。器械和工具可用于以多种方式接合和/或处理组织以达到诊断或治疗效果。内窥镜式外科手术是另一种类型的MIS手术，其中将细长的柔性轴通过自然孔口引入体内。

[0003] 尽管传统的微创外科器械和技术已证明是高度有效的，但较新的系统可提供甚至更多的优点。例如，传统的微创外科器械通常不能为外科医生提供存在于开放式外科手术中的工具布置的灵活性。用器械通过小切口接近手术环境时会遇到困难。另外，典型的内窥镜式器械的长度的增加通常会降低外科医生感觉由组织和器官施加在端部执行器上的力的能力。此外，如电视监视器上的图像中所观察到的器械的端部执行器的运动与端部执行器的实际运动的协调是特别困难的，因为如图像中所感知的运动通常不与端部执行器的实际运动直觉地对应。因此，通常缺乏对外科器械运动输入的直觉响应。已经发现，直觉性、灵巧性和灵敏度的此类缺乏使得增加微创外科手术的使用受阻。

[0004] 多年以来，已经开发出多种微创机器人系统以增加外科手术的灵巧性，并允许外科医生以直觉方式对患者进行手术。远程手术是使用系统进行的外科手术的一般术语，其中外科医生使用一些形式的远程控制(例如，伺服机构等)来操纵外科器械运动，而不是用手直接握持和移动工具。在此类远程手术系统中，通常在远离患者的位置处在视觉显示器上为外科医生提供外科手术环境的图像。外科医生通常可在远离患者的位置处执行外科手术，同时在外科手术期间观察视觉显示器上的端部执行器运动。通常在视觉显示器上观察手术环境的三维图像时，外科医生通过操纵远程位置处的主控制装置来对患者执行外科手术，该主控制装置控制远程受控器械的动作。

[0005] 虽然在微创手术领域已经取得了显著进步，但仍然需要用于为手术环境提供增强现实显示的改进方法、系统和装置。发明内容

[0006] 提供了一种用于显示手术环境的图像的方法、装置和系统，包括在手术环境内部署的手术装置的至少一部分，其中所显示的图像是在外科手术期间实际检测到的手术环境的修改的版本。在一个实施方案中，除了手术装置的一部分之外，修改的图像还显示与系统和/或手术装置的一个或多个操作参数有关的信息。在另一个实施方案中，修改的图像显示手术装置的至少一部分，同时用手术装置的被替换部分下面的手术环境处的组织的图像替换手术装置的另一部分。

[0007] 一种手术系统包括检测器，该检测器包括像素阵列，该像素阵列被配置为能够检测由手术装置反射的光并生成第一信号。第一信号包括表示手术环境和手术装置的图像的第一数据集。该手术系统还包括处理器，该处理器被配置为能够接收第一信号和表示手术装置的一个或多个操作参数的第二信号。处理器还被配置为能够生成手术装置的修改的图像，该修改的图像包括手术环境和手术装置的至少一部分，以及与一个或多个操作参数有关的信息。在一个实施方案中，修改的图像替换手术装置的至少一部分和手术区域的至少一部分中的一个或多个。

[0008] 在一个实施方案中，手术系统包括被配置为能够显示修改的图像的显示装置。显示装置包括集成到由外科医生佩戴的头戴式耳机或其他附件(诸如眼镜)中的监视器和显示器中的至少一个。

[0009] 在另一个实施方案中，在修改的图像中与手术装置相邻地显示与一个或多个参数有关的信息。在又一个实施方案中，在修改的图像中在手术装置上显示与一个或多个参数有关的信息。

[0010] 在一个实施方案中，第一数据集包括表示由第一像素阵列的一个或多个像素检测到的光的颜色的值。

[0011] 在另一个实施方案中，处理器被配置为能够从第一数据集识别表示手术装置的数据，以基于检测器相对于手术装置的位置确定手术装置的取向。

[0012] 在一个实施方案中，手术装置包括一个或多个标记，所述一个或多个标记中的每一个都被配置为能够反射预定频率的光。在另一个实施方案中，处理器过滤第一信号以基于一个或多个标记的位置通过图像识别算法确定手术装置的取向。

[0013] 在一个实施方案中，手术系统是机器人手术系统，并且机器人手术系统包括至少一个机器人臂，该机器人臂被配置为能够保持并操纵手术装置。在另一个实施方案中，手术装置具有包括切割、缝合和能量输送中的至少一种的功能。

[0014] 在一个实施方案中，一个或多个参数包括关节运动角度、轴旋转角度、刀具的位置、刀具的运动、组织位置和重新加载信息中的至少一个。

[0015] 在另一个方面，手术系统包括第一检测器，该第一检测器包括第一像素阵列，该第一像素阵列被配置为能够检测由手术环镜反射的光。手术环境包括手术部位和位于手术部位处的手术装置，其中手术装置包括具有预定颜色的一个或多个区域。第一检测器生成第一信号，该第一信号包括表示手术区域的第一图像的第一数据集。手术系统还包括第二检测器，该第二检测器包括第二像素阵列，该第二像素阵列被配置为能够检测由手术环境反射的光并生成第二信号。第二信号生成表示手术环境的第二图像的第二数据集。手术系统还包括处理器，该处理器被配置为能够接收第一信号和第二信号，从第一数据集和第二数据集识别表示不包括具有预定颜色的手术装置的一个或多个区域的手术区域的数据，以及基于所识别的数据生成手术区域的修改的图像。

[0016] 在一个实施方案中，预定颜色是绿色。在另一个实施方案中，第一数据集包括表示由第一像素阵列的一个或多个像素检测到的光的颜色的值，并且第二数据集包括表示由第二像素阵列的一个或多个像素检测到的光的颜色的值。

[0017] 在另一个实施方案中，修改的图像不包括具有预定颜色的手术装置的一个或多个区域。在又一个实施方案中，修改的图像用手术环境内的组织的图像的一部分替换手术环境内的手术装置的图像的一部分。在一个方面中，组织的图像是在手术装置的图像的被替换部分下面的组织的图像。

[0018] 在一个实施方案中，手术系统包括被配置为能够显示修改的图像的显示装置。

[0019] 在另一个方面中，一种手术方法包括检测由手术装置反射的光；生成第一信号，该第一信号包括表示手术装置的图像的第一数据集；接收第一信号和表示手术装置的一个或多个操作参数的第二信号；并且生成手术装置的修改的图像，所述修改的图像包括与一个或多个操作参数有关的信息。附图说明

[0020] 结合附图阅读下述详细说明将更全面地理解本发明，其中：

[0021] 图1示出了包括患者侧部分和用户侧部分的手术机器人系统的实施方案的透视图；

[0022] 图2示出了被配置为能够生成手术环境的修改的图像的手术系统的实施方案的示意图。

[0023] 图3示出了手术系统中的相机模块中的检测器的示意图；

[0024] 图4示出了根据本文描述的手术系统的手术器械的修改的图像的实施方案；

[0025] 图5示出了定位在具有多个标记的区域中的手术器械；

[0026] 图6示出了手术环境和在手术环境中使用的手术器械的图像；

[0027] 图7A示出了手术环境的一部分的透视图；

[0028] 图7B示出了图7A的手术环境的另一个透视图；

[0029] 图8示意性地示出了图7A的手术环境的一部分的组合图像；

[0030] 图9A示出了包括手术器械的一部分的图像的手术环境的图像的示例；

[0031] 图9B示出了图9A的图像的修改的版本，其中手术器械的轴的一部分是不可见的；以及

[0032] 图10是计算机系统的示意图，该计算机系统被配置为能够生成与本文描述的控制系统一起使用的多个命令信号。

具体实施方式

[0033] 现在将描述某些示例性实施方案，以提供对本文所公开的装置和方法的结构、功能、制造和用途的原理全面理解。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员将会理解，本文具体描述并在附图中示出的装置和方法是非限制性的示例性实施方案，本公开的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在包括在本发明的范围之内。

[0034] 此外，在本公开中，各实施方案中名称相同的部件通常具有类似的特征部，因此在具体实施方案中，不一定完整地阐述每一个名称相同的部件的每一个特征部。另外，在所公开的系统、装置和方法的描述中使用线性或圆形尺寸的程度上，此类尺寸并非旨在限制可结合此类系统、装置和方法使用的形状的类型。本领域的技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。系统和装置及其部件的大小和形状可至少取决于系统和装置将用于其中的受治疗者的解剖结构、系统和装置将与其一起使用的部件的大小和形状、以及系统和装置将用于其中的方法和手术。

[0035] 本文公开的系统、装置和方法可使用机器人手术系统来实现。2014年3月13日提交的标题为“Hyperdexterous Surgical System”(超灵巧手术系统)的WIPO 专利公开No.WO 2014/151621以引用方式被并入本文。

[0036] 一般来讲，描述了手术系统，其实时地修改手术环境(例如，包括手术器械、靶组织和靶组织周围的组织等)的图像。具体地，可修改手术环境的图像以包括与手术相关的信息(例如，手术器械的操作参数、患者病史、外科医生检查表等)。还可修改手术环境的图像以将手术器械的选择部分的图像替换为手术环境(例如，靶组织、靶组织周围的组织等)的图像。在微创手术或手术器械在外科医生的自然视野之外的任何外科手术期间，通常生成手术环境的图像并将其在显示器上向外科医生显示，诸如在视频监视器、头戴式耳机、眼镜或外科医生佩戴的另一种附件。这种图像通常是实时显示的。外科医生可能希望修改手术环境的图像以包括相关的手术信息。例如，这可使外科医生能够保持聚焦在手术区域上，而不必在手术期间从手术环境的图像离开观看别处。还可能希望观察手术环境中其视野可能被手术装置的部分遮挡的组织。例如，这可通过将手术装置的部分的图像替换为手术环境中的组织的图像来实现。

[0037] 在一个方面中，手术系统可实时跟踪手术器械的操作参数，并且将该信息叠加在手术环境的实时图像上。操作参数可被布置在信息面板中，该信息面板可位于修改图像中的预定位置处。在另一个方面中，操作参数可分布在修改图像上。例如，与手术器械的一部分相关的操作参数可位于相关部分处或附近。随着手术器械移动，操作参数可跟踪手术器械的运动。在一些实施方案中，可在视觉上(例如，颜色的改变、闪烁的图像等)表示操作参数或其变化。

[0038] 在手术系统的另一个方面中，手术器械的某些区域可做成透明的。例如，这可通过使用色度键技术来完成，其中手术器械的预定区域的图像被识别并用被手术器械遮挡的靶组织的图像替换。这是可取的，因为这在外科手术期间为外科医生提供了靶组织的无阻碍视图。

[0039] 图1是可用于远程手术中的手术机器人系统100的一个实施方案的透视图。系统100包括与患者112相邻定位的患者侧部分110，以及位于距离患者一定距离处(在同一室内和/或在远程位置)的用户侧部分111。患者侧部分110通常包括一个或多个机器人臂120以及被配置为能够可释放地耦接到机器人臂120的一个或多个工具组件130。用户侧部分111通常包括用于观察患者112和/或手术环境的视觉系统113，以及用于在外科手术期间控制机器人臂120和每一个工具组件130的运动的控制系统115。

[0040] 控制系统115可具有多种配置，其可邻近患者定位(例如，在手术室中)、远离患者(例如，在单独的控制室中)或者可分布在两个或更多个位置。作为专用系统的示例，专用系统控制台可位于手术室中，单独的控制台可位于远程位置处。控制系统115可包括使得用户能够观察患者的正在由患者侧部分110进行手术的手术环境112和/或控制患者侧部分110的一个或多个部件(例如，以在手术环境112处执行外科手术)。在一些实施方案中，控制系统115还可包括一个或多个手动操作的输入装置，诸如操纵杆、外骨骼式手套、动力和重力补偿式操纵器等。这些输入装置可控制被远程操作的马达，这些马达继而控制手术系统，包括机器人臂120和工具组件130的移动。

[0041] 患者侧部分还可具有多种构型。如图1所示，患者侧部分110可耦接到手术台114。然而，在其他实施方案中，患者侧部分110可安装到墙壁，安装到天花板，安装到地板或安装到其他手术室设备。另外，虽然患者侧部分110被示为包括两个机器人臂120，但是也可包括更多或更少的机器人臂120。此外，患者侧部分110可包括诸如相对于手术台114安装在各种位置的单独的机器人臂120。另选地，患者侧部分110可包括单个组件，该单个组件包括从其延伸的一个或多个机器人臂120。

[0042] 图2是手术系统200的示例的示意图，该手术系统200被配置为能够实时生成手术环境(例如，手术器械204、靶组织、围绕靶组织的组织等)的修改图像以包括手术装置的操作参数。手术系统200包括手术器械204、控制手术器械204的操作的控制器202、被配置为能够捕获手术器械204的图像并且将与捕获的图像相关的一个或多个信号中继到处理器216的相机模块210。处理器216还可与控制器202通信。例如，处理器可从控制器202接收手术器械204的操作参数，并且将可改变操作参数的控制信号发送到控制器202。处理器216可生成修改图像，该修改图像包括来自相机210的图像，以及与外科手术有关的信息(例如，手术器械210的操作参数、外科医生创建的检查列表、患者病史等)。可在显示器222上，或者在外科医生佩戴的附件(例如，头戴式耳机或眼镜)上显示修改的图像，显示器可以是墙壁或桌面安装的。将图像投射到头戴式耳机或眼镜上的益处是外科医生可同时观察投影图像和实际图像。手术系统200还可包括可与处理器216通信的输入装置224。用户(例如，外科医生)可使用输入装置224与修改的图像进行交互(例如，放大、缩小、标记等)。手术系统200中的信号(例如，在相机模块210和处理器216、控制器202和处理器216、输入装置224和处理器216等之间)可无线地(蓝牙、WiFi等)通信或通过数据电缆(例如，光纤、同轴电缆等)通信。

[0043] 光源(未示出)可生成由手术环境反射的光。光可以是可见光(例如，具有约400nm至800nm的波长)或波长在可见光谱之外的光(例如，红外光和紫外光)。反射光的一部分被相机模块210捕获，相机模块包括被配置为能够将可见光聚焦到检测器212上的透镜206。例如，通过将检测器212放置在透镜206的焦平面中，可改善图像的质量。

[0044] 检测器212能够检测由手术器械反射的光。如图3所示，示例性检测器212包括光敏部位阵列(例如，212a-c等)，其可吸收投射在该部位上的电磁辐射，并且生成表示投射的辐射的电信号(例如，电压信号、电流信号等)。例如，电信号的强度可与投射的电磁辐射的强度成比例。光敏部位通常具有光谱范围，该光谱范围决定了该部位可有效检测的频率范围。例如，硅(Si)光敏部位可检测可见到近红外辐射(光谱范围400nm-1000nm)，并且锗(Ge)或铟镓砷(InGaAs)光敏部位可检测近红外辐射(光谱范围800nm-2600nm)。适合于想要检测的电磁辐射频谱范围的合适类型的光敏部位可由本领域技术人员选择。

[0045] 光敏部位可被配置为能够通过使用光学滤光器检测位于其频谱范围内的电磁辐射的所需波长(或所需波长周围的窄波长范围)。放置在指向光敏部位的电磁辐射路径中的光学滤光器滤除除了对应于所需波长的辐射之外的所有辐射。例如，具有绿色滤色器的Si光敏部位(例如，212a)将主要检测绿光(约500nm)。

[0046] 在一个示例中，检测器(例如，检测器212)通过组合由检测器中的各光敏部位捕获的对象的不同区域的图像来检测手术环境的图像。当由手术器械反射的光投射在检测器212上时，其中的光敏部位(例如，212a、212b、212c等)检测表示手术器械的区域的图像的反射光的一部分。然后，光敏部位生成表示所捕获图像的电信号。该电信号由模数转换器(ADC)转换为数字信号。数字信号具有离散值，其表示例如检测到的辐射的强度。如下所述，数字信号还可包括与检测到的辐射的频率(颜色)有关的信息。来自各个光敏部位的数字信号的值(统称为图像数据集)表示手术器械的图像。存储在图像数据集中的数字信号值与已经产生数字信号值的光敏部位之间可以存在一对一的关系(例如，数字信号值可包括标识已经生成数字信号的光敏部位的信息)。因此，通过识别图像数据集中的数字信号值，可识别生成数字值的光敏部位(或反之亦然)。然后，处理器从可在显示装置222(例如，监视器)上显示的图像数据集生成手术环境的图像。显示装置中的每一个像素可表示图像数据集中的一个数字信号值。换句话说，显示装置中的每一个像素可表示由检测器212中的唯一光敏部位检测到的辐射。

[0047] 通过将光学滤波器(或光学滤波器阵列)放置在指向检测器的电磁辐射的路径中，可生成手术环境的彩色图像。例如，可在光敏部位阵列之前放置滤色器阵列(例如，Bayer滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器等)。因此，每一个光敏部位接收特定波长(或颜色)的电磁辐射。例如，对于Bayer滤光器，每一个光敏部位检测红色、蓝色或绿色中的一种。处理器可使用去马赛克算法来处理使用Bayer滤波器获得的图像数据集以生成“全色”图像(即，具有多种颜色的图像)。

[0048] 如果光学滤光器被放置在第一检测器212之前，则它将检测到手术环境的图像。因此，生成图像数据集(如上所述)并将其发送到处理器216。图像数据集可包括与每一个光敏部位的所检测光的强度和波长(颜色)有关的信息。

[0049] 如上所述，控制器202可向处理器216发送信号，该信号包括与手术器械204的操作参数和身份相关的信息。当控制器202从处理器216接收到请求与手术器械204有关的信息的请求信号时，可发送信号。控制器202可包括存储器装置，该存储器装置具有跟踪手术器械202的操作参数的日志文件。日志文件(或其一部分)可被发送到处理器216。在一些实施方案中，处理器216和控制器202可不直接通信。例如，它们的通信可通过一个或多个装置(例如，处理器、路由器等)进行路由。

[0050] 处理器216可通过将与操作参数有关的信息叠加到所捕获图像上来修改由相机模块210捕获的手术环境的图像。除此之外或另选地，处理器216可叠加与外科手术相关的其他信息，例如，患者的病史、外科医生的检查列表等。该信息可存储在数据库218中，或者可由用户(例如，外科医生)通过输入装置224提供。修改的图像230可被显示在显示器222上。

[0051] 图4示出了示例性手术器械402的修改的图像400的示例。在修改的图像中呈现了手术器械的各种操作参数(例如，关节运动角度420、轴旋转角度422、刀具位置424、重新加载信息426)。可在视觉上示出操作参数。例如，刀具位置424可由图像表示，该图像实时地跟随手术器械中的刀具的运动。作为另一个示例，如果手术器械402中的缝合器需要重新加载，则通过改变手术器械的轴404的颜色来传达该信息。所显示的操作参数可在修改的图像中跟随手术器械402的运动。为此，处理器216从手术环境的图像识别手术器械402的图像。另外，处理器基于例如与存储在数据库218中的手术器械有关的信息、来自控制器202的操作参数信息等识别手术器械的不同部分(例如，轴404、钳口406等)。例如，处理器可将手术器械的所识别图像与数据库218中的手术器械的图像进行比较，并使用图像识别算法识别手术器械的不同部分。一旦识别出手术器械(例如，轴)的一部分，就可将与其相关联的操作参数(例如，关节运动角度)放置在显示器上的其图像上或附近。虽然手术器械被示出为外科切割和缝合器械，但是应当理解，可使用任何类型的手术器械。

[0052] 通过识别图像数据集中与相机模块210捕获的手术器械的图像对应的数据来识别手术器械204的图像。这可基于第一检测器212和手术器械204之间的预定相对位置来完成。在该实施方案中，相机模块210附接到手术器械204，使得手术器械相对于相机模块210的相对位置保持固定。在一个示例中，这是通过在手术器械上包括安装特征部来实现的，相机模块210可移除地附接到该安装特征部。相机模块210内的装置(检测器212、透镜206等)可被定位在预定配置中。另选地，这些装置可附接到压电致动器，以允许它们相对于彼此移动。
这样可允许检测器检测手术器械的清晰图像。例如，可能希望将检测器212放置在透镜206的焦平面中。相机模块210及其中的装置的机械运动和热膨胀可能将检测器移出透镜的焦平面。通过可由处理器216控制的压电致动器或者通过来自用户的输入可将检测器调回到焦平面中。在将相机模块210和手术器械204插入手术环境之前，可将手术器械204和相机模块210(以及相机模块内的装置)调节到期望的预定位置。基于检测器212和手术器械204的预定取向，可识别捕获手术器械204的图像的检测器212中的光敏部位。与前述光敏部位的位置有关的信息可存储在数据库218中。处理器216可识别图像数据集中的手术器械图像数据。例如，这可通过将由光敏部位捕获的图像数据以预定图案布置在图像中来完成。例如，由光敏部位212a捕获的图像数据可放置在光数据集中的预定位置处。关于这种关系的信息可存储在数据库218中的索引数据文件中。基于索引数据文件，处理器218可识别与由光敏部位212a检测到的图像相对应的图像数据(来自图像数据集)。另选地，图像数据可包括标识生成其的光敏部位的信息。

[0053] 在另一个实施方案中，基于手术器械204上的一个或多个标记在图像中识别手术器械，并且使用多个相机510、512、514、516对手术环境成像。如图5所示，手术器械204包括位于其表面上的若干标记502、504、506、508。在一个实施方案中，标记是手术器械204上反射给定频率的电磁辐射的区域。例如，标记可被配置为能够反射特定颜色的光。可选择标记的颜色，使得颜色不是手术环境中天然存在的(例如，绿色、蓝色等)。因此，处理器216识别基于标记颜色检测标记的图像的光敏部位。如上所述，对于每一个光敏部位而言，图像数据集可包括与检测到的光的颜色有关的信息。处理器可在图像数据集中搜索表示标记的颜色的数据。处理器216识别图像中的标记502、504、506、508(并因此识别标记的相对位置)，并将该信息与来自存储在数据库218中的手术器械的数据库的数据进行比较。该数据库包括与各种手术器械的标记颜色和标记位置有关的信息。另外，对于给定的手术器械而言，数据库可包括与来自多个视点的手术器械的图像中的标记的相对位置有关的信息。例如，标记502、504、506、508在图5的实施方案中的手术器械204的图像中的相对位置将取决于捕获图像的相机(例如，510、512、514、516)的相对位置。

[0054] 处理器可使用图像识别算法来识别反射光数据集中表示手术器械的图像的数据。在一个示例中，图像识别算法接收与捕获的图像中的标记的位置有关的输入信息，以及与存储在数据库218中的各种手术器械有关的信息。处理器通过使用各种模式识别技术将捕获的图像中的标记的相对位置与数据库218中的装置的标记的取向信息进行比较。基于这种比较，处理器可识别表示图像数据集中的手术器械204的图像的数据。除此之外或另选地，处理器可使用模式识别算法和/或装置数据库以与机器人手术系统不易知道或由其控制的装置(即，手操作的缝合器、牵开器等)一起工作。应当理解，标记可包括特定的几何形状和/或颜色，作为施加于装置的某物(例如，绿点)，或者颜色可以是典型装置固有的(例如，银的直钳口和变黑的轴)。

[0055] 图6示出了手术环境的图像600，其中手术器械602形式的手术器械位于靶组织604附近。手术器械包括轴606和位于轴的远侧端部处的端部执行器608。如图6所示，轴606的一部分阻挡外科医生可能想要观察的靶组织的某些部分的视图。在本文描述的系统中，显示给外科医生的图像600被修改以去除阻挡一些组织的视图的轴606的一部分的图像，并且用原始图像中不可见的组织图像替换轴图像。这可使用色度键技术来实现，其中识别并改变(例如，用不同的图像替换)具有预定颜色的图像的一部分。例如，可用预定颜色(例如，蓝色、绿色等)标记轴606，该预定颜色通常是在手术环境中不自然发生的颜色。然后，处理器216基于其分配的颜色识别轴的图像(例如，处理器216可搜索图像600的图像数据集以发现预定颜色)。在已经识别出轴606之后，通过用靶组织604的一个或多个部分的图像替换轴的图像来修改实际图像。这可通过使用多个相机(例如，多个相机模块210)从各个有利位置捕获手术环境600的多个图像来实现。处理器216接收多个图像，识别轴606的图像，并且使用视觉算法生成修改的图像。如下文更详细地讨论的，轴的阻挡组织视图的部分被下面的组织的视图替换。

[0056] 图7A示出了包括手术器械702和相机系统704的手术环境700。相机系统704包括分开特定距离的两个相机706和708(例如，相机模块210)。第一相机706和第二相机708从其相应位置捕获手术器械702的图像，并且将对应的图像信号发送到处理器(例如，处理器216)。图7B示意性地示出了从相机的角度看的手术环境700的视图，其中第一相机706的视野由附图标记720表示，并且第二相机708的视野由附图标记722表示。处理器可使用三维(3D)图像重建算法以基于由第一相机706和第二相机708捕获的图像来构建整个手术环境或其部分的3D图像。重建算法考虑到两个相机由于它们在空间上的分离而在视角方面的差异。

[0057] 在另一个实施方案中，处理器可生成立体显示，其中操作者的大脑将组合单独的2D图像以生成3D的感知。这可以各种方式实现。在一个示例中，处理每一个2D图像，使得首先从每一个2D图像移除色度键控的装置部件。然后将相对的2D图像的相关像素缝合到该空间中。两个2D图像可通过头戴式显示器(例如，VR护目镜)呈现给操作者，其中来自左相机的缝合图像被呈现给外科医生的左眼，并且右2D图像被显示给操作者的右眼。

[0058] 另选地，可将两个图像发送到单个显示器，并且外科医生将佩戴一副3D眼镜，其允许左眼仅看到左相机图像并且允许右眼仅看到右图像。这可以各种方式实现。例如，每一个图像可稍微移位到仅特定波长，并且眼镜包含仅允许那些特定波长的光通过的滤波器。在另一个示例中，可使用偏振来允许左眼仅看到左相机图像并且允许右眼仅看到右相机图像。这将要求每一个图像以彼此成90°的角度偏振，并且眼镜将具有对应的偏振滤波器。在又一个示例中，两个图像也可在显示器上交替，并且外科医生佩戴的眼镜可利用与所显示的图像同步的快门。

[0059] 图8示意性地示出了通过组合由第一相机706捕获的第一图像820和由第二相机708捕获的第二图像822而获得的手术环境700的组合图像800。手术环境的一些部分的图像由两个相机捕获(例如，部分802)，而一些部分仅由右相机捕获(例如，部分804)，而其他部分仅由左相机捕获(例如，部分806)。还存在可未被两个相机中的任一个捕获的手术环境的部分，诸如区域808。处理器能够生成区域802的3D图像和区域804和806的2D图像。如上所述，处理器还可识别手术器械的预定区域(例如，手术器械702的轴)。处理器可使用图像重建算法以从组合图像800生成手术环境700的修改图像，其使得手术器械(或其部分)的预定区域透明。换句话说，在修改的图像中，手术器械的预定区域被组合图像的部分替换，其视图本来被预定区域遮挡。

[0060] 图9A表示包括靶组织902和手术器械904以及轴910的一部分的手术环境900的图像的示例，其图像是使用相机906和908捕获的。图9B示出了手术环境的修改的图像950，其中轴910不再可见，因为它已被下面的组织的图像替换。

[0061] 可在数字电子电路、集成电路、专门设计的专用集成电路(ASIC)、现场可编程门阵列(FPGA)、计算机硬件、固件、软件和/或其组合中实现本文描述的主题的一个或多个方面或特征。这些不同方面或特征可包括一个或多个计算机程序中的具体实施，该一个或多个计算机程序是在包括至少一个可编程处理器的可编程系统上可执行的和/或可解释的，该至少一个可编程处理器可以是特殊的或通用的，耦合以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令并向他们传输数据和指令。可编程系统或计算机系统可包括客户端和服务器。客户端和服务器一般来讲彼此远程，并且通常通过通信网络进行交互。客户端和服务器的关系是借助于在各自计算机上运行的、彼此具有客户端-服务器关系的计算机程序得到的。

[0062] 这些计算机程序(也可称为程序、软件、软件应用程序、组件或代码)包括用于可编程处理器的机器指令，并且能够以高级程序、面向对象的编程语言、函数编程语言、逻辑编程语言来实现和/或以汇编/机器语言来实现。如本文所用，术语“机器可读介质”是指用来向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用来向可编程处理器提供机器指令和/或数据的任何信号。机器可读介质可非暂态地存储此类机器指令，例如非瞬时固态存储器或磁性硬盘驱动器或任何等同的存储介质。另选地或除此之外，机器可读介质可以瞬态方式存储此类机器指令，例如处理器高速缓存或与一个或多个物理处理器核相关联的其他随机存取存储器。

[0063] 为了提供与用户的交互，可在具有用于向用户显示信息的显示装置诸如阴极射线管(CRT)或液晶显示器(LCD)或发光二极管(LED)监视器、以及用户能用以向计算机提供输入的键盘和指示装置诸如鼠标、跟踪球等的计算机上实现本文所述主题的一个或多个方面或特征。也可使用其他类型的装置来提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可通过任何形式接收来自用户的输入，包括但不限于声音、语音或触觉输入。其他可能的输入装置包括但不限于触摸屏或其他触敏装置，诸如单点或多点电阻性或电容式触控板、语音识别硬件和软件、光学扫描仪、光学指针、数字图像捕获装置和相关联的解释软件等。

[0064] 图10示出了计算机系统1000的示例性实施方案。如图所示，计算机系统1000包括一个或多个处理器1002，该一个或多个处理器可控制计算机系统1000的操作。“处理器”在本文中也被称为“控制器”。处理器1002可包括任何类型的微处理器或中央处理单元(CPU)，包括可编程通用或专用微处理器和/或各种专有或可商购获得的单处理器系统或多处理器系统中的任一种。计算机系统1000还可包括一个或多个存储器1004，所述存储器可为待由处理器1002执行的代码提供临时存储，或者为一个或多个用户、存储装置和/或数据库获取的数据提供临时存储。存储器1004可包括只读存储器(ROM)、闪存、一种或多种随机存取存储器(RAM)(例如，静态RAM(SRAM)、动态RAM(DRAM)或同步DRAM(SDRAM))和/或存储器技术的组合。

[0065] 计算机系统1000的各种元件可耦接到总线系统1012。图示的总线系统1012是抽象的，其表示通过适当的桥接器、适配器和/或控制器连接的任何一个或多个单独的物理总线、通信线路/接口和/或多点或点对点连接。计算机系统1000还可包括一个或多个网络接口1006、一个或多个输入/输出(IO)接口1008以及一个或多个存储装置1010。

[0066] 网络接口1006可使计算机系统1000能够通过网络与远程装置(例如，其他计算机系统)通信，并且对于非限制性示例，可以是远程桌面连接接口、以太网适配器和/或其他局域网(LAN)适配器。IO接口1008可包括一个或多个接口部件，以将计算机系统1000与其他电子设备连接。对于非限制性示例，IO接口1008可包括高速数据端口，例如通用串行总线(USB)端口、1394端口、Wi-Fi、蓝牙等。另外，计算机系统1000可以是人类用户可访问的，因此IO接口1008可包括显示器、扬声器、键盘、指向装置和/或各种其他视频、音频或字母数字接口。存储装置1010可包括用于以非易失性和/或非瞬态方式存储数据的任何常规介质。因此，存储装置1010可将数据和/或指令保持在持久状态，即，尽管中断对计算机系统1000的供电，仍保留一个或多个值。存储装置1010可包括一个或多个硬盘驱动器、闪存驱动器、USB驱动器、光盘驱动器、各种介质卡、磁盘、光盘和/或它们的任何组合，并且可例如通过网络连接直接连接到计算机系统1000或远程连接至其上。在示例性实施方案中，一个或多个存储装置可包括被配置为能够存储数据的有形或非暂态计算机可读介质，例如硬盘驱动器、闪存驱动器、USB驱动器、光盘驱动器、媒体卡、磁盘、光盘等。

[0067] 图10中所示的元件可以是单个物理机器的一些或所有元件。此外，并非所有例示的元件都需要位于同一物理机器上或同一物理机器中。示例性计算机系统包括传统台式计算机、工作站、小型计算机、膝上型计算机、平板计算机、个人数字助理(PDA)、移动电话等。

[0068] 计算机系统1000可包括web浏览器，用以检索网页或其他标记语言流，(在视觉上、听觉上或通过其他方式)呈现这些页面和/或流，在这些页面/流上执行脚本、控件和其他代码，接受关于这些页面/流的用户输入(例如，出于完成输入字段的目的)，发布关于这些页面/流或其他的超文本传输协议(HTTP)请求(例如，用于将来自完成的输入字段的信息提交到服务器)等等。网页或其他标记语言可以是超文本标记语言(HTML)或其他传统形式，包括嵌入式可扩展标记语言(XML)、脚本、控件等。计算机系统1000还可包括用于生成和/或将网页传送到客户端计算机系统的web服务器。

[0069] 在一个示例性实施方案中，计算机系统1000可作为单个单元提供，例如作为单个服务器、作为单个塔、包含在单个外壳内等。单个单元可以是模块化的，使得其各个方面可根据需要换入和换出，例如升级、更换、维护等，而不会中断系统的任何其他方面的功能。因此，单个单元也可以是可扩展的，具有作为附加模块添加的能力和/或期望和/或改善现有模块的附加功能。

[0070] 计算机系统还可包括各种其他软件和/或硬件组件中的任何一种，包括(作为非限制性示例)操作系统和数据库管理系统。尽管本文描绘和描述了示例性计算机系统，但应当理解，这是出于普遍性和方便性的原因。在其他实施方案中，计算机系统的架构和操作可与这里示出和描述的不同。

[0071] 优选地，本文所述的本发明的部件将在使用之前处理。首先，获取新的或用过的器械，并根据需要进行清洁。然后可对器械进行灭菌。在一种灭菌技术中，将所述器械放置在密闭且密封的容器(诸如，塑料或TYVEK袋)中。然后将容器和器械放置在可穿透该容器的辐射场诸如γ辐射、x射线或高能电子中。辐射杀死器械上和容器中的细菌。然后可将经灭菌的器械储存在无菌容器中。密封容器使器械保持无菌，直到其在医疗设施中被打开。

[0072] 通常，对该装置进行灭菌。这以通过本领域的技术人员已知的任何多种方式来完成，包括β辐射或γ辐射、环氧乙烷、蒸汽以及液浴(例如冷浸)。在2008年2月8日提交的名称为“System And Method Of Sterilizing AnImplantable Medical Device”的美国专利No.8,114,345中更详细地描述了对包括内部电路的装置进行灭菌的示例性实施方案。优选的是，如果植入的话，将装置气密密封。这可通过本领域技术人员已知的任何数量的方式而完成。

[0073] 根据上述实施方案，本领域的技术人员将会认识到本发明的另外的特征和优点。因此，本发明不应受到已具体示出和描述内容的限制，除非所附权利要求有所指示。本文引用的所有出版物和参考文献全文明确地以引用方式并入本文中。

标题	发布/更新时间	阅读量
利用双向耦接控制机器人手术器械	2020-05-15	462
结合机器人手术系统使用的手术器械固持器	2020-05-22	76
机器人手术系统和手术器械	2020-05-16	712
一种极坐标儿科手术机器人手术器械定位组件	2020-05-20	315
机器人手术器械中的夹持力控制	2020-05-12	391
机器人手术系统和手术器械	2020-05-13	801
用于机器人手术器械的驱动单元和齿条铺单	2020-05-20	248
耦合器械驱动单元和机器人手术器械	2020-05-11	463
紧固机器人手术器械接口的接口元件轨道	2020-05-22	146
机器人手术系统、器械驱动单元以及驱动组件	2020-05-23	467

具有增强现实显示的手术系统

具有增强现实显示的手术系统

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：