[0001] 本
申请是申请号为201580041495.5(
国际申请号为PCT/US2015/041085)、申请日为2015年7月20日、
发明名称为“用于
机器人手术系统的增强手术现实环境”的
专利申请的分案申请。
[0002] 相关申请的交叉引用
[0003] 本申请要求于2014年7月25日提交的申请号是62/028,984的美国临时专利申请的权益和优先权，该申请的全部公开通过引用并入本文中。
技术领域
[0004] 本公开涉及用于改善患者的手术
预后的手术技术。更具体地，本公开针对用于在执行手术技术的同时增强和加强临床医生的视场的系统和方法。
背景技术
[0005]
微创手术涉及代替使用一个较大的开口而使用多个小切口来执行手术操作。小切口减少了患者的不适并改善了恢复时间。小切口也限制了内部器官、组织和其他物质的可见度。
[0006]
内窥镜被插入到一个或多个切口中，以使临床医生在手术期间更容易看到体内的内部器官、组织和其他物质。这些内窥镜包括联接到显示器的具有光学和/或数字变焦能
力的相机，显示器显示如通过相机捕获的体内的器官、组织以及物质的放大视图。现有的内窥镜和显示器，特别是那些在手术机器人系统中使用的内窥镜和显示器具有有限的识别在相机的视场内但在显示器上所显示的
光谱内不完全可见的状况或对象的能力。
[0007] 例如，现有的微创和
机器人手术工具(包括但不限于内窥镜和显示器)的以下能力有限(如果有的话)：在
切除后识别组织灌注，在组织内
定位不同尺寸的动脉，测量血管密封的有效性，从热特征(heat signature)识别患病的或死亡的组织，在切除后验证适当的功能，区分敏感区域(例如，输尿管)和周围物质(例如，周围血液)，以及检测对当前测试不可见的超小
泄漏。在一些手术中，或者未实施这些检查，或者实施了更多创伤和/或耗时的测试以检查这些和其他状况和对象。
[0008] 存在对在手术期间识别在手术相机的视场内但在显示器上所显示的光谱内不完全可见的更大范围的可能状况或对象的需要。
发明内容
[0009] 机器人手术系统可以包括两个以上
机器人手臂。每个机器人手臂可以具有两个以上
自由度。每个机器人手臂可以包括连接地布置的两个以上构件以提供两个以上自由度。在一些实例下，所述构件可以通过关节、
铰链、联接件或联动装置连接。
[0010] 图像捕获装置可以附接到机器人手臂中的第一机器人手臂的手术组件。图像捕获装置可以被构造为插入到患者体内。图像捕获装置还可以被配置为在手术操作期间捕获患者体内的感兴趣区域的图像。
[0011] 手术器械可以附接到机器人手臂中的第二机器人手臂的手术组件。手术器械可以被构造为插入到患者体内。手术器械还可以被配置为在手术操作期间操纵患者体内的组织。
[0012] 机器人手术系统的输入装置可以被配置为在手术操作期间操纵附接到第一机器人手臂的图像捕获装置和/或附接到第二机器人手臂的手术器械。
[0013] 机器人手术系统中的
图像处理滤波器可以被配置为从捕获自图像捕获装置的图像以预定空间
频率对图像数据滤波，以识别对象的在预定空间频率下对机器人手术系统的用户而言不可
感知的属性。当所述属性对于用户而言难以感知时，对象的属性可是不可感知的。这在某些情况下可能发生，因为该属性被阻碍、被模糊或是不可见的。
[0014] 图像处理滤波器可以包括：空间分解滤波器，其被配置为将图像分解为至少两个空间频带；时间滤波器，其被配置为应用于空间频带以产生至少两个时间滤波带；相加器，其被配置为将每个空间频带与时间滤波带中的对应带相加以产生至少两个相应的增强带；以及重构滤波器，其被配置为通过合并增强带来产生增强图像。
[0015] 机器人手术系统中的
控制器可以被配置为加强对象的所识别的属性的可感知性。控制器还可以被配置为输出所识别的属性的加强的可感知性，以使得用户更容易感知所识别的属性。
[0016] 控制器可以包括图形处理器，所述图形处理器被配置为加强所识别的属性的可见表示，并将所加强的可见表示输出到显示器以便显示。控制器可以被配置为放大所滤波的图像数据以加强所识别的属性的可见表示。控制器可以被配置为将具有不可见频率的所滤波的图像数据的至少一部分转变为可见光
频率范围中的频率，以加强所识别的属性的可见表示。
[0017] 控制器可以包括触觉处理器，所述触觉处理器被配置为加强所识别的属性的
力反馈表示，并将所加强的力反馈表示输出到输入装置上的触觉装置，所述触觉装置被配置为向用户提供
触觉反馈。控制器可以被配置为放大所滤波的图像数据以加强所识别的属性的力反馈表示。
[0018] 连接到机器人手术系统的显示器可以被配置为在手术操作期间显示来自图像捕获装置的图像捕获。
[0019] 机器人手术系统还可以包括控制装置。控制装置可以被配置为识别附接到第二机器人手臂的手术器械，并且基于对手术器械的识别从多个图像处理滤波器中选择图像处理滤波器。
[0020] 控制装置还可以被配置为在手术操作期间判定附接到第二机器人手臂的手术器械是否在图像捕获装置的视场内。如果手术器械在图像捕获装置的视场内，则控制装置可以被配置为选择所述图像处理滤波器。
[0021] 机器人手术系统还可以具有第三机器人手臂，所述第三机器人手臂具有附接有手术器械的手术组件。控制装置可以被配置为识别附接到第三机器人手臂的手术器械。控制装置还可以被配置为确定附接到第二机器人手臂和第三机器人手臂的手术器械中的哪个出现在图像捕获装置的视场内。控制装置还可以被配置为基于该确定的结果来选择图像处理滤波器。
[0022] 控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的任务，并且基于所述正在执行的任务来选择图像处理滤波器。控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的初始任务，并且基于初始任务初始地选择图像处理滤波器并将图像处理滤波器应用到初始捕获的图像数据。控制装置还可以被配置为在手术操作期间识别由所识别的手术器械正在执行的后续任务，并且基于后续任务选择不同的图像处理滤波器并将不同的图像处理滤波器应用到随后捕获的图像数据。所述任务可以涉及手术器械的特定事件、操作或移动。
[0023] 例如，控制装置可以被配置为将手术器械以小于
阈值的速率的移动与初始任务相关联，并将手术器械以大于阈值的速率的移动与后续任务相关联。作为第二示例，控制装置可以被配置为将手术器械的以第一缩放速率的移动与初始任务相关联，并将手术器械的以不同的缩放因子速率的移动与后续任务相关联。作为第三示例，控制装置可以被配置为将手术器械在第一时间段内的致动与初始任务相关联，并将手术器械在第二时间段内的非致动与后续任务相关联。
[0024] 一种方法，可以包括在手术操作期间利用图像捕获装置捕获患者体内的感兴趣区域的图像。图像捕获装置可以附接到具有至少两个机器人手臂的手术机器人系统中的第一机器人手臂的手术组件。
[0025] 一种方法还可包括在手术操作期间于手术器械附接到手术操作机器人系统中的至少两个机器人手臂中的第二机器人手臂的手术组件之后，在手术操作期间操纵患者体内的手术器械。可以响应于用户操纵手术机器人系统的输入装置来操纵手术器械。
[0026] 一种方法还可以包括以预定空间频率对来自所捕获的图像的图像数据滤波，以识别对象的在预定空间频率下不可感知的属性。
[0027] 一种方法还可以包括加强对象的所识别的属性的可感知性。
[0028] 一种方法还可以包括向手术机器人系统的用户输出加强的可感知性。对象的所识别的属性的加强的可感知性可以包括脆弱组织的
位置。
[0029] 一种方法还可以包括以输出的与手术器械的操纵有关的加强的可感知性向用户提供附加信息。提供给用户的附加信息可以包括血管密封有效性的
可视化和/或异常组织的可视化。提供给用户的附加信息可以包括在机器人手术系统的输入装置处响应于用户移动输入装置以在识别为脆弱的组织的位置的预定距离内操纵手术器械而施加的力反馈。
[0030] 一种非暂时性计算机可读介质可以存储指令，所述指令在由处理装置执行时使处理装置执行一种方法。计算机可读介质可以包括能够以机械装置可读的格式存储数据的材料，其包括但不限于闪存、固态
驱动器和光盘。
[0031] 一种非暂时性计算机可读介质可以存储指令，所述指令在由处理装置执行时使处理装置在手术操作期间以预定空间频率对图像数据滤波以从患者体内的感兴趣区域的图像来识别对象的在预定空间频率下不可感知的属性，所述图像获取自图像捕获装置，所述图像捕获装置附接到手术机器人系统的至少两个机器人手臂中的第一机器人手臂的手术组件。
[0032] 所存储的指令在执行时还可以使处理装置在手术操作期间于手术器械附接到至少两个机器人手臂中的第二机器人手臂的手术组件之后响应于用户操纵手术机器人系统的输入装置而在手术操作期间操纵患者体内的手术器械。
[0033] 所存储的指令在执行时还可以使处理装置加强对象的来自所滤波的图像数据的所识别的属性的可感知性。
[0034] 所存储的指令在执行时还可以使处理装置向手术机器人系统的用户输出加强的可感知性。
[0035] 所存储的指令在执行时还可以使处理装置以输出的与手术器械的操纵有关的加强的可感知性向用户提供附加信息。
附图说明
[0036] 根据下文的详细描述并结合附图，本公开的上述和其他方案、特征和优点将变得更加明显，其中：
[0037] 图1是用于增强
手术环境的系统的
框图；
[0038] 图2A至图2D是如何可能实现图1的系统的示例；
[0039] 图3是图1的控制器的系统框图；
[0040] 图4是用于增强图像或视频的系统的第一框图；
[0041] 图5是用于增强图像或视频的系统的第二框图；
[0042] 图6是用于增强图像或视频的系统的第三框图；
[0043] 图7是用于增强图像或视频的系统的第四框图；以及
[0044] 图8是机器人手术系统的系统框图。
具体实施方式
[0045] 可以分析在手术操作期间从手术相机捕获的图像数据以识别相机视场内的对象的附加的不可感知属性，所述对象可以是不可见的或可见的，但是使人在观看显示在屏幕上的相机图像时难以清楚地看到。可以将各种图像处理技术应用于该图像数据以识别患者体内的不同状况。例如，欧拉图像放大技术可以用于识别捕获图像的不同部分中的光的
波长或“
颜色”变化。可以进一步分析这些变化以识别
再灌注、动脉血流和/或血管类型。
[0046] 欧拉图像放大还可以用于使图像
帧之间的运动或活动对临床医生更可见。在一些实例中，可以向临床医生呈现不同图像帧之间的预定波长的光的测量强度的变化，以使临床医生更加意识到特定感兴趣对象(例如，血液)的运动。
[0047] 图像代数(image algebra)可用于识别在手术操作期间用于切割组织或其它物质的最佳位置。在一些实例中，图像代数可以包括
边缘检测和/或欧拉图像放大以识别最佳切割位置。
[0048] 高光谱
图像分析可用于识别视域范围内的小区域中的微小变化，所述微小变化可以是不可见的或者对于人眼来说难以辨别。这些高光谱图像分析技术可以与欧拉图像放大结合以识别这些区域的具体的一组变化。
[0049] 图像代数可以与高光谱图像分析结合以识别对象或其他
块体(mass)的边缘。图像代数可以包括边缘检测和/或可以与高光谱图像分析和欧拉图像放大二者结合以识别块体的边缘。
[0050] 红外光可以用于识别患病的、死亡的和/或异常的组织的边界。滤波器可以用于从所捕获的图像数据隔离红外、
近红外或其它范围中的一个或多个期望的波长。欧拉图像放大和/或图像代数可以用于分析滤波的图像数据并识别特定的组织边界。
[0051] 欧拉图像放大、图像代数、高光谱图像分析和滤波技术中的一个或多个可以被包括来作为成像系统的部分。这些技术可以使成像系统能够提供关于相机视场内的不明显状况和对象的附加信息并加强手术预后。该附加信息可以包括但不限于：识别组织灌注、定位特定尺寸的动脉(诸如较大的动脉)、验证血管密封的有效性、识别异常组织的热特征、验证期望的对象运动(诸如，在死亡组织的边缘缺乏活动或在切除后验证适当的流动)、区分看起来相似的对象(诸如区分输尿管、肠系膜下动脉和/或周围血液)、以及检测小的泄漏(例如，在吻合术后可能发生的泄漏)。
[0052] 这些技术中的一个或多个可以被包括来作为手术机器人系统中的成像系统的部分，以向临床医生实时提供关于内窥镜视场内的不明显状况和对象的附加信息。这可以使临床医生能够在手术期间快速识别、避免和/或纠正不期望的情况和状况。例如，临床医生能够在手术期间验证血管已经被适当地密封、血液适当地流动、在吻合术后没有漏气、和/或已经移除了患病组织。然后，如果有需要，临床医生则能够在手术期间纠正这些问题。临床医生还能够识别体内的手术器械应避免
接触或额外小心地处置的脆弱的或关键的对象，诸如较大的动脉或输尿管。
[0053] 本公开针对用于在手术操作期间向临床医生实时提供增强图像的系统和方法。本文描述的系统和方法将图像处理滤波器应用于所捕获的图像，以经由显示器向临床医生提供增强或加强的图像。在一些
实施例中，该系统和方法允许在手术操作期间的视频捕获。捕获的视频被实时或准实时地处理，然后作为增强图像显示给临床医生。图像处理滤波器应用于捕获的视频的每个帧。向临床医生提供增强图像或视频允许临床医生识别并解决潜在的不利生理状况，从而减少对额外手术操作的需要以及确保原始手术操作的有效性。
[0054] 本文所述的实施例使临床医生能够识别接收过多或无效血液的区域、吻合或密封的有效性、用于识别患病组织的器官中的
温度变化、用于判定组织是否存活的微小的组织活动以及组织厚度。另外，本文所述的实施例可用于识别切除后的组织灌注、动脉位置，区分不同组织，以及判定漏气。
[0055] 现转向图1，根据本公开的实施例的用于增强手术环境的系统一般性地被示出为100。系统100包括具有处理器104和
存储器106的控制器102。系统100还包括记录静止帧图像(still frame image)或动像的图像捕获装置108(例如，相机)。
传感器阵列110向控制器
102提供关于手术环境的信息。例如，传感器阵列110包括
生物计量传感器，该生物计量传感器能够获取患者的例如
脉搏、体温、血压、血
氧水平、心律等生物计量数据。传感器阵列110还可以包括高光谱传感器以执行高光谱成像。显示器112在手术操作期间向临床医生显示增强图像。在一些实施例中，控制器102可以经由无线或有线连接与中央
服务器(未示出)通信。该中央服务器可以存储一个患者或多个患者的图像，该图像可以利用
X射线、计算机
断层扫描或
磁共振成像来获取。
[0056] 图2A至图2D描述了图1的系统如何在手术环境中实施的示例。如图2A至图2D所示，图像捕获装置108在手术操作期间捕获手术环境的图像。由图像捕获装置108所记录的图像、来自传感器阵列110的数据以及来自中央服务器(未示出)的图像通过控制器102结合以产生增强图像，该增强图像经由显示器112提供给临床医生。如图2A至图2D所示，显示器112可以是投影仪(图2A)，激光投影系统(图2B)，一副眼镜，或监视器(图2D)，所述眼镜将图像投影到的一个镜片上(诸如谷歌眼镜(GOOGLE )(由 提供))(图2C)、两个镜片上或面罩上。当使用如在图2D中所示的监视器时，增强图像
覆盖在由图像捕获装置108获取的患者的图像上。
[0057] 图3描述了控制器102的系统框图。如图3所示，控制器102包括收发器114，收发器114被配置为从图像捕获装置108接收静止帧图像或视频，或者从传感器阵列110接收数据。
在一些实施例中，收发器114可以包括经由无线通信协议接收静止帧图像、视频或数据的天线。静止帧图像、视频或数据被提供给处理器104。处理器104包括图像处理滤波器116，图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。图像处理滤波器116可以利用分立的部件、
软件或其组合来实施。增强图像或视频被提供给显示器112。
[0058] 现转向图4，可以应用于由收发器114接收的视频的图像处理滤波器的系统框图被示出为116A。在图像处理滤波器116A中，利用空间分解滤波器118将所接收的视频的每个帧分解为不同的空间频带S1至SN。空间分解滤波器118采用被称为金字塔(pyramid)的图像处理技术，其中图像经过重复平滑和子
采样。
[0059] 在所述帧经过使用空间分解滤波器118之后，时间滤波器120被应用于所有空间频带S1至SN以产生时间滤波带ST1至STN。时间滤波器120是用于提取一个或多个期望频带的
带通滤波器。例如，如果临床医生知道患者的脉搏，则临床医生可以利用
用户界面(未示出)设置时间滤波器120的带通频率，以放大对应于患者的脉搏的空间频带。换句话说，该带通滤波器被设置为包括患者的脉搏的狭窄范围，并且应用到所有空间频带S1至SN。只有对应于带通滤波器的所设定范围的空间频带会被隔离或通过。所有时间滤波带ST1至STN由具有增益α的
放大器单独地放大。因为时间滤波器隔离或通过期望的空间频带，所以只有期望的空间频带得到放大。然后放大的时间滤波带ST1至STN被加到原始空间频带S1至SN以产生增强带S′1至S′N。然后利用重构滤波器122通过合并增强带S′1到S′N来重构视频的每个帧，以产生增强帧。所有的增强帧被组合以产生增强视频。向临床医生显示的增强视频包括被放大的部分(即，对应于期望的空间频带的部分)以使临床医生能够容易地识别这样的部分。
[0060] 在一些实施例中，代替使用放大器放大所隔离的时间滤波带，图像处理滤波器116A可以在重构该视频之前使用一种或多种颜色来突出时间滤波带。针对患者的期望部位(例如，血管或神经)采用不同的颜色可以使临床医生更容易识别这种部位的位置。
[0061] 现转向图5，图像处理滤波器的系统框图被示出为116B，该图像处理滤波器可以应用于通过收发器114接收的静止帧图像或视频。如图5所示，输入图像124(即，捕获的图像或来自视频的帧)被输入到图像处理滤波器116B。然后图像处理滤波器116B对输入图像124采用边缘检测
算法，并输出突出了在输入图像124中发现的边缘的滤波图像126。
[0062] 图6描绘了用于产生高光谱图像的系统的框图。如图6所示，传感器阵列110包括高光谱传感器128。高光谱传感器128采集一组图像，其中每个图像表示
电磁波谱的不同范围。该组图像被发送到图像处理滤波器116C，图像处理滤波器116C采用高光谱算法来组合该组图像以形成三维(3D)高光谱图像立方体。3D高光谱图像立方体被输出到显示器112。
[0063] 图7描绘了用于产生红外图像的系统的框图。如图7所示，红外相机130捕获图像或视频，并将所捕获的图像或视频发送到图像处理滤波器116D。图像处理滤波器116D处理接收到的所捕获的图像或视频，以产生在显示器112上显示的红外图像。
[0064] 上述的图像处理滤波器(即，图像处理滤波器116A-116D)可以单独地用于识别手术操作期间的身体状况。在一些实施例中，图像处理滤波器116A可以用于识别颜色的变化，以便识别组织灌注或切除后的再灌注、动脉血流、血管类型。图像处理滤波器116A还可用于提高
坏死组织的运动识别边缘的可见性或切除后组织的适当的机能。
[0065] 在一些实施例中，可以组合上述滤波器以辅助临床医生识别不利的身体状况。例如，图像处理滤波器116A和116B可以被组合成识别不同组织的边缘，以确定用于执行任务(例如，切割)的最有效的布置。图像处理滤波器116A和116C可以被组合成识别小区域中的微小变化，例如，无法通过常规方法判定的漏气。图像处理滤波器116A、116B和116C可以被组合以识别块体(例如，
肿瘤)的边缘。图像处理滤波器116A、116B和116D可以被组合以识别患病组织的边界。
[0066] 图像处理滤波器116A、116B、116C和116D可以利用不同的
电路来实施，或者它们可以利用基于应用于图像的滤波器来执行不同子例程的单个处理器来实施。
[0067] 上述实施例还可以集成到机器人手术系统中。图8示出了可以包括在机器人手术系统1中的各种部件，诸如两个以上的机器人手臂2、3；控制装置4；以及与控制装置4耦合的操作控制台5。操作控制台5可以包括显示装置6，其可以特别地设置为显示三维图像；以及一个或多个手动输入装置7、8，人(未示出)(例如，外科医生)能够通过该手动输入装置在第一操作模式下遥控操纵机器人手臂2、3。
[0068] 输入装置7、8的移动可以被缩放而使得附接到机器人手臂2、3的手术器械具有与输入装置7、8的移动不同(例如，更小或更大)的对应的移动。比例因子(scale factor)或
传动比(gearing ratio)可以是可调节的，使得临床医生可以控制手术器械的操作端的
分辨率。
[0069] 机器人手臂2、3中的每个可以包括通过接头而连接的多个构件和手术组件20，手术组件20可以附接有(例如)诸如(例如)图像捕获装置108(诸如内窥镜)的手术器械或根据本文公开的任何实施例的具有
末端执行器200的其它手术器械。手术组件20的远端可以被配置为
支撑图像捕获装置108和/或具有末端执行器200的其它手术器械，末端执行器200包括但不限于抓紧器、手术吻合器、手术
切割器、手术吻合切割器、线性手术吻合器、线性手术吻合切割器、圆形手术吻合器、圆形手术吻合切割器、手术施夹器、手术夹结扎器、手术夹紧装置、血管扩张装置、管腔扩张装置、手术刀、
流体输送装置或任何其它类型的手术器械。这些手术器械中的每个可以被配置为通过机器人手臂2、3经由力传递构件进行致动和操纵。力传递构件可以以各种方式配置为诸如(例如)海波管(hypotube)、
推杆、轴或栓系件，并且可以传递诸如(例如)轴向(即，推和拉)力、旋转力的各种力和/或各种
扭矩。具有作为关节式运动的末端执行器200的相机的图像捕获装置108(诸如内窥镜)可以包括这种力传递构件。这些力传递构件中的一个或多个可以被构造成控制相机的关节式运动。
[0070] 机器人手臂2、3可以通过连接到控制装置4的电驱动器来驱动。控制装置4(例如，计算机)被设置成尤其借助
计算机程序的方式来触发驱动器，从而使机器人手臂2、3及其手术组件20进而使末端执行器200根据借助手动输入装置7、8所定义的移动来执行期望的移动。控制装置4还可以设置成使其调节机器人手臂2、3的移动和/或驱动器的移动。
[0071] 控制装置4还可以通信地联接到手术系统1的其它部件，包括但不限于手术组件20；显示器6；输入装置7、8；以及联接到机器人手臂2、3的手术器械，诸如图像捕获装置108和具有末端执行器200的器械。控制装置4还可以包括控制器102或被联接到控制器102。控制器102和/或控制装置4可以包括收发器114，收发器114可以被配置为从图像捕获装置108接收静止帧图像或视频，或者从传感器阵列110接收数据。在一些实施例中，收发器114可以包括天线，用于经由无线通信协议来接收静止帧图像、视频或数据。收发器114还可以经由有线连接来接收静止帧图像、视频或数据。该静止帧图像、视频或数据可以被发送到处理器
104。处理器104包括图像处理滤波器116，图像处理滤波器116处理所接收的静止帧图像、视频或数据以产生增强图像或视频。处理器104可以包括用于存储正在处理的图像、视频或数据的
缓冲器或存储器106。图像处理滤波器116可以利用分立的部件、软件或其组合来实施。
增强图像或视频可以被存储和/或发送到显示器6或另一输出设备。
[0072] 在手术系统1中，至少一个图像捕获装置108可以联接到两个以上机器人手臂2、3中的至少第一机器人手臂。图像捕获装置108可以被配置为在手术操作期间插入到患者体内并且捕获患者体内的感兴趣区域的图像。所捕获的图像可以显示在显示器6上。
[0073] 另一手术器械具有被配置为在手术操作期间操纵感兴趣区域中的组织的末端执行器200，该手术器械可以联接到两个以上机器人手臂2、3中的至少第二机器人手臂。
[0074] 控制器102可以被配置为处理从图像装置108所捕获的图像，并将至少一个图像处理滤波器116(例如，在本申请通篇提到的一种或多种不同方式的滤波器116A至116D)应用于捕获的图像，以识别在手术操作期间的感兴趣区域中的对象的不可感知属性。控制器102可以向临床医生输出在手术操作期间所识别的不可感知属性。该不可感知属性可以以不同的方式输出，包括输出到可以向临床医生显示不可感知属性的显示器6，和/或通过触觉的方式输出使得临床医生可以感觉到不可感知属性。当不可感知属性被输出到显示器时，不可感知属性可以被改变或变换成更加清晰可见的
信号，该信号可以被覆盖到捕获的图像的对应部分上并且在显示器上显示给临床医生。
[0075] 可以附接到机器人手臂2、3的每个器械可以配备有工具类型标识符，诸如，
快速响应代码、存储在器械的存储器中的标识符、与工具类型相关联的特定电路配置等等。手术系统1可以包括被配置为从附接到机器人手臂2、3的每个器械接收和/或读取工具类型标识符的部件或电路。然后可以使用该信息来选择可以被应用于所捕获的图像的特定的图像处理滤波器116。
[0076] 工具类型标识符信息可以用于识别利用图像捕获装置108的视场定位的、附接到机器人手臂2、3的手术器械。例如，如果快速响应代码或其它工具类型标识符位于手术器械的、出现在图像装置108的视场内的末端执行器200、轴或其它部件上，则可以分析所捕获的图像数据以根据从图像捕获数据识别出的快速响应代码或其它标识符来识别该手术器械。
[0077] 在其它情况下，进入图像捕获装置108的视场的手术器械可基于对关于图像捕获装置108(和/或附接有图像装置108的机器人手臂2)与附接到其它机器人手臂3中的一个机器人手臂的器械(和/或附接有该器械的机器人手臂3)的位置信息的比较来识别。可以从每个器械中的或者机器人手臂2、3中的一个或多个
位置传感器来获取位置信息。可以采用变换来将来自不同机器人手臂2、3的不同
坐标系中的绝对位置信息进行转换，从而可以获取一个机器人手臂2上的图像捕获装置108相对于附接到另一个机器人手臂3的手术器械的相对位置。该相对位置信息可以用于识别附接到另一个机器人手臂3的手术器械是否在图像捕获装置108的视场内。
[0078] 在其它情况下，一个或多个相机可以用于捕获一个或多个机器人手臂2、3的图像。可以分析来自这些相机的图像数据以识别每个机器人手臂2、3的位置。可以分析该位置信息以判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内。也可以采用用于判定附接有手术器械的机器人手臂3是否位于图像捕获装置108的视场内的其它系统和方法。
[0079] 如果位置信息和/或工具类型标识符指示特定的手术器械处于图像捕获装置108的视场内，则可以自动地选择对应于特定的手术器械的一个或多个图像处理滤波器116。例如，如果电烙式手术器械被识别为处于图像捕获装置108的视场内，则可以自动地选择示出血管密封的有效性的图像处理滤波器116。如果电烙式器械然后被移出视场并且诸如手术刀的切割器械被移入到视场中，则可以作为替代而自动地选择示出大动脉的位置的不同的图像处理滤波器116。
[0080] 可以根据要执行的任务来自动地选择不同的图像处理滤波器116。例如，如果切割工具处于视场中，并且正以超过预定阈值的速率移动、和/或输入装置7、8的缩放因子(scaling factor)被改变使得手术器械移动得较快，则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而，如果切割工具以较慢的速率移动和/或被触发以有条不紊地切割和/或移除组织，则可以作为替代而采用示出异常组织的图像处理滤波器116。相同的分析可以应用于电烙式工具：如果该工具在预定时段内没有被激活和/或正以超过预定阈值的速率移动，则可以自动地选择示出大动脉的位置的图像处理滤波器116。然而，如果电烙式工具正以较慢的速率移动和/或在预定时段内被激活以有条不紊地切割和/或移除组织，则可以作为替代而采用示出血管密封的有效性或其它期望属性的图像处理滤波器116。
[0081] 输入装置7、8可以包括触觉件216以向临床医生提供与不可感知属性相关的反馈。例如，可以产生表示组织参数或状况(例如，由于操纵、切割或其它处理而引起的组织阻力、器械对组织的压力、组织温度、组织阻抗等)的
输出信号并将其传输到输入装置7、8以向临床医生提供基于不可感知属性而变化的触觉反馈。触觉件216可以向临床医生提供关于可以提高患者安全性的对象的不可感知属性的加强触觉反馈。例如，触觉件216可以经实施以在通过输入装置7、8移动的手术器械进入大动脉或其他脆弱组织的预定距离内时向临床医生提供反馈，以防止对动脉和/脆弱的组织的可能的损伤。触觉件216可以包括振动
电机、电活性
聚合物、压电装置、静电装置、亚音速
声波表面致动装置、反向电振动装置、或能够向用户提供触反馈的任何其它装置。输入装置7、8还可以包括用于脆弱组织操纵或处理的各种不同的
致动器，进一步加强临床医生模拟实际操作状况的能力。
[0082] 本文公开的实施例是本公开的示例，并且可以以各种形式实施。本文公开的具体结构的和功能的细节不应被解释为一种限制，而是作为
权利要求的
基础并且作为教导本领域技术人员以实际上任何适当地细化结构来以各种方式采用本公开的代表性基础。贯穿附图的描述，相同的附图标记可以指相似或相同的元件。
[0083] 短语“在实施例中”、“在各实施例中”、“在一些实施例中”或“在其它实施例中”各自可以指代根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)”。临床医生可以指临床医生或诸如医生、护士、技术人员、医疗助理等执行医
疗程序的任何医学专业人员。
[0084] 本文描述的系统还可以利用一个或多个控制器来接收各种信息并且变换所接收的信息以产生输出。所述控制器可以包括任何类型的计算设备、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。所述控制器可以包括多个处理器和/或多核中央处理单元(CPU)，并且可以包括任何类型的处理器，诸如
微处理器、
数字信号处理器、
微控制器等。所述控制器还可以包括用于存储数据和/或算法以执行一系列指令的存储器。
[0085] 本文描述的方法、程序、算法或代码中的任一种可以被转换或表示成编程语言或计算机程序。“编程语言”和“计算机程序”包括用于向计算机
指定指令的任何语言，并且包括(但不限于)这些语言及其派生：汇编语言、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、
操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言以及所有的第一代、第二代、第三代、第四代和第五代计算机语言。还包括
数据库和其它数据模式、以及任何其它元语言。对解释的语言、编译的语言或采用编译和解释两者方法的语言不作区分。在程序的编译版本和源版本之间也不作区分。因而，对编程语言可以以多于一种状态(诸如源的、编译的、对象的或链接的)存在的程序的引用是对任何所有这种状态的引用。对程序的引用可以包括实际指令和/或这些指令的意图。
[0086] 本文描述的方法、程序、算法或代码中的任一种可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包括以机器(诸如处理器、计算机或数字处理设备)可读的形式提供(例如，存储和/或传输)信息的机制。例如，存储器可以包括
只读存储器(ROM)、
随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备或任何其它易失性或
非易失性存储器存储设备。其上所包含的代码或指令可以由载波信号、红外信号、数字信号和其它类似方式的信号表示。
[0087] 应当理解，前面的描述仅仅是对本公开的说明。本领域技术人员可以不偏离本公开来设计各种替代例和
变形例。例如，本文所述的任何增强图像可以组合成单个增强图像以显示给临床医生。相应地，本公开旨在涵盖所有这样的替代例、变形例和变化例。参照附图所描述的实施例仅用于示范本公开的某些示例。与上述和/或所附权利要求中所述的大致无异的其它元件、步骤、方法和技术也旨在处于本公开的范围内。
