背景技术
[0001]
机器人手术系统越来越多地用在微创手术程序中。通常，
机器人手术系统包括外科医生
操纵台，其位于手术器械所联接的一个或多个
机械臂远程。外科医生操纵台可以位于
手术室的距离机械臂的另一侧，另一房间中或另一
建筑物中，并包括用于从外科医生接收输入的输入
手柄或其它输入装置。输入被传送到中央
控制器，所述中央控制器将输入转换成用于操作患者附近例如在手术部位内的机械臂的命令。
[0002] 为了提供手术部位的视图，一个或多个相机可包括在附接到一个或多个机械臂的远端的探测器上，所述相机将图像传输到外科医生操纵台处的显示器进行查看。因此，当包括相机的探测器被插入到患者体内时，患者身体的图像数据显示在显示器上。附加相机可以
定位在患者外部，例如，在切口区域上方，和/或在手术室周围的各个
位置。
[0003] 尽管包括多个相机在提供手术部位的不同视图方面极其有用，但在某些情况下，外科医生可能不能够容易地弄清楚相对于手术部位显示的图像所来自的相机的姿势。
发明内容
[0004] 本公开通过提供用于合成如在手术程序期间使用的多个相机视点之间的空间感知过渡的方法解决了此问题。在这方面，提供了根据本公开的在
机器人手术程序期间在相机视点之间过渡的方法。
[0005] 在本公开的一方面，所述方法包括：在所述机器人手术程序期间从第一相机接收手术部位的图像；基于从
跟踪第二相机的姿势的至少一个姿势检测
传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
[0006] 在本公开的另一方面，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
[0007] 在本公开的又一方面，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
[0008] 在本公开的另一方面，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
[0009] 在本公开的又一方面，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
[0010] 在本公开的另一方面，生成所述过渡还包括：从第一视点缩小到显示患者身体的中间视点；以及从所述中间视点放大到第二视点。
[0011] 在本公开的又一方面，生成所述过渡还包括将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
[0012] 在本公开的另一方面，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
[0013] 在本公开的又一方面，所述方法还包括：基于从跟踪第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包含联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
[0014] 在本公开的另一方面，所述第一相机定位在所述第二相机和所述第三相机之间，并且，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
[0015] 在本公开的一方面，一种用于在机器人手术程序期间在相机视点之间的过渡的系统，所述系统包括：手术机器人，所述手术机器人包括：第一相机；第二相机；以及机械臂，所述机械臂将所述第一相机和所述第二相机联接到所述手术机器人；以及计算机，所述计算机被配置成：在所述机器人手术程序期间从第一相机接收手术部位的图像；基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
[0016] 在本公开的另一方面，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
[0017] 在本公开的又一方面，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
[0018] 在本公开的另一方面，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
[0019] 在本公开的又一方面，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
[0020] 在本公开的另一方面，所述计算机还被配置成通过以下操作生成所述过渡：从第一视点缩小到显示患者身体的中间视点；以及从所述中间视点放大到第二视点。
[0021] 在本公开的又一方面，生成所述过渡还包括将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
[0022] 在本公开的另一方面，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
[0023] 在本公开的又一方面，所述系统还包括第三相机，并且，所述计算机还被配置成：基于从跟踪所述第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包含联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
[0024] 在本公开的另一方面，所述第一相机定位在所述第二相机和第三相机之间，并且，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
[0025] 在本公开的一方面，一种存储程序的非暂时性计算机可读介质，所述程序包括指令，所述指令在由处理器执行时使计算机：在所述机器人手术程序期间从第一相机接收手术部位的图像；基于从跟踪第二相机的姿势的至少一个姿势检测传感器获得的数据，跟踪包含联接的所述第二相机的机械臂的位置；当所述机械臂机电移动到不同位置时，从所述第二相机接收与从所述第一相机接收的图像不同的所述手术部位的图像；基于所确定的所述第二相机的姿势和所述第一相机的预定姿势，将捕获从所述第二相机接收的图像中的至少一个图像的姿势与捕获从所述第一相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第一相机和所述第二相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第一相机和所述第二相机接收的图像之间切换时显示所述过渡。
[0026] 在本公开的另一方面，所述跟踪包括通过分析配置设置确定所述第二相机的姿势。
[0027] 在本公开的又一方面，跟踪包括分别基于从所述第一相机接收的图像和从所述第二相机接收的图像确定所述第二相机的姿势。
[0028] 在本公开的另一方面，从所述第一相机接收的图像的至少一部分和从所述第二相机接收的图像的至少一部分重叠。
[0029] 在本公开的又一方面，从所述第一相机接收的图像和从所述第二相机接收的图像完全不同。
[0030] 在本公开的另一方面，所述指令还使所述计算机通过以下操作生成所述过渡：从第一视点缩小到显示患者身体的中间视点；以及从所述中间视点放大到第二视点。
[0031] 在本公开的又一方面，所述指令还使所述计算机将从所述第一相机接收的图像和从所述第二相机接收的图像与所述患者身体的模型的图像进行合成。
[0032] 在本公开的另一方面，所述患者身体的模型的图像基于在所述患者身体的扫描期间获得的图像。
[0033] 在本公开的又一方面，所述指令还使所述计算机：基于从跟踪第三相机的姿势的至少一个姿势检测传感器获得的数据，通过跟踪包括联接的所述第三相机的机械臂的位置确定所述第三相机的姿势；从所述第三相机接收所述手术部位的图像，所述图像与从所述第一相机和所述第二相机接收的图像不同；基于所确定的所述第三相机的姿势和所确定的所述第二相机的姿势，将捕获从所述第三相机接收的图像中的至少一个图像的姿势与捕获从所述第二相机接收的图像中的至少一个图像的姿势进行比较；基于捕获从所述第二相机和所述第三相机接收的图像的姿势的差异，生成被比较图像之间的过渡；以及当在显示从所述第二相机和所述第三相机接收的图像之间切换时显示所述过渡。
[0034] 在本公开的另一方面，所述第一相机定位在所述第二相机和所述第三相机之间，并且，生成所述过渡还包括合成从所述第一相机、所述第二相机和所述第三相机接收的图像，使得所述过渡指示相对于所述第一相机的姿势和所述第三相机的姿势的所述第二相机的姿势。
[0035] 在不偏离本公开的范围下，可以组合本公开的任何上述方面和
实施例。
附图说明
[0036] 参照附图在下文描述本公开的各个方面和特征，图中：
[0037] 图1是根据本公开的实施例提供的在机器人手术程序期间用于合成多个相机视点之间的空间感知过渡的示例性系统的系统图；
[0038] 图2是根据本公开的实施例提供的形成图1的系统的一部分的操纵台的示意图；以及
[0039] 图3是图示根据本公开的实施例提供的在机器人手术程序期间用于合成多个相机视点之间的空间感知过渡的示例性方法的
流程图。
具体实施方式
[0040] 本公开涉及用于合成在多个相机视点之间的空间感知过渡的装置、系统和方法。如下面更详细地描述的，可以使用机器人手术系统对患者的手术部位执行手术程序。为了帮助临床医生或临床医生团队在手术程序期间操作手术机器人，可以使用各种相机。因此，例如，本公开的机器人手术系统大体上包括：至少一个手术机器人，其包括位于手术部位周围的至少两个相机；将相机联接到手术机器人的机械臂；联接到机械臂和相机的多个传感器；以及连接至手术机器人的至少一个计算机。相机可以并入到手术工具中，并入到由手术机器人使用或附接到手术机器人的不同类型的工具，和/或可以是位于手术部位周围的独立相机。
[0041] 在下面描述这些装置、包含这些装置的系统和使用所述装置和系统的方法的详细实施例。然而，这些详细的实施例只是本公开的示例，其可以以各种形式体现。因此，本文中公开的特定结构和功能细节不被解释为限制性的，而只是
权利要求的
基础，并且是允许本领域技术人员以各种方式以任何实际适合的详细结构利用本公开的代表性基础。
[0042] 参照图1，提供了根据本公开的实施例的机器人手术系统100。机器人手术系统100大体上包括手术机器人25，多个相机30a、30b、30c，控制器60和操纵台80。手术机器人25具有一个或多个机械臂20，机械臂20可以是
连杆的形式，具有可互换地紧固到机械臂20的远端22的对应手术工具27。一个或多个机械臂20也可能已经将相机30b紧固到其上，每个臂20可以围绕患者10定位在手术部位15周围。机械臂20也可以使一个或多个姿势检测传感器28联接到其上，所述姿势检测传感器28能够检测位置、方向、取向和/或
角度(下文统称为“姿势”)以及机械臂20和/或相机30b的运动速度。在一些实施例中，姿势检测传感器28可以直接联接到相机30b或手术工具27。
[0043] 手术机器人25还包括机器人基部18，其包括用于机械驱动每个机械臂20并操作每个手术工具27的一个或多个
电机。控制器60经由机器人基部18连接至手术机器人25并被配置成控制手术机器人25的操作。类似地，操纵台80直接地或者通过网络(未示出)连接至手术机器人25。控制器60可以集成到操纵台80中，或者可以是经由机器人基部18连接至操纵台80和手术机器人25的分开的独立式装置。
[0044] 操纵台80是
用户界面，用户(诸如外科医生或临床医生)通过它可以操作手术机器人25。操纵台80与控制器60结合操作以控制手术机器人25的操作。在一些实施例中，操纵台80通过控制器60与机器人基部18通信，并包括被配置成显示图像的显示装置44。在一个实施例中，显示装置44显示手术部位15的图像，其可包括由附接到机械臂20的相机30a捕获的图像，和/或包括由定位在手术室周围的相机30a、30b、30c(例如，相机30b位于手术部位15内，相机30a位于患者10附近，和/或相机30c安装到使用机器人手术系统100的手术室的
墙壁或
天花板)捕获的数据。在一些实施例中，相机30a、30b、30c捕获手术部位15的可视图像、红外图像、超声图像、
X射线图像、热图像和/或其它已知的实时图像。在实施例中，相机30a、
30b、30c将所捕获的图像传输到控制器60，控制器60可以实时地从这些图像创建手术部位
15的三维图像，并将三维图像传输到显示装置44进行显示。在另一实施例中，所显示的图像是由相机30a、30b、30c捕获的二维图像。
[0045] 操纵台80还包括附接到
万向节70的一个或多个输入手柄，万向节70使外科医生可以操作机器人手术系统100(例如，移动机械臂20、机械臂20的远端22和/或手术工具27)。每个万向节70与控制器60通信以将控制
信号传输到其上并从其接收反馈信号。另外或者替代地，每个万向节70可包括控制界面或输入装置(未示出)，其使得外科医生可以操作(例如，夹、抓紧、激发、打开、关闭、旋转、推进、切片等)
支撑在机械臂20的远端22处的手术工具27。
[0046] 每个万向节70可移动，以移动机械臂20的远端22和/或在手术部位15内操作手术工具27。当移动万向节70时，手术工具27在手术部位15内移动。手术工具27的移动还可包括支撑手术工具27的机械臂20的远端22的移动。除此手柄之外，或者作为其代替，手柄可包括离合
开关，和/或一个或多个输入装置，包括触摸垫、操纵杆、
键盘、
鼠标或其它计算机附件和/或脚开关、
踏板、跟踪球或其它被配置成将临床医生的物理运动转换成信号发送至控制器60的其它可致动装置。控制器60还包括
软件和/或
硬件，其用来操作手术机器人，在从相机30a、30b、30c接收的视频图像之间切换时，合成空间感知可视和认知上的适当过渡，这将在下文更详细地描述。
[0047] 例如，相机30a、30b、30c可以是单眼和/或立体双眼相机，并且可被配置成定位在患者10的身体内，以捕获患者10的身体内的器官和其它结构周围的图像。相机30a、30b、30c可以具有基于其各种的姿势的各种视点。在实施例中，相机30a、30b、30c可以被定位成使得其各自的视点从各个姿势显示手术部位15。例如，机器人手术系统100可被配置成使相机30a直接定位在手术部位15上方并垂直于手术部位15，同时其它相机30b定位在患者10的身体内的手术部位15周围。在一些实施例中，一个或多个相机30a、30b、30c可定位在其它相机
30a、30b、30c前方的视点处，一个或多个相机30a、30b、30c可定位在邻近其它相机30a、30b、
30c的视点处。在又一些另外的实施例中，一些相机30a、30b、30c可具有到两个或更多个其它相机30a、30b、30c的视点中间的视点。
[0048] 要认识到，由相机30a、30b、30c捕获的图像的姿势可以根据外科医生的偏好相对于来自患者10上方的视角被反射或旋转。此外，要认识到在显示装置44上的捕获图像的大小可以被缩放成大于或小于手术部位15的实际结构，允许外科医生对手术部位15内的结构有更好的视角。
[0049] 现在转到图2，示出了控制器60的系统图。控制器60可包括
存储器202、处理器204和/或通信
接口206。
[0050] 存储器202包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述软件可由处理器204执行，并且其控制控制器60的操作。在一个实施例中，存储器202可包括一个或多个固态存储装置，诸如闪存芯片。替代地，或者除了一个或多个固态存储装置，存储器202可包括通过
大容量存储控制器(未示出)和通信总线(未示出)连接至处理器204的一个或多个大容量存储装置。尽管本文包含的计算机可读介质的描述指固态存储器，本领域技术人员应当认识到计算机可读存储介质可以是可由处理器204
访问的任何可用介质。即，计算机可读存储介质包括以存储信息(例如，计算机可读指令、数据结构、程序模
块和/或其它数据)的任何方法或技术实施的非暂时性、易失性和非易失性可移动和不可移动介质。例如，计算机可读存储介质可包括RAM、ROM、EPROM、EEPROM、闪存、和/或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光存储器、磁盒、磁带、磁盘存储器或其它磁存储装置和/或可用于存储期望信息并且可由控制器60访问的任何其它介质。
[0051] 存储器202可存储应用程序216和/或图像数据214。应用程序216在由处理器204执行时可以使操纵台80的显示装置44呈现图像。
通信接口206可以是被配置成连接至网络的网络接口，所述网络连接至机器人基部18，所述网络例如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、 网络和/或互联网。另外或替代地，通信接口206可以是与机器人基部18的直接连接。
[0052] 现在参照图3，图示了用于合成多个相机视点之间的空间感知过渡的示例性方法300的流程图。方法300可以由例如图1中所示的系统100的控制器60和/或操纵台80执行。然而，出于图示目的，下面的描述将使用控制器60作为执行方法300的装置。
[0053] 在步骤302处开始，基于第一数据确定第一相机30a、30b、30c的姿势。在一个实施例中，第一相机30a、30b、30c位于具有预定姿势的固定位置，第一数据中包括的姿势信息可以存储在与第一相机30a、30b、30c关联的配置设置中。在另一实施例中，从由控制器60接收的感测数据确定第一数据。感测数据包括与附接到第一相机30a、30b、30c的机械臂的姿势和运动有关的信息，并且可由一个或多个传感器(诸如姿势检测传感器28或其它类型的传感器)采集。一个或多个传感器可以联接到机械臂或直接附接到第一相机30a、30b、30c。在另一实施例中，从由控制器60接收的图像确定第一数据。在这方面，图像由第一相机30a、30b、30c捕获，并传输到控制器60。控制器60使用适于从由第一相机30a、30b、30c捕获的图像提取此类信息的
算法计算第一相机30a、30b、30c的姿势。在一个实施例中，全局相机30a、
30c，诸如悬吊相机或广角相机，其视点显示整个手术台附近，可为其它相机30a、30b、30c中的每一个的姿势提供参考系。例如，一个或多个标记可以包括在一个或多个其它相机上，全局相机可以使用标记来确定其它相机的姿势。在另一示例中，其它相机的二维投影可以与存储在存储器202中的其它相机的三维
几何模型匹配。在另一实施例中，可使用通过超声源/接收器
配对和/或超宽带射频等的链接确定相机30a、30b、30c的姿势。除了关于第一相机30a、30b、30c的姿势信息之外，第一数据还可包括关于由第一相机30a、30b、30c捕获的图像的姿势的信息。关于捕获图像的姿势的信息可以由附接到第一相机30a、30b、30c或机械臂20的传感器确定，或者可以基于由第一相机30a、30b、30c捕获的图像确定。在一个实施例中，可在机器人手术系统100的整个使用中重复步骤302。
[0054] 在步骤304，控制器60接收由第一相机30a、30b、30c捕获的图像，在步骤306，所接收的图像显示在操纵台80的显示装置44上。要认识到，在一些实施例中，步骤304可与步骤302同时执行或在执行步骤302之前执行。例如，控制器60接收由第一相机30a、30b、30c捕获的图像，然后从所捕获的图像计算第一相机30a、30b、30c的姿势，其然后显示在显示装置44上。
[0055] 在步骤308，基于第二数据确定第二相机30a、30b、30c的姿势。在一个实施例中，基于从一个或多个传感器获得的数据跟踪联接到第二相机30a、30b、30c的机械臂20的位置，所述传感器诸如姿势检测传感器28或其它类型的传感器，其可以联接到机械臂20或直接附接到第二相机30a、30b、30c。来自姿势检测传感器28的数据包括与附接到第二相机30a、30b、30c的机械臂20的姿势和运动有关的信息。在又一实施例中，从由控制器60接收的图像确定第二数据，所述图像由第二相机30a、30b、30c捕获并传输到控制器60。控制器60使用适于从由第二相机30a、30b、30c捕获的图像提取此类信息的算法计算第二相机30a、30b、30c的姿势。除了关于第二相机30a、30b、30c的姿势信息之外，第二数据还可包括关于由第二相机30a、30b、30c捕获的图像的姿势的信息，其可由附接到第二相机30a、30b、30c或机械臂20的传感器确定，或者可以基于由第二相机30a、30b、30c捕获的图像确定。在一个实施例中，可在机器人手术系统100的整个使用中重复步骤308。
[0056] 之后，在步骤310，控制器60接收由第二相机30a、30b、30c捕获的图像。在一个实施例中，由第二相机30a、30b、30c捕获的图像与从第一相机30a、30b、30c接收的图像不同，指示机械臂20机电移动到与第一相机30a、30b、30c的位置不同的位置。要认识到，在一些实施例中，步骤308可与步骤310同时执行或在执行步骤310之前执行。例如，控制器60接收由第二相机30a、30b、30c捕获的图像，然后从所捕获的图像计算第二相机30a、30b、30c的姿势。
[0057] 在步骤312，将第一相机30a、30b、30c与第二相机30a、30b、30c的姿势进行比较以确定捕获从第一和第二相机30a、30b、30c接收的图像的姿势的差异。具体地，控制器60评估第一数据和第二数据中包括的所接收姿势信息，以确定第一和第二相机30a、30b、30c、患者10和手术机器人25的相对姿势。在一些实施例中，基于统一
坐标系确定第一和第二相机
30a、30b、30c的姿势。控制器60还可确定捕获从第一和第二相机30a、30b、30c接收的图像的姿势之间的差异。
[0058] 在步骤314，基于第一和第二相机30a、30b、30c的姿势之间的差异和/或捕获从第一和第二相机30a、30b、30c接收的图像的姿势的差异，生成在从第一和第二相机30a、30b、30c接收的图像之间的过渡。通过合成从第一和第二相机30a、30b、30c接收的图像数据来创建
图像序列从而生成所述过渡，所述图像
序列表示从第一和第二相机30a、30b、30c接收的图像之间的姿势差异。
[0059] 使用各种技术来通过过渡传达姿势感知变化的感测，所述过渡诸如放大、后退、移动到侧面、从一个相机30a、30b、30c的姿势摆动到下一姿势，和/或从一侧平移到下一侧。例如，如果第一相机30a、30b、30c位于第二相机30a、30b、30c的侧面，则可以通过产生这样的图像序列来生成所述过渡，所述图像序列表示根据第一和第二相机30a、30b、30c之间的姿势的差异的
运动模糊以传达第一和第二相机30a、30b、30c之间的姿势变化的感测。在另一示例中，如果第一相机30a、30b、30c位于第二相机30a、30b、30c后面，则可通过产生这样的图像序列，来生成所述过渡，所述图像序列表示缩放以传达从第一相机30a、30b、30c向前移动到第二相机30a、30b、30c的感测，或者在有三个或更多个相机30a、30b、30c的实施例中，可通过产生一个图像序列然后是另一图像序列来生成所述过渡，所述一个图像序列表示从第一相机30a、30b、30c接收的图像缩放到从中间相机30a、30b、30c接收的图像，所述另一图像序列表示从中间相机30a、30b、30c接收的图像缩放到从第二相机30a、30b、30c接收的图像。例如，从第一相机30a、30b、30c接收的图像可以显示从第一视点的手术部位15，从第三相机30a、30b、30c接收的图像可以显示患者10的身体，从第二相机30a、30b、30c接收的图像可以显示从第二视点的手术部位15。在再一示例中，从第一和第二相机30a、30b、30c接收的图像被混合，并且当在从第一和第二相机30a、30b、30c接收的图像之间检测到重叠时，产生图像序列，其表现为在平衡运动中从第一相机30a、30b、30c接收的图像移到从第二相机30a、30b、30c接收的图像。在一些实施例中，从第一和第二相机30a、30b、30c接收的图像可包括患者10的一些重叠
覆盖，而在其它实施例中，从第一和第二相机接收的图像可没有任何重叠覆盖，完全不同。例如，从第一和第二相机30a、30b、30c接收的图像可以被显示，如同所述图像关于几何对象(例如，中心在手术部位15或包围手术部位15的球体)投影，使得当由临床医生查看时，所述图像将具有手术部位15的球形投影的外观或可以被感知为具有可视深度的手术部位15的图像。在另一示例中，从辅助相机，例如，相机30a、30b、30c接收的图像在矩形框中以提供手术部位15的总览，其中，辅助相机具有缩小视点和/或显示整个手术部位15的视点。可以在从第一和第二相机30a、30b、30c接收的图像旁边和/或与所述图像结合地显示此总览。
[0060] 在再一示例中，过渡可由计算机动画图形增强，以传达空间感知的感测。例如，计算机图形元件可以增加到或覆盖到从第一和第二相机30a、30b、30c接收的图像，以从第一相机30a、30b、30c的姿势和第二相机30a、30b、30c的姿势指示运动的方向。根据另一实施例，患者10的其它图像被合并到图像序列中。在一个示例中，图像包括患者身体的模型，诸如几何模型。在另一实施例中，患者身体的模型由在患者10的扫描期间获得的图像和/或患者10身体的三维
渲染构造。例如，在扫描(诸如
磁共振成像、超声成像、计算机继层扫描等)期间获得的图像与从第一和第二相机30a、30b、30c接收的图像集成，并产生包括患者身体图像的图像序列。在另一示例中，可以使患者10的身体在过渡中表现为透明或半透明，以传达在患者10身体内相机30a、30b、30c的姿势感知及邻近患者10身体内的器官和/或其它结构的感测。
[0061] 现在转到步骤316，控制器60接收从显示从第一相机30a、30b、30c接收的图像切换到显示从第二相机30a、30b、30c接收的图像的命令。切换命令可基于用户输入而被接收，例如，临床医生通过操纵台80操作手术机器人25，可以按按钮以发送命令，或者可以发出语音命令等。替代地或者另外，命令可以由手术机器人25在使用具体工具时被自动地发送，使得控制器60自动地过渡并显示从附接到被使用的手术工具的相机30a、30b、30c接收的图像。在一些实施例中，步骤312、314在机器人手术系统100的整个使用中被连续执行。在其它实施例中，步骤312、314只在操纵台60接收步骤316的命令之后被执行。
[0062] 在步骤318，显示装置44显示在步骤314处生成的过渡，然后在步骤320处显示由第二相机30a、30b、30c捕获的图像。在一个实施例中，控制器60将命令发送至显示装置44，以显示从第一相机30a、30b、30c接收的图像，然后显示表示过渡的图像序列，然后显示从第二相机30a、30b、30c接收的图像。
[0063] 可以设想控制器60可以将从步骤314获得的过渡记录到存储器202上/中，形式为2D/3D静止图像和/或视频。还可以设想从步骤314获得的过渡的视频可以存储在第一相机
30a、30b、30c和/或第二相机30a、30b、30c中的存储器中，使得可以由控制器60生成可容易解释的视频路径，并例如在显示装置44上显示给外科医生，以给外科医生提供可视观察位置之间的天然移动的可视体验。
[0064] 还可以设想如果在由第一相机30a、30b、30c和第二相机30a、30b、30c捕获的图像之间有不充分的重叠，控制器60可以使用当第一相机30a、30b、30c和/或第二相机30a、30b、30c的视点被改变时的之前记录的图像/视频，以合成从第一相机30a、30b、30c到第二相机
30a、30b、30c的过渡，或者反之亦然。
[0065] 在一个实施例中，机器人手术系统100的控制器60可以被编程以将第一相机30a、30b、30c和/或第二相机30a、30b、30c、视频的预设长度记录到例如存储器202上/中，从而允许外科医生回放所记录的视频(如果需要或期望)，以便帮助他们在必须移动第一相机30a、
30b、30c和/或第二相机30a、30b、30c之前并且在外科医生经历由于第一相机30a、30b、30c和/或第二相机30a、30b、30c的运动造成的任何定向障碍之前确定其在手术空间中的先前位置。
[0066] 在一个实施例中，被记录的视频的长度可以是固定的时间量，或者可以由终端用户、外科医生或技师根据许多因素，例如，手术程序的总预期长度，机器人手术系统100的存储容量，外科医生的经验等调节。
[0067] 根据本公开的一种方法，机器人手术系统100可包括相对短的运行视频记录器以记录来自第一相机30a、30b、30c和/或第二相机30a、30b、30c的图像/视频。此相对短的运行视频可以随时由外科医生使用以给外科医生提供由第一相机30a、30b、30c和/或第二相机30a、30b、30c曾记录的相对快的回放，方式是通过反向播放和/或通过在时间上提供即时后跳，由此视频恢复向前播放，例如，5、10、15和30秒后跳，或者倒回到某个期望时间戳或
帧。
[0068] 替代地或者除了此回放方法之外，可以设想控制器60可相对于患者的解剖结构生成或构建第一相机30a、30b、30c和/或第二相机30a、30b、30c的实时3D空间位置，并将其记录在存储器202中。此记录的第一相机30a、30b、30c和/或第二相机30a、30b、30c的3D空间位置可以由外科手术或人员在手术程序期间或之后的任何时间访问，且在任何另外手术程序之前可用。
[0069] 尽管上面描述的示例和实施例涉及包括第一和第二相机30a、30b、30c的系统，但这些示例不旨在是限制性的，设想了机器人手术系统100可包括定位在患者10身体内部和外部的更多的相机30a、30b、30c。
[0070] 本文中描述的系统还可使用一个或多个控制器来接收各种信息并转换所接收的信息以生成输出。控制器可包括任何类型的计算装置、运算
电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包括多个处理器和/或多核中央处理单元(CPU)，并且可包括任何类型的处理器，例如，
微处理器、
数字信号处理器、
微控制器、可编程逻辑装置(PLD)、现场可编程
门阵列(FPGA)等。控制器还可包括存储器以存储数据和/或指令，当其由一个或多个处理器执行时，使所述一个或多个处理器执行一个或多个方法和/或算法。
[0071] 本文中描述的任何方法、程序、算法或代码可以转换成编程语言或
计算机程序或以编程语言或计算机程序表示。如本文中使用的术语“编程语言”和“计算机程序”分别包括用来
指定计算机的指令的任何语言，并包括(但不限于)以下语言和其派
生物：Assembler、Basic、Batch files(批处理文件)、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器码、
操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身规定程序的元语言和所有第一、第二、第三、第四、第五或下一代计算机语言。还包括
数据库和其它数据模式以及任何其它元语言。在被解释、编译的语言之间没有差别，或者使用编译和解释两种方法。在程序的编译版本和源版本之间没有差别。因此，提到程序，其中，编程语言以超过一种状态(诸如源、编译、对象或链接)存在时，是指任何和所有这些状态。提到程序可以涵盖实际指令和/或这些指令的意图。
[0072] 本文中描述的任何方法、程序、算法或代码可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可包括提供(例如，存储和/或传输)以由诸如处理器、计算机或数字处理装置之类的机器可读形式的信息的机制。例如，存储器可包括
只读存储器(ROM)、
随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置或任何其它易失性或
非易失性存储器存储装置。其上包含的代码或指令可以由载波信号、红外信号、数字信号并由其它类似的信号表示。
[0073] 应当理解，前述描述只说明本公开。在不偏离本公开下可以由本领域技术人员设想各种替代方案和
修改。因此，本公开旨在包含所有这些替代方案、修改和
变形。参照附图描述的实施例只被展示以示范本公开的某些示例。与上文描述和/或所附权利要求中的那些基本不同的其它元件、步骤、方法和技术也旨在处于本公开的范围内。
