首页 / 专利库 / 手术 / 远程手术 / 计算机辅助远程操作手术中的多维可视化

计算机辅助远程操作手术中的多维可视化

阅读:375发布:2020-05-18

专利汇可以提供计算机辅助远程操作手术中的多维可视化专利检索,专利查询,专利分析的服务。并且本 申请 描述的技术可以体现为在显示装置上显示人体的一些部分的图像的方法。该方法包括接收包括至少两个不同模态的图像的多个图像的表征,以及与多个图像的至少一个子集相对应的 位置 信息。根据对应的位置信息在显示装置上显示第一模态的第一图像。根据对应的位置信息将第二模态的第二图像 覆盖 在第一图像上。根据对应的位置信息将至少第三图像覆盖在第一图像上,第三图像具有第二模态,并且第二图像和第三图像被同时显示至少一段时间。,下面是计算机辅助远程操作手术中的多维可视化专利的具体信息内容。

1.一种在显示装置上显示人体的一些部分的图像的方法,所述方法包括:
接收所述人体的所述部分的多个图像的表征,其中所述多个图像包括至少两个不同模态的图像,并且所述表征包括与所述多个图像的至少一个子集相对应的位置信息;
根据与所述第一图像相关联的对应位置信息在所述显示装置上显示所述多个图像的第一图像,所述第一图像具有第一模态;
显示所述多个图像的第二图像,根据与所述第二图像相关联的对应位置信息将所述第二图像覆盖在所述第一图像上,所述第二图像具有第二模态;以及
显示所述多个图像的至少第三图像,根据与所述第三图像相关联的对应位置信息将所述第三图像覆盖在所述第一图像上,所述第三图像具有所述第二模态,
其中所述第二图像和所述第三图像被同时显示至少一段时间。
2.根据权利要求1所述的方法,其中以隐藏模式显示所述第一图像,使得所述第一图像不可见。
3.根据权利要求1所述的方法,其中所述第一图像是二维B模式超声图像,并且所述第二图像和所述第三图像是二维多普勒超声图像。
4.根据权利要求1所述的方法,其中所述第一图像是内窥镜图像,并且所述第二图像和所述第三图像是超声图像。
5.根据权利要求1所述的方法,其中所述第二图像和所述第三图像是二维图像,所述二维图像在根据对应位置信息同时被显示时在所述显示装置上提供所述人体的所述部分的三维可视化
6.根据权利要求1所述的方法,其中通过穿过所述身体部分内的轨迹的成像装置的探头获取所述第二图像和所述至少第三图像。
7.根据权利要求1所述的方法,其中所述两种不同模态中的至少一个包括实时图像,并且所述两种不同模态中的另一个包括使用以下装置中的至少一个获取的图像:内窥镜、超声成像装置、计算机断层扫描成像装置即CT成像装置、电子发射断层扫描-CT成像装置即PET-CT成像装置、单光子发射CT成像装置即SPECT成像装置、磁共振成像装置即MRI装置或锥束CT成像装置即CBCT成像装置。
8.根据权利要求7所述的方法,其中所述实时图像包括使用以下装置中的至少一个获取的图像:内窥镜或超声成像装置。
9.根据权利要求1所述的方法,其中所述位置信息包括相对于公共坐标系的地理标记信息。
10.根据权利要求1所述的方法,其中相对于所述第一图像配准所述第二图像和所述第三图像。
11.根据权利要求1所述的方法,其中相对于公共参考坐标系配准所述第一图像、所述第二图像和所述第三图像。
12.根据权利要求1所述的方法,其中所述第二图像和第三图像表示在两个不同时间点获取的图像。
13.根据权利要求1所述的方法,进一步包括:
检测到正在所述显示装置上显示新图像以代替所述第一图像;以及
响应于检测到正在显示所述新图像,根据与所述新图像相关联的位置信息调整所述第二图像和所述第三图像的显示。
14.根据权利要求13所述的方法,其中调整所述第二图像和所述第三图像的显示包括相对于所述新图像配准所述第二图像和所述第三图像。
15.一种在手术过程中在显示装置上提供视觉反馈的方法,所述方法包括:
根据与第一图像相关联的位置信息在所述显示装置上显示第一模态的所述第一图像,所述第一图像表示正在施行所述手术过程的身体部分;
显示第二模态的一组多个图像,所述一组多个图像表示所述身体部位的至少一部分,并且根据与所述一组多个图像中的每个图像相关联的相应位置信息将所述一组多个图像覆盖在所述第一图像上,其中来自所述一组多个图像的至少两个图像被同时显示至少一段时间;以及
响应于显示覆盖在所述第一图像上的所述一组多个图像,接收与所述手术过程相关联的用户输入。
16.根据权利要求15所述的方法,进一步包括基于所述用户输入操作可机器人控制的手术器械。
17.根据权利要求15所述的方法,其中以隐藏模式显示所述第一图像,使得所述第一图像不可见。
18.一种手术系统,其包括:
显示装置;和
一个或多个处理装置,其被配置为:
操作所述手术系统以执行手术过程;
接收人体的一些部分的多个图像的表征,其中所述多个图像包括至少两种不同模态的图像,并且所述表征包括与所述多个图像的至少一个子集相对应的位置信息;
根据与所述第一图像相关联的对应位置信息在所述显示装置上显示所述多个图像的第一图像,所述第一图像具有第一模态;
显示所述多个图像的第二图像,根据与所述第二图像相关联的对应位置信息将所述第二图像覆盖在所述第一图像上,所述第二图像具有第二模态;以及
显示所述多个图像的至少第三图像,根据与所述第三图像相关联的对应位置信息将所述第三图像覆盖在所述第一图像上,所述第三图像具有所述第二模态,
其中所述第二图像和第三图像被同时显示至少一段时间。
19.根据权利要求18所述的手术系统,其中以隐藏模式显示所述第一图像,使得所述第一图像不可见。
20.根据权利要求18所述的手术系统,其中所述第一图像是二维B模式超声图像,并且所述第二图像和所述第三图像是二维多普勒超声图像。
21.根据权利要求18所述的手术系统,其中所述第一图像是内窥镜图像,并且所述第二图像和所述第三图像是超声图像。
22.根据权利要求18所述的手术系统,其中所述第二图像和所述第三图像是二维图像,所述二维图像在根据对应位置信息被同时显示时在所述显示装置上提供所述人体的所述部分的三维可视化。
23.根据权利要求18所述的手术系统,其中通过穿过所述身体部位内的轨迹的成像装置的探头获取所述第二图像和所述至少第三图像。
24.根据权利要求18所述的手术系统,其中所述两种不同模态中的至少一个包括实时图像,并且所述两种不同模态中的另一个包括使用以下装置中的至少一个获取的图像:内窥镜、超声成像装置、计算机断层扫描成像装置即CT成像装置、正电子发射断层扫描-CT成像装置即PET-CT成像装置、单光子发射CT成像装置即SPECT成像装置、磁共振成像装置即MRI成像装置或锥束CT成像装置即CBCT成像装置。
25.根据权利要求24所述的手术系统,其中所述实时图像包括使用以下装置中的至少一个获取的图像:内窥镜或超声成像装置。
26.根据权利要求18所述的手术系统,其中所述位置信息包括相对于公共坐标系的地理标记信息。
27.根据权利要求18所述的手术系统,其中相对于所述第一图像配准所述第二图像和所述第三图像。
28.根据权利要求18所述的手术系统,其中相对于公共参考坐标系配准所述第一图像、所述第二图像和所述第三图像。
29.根据权利要求18所述的手术系统,其中所述第二图像和第三图像表示在两个不同时间点获取的图像。
30.根据权利要求18所述的手术系统,其中所述一个或多个处理装置被配置为:
检测到正在所述显示装置上显示新图像以代替所述第一图像;以及
响应于检测到正在显示所述新图像,根据与所述新图像相关联的位置信息调整所述第二图像和所述第三图像的显示。
31.根据权利要求30所述的手术系统,其中调整所述第二图像和所述第三图像的显示包括相对于所述新图像配准所述第二图像和所述第三图像。
32.一种手术系统,其包括:
显示装置;
一个或多个处理装置,其被配置为:
操作所述手术系统以执行手术过程;
根据与第一图像相关联的位置信息在所述显示装置上显示第一模态的所述第一图像,所述第一图像表示正在施行所述手术过程的身体部分,以及
显示第二模态的一组多个图像,所述一组多个图像表示所述身体部分的至少一部分,并且根据与所述一组多个图像中的每个图像相关联的对应位置信息将所述一组多个图像覆盖在所述第一图像上,其中来自所述一组多个图像的至少两个图像被同时显示至少一段时间;以及
一个或多个输入装置,其被配置为响应于显示覆盖在所述第一图像上的所述一组多个图像,接收与所述手术过程相关联的用户输入。
33.根据权利要求32所述的手术系统,进一步包括可机器人控制的手术器械,并且所述一个或多个处理装置被配置为基于所述用户输入控制所述手术器械。
34.根据权利要求32所述的手术系统,其中以隐藏模式显示所述第一图像,使得所述第一图像不可见。
35.用机器可读指令编码的一个或多个机器可读非暂时性存储装置,其被配置为使一个或多个处理装置执行包括以下各项的操作:
接收人体的一些部分的多个图像的表征,其中所述多个图像包括至少两种不同模态的图像,并且所述表征包括与所述多个图像的至少一个子集相对应的位置信息;
根据与第一图像相关联的对应位置信息在所述显示装置上显示所述多个图像的所述第一图像,所述第一图像具有第一模态;
显示所述多个图像的第二图像,根据与所述第二图像相关联的对应位置信息将所述第二图像覆盖在所述第一图像上,所述第二图像具有第二模态;以及
显示所述多个图像的至少第三图像,根据与所述第三图像相关联的对应位置信息将所述第三图像覆盖在所述第一图像上,所述第三图像具有所述第二模态,
其中所述第二图像和所述第三图像被同时显示至少一段时间。
36.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中以隐藏模式显示所述第一图像,使得所述第一图像不可见。
37.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中所述第一图像是二维B模式超声图像,并且所述第二图像和所述第三图像是二维多普勒超声图像。
38.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中所述第一图像是内窥镜图像,并且所述第二图像和所述第三图像是超声图像。
39.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中所述第二图像和所述第三图像是二维图像,所述二维图像在根据对应位置信息被同时显示时在所述显示装置上提供所述人体的所述部分的三维可视化。
40.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中通过穿过所述身体部分内的轨迹的成像装置的探头获取所述第二图像和所述至少第三图像。
41.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中所述两种不同模态中的至少一个包括实时图像,并且所述两种不同模态中的另一个包括使用以下装置中的至少一个获取的图像:内窥镜、超声成像装置、计算机断层扫描成像装置即CT成像装置、正电子发射断层扫描-CT成像装置即PET-CT成像装置、单光子发射CT成像装置即SPECT成像装置、磁共振成像装置即MRI成像装置或锥束CT成像装置即CBCT成像装置。
42.根据权利要求41所述的一个或多个机器可读非暂时性存储装置,其中所述实时图像包括使用以下装置中的至少一个获取的图像:内窥镜或超声成像装置。
43.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中所述位置信息包括相对于公共坐标系的地理标记信息。
44.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中相对于所述第一图像配准所述第二图像和所述第三图像。
45.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中相对于公共参考坐标系配准所述第一图像、所述第二图像和所述第三图像。
46.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,其中所述第二图像和第三图像表示在两个不同时间点获取的图像。
47.根据权利要求35所述的一个或多个机器可读非暂时性存储装置,进一步包括用于以下操作的指令:
检测到正在所述显示装置上显示新图像以代替所述第一图像;以及
响应于检测到正在显示所述新图像,根据与所述新图像相关联的位置信息调整所述第二图像和所述第三图像的显示。
48.根据权利要求47所述的一个或多个机器可读非暂时性存储装置,其中调整所述第二图像和所述第三图像的显示包括相对于所述新图像配准所述第二图像和所述第三图像。
49.用机器可读指令编码的一个或多个机器可读非暂时性存储装置,其被配置为使一个或多个处理装置执行包括以下各项的操作:
根据与第一图像相关联的对应位置信息在所述显示装置上显示所述多个图像的所述第一图像,所述第一图像表示正在施行手术过程的身体部分;
显示第二模态的一组多个图像,所述一组多个图像表示所述身体部分的至少一部分,并且根据与所述一组多个图像中的每个图像相关联的相应位置信息将所述一组多个图像覆盖在所述第一图像上,其中来自所述一组多个图像的至少两个图像被同时显示至少一段时间;以及
响应于显示覆盖在所述第一图像上的所述一组多个图像,接收与所述手术过程相关联的用户输入。
50.根据权利要求49所述的一个或多个机器可读非暂时性存储装置,进一步包括基于所述用户输入用于操作可机器人控制的手术器械的指令。

说明书全文

计算机辅助远程操作手术中的多维可视化

技术领域

[0001] 本公开涉及用于微创计算机辅助远程操作手术的装置和方法。

背景技术

[0002] 正在开发用于手术的微创远程手术系统,以增加外科医生的灵活性,并且允许外科医生从远程位置对患者进行操作。远程手术是手术系统的通用术语,其中外科医生使用某种形式的遥控器(例如,伺服机构等)操纵手术器械移动而不是用手直接握住并移动器械。在这种远程手术系统中,在远程位置处向外科医生提供手术部位的图像。外科医生通过操纵主控制输入装置对患者执行手术程序,主控制输入装置进而控制机器人器械的运动。发明内容
[0003] 在一个方面,该申请的特征在于一种在显示装置上显示人体的一些部分的图像的方法。该方法包括接收人体的一些部分的多个图像的表征(representation),其中多个图像包括至少两种不同模态的图像,并且该表征包括与多个图像的至少一个子集相对应的位置信息。该方法还包括根据与第一图像相关联的对应位置信息在显示装置上显示多个图像的第一图像,以及显示多个图像的第二图像,根据与第二图像相关联的对应位置信息将第二图像覆盖在第一图像上,第一图像具有第一模态,第二图像具有第二模态。该方法进一步包括显示多个图像中的至少第三图像,根据与第三图像相关联的对应位置信息将第三图像覆盖在第一图像上。第三图像具有第二模态,并且第二图像和第三图像被同时显示至少一段时间。
[0004] 在另一方面,该申请的特征在于一种包括显示装置和一个或多个处理装置的手术系统。一个或多个处理装置被配置为操作手术系统以执行手术过程,并且接收人体的一些部分的多个图像的表征。多个图像包括至少两种不同模态的图像,并且该表征包括与多个图像的至少一个子集相对应的位置信息。一个或多个处理装置还被配置为根据与第一图像相关联的对应位置信息在显示装置上显示多个图像的第一图像,其中第一图像具有第一模态。一个或多个处理装置进一步被配置为显示多个图像中的第二图像,根据与第二图像相关联的对应位置信息将第二图像覆盖在第一图像上,第二图像具有第二模态,以及显示多个图像的至少第三图像。根据与第三图像相关联的对应位置信息将第三图像覆盖在第一图像上,并且第三图像具有第二模态。第二图像和第三图像被同时显示至少一段时间。
[0005] 在另一方面,该申请的特征在于用机器可读指令编码的一个或多个机器可读非暂时性存储装置,该一个或多个机器可读非暂时性存储装置被配置为使得一个或多个处理装置执行各种操作。所述操作包括接收人体的部分的多个图像的表征,其中多个图像包括至少两种不同模态的图像,并且该表征包括与多个图像的至少一个子集相对应的位置信息。所述操作还包括根据与第一图像相关联的对应位置信息在显示装置上显示多个图像的第一图像,第一图像具有第一模态,以及显示多个图像的第二图像,根据与第二图像相关联的对应位置信息将第二图像覆盖在第一图像上,第二图像具有第二模态。所述操作进一步包括显示多个图像中的至少第三图像,其中根据与第三图像相关联的对应位置信息将第三图像覆盖在第一图像上。第三图像具有第二模态,并且第二图像和第三图像被同时显示至少一段时间。
[0006] 在另一方面,该申请的特征在于一种在手术过程中在显示装置上提供视觉反馈的方法。该方法包括根据与第一图像相关联的位置信息在显示装置上显示第一模态的第一图像,第一图像表示正在施行手术过程的身体部分。该方法包括显示第二模态的一组多个图像,该组多个图像表示身体部分的至少一部分,并且根据与该组多个图像中的每个图像相关联的对应位置信息将该组多个图像覆盖在第一图像上。来自该组多个图像的至少两个图像被同时显示至少一段时间。该方法还包括响应于显示覆盖在第一图像上的一组多个图像,接收与手术过程相关联的用户输入。可以基于用户输入来操作可机器人控制的手术器械。
[0007] 在另一方面,该申请的特征在于一种手术系统,该手术系统包括显示装置、一个或多个处理装置以及一个或多个输入装置。该一个或多个处理装置被配置为操作手术系统以执行手术过程,以及根据与第一图像相关联的位置信息在显示装置上显示第一模态的第一图像。第一图像表示正在施行手术过程的身体部分。该一个或多个处理装置还被配置为显示第二模态的一组多个图像,该组多个图像表示身体部分的至少一部分,并且根据与该组多个图像中的每个图像相关联的对应位置信息将该组多个图像覆盖在第一图像上。来自该组多个图像的至少两个图像被同时显示至少一段时间。该一个或多个输入装置被配置为响应于显示覆盖在第一图像上的一组多个图像,接收与手术过程相关联的用户输入。可以基于用户输入来操作可机器人控制的手术器械。
[0008] 在另一方面,该申请的特征在于用机器可读指令编码的一个或多个机器可读非暂时性存储装置,该一个或多个机器可读非暂时性存储装置被配置为使得一个或多个处理装置执行各种操作。所述操作包括根据与第一图像相关联的位置信息在显示装置上显示第一模态的第一图像,第一图像表示正在施行手术过程的身体部分。所述操作还包括显示第二模态的一组多个图像,该组多个图像表示身体部分的至少一部分,并且根据与该组多个图像的每个图像相关联的对应位置信息将该组多个图像覆盖在第一图像上。来自该组多个图像的至少两个图像被同时显示至少一段时间。所述操作进一步包括响应于显示覆盖在第一图像上的一组多个图像,接收与手术过程相关联的用户输入。可以基于用户输入来操作可机器人控制的手术器械。
[0009] 上述方面的实施方式可以包括以下特征中的一个或多个。可以以隐藏模式显示第一图像,使得第一图像不可见。第一图像可以是二维(2D)B模式超声图像,并且第二图像和第三图像可以是2D多普勒超声图像。第一图像可以是内窥镜图像,并且第二图像和第三图像可以是超声图像。第二图像和第三图像可以是二维图像,所述二维图像在根据对应位置信息被同时显示时在显示装置上提供人体的一些部分的三维(3D)可视化。第二图像和至少第三图像可以通过穿过身体部分内的轨迹(trajectory)的成像装置的探头来获取。两种不同模态中的至少一个可以包括实时图像,并且两种不同模态中的另一个可以包括使用以下装置中的至少一个获取的图像:内窥镜、超声成像装置、计算机断层扫描(CT)成像装置、电子发射断层扫描-CT(PET-CT)成像装置、单光子发射CT(SPECT)成像装置、磁共振成像(MRI)装置或锥束CT(CBCT)成像装置。实时图像可以包括使用以下装置中的至少一个获取的图像:内窥镜或超声成像装置。位置信息可以包括相对于公共坐标系的地理标记信息。可以相对于第一图像配准第二图像和第三图像。可以相对于公共参考坐标系配准第一图像、第二图像和第三图像。第二图像和第三图像可以表示在两个不同时间点获取的图像。可以在显示装置上显示新图像来代替第一图像,并且响应于检测到正在显示新图像,可以根据与新图像相关联的位置信息来调整第二图像和第三图像的显示。调整第二图像和第三图像的显示可以包括相对于新图像配准第二图像和第三图像。
[0010] 本文描述的一些或所有实施例可以提供以下优点中的一个或多个。在一些情况下,可以通过同时显示相对于共同坐标系在空间上配准的一系列二维(2D)图像来提供手术部位的三维(3D)可视化。这可以允许渲染三维可视化而无需使用可能引入不期望延迟的计算复杂且可能耗时的3D重建过程。另外,可以使用诸如使用超声探头捕获的超声图像的模态来提供3D感知,这进而可以允许在微创手术(MIS)期间更好地可视化解剖结构、肿瘤等。在一些情况下,通过按顺序显示一系列二维(2D)多普勒超声图像,但在显示装置上留下较早的图像的痕迹,可以在MIS期间提供诸如组织灌注、血液流动等时间事件的更好可视化。
附图说明
[0011] 图1是计算机辅助远程操作手术系统的示例性患者侧手推车的透视图。
[0012] 图2是计算机辅助远程操作手术系统的示例性外科医生控制台的前视图。
[0013] 图3是计算机辅助远程操作手术系统的示例性机器人操纵臂组装件的侧视图。
[0014] 图4A示出腹腔镜超声探头。
[0015] 图4B示出由腹腔镜工具抓握的插入式超声探头。
[0016] 图5A和图5B是示出在内窥镜图像上配准的超声图像的示例。
[0017] 图5C示出基于多个二维图像的三维可视化的表征。
[0018] 图6是示出在B模式超声图像上配准的一系列彩色超声多普勒图像的示例。
[0019] 图7是示出在不同模态的另一图像上显示一种模态的一系列图像的示例性过程的流程图
[0020] 图8是示出在手术过程期间提供反馈并接收用户输入的示例性过程的流程图。

具体实施方式

[0021] 本申请描述了在一些情况下在诸如微创机器人辅助手术(在本文中也被称为微创手术(MIS))的图像引导手术过程中改善手术部位和解剖部分的可视化的技术。例如,可以使用诸如2D图像的较低维数据在外科医生的控制台上渲染诸如空间3D透视或时间变化的多维信息。这可以例如通过使用诸如超声探头的成像装置捕获3D结构的多个2D切片,并且同时显示相对于公共坐标系被配准的捕获切片来完成。这进而可以允许实施3D可视化,而无需采用可能是计算密集且耗时的3D重建过程。在一些情况下,例如通过顺序显示一系列彩色多普勒超声图像,其中同时显示序列中的至少一些图像,还可以显示诸如血液流动通过脉管系统的时间信息(temporal information)。例如,如果顺序显示一组多普勒图像,并且继续显示各个图像直到该组图像的所有图像已经显示,则得到的显示可以表示捕获多普勒图像的时间段内的诸如组织灌注或血液流动的时间信息。在一些实施方式中,可以显示相对于不同模态的一个或多个图像配准的2D图像。例如,可以相对于内窥镜图像坐标系配准一起表示3D结构的超声图像,使得外科医生能够可视化在内窥镜的视野中的可见部分下面的3D解剖结构(例如,肿瘤、脉管系统等)。
[0022] 主要根据使用由美国加利福尼亚州Sunnyvale市的Intuitive Surgical公司商业化的da 手术系统的实施方式描述本发明的各方面。这种手术系统的示例是daXiTM手术系统(型号IS4000)和da SiTM HDTM手术系统(型号IS3000)。应当理解,本文公开的各方面可以以各种方式体现和实施,包括计算机辅助的、非计算机辅助的以及手动和计算机辅助混合组合的实施例和实施方式。出于说明性目的描述了关于da手术系统(例如,型号IS4000、型号IS3000、型号IS2000、型号IS1200)的实施方式,并且上述实施方式不应被视为限制本文公开的发明方面的范围。如果适用,本发明的各个方面可以在相对较小的手持式手动操作装置和具有附加机械支撑的相对较大的系统中以及在计算机辅助的远程操作医疗装置的其他实施例中体现和实施。
[0023] 参考图1和图2,用于微创计算机辅助远程手术(也称为MIS)的系统可以包括患者侧手推车100和外科医生控制台40。远程手术是手术系统的通用术语,其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵手术器械移动而不是用手直接握持和移动器械。可机器人操纵的手术器械可以通过小的微创手术孔口插入,以治疗患者体内手术部位的组织,避免与开放手术所需的相当大的切口相关的创伤。这些机器人系统可以以足够的灵活性移动手术器械的工作端,通常通过在微创孔口处枢转器械的轴、使轴轴向滑过孔口、使轴在孔口内旋转等执行相当复杂的手术任务。
[0024] 在所描绘的实施例中,患者侧手推车100包括基座110、第一机器人操纵臂组装件120、第二机器人操纵臂组装件130、第三机器人操纵臂组装件140和第四机器人操纵臂组装件150。每个机器人操纵臂组装件120、130、140和150可枢转地耦接到基座110。在一些实施例中,可以包括少于四个或多于四个的机器人操纵臂组装件作为患者侧手推车100的一部分。虽然在所描绘的实施例中,基座110包括脚轮以便于移动,但在一些实施例中,患者侧手推车100固定地安装到地板、天花板、手术台、结构框架等。
[0025] 在典型的应用中,机器人操纵臂组装件120、130、140和150中的两个保持手术器械,第三个保持立体内窥镜。剩余的机器人操纵臂组装件是可用的,以便可以在工作部位处引入第三器械。可替代地,剩余的机器人操纵臂组装件可以用于将第二内窥镜或另一图像捕获装置(诸如超声换能器)引入工作部位。
[0026] 机器人操纵臂组装件120、130、140和150中的每一个通常由耦接在一起并且通过可致动关节操纵的连杆形成。机器人操纵臂组装件120、130、140和150中的每一个包括装配臂和装置操纵器。装配臂定位其保持的装置,使得在其进入患者体内的进入孔口处出现枢转点。然后,装置操纵器可以操纵其保持的装置,使其可以绕枢轴点枢转、插入进入孔口并从进入孔口缩回,以及绕其轴线旋转。
[0027] 在所描绘的实施例中,外科医生控制台40包括立体视觉显示器45,使得用户可以根据由患者侧手推车100的立体相机捕获的图像以立体视觉观察手术工作部位。在立体视觉显示器45中提供左眼目镜46和右眼目镜47,使得用户可以分别用用户的左眼和右眼观察显示器45内的左显示屏和右显示屏。在通常在合适的观察器或显示器上观察手术部位的图像的同时,外科医生通过操纵主控制输入装置(其进而控制机器人器械的运动)对患者执行手术程序。
[0028] 外科医生控制台40还包括左输入装置41和右输入装置42,用户可以分别用他/她的左手和右手抓握左输入装置41和右输入装置42以操纵由患者侧手推车100的机器人操纵臂组装件120、130、140和150优选地以六个或更多个自由度(“DOF”)保持的装置(例如,手术器械)。具有脚趾控件和脚跟控件的脚踏板44被提供在外科医生控制台40上,因此用户可以控制与脚踏板相关联的装置的移动和/或致动。
[0029] 处理装置43被提供在外科医生控制台40中以用于控制和其他目的。处理装置43在医疗机器人系统中执行各种功能。由处理装置43执行的一个功能是平移和传递输入装置41、42的机械运动,以在与输入装置相关的机器人操纵臂组装件120、130、140和150中致动机器人操纵臂组装件的相应关节,使得外科医生可以有效地操纵装置(诸如手术器械)。处理装置43的另一个功能是实施本文所描述的方法、交叉耦合控制逻辑和控制器
[0030] 处理装置43可以包括一个或多个处理器、数字信号处理器(DSP)、现场可编程阵列(FPGA)和/或微控制器,并且可以被实现为硬件软件和/或固件的组合。此外,本文描述的处理装置43的功能可以由一个单元执行或者在多个子单元之间划分,每个子单元又可以通过硬件、软件和固件的任何组合来实现。此外,处理装置43虽然被示出为外科医生控制台40的一部分或与其物理上相邻,但是其也可以作为整个远程手术系统中的子单元来分布。
一个或多个子单元可以在物理上远离(例如,位于远程服务器上)远程手术系统。
[0031] 还参考图3,机器人操纵臂组装件120、130、140和150可以操纵诸如手术器械的装置以执行MIS。例如,在所描绘的布置中,机器人操纵臂组装件120可枢转地耦接到器械保持器122。套管180和手术器械200进而可释放地耦接到器械保持器122。套管180是中空管状构件,其在手术期间位于患者接口部位处。套管180限定内腔,手术器械200的细长轴220可滑动地设置在该内腔中。如下面进一步描述的,在一些实施例中,套管180包括具有体壁牵开器构件的远端部分。器械保持器122可枢转地耦接到机器人操纵臂组装件120的远端。在一些实施例中,器械保持器122和机器人操纵臂组装件120的远端之间的可枢转耦接是可以从外科医生控制台40和处理器43致动的机动关节。
[0032] 器械保持器122包括器械保持器框架124、套管夹具126和器械保持器托架128。在所描绘的实施例中,套管夹具126固定到器械保持器框架124的远端。套管夹具126可以被致动以与套管180耦接或者与套管180解耦。器械保持器托架128可移动地耦接到器械保持器框架124。更具体地,器械保持器托架128可以沿器械保持器框架124线性平移。在一些实施例中,器械保持器托架128沿器械保持器框架124的移动是由处理器43可致动/可控制的机动化的平移移动。手术器械200包括传动组装件210、细长轴220和末端执行器230。传动组装件210可以可释放地与器械保持器托架128耦接。轴220从传动组装件210向远侧延伸。末端执行器230被设置在轴220的远端处。
[0033] 轴220限定纵向轴线222,纵向轴线222与套管180的纵向轴线重合。随着器械保持器托架128沿器械保持器框架124平移,手术器械200的细长轴220沿纵向轴线222移动。以这种方式,可以将末端执行器230插入患者体内的手术工作空间和/或从患者体内的手术工作空间缩回。
[0034] 在一些实施方式中,机器人操纵臂组装件120可以用于保持和操纵超声换能器,如图4A和图4B中所示。具体地,图4A示出腹腔镜超声探头400,而图4B示出可以由腹腔镜工具460抓握的插入式(drop-in)超声探头450。超声成像是可用于机器人图像引导手术中的安全且经济的模态。例如,超声图像可以提供关于经由内窥镜可看见的器官表面下方的解剖结构的术中信息。在MIS中,这可以例如通过提供关于不应损伤的底层解剖特征(例如,脉管系统、胆管、输尿管等)的信息为外科医生改善可视化。在一些情况下,超声图像还可以帮助可视化将由外科医生移除的目标病变(例如,肿瘤、囊肿)。诸如多普勒图像的专用超声图像可以有助于可视化诸如血液流动或组织灌注的时间信息。
[0035] 尽管超声图像具有益处,但由于各种原因,在MIS中使用超声模态可能具有挑战性。例如,因为典型的超声换能器生成2D切片,外科医生可能发现从2D切片感知3D解剖结构是有挑战性的。虽然确实存在3D超声探头,但这些3D超声探头通常太大而不能在MIS中使用,和/或具有不可接受的3D分辨率。在使用2D探头时,外科医生可以尝试通过在感兴趣的区域上方扫掠(sweep)2D探头(例如,探头400或450)而尝试获得底层解剖结构的三维感觉来扫描一定面积,该过程容易出错并且是困难的。另外,2D切片可能不与手术器械对准(例如,在内窥镜的视野中可见),这在使用超声图像时产生关于手眼协调的挑战。
[0036] 通过允许使用诸如2D超声切片的2D图像的3D可视化,本文描述的技术可以减少与在MIS中使用超声模态相关联的挑战。通过同时显示2D切片并且将其相对于彼此定向,可以在不使用3D重建过程的情况下实现3D可视化,该3D重建过程对于快节奏的手术程序来说在实时实现方面过于计算密集和/或耗时。在一些实施方式中,通过相对于不同模态的图像(例如,内窥镜图像)配准超声图像,可以减轻与在MIS中使用超声图像相关联的手眼协调问题。在一些实施方式中,通过相对于不同模态的图像(例如,术前计算机断层扫描(CT)图像、正电子发射断层扫描-CT(PET-CT)、磁共振成像(MRI)或锥束CT(CBCT)图像)配准超声图像,可以提供附加的背景信息,以帮助外科医生进行术中决策。总之,本文描述的技术可以为MIS外科医生提供更好的用户体验。
[0037] 在一些实施方式中,经由非超声模态(诸如内窥镜图像)来提供MIS期间的主要视觉反馈。可以例如使用诸如超声的不同模态来提供附加反馈。在一些实施方式中,超声探头(例如,探头400或450)可以提供与其接触的组织的2D图像切片。例如,外科医生可以通过使探头穿过手术部位(例如,患者的身体部分)内的轨迹来获得超声图像。在一些实施方式中,所获取的图像可以用位置信息(例如,相对于已知坐标系的原点的定位和取向)进行地理标记。在这种情况下,可以基于与各个图像相关联的位置信息使所获取的图像相对于底层图像(例如,内窥镜图像)对准。可以经由图像配准过程来计算该对准,该图像配准过程包括基于与图像相对应的位置信息将与所获取的图像相对应的多组数据变换为一个坐标系。这也可以称为翘曲(warping),并且可以包括诸如平移、旋转、剪切等的各种刚性变换或非刚性变换。
[0038] 在一些实施方式中,可以翘曲所获取的超声图像并将其显示在内窥镜图像上,使得翘曲的图像表示内窥镜图像的对应部分的底层区域。这在图5A的示例中示出,图5A示出在内窥镜图像510上配准的超声图像505。由于超声图像505的形状,这种超声图像可以被称为处于“旗杆(flag-pole)”配置。也可以使用其他类型的超声图像配置。在一些实施方式中,相对于内窥镜图像被配准的超声图像的这种翘曲和显示还相对于用于获取超声图像的探头450和腹腔镜工具460以正确对准方式来定位超声图像。在一些情况下,相对于手术工具的这种对准可以改善关于超声图像的手眼协调。
[0039] 在一些情况下,超声图像的图像平面可以与内窥镜图像平面基本正交(或接近正交)。在这种情况下,超声图像可以显示为一条线或者显示为具有小面积的平面,使得超声图像的内容不能充分可见。在这种情况下,可以使用解决相关挑战的替代显示模式。例如,超声图像可以以平面画中画模式显示,但是可以使诸如垂直或平翻转的交互显示模式可用,例如用以帮助手眼协调。这在图5B的示例中示出,在图5B中,超声图像被水平翻转并被示出为画中画以帮助手眼协调。在一些实施方式中,可以显示从原始图像到翘曲版本的转换(例如,经由动画)。在一些实施方式中,可以响应于用户输入来激活这样的显示模式,例如用以提供对取向的更好理解。
[0040] 在一些实施方式中,可以同时显示一系列超声图像以提供关于超声图像的3D可视化。例如,如果外科医生在一个区域上移动超声探头以在该度区域上收集多个2D切片,则可以同时显示多个2D切片中的至少一些(每个切片适当地翘曲)以提供底层解剖特征的3D可视化。这在图5C中示出,在图5C中,多个超声图像515a-515f(统称为515)以其相应的采集姿势显示,并且因此可以三维可视化血管520的形状。可以基于例如用户偏好和/或正在进行的手术程序的阶段以各种方式显示2D切片的序列或尾迹(trail)。在一些实施方式中,翘曲的旗杆超声图像可以被显示为另一图像上的覆盖层。这种模式的一个示例如图5A所示,其可以用于改善外科医生的手眼协调。在一些实施方式中,仅旗杆超声图像的边界被显示在另一图像(例如,内窥镜图像)上,而超声图像本身被显示在显示装置上的另一位置处(例如,在单独的窗口中)。
[0041] 可以从各种视点显示3D可视化。在一些实施方式中,视点可以是内窥镜相机的位置。视点可以被改变(例如,基于用户输入交互地改变)以使得能够从不同位置和姿势观察3D体积。例如,可以改变相机的位置以从各个位置可视化所显示的3D体积。在一些实施方式中,可以例如基于用户输入激活单独的器械(其可以是真实器械或者虚拟或幻影器械)以改变用于可视化所显示的3D体积的视点。还可以提供用于与所显示的3D体积交互的附加控件。例如,外科医生可用的控件可以包括虚拟工具,该虚拟工具使外科医生能够切穿所显示的3D超声体积以看到可能被该体积的外部结构遮挡的更深层结构。在另一示例中,另一虚拟工具可以使外科医生能够控制切割平面以裁剪图像。
[0042] 在一些实施方式中,还可以使用一系列图像来显示诸如通过脉管系统的血流的时间信息。例如,可以顺序显示一系列彩色多普勒超声图像,同时显示该序列中的至少一些图像,以提供血流的可视化。图6示出在B模式超声图像上配准一系列彩色超声多普勒图像的示例。具体地,图6中的图像是通过沿着猪肾的表面扫掠超声探头而获得的。彩色多普勒图像被启用以可视化脉管系统,并且彩色多普勒图像的尾迹被显示为配准到B模式超声图像。B模式超声图像被用作基准以解释一系列彩色多普勒图像的内容。
[0043] 在一些实施方式中,在显示来自一个序列的图像的尾迹之前,对该序列中的超声图像进行滤波以例如去除斑点噪声。在某些情况下,当同时显示多个图像时,这有助于避免遮挡。图7是示出在不同模态的另一图像上显示一种模态的一系列图像时采用过滤的示例性过程700的流程图。在一些实施方式中,过程700的至少一部分可以由与机器人手术系统的外科医生控制台相关联的处理装置执行。过程700的操作可以包括获取第一模态的2D图像(710)。这可以包括例如接收正在进行手术的人体的一部分的2D图像的表征。在一些实施方式中,第一模态可以是超声,其中2D图像是通过在人体的一部分上扫掠超声探头而获得的多个图像中的一个。过程700的操作还包括获取2D图像的位置信息(715)。该位置信息可以表示为例如超声探头相对于已知参考点(诸如在手术中使用的内窥镜的视点)的姿势。在一些实施方式中,内窥镜图像可以用第二模态的图像(例如,计算机断层扫描(CT)图像)来替换,第一模态的一个或多个图像覆盖在第二模态的图像上。在一些实施方式中,可以移除内窥镜图像以使超声图像更加可见。
[0044] 过程700的操作进一步包括对2D图像进行滤波(720)。可以使用各种类型的空间或时间滤波器来对图像进行滤波。如果2D图像是B模式超声图像,则该滤波可以包括突出显示特征的边界(例如,经由边缘检测)和/或抑制诸如背景噪声或斑点噪声的噪声。如果2D图像是彩色多普勒图像,则该滤波可以包括去除灰度内容并且保留图像的彩色内容。在一些实施方式中,还可以滤除噪声彩色内容(例如,由于探头的运动引起的噪声)。在一些实施方式中,还可以例如基于流动的方向执行附加滤波,以区分静脉血流和动脉血流。
[0045] 在一些实施方式中,对2D图像进行滤波(720)可以包括时间滤波。除了空间滤波之外,还可以施加时间滤波。在一些实施方式中,当超声探头缓慢地(例如,以1mm/s的速度)扫掠过解剖部分或其他身体部分并且以高速率(例如,每秒30帧)捕获超声图像时,在连续的超声图像之间可能存在相关性。这种相关性可被用于应用时间滤波器,该时间滤波器可以改善超声图像的尾迹的可视化。在一些情况下,当两个连续帧之间的空间距离(由对应的位置信息确定)小于阈值时,可以应用时间滤波。该阈值可以例如根据通过校准过程确定的超声图像切片厚度的估计结果来确定,或者由探头制造商提供。
[0046] 过程700的操作进一步包括翘曲经滤波的图像以在第二模态的图像上配准(730)。基于与第一模态和第二模态的图像相关联的位置信息,可以经由图像配准过程来执行该翘曲。位置信息可以包括相对于公共坐标系的地理标记信息。第一模态和第二模态的各种组合是可能的。例如,第一模态可以是超声,而第二模态可以是内窥镜。在其他示例中,第一模态和第二模态可以包括使用内窥镜、超声成像装置、计算机断层摄影(CT)成像装置、正电子发射断层扫描-CT(PET-CT)成像装置,磁共振成像(MRT)成像装置或锥束CT(CBCT)成像装置中的至少两个获取的图像。
[0047] 过程700的操作进一步包括将翘曲图像添加到图像的序列或尾迹(740)并且在显示装置上显示该尾迹(750)。在一些实施方式中,可以做出关于是否停止向尾迹添加更多图像的决定(745)。如果要添加更多图像,则过程700的操作可以包括等待下一个2D图像(760)并且重复上述步骤。
[0048] 图8是示出在手术过程期间提供反馈和接收用户输入的示例性过程800的流程图。在一些实施方式中,过程800的至少一部分可以由与机器人手术系统的外科医生控制台相关联的处理装置执行。该过程的操作包括根据与第一图像相关联的位置信息在显示装置上显示第一模态的第一图像(810)。第一图像可以表示正在进行手术的身体部分或解剖部分。
在一些实施方式中,第一图像是内窥镜图像,并且对应的位置信息包括关于相对于预定参考点(例如,内窥镜相机的位置)的成像位置的地理标记信息。在一些实施方式中,第一图像可以对应于另一模态,诸如使用超声成像装置、计算机断层摄影(CT)成像装置、核成像装置、射线照相成像装置或磁共振成像(MRI)装置获取的图像。
[0049] 过程800的操作还包括根据与第二模态的一组多个图像中的每个图像相关联的位置信息显示覆盖在第一图像上的该组多个图像(820)。第二模态可以与第一模态不同。在一些实施方式中,在第一图像是内窥镜图像的情况下,该组多个图像可以是超声图像(例如,B模式超声图像或多普勒超声图像)。可以使用穿过手术部位(例如,身体部分、解剖特征等)内的轨迹的成像装置的探头来获取该组多个图像。
[0050] 在一些实施方式中,可以同时显示来自该组多个图像的至少一些图像。例如,如果该组多个图像表示解剖特征的体积的2D超声切片,则可以同时显示至少一些2D超声切片以生成至少一部分解剖特征的3D可视化。可以基于与来自该组多个图像的图像相关联的位置信息,显示相对于第一图像被配准的来自该组多个图像的图像。在一些实施方式中,这可以包括检测到新图像已经替换第一图像,并且响应于这种检测,根据与新图像相关联的位置信息调整来自该组多个图像的图像的显示。例如,如果在手术期间改变内窥镜图像的视图,则相应地调整所显示的配准到内窥镜图像的一组2D超声切片以适应新的内窥镜图像。这可以包括例如相对于新图像配准来自该组多个图像的图像。
[0051] 过程800的操作进一步包括响应于显示覆盖在第一图像上的该组多个图像,接收与手术过程相关联的用户输入(830)。用户输入可以包括移动与机器人辅助的图像引导手术系统相关联的物理工具的指令。例如,通过基于在内窥镜图像上显示为覆盖层的一组超声图像来可视化肿瘤的位置,外科医生可以激活工具形成切口以在肿瘤周围有余量的情况下切除肿瘤。用户输入还可以包括改变可视化角度的指令和/或激活虚拟工具的指令。例如,外科医生可以改变视点以从不同位置可视化该组图像。而且,虚拟工具可以允许外科医生在所显示的体积中形成虚拟切口,例如用以更好地理解肿瘤的位置/性质。在某些情况下,这可以允许外科医生在开始实际手术操作之前更好地评估情况。
[0052] 在一些实施方式中,可以通过在保持成像换能器的机器人臂(例如,上述的机器人臂操纵组装件120)上应用运动约束来改善上述各种类型的尾迹可视化。例如,在机器人辅助MIS中,例如经由使用关节编码器和/或运动学计算来跟踪机器人臂,可以改善由机器人臂保持的超声探头的跟踪(例如,与手动腹腔镜程序相比)。可以使用各种技术来控制机器人臂。在一些实施方式中,虚拟粘度和运动阻尼可以被应用于保持成像换能器(例如超声探头)的臂。这可能导致更慢或更平滑的运动,这进而可以提供更好的尾迹可视化。在一些实施方式中,用于臂的控制机构可以包括传感器,该力传感器可以在运动约束下进行操作,例如以维持成像换能器(例如,超声探头)与手术部位处的解剖特征(例如,软组织)之间的恒定接触力。在一些情况下,图像处理技术可以用于丢弃在换能器未与解剖特征完全接触的时段期间获得的帧。在一些实施方式中,可以记录指示探头的期望轨迹的用户输入,并且可以使机器人臂以平滑运动(例如,以恒定速度)穿过轨迹。
[0053] 本文描述的功能或其部分及其各种修改(下文中称为“功能”)可以至少部分地经由计算机程序产品来实现,该计算机程序产品例如有形地体现在信息载体(诸如一个或多个非暂时性机器可读介质或存储装置)中的计算机程序,用于由一个或多个数据处理设备(例如,可编程处理器、DSP、微控制器、计算机、多个计算机和/或可编程逻辑部件)执行或控制其操作。
[0054] 计算机程序可以用包括编译或解释语言的任何形式的编程语言来编写,并且可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模、部件、子程序或其他单元。可以部署计算机程序以在一个站点上的或者分布在多个站点上并通过网络互连的一个或多个处理装置上执行。
[0055] 与实现全部或部分功能相关联的动作可以由一个或多个可编程处理器或处理装置执行,所述可编程处理器或处理装置执行一个或多个计算机程序以实施本文描述的过程的功能。全部或部分功能可以实现为专用逻辑电路,例如FPGA和/或ASIC(专用集成电路)。
[0056] 作为示例,适合于执行计算机程序的处理器包括通用微处理器和专用微处理器,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器随机存取存储器或两者接收指令和数据。计算机的部件包括用于运行指令的处理器以及用于存储指令和数据的一个或多个存储装置。
[0057] 虽然本说明书包含许多具体的实施细节,但这些不应被解释为对任何发明或要求保护的范围的限制,而是作为对特定发明的特定实施例的特征的具体描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的形式在多个实施例中实施。此外,虽然本文将特征描述为以某些组合起作用并且甚至最初如此声明,但是在某些情况下可以从组合中去除所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
[0058] 类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为要求以所示的特定顺序或按顺序执行这些操作,或者执行所有示出的操作,以实现期望的结果。在某些情况下,多任务处理和并行处理可能是有利的。此外,本文描述的实施例中的各种系统模块和部件的分离不应被理解为在所有实施例中都需要这种分离,并且应当理解,所描述的程序部件和系统通常可以集成在单个产品中或者被打包成多个产品。
[0059] 无论何时,实际上,在未具体示出或描述元件的其他实施例、实施方式或应用中,可选地可以包括参考一个实施例、实施方式或应用详细描述的元件。例如,如果参考一个实施例详细描述了一个元件,参考第二实施例没有描述该元件,则该元件可以被要求保护为包括在第二实施例中。因此,为了避免在以下描述中不必要的重复,除非另外特别描述,除非一个或多个元件将使实施例或实施方式失去功能,或者除非两个或多个元件提供冲突功能,否则结合一个实施例、实施方式或应用示出和描述的一个或多个元件可以结合到其他实施例、实施方式或方面中。
[0060] 已经描述了主题的特定实施例。其他实施例在随附权利要求的范围内。例如,权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例,附图中描绘的过程不一定需要所示的特定顺序或连续顺序来实现期望的结果。在某些实施方式中,多任务处理和并行处理可能是有利的。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈