首页 / 专利库 / 医疗设备 / 外科手术机器人 / 用于微创外科手术的虚拟测量工具

用于微创外科手术的虚拟测量工具

阅读:1018发布:2020-08-20

专利汇可以提供用于微创外科手术的虚拟测量工具专利检索,专利查询,专利分析的服务。并且本 发明 公开一种用于 远程手术 和其他应用的 机器人 和/或测量装置(10)、系统和方法。该装置、系统和方法利用操作地连接于工具(26)的输入装置(16)以便使系统使用者(18)能够操纵被测量的组织和其他结构。该系统可以利用来自立体图像的三维 定位 信息。两个或两个以上的离散点(242,244)能够用三维尺寸标定,以便提供沿着直线或弯曲组织的累积长度、面积测量、体积测量等。所述离散点可以通过单个外科手术工具(240)或通过分开两个或两个以上外科手术工具的距离来识别,其中使用者通过沿着结构移动一对工具双手交替地操作从而可选地测量比立体图像捕获装置的视场更长的结构。通过在标定组织 位置 的同时允许系统使用者能够与组织交互作用,并且通过利用图像数据来确定测量值,可以增强测量准确度和测量简便性。,下面是用于微创外科手术的虚拟测量工具专利的具体信息内容。

1.一种用于测量组织的方法,该方法包括:
获得所述组织的图像以便生成对应的图像数据;
用第一机器人工具指示第一组织位置
将第一图形指示符在该第一位置处叠加在所述组织的所述图像上;
利用所述图像数据产生在所述第一图形指示符和第二组织位置之间的测量。
2.根据权利要求1的方法,其中所述组织的所述图像包括被显示在立体显示器上的左和右立体图像,其中该第一工具由系统使用者通过参考所述立体图像引导到所述第一组织位置,该第一工具和显示器被包括在远程外科手术系统中,并且还包括当所述第一和第二位置被接合时由所述使用者输入至少一个组织标定命令。
3.根据权利要求2的方法,其中该系统包括将立体成像数据传输给所述立体显示器的立体图像捕获装置,其中该图形指示符包括被叠加在所述组织的所述立体图像上的三维指示符,以便以三维方式表现为与所述第一位置一致,其中所述系统利用所述第一工具的所述立体成像数据来确定被叠加的指示符的所述第一位置。
4.根据权利要求2的方法,其中所述第一工具指示所述第一组织位置并且所述第一工具还指示所述第二组织位置,其中所述第一和第二组织位置被顺序地指示出。
5.根据权利要求2的方法,其中第二机器人工具指示所述第二组织位置,所述第一和第二组织位置被同时地指示出。
6.根据权利要求1的方法,其中所述图像包含包括所述第一工具的多个机器人工具,还包括在利用该图像将所述第一工具引导到所述第一组织位置的同时将图形工具测量标记与所述第一工具一致地叠加在该显示器上。
7.根据权利要求6的方法,还包括在将所述第一工具引导到所述第一位置的同时叠加一条在所述第一和第二位置之间延伸的运动线。
8.根据权利要求1的方法,还包括自动指示出至少一个额外的组织位置,该测量包括在顺序的一对组织位置之间的三维偏移距离,并且确定多个偏移距离的累积合计。
9.根据权利要求1的方法,其中所述第一工具在所述第一组织位置处抓取并操纵该组织,并且还包括通过在多个额外的组织位置将组织抓取在所述工具的夹爪中而用所述第一工具和第二机器人工具交替地接合所述多个额外的组织位置,以及将所述多个额外的组织位置之间的距离相加以便沿着抓取的组织测量双手交替长度。
10.根据权利要求1的方法,还包括指示限定封闭面积的多个额外的组织位置,其中该测量包括面积测量。
11.根据权利要求1的方法,还包括用所述第一工具触诊所述第一组织位置。
12.根据权利要求1的方法,其中该工具操纵该组织以便将该组织移动成测量构形以用于指示所述第一组织位置。
13.根据权利要求1的方法,其中通过朝着该第一位置移动该第一工具并且利用该组织表面的立体图像数据将该组织位置从该工具传到邻近该工具的组织表面,从而指示所述第一组织位置。
14.根据权利要求1的方法,其中该组织包括生理运动的组织,其中该图像包括在该第一工具正指示所述第一组织位置时得到的该运动的组织的静止立体图像,并且其中所述第二组织位置通过定位被叠加在所述静止立体图像上的三维图像指示符来指示所述第二组织位置而被指示。
15.一种用于测量组织的机器人系统,该系统包括:
能够朝着外科手术部位定向的图像捕获装置,所述图像捕获装置在使用时生成与在所述外科手术部位处的组织的图像对应的图像数据;
连接于所述图像捕获装置以便为系统使用者显示图像的显示器;
第一机器人工具;
用于标定由该第一工具指示出的组织位置的输入;
处理器,该处理器将所述输入连接于所述显示器,以便在第一标定组织位置将第一图形指示符叠加在所述组织的所述图像上,并且以便利用所述图像数据确定在所述第一图形指示符和第二组织位置之间的测量。
16.根据权利要求15的系统,其中所述图像捕获装置包括立体图像捕获装置,其中所述显示器包括立体显示器,并且所述系统还包括连接于所述机器人工具的主控制器,其用于接收来自系统使用者的运动命令从而参考被显示在所述显示器上的左和右立体图像将所述第一工具引导到所述第一组织位置,并且其中在所述使用者将所述第一工具引导到所述第一组织位置的同时所述处理器将图形工具测量标记与所述第一工具一致地叠加在所述图像上。
17.根据权利要求16的系统,其中所述处理器被构造成顺序地接收来自所述使用者的组织标定命令,以便有助于用所述第一工具指示所述第二组织位置。
18.根据权利要求16的系统,其中所述处理器被构造成接收来自所述使用者的一个组织标定命令,以便同时地用所述第一工具指示所述第一组织位置和用第二机器人工具指示所述第二组织位置。
19.根据权利要求16的系统,其中所述处理器将所述输入连接于所述显示器,以便在所述使用者将所述第一工具引导到所述第一组织位置的同时叠加一条在所述第一和第二位置之间延伸的运动线。
20.根据权利要求19的系统,其中所述处理器被构造成确定偏移显示位置以使得该测量被显示为叠加在所述组织图像上并且与所述线分开。
21.根据权利要求15的系统,其中所述处理器将所述输入连接于所述显示器,以便接收指示额外的组织位置的额外的输入标定命令,以便确定顺序的成对组织位置之间的三维偏移距离,并且以便将所述偏移距离相加并且将最终累积测量叠加在该图像上。
22.根据权利要求15的系统,其中所述第一工具和第二工具均包括夹爪,其中该组织标定输入包括用于所述夹爪的夹爪铰接输入以便所述处理器被构造成通过在沿着所述组织的双手交替长度测量中将所述偏移距离相加来测量所述多个偏移距离。
23.根据权利要求15的系统,其中所述处理器将所述输入连接于所述显示器,以便接收额外的输入标定命令,从而限定封闭面积,其中该测量包括面积测量。
24.根据权利要求15的系统,其中所述组织位置包括界定所述面积的离散位置,其中每个组织位置均具有相关联的标定命令。
25.根据权利要求15的系统,其中所述图像捕获装置包括立体图像捕获装置,其中所述处理器响应所述图像数据来确定组织表面的三维位置,并且其中所述处理器通过将所述图形指示符从所述第一工具传到所述组织表面来标定所述第一组织位置。
26.根据权利要求15的系统,其中该组织包括生理运动的组织,其中该图像包括所述运动的组织的静止立体图像,并且所述系统还包括通过所述处理器被连接于所述显示器的三维输入装置,以使得利用该输入装置来定位被叠加在所述静止立体图像上的三维图像指示符,从而指示所述第二组织位置。
27.一种用于测量生理运动组织的机器人系统,该系统包括:
能够朝着外科手术部位定向的立体图像捕获装置,所述图像捕获装置在使用时生成与在所述外科手术部位处的组织的图像对应的图像数据;
连接于所述图像捕获装置以便为系统使用者显示所述图像的显示器;
用于标定组织位置的输入;
处理器,所述处理器将所述输入连接于所述显示器,以便当第一组织位置已经被标定时定位被叠加在该组织的冻结立体图像上的三维图形指示符,并且以便确定在所述图形指示符和所述第一组织位置之间的测量。
1.一种用于测量组织的方法,该方法包括:
获得所述组织的图像以便生成对应的图像数据;
用第一机器人工具指示第一组织位置;
将第一图形指示符在该第一位置处叠加在所述组织的所述图像上;
利用所述图像数据产生在所述第一图形指示符和第二组织位置之间的测量。
2.根据权利要求1的方法,其中所述组织的所述图像包括被显示在立体显示器上的左和右立体图像,其中该第一工具由系统使用者通过参考所述立体图像引导到所述第一组织位置,该第一工具和显示器被包括在远程外科手术系统中,并且还包括当所述第一和第二位置被接合时由所述使用者输入至少一个组织标定命令。
3.根据权利要求2的方法,其中该系统包括将立体成像数据传输给所述立体显示器的立体图像捕获装置,其中该图形指示符包括被叠加在所述组织的所述立体图像上的三维指示符,以便以三维方式表现为与所述第一位置一致,其中所述系统利用所述第一工具的所述立体成像数据来确定被叠加的指示符的所述第一位置。
4.根据权利要求2的方法,其中所述第一工具指示所述第一组织位置并且所述第一工具还指示所述第二组织位置,其中所述第一和第二组织位置被顺序地指示出。
5.根据权利要求2的方法,其中第二机器人工具指示所述第二组织位置,所述第一和第二组织位置被同时地指示出。
6.根据权利要求1的方法,其中所述图像包含包括所述第一工具的多个机器人工具,还包括在利用该图像将所述第一工具引导到所述第一组织位置的同时将图形工具测量标记与所述第一工具一致地叠加在该显示器上。
7.根据权利要求6的方法,还包括在将所述第一工具引导到所述第一位置的同时叠加一条在所述第一和第二位置之间延伸的运动线。
8.根据权利要求1的方法,还包括自动指示出至少一个额外的组织位置,该测量包括在顺序的一对组织位置之间的三维偏移距离,并且确定多个偏移距离的累积合计。
9.根据权利要求1的方法,其中所述第一工具在所述第一组织位置处抓取并操纵该组织,并且还包括通过在多个额外的组织位置将组织抓取在所述工具的夹爪中而用所述第一工具和第二机器人工具交替地接合所述多个额外的组织位置,以及将所述多个额外的组织位置之间的距离相加以便沿着抓取的组织测量双手交替长度。
10.根据权利要求1的方法,还包括指示限定封闭面积的多个额外的组织位置,其中该测量包括面积测量。
11.根据权利要求1的方法,还包括用所述第一工具触诊所述第一组织位置。
12.根据权利要求1的方法,其中该工具操纵该组织以便将该组织移动成测量构形以用于指示所述第一组织位置。
13.根据权利要求1的方法,其中通过朝着该第一位置移动该第一工具并且利用该组织表面的立体图像数据将该组织位置从该工具传到邻近该工具的组织表面,从而指示所述第一组织位置。
14.根据权利要求1的方法,其中该组织包括生理运动的组织,其中该图像包括在该第一工具正指示所述第一组织位置时得到的该运动的组织的静止立体图像,并且其中所述第二组织位置通过定位被叠加在所述静止立体图像上的三维图像指示符来指示所述第二组织位置而被指示。
15.一种用于测量组织的机器人系统,该系统包括:
能够朝着外科手术部位定向的图像捕获装置,所述图像捕获装置适于生成与在所述外科手术部位处的组织的图像对应的图像数据;
连接于所述图像捕获装置以便为系统使用者显示图像的显示器;
第一机器人工具;
用于标定由该第一工具指示出的组织位置的输入;
处理器,该处理器将所述输入连接于所述显示器,以便在第一标定组织位置将第一图形指示符叠加在所述组织的所述图像上,并且以便利用所述图像数据确定在所述第一图形指示符和第二组织位置之间的测量;
其中所述处理器适于将所述输入连接到所述显示器,以便接收额外的输入标定命令,其中所述额外的输入标定命令指示出所述第二组织位置和额外的组织位置,以便确定顺序成对的组织位置之间的三维偏移距离,以及以便将最终累积测量叠加在所述图像上。
16.根据权利要求15的系统,其中所述图像捕获装置包括立体图像捕获装置,其中所述显示器包括立体显示器,并且所述系统还包括连接于所述机器人工具的主控制器,其用于接收来自系统使用者的运动命令从而参考被显示在所述显示器上的左和右立体图像将所述第一工具引导到所述第一组织位置,并且其中在所述使用者将所述第一工具引导到所述第一组织位置的同时所述处理器将图形工具测量标记与所述第一工具一致地叠加在所述图像上。
17.根据权利要求16的系统,其中所述处理器被构造成顺序地接收来自所述使用者的组织标定命令,以便有助于用所述第一工具指示所述第二组织位置。
18.根据权利要求16的系统,其中所述处理器被构造成接收来自所述使用者的一个组织标定命令,以便同时地用所述第一工具指示所述第一组织位置和用第二机器人工具指示所述第二组织位置。
19.根据权利要求16的系统,其中所述处理器将所述输入连接于所述显示器,以便在所述使用者将所述第一工具引导到所述第一组织位置的同时叠加一条在所述第一和第二位置之间延伸的运动线。
20.根据权利要求19的系统,其中所述处理器被构造成确定偏移显示位置以使得该测量被显示为叠加在所述组织图像上并且与所述线分开。
21.根据权利要求15的系统,其中所述第一工具和第二工具均包括夹爪,其中该组织标定输入包括用于所述夹爪的夹爪铰接输入以便所述处理器被构造成通过在沿着所述组织的双手交替长度测量中将所述偏移距离相加来测量所述多个偏移距离。
22.根据权利要求15的系统,其中所述处理器将所述输入连接于所述显示器,以便接收额外的输入标定命令,从而限定封闭面积,其中该测量包括面积测量。
23.根据权利要求15的系统,其中所述组织位置包括界定所述面积的离散位置,其中每个组织位置均具有相关联的标定命令。
24.根据权利要求15的系统,其中所述图像捕获装置包括立体图像捕获装置,其中所述处理器响应所述图像数据来确定组织表面的三维位置,并且其中所述处理器通过将所述图形指示符从所述第一工具传到所述组织表面来标定所述第一组织位置。

说明书全文

用于微创外科手术的虚拟测量工具

技术领域

[0001] 本发明总的涉及改进的机器人和/或测量装置、系统和方法。示范性的实施例提供机器人外科手术系统,该机器人外科手术系统利用机器人工具的远程操纵与立体图像处理一起的组合,以输入并标定沿着组织(或其他结构)的离散三维(3-D)点位置、连续3-D轮廓以及其他3-D结构信息,以便获得长度测量、面积测量、体积测量等。

背景技术

[0002] 微创外科手术技术的目的在于减少在诊断或外科手术期间被损伤的无关组织的量,因而减少病人的康复时间、不适感以及旁边组织的损伤。因此,利用微创外科手术技术可以明显缩短标准手术的平均住院时间。而且,利用微创外科手术也可以减少病人的康复时间、病人的不适感、手术副作用以及停工时间。
[0003] 内窥镜检查术是熟知的微创外科手术的形式,并且内窥镜检查术的常见形式是腹腔镜检查术,这种腹腔镜检查术是腹腔内的微创检查和微创外科手术。在标准的腹腔镜(laparoscopic)外科手术中,病人的腹部被吹入气体,并且套管套筒穿过小(大约1/2英寸或更小)切口以提供用于腹腔镜器械的进入端口。
[0004] 腹腔镜外科手术器械一般包括腹腔镜或内窥镜(用于观察外科手术部位)和工作工具。该工作工具类似于常规开放性外科手术中所用的工作工具,除了每个工具的工作端或端部执行器用细长杆与其柄部分开之外。外科手术器械的端部执行器或工作部分能够操纵或处理组织,并且可以(例如)包括夹子、抓紧器、剪刀、吻合器、图像捕获透镜或针夹具。
[0005] 为了进行外科手术过程,外科医生使工作工具或器械穿过套管套筒到内部外科手术部位并且从腹部外面操纵该工具或器械。外科医生通过显示从腹腔镜拍摄的外科手术部位的图像的监视器来观察手术过程。类似的内窥镜技术可用在下述的检查中,例如关节镜检查、腹膜后镜检查、骨盆镜检查、肾盂镜检查、膀胱镜检查、脑池镜检查、窦镜检查、宫腔镜检查、尿道镜检查等。
[0006] 研发微创远程外科手术机器人系统来增加当在内部外科手术部位内工作时外科医生的灵活性,并且可选地允许外科医生能够从远程位置对病人进行手术。在远程外科手术系统中,通常在控制台上为外科医生提供外科手术部位的图像。在合适的观察器或显示器上观察外科手术部位的3-D图像的同时,外科医生通过操纵控制台的主动输入或控制装置对病人进行外科手术过程。每个主动输入装置均控制伺服机构操作的外科手术器械的运动。在外科手术过程期间,远程外科手术系统能够提供具有端部执行器的各种外科手术器械或工具的机械致动和控制,该外科手术器械或工具响应主动输入装置的操纵为外科医生执行各种功能,例如固定或驱动针、抓取血管或切割组织等。
[0007] 虽然新的远程外科手术机器人系统对于扩大外科医生在对病人造成更小创伤以及其他许多成功性的情况下进行治疗的能具有极大的前景,但是仍然需要进一步改进。例如,已知的机器人系统通常依赖于来自与机器人连杆的每个接头有关的传感器的接头定位信息来计算端部执行器的运动要求、位置等。虽然这种基于接头的信息提供用于大多数远程外科手术目的的端部执行器的足够准确度的相对运动,但是利用这种基于接头的数据所确定的外科手术工具的绝对位置可能不是对于所有目的都足够准确。具体说,当利用机器人外科手术系统获得组织测量信息通常有利的,并且由基于接头的数据所提供的一些准确度改进对于这种测量可能是有利的。
[0008] 根据上面所述,希望提供用于外科手术和其他应用的改进的机器人和/或测量系统。如果这些改进允许医师能够与组织交互作用并测量该组织,那将是特别有利的,理想地这种测量包括三维测量,且其准确度超过仅利用基于接头的数据所容易提供的准确度。

发明内容

[0009] 本发明的各方面大体提供改进的机器人和/或测量装置、系统和方法。本发明的实施例可以用于通过诸如内窥镜套管套筒、自然孔口等微创口的远程外科手术治疗。这样的实施例可以利用可操作地连接于外科手术工具的远程外科手术输入装置,以便允许系统使用者操纵被测量的组织或者以其他方式与被测量的组织交互作用。不同于仅依赖基于接头的数据,该系统可以利用从立体图像获得的三维(3-D)定位信息,其中图像也可以被呈现给系统使用者。除了组织上的两个或两个以上离散点之间的3-D位置偏移之外,该系统也可以允许使用者沿着感兴趣的组织识别出位置的有效连续曲线。之后,该系统能够确定3-D线段的长度测量值、沿着直线或弯曲组织的累积长度的多线测量值、组织结构内的面积测量值、组织体积测量值、纵横比测量值等。离散点可以用单个外科手术工具识别,或通过两个或两个以上外科手术工具之间的间隔识别,其中使用者可选地在使组织结构变直或拉伸的同时可选地通过使一对工具沿着该组织结构双手交替(hand over hand)移动来测量组织结构的长度(甚至该结构比立体图像捕获装置的视场更长或局部不清楚)。通过在识别将被测量的组织位置的同时允许系统使用者与组织交互作用,并且通过利用成像数据(可选地与基于接头的数据相结合的成像数据)确定测量值,能够明显增强测量准确度和组织测量的简便性,特别是当工作于至少局部不清楚的组织时。
[0010] 在第一方面,本发明提供一种用于测量组织的方法。该方法包括获得该组织的图像以便生成对应的图像数据。第一组织位置用第一机器人工具指示。第一图形指示符在第一位置处叠加在组织的图像上。利用图像数据在第一图形指示符和第二组织位置之间进行测量。
[0011] 所获得的组织图像通常包括为系统使用者显示在立体显示器上的左和右立体图像二者。系统使用者可以参考这些立体图像将该第一工具引导到第一组织位置。工具和显示器通常被包括在远程外科手术系统内。当组织位置被机器人工具接合或以其他方式指示时,系统使用者通常输入至少一个组织标定命令。立体图像捕获装置通常将立体成像数据传输给立体显示器。图形指示符可以包括被叠加在该组织的立体图像上的3-D指示符,以便在三维尺寸中与第一位置一致。该系统能够利用与第一工具相关联的立体成像数据来确定叠加的指示符的第一位置。
[0012] 第一工具可以用于指示第一位置和第二组织位置二者,其中所述组织位置被顺序地指示。可替代地,第二机器人工具可以指示第二组织位置,其中该第二组织位置同时与第一组织位置接合。所述组织位置能够通过用该工具接合或触诊该组织而被指示,其中该工具可选地操纵该组织以便使得该组织变直或拉伸,或以便以其他方式运动成测量构形。在可替代实施例中,通过将该工具带到该位置附近而不使该工具实际接触该组织表面,该工具可以指示该组织位置。该组织的三维位置能够从立体成像数据等被确定,并且然后图形指示符能够从该工具传到(be snapped to)组织表面上。
[0013] 该图像可以涵盖多个工具,包括多个机器人工具。图形工具测量标记可以与第一工具一致地被叠加在显示器上,同时利用该图像来引导第一工具到第一组织位置。这能够避免干扰用于测量的工具,并且也可以通过为系统使用者识别工具上的测量数据点来增强准确度。在将第一工具引导到第一位置的同时,在第一和第二位置之间延伸的运动线可以叠加在显示器上,其中在工具操纵期间该运动线表现出拉伸线或橡胶带。一个或更多个额外的组织位置也可以用包括顺序的一对组织位置之间的3-D偏移距离的测量被自动识别。也可以提供顺序成对组织位置之间的累积的总的偏移距离,以便允许沿着轮廓或多个连续线段的总长度的测量。
[0014] 在一些实施例中,组织位置可以通过第一工具和第二工具交替地指示。在这样的实施例中,每个工具可以可选地均在相关位置在工具的夹爪中抓取该组织。被工具抓取的位置之间的距离可以被相加以便沿着被抓取组织结构测量双手交替(hand over hand)长度。组织位置可以通过该夹爪(可选地通过夹爪的打开、夹爪的闭合等)的致动而被标定(be designated)。在单个工具用来标定顺序的一系列组织位置的情况下,标定组织位置的命令可以由使用者通过用与打开和闭合夹爪相同类型的致动来致动系统的柄(handle)来输入。也可以利用可替代组织标定命令,包括另外的输入按钮、脚踏板输入、下拉命令菜单、语音输入命令等,并且也可以利用其它的输入命令来去标定或去掉先前输入的组织位置。
[0015] 在许多实施例中,使用者可以自动地接合或其他方式指示出第二位置,以及在许多情况下多个额外的组织位置。来自系统使用者的位置和/或输入可以限定一个封闭的面积,其中测量包括测量该面积。在一些实施例中,组织位置可以包括严谨标定的界定该面积的位置。可替代地,组织位置可以包括界定该面积的基本连续的线,例如通过以紧密间隔的时间间隔、在距前面位置的期望间隔距离处等识别工具位置。如论如何,该面积的中心可以被识别并且通过相加在该中心和沿着边界的组织位置之间限定的三形面积来计算该面积。例如通过相对于该面积的长度确定该面积的宽度、相对于长度确定两个组织特征之间的宽度等也可以确定由位置限定的纵横比。
[0016] 在组织包括生理上运动的组织(例如跳动的心脏等)的情况下,一旦第一工具指示该第一组织位置,则为了测量可以冻结立体视频图像。然后,通过定位被叠加在静止的或冻结的立体图像上的三维图形指示符以指示第二组织位置,从而该第二组织位置可以被指示。
[0017] 另一方面,本发明提供一种用于测量组织的系统。该系统包括朝着外科手术部位定向的图像捕获装置。该图像捕获装置在使用期间生成对应于外科手术部位处的组织的图像的图像数据。显示器连接于该图像捕获装置以便为系统使用者显示图像。提供第一机器人工具以及用于标定由第一工具指示的组织位置的输入。处理器将输入连接于显示器,以便在第一标定组织位置处将第一图形指示符叠加在组织的图像上。该处理器还利用图像数据确定第一图形指示符和第二组织位置之间测量值。
[0018] 又一方面,本发明提供一种用于测量生理运动的组织的机器人系统。该系统包括朝着外科手术部位定向的立体图像捕获装置。在使用中,该图像捕获装置生成对应于该外科手术部位的组织的图像的视频图像数据。显示器连接于该图像捕获装置,以便为系统使用者显示图像。三维输入标定组织位置,并且处理器将该输入连接于该显示器,以便当第一组织位置被标定时将三维图形指示符定位成叠加在该组织的冻结的立体图像上。该图形指示符和第一组织位置之间的测量值通过该处理器确定。附图说明
[0019] 图1是根据本发明实施例用于进行外科手术的微创机器人外科手术系统的俯视图。
[0020] 图2是机器人外科手术系统的外科医生控制台的前视图。
[0021] 图3是机器人外科手术系统观测推车的前视图。
[0022] 图4示意地示出图1的机器人外科手术系统的数据处理结构。
[0023] 图5A是机器人外科手术系统的病人侧推车(外科手术机器人)的正视图。
[0024] 图5B和图5C分别是8mm杆机器人外科手术工具和5mm杆机器人外科手术工具的前视图。
[0025] 图6示意地示出利用图1的系统测量组织的方法中所包括的步骤。
[0026] 图7是用于轮廓测量且具体是用于标定多个组织或其他结构位置的流程图
[0027] 图8是利用组织或其他结构位置的轮廓测量工具的分类图。
[0028] 图9是按照本发明的可选实施例用于有效连续采样模式以产生规则间隔的位置或样品的流程图。
[0029] 图10A和图10B是面积或容器计算和显示的分类图。
[0030] 图11是示出为了测量用于双手交替(hand over hand)组织或其他位置标定的软件的流程图。
[0031] 图12是叠加了标定位置和拉伸线的机器人外科手术工具图像的屏幕快照(screenshot)。
[0032] 图13是单个机器人外科手术工具的简化示意图,其标定轮廓或组织位置之间的连续的一系列线段以用于累积长度测量。
[0033] 图14是用于测量组织结构的周长和面积的工具的屏幕快照。
[0034] 图15A是两个机器人外科手术工具的简化示意图,其被用于用双手交替的(hand over hand)方法来测量柔性组织结构的长度。
[0035] 图15B是获得双手交替的(hand over hand)测量的两个机器人外科手术工具的屏幕快照。

具体实施方式

[0036] 本发明的各方面大体提供改进的机器人和/或测量装置、系统和方法,特别是用于远程外科手术和其他医疗机器人应用的改进的机器人和/或测量装置、系统和方法。本发明的实施例能够找到其最直接的用途以用于测量位于通过一个或更多个微创口(例如套管或自然孔口)进入的内部外科手术部位的组织和其他结构。与本发明有关的工作已经表明在这种部位的测量可以通过利用机器人外科手术工具接合和/或操纵要被测量的组织而被改进。虽然机器人操纵能够利用来自机器人连杆的基于接头的数据而被非常准确地进行,以计算运动命令,但是可以通过利用立体成像数据的图像处理以帮助确定在内部外科手术部位内的组织和/或机器人外科手术工具的位置,从而提高在内部外科手术部位的测量准确度。通过将合适的标识叠加在对系统使用者显示的立体图像上,使用者能够准确地标定组织或其他结构位置并测量三维(3-D)空间中的轮廓(包括平滑曲线轮廓和/或一系列线段),以便确定长度、面积、体积等。
[0037] 图1是微创机器人外科手术(MIRS)系统10的平面图,通常用于对躺在手术台14上的病人12进行微创诊断或外科手术过程。该系统能够包括在手术过程期间由外科医生18使用的外科医生控制台16。一个或更多个助手20也可以参与该手术过程。该MIRS系统10还能够包括病人侧推车22(外科手术机器人)和观察推车24。病人侧推车22包括操纵器23,该操纵器23能够操纵通过病人12身体中的微创切口的至少一个可拆卸地连接的器械或工具组件26(在下文中简称为“工具”),且同时外科医生18通过控制台16观察手术部位。通过诸如立体内窥镜的内窥镜28能够获得外科手术部位的图像,该内窥镜28能够由病人侧推车22的另一个操纵器23操纵,以便定位和定向内窥镜28。观察推车24能够用来处理来自内窥镜28的外科手术部位的图像,以便通过外科医生控制台16随后显示给外科医生18。一次使用的外科手术工具26的数目除其他因素外一般还取决于诊断或外科手术过程以及手术室内的空间限制。可选地,可以提供一个以上的外科医生控制台,特别是当使用三个或三个以上工具时,从而允许两个外科医生能够合作、传输对器械的控制等,更详细的说明公开在(1999年11月3日提交的)美国专利No.6,659,939中,其内容结合于此供参考。如果需要在手术过程期间可以更换一个或多个正被使用的工具26,则助手20可以在从病人侧推车22取下此时不再使用的工具26并且用手术室里的手术盘30中的另一个工具26替换它。
[0038] 图2是外科医生控制台16的前视图。该外科医生控制台16包括左眼显示器32和右眼显示器34,以便向外科医生18呈现能够加深理解的外科手术部位的协同立体视图。控制台16还包括一个或更多个控制装置36(主动件),其又导致病人侧推车22(示于图1)操纵一个或更多个工具(从动件)。优选地,控制装置36将提供和其关联的工具26(示于图1)同样的自由度,以便为外科医生提供远程显示——控制装置36与工具26是一体的感觉,以便外科医生强烈地感觉到直接控制工具26。为此,可选地使用位置、力和触觉反馈传感器(未示出),以通过控制装置36从工具26往回向外科医生的手传输位置、力和触觉感觉。
[0039] 外科医生控制台16通常设置在和病人相同的房间内以便外科医生可以直接监控手术过程,必要时亲自出席,并且对助手直接说话而不是通过电话或其他通信媒介。但是,应当理解,外科医生能够置身于和病人不同的房间、不同的建筑物或其他遥远的位置,从而允许远程外科手术过程。
[0040] 图3是观察推车24的前视图。该观察推车24能够连接于内窥镜28并且能够包括处理器以便处理捕获的图像从而用于随后显示,例如在外科医生控制台上向外科医生显示,或在本地或远程设置的任何其他合适的显示器上显示。例如,在使用立体内窥镜的情况下,观察推车24能够处理捕获的图像以便向外科医生呈现外科手术部位的协同立体图像。这种协同能够包括相对的图像之间的对齐并且能够包括调节立体内窥镜的立体工作距离。作为另一个例子,图像处理能够包括利用先前确定的摄像机校准参数,以便补偿图像捕获装置的成像误差,诸如光学偏差。能够利用的一些可能的图像处理的示范性细节被描述在转让给Intuitive Surgical,Inc.的许多专利和专利申请中,例如,包括美国专利No.7,277,120(2004年3月7日提交),其整个内容结合于此供参考。
[0041] 图4示意地示出机器人外科手术系统50(例如图1的MIRS系统10),示出部件之间的通信路径。正如上面所讨论的,外科医生控制台52(例如图1的外科医生控制台16)在微创外科手术过程期间能够被外科医生用来控制病人侧推车(外科手术机器人)54(例如图1的病人侧推车22)。病人侧推车54能够利用诸如立体内窥镜的成像装置,来捕获手术部位的图像并且向观察推车56(例如图1的观察推车24)输出捕获的图像。观察推车56在任意随后显示之前能够以各种方式处理捕获的图像。可替代地,病人侧推车54能够输出捕获的图像以用于在观察推车56外部处理。例如,病人侧推车54能够将捕获的图像输出到处理器58,处理器58能够用来处理捕获的图像。图像也能够通过观察推车56和处理器58的组合而被处理,观察推车56和处理器58能够连接在一起以便共同地、顺序地和/或其组合地处理捕获的图像。一个或更多个单独的显示器60也能够连接于处理器58和/或观察推车56,以用于本地和/或远程显示图像,例如手术部位的图像或任意其他有关的图像。
[0042] 这里描述的每个处理器通常包括有形介质(例如,一个或更多个位置和/或储存类型介质)59,其包含用于执行这里描述的一些或全部方法步骤的计算机可读指令或软件。有形介质59可以包括诸如压缩光盘或数字视频光盘的光学记录介质;诸如硬盘驱动器软盘、备份磁带等的磁记录介质;诸如只读存储器随机存取存储器非易失性存储器、内存条的存储器,等。储存在有形介质59中的软件或代码可以经由有形记录介质、互联网或其他网络系统、无线信号传输等被传输给处理器。虽然在图4中示意地示为与处理器58相关联的有形介质,但是软件还可以被保存在许多不同的处理器中,包括外科医生控制台52、病人推车54、观察推车56的处理器和/或处理器58。因此,软件可以在一个或更多个处理器电路或处理器电路板上运行,这些处理器电路或处理器电路板以各种集中的或分布式的数据处理系统结构中的任何一种结构被物理地安装在机器人外科手术系统50的一个或更多个部件上。类似地,软件可以被写成单个的单片码,但是它经常被分成具有在不同处理器电路板上可选地运行的不同代码部分的一系列子例程。这里描述的模所实现的功能通常作为软件(包括包含在有形介质59中的软件代码)、硬件(包括处理器58的处理器电路或机器人外科手术系统50的其他处理器电路板中的一个)和/或适合于规定的数据处理任务的软件和硬件的组合来实现。
[0043] 图5A、图5B和图5C分别示出病人侧推车22、8mm杆外科手术工具62和5mm杆外科手术工具64。外科手术工具62和64是外科手术工具26的例子。所示的病人侧推车22提供三个外科手术工具26和成像装置28的操纵,该成像装置28诸如用于捕获外科手术部位的图像的立体内窥镜。操纵由具有许多机器人接头的机器人机构提供。成像装置28和外科手术工具26(例如,端部执行器66)能够通过病人身上的切口被定位并操纵,从而使得运动学枢转中心25(见图1)保持在切口处,以便使所需切口的尺寸最小。当被定位在成像装置28的视场内时,外科手术部位的图像可以包括外科手术工具26的远端的图像。
[0044] 正如参考图1和图5A能够理解的,每个工具26通常由操纵器23支撑。在外科手术期间操纵器在外科医生控制台16的处理器的引导下运动,以便按照输入的运动命令在内部外科手术部位内移动工具的端部执行器。操纵器23一般由无源支撑连杆27支撑以便允许操纵器和工具在外科手术准备期间能够被手动定位。支撑连杆27有时被称为设定(set up)臂(包括一个或更多个无动力的、可定的设定接头),而且在手术过程期间允许改变工具的位置和取向,其中助手20通常撤回工具、释放设定接头从而从固定构形变化到手动可动构形,移动操纵器23到新的期望位置,并且再一次固定该设定接头。从操纵器23和支撑连杆27两者向外科医生推车16的处理器提供基于接头的数据,以便用于响应来自外科医生18的输入来计算运动命令。
[0045] 参考图5B和图5C,工具62、64通常包括由操纵器23可支撑的近端65和从该近端65延伸到远端69的细长杆67。端部执行器71由连杆73连接于杆67的远端69,其中端部执行器和连杆通常由连杆23的电机驱动。在可替代实施例中,设定接头的至少一些自由度可以是有动力的,且/或操纵器的一些自由度可以是无源的。枢转中心可以由操纵器23的平行连杆结构(被涵盖在所谓远程中心连杆内)限定,或操纵器的无源接头可以允许围绕进入病人身体中的孔口自然地或环境驱使地枢转工具。还有一些可替代方案是可能的,包括冗余接头的从动连杆,其允许提供枢转运动的计算远程中心。
[0046] 参考图6,能够理解用于利用机器人系统50测量的方法110。测量开始于步骤112,其中通过利用脚踏板、下拉菜单、辅助输入装置(例如键盘鼠标等)、对机器人系统或助手的语音命令或者任意各种可替代方式来选择测量模式(mode)。在步骤114,测量标记或其他标识可以被叠加在测量工具上。在只有一个工具用于进行测量的情况下,系统使用者具有关于哪个工具是测量工具的可视标识是有用的。同样,可能有用的是,具有指示来指示出两个工具将用于测量和/或用于被识别的工具上的测量位置(以便使用者不从夹爪的枢点进行测量,例如,当系统将计算距夹爪之间的接合表面的远末端的偏移时)。使用者可以选择或改变哪个工具被用作测量工具,以便标定由支配手(例如,右撇子外科医生的右手)控制的工具,正如在下面更详细地说明的。虽然通常关于来自控制一个或两个器械的单个使用者的输入来描述测量,但是将可选地使用两个以上的器械的协同运动,特别是,当标定三个或三个以上的位置时,当在三个或三个以上位置同时构造组织以测量时等。这里描述的利用三个或三个以上工具的系统和方法的实施例的优点可以在于适应同时来自多个系统使用者的三维输入的输入装置。例如,在他们一次控制三个或三个以上的器械时复式外科医生控制台的设置能够被用来有助于两个外科医生的合作。
[0047] 为了进行实际测量,系统使用者通常操纵主控制器116(例如,图2中的控制装置36),以便用测量工具指示组织位置。系统使用者可以可选地在该位置接合组织,例如使工具轻触组织、触诊组织或者甚至抓取并重新构造该组织。可替代地,使用者可以将工具放在离被准确的点标定的组织足够近的位置而不实际接触该组织。工具的使用能够允许使用者确信即便没有接触该组织,该点标定也是有效的,并且确认被定位在该标记上的位置标记能够进一步增强标记准确度、可重复性和可信度。尽管如此,与组织接触能够提供有用的视觉记号,以证实器械的末端处在想要的深度。
[0048] 一旦工具的测量标记处在期望位置,则使用者之后可以致动输入(例如,通过压下脚踏板等打开和/或关闭主控制器的柄,可选地是与测量工具有关联的一个主控制器或一个不同的主控制器),以便向该系统标定组织位置118。之后,系统能够叠加被标定的组织位置120的标记。被错误标定的位置可选地可以通过替代性输入被去除,例如通过致动与非支配手相关联的主控制器的柄。应当注意,将标记叠加在立体显示器的图像上并且确定该工具位置数据可以利用如图4所示的处理器58来实现,如通过观察推车56的处理器、通过外科手术机器人54的处理器或通过可替代处理器结构。组织位置信息可以包括和/或利用来自从病人侧推车54输出的机器人数据所提供的信息,其中该机器人数据通常包括来自外科医生控制台52和来自病人侧推车54的基于接头的数据。对应于被标定的组织位置的三维位置数据通常至少部分地基于立体的或其他图像捕获装置。在一些实施例中,可以通过处理对系统使用者显示的作为工具和外科手术部位的图像的数据来提供关于在外科手术部位内的工具位置的至少一些信息(更充分的描述公开在共同未决美国专利申请No.12/428,691中(2009年4月23日提交),先前结合于此供参考,且/或来自任何各种可替代的基于图像的工具跟踪系统。)
[0049] 正如上面所指出的,在用机器人工具指示组织位置期间在组织和工具之间的交互作用可以在从靠近(但不接触)组织到主动地抓取并重构该组织的范围内。例如,工具可以重新定位将被测量的组织结构,可选地抓取该组织、使该组织结构变直,使该结构从介入的组织或其他对象后面被取出并显示在摄像机的视场中,等。在一些实施例中,工具将触诊该组织,以便可选地指示软组织表面下方的位置,增强对(多个)测量位置的标定的准确度和可重复性,以及/或者其他类似目的。在工具与组织表面稍微分开的实施例中,各种图像匹配技术可以与来自校准的立体摄像机的数据结合(例如,一个校准的立体摄像机利用与美国专利申请No.12/415,377(2009年3月21日提交)中公开的结构和技术,其整个内容结合于此供参考),以便确定该组织表面和/或结构的3-D位置。一般而言,在左和右图像中的表面、特征或结构的位置与校准信息一起,能够被用来确定结构相对于摄像机的平位置(X-Y)以及在该摄像机和该表面、特征或结构之间的距离(Z)。正如在美国专利申请No.61/204,082(2008年12月31日提交)中所公开的(其整个内容结合于此供参考),左和右立体图像之间的选择性的可靠图像匹配可以有效地并且可靠地识别在外科手术范围中的组织表面上的一个或更多个选定点的相应左和右图像。正如美国专利申请No.61/203,975(2008年12月31日提交,也结合于此供参考)中更详细地公开的,相关技术可选地在适当的工具标记的帮助下能够被用于确定工具的位置。
[0050] 在示范性的稀疏图像匹配技术中,识别来自第一图像的感兴趣的点以用于匹配到第二图像。这些感兴趣的点可以通过将工具末端或类似件置于组织表面上的期望位置或点来被识别,可选地使得该末端被置于系统使用者的支配眼睛中所看见的点上,尽管工具与组织表面保持稍微分开(更具体说,在组织表面和摄像机之间)。被选择性识别的感兴趣的点能够用选择性匹配来匹配第二图像(可选地如非支配眼睛所见)。选择性匹配能够用适合于该图像的局部特性的匹配来匹配被选择性识别的点,可以包括区域匹配、特征匹配、特征插值和/或先前匹配的点的插值。例如,能够响应选择的感兴趣的点而识别区域,并且区域可以用于匹配被选择性识别的感性趣的点。当区域匹配时能够确定区域匹配分值(score),并且对于未充分匹配的区域,未充分匹配区域的特征能够被确定并且被匹配到第二图像,以使得这些特征被用于将感兴趣的点匹配到第二图像。响应未充分区域匹配的这种特征匹配的利用提供了更可靠的匹配且同时仍然提供良好的匹配速度。软核线约束(epi-polar constraint)和/或焦点约束能够被用于评价匹配的感兴趣点,特别是当外科手术范围包括在距组织不同深度处的干扰对象时。当用于特征匹配的置信度分值在限值以下或约束排出了坏点时可以用插值法。
[0051] 作为一个例子,感兴趣的点应当参考组织的右图像的像素位置而被识别。图像匹配的输出一般可以包括在左图像中看见的该组织表面的对应像素位置。每一个像素位置有效地提供用于该眼睛的关联X-Y位置,其中坐标系统之间的视差偏移通常允许按照摄像机校准数据而确定深度。当工具在识别位置时(或如果工具从组织表面位置和摄像机之间移开后挡道的情况下)可以发生匹配,并且位置标记可以从工具传到(snap)组织表面。也可以利用可替代位置识别技术和系统,例如确定在围绕该工具的区域或窗口中的匹配组织表面位置的阵列,确定该工具上的测量位置的位置,并且该标记传到最靠近该工具的组织表面。
[0052] 在第一组织位置被标定之后,继续如图6所示的示范性测量方法100,之后在步骤122系统使用者可以操纵主控制器以将工具移动到下一个期望的组织位置。当工具在呈现给系统使用者的立体图像中运动时,在步骤124在该部位的图像上从先前标定的组织位置到该运动测量工具叠加了拉伸线,更具体地说,是到仍然叠加在测量工具上的标记。在步骤
126在主控制器移动期间可以显示递增数据,包括拉伸线长度等,可选地,总长度(包括在成对的标定组织位置之间的先前的偏移)也可以被叠加在图像上。
[0053] 当标记等被叠加在组织上、在机器人结构上(例如工具)或该图像中所示的其他结构上时,通常有利的是,在呈现给系统使用者的立体图像中标记出现在与下层结构所在相同的相同深度处。虽然各种方法可以用来匹配左和右图像中的位置,以使得标记出现在与下层组织或其他结构相同的深度处,但是公开在共同未决美国专利申请No.61/204,082中的特别有效且可靠的图像匹配技术具有明显的优点,该申请先前结合于此供参考。
[0054] 一旦测量工具已经被接合并且(根据希望)被操纵到下一个组织位置,则在步骤128使用者能够致动输入,以便标定该组织位置。基于从图像中提取的数据(可选地,也利用基于接头的数据或运动学机器人数据来验证基于图像的位置信息),在步骤130偏移数据能够被更新,并且在步骤132另一个标记被叠加在标定的组织位置上。在一些实施例中,拉伸线可以仅仅出现在前一个标定位置和运动工具之间,而可替代实施例可以固定拉伸线线段,以便使用者能够看见已经由多个标定的组织位置所限定的整体轮廓。正如在上面所提到的,标定的组织位置可以从通过对呈现给系统使用者的立体图像的图像处理而获得的工具跟踪数据中提取,并且该数据通常包括组织位置之间的3-D偏移。该数据可以限定包括连接标定的组织位置以便形成轮廓的一系列直线段的3-D多线。可替代实施例可以利用标定的点之间的样条(spline)或其他曲线,或者它们可以使直线伸出到如图像匹配技术所识别的下层组织或最近的组织表面上。如果在步骤134系统使用者指出这是最后的位置(和/或,例如通过有效地包围一个面积、达到预先识别的感兴趣的线段数目等,该系统确定它是最后的位置),则在步骤136可以显示最终测量,其中该显示通常被再次叠加在该外科手术部位。可替代实施例可以利用分离于组织图像的显示数据,或者是显示在组织图像窗口之外的显示数据、或者是显示在单独的显示器上的显示数据、或者是显示在组织图像显示器内的单独的窗口上的显示数据或者是显示在其他类似处的显示数据。使用者可以通过双击主控制器柄、按压脚踏板、致动可替代手柄(或两个柄)或其他类似动作来指示这是最后的位置。如果该位置不被识别为最后的位置,则在步骤122系统可以允许使用者再次操纵主控制器并且标定另外的组织位置,等等。
[0055] 系统50和方法110(包括其变型)可以在微创外科手术过程期间获得在体内的准确3-D测量。这些系统和方法能够综合利用已经研发的机器人外科手术系统(包括从加利福尼亚州的Intuitive Surgical,Inc.可商业获得的da Vinci 外科手术系统)。可替代实施例可以基于或增加到现在正在研发或将来研发的机器人外科手术系统。这里描述的系统和技术可以包括利用图像数据跟踪工具和用图形信息加强外科手术范围(特别是,用示出在测量工具上的或者独立于测量工具的测量指针或标记的3-D叠层图像来加强)。测量位置和工具指示符、拉伸线和其他测量标记以及输出图形(例如,交互的3-D数字化读数)可以出现在图像视场内、图像视场之外但在外科医生的显示器上和/或其他辅助显示系统上的组织或其他结构上。
[0056] 在示范性的实施例中,可以利用与外科医生的立体内窥镜解剖景象一致的被校准立体摄像机模型来产生3-D叠层画面,以使得3-D指示符画面(包括点、线和/或数字化读数)被产生从而在三维中与视场中解剖或其他结构一致地出现。通过以足够的速率更新叠层画面,外科医生可以通过用外科医生控制台16上的主控制输入装置36有效地操作标记来交互地定位3-D标记(见图2)。在进行测量时,移动具有标记的工具使外科医生能够与组织交互作用,这可以避免将标记放在与组织表面不一致的空间位置处,或者避免在该组织表面上方的空间中向着立体图像捕获装置浮动,或者避免在3D空间中在该组织位置之外的组织表面内的有效位置处远离图像捕获装置浮动。
[0057] 优选,足够准确地确定器械末端(或其他测量位置)的笛卡尔位置以便操纵3-D标记进行期望测量。笛卡尔位置通常在摄像机坐标系统中被确定,并且由机器人系统提供的对工具的控制将有助于以预定方式相对于器械末端、背景组织和其他结构等移动标记。为了提供标记位置和运动的期望准确度,可以利用在摄像机景象中跟踪工具位置的基于图像的工具跟踪系统。在可替代实施例中,支撑器械的机器人操纵器(可选地支撑摄像机或其他图像捕获装置的操纵器)可以被校准(通常在外科手术开始之前)以便使得在摄像机坐标系统中的器械末端位置的误差最小化。
[0058] 通过使得3-D叠层画面与关于器械的准确信息相结合,能够实现各种的测量交互。许多这样的测量交互涉及利用按照由系统使用者输入到机器人外科手术系统的运动命令而进行的器械的主-从跟踪。除了影响工具的运动之外,被叠加在外科手术部位的显示上的并且特别是在工具末端上的3-D标记或指针的运动,使得标记紧紧跟随器械末端。当器械末端或工具的远端接触解剖组织时,3-D标记将与解剖组织充分一致,以便允许准确的位置标定。利用按钮或脚踏开关,系统使用者采样标记和器械末端的当前位置。器械和按钮的额外运动也可以被用来采样顺序的点。这些采样点之间的累积的欧几里德距离能够被交互地计算并显示给使用者。通常利用这种基本的器械测量交互,可以支持许多测量模式。因此,外科医生可以测量一系列点中的两个或两个以上点之间的距离。这些点形成开放的或封闭的轮廓。其他量可以从这些点推导出,诸如点的封闭轮廓的表面面积或凸状外壳的体积。可以通过以规则的距离或时间间隔等来自动采样点,从而加快测量长轮廓的交互。
[0059] 除了多边形或多线表征之外,样条或类似的模型由于其天然的平滑度趋势而能够拟合数据以较好地近似组织的结构。当规定点时,拟合过程能够潜在地去掉手运动的一些抖动。3-D点的协方差矩阵能够从观察几何形状而得出,以用于计算出点的误差的非齐次性(通常导致沿着观察方向的较大误差),并且可以有助于拟合过程。
[0060] 在一些模式中,点也可以被用来有效地限定二维或三维参数化几何形状,例如椭圆形、椭球形、软对象(如在计算机图形所用的)等等,这仅仅可选地利用很少几个点位置。例如通过计算二维形状的周长和面积、三维形状的体积等,可以推导出或确定几何形状的性质。
[0061] 通常可以通过增加额外的软件模块到适当装备的机器人外科手术系统中,特别是已经具有基于图像的工具跟踪能力的那些系统中,来实现这里描述的方法和系统。这里描述的虚拟测量软件工具可以支持系统和使用者之间的各种交互模式,以及用于测量计算的不同模式。系统使用者和计算模块之间的一类这样的交互可以包括单手测量,其中(例如)单个工具被用来测量3-D轮廓的长度、封闭轮廓的表面面积和/或其它类似特征。系统使用者和测量计算模块之间的另一类交互可以包括使用两只手和两个关联的工具,其中测量期间工具可选地进行抓取和操纵。这些测量工具通常可以依赖于远程外科手术系统的能力,以准确地确定工具末端执行器或器械末端的位置,以及在系统的显示器上的叠层画面上准确地强化或画出该位置,以使得它与3-D立体视图中的器械末端一致地出现。
[0062] 现在参考图7,示范性数据采样或标定方法150可以被用来采样轮廓或标定位置。系统使用者通常利用其支配手来控制测量器械末端位置,并且他们可以用他们非支配手抓取或致动手柄以便添加或去掉样本。例如右撇子系统使用者通常利用其右手操作工具,用其左手标定和/或去标定位置。对于方法150,假定右手是支配手并且假定左手是非支配手。这可以通过利用设定菜单、下拉菜单等而被改变。
[0063] 在采样或标定方法150整个过程期间,右手可以保持紧紧抓取,以使得器械抓紧器或夹爪保持闭合。这可以在有利结构构造中构造具有夹爪的工具以用于接触组织并标定感兴趣的点,并且也可以可选地向系统识别出测量工具。工具夹爪通常通过闭合主控制器的柄的闸板而被闭合。当右手在步骤152抓取柄时,在步骤154工具能够添加点,这是通过在步骤156用左手简单地抓取以便这个柄同样处于闭合。利用非支配手来添加和去掉点会防止支配手的意外运动,否则这将不利地影响工具定位的准确度。在可替代实施例中,在外科医生控制台上可以设置脚踏板或额外的按钮,优选使得输入致动与工具的可控移位不会相互干扰。当右手在步骤158张开时,通过在步骤162用左手抓取而在步骤160工具能够去掉点。
[0064] 系统与使用者的交互使得在测量模式中总是存在交互地跟踪器械末端的点。系统使用者控制器械以将这个点定位成与被测量的解剖组织一致。当固定在位置上时,可以通过用左手抓取来放置该点,这有效地将点或点标记放在当前位置上,并且增加了将被交互移动的新点。为了进一步改进用户界面的感受,多线形式的视觉化会显示顺序的每对点之间的连线直到并包括器械末端的最后一个点。对于相对于要被测量的解剖组织来对齐轮廓的方向而言,这提供了额外的视觉证实。注意到,采样方法150的流程图假定测量的多线的3-D视觉化在该多线已经改变的任何时刻均针对该操作者被重绘。
[0065] 现在参考图8,图8示出与轮廓相关的测量工具以及这些工具之间的行为的继承关系的分类示意图。这些工具响应按钮按压事件和运动事件,从而处理测量点的位移。这些工具支持图7所示的相同点位移交互模式,但是它们在处理一系列点以产生用于显示的测量文本时在方式上可以是不同的。支持的交互模式包括用于测量两点之间的距离的点对点位移,用于测量任意轮廓的多线点位移,以及用于产生空间上规律化采样的测量的连续点位移。
[0066] 轮廓测量工具也支持连续采样模式或位置标定方法180,如图9所示。方法180产生规律化间隔的样本。操作者可以可选地规定期望的采样容限。该采样容限确定两个样本点之间的最小间隔。可以用在0.1毫米和20毫米之间的容限,其中1毫米容限通常是可行的,以使得1毫米容限可以用作缺省值。以大致类似上面所述的方式来使用左和右抓取从而添加或去掉点,其中距离测量步骤182被用来确定什么时候工具已经被移动到足够远从而使得添加新样本是正确的。可替代的采样方法可以取决于基于时间的周期采样,微分空间量的改变(例如,用响应于工具路径的连续性和/或曲率而得到的样本),或基于空间的和临时的量的一些组合矩阵(例如,用响应工具的速度和/或加速度而获得的样本)等。
[0067] 现在参考图10A和图10B,轮廓工具一般可以依赖于多线3-D对象。这可以被用来储存用来计算长度和面积测量的一系列3-D采样点。利用下面的公式,用多线3-D对象的计算长度方法,能够产生开放轮廓工具的测量值:
[0068] 等式1
[0069] 利用等式1产生封闭轮廓工具的测量,并且然后增加连接于该系列的最后一点到该系列的第一点的线段的长度。封闭轮廓面积通过近似封闭表面面积来计算,可选地利用三角形的棋盘形布置(tessellation)。然后该面积可以通过积分每个三角形的面积而得到。用于棋盘形布置该表面的一种手段是利用在3-D轮廓的质心处具有固定点的三角形扇面。这对于凸状或接近凸状的输入是特别奏效的,这种输入代表要被测量的大多数轮廓。
[0070] 本发明的实施例也可以允许叫做双手交替测量的双手器械交互。这能够被实现以便使得系统使用者能够在用两个抓紧器械操纵组织的同时测量组织长度,其中一些或全部操纵发生在图像捕获装置的景象中。对于这种测量,可以用被用来测量当前被抓取的组织的长度的那些点之间的欧几里德距离来跟踪沿着每个工具的抓紧器的点。交互也允许系统使用者能够顺序地累积被抓取在工具之间的组织的长度。工具之间的距离基于工具抓紧器的铰接处被自动采样且累积。由于使用机器人外科手术系统双手交替的交互作用的性质,一只手能够被假定为抓取(且因此标定)新的位置。一旦新的位置被抓取并且另一只手释放组织,则系统自动采样并累积器械之间的距离。这种采样条件是方便的,因而允许使用者在进行累积测量之前抓取和再抓取,以便当组织被从右手工具释放并且外科医生到达左手工具之外时,在通过释放左手工具标定新的抓取位置之前,外科医生可以在周围移动整个组织或移动其他的组织来让道。此外,系统使用者可以有机会弄直或甚至稍微拉伸被测量的组织以便最佳地近似期望被采样的线性线段的长度。
[0071] 现在参考图11,双手交替数据采样方法200在累积总的测量长度的同时,允许使用者在图像捕获装置的视场内和/或通过图像捕获装置的视场来抓取、操纵和移动组织。交互提供了直觉的双手测量范例,近似于交替使用每只手来沿着长绳拉。交互不限制测量方向和长度。操作者通过进行一系列分段式线性测量,可以测量任意长的或弯曲的样品。
利用这种测量交互的一个例子是在胃肠手术过程中测量出肠的长度。在双手交替采样方法
200中,系统使用者和该系统之间的交互已经被设计成使得允许系统使用者利用用一手抓紧且用另一只手测量的交替方式。该测量开始于,操作者用一只手或另一只手抓取被测量的样品。未抓取的手成为测量手。系统连续地计算并显示与左和右手及主控制输入装置相关联的工具之间的计算距离以及先前测量的运算合计。在步骤202释放抓取手之前,不抓取的手是空着的且在决定期望的抓取以提交测量的长度之前多次释放。在步骤202释放抓取手时,测量被进行并且两只手之间的关系被转换。进行测量包括在步骤204将两个工具之间的计算距离增加到运算合计。在步骤206,由于角色转换,前一次的测量手之后是抓取样本,并且前一次的抓取手现在是空闲以标定新的位置的测量工具。
[0072] 图12是图形地示出利用图像数据的点对点的单线线段测量的屏幕快照。显示的图像220示出已经在其上叠加了标记224的工具222。标记226被示出在一个先前的标定位置上,并且拉伸线228在该先前的标定位置和工具上的标记之间延伸。示出拉伸线的长度的数字图形230被提供成从该拉伸线偏移开且在成像装置的视场内。各种颜色可以用于显示的拉伸线228,以使得它在背景组织上能够被看见。在图12所示的实施例中,拉伸线228是亮绿色。同样,各种颜色可以用于显示的标记。
[0073] 现在参考图13,图13示意地示出多线测量。工具240已经被预先用于标定两个组织位置242、244,并且显示的标记在工具已经继续移动之后被留在这两个位置。线段246仍然被固定在先前的标定位置之间。拉伸线248随工具240运动,并且具体在前一标定位置244和工具上的测量位置250之间延伸。标记252在工具的测量位置250被叠加在工具上,以便在测量期间表现为随工具运动。注意到,被标记的位置不需要(并且通常不)位于一条直线上、在一个平面内等。一旦组织位置被标定之后,当摄像机移动以便观察被测量组织的另一个部分时显示的标记可以随组织被保留。
[0074] 参考图14,图14是能够看见的封闭的多线测量的一个示范性的实施例。注意到,感兴趣的组织结构的周长和/或面积可以被显示,其中在这里的组织结构包括二尖瓣环。不同的颜色可以用于不同的显示标记或线。例如,面积边界线254可以用黄色示出,从该面积的中心258延伸到每个显示标记226的棋盘形布置线256可以用白色示出。棋盘形布置线可以用来计算边界线254内的面积。
[0075] 示范性的双手交替测量方法可以参考图15A和图15B来理解。测量工具260沿着柔性组织或其他结构FT(在这里是测量皮尺)运动,生成示出测量工具260和抓取工具262之间的测量距离的输出。一旦沿着柔性组织FT的期望位置已经被识别并且组织已经被适当地变直和/或拉伸,则测量工具260可以保持为闭合抓取模式,而抓取工具262被释放,该动作更新累积的距离测量以便包括工具之间的最后一个间隔。间隔距离可以再次通过两个工具的角色转换被示出,其中先前的测量工具260现在是抓取工具,如此等等。
[0076] 图15B的图示出利用皮尺测量的双手交替测量交互的验证。线段以三维方式被叠加在器械抓紧器之间,以便呈现被测量的长度。文本信息被交互地显示在线段的中点,以便指示中间和累积的测量长度。
[0077] 其他的实施例可以使得上面描述的许多技术和系统与静止的立体图像结合,以便有助于测量偏移、面积、体积、纵横比等。例如,希望获得运动组织的测量,特别是用于在封闭胸腔心跳过程期间测量心脏的组织结构。为了有助于在这种生理运动期间的准确测量,处理器能够冻结呈现给系统使用者的立体视频图像(例如在外科医生控制台中呈现给一个或更多个外科医生的立体图像,或在关联显示器中呈现给助手或代理人的二维图像)。在标定组织位置的准备期间根据来自系统使用者的输入可以冻结图像,或者响应指示出机器人工具被置于第一组织位置处或其附近的输入可以冻结图像。无论如何,之后,相同的(或不同的)系统使用者可以识别在冻结图像中的一个或更多个组织位置。可选地,能够通过利用外科医生控制台的主动输入装置来操纵3D指针到组织图像的期望位置,从而识别组织位置。可替代地,系统使用者可以简单地标定在两个冻结立体图像之一中的位置。在任何一种情况下,当组织标定命令被处理器接收时,指针可以基于立体图像之一中的指针位置被传到组织表面。当该期望组织位置已经被输入到该冻结图像中时,可以如上面描述的通过三维图像数据来确定三维偏移和测量。虽然所有的组织位置均可以用指针等被可选地指示出,但是使用机器人工具对至少第一位置的指示可以帮助稳定局部组织。为了测量跳动的心脏和/或其他循环地运动的组织,可以捕获时间序列图像并将其用于生成组织运动循环的不同阶段的一系列测量。因此,这样的系统和方法能够(例如)捕获心脏的一系列循环送状态并且进行对这些状态的测量,以加强对各种心脏状况的诊断和治疗。
[0078] 虽然为了清楚理解并且以举例的方式在一些细节中已经描述了示范性的实施例,但是对于本领域的普通技术人员而言各种修改、修正和变化将是很显然的。因此,本发明的范围仅仅由权利要求限定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈