处理医学影像的方法和装置、及影像引导机器人手术系统
阅读：816发布：2020-05-26
专利汇可以提供处理医学影像的方法和装置、及影像引导机器人手术系统专利检索，专利查询，专利分析的服务。并且通过将使用不同的医学影像捕获装置捕获的医学影像映射到彼此来产生在其中将医学影像对齐的合成影像。该合成影像可以在执行患者的诊断或 机器人 手术的同时用于影像引导。，下面是处理医学影像的方法和装置、及影像引导机器人手术系统专利的具体信息内容。
1.一种处理医学影像的方法，该方法包括：
获取使用多个不同的多模态医学影像捕获装置针对预定器官捕获的医学影像；
从每个医学影像中提取包括在每个医学影像中的预定器官的表面信息；
通过使用提取的表面信息将医学影像捕获装置的位置彼此匹配来映射每个医学影像；
以及
基于映射结果产生在其中已经将医学影像对齐的合成影像。
2.如权利要求1所述的方法，其中所述提取表面信息的步骤包括从每个医学影像中提取指示预定器官的表面的位置和形状的至少一个的信息。
3.如权利要求1所述的方法，进一步包括检测医学影像捕获装置的位置，其中所述映射医学影像的步骤包括：
将提取的表面信息彼此比较；以及
基于比较结果将医学影像捕获装置的位置彼此匹配，而且
所述映射医学影像的步骤包括基于匹配结果映射医学影像捕获装置。
4.如权利要求3所述的方法，其中所述比较提取的表面信息的步骤包括针对预定器官的相同部位的表面将提取的表面信息彼此比较。
5.如权利要求1所述的方法，其中所述多个多模态医学影像捕获装置包括内窥镜装置和非内窥镜装置，非内窥镜装置包括超声装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、和正电子发射断层扫描(PET)装置的至少一个。
6.如权利要求5所述的方法，其中所述产生的合成影像是其中同时以三维表示包括在由内窥镜装置捕获的影像中的预定器官外部的组织及预定器官外部的组织的周边的影像、和包括在由非内窥镜装置捕获的影像中的预定器官内外的组织及预定器官内外的组织的周边的影像的影像。
7.如权利要求5所述的方法，其中所述提取表面信息的步骤包括：
从由内窥镜装置捕获的内窥影像中提取指示预定器官的表面的位置和形状的至少一个的第一表面信息；以及
从由非内窥镜装置捕获的非内窥影像提取指示预定器官的表面的位置和形状的至少一个的第二表面信息。
8.如权利要求7所述的方法，其中所述提取第一表面信息的步骤包括：
获取预定器官及其周边的外部组织与内窥镜装置之间的距离信息；
通过使用获取的距离信息产生与内窥影像对应的三维的第一表面模型；以及从产生的三维的第一表面模型中提取第一表面信息。
9.如权利要求7所述的方法，其中所述提取第二表面信息的步骤包括：
从由非内窥镜装置捕获的影像中获取关于指示预定器官的表面的边界的信息；
通过使用获取的边界信息产生与预定器官的表面对应的三维的第二表面模型；以及从产生的三维的第二表面模型中提取第二表面信息。
10.如权利要求9所述的方法，其中所述获取关于边界的信息的步骤包括通过将线检测和边缘检测的至少一个应用于由非内窥镜装置捕获的影像来获取边界。
11.如权利要求1所述的方法，其中所述预定器官对应于将要由手术机器人动手术的部位或将要动手术的部位周围或附近的器官。
12.一种用于处理医学影像的装置，该装置包括：
影像获取单元，用于获取使用多个不同的多模态医学影像捕获装置针对预定器官捕获的医学影像；
表面信息提取器，用于从每个医学影像中提取包括在每个医学影像中的预定器官的表面信息；
影像映射单元，用于通过使用提取的表面信息将医学影像捕获装置的位置彼此匹配来映射每个医学影像；以及
合成影像产生器，用于基于映射结果产生在其中已经将医学影像对齐的合成影像。
13.如权利要求12所述的装置，其中所述表面信息提取器从每个医学影像中提取指示预定器官的表面的位置和形状的至少一个的信息作为表面信息。
14.如权利要求12所述的装置，进一步包括检测器，用于检测医学影像捕获装置的位置，
其中所述影像映射单元包括：
比较器，用于将提取的表面信息彼此比较；以及
位置匹配单元，用于基于比较结果将医学影像捕获装置的位置彼此匹配。
15.如权利要求12所述的装置，其中所述多个多模态医学影像捕获装置包括内窥镜装置和非内窥镜装置，非内窥镜装置包括超声装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、和正电子发射断层扫描(PET)装置的至少一个。
16.如权利要求15所述的装置，其中所述产生的合成影像是其中同时以三维表示包括在由内窥镜装置捕获的影像中的预定器官外部的组织及预定器官外部的组织的周边的影像、和包括在由非内窥镜装置捕获的影像中的预定器官内外的组织及预定器官内外的组织的周边的影像的影像。
17.如权利要求15所述的装置，其中所述表面信息提取器包括：
第一提取器，用于从由内窥镜装置捕获的内窥影像中提取指示预定器官的表面的位置和形状的至少一个的第一表面信息；以及
第二提取器，用于从由非内窥镜装置捕获的非内窥影像中提取指示预定器官的面的位置和形状的至少一个的第二表面信息。
18.如权利要求15所述的装置，其中所述内窥镜装置是腹腔镜装置，并且当所述非内窥镜装置包括超声装置时，该超声装置是经直肠超声(TRUS)装置。
19.如权利要求12所述的装置，其中所述预定器官对应于将要由手术机器人动手术的部位或将要动手术的部位周围的器官。
20.一种用于使用将要动手术的部位的引导影像利用手术机器人执行机器人手术的机器人手术系统，该机器人手术系统包括：
内窥镜装置，用于捕获身体中的将要检查的预定器官的医学影像；
非内窥镜装置包括超声装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、和正电子发射断层扫描(PET)装置的至少一个，用于捕获预定器官的医学影像；
医学影像处理装置，用于获取使用多个多模态医学影像捕获装置捕获的医学影像、从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息、通过使用提取的表面信息将医学影像捕获机器人手术系统的位置彼此匹配来映射每个医学影像、以及基于映射结果产生在其中已经将医学影像对齐的合成影像；
显示装置，用于显示产生的合成影像；以及
手术机器人，用于执行机器人手术。
21.如权利要求20所述的机器人手术系统，其中所述医学影像处理装置从每个医学影像中提取指示预定器官的表面的位置和形状的至少一个的信息作为表面信息。
22.如权利要求20所述的机器人手术系统，其中所述预定器官对应于将要由手术机器人动手术的部位或将要动手术的部位周围或附近的器官。
处理医学影像的方法和装置、及影像引导机器人手术系统
[0001] 对相关申请的交叉引用
技术领域
背景技术
[0004] 不同于人工完成的腹部手术，机器人手术允许外科医生通过监视器的屏幕显示查看患者身体内部的将要动手术的部位，而不需要直接用肉眼查看将要动手术的部位。当外科医生使用计算机断层扫描（CT）影像、磁共振成像（MRI）影像、和超声影像察看将要动手术的部位以后执行机器人手术的时候，存在的限制是机器人手术非常依赖外科医生的经验。即，因为CT影像、MRI影像、和超声影像在手术之前取得，手术依赖于外科医生的经验。此外，已经施行在通过将腹腔镜插入患者的身体以获取将要动手术的部位的影像来观看身体内的实际影像的同时执行机器人手术的方法。然而，因为利用诸如腹腔镜的内窥镜针对将要动手术的部位获取的影像仅仅是患者的内部器官的表面的影像，所以当将要动手术的部位由于被任何器官遮盖或处在任何器官之中而未被内窥镜看到时，外科医生难以察看将要动手术的部位的正确位置和形状。
发明内容
发明内容
[0005] 本公开的一个或多个实施例提供用于处理医学影像的方法和装置、存储用于在计算机或处理器中运行该方法的计算机可读程序的计算机可读记录介质、以及基于处理的医学影像使用影像引导的机器人手术系统。
[0006] 另外的方面部分地将在接下来的描述中阐明，并且部分地通过描述变得显而易见，或者可以通过给出的实施例的实践习得。
[0007] 根据一个或多个实施例，一种处理医学影像的方法包括：使用多个多模态医学影像捕获装置针对预定器官获取医学影像；从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息；通过使用提取的表面信息来映射医学影像；以及基于映射结果产生在其中已经将医学影像对齐的合成影像，并输出或显示合成的影像。
[0008] 根据另一实施例，提供一种存储用于在计算机中运行该医学影像处理方法的计算机可读程序的计算机可读记录介质。
[0009] 根据一个或多个实施例，一种处理医学影像的装置包括：影像获取单元，用于使用多个多模态医学影像捕获装置针对预定器官获取医学影像；表面信息提取器，用于从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息；影像映射单元，用于通过使用提取的表面信息来映射医学影像；以及合成影像产生器，用于基于映射结果产生在其中已经将医学影像对齐的合成影像。
[0010] 根据一个或多个实施例，一种用于通过引导将要动手术的部位的影像、由手术机器人执行机器人手术的机器人手术系统包括：内窥镜装置，用于捕获将要检查的身体中的预定器官的影像；非内窥镜装置，包括超声装置、计算机断层扫描（CT）装置、磁共振成像（MRI）装置、和正电子发射断层扫描（PET）装置的至少一个，用于捕获预定器官的医学影像；医学影像处理装置，用于获取使用多个多模态医学影像捕获装置捕获的医学影像、从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息、通过使用提取的表面信息来映射医学影像、以及基于映射结果产生在其中已经将医学影像对齐的合成影像；显示装置，用于显示产生的合成影像；以及手术机器人，用于根据用户输入执行机器人手术。
[0011] 根据一个或多个实施例，一种处理医学影像的方法包括：使用第一医学影像捕获装置获取活体中的预定器官的第一影像数据，并使用不同于第一医学影像捕获装置的第二医学影像捕获装置获取该预定器官的第二影像数据；从第一影像数据中提取该预定器官的第一表面信息，并从第二影像数据中提取该预定器官的第二表面信息；根据第一医学影像捕获装置和第二医学影像捕获装置的相对位置信息将从第一表面信息获得的第一位置与从第二表面信息获得的第二位置匹配，其中第一位置对应于第二位置；以及基于匹配从第一位置信息和第二位置信息产生合成影像，并输出或显示合成影像。附图说明
[0012] 通过下面结合附图对实施例的描述，这些和/或其他方面将会变得清楚和更加容易理解，其中：
[0013] 图1A是根据本公开的实施例的机器人手术系统的框图；
[0014] 图1B是根据本公开的另一实施例的机器人手术系统的框图；
[0015] 图2是根据本公开的实施例的内窥镜装置和超声装置相对于膀胱的相对位置的概念图；
[0016] 图3是根据本公开的实施例的医学影像处理装置的框图；
[0017] 图4示出描述根据本公开的实施例的在第一提取器中产生第一表面模型以后提取第一表面信息的过程的影像；
[0018] 图5示出描述根据本公开的实施例的在第二提取器中产生第二表面模型以后提取第二表面信息的过程的影像；
[0019] 图6分开地示出图1B的机器人手术系统中的内窥镜装置和超声装置的布置；
[0020] 图7示出根据本公开的实施例的包括在用于在合成影像产生器中产生合成影像的三维超声影像中的信息；
[0021] 图8示出根据本公开的实施例的合成影像；
[0022] 图9是示出根据本公开的实施例的处理医学影像的方法的流程图；
[0023] 图10是示出图9的医学影像处理方法的详细流程图；
[0024] 图11是示出根据本公开的实施例的提取第一表面信息的过程的流程图；以及[0025] 图12是示出根据本公开的实施例的提取第二表面信息的过程的流程图。
具体实施方式
[0026] 现在将详细参照实施例，其示例在附图中示出，其中全部附图中相似的引用数字指示相似的元素。在这点上，实施例可以具有不同的形式并且不应当被解读为限于此处阐述的描述。因此，通过参照附图仅如下阐述实施例以阐明本说明的方面。
[0027] 图1A是示出根据本公开的实施例的机器人手术系统1的框图。参照图1A，机器人手术系统1例如可以包括第一医学影像捕获装置11、第二医学影像捕获装置21、医学影像处理装置30、手术机器人40、和显示装置50。图1A和对应描述中，仅描述与当前实施例关联的硬件组件以避免模糊当前实施例的方面。然而，本领域普通技术人员将理解，硬件组件仅仅被描述作为示例，而且可以在机器人手术系统1中进一步包括其他通用硬件组件。
[0028] 虽然在图1A中机器人手术系统1被示出和描述为包括第一医学影像捕获装置11和第二医学影像捕获装置21作为医学影像捕获装置，但是当前实施例不限于此，并且可以进一步包括一个或多个其他医学影像捕获装置。
[0029] 有各种类型的医学影像捕获装置，诸如内窥镜装置、超声装置、计算机断层扫描（CT）装置、磁共振成像（MRI）装置、和正电子发射断层扫描（PET）装置。以下，除用于捕获内窥影像的医学影像捕获装置之外的全部描述的医学影像捕获装置被称作非内窥镜装置。即，超声装置、CT装置、MRI装置、和PET装置被描述为非内窥镜装置。
[0030] 以下，虽然为了描述方便并且作为示例将机器人手术系统1的第一医学影像捕获装置11描述为诸如腹腔镜装置的内窥镜装置，并且将第二医学影像捕获装置21描述为诸如经直肠超声（TRUS）装置的超声装置，但是当前实施例不限于此。即，第一医学影像捕获装置11和第二医学影像捕获装置21中的每一个可以是包括内窥镜装置、超声装置、CT装置、MRI装置、和PET装置等的医学影像捕获装置中的任何一个。
[0031] 图1B是根据本公开的另一实施例的机器人手术系统100的框图。参照图1B，如上所述，机器人系统100例如可以包括内窥镜装置10、超声装置20、医学影像处理装置30、手术机器人40、和显示装置50。
[0032] 在图1B以及图1A中，仅描述与当前实施例关联的硬件组件以避免模糊当前实施例的方面。
[0033] 机器人手术系统100是通过在患者的身体内做出的小孔插入手术机器人的手臂40并且通过控制手术机器人40的运动以对患者进行手术的系统。保持位于患者的身体外部的外科医生控制手术机器人40的运动。
[0034] 当前，典型地使用美国Intuitive Surgical公司的da （达芬奇）手术系统作为手术机器人40。更详细地，da 是包括直接插入患者的身体中的部分的机器人，该机器人好像外科医生手工直接对患者做手术一样移动。虽然为了描述方便起见在当前实施例中示出da 作为手术机器人40，但是手术机器人40可以对应于用于通过在患者的身体内部的机器人的运动来执行外科手术（以下，称为“手术”或“外科手术”）的其他装置。
[0035] 当外科医生期望通过使用机器人手术系统100的手术机器人40动手术时，外科医生通过参照显示在显示装置50上的在患者的身体内部捕获的医学影像来执行手术。即，当使用机器人手术系统100时，外科医生在借助将预定的透镜单元插入患者的身体来确保通过肉眼不是总能看到的神经细胞、血管、和器官的影像的视野以后进行手术。
[0036] 与传统非机器人腹部手术相比，在机器人手术中，外科医生典型地仅通过显示在显示装置50上的屏幕来察看将要动手术的部位而不直接看到患者的身体内部将要动手术的部位。因而，当使用机器人手术系统100时，将要动手术的部位的正确影像是必需的。
[0037] 具体地，因为典型地执行机器人手术以去除诸如前列腺癌、直肠癌、食道癌、和膀胱癌中的癌变组织，其当在手术期间周围的神经细胞和血管被损害时可能导致严重的副作用和并发症，所以有必要使用显示装置50显示将要动手术的部位的准确和精确的影像。
[0038] 迄今为止，外科医生典型地需要在手术之前观看将要动手术的部位的CT、MRI、超声、或PET影像，并且在手术期间从存储的诊断影像中回忆将要动手术的部位，或者在手术期间观看手术前捕获的影像。然而，因为这些方法非常依赖外科医生的经验，所以难以正确地施行手术。
[0039] 此外，在现有的机器人手术的一些情况下，在观看通过将诸如腹腔镜的内窥镜插入身体中显示的患者身体内部的实际影像的同时施行机器人手术。然而，由腹腔镜获取的将要动手术的部位的影像仅仅是器官的外表面的影像。因而，当将要动手术的部位或表面被器官遮盖或处于器官中并且不在器官的外表面上时，难以利用腹腔镜获取将要动手术的部位的实际影像。作为特定示例，涉及前列腺的手术典型地需要接近或查看被器官遮掩或处于器官中并且不在器官的外表面上的部位或表面。
[0040] 在前列腺手术方面，前列腺具有狭小的将要动手术的部位并且连接到尿道。此外，当前列腺被去除时，因为需要前列腺周围的神经血管束用于维持尿功能和性功能，所以应当保留神经血管束。然而，因为腹腔镜仅提供外部表面组织的影像，所以仅仅利用腹腔镜难以准确地和精确地察看前列腺的位置和形状以避免伤及神经血管束。
[0041] 虽然已经使用经直肠超声（TRUS）装置来改善这些现有的方法，但是存在的限制是提供的是将要动手术的部位的超声影像而不是其实际影像。
[0042] 此外，通过在光学或磁场方案中使用标记来实时检测TRUS装置的位置和方向，已经在手术中获取和使用三维（3D）超声影像。然而，当使用磁场方案时，由于标记与诸如手术机器人的金属材料之间的磁场干扰，标记的位置测量可能不正确。当使用光学方案时，因为在测量标记的位置时标记的范围与手术机器人的运动范围重叠，所以手术机器人的运动受限。
[0043] 还已经使用了通过串联式（tandem）机器人旋转TRUS装置并从TRUS装置获取3D前列腺影像的技术。然而，因为该方法使用额外的串联式机器人，所以手术机器人的运动会受到与串联式机器人的干扰的限制。此外，因为对手术机器人和串联式机器人的位置所需的补偿，所以超声影像可能不能充分地用于实际操作。
[0044] 即，如上所述，当施行机器人手术时，而且具体地，当施行诸如前列腺机器人手术的期望防止周围的神经细胞和血管受到损害的机器人手术时，很少能获取将要动手术的部位的正确影像。因而，无法保证患者的安全。
[0045] 然而，在根据一个或多个当前实施例的机器人手术系统100中，在合成影像中将由多个多模态医学影像捕获装置捕获的多模态医学影像实时地对齐。即，将合成影像的捕获的多模态医学影像对齐以使得器官的相同的位置在每个多模态医学影像中对应。于是，即便将要动手术的部位被器官遮盖或位于器官中时，也可以提供将要动手术的部位的正确影像，从而保证机器人手术的性能或患者的安全。
[0046] 虽然在当前实施例中描述了提供医学影像用于外科医生利用机器人手术系统100施行机器人手术，即，描述了医学影像引导，但是由医学影像处理装置30产生的合成影像不限于在机器人手术系统100中提供的。即，在当前实施例中提供的医学影像可以在其他系统中提供，用于简单地检查或诊断患者以及机器人手术。
[0047] 以下，详细描述根据一个或多个当前实施例的机器人手术系统100中的处理医学影像的过程。
[0048] 作为示例，示出前列腺作为将要动手术的部位。当前列腺是将要动手术的部位时，使用例如膀胱或直肠的位于前列腺周围的预定器官来描述根据当前实施例的医学影像处理。即，预定器官可以是与将由手术机器人40动手术的部位对应的器官或在将要动手术的部位周围的其他器官。
[0049] 此外，本领域普通技术人员将理解，将要动手术的部位可以是患者的其他部位，或者可以使用其他器官施行医学影像处理。
[0050] 回来参照图1B，机器人手术系统100中的内窥镜装置10获取患者的例如膀胱的器官的内窥影像。从而，内窥影像包括患者的膀胱和膀胱的周边的影像。虽然当前实施例中的内窥镜装置10可以对应于腹腔镜装置，但是内窥镜装置10不限于此。
[0051] 超声装置20获取患者的膀胱和膀胱的周边的超声影像，诸如在手术期间获得的实时超声影像。因而，内窥超声影像包括患者的膀胱和膀胱内外周边的超声影像。即，不同于内窥影像，超声影像可以包括关于膀胱内部的组织的信息。虽然当前实施例中的超声装置20可以对应于TRUS装置，但是超声装置20不限于此。
[0052] 图1B中，内窥镜装置10和超声装置20在不同的位置捕获医学影像。即，在机器人手术系统100中，通过单独地控制内窥镜装置10和超声装置20的运动和位置来捕获医学影像。此时，机器人手术系统100连续地将内窥镜装置10和超声装置20的捕获的位置（例如，在机器人手术台上的虚拟坐标）存储在机器人手术系统100的存储单元（未示出）中。
[0053] 图2是示出根据本公开的实施例的内窥镜装置10和超声装置20相对于膀胱的相对位置的概念图。参照图2，当内窥镜装置10是腹腔镜装置时，内窥镜装置10从位于相对高于膀胱的位置获取内窥影像。此外，当超声装置20是TRUS装置时，超声装置20从位于相对低于膀胱的位置获取超声影像。然而，内窥镜装置10和超声装置20的位置仅仅是说明性的，并且可以根据机器人手术环境而改变。
[0054] 回来参照图1B，医学影像处理装置30可以通过将分别从内窥镜装置10和超声装置20获取的内窥影像和超声影像对齐和合成来产生合成影像。参照图3详细描述医学影像处理装置30的操作和功能。
[0055] 图3是根据本公开的实施例的医学影像处理装置30的框图。参照图3，医学影像处理装置30例如可以包括检测器31、影像获取单元32、表面信息提取器33、影像映射单元34、和合成影像产生器35。影像获取单元32例如可以包括内窥影像获取单元321和非内窥影像获取单元322，表面信息提取器33例如可以包括第一提取器331和第二提取器332，而影像映射单元34例如可以包括比较器341和位置匹配单元342。
[0056] 医学影像处理装置30可以对应于处理器，处理器可以通过逻辑门的阵列或通过通用微处理器和存储可由通用微处理器执行的程序的存储器的组合实现。此外，本领域技术人员将理解，医学影像处理装置30可以由其他类型的硬件实现。
[0057] 当期望产生合成影像时，检测器31可以检测存储在上面描述的机器人手术系统100的存储单元（未示出）中的医学影像捕获装置的当前位置。
[0058] 影像获取单元32可以获取使用多个多模态医学影像捕获装置捕获的器官的医学影像，例如，内窥影像和非内窥影像。
[0059] 表面信息提取器33可以从每个医学影像中提取包括在每个医学影像中的器官的表面信息。具体地，表面信息提取器33可以从每个医学影像中提取指示器官的表面的位置和形状的至少一个的信息作为表面信息。
[0060] 影像映射单元34可以通过使用提取的表面信息映射医学影像。具体地，影像映射单元34可以通过使用提取的表面信息将医学影像的位置彼此匹配来映射医学影像。
[0061] 以下，详细描述处理内窥影像的过程，然后详细描述处理诸如超声影像、CT影像、和磁共振（MRI）影像的非内窥影像的过程。
[0062] 内窥影像获取单元321获取使用内窥镜装置（诸如图1B的10所述）捕获的内窥影像。
[0063] 第一提取器331可以从由内窥镜装置（图1B的10）捕获的内窥影像中提取指示器官的表面的位置和形状的至少一个的第一表面信息。即，在当前实施例中，第一提取器331提取关于表示为内窥影像的膀胱的第一表面信息。
[0064] 详细地，第一提取器331可以通过获取膀胱及其周边的外部组织与内窥镜装置10之间的距离信息来产生视差空间影像。根据本公开的实施例，第一提取器331可以通过使用包括两个立体摄像机的内窥镜装置10来产生视差空间影像。根据本公开的另一实施例，第一提取器331可以通过使用更进一步包括用于照射结构光和图案化光的至少一个的射灯（projector）的内窥镜装置10来产生视差空间影像。该情况下，内窥影像获取单元321还可以获取关于从膀胱及其周边的外部组织反射的结构光或图案化光的信息。即，第一提取器331可以通过使用关于结构光或图案化光的信息来计算从内窥镜装置10到膀胱及其周边的外部组织的距离。从而，第一提取器331可以基于计算的距离产生距离影像，诸如视差空间影像。
[0065] 此后，第一提取器331可以通过使用获取的距离信息，诸如，计算的距离或产生的距离影像，来产生与内窥影像对应的3D第一表面模型。
[0066] 最后，第一提取器331可以从第一表面模型中提取指示膀胱的表面的位置和形状的至少一个的第一表面信息。
[0067] 图4示出用于描述根据本公开的实施例的在第一提取器（图3的331）中产生第一表面模型以后提取第一表面信息404的过程的影像401、402、和403。
[0068] 图4的影像401是由内窥镜装置10获取的内窥影像的示例，即，通过将结构光或图案化光照射在膀胱及其周边上获取的实际影像。
[0069] 图4的影像402是与通过使用结构光和图案化光的至少一个产生的距离影像对应的视差空间影像。然而，如上所述，第一提取器（图3的331）可以不使用结构光或图案化光提取视差空间影像。
[0070] 图4的影像403示出通过以上描述的过程由第一提取器（图3的331）产生的第一表面模型。第一提取器（图3的331）从影像403的第一表面模型中提取关于膀胱的表面的形状和位置的第一表面信息404。
[0071] 回来参照图3，非内窥影像获取单元322可以获取使用诸如超声装置（图1B的20）的非内窥镜装置捕获的非内窥影像。
[0072] 第二提取器332可以从由非内窥镜装置捕获的非内窥影像中提取指示器官的表面的位置和形状的至少一个的第二表面信息。即，在当前实施例中，第二提取器332可以提取关于表示为非内窥影像的膀胱的第二表面信息。
[0073] 详细地，首先，第二提取器332从由非内窥镜装置捕获的非内窥影像中获取关于指示膀胱的表面的边界的信息。此时，通过将线检测和边缘检测的至少一个应用于非内窥影像来获取关于边界的信息。
[0074] 当非内窥影像是超声影像时，利用超声相对于器官的表面组织具有高回声反射性的特性。即，第二提取器332使用器官的表面组织在超声影像中显示为相对明亮的线的事实来获取关于边界的信息。
[0075] 当非内窥影像是MRI影像时，基于由于组织的分子结构比率之间的差而在MRI影像中出现的影像反差，第二提取器332通过使用线检测或边缘检测来获取关于边界的信息。
[0076] 同样，当非内窥影像是CT影像时，基于由于组织之间的密度差而在CT影像中出现的影像反差，第二提取器332通过使用线检测或边缘检测来获取关于边界的信息。
[0077] 此后，第二提取器332通过使用获取的边界信息产生与器官（膀胱）的表面对应的3D第二表面模型。此时，第二提取器332可以通过基于获取的边界信息三维地渲染边界来产生3D第二表面模型。
[0078] 最后，第二提取器332从第二表面模型中提取指示从由膀胱的表面的位置和形状构成的组中选择的至少一个的第二表面信息。
[0079] 图5示出用于描述根据本公开的实施例的在第二提取器（图3的332）中产生第二表面模型504以后提取第二表面信息505的过程的影像。
[0080] 参照图5，示出从超声影像501中提取第二表面信息505的过程、从MRI影像502中提取第二表面信息505过程、以及从CT影像503中提取第二表面信息505的过程。根据在机器人手术系统（图1B的100）的环境中使用何种类型的医学影像捕获装置，第二提取器332可以基于以上描述的过程的对应过程提取第二表面信息505。
[0081] 当使用超声影像501时，第二提取器332通过使用上面描述的超声影像特性从每个超声影像501中提取与膀胱的表面对应的边界，并且通过三维地渲染每个边界来产生第二表面模型504。
[0082] 当使用MRI影像502时，第二提取器332通过使用上面描述的MRI影像特性从每个MRI影像502提取与直肠的表面对应的边界，并且通过三维地渲染每个边界来产生第二表面模型504。
[0083] 当使用CT影像503时，第二提取器332通过使用上面描述的CT影像特性从每个CT影像503提取与直肠的表面对应的边界，并且通过三维地渲染每个边界来产生第二表面模型504。
[0084] 第二提取器332基于第二表面模型504表示的边界信息来提取指示器官的形状和位置的至少一个的第二表面信息505。
[0085] 即，根据在机器人手术系统（图1B的100）的环境中使用的医学影像捕获装置的类型，第二提取器332可以基于用于超声影像501、MRI影像502、和CT影像503的过程的对应的一个来提取第二表面信息505。
[0086] 回来参照图3，影像映射单元34可以使用提取的表面信息来映射医学影像。
[0087] 详细地，影像映射单元34可以使用提取的第一表面信息和提取的第二表面信息将医学影像的位置彼此匹配来映射医学影像。如图1B所示，当使用内窥镜装置10和超声装置20时，使用第一表面信息和第二表面信息匹配从内窥镜装置10和超声装置20获得的器官的位置来映射内窥影像和超声影像。
[0088] 更详细地描述映射过程。影像映射单元34例如可以包括比较器341和位置匹配单元342，如上所述。
[0089] 因为第一表面信息和第二表面信息各自提供关于器官（膀胱）的相同部位的表面的信息，所以比较器341可以将第一表面信息与第二表面信息比较。因而，比较器341针对器官的相同部位的表面将第一表面信息与第二表面信息比较。此时，比较器341可以使用诸如迭代最近点（ICP）算法的公知算法来执行比较，或者可以使用其他算法。
[0090] 位置匹配单元342可以基于比较结果将检测器31检测的医学影像捕获装置的位置彼此匹配。
[0091] 结果，影像映射单元34基于匹配结果映射医学影像。
[0092] 图6分开地示出图1B的机器人手术系统100中的内窥镜装置10和超声装置20的示例布置。参照图6，内窥镜装置10对应于腹腔镜装置，而超声装置20对应于TRUS装置。
[0093] 在机器人手术系统100中，内窥镜装置10的虚拟位置遵循Xcamera坐标系，而超声装置20的虚拟位置遵循XUS坐标系。即，因为使用不同的坐标系表示内窥镜装置10的位置和超声装置20的位置，所以内窥镜装置10和超声装置20的位置彼此独立。
[0094] 然而，内窥镜装置10的位置和超声装置20的位置可以基于相同的准则而彼此匹配。为此，根据当前实施例，影像映射单元34可以使用第一表面信息和第二表面信息作为该准则。更详细地，第一表面信息和第二表面信息各自包括关于器官（膀胱）的相同部位的表面的信息。因而，Xcamera坐标系和XUS坐标系可以基于从内窥影像提取的第一表面信息和从超声影像提取的第二表面信息而彼此匹配。结果，内窥镜装置10的位置和超声装置20的位置也可以彼此匹配。
[0095] 回来参照图3，合成影像产生器35可以基于映射结果产生在其中将医学影像对齐的合成影像。即，合成影像产生器35可以产生在其中将医学影像对齐的合成影像以使得器官的相同位置在每个多模态医学影像中对应。产生的合成影像可以是与器官及其周边相关的3D医学影像。更详细地，产生的合成影像是通过三维地表示包括在由内窥镜装置10捕获的影像中的器官及其周边的外部组织的影像、以及包括在由非内窥镜装置20捕获的影像中的器官及其周边的内外组织的影像两者而获取的影像。产生的合成影像可以对应于一种从每个多模态医学影像的合成得到的增强现实影像。
[0096] 通过将内窥影像和非内窥影像对齐以使得器官的位置在内窥影像和非内窥影像中相同，最终产生由合成影像产生器35产生的合成影像。
[0097] 内窥影像自身对应于器官及其周边的实际3D影像。然而，难以从内窥影像察看关于器官内外的组织的形状和位置的信息。例如，难以察看关于在器官内部或位于其他组织后面的组织的形状和位置的信息。
[0098] 通常，非内窥影像可以对应于器官的一组截面影像。然而，诸如超声影像、CT影像、或MRI影像的非内窥影像包括一种针对器官及其周边的内外的组织的荧光透视信息。因而，获取的非内窥影像包括关于器官内外的组织以及隐藏在其他组织后面的组织的形状和位置的信息。因此，当内窥影像和非内窥影像被合成时，外科医生可以正确地察看关于实际器官及其周边内外的组织的信息，使得外科医生施行相对准确和精确的手术。
[0099] 根据使用的医学影像捕获装置（图1A的11和21）的类型，诸如超声影像、CT影像、或MRI影像的非内窥影像可以是2D影像或3D影像。如果获取的非内窥影像对应于如图5所示的多个2D非内窥影像，则合成影像产生器35可以通过使用诸如立体渲染的多种公知方法的任何一种从2D非内窥影像产生3D非内窥影像以产生合成影像。
[0100] 图7示出根据本公开的实施例的可以包括在用于在合成影像产生器35中产生合成影像的3D超声影像中的信息。图7示出其中使用TRUS装置的示例。参照图7，如上所述，超声影像包括针对例如膀胱的器官内外的组织的形状和位置的一种荧光透视信息。因而，3D超声影像三维地示出膀胱的外表面701的形状和位置、前列腺702的位置、以及膀胱周围的神经束703的位置。膀胱的外表面701的形状和位置是包括在第二表面信息中的信息。虽然图7实际上不是3D超声影像，但是本领域普通技术人员将理解，3D超声影像典型地包括这些种类的信息（对应于参考数字701、702、和703的信息）。
[0101] 回来参照图3，合成影像产生器35可以通过将内窥影像和非内窥影像对齐来产生合成影像。
[0102] 回来参照图1A和图1B，显示装置50可以用于显示由合成影像产生器35产生的合成影像。机器人手术系统1或100通过向施行机器人手术的外科医生提供合成影像使用显示装置50来执行影像引导。显示装置50包括用于显示视觉信息以向用户提供信息的设备，诸如，通用监视器、液晶显示（LCD）显示器、发光二极管（LED）显示器、或标度（scale）显示设备。
[0103] 回来参照图3，如果位置匹配单元342使用第一表面信息和第二表面信息实时地匹配内窥镜装置（图1B的10）的位置和超声装置（图1B的20）的位置，则由处于不同位置的不同装置获取的相同器官的不同影像可以实时地连续地彼此映射。因而，合成影像产生器35可以通过连续地对齐内窥影像和非内窥影像来连续地产生合成影像，以使得显示装置50实时地显示合成影像而不管内窥镜装置（图1B的10）和超声装置（图1B的20）的运动。
[0104] 根据本公开的实施例，虽然显示装置50按照原样显示产生的合成影像，但是可以根据机器人手术系统1或100的使用环境来控制显示装置50以仅显示包括在合成影像中的影像信息当中的感兴趣的部分区域。即，当内窥影像和非内窥影像被合成时，在实施例中可以控制显示装置50以仅显示包括在非内窥影像中的感兴趣的部分区域的前列腺801的位置和神经束802的位置。此外，如果关于前列腺801和神经束802的位置的信息被预处理，则显示装置50可以将合成影像连同预定部位与前列腺801和神经束802对应的信息一起显示。
[0105] 图8示出根据本公开的实施例的合成影像。参照图8，通过将膀胱及其周边的内窥影像与具有关于膀胱内外的诸如前列腺801和神经束802的组织的位置的信息的超声影像进行合成来获取合成影像。
[0106] 图9是示出根据本公开的实施例的处理医学影像的方法的流程图。参照图9，根据当前实施例的医学影像处理方法可以包括由图1A、图1B、和图3中示出的机器人手术系统1或100的医学影像处理装置30处理的顺序操作。因而，虽然以下进行了省略，但是参照图1A、图1B、和图3描述的内容也适用于根据当前实施例的医学影像处理方法。
[0107] 在操作901中，影像获取单元32获取使用多个多模态医学影像捕获装置捕获的器官的医学影像。
[0108] 在操作902中，表面信息提取器33从每个医学影像中提取包括在每个医学影像中的器官的表面信息。
[0109] 在操作903中，影像映射单元34通过使用提取的表面信息来映射医学影像。
[0110] 在操作904中，合成影像产生器35基于映射结果产生在其中将医学影像对齐的合成影像。
[0111] 图10是示出根据本公开的实施例的图9的医学影像处理方法的详细流程图。同样地，虽然以下进行了省略，但是参照图1A、图1B和图3描述的内容也适用于根据当前实施例的医学影像处理方法。
[0112] 在操作1001中，例如通过内窥影像获取单元321获取使用内窥镜装置10捕获的内窥影像。
[0113] 在操作1002中，例如通过第一提取器331从由内窥镜装置10捕获的内窥影像中提取指示器官的表面的位置和形状的至少一个的第一表面信息。
[0114] 在操作1003中，例如通过非内窥影像获取单元322获取使用诸如超声装置20的非内窥镜捕获的非内窥影像。
[0115] 在操作1004中，例如通过第二提取器332从由非内窥镜装置捕获的非内窥影像提取指示器官的表面的位置和形状的至少一个的第二表面信息。
[0116] 可以并行地同时执行操作1001和操作1003，或者可以首先执行操作1001和操作1003中的任何一个。即，操作1001和操作1002可以独立于操作1003和操作1004执行而不彼此影响。
[0117] 在操作1005中，例如通过影像映射单元34使用第一表面信息和第二表面信息来映射医学影像。
[0118] 在操作1006中，例如通过合成影像产生器35基于映射结果产生在其中将医学影像对齐的合成影像。
[0119] 图11是示出根据本公开的实施例的提取第一表面信息的过程的流程图。
[0120] 参照图11，在操作1101中，例如通过第一提取器331获取器官及其周边的外部组织与内窥镜装置10之间的距离信息。
[0121] 在操作1102中，例如通过第一提取器331使用获取的距离信息产生与内窥影像对应的3D第一表面模型。
[0122] 在操作1103中，第一提取器331可以接着从产生的第一表面模型中提取第一表面信息。
[0123] 图12是示出根据本公开的实施例的提取第二表面信息的过程的流程图。
[0124] 参照图12，在操作1201中，例如通过第二提取器332从由非内窥镜装置20捕获的非内窥影像中获取关于指示器官的表面的边界的信息。
[0125] 在操作1202中，第二提取器332可以通过使用获取的边界信息产生与器官的表面对应的3D第二表面模型。
[0126] 在操作1203中，第二提取器332可以从产生的第二表面模型中提取第二表面信息。
[0127] 如上所述，根据本公开的一个或多个上述实施例，可以通过基于包括在医学影像中的信息而不是使用人工标记来实时对齐医学影像以减少由于在影像对齐中使用人工标记引起的复杂和不便。具体地，可以减少在机器人手术期间由于金属标记与手术机器人之间的干扰造成的影像对齐准确度降低。
[0128] 此外，通过实时地产生在其中将内窥影像和非内窥影像对齐的合成影像，可以向外科医生提供患者的正确诊断影像，或者可以在机器人手术系统中提供正确的影像引导。因此，通过在机器人手术中提供将要动手术的部位的正确医学影像，可以正确地察看将要动手术的部位和将要被保留的部位，从而改善手术表现。此外，当未来机器人手术自动化时，可以提供用于正确地控制机器人的信息。
[0129] 本公开的实施例可以被编写为计算机程序或程序指令并且可以在使用非暂时性计算机可读记录介质运行该程序的通用计算机中实现。此外，本公开的实施例中使用的数据结构可以以各种方式记录在计算机可读记录介质里。
[0130] 所述介质可以包括单独的或与程序指令组合的数据文件、数据结构等。非暂时性计算机可读记录介质的示例包括：诸如硬盘、软盘、和磁带的磁介质；诸如CD ROM光盘和DVD的光介质；诸如光磁盘的磁光介质；以及诸如只读存储器（ROM）、随机存取存储器（RAM）、闪速存储器等特别配置用于存储和执行程序指令的硬件设备。
[0131] 程序指令的示例既包括诸如由编译器产生的机器代码，也包括包含可以由计算机使用解释器执行的高级代码的文件。所述的硬件设备可以被配置用于充当一个或多个软件模块以便执行上述实施例，或者反之。这里描述的任何一个或多个软件模块可以由所述单元特有的专用处理器或由一个或多个模块共用的处理器执行。所述方法可以在通用计算机或处理器上执行，或者可以在诸如这里描述的装置的特定机器上执行。
[0132] 虽然已经参照其示范性实施例具体地示出和描述本公开，但是本领域普通技术人员将理解，可以在形式和细节上进行各种改变而不脱离由所附权利要求限定的本公开的精神和范围。示范性实施例应当被认为仅是描述性的，而非为了限制的目的。因此，本公开的范围不是由本公开的详细说明限定，而是由所附权利要求限定，而且该范围内的全部差异将被认为包括在本公开中。
[0133] 虽然已经示出和描述若干实施例，但是本领域技术人员不难理解，可以在这些实施例中作出改变而不背离其范围由所附权利要求及其等价物限定的本公开的原理和精神。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 低场强磁共振成像 | 2020-05-12 | 108 |
| 机器人系统的运动执行 | 2020-05-12 | 618 |
| 用于指导用户定位机器人的方法和系统 | 2020-05-13 | 745 |
| 一种手术定位装置以及机器人手术系统 | 2020-05-24 | 188 |
| 处理医学影像的方法和装置、及影像引导机器人手术系统 | 2020-05-26 | 816 |
| 手术辅助定位系统 | 2020-05-11 | 302 |
| 用于全关节成形术中的基于计划、数字化、以及配准的植入物 | 2020-05-18 | 852 |
| ROBOT ASSISTED VOLUME REMOVAL DURING SURGERY | 2020-05-18 | 759 |
| METHOD AND APPARATUS FOR POSITIONING A WORKSTATION FOR CONTROLLING A ROBOTIC SYSTEM | 2020-05-19 | 82 |
| OPTIC FIBER CONNECTION FOR A FORCE SENSING INSTRUMENT | 2020-05-20 | 369 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
机器人手术学热门专利
-
1 固体花菁染料
QQ群二维码
意见反馈
意见反馈