背景技术
[0001] 在
微创手术(MIS)期间，手术中超声
探头可以用于提供手术部位的二维(2D)截面视图。在MIS期间，临床医生通常抓握超声探头，使得手术抓紧器工具或超声探头作为其自己的从属工具轴的一部分。超声探头放置为与感兴趣的组织区域
接触并来回移动，以便在超声显示器上看到手术部位的2D截面视图图像。超声显示器通常不同于
内窥镜显示器，该内窥镜显示器示出从用于直接观察手术部位的内窥镜捕获的图像。内窥镜显示器可以用于指导超声探头的操纵。
[0002] 2D截面视图可以展示关于在手术部位处/或邻近的组织表面下方的结构的状态的信息。通常，临床医生操纵超声探头并在心里注意到手术部位处/或邻近的结构。在临床医生移除超声探头以开始或继续外科手术之后，临床医生必须记住结构在手术部位处/或邻近的
位置。如果临床医生在外科手术期间需要提醒2D截面视图，则暂停外科手术，然后重新激活超声探头以重新获取2D截面视图并刷新临床医生的记忆。外科手术的这种暂停可能导致外科手术流程的中断。外科手术流程的这种中断可能促进临床医生不要暂停外科手术而用超声探头重新获取2D截面视图。通过在外科手术期间不暂停以重新获取2D截面视图，可以降低外科手术期间所作的决策的
质量。
[0003] 需要允许临床医生在外科手术期间查看外科手术期间的感兴趣点处的超声图像。通过在外科手术期间识别感兴趣点，可以改善手术决策。
发明内容
[0004] 在本公开的一个方面，一种使手术部位
可视化的方法包含：用超声系统扫描手术部位，用第一标签在所述手术部位的截面视图内标记第一感兴趣区域或感兴趣点，以及在第二显示器上用相机查看所述手术部位。所述第二显示器显示表示所述第一标签的第一标记。
[0005] 在各方面中，用所述超声系统扫描所述手术部位包含将超声探头插入患者的体腔中。显示表示第一标签的第一标记可以包含在所述第二显示器上显示与所述第一感兴趣区域或感兴趣点有关的信息。所述方法可以包含切换所述第一标记以在所述第二显示器上显示与所述第一感兴趣区域或感兴趣点有关的信息。
[0006] 在一些方面，在所述第二显示器上用相机查看所述手术部位包含控制单元将所述第一标签定位在由所述第一相机捕获的图像内。将所述第一标签定位在由所述相机捕获的图像内可以包含根据由所述相机捕获的多个图像确定所述第一标签在所述手术部位内的深度。将所述第一标签定位在由所述相机捕获的图像内可以包含使用来自所述相机的图像的基于
像素的识别来确定所述第一标签在由所述相机捕获的图像内的位置。
[0007] 在特定方面，所述方法包含冻结所述第一显示器，使得在所述第一显示器上可查看所述手术部位的特定截面视图。在所述第二显示器上用所述相机查看所述手术部位可以包含在所述第二显示器上显示所述手术部位的所述图像之前，从用所述相机捕获的所述手术部位的图像去除失真。
[0008] 在某些方面，该方法包含用第二标签在所述手术部位的所述截面视图内标记第二感兴趣区域或感兴趣点，并在所述第二显示器上查看表示由所述第二标签的第二标记。查看表示所述第二标签的第二标记包含在所述第二显示器上显示与所述第二感兴趣区域或感兴趣点有关的信息。所述方法可以包含切换所述第二标记以在所述第二显示器上显示与所述第二感兴趣区域或感兴趣点有关的信息。所述方法还可以包含独立于切换所述第二标记，切换所述第一标记以在所述第二显示器上显示与所述第一感兴趣区域或感兴趣点有关的信息。
[0009] 在本公开的另一方面，一种手术系统包含超声系统、内窥镜系统和处理单元。所述超声系统包含超声探头和超声显示器。所述超声探头被配置成捕获手术部位的截面视图。所述超声显示器被配置成显示由所述超声探头捕获的所述手术部位的截面视图。所述内窥镜系统包含内窥镜和内窥镜显示器。所述内窥镜具有被配置成捕获所述手术部位的图像的相机。所述内窥镜显示器被配置成显示由所述相机捕获的所述手术部位的所述图像。所述处理单元被配置成接收第一感兴趣区域或感兴趣点在所述手术部位的截面视图内的位置，并在所述第二显示器上显示表示所述第一感兴趣区域或感兴趣点的第一标记。
[0010] 在多个方面，所述超声显示器是
触摸屏显示器，所述触摸屏显示器被配置成接收指示所述第一感兴趣区域或感兴趣点在所述手术部位的所述截面视图内的位置的标签。所述处理单元可以被配置成在所述第二显示器上显示所述手术部位的所述图像之前，从用所述相机捕获的所述手术部位的图像去除失真。所述处理单元可以被配置成使用来自所述相机的图像的基于像素的识别将所述第一感兴趣区域或感兴趣点定位在所述相机捕获的图像内。
[0011] 进一步地，在一致的程度上，本文描述的任何方面可以与本文描述的任何或所有其他方面结合使用。
附图说明
[0012] 下面参照附图描述本公开的各个方面，这些附图被并入本
说明书并构成本说明书的一部分，其中：
[0013] 图1是根据本公开的超声系统的透视图，该超声系统包含超声探头、位置场发生器、处理单元、超声显示器和内窥镜显示器；
[0014] 图2是图1所示的细节区域的剖视图，展示了图1所示的超声探头和患者的体腔内的内窥镜；
[0015] 图3是图1的超声显示器的视图，展示了手术部位的二维截面图像；和[0016] 图4是图1的内窥镜显示器的视图，展示了手术部位和手术部位内的手术器械的远侧部分的图像。
具体实施方式
[0017] 现在参照附图详细描述本公开的
实施例，在附图中，相同的附图标记在若干视图的每个视图中指示相同或相应的元件。如本文所使用的，术语“临床医生”是指医生、护士或任何其他护理提供者，并且可以包含支援人员。在整个说明书中，术语“近侧”是指装置或其部件的最靠近临床医生的部分，而术语“远侧”是指装置或其部件的距临床医生最远的部分。
[0018] 现在参照图1，根据本公开提供的手术系统1包含超声成像系统10和内窥镜系统30。超声成像系统10包含处理单元11、超声显示器18和超声探头20。
[0019] 超声成像系统10被配置成在超声显示器18上提供患者“P”的体腔内的感兴趣区域的2D截面视图或2D图像切片。临床医生可以与超声成像系统10以及可以包含相机的内窥镜36交互，以在外科手术期间使患者“P”的手术部位“S”的表面和表面下的部分可视化，如下详述。
[0020] 超声探头20被配置成从患者“P”的体腔的表面产生手术部位“S”的2D截面视图，和/或可以插入穿过与手术部位“S”相邻的体腔内的开口(自体开口或切口)。处理单元11接收手术部位“S”的2D截面视图，并在超声显示器18上传输2D截面视图的表示。
[0021] 内窥镜系统30包含控制单元31、内窥镜36和内窥镜显示器38。另外参照图2，内窥镜36可以包含各自安置在内窥镜36的远侧部分上或中的相机33和
传感器37。相机33被配置成捕获显示在内窥镜显示器38上的手术部位“S”的图像。控制单元31与相机33通信并且被配置成将由相机33捕获的图像传输到内窥镜显示器38。控制单元31与处理单元11通信，并且可以与处理单元11集成。
[0022] 参照图1至图4，根据本公开描述了使用超声系统10和内窥镜系统30对手术部位“S”成像。最初，超声探头20定位成在患者体腔之内或之外邻近于手术部位“S”，以捕获手术部位“S”的2D截面视图。超声探头20被操纵以提供手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点的2D截面视图。应当理解，当超声探头20位于内窥镜36的相机33的视图内时，扫描整个手术部位“S”，使得在获取2D截面视图时超声探头20的位置可以与手术部位“S”的2D截面视图相关联。在扫描手术部位“S”时，在获取每个2D截面视图时，处理单元11和/或控制单元31记录2D截面视图，并将2D截面视图与超声探头20在手术部位“S”内的位置相关联。
[0023] 当内窥镜36查看手术部位“S”时，内窥镜36的相机33捕获手术部位“S”的实时图像以在内窥镜显示器38上查看。在用超声探头20扫描手术部位“S”之后，其他手术器械(例如抓紧器或牵开器46形式的手术器械)可以插入穿过与内窥镜36相同或不同的开口以接近手术部位“S”以在手术部位“S”处执行外科手术。
[0024] 如下详述的，在扫描手术部位“S”期间记录的手术部位“S”的2D截面视图可供临床医生在外科手术期间查看。当相机33捕获实时图像时，图像显示在内窥镜显示器38上。临床医生可以选择手术部位“S”的感兴趣区域或感兴趣点以在内窥镜显示器38上进行检查。当在内窥镜显示器38上选择感兴趣区域或感兴趣点时，控制单元31确定感兴趣区域或感兴趣点在手术部位“S”内的位置，并将
信号发送至处理单元11。处理单元11从控制单元31接收信号并且显示当在扫描手术部位“S”期间超声探头20定位在感兴趣区域或感兴趣点处或附近时所提取的记录的2D截面视图。记录的2D截面视图可以是固定图像，或可以是感兴趣区域或感兴趣点的视频剪辑。
[0025] 当所记录的2D截面视图是感兴趣区域或感兴趣点的视频剪辑时，该视频剪辑的持续时间可以为约1秒至约10秒。视频剪辑的持续时间可以是预设的，或者可以由临床医生在外科手术之前或期间选择。可以设想，视频剪辑可以被循环，使得其连续地重复。
[0026] 为了指示内窥镜显示器38上的感兴趣区域或感兴趣点，临床医生可以在内窥镜显示器38上的图像中以
电子或视觉方式“标记”或“标示”感兴趣区域或感兴趣点。为了在内窥镜显示器38上的图像中以电子或视觉方式标记感兴趣区域或感兴趣点，临床医生可以使用任何已知的手段，包括但不限于：用
手指或
触控笔触摸显示器；使用
鼠标、触控板或类似的指向装置在内窥镜显示器38上移动指示器；使用
语音识别系统；使用眼动追踪系统；在
键盘上打字；和/或其组合。
[0027] 为了确定感兴趣区域或感兴趣点在手术部位“S”内的位置，控制单元31处理来自相机33的实时图像。控制单元31可以从实时图像去除失真，以提高确定感兴趣区域或感兴趣点的位置的准确性。可以设想，控制单元31可以利用来自相机33的实时图像的基于像素的识别来识别感兴趣区域或感兴趣点在来自相机33的实时图像内的位置。附加地或替代地，可以从来自相机33的多个实时图像中估计感兴趣区域或感兴趣点的位置。具体地，在内窥镜36围绕手术部位“S”移动期间捕获的多个相机图像可以用于估计感兴趣区域或感兴趣点在手术部位“S”内的深度。
[0028] 在实施例中，
立体内窥镜可以用于基于立体内窥镜的深度成像能
力来确定手术部位“S”内的结构的深度。结构的深度可以用于更准确地估计感兴趣区域或感兴趣点在来自相机33的图像中的位置。
[0029] 在确定手术部位“S”的感兴趣区域或感兴趣点的位置的情况下，处理单元11显示在上面详述的扫描手术部位“S”期间记录的与识别的感兴趣区域或感兴趣点的位置相关联的2D截面视图。临床医生可以观察2D截面视图以使感兴趣区域或感兴趣点处的表面下的结构可视化。通过使感兴趣区域或感兴趣点处的表面下的结构可视化，无需使用超声探头20重新扫描感兴趣区域或感兴趣点，可以提高临床医生对感兴趣区域或感兴趣点的情境
感知。
[0030] 附加地或替代地，在外科手术期间，临床医生可以用超声探头20重新扫描手术部位“S”内的感兴趣区域或感兴趣点，以使由外科手术影响的变化可视化。可以设想，临床医生可以通过将实时2D截面视图与感兴趣区域或感兴趣点处记录的2D截面视图进行比较来使超声显示器18上的变化可视化。为了使超声显示器18上的变化可视化，临床医生可以将实时的或记录的2D截面视图彼此
叠加。
[0031] 在查看2D截面视图之前、期间或之后，临床医生可以在内窥镜显示器38上的图像内“标示”感兴趣区域或感兴趣点，如图4中的标签62、64、66所表示的。标签62至66可以包含关于当用内窥镜36围绕感兴趣区域或感兴趣点查看手术部位“S”时可能不明显的感兴趣区域或感兴趣点(例如神经、血管、疤痕组织、血流等)的信息。可以想到，临床医生可以在标示感兴趣区域或感兴趣点之前、之后或期间冻结内窥镜显示器38上的图像。利用在内窥镜显示器38上标示的感兴趣区域或感兴趣点，临床医生可以继续外科手术。与标记感兴趣区域或感兴趣点相似，临床医生可以使用任何已知的手段在内窥镜显示器38上标示感兴趣区域或感兴趣点。
[0032] 另外，在查看超声显示器18时，临床医生可以识别手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点。当临床医生在显示器18上识别出感兴趣区域或感兴趣点时，临床医生可以在显示器18上的图像中以电子或视觉方式“标记”或“标示”感兴趣区域或感兴趣点，如图3中的标签68所表示的。为了以电子或视觉方式标示显示器18上图像中的感兴趣区域或感兴趣点，临床医生可以使用如上详述的任何已知手段。标签68可以包含关于当用内窥镜36围绕感兴趣区域或感兴趣点查看手术部位“S”时可能不明显的感兴趣区域或感兴趣点(例如神经、血管、疤痕组织、血流等)的信息。可以想到，临床医生可以在标记感兴趣区域或感兴趣点之前、之后或期间冻结超声显示器18上的图像。利用在超声显示器18上标示的感兴趣区域或感兴趣点，临床医生可以继续用超声探头20扫描手术部位“S”，并以电子或视觉方式在显示器18上标示指示手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点的后续感兴趣区域或感兴趣点。利用在超声显示器18上标示的感兴趣区域或感兴趣点，临床医生可以继续用超声探头20扫描手术部位“S”，并以电子或视觉方式在超声显示器18上标示指示手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点的后续感兴趣区域或感兴趣点。
[0033] 当感兴趣区域或感兴趣点被标示在超声显示器18上(例如标签68)时，超声探头20在手术部位“S”内的位置用标签(例如标签68')标记在内窥镜显示器38上，以在超声显示器18上表示标签。
[0034] 在外科手术期间向标签62、64、66、68'提供手术部位处或邻近手术部位的感兴趣区域或感兴趣点的信息而无需临床医生暂停手术可以增加临床医生在外科手术期间的情境感知和/或可以减少外科手术期间临床医生的认知负担。增加临床医生的情境感知和/或减少临床医生的认知负担可以改善患者的手术效果。
[0035] 如图所示，标签62、64、66、68'可以各种形状显示，包含球形、立方体、菱形、感叹号。标签62、64、66、68'的形状可以指示与相关联的标签62、64、66、68'有关的信息的类型。另外，标签62、64、66、68'可以具有指示标签中含有的信息的
颜色。例如，标签62在标签的信息与血管相关时可以为蓝色，或者在标签的信息与组织相关时可以为黄色。
[0036] 可以想到，标签62、64、66、68'可以被保存以用于后续的外科手术。在对患者进行外科手术之前，临床医生可以将患者的包含来自先前手术的标签的简档加载到处理单元11和/或控制单元31中。当内窥镜36的相机33捕获实时图像时，控制单元31识别手术部位“S”内的结构以定位和放置标签，例如来自先前外科手术的标签62、64、66、68'。当在手术部位“S”中识别出相似的结构时，控制单元31将标签放置在内窥镜显示器38上的图像内，从而以与上文详述类似的方式向临床医生提供先前外科手术中关于感兴趣区域或感兴趣点的附加信息和/或其2D截面视图。
[0037] 如上详述并返回参照图1，手术系统1包含超声显示器18和单独的内窥镜显示器38。然而，手术系统1可以包含具有多个窗口和/或面板的分屏的单个监测器，在监测器上的窗口或面板中的相应一个中可以看到超声显示器18和内窥镜显示器38中的每一个。
[0038] 尽管已经在附图中示出了本公开的若干实施例，但是不旨在将本公开限制于此，因为旨在使本公开的范围与本领域所允许的一样宽，并且同样地阅读说明书。还设想了以上实施例的任何组合，并且它们在所附
权利要求的范围内。因此，以上描述不应解释为限制性的，而仅是特定实施例的例示。本领域技术人员将设想在所附权利要求的范围内的其他
修改。
