医疗成像系统、方法和计算机程序
阅读：884发布：2020-05-12
专利汇可以提供医疗成像系统、方法和计算机程序专利检索，专利查询，专利分析的服务。并且描述了一种医疗成像系统，该医疗成像系统包括：加热元件，被配置为将至少一个加热图案元件应用于物质以局部加热该物质； 传感器 ，被配置为在应用加热图案元件之后在预定时间捕获受热物质的 位置 ；以及 电路 ，被配置为在预定时间之后基于所捕获的受热物质的位置确定应用于该物质的加热图案的变化。，下面是医疗成像系统、方法和计算机程序专利的具体信息内容。
1.一种医疗成像系统，包括：加热元件，被配置为将至少一个加热图案元件应用于物质以局部加热所述物质；传感器，被配置为在应用所述加热图案元件之后在预定时间捕获受热物质的位置；以及电路，被配置为在所述预定时间之后基于所捕获的所述受热物质的位置确定应用于所述物质的加热图案的变化。
2.根据权利要求1所述的医疗成像系统，其中，所述加热元件还被配置为将布置为加热图案的多个加热图案元件应用于所述物质。
3.根据权利要求2所述的医疗成像系统，其中，具有所述加热图案的每个加热图案元件的尺寸基本上相同。
4.根据权利要求1所述的医疗成像系统，其中，所述加热元件被配置为发射红外辐射以加热所述物质。
5.根据权利要求3所述的医疗成像系统，其中，所述加热元件还被配置为发射可见光谱中的光。
6.根据权利要求1所述的医疗成像系统，其中，所述加热元件是激光发射装置。
7.根据权利要求6所述的医疗成像系统，其中，所述加热元件是布置在所述内窥镜装置的远端上的垂直空腔表面发射激光器。
8.根据权利要求1所述的医疗成像系统，其中，所述电路被配置为通过比较在所述预定时间之后捕获的图像与先前捕获的图像来确定所述物质的移动。
9.根据权利要求1所述的医疗成像系统，其中，所述电路被配置为在通过所述传感器捕获之前将图像防抖应用于所述图像。
10.根据权利要求1所述的医疗成像系统，其中，所述物质是流体并且所述电路被配置为基于所述加热图案在限定时间段的变化确定所述流体的移动。
11.根据权利要求10所述的医疗成像系统，其中，所述电路被配置为基于所述移动确定所述流体的来源。
12.根据权利要求1所述的医疗成像系统，其中，所述电路被配置为基于所述加热图案的变化确定加热的扩散率。
13.根据权利要求12所述的医疗成像系统，其中，所述电路被配置为基于所述扩散率确定所述物质的特性。
14.根据权利要求1所述的医疗成像系统，其中，所述电路被配置为利用所述物质的移动注释所捕获的图像并且显示所注释的图像。
15.根据权利要求10所述的医疗成像系统，其中，所述电路被配置为利用所述流体的来源注释所捕获的图像并且显示所注释的图像。
16.根据权利要求2所述的医疗成像系统，还包括透镜布置并且所述电路被配置为调整所述透镜布置的焦距，使得多个所述加热元件的子集在焦点上。
17.根据权利要求1所述的医疗成像系统，所述系统还包括图像传感器，所述图像传感器用于对包括至少红色、绿色和蓝色组分的内窥镜图像成像。
18.根据权利要求1所述的医疗成像系统，其中，所述传感器被配置为检测红外波长光。
19.根据权利要求18所述的医疗成像系统，其中，所述传感器被配置为检测可见波长光。
20.一种医疗成像系统中的方法，所述方法包括将至少一个加热图案元件应用于物质以局部加热所述物质；在应用所述加热图案元件之后在预定时间捕获受热物质的位置；并且在所述预定时间之后基于所捕获的所述受热物质的位置确定应用于所述物质的所述加热图案的变化。
21.一种包含计算机可读指令的计算机程序产品，所述计算机可读指令在被加载到计算机上时配置所述计算机以执行根据权利要求20所述的方法。
医疗成像系统、方法和计算机程序
技术领域
[0001] 本公开涉及医疗成像系统、方法和计算机程序。
背景技术
[0002] 本文中提供的“背景”描述是为了通常呈现本公开的上下文的目的。某种程度描述在背景技术部分的、目前署名的发明人的工作以及申请时未另限定为现有技术的说明方面，既没有明确地也没有暗示地承认作为本公开的现有技术。
[0003] 执行内窥镜检查(诸如，医疗内窥镜检查或工业内窥镜检查)时的问题是识别流体泄漏的来源。在医疗内窥镜领域中，例如，可能存在作为内部出血的来源的伤口，或者在工业内窥镜中，在引起流体泄漏的导管中可能存在断裂。
[0004] 根据伤口或断裂的严重程度，找到泄漏的来源可能是时间关键。因此，本公开的目的是帮助找到内窥镜检查中的泄漏来源。
[0005] 此外，许多不同的物质存在于内窥镜检查环境中，期望的是确定不同物质的存在和身份。本公开的另一目的是帮助确定内窥镜检查中的不同物质的存在和身份。
[0006] 引用列表
[0008] [非专利文献1]‘Contextual Point Matching for Video Stabilization’,Meng,et al.,NSF Prism Grant DMS-0928427
[0009] [非专利文献2]‘Digital Video Stabilization and Rolling Shutter Correction Using Gyroscopes’,Karpenko et al.,Stanford Tech Report CTSR2011-03[0010] [非专利文献3]‘Video Stabilization Based on a 3D Perspective Camera Model’,Zhang et al.,Vis Comput DOI 10.1007/s00371-009-0310-z。
发明内容
[0011] 一种医疗成像系统，包括：加热元件，被配置为将至少一个加热图案元件应用于物质以局部加热该物质；传感器，被配置为在应用加热图案元件之后在预定时间捕获受热物质的位置；以及电路，被配置为在预定时间之后基于所捕获的受热物质的位置确定应用于该物质的加热图案的变化。
附图说明
[0013] 当结合附图考虑时，通过参考以下详细描述，当更好地理解本公开及其许多伴随优点时，将更容易地获得对本公开及其许多伴随优点的更完整的理解。图1是描述了内窥镜手术系统的示意性配置的实例的视图。
[0014] 图2是描述了在图1中描述的摄像头和摄像机控制单元(CCU)的功能配置的实例的框图。
[0015] 图3A至图3C示出了根据本公开的实施方式的加热图案。
[0016] 图3A至图3C示出了根据本公开的实施方式的加热图案。
[0017] 图3A至图3C示出了根据本公开的实施方式的加热图案。
[0018] 图4示出了存储在图1或图2的存储器中的表。
[0019] 图5示意性地示出了物质的移动。
[0020] 图6A至图6E示意性地示出了物质的移动和分散。
[0021] 图6A至图6E示意性地示出了物质的移动和分散。
[0022] 图6A至图6E示意性地示出了物质的移动和分散。
[0023] 图6A至图6E示意性地示出了物质的移动和分散。
[0024] 图6A至图6E示意性地示出了物质的移动和分散。
[0025] 图7和图8进一步示出了物质的移动的表示。
[0026] 图7和图8进一步示出了物质的移动的表示。
[0027] 图9进一步示出了物质的分散的表示。
[0028] 图10示出了说明本公开的实施方式的流程图。
[0029] 图11示出了说明本公开的实施方式的流程图。
[0030] 图12和图13示出了说明识别流体流动的来源的示意图。
[0031] 图12和图13示出了说明识别流体流动的来源的示意图。
[0032] 图14示出了说明本公开的又一实施方式的示意图。
[0033] 图15A至图15C示出了可以应用于内窥镜图像的注释。
[0034] 图15A至图15C示出了可以应用于内窥镜图像的注释。
[0035] 图15A至图15C示出了可以应用于内窥镜图像的注释。
[0036] 图16A至图16C示出了说明使用加热图案的物质分化的示意图。
[0037] 图16A至图16C示出了说明使用加热图案的物质分化的示意图。
[0038] 图16A至图16C示出了说明使用加热图案的物质分化的示意图。
[0039] 图17至图19示出了说明根据本公开的实施方式的注释图像的示意图。
[0040] 图17至图19示出了说明根据本公开的实施方式的注释图像的示意图。
[0041] 图17至图19示出了说明根据本公开的实施方式的注释图像的示意图。
具体实施方式
[0042] 现在参考附图，其中，贯穿几个视图，相同的参考数字表示相同或相应的部分。
[0043] 4.应用
[0044] <<4.应用>>
[0045] 根据本公开的实施方式的技术可以应用于各种产品。例如，根据本公开的实施方式的技术可以应用于内窥镜手术系统、手术显微镜检查或医疗成像系统或者在比如说导管或管道铺设或故障寻找中的其他种类的工业内窥镜检查。
[0046] 图1是描绘了可以应用根据本公开的实施方式的技术的内窥镜手术系统5000的示意性配置的实例的视图。在图1中，示出了外科医生(医生)5067正在使用内窥镜手术系统5000为病床5069上的患者5071执行手术的状态。如所描述的，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、在其上支撑内窥镜5001的支撑臂设备5027、以及用于内窥镜手术的各种设备安装在其上的手推车5037。
[0047] 在内窥镜手术中，代替切开腹壁来执行剖腹术，将称为套管针5025a至5025d的多个管状开孔装置用于刺破腹壁。然后，通过套管针5025a至5025d将内窥镜5001的透镜筒5003和其他手术工具5017插入到患者5071的体腔中。在描述的实例中，作为其他手术工具
5017，将气腹管5019、能量治疗工具5021和钳子5023插入到患者5071的体腔中。进一步地，能量治疗工具5021是通过高频电流或超声波振动执行切割和烧蚀组织或者密封血管等的治疗工具。然而，描述的手术工具5017都是实例，并且例如，还可以将通常用于内窥镜手术的各种手术工具(诸如，一对镊子和牵引器)用作手术工具5017。
5017，将气腹管5019、能量治疗工具5021和钳子5023插入到患者5071的体腔中。进一步地，能量治疗工具5021是通过高频电流或超声波振动执行切割和烧蚀组织或者密封血管等的治疗工具。然而，描述的手术工具5017都是实例，并且例如，还可以将通常用于内窥镜手术的各种手术工具(诸如，一对镊子和牵引器)用作手术工具5017。
[0048] 通过内窥镜5001成像的患者5071的体腔中的手术区域的图像显示在显示设备5041上。外科医生5067在实时的基础上观看显示在显示设备5041上的手术区域的图像的同时使用能量治疗工具5021或钳子5023来进行这种治疗，例如，切除患部。应注意，尽管未描述，但是气腹管5019、能量治疗工具5021和钳子5023在手术期间由外科医生5067、助手等握持。
[0049] (支撑臂设备)
[0050] 支撑臂设备5027包括从底座单元5029延伸的臂单元5031。在描述的实例中，臂单元5031包括关节部分5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制设备5045的控制下驱动。内窥镜5001由臂单元5031支撑，使得控制内窥镜5001的位置和姿态。因此，可以实现内窥镜5001的位置稳定固定。
[0051] (内窥镜)
[0052] 内窥镜5001包括从其远端的一定长度的区域插入到患者5071的体腔中的透镜筒5003、以及连接至透镜筒5003的近端的摄像头5005。在描述的实例中，内窥镜5001被描述为包括具有硬质的透镜筒5003的硬质镜。然而，内窥镜5001另外可以被配置为具有软质的透镜筒5003的软质镜。
[0053] 在透镜筒5003的远端处具有安装物镜的开口。光源设备5043连接至内窥镜5001，使得通过光源设备5043生成的光通过在透镜筒5003内部延伸的光导引导到透镜筒的远端，并且通过物镜照射向患者5071的体腔中的观察目标。应注意，内窥镜5001可以是直视镜或者可以是透视镜或侧视镜。
[0054] 摄像头5005的内部设置有光学系统和图像拾取元件，使得来自观察目标的反射光(观察光)通过光学系统聚集在图像拾取元件上。观察光通过图像拾取元件光电转换以生成对应于观察光的电信号，即，生成对应于观察图像的图像信号。图像信号作为RAW数据传输到CCU 5039。应注意，摄像头5005具有结合在其中的用于适当地驱动摄像头5005的光学系统以调节放大倍数和焦距的功能。
[0055] 应注意，为了例如与立体视觉(三维(3D)显示)建立兼容性，多个图像拾取元件可以设置在摄像头5005上。在这种情况下，多个中继光学系统设置在透镜筒5003内部以便将观察光引导至多个图像拾取元件中的每一个。
[0056] (结合在手推车中的各种设备)
[0057] CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且集中控制内窥镜5001和显示设备5041的操作。具体地，CCU 5039对从摄像头5005接收的图像信号进行各种图像处理用于基于图像信号显示图像，诸如，例如显影处理(去马赛克处理)。CCU 5039将已经进行了图像处理的图像信号提供至显示设备5041。进一步地，CCU 5039将控制信号传输至摄像头5005以控制摄像头5005的驱动。控制信号可包括与图像拾取条件有关的信息，诸如，放大倍数或焦距。
[0058] 显示设备5041在CCU 5039的控制下基于通过CCU 5039进行的图像处理的图像信号显示图像。如果内窥镜5001准备以诸如4K(3840个水平像素×2160个垂直像素)、8K(7680个水平像素×4320个垂直像素)等的高分辨率成像和/或准备3D显示，则高分辨率的对应显示和/或3D显示是可行的显示设备可以用作显示设备5041。在其中准备以诸如4K或8K的高分辨率成像的情况下，如果用作显示设备5041的显示设备具有等于或不小于55英寸的尺寸，则可以获得更深的沉浸式体验。进一步地，根据该目的，可以提供具有不同分辨率和/或不同尺寸的多个显示设备5041。
[0060] 臂控制设备5045包括诸如CPU的处理器并且根据预定程序操作，以根据预定控制方法控制支撑臂设备5027的臂单元5031的驱动。
[0061] 输入设备5047是用于内窥镜手术系统5000的输入接口。通过输入设备5047，用户可以进行将各种信息和指令输入至内窥镜手术系统5000。例如，通过输入设备5047，用户将输入与手术相关的各种信息，诸如，患者的物理信息以及有关手术的手术流程的信息等。进一步地，例如，通过输入设备5047，用户将输入驱动臂单元5031的指令、通过内窥镜5001改变图像拾取条件的指令(照射光的类型、放大倍数和焦距等)、驱动能量治疗工具5021的指令等。
[0062] 输入设备5047的类型不受限制并且可以是各种已知的输入设备中的任一个。例如，可以应用例如鼠标、键盘、触摸板、开关、脚踏开关5057和/或操纵杆等作为输入设备5047。在触摸板用作输入设备5047的情况下，触摸板可以设置在显示设备5041的显示面上。
[0063] 另外，例如，输入设备5047是安装在用户上的装置，例如，眼镜型的可穿戴装置或头戴式显示器(HMD)，并且响应于通过任一所述装置检测到的用户的手势或视线来执行各种输入。进一步地，输入设备5047包括可以检测用户的运动的摄像机，并且响应于从通过摄像机成像的视频检测到的用户的姿势或视线来执行各种输入。进一步地，输入设备5047包括可以收集用户的声音的麦克风，并且通过麦克风收集的声音来执行各种输入。以此方式，通过将输入设备5047配置为使得可以以非接触方式输入各种信息，具体地，属于洁净区的用户(例如，外科医生5067)可以以非接触方式操作属于非洁净区的设备。进一步地，因为用户可以操作设备而无需从其手中释放持有的手术工具，因此改善用户的便利性。
[0064] 治疗工具控制设备5049控制能量治疗工具5021的驱动以烧灼或切割组织、密封血管等。为了确保内窥镜5001的视野和确保外科医生的工作空间的目的，气腹设备5051通过气腹管5019将气体馈入患者5071的体腔中以使体腔充气。记录器5053是能够记录与手术相关的各种信息的设备。打印机5055是能够将与手术有关的各种信息以诸如文本、图像或图表的各种形式打印的设备。
[0065] 在下文中，具体地，更详细地描述内窥镜手术系统5000的特性配置。
[0066] (支撑臂设备)
[0067] 支撑臂装置5027包括用作底座的底座单元5029、以及从底座单元5029延伸的臂单元5031。在描述的实例中，臂单元5031包括多个关节部分5033a、5033b和5033c以及通过关节部分5033b彼此连接的多个连杆5035a和5035b。在图A1中，为了简化起见，以简化的方式描述了臂单元5031的配置。实际上，可以适当地设定关节部分5033a至5033c和连杆5035a和5035b的形状、数量和布置、以及关节部分5033a至5033c的旋转轴线的方向等，使得臂单元
5031具有期望的自由度。例如，臂单元5031优选地可以被配置为具有的自由度等于或不小于6个自由度。这使得可以在臂单元5031的可移动范围内自由移动内窥镜5001。因此，变得可以从期望方向将内窥镜5001的透镜筒5003插入到患者5071的体腔中。
5031具有期望的自由度。例如，臂单元5031优选地可以被配置为具有的自由度等于或不小于6个自由度。这使得可以在臂单元5031的可移动范围内自由移动内窥镜5001。因此，变得可以从期望方向将内窥镜5001的透镜筒5003插入到患者5071的体腔中。
[0068] 在关节部分5033a至5033c中的每一个中设置有致动器，并且关节部分5033a至5033c被配置为通过各个致动器的驱动可围绕其预定旋转轴线旋转。通过臂控制设备5045控制致动器的驱动以控制关节部分5033a至5033c中的每一个的旋转角，从而控制臂单元
5031的驱动。因此，可以实现对内窥镜5001的位置和姿势的控制。因此，臂控制设备5045可以通过各种已知的控制方法(诸如，受力控制或者位置控制)控制臂单元5031的驱动。
5031的驱动。因此，可以实现对内窥镜5001的位置和姿势的控制。因此，臂控制设备5045可以通过各种已知的控制方法(诸如，受力控制或者位置控制)控制臂单元5031的驱动。
[0069] 例如，如果外科医生5067通过输入设备5047(包括脚踏开关5057)合适地执行操作输入，则可以响应于操作输入通过臂控制设备5045合适地控制臂单元5031的驱动以控制内窥镜5001的位置和姿态。通过刚才描述的控制，在将臂单元5031的远端处的内窥镜5001从任意位置移动至不同的任意位置之后，可以在移动后的位置处固定地支撑内窥镜5001。应注意，可以以主从方式操作臂单元5031。在这种情况下，可以通过放置在远离手术室的地方处的输入设备5047由用户远程操作臂单元5031。
[0070] 进一步地，在施加受力控制的情况下，臂控制设备5045可以执行动力辅助控制以驱动关节部分5033a至5033c的致动器，使得臂单元5031可以通过用户接收外力并且跟随外力平稳移动。当用户直接与臂单元5031接触并移动臂单元5031时，这使得能够利用比较弱的力移动臂单元5031。因此，用户通过更简单且更容易的操作更直观地移动内窥镜5001变得可行，并且可以改善用户的便利性。
[0071] 在此，通常在内窥镜手术中，内窥镜5001由称为内窥镜操作者(scopist)的医生握持。相反，在使用支撑臂设备5027的情况下，可以在不用手的情况下更可靠地固定内窥镜5001的位置，并且因此，可以稳定获得手术区域的图像并且可以平稳地执行手术。
[0072] 应注意，臂控制设备5045不一定必须设置在手推车5037上。进一步地，臂控制设备5045不一定必须是单个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元
5031的关节部分5033a至5033c中的每一个中，使得多个臂控制设备5045可以彼此协作来实现臂单元5031的驱动控制。
5031的关节部分5033a至5033c中的每一个中，使得多个臂控制设备5045可以彼此协作来实现臂单元5031的驱动控制。
[0073] (光源设备)
[0074] 一旦手术区域成像，光源设备5043将照射光供应给内窥镜5001。例如，光源设备5043包括例如包括LED的白色光源、激光源或者这两个的结合。在白色光源包括红色、绿色和蓝色(RGB)激光源的结合的情况下，因为可以利用高精确度控制每个颜色(每个波长)的输出强度和输出时间，因此可以通过光源设备5043执行拾取图像的白平衡的调整。进一步地，在这种情况下，如果来自各个RGB激光源的激光以分时的方式照射在观察目标上并且与照射时间同步控制摄像头5005的图像拾取元件的驱动，则可以以分时的方式拾取分别对应于R、G和B颜色的图像。根据刚才描述的方法，即使不为图像拾取元件提供滤色器也可以获得彩色图像。
[0075] 进一步地，可以控制光源设备5043的驱动，使得在每个预定时间改变要输出的光强度。通过与改变光强度的时刻同步控制摄像头5005的图像拾取元件的驱动以分时获取图像并合成图像，可以生成没有曝光不足的过厚阴影和过度曝光的高光的高动态范围的图像。
[0076] 进一步地，光源设备5043可以被配置为供应为特殊光观察准备的预定波长带的光。这可包括但不局限于诸如由垂直空腔表面激光器提供的激光或任何种类的激光。可替换地或此外，光可以是红外(IR)光。在特殊光观察中，例如，与依据普通观察的照射光(即，白光)相比，通过利用身体组织中的光吸收的波长依赖性照射较窄频带的光，进行以高对比度使诸如粘膜表面部分的血管等预定组织成像。可替换地，在特殊光观察中，可以进行利用通过辐射激发光生成的荧光获得图像的荧光观察。在荧光观察中，可以通过将激发光照射在身体组织上执行从身体组织观察荧光(自身荧光观察)，或者将诸如吲哚菁绿(ICG)的试剂局部注射到身体组织并且根据身体组织照射对应于该试剂的荧光波长的激发光以获得荧光图像。光源设备5043可以被配置为供应适用于如上所述的特殊光观察的这种窄频带光和/或激发光。光源还可以将加热图案应用于区域。随后将参考图3A至图3C说明该加热图案。在实施方式中，光源设备5043是可以产生电磁光谱的可视部分中的光并且一些产生电磁光谱的红外部分中的光的垂直空腔表面发射激光器(VCSEL)。在这方面，光源设备5043还可以作为照亮该区域的可见光源。光源设备5043被配置为产生光的图案。在图3A至图3C中示出了这些图案。
[0077] (摄像头和CCU)
[0078] 参考图2将更详细地描述内窥镜5001的摄像头5005和CCU 5039的功能。图2是描述了图1中描述的摄像头5005和CCU 5039的功能配置的实例的框图。
[0079] 参考图2，摄像头5005具有透镜单元5007、图像拾取单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015作为其功能。进一步地，CCU 5039具有通信单元5059、图像处理单元5061和控制单元5063作为其功能。摄像头5005和CCU 5039可通过传输电缆5065彼此双向通信地连接。
[0080] 首先，描述的是摄像头5005的功能配置。透镜单元5007是设置在摄像机头5005至透镜筒5003的连接位置处的光学系统。从透镜筒5003的远端拍摄的观察光被引导至摄像头5005，并且进入透镜单元5007。透镜单元5007包括多个透镜的结合，多个透镜包括变焦透镜和聚焦透镜。透镜单元5007具有调整的光学特性使得观察光被聚集在图像拾取单元5009的图像拾取元件的光接收面上。进一步地，变焦透镜和聚焦透镜被配置为使得它们光轴上的位置是可移动的以用于调节拾取图像的放大倍数和焦点。
[0081] 图像拾取单元5009包括图像拾取元件并且被布置在透镜单元5007的后续阶段处。穿过透镜单元5007的观察光被聚集在图像拾取元件的光接收面上，并且通过图像拾取元件的光电转换生成对应于观察图像的图像信号。通过图像拾取单元5009生成的图像信号提供至通信单元5013。
[0082] 作为由图像拾取单元5009包括的图像拾取元件，例如，使用具有Bayer阵列且能够以彩色拾取图像的互补金属氧化物半导体(CMOS)类型的图像传感器。应注意，对于图像拾取元件，可以使用准备以例如等于或不小于4K的高分辨率对图像成像的图像拾取元件。如果以高分辨率获得手术区域的图像，则外科医生5067可以更详细地了解手术区域的状态并且可以更平稳地进行手术。
[0083] 进一步地，图像拾取单元5009包括的图像拾取元件包括使其具有一对图像拾取元件，该图像拾取元件用于获取与3D显示一致的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5067可以更准确地了解手术区域中的活体组织的深度。应注意，如果图像拾取单元5009被配置为多片式，则透镜单元5007的多个系统被设置为对应于图像拾取单元5009的单独的图像拾取元件。
[0084] 图像拾取单元5009可能不一定被设置在摄像头5005上。例如，图像拾取单元5009可以设置在透镜筒5003内部中，直接在物镜的后面。
[0085] 驱动单元5011包括致动器并且在摄像头控制单元5015的控制下，通过沿着光轴的预定距离移动透镜单元5007的变焦透镜和聚焦透镜。因此，可以适当地调节通过图像拾取单元5009的拾取图像的放大倍数和焦点。
[0086] 通信单元5013包括用于将各种信息传输至CCU 5039和从CCU 5039接收各种信息的通信设备。通信单元5013通过传输电缆5065将从图像拾取单元5009获取的图像信号作为RAW数据传输至CCU 5039。因此，为了在低延迟下显示手术区域的拾取图像，图像信号优选地通过光通信传输。这是因为在手术时，外科医生5067在通过拾取图像观察患部的状态的同时进行手术，因此为了实现更安全和更可靠的手术，要求尽可能实时显示手术区域的移动图像。在应用光通信的情况下，通信单元5013中设置有将电信号转换为光信号的光电转换模块。在图像信号通过光电转换模块被转换为光信号之后，通过传输电缆5065被传输至CCU 5039。
[0087] 进一步地，通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。控制信号包括与图像拾取条件有关的信息，诸如，指定拾取图像的帧速率的信息、指定图像拾取的曝光值的信息和/或指定拾取图像的放大倍数和焦点的信息。通信单元5013将所接收的控制信号提供至摄像头控制单元5015。应注意，还可以通过光通信传输来自CCU 5039的控制信号。在这种情况下，通信单元5013中设置有用于将光信号转换为电信号的光电转换模块。在控制信号通过光电转换模块转换为电信号之后，将其提供至摄像头控制单元5015。
[0088] 应注意，基于获取的图像信号通过CCU 5039的控制单元5063自动设定图像拾取条件，诸如，帧速率、曝光值、放大倍数或焦点。换言之，在内窥镜5001中结合了自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
[0089] 摄像头控制单元5015基于通过通信单元5013接收的CCU 5039的控制信号来控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息来控制图像拾取单元5009的图像拾取元件的驱动。进一步地，例如，摄像头控制单元5015基于指定拾取图像的放大倍数和焦点的信息控制驱动单元5011以适当地移动透镜单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015还可以包括存储用于识别透镜筒5003和/或摄像头5005的信息的功能。
[0090] 应注意，通过将诸如透镜单元5007和图像拾取单元5009的部件布置在具有高度气密且防水的密封结构中，摄像头5005具备高压灭菌过程的抵抗力。
[0091] 现在，描述的是CCU 5039的功能结构。通信单元5059包括用于将各种信息传输至摄像头5005和从摄像头5005接收各种信息的通信设备。通信单元5059通过传输电缆5065接收从摄像头5005传输至此的图像信号。因此，如上所述，图像信号优选地可以通过光通信传输。在这种情况下，为了与光通信兼容，通信单元5059包括将光信号转换为电信号的光电转换模块。通信单元5059将转换为电信号之后的图像信号提供至图像处理单元5061。
[0092] 进一步地，通信单元5059将用于控制摄像头5005的驱动的控制信号传输至摄像头5005。控制信号还可以通过光通信传输。
[0093] 图像处理单元5061对以从摄像头5005传输至此的RAW数据形式的图像信号进行各种图像处理。例如，图像处理包括各种已知的信号处理，诸如，显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、噪音减弱(NR)处理和/或图像稳定性处理)和/或放大处理(电子变焦处理)。进一步地，图像处理单元5061对图像信号进行检波处理以便进行AE、AF和AWB。
[0094] 图像处理单元5061包括诸如CPU或GPU的处理器，并且根据预定程序使处理器操作时，可以执行上述图像处理和检波处理。应注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061合适地划分与图像信号有关的信息，使得通过多个GPU同时执行图像处理。
[0095] 控制单元5063执行与通过内窥镜5001的手术区域的图像拾取和拾取图像的显示有关的各种控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。因此，如果由用户输入图像拾取条件，则控制单元5063基于用户的输入生成控制信号。可替换地，在内窥镜5001具有结合在其中的AE功能、AF功能和AWB功能的情况下，控制单元5063响应于通过图像处理单元5061的检波处理的结果合适地计算最佳曝光值、焦距和白平衡，并且生成控制信号。
[0096] 进一步地，控制单元5063控制显示设备5041基于通过图像处理单元5061执行图像处理的图像信号显示手术区域的图像。因此，控制单元5063使用各种图像识别技术识别手术区域图像中的各种对象。例如，通过检测包括在手术区域图像中的对象的边缘的形状、颜色等，控制单元5063可以识别诸如钳子的手术仪器、特定的活体区域、流血、当使用能量治疗工具5021时的雾气等。当控制显示设备5041显示手术区域图像时，控制单元5063使用识别结果使得各种手术支持信息以与手术区域的图像的重叠方式显示。在以重叠方式显示手术支持信息并将手术支持信息呈现给外科医生5067的情况下，外科医生5067可以更安全且可靠地进行手术。
[0097] 将摄像头5005和CCU 5039彼此连接的传输电缆5065是准备用于电信号的通信的电信号电缆、准备用于光通信的光纤或者准备用于电通信和光通信两者的复合电缆。
[0098] 在此，在描述的实例中，尽管使用传输电缆5065通过有线通信执行通信，但是另外可以通过无线通信执行摄像头5005和CCU 5039之间的通信。在通过无线通信执行摄像头5005与CCU 5039之间的通信的情况下，不再需要将传输电缆5065铺设在手术室中。因此，可以消除传输电缆5065干扰手术室中的医务人员的移动的这种情形。
[0099] 以上描述了可以应用根据本公开的实施方式的技术的内窥镜手术系统5000的实例。此处应注意，尽管作为一个实例描述了内窥镜手术系统5000，但是可以应用根据本公开的实施方式的技术的系统不限于该实例。例如，根据本公开的实施方式的技术可以应用于用于检查的软式内窥镜系统或显微镜手术系统。
[0100] 根据本公开的实施方式的技术可以合适地应用于上文描述的部件中的CCU 5039。具体地，根据本公开的实施方式的技术应用于内窥镜系统、手术显微镜或医疗成像。通过将根据本公开的实施方式的技术应用于这些区域，可以找到泄漏(诸如，切割)的来源。这在手术期间降低对患者安全的风险。此外，可以识别不同的物质且显示给外科医生。这协助诊断可以活检的癌性物质。这提高癌症的检出率。
[0101] 通常，给予患者的光图案包括由光形成的一个或多个图案元件。这些图案元件被限定为相互之间具有预定形状和位置的光的不同部分。
[0102] 参考图3A，示出了第一光图案400A。具体地，第一光图案400A包括作为圆点的图案元件405A。这些圆点具有限定直径408A并且具有在垂直方向上由407A且在水平方向上由406A隔开的圆心。以实现从微脉管至较大动脉的分辨率的一般圆点间距将从100微米至5毫米。合适的圆点直径将从圆点间距的十分之一至四分之一。
[0103] 参考图3B，示出了第二光图案400B。具体地，第二光图案400B由在这种情况下作为横条的图案元件405B构成。当然，这些条可以是垂直或对角定向的。这些条具有限定长度408B并且具有在垂直方向上由407B隔开的中心。每个条的厚度被示出为406B。每个线性条内的光强度穿过条的长度和/或宽度可以是一致的。可替换地，该强度可以穿过条的长度或宽度改变。例如，该强度穿过条的长度和/或宽度可以是正弦曲线的。
[0104] 参考图3C，示出了第三光图案400C。具体地，第三光图案400C包括作为具有限定周期的正弦形条的图案元件405C。正弦形条具有限定周期408C并且具有在垂直方向上由407C隔开的中心。每个条的厚度被示出为406C。
[0105] 可以通过内窥镜操作者或CCU 5039确定要使用的光图案的形状。影响图案的形状的因素可包括要加热的区域的尺寸、要加热的区域的形状和/或要应用于物质的热量。
[0106] 具体地，在一个实例中，可以选择图3B的图案用于需要高水平加热的物质。这是因为给予物质上的光的量高于图3A的图案。诸如要加热的物质的形状的其他因素还可以影响要使用的图案的确定。
[0107] 为了创建光图案，光源设备5047可以包含一系列元件，每个元件创建对应的图案元件。例如，光源设备5047可包括具有穿过VCSEL阵列的结构分布的VCSEL元件。
[0108] 光源设备5047可包括覆盖在光源315上的衍射光学元件以将需要的图案给予从光源设备5047投射的光。
[0109] 光源设备5047可以通过调制从光源设备5047发射的光并使用MEM致动镜引导光来扫描患者上的图案。
[0110] 光源设备5047的目的是将热量提供至局部区域。这通过提供图案元件上的红外光实现。图案元件的尺寸和形状是预定的并且因此限定被加热的局部区域。
[0111] 因为图案元件的尺寸和形状被限定，因此将通过红外光的强度以及红外光应用于患者的时间确定应用于局部区域的热量。至于红外光应用于的任何给定物质，这将使物质的温度增加限定的量。通过跟踪物质的加热区域的尺寸和移动，可以确定物质的位移甚至物质本身。
[0112] 如将随后说明的，红外光的图案、应用的红外光的强度和持续时间以及红外光应用于的物质将存储在图5中阐述的表中。
[0113] 参考图4，示出了表500。在实施方式中，表500被存储在位于CCU5039中的存储器中。当然，表500替代地可以存储在网络上的位置处。
[0114] 表500存储第一、第二和第三图案中的每一个的详情。这些存储在列502中。与每个图案相关联的是物质列504。这些物质在患者内找到。尽管在物质列中详述了在患者中仅找到的三个物质(血液、肌肉、器官)，但是可以限定或多或少的物质。进一步地，可以限定在患者内发现的其他种类的物质。例如，可以限定不同的器官、软骨、筋等。
[0115] 表500还包括必须在物质上检测出热量的时间的列506。这允许在那个时间段测量物质的位移。在这种情况下，包括在列506内的是跟踪物质的位移的1、2或3秒的选择。当然，设想了列506中的较长、较短或不同时间。
[0116] 该表包括作为应用的热量的强度的列508。该强度将根据热量被应用的区域而改变。在患者内的敏感区域中，低强度热量更适用于避免损坏物质。然而，在经受移动的区域中，高强度热量可以是合适的，使得热量在短时间段内应用于物质的非常特别的区域以减少移动的影响。
[0117] 该表包括作为持续时间的列510。这个列是红外光(热量)使用期望的强度和图案应用于物质的持续时间。设想了内窥镜操作者将选择图案类型、物质、时间以跟踪位移和强度并且基于该用户选择的标准，选择红外光(热量)必须应用于物质的正确的持续时间。然后CCU 5039控制光源设备5047使用适合的图案、期望的强度和适合的持续时间将红外光应用于物质。
[0118] 尽管在表500中未示出，但是设想了每单位时间的流动将被存储为与物质相关联。这个值在物质是血液的情况下特别有用。具体地，在实施方式中，每单位时间流动将存储为与血液相关联并且指示来自人体的某个部分处的单元尺寸的切口处的每单位时间血液的移动量。这是因为来自患者的某个部分处的切口的血流在患者之间对于切口的任何给定尺寸是一致的。换言之，来自患者的某个部分处的切口、切口的每单位面积的血流在患者之间通常是一致的(除非切割了较大动脉)。如随后将说明的，该流速值将用于建立切口的来源。
[0119] 当然，尽管以上提到了血液的流速，但是本公开不受此限制并且可以应用于医疗或工业领域中的任何流体。
[0120] 设想了表500将在制造时预先生成并且将在临床试验期间确定相应的持续时间。
[0121] 图5中提到的表用于红外光的单个脉冲。然而，设想了红外光将每隔一定间隔脉冲。例如，在物质是固定的情况下，红外光的脉冲之间的间隔可以比物质快速移动的情况更长。这是因为如果物质的移动越高，则物质位移越多。因此，可以根据物质的移动选择脉冲之间的间隔。例如，如果内窥镜的操作者希望确定患者内的大切口(血液快速流动)的位置，则连续脉冲之间的间隔可以设置为100ms。然而，在内窥镜的操作者希望找到患者内的微小切口(血液很缓慢地流动)的来源的情况下，连续脉冲之间的间隔可以设置为300ms。
[0122] 尽管以上提到了内窥镜的操作者选择每个脉冲之间的时间，但是本公开不受此限制。例如，CCU 5039可以用于自动确定连续脉冲之间的时间。
[0123] 为了说明现在将描述几个示例性实施方式。
[0124] 首先，将描述物质上的受热区域移动的情况。例如，这发生在呼吸期间的器官中。其次，将描述物质分散和移动且分散的情况。例如，这发生在出现切口以及要跟踪来自切口的血流时。
[0125] 参考图4，示出的是受热物质的移动。具体地，在图5的示图中，在时间t＝0时，红外光的第一图案400A在物质上发光。例如，红外光的第一图案400A以高强度在物质上发光150ms。这将物质加热到特定温度。CCU 5039此时使用位于图像拾取单元5009中的红外图像传感器捕获受热物质的图像。
[0126] 在时间t＝100ms时，物质的受热区域移动至由实线圆识别到的新位置605A。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0127] 类似地，在时间t＝200ms时，物质的受热区域移动至由实线圆识别到的新位置605B。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0128] 在时间t＝300ms时，物质的受热区域移动至由实线圆识别到的新位置605C。此外，光源设备5047将第一图案400A以高强度重新应用至原始位置处的物质150ms。换言之，原始位置处的物质被加热到理想温度。这在图5中被示出为605'C。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0129] 在时间t＝400ms时，受热物质的第一区域移动至605D并且受热物质的第二(随后)区域移动至605'D。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0130] 因为每100ms捕获图像，因此图7示出了在图5中示出的时间t＝0、100ms、200ms和300ms期间的受热物质的中心的位置。图8示出了具有绘制的连接线的这些位置。如从图8显而易见的是，利用定期捕获(在这种情况下，每100ms)的红外图像，连接线示出了受热物质的移动方向。
[0131] 返回参考物质移动和分散的第二种情况，参考的是图6。在示图(A)中，示出的是没有分散的受热物质的移动。这与图5、图7和图8的描述相似，并且因此为了简便起见将不进行更进一步地描述。
[0132] 在示图(B)中，受热物质不会移动，但是反而受热物质分散。在存在小流血(诸如，由孔引起的)的情况下表现这种行为。换言之，从孔流动的血液的量小，使得它淤积在切口周围而不是从切口流动。具体地，在图6(B)的示图中，在时间t＝0时，红外光的第一图案400A在物质上发光。例如，红外光的第一图案400A以高强度在物质上发光150ms。这将物质加热到特定温度。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0133] 在时间t＝100ms时，受热物质在初始位置周围分散。换言之，受热物质没有移动，但是它在初始加热位置周围分散。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0134] 类似地，在t＝200ms时，受热物质继续在初始位置周围分散。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0135] 在示图(C)中，提供了示出受热物质移动和分散的简化图。在大流血(诸如，大出血)的情况下表现这种行为。换言之，从大出血流动的血液的量大，使得血液同时移动和分散。
[0136] 在图6(C)的示图中，在时间t＝0时，红外光的第一图案400A在物质上发光。例如，红外光的第一图案400A以高强度在物质上发光150ms。这将物质加热到特定温度。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0137] 在时间t＝100ms时，受热物质沿着移动线700C移动和分散。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0138] 在时间t＝200ms时，受热物质再次沿着移动线700C移动和分散。CCU5039此时使用红外图像传感器捕获受热物质的图像。
[0139] 在时间t＝300ms时，受热物质进一步沿着移动线700C移动并且分散得更多。CCU 5039此时使用红外图像传感器捕获受热物质的图像。
[0140] 从图6(C)中绘制的箭头，可以看到受热物质的路径。
[0141] 尽管图6(C)示出了跟踪受热物质的流动的简化图，但是图9示出了受热物质的流动的更逼真的示图。具体地，尽管图6以不同的圆形示出了给定时刻的受热物质，但是实际上，受热物质将是连续体。在图9中示出的是在t＝0、100、200和300ms的各个时间点示出的分散的受热物质的情况。
[0142] 图6(D)示出了在时间t＝0ms、t＝100ms、t＝200ms和t＝300ms时的更加简化的示图。可以看出，加热图案被应用于区域并且血流沿着血液从初始来源分散的箭头的方向延伸。这指示血流方向并且可以由此找到切口或泄漏的来源。
[0143] 图6(E)示出了说明可以如何使用加热图案的应用建立血泊中的深度变化的简化图。具体地，在图6(E)中，血泊的侧视图700E示出了血泊已经形成的组织的拓扑。从该附图可以看出，血泊在一端701E非常浅，在中心702E深，并且在第二端703E稍浅。
[0144] 当在应用之后不久通过红外传感器应用和捕获时，该加热图案示出了较浅端701E处的圆点的尺寸比第二端703E处的圆点的尺寸大。中间区域中的圆点的尺寸最小。由每个位置处的血液深度导致尺寸不同。血液越深，发生热消散越多。
[0145] 通过识别每个位置处的加热图案的相对尺寸，可以在每个位置处识别血泊的深度并且可以建立血泊下方的组织的拓扑图。
[0146] 应理解的是，一旦找到了血流方向，因为红外传感器是除了捕获红色、绿色和蓝色(RGB)值的图像传感器之外形成内窥镜，并且红外传感器中的每个像素对应于RGB图像传感器中的像素，因此CCU利用血流方向注释捕获的RGB图像。换言之，合成图像由捕获的RGB图像和由通过IR传感器捕获的图像建立的注释的结合形成。
[0147] 这些注释还可以包括血泊的相对深度和血泊下方的组织的拓扑图。这对于外科医生来说是有用信息，因此还可以在RGB图像上注释。
[0148] 图10示出了说明本公开的实施方式的操作的流程图1100。该过程在1105中开始。
[0149] 在步骤1110中，确定加热物质的红外光的图案。这可以通过内窥镜操作者或者通过CCU 5039例如基于物质的形状或要被加热的物质的量确定。
[0150] 在步骤1115中，确定光的连续脉冲之间的时间周期。如上所述，这个可以通过例如物质的移动速度来确定。
[0151] 在步骤1120中，捕获物质的初始图像。所捕获的初始图像处于光的红外区域中。换言之，捕获就在红外光的脉冲的初始应用之前的物质的加热轮廓。这提供了如随后说明的使用其建立受热物质的流动的参考图像。
[0152] 在步骤1125中，使用所确定的图案的光的脉冲应用于物质。
[0153] 在步骤1130中，捕获物质的图像。所捕获的图像处于光的红外区域中。换言之，捕获就在(几乎紧接)应用红外光的脉冲之后的物质的加热轮廓。这提供了如随后说明的使用其建立受热物质的流动的参考图像。这提供了应用红外光的脉冲时的物质的加热轮廓。在第一次重复该过程中，在时间t＝0处捕获该图像。唯一标识符应用于在步骤1130中捕获的唯一识别该光的脉冲与光的其他脉冲的图像。
[0154] 在步骤1135中，确定血流。当然，本公开不限于确定血流并且设想了从泄漏流出的任何流体。
[0155] 通过使用热图像上的背景减除法从就在脉冲已经应用于物质之后捕获的图像(即，在步骤1130中)减去就在光脉冲应用于物质之前捕获的初始图像的加热轮廓(即，在步骤1120中)确定血流。差分图像用于确定初始血流。
[0156] 设想了在应用减除法之前，使用诸如红外图像中的像素的平均移动的已知技术校正抖动和相机移动。这保证通过血流而不是相机移动提供连续捕获的图像之间的差异。
[0157] 在开始重复图9的过程中，由于步骤1120和1130之间的时间段短，血流的量将很小。
[0158] 然而，在步骤1140中，如随后说明的，将注释通过内窥镜操作和/或外科医生观看到的图像。
[0159] 在步骤1145中，如参考图4说明的，CCU 5039确定从光的前一脉冲过去的时间是否到达连续脉冲之间的预定周期。如果过去的时间还没有到达预定周期，则跟随“否”路线。然而，如果过去的时间到达预定周期，则跟随“是”路线。
[0160] 在步骤1150中，CCU 5039确定是否找到切口的位置。随后将对此进行说明。
[0161] 如果没有找到位置，则跟随“否”路线，并且该过程返回至步骤1125。
[0162] 在第二次重复步骤1125中，光的第二脉冲应用于该物质。在该重复中，在应用前一脉冲之后，应用光的脉冲100ms。
[0163] 在第二次重复步骤1130中，捕获物质的图像。所捕获的图像处于光的红外区域中。换言之，捕获就在(几乎紧接)应用红外光的第二脉冲之后的物质的加热轮廓。在第二次重复该过程中，在时间t＝100处捕获该图像。唯一标识符应用于在步骤1130中捕获的唯一识别该光的脉冲与光的其他脉冲的图像。
[0164] 在第二次重复步骤1135中，通过从在第二次重复步骤1125中的就在脉冲应用于物质之后捕获的图像减去在第二次重复步骤1130中捕获的图像的加热轮廓在图像上执行背景减除。差分图像用于确定最后100ms的血流。
[0165] 具体地，在第二次重复步骤1130中捕获的图像包括从第二次重复步骤1125中应用的光的脉冲的受热物质和在第一次重复期间加热的物质的流动这两者。因此，并且如在图9中看到的，例如，通过检测受热物质行进的距离和受热物质的分散量和形状确定血液在100ms周期中的距离和分散。
[0166] 以与第一次重复该过程类似的方式，在步骤1140中注释显示给内窥镜操作者和/或外科医生的图像。
[0167] 再次，该过程移动至步骤1145，如参考图4说明的，CCU 5039确定从光的前一脉冲过去的时间是否到达连续脉冲之间的预定周期。如果过去的时间还没有到达预定周期，则跟随“否”路线。然而，如果过去的时间到达预定周期，则跟随“是”路线。
[0168] 以与第一次重复类似的方式，在步骤1150中，CCU 5039确定是否找到切口的位置。
[0169] 如果没有找到该位置，则跟随“否”路线并且该过程返回至步骤1125以进行第三次重复。然后该过程继续直到在步骤1150中找到切口的来源。
[0170] 如果在步骤1150中找到切口的来源，则跟随“是”路线并且在步骤1155中注释显示给内窥镜操作者和/或外科医生的图像。然后该过程在步骤1160中结束。
[0171] 参考图11和图12描述了用于确定切口的位置(步骤1150)的过程1200。
[0172] 该过程1200在步骤1205中开始。该过程移动至步骤1210，随着时间的过去确定每个图案元件405A-C的血流。换言之，确定自从初始图像的每个图案元件405A-C的血流。在一些实施方式中，这通过使用卡尔曼滤波器，例如使用在图10的步骤1135中确定的增量运动对血流随着时间过去的运动建模来确定。在一些实施方式中，切口出现的组织的拓扑图可以改变热扩散的速度。在这种情况下，可以选择任何存储的图案的粗略的速度和方向以克服拓扑图中的差异。此外，或者可替换地，可以存储多个一般图案并且可以根据该组一般图案的权重配置独立图案。
[0173] 在图12的实例中，示出的是切口1310的区域。如在图12中看到的，使用关于图10说明的技术建立血流1300。具体地，在重复图10的过程期间跟踪受热血液的移动并且建立图12中示出的血液的合成运动。例如，在第一次重复图10的过程期间，加热图案应用于使得在虚线边界1305A和1305B中示出的圆形区域中的物质加热的血液。在第二次重复该过程期间，在第一次重复中加热的物质已经移动至虚线边界1310A和1310B，并且加热图案应用于使得由虚线边界1305A和1305B内的圆圈限定的血液局部加热的虚线边界1305A和1305B中的血液。
[0174] 通过多次重复图10的过程，可以跟踪血流。
[0175] 然后该过程移动至步骤1215，计算血流(切口)的起点。这通过预定时间段或多次重复分析血流来实现。可以从图12看出，切口区域1310具有远离切口流动的血液。切口的一般特性在于血液将远离切口的区域流动(如在这种情况下)，血液的运动远离切口的情况(在损坏组织高于周围组织的情况)或者血液将流进切口中并且在切口中收集(在损坏组织低于周围组织的情况)。这在图13中被突出，在1400和1405中分别示出了沿着多次重复的1300中的部分X-X'和Y-Y'的部分。因此，通过确定流体的流动(运动)，可以找到血液的起点，在这种情况下，找到切口。
[0176] 该过程移动至步骤1220，注释该图像以识别血液的起点的位置。这在快速建立切口的位置或血液的起点中帮助外科医生/内窥镜操作者。
[0177] 该过程在步骤1225中结束。
[0178] 设想了将执行运动补偿，以便随着时间的过去跟踪在成像表面上的图案元件演变。这缓解对内窥镜在观看图像外观上的运动的影响。为了对准其中图案元件将在血流等的效果下移动的捕获图像，如果用于这两个传感器的光学是对准的和相似的，可以根据来自相机的可视化数据计算合适变换。各种操作可用于进行这个过程，这些操作具有变化的复杂性且运行不同的时标：
[0179] 使用图像匹配的视频稳定。在该过程中，相邻图像进行互相比较并且发现全局图像变换(x和y位移、旋转、缩放)最佳说明这些对应并且图像被变换(例如，使用仿射变换)以使它们最佳地变为全局对准，而忽略本身移动的元件。基于它们找到匹配点以产生图像之间的对应的手段，不同的方法是可用的。
[0180] 这在非专利文献1中进行说明，其内容通过引证结合于此。
[0181] 使用加速计和陀螺仪的视频稳定。在这种情况下，3轴加速计和/或陀螺仪(为了简便起见都未示出)与图像传感器共置并且它们的测量用于在短时间段内变换图像以便使它们对准。这些方法还可以校正通过“卷帘式快门”相机产生的失真。这在非专利文献2中进行说明，其内容通过引证结合于此。
[0182] 更复杂的操作寻求从来自运动算法的结构生成深度图。使用这些获得稍微改变相机的视点的推测(通过获得生成的3D场景的新视图)，可以使短系列的图像稳定以看起来好像相机在图像序列期间没有移动。这些在非专利文献3中进行说明，其内容通过引证结合于此。
[0183] 较长时间段的稳定需要通过一系列图像的平滑路径生成，但是这些不适用于在此SLU将在最多几秒内扩散和分散的要求。稳定的合适类型的实例是Microsoft(R)Hyperlapse(R)。
[0184] 图14示出了本公开的又一实施方式，其中图案元件用于改善内窥镜在例如流体泄漏的起点(诸如，切口)的特定区域上的自动聚焦。特别地，在投射到波状组织的两个区域上的1500中示出的是第一图案。在第一区域1505中，因为图案元件具有相似或基本上相同的尺寸，并且因为图案元件的中央图案大于周围图案元件，因此这指示中央图案比周围图案元件更靠近内窥镜。相反地，在第二区域1510中，图案元件的中央图案小于周围图案元件。这指示中央图案比周围图案元件更远离内窥镜。
[0185] 因此，通过重复调整透镜焦点并且评估图案元件的清晰度，透镜可以自动聚焦。
[0186] 图15A至图15C示出了可以应用于内窥镜图像的注释。具体地，在图15A中，在没有协助内窥镜操作者或外科医生的任何注释的情况下示出的是内窥镜图像。在图15B中，示出的是包括血流的注释的内窥镜图像。这一般是从图10的步骤1140的输出。在图15C中，内窥镜图像包括血流和泄漏的起点(例如，切口)的注释。在这种情况下，除了血流被示出之外，还示出了切口。当然，设想了可以在没有血流的情况下示出切口。
[0187] 物质分化
[0188] 在本公开的实施方式中，图案元件可以用于区分在患者内找到的物质(或者用于非医疗内窥镜检查情形的对象)。
[0189] 用于找到雾气
[0190] 在雾气上形成的图案元件可能没有在液体或实体上形成的图案元件均匀(即，图案元件本身的形状可能不太一致)。另外雾气颗粒比液体或固体颗粒更有可能是移动的，因此热量在雾气内的扩散可能与在液体或固体中形成的图案元件内的热消散明显不同。因此，通过分析给予物质上的图案元件和/或受热物质的热消散的一致性，可以建立雾气的存在。
[0191] 用于找到人造物质
[0192] 在内窥镜手术期间，使用的对象由非有机物质制成(例如，用于手术的工具)。在这些物质显示与患者的有机物质不同的热学性能的情况下，实施方式方法可以用于检测它们。
[0193] 例如，静态液体中的热消散可能在液体内的各个方向上大致是一致的，受到布朗运动的控制。然而，非有机对象可很好地具有与一般在内窥镜图像中找到的有机物质不同的导热性。如果该导热性十分不同，则可以区分各种物质。另外其他物质可具有影响通过其传播的热量的方式的一些具体结构(例如，被分层)，并且通过检测该结构的热流(例如，热量传播的方向)，然后该结构可以用作区分因素。参考图10描述的是用于检测热传播的技术。
[0194] 用于区分物质
[0195] 参考图16A，示出的是内窥镜视图2000。在这个视图2000中，看到的是静脉2010和2015连接至肌肉2005。肌肉纤维沿箭头2220的方向定向。在静脉2010中，血液朝向肌肉2005流动。在静脉2015中，血液沿由箭头20151和箭头20151指示的方向流动。
[0196] 图16B示出了在应用热量的图案的时刻(即，在t＝0处)的图16A的内窥镜视图。换言之，图16B的内窥镜视图2050示出了应用加热图案时的图16A的内窥镜视图。在这种情况下，加热图案包括与图3A中示出的那些相似的圆点2055。
[0197] 图16C示出了在应用加热图案之后的时间间隔的图16B的内窥镜视图。在图16C的特定实施方式中，时间间隔为最迟100ms。可以从图16C看出，肌肉2005中的加热图案沿着肌肉纤维的长度扩散。此外，静脉上的加热图案沿着静脉的长度扩散。具体地，静脉2010上的加热图案沿肌肉的方向扩散。这指示该具体静脉的血流。类似地，在静脉2015中，加热图案2015A和2015B都远离肌肉扩散。
[0198] 在此应注意，在该时间间隔的扩散量指示加热图案放置在其上的物质的类型。具体地，肌肉中的扩散量小于静脉中的扩散量。这是因为肌肉的热消散特性与血液的不同。该扩散率通过控制电路测量并且与在患者中找到的各种物质的存储的扩散值进行比较。这些存储值将在临床试验期间获得并且存储在存储装置中或者通过网络获得。
[0199] 通过将测量的扩散率与在临床试验期间获得的值进行比较，可以识别在其上设置加热图案的物质的类型。此外，如在图17中举例说明的，血液的扩散率还可以根据在任何给定时间穿过静脉的血液的量改变。例如，如果静脉是毛细管，则血流的量，并且因此热消散将因为热量不能通过血液消散而变小。然而，如果静脉实际上是动脉，在血流率比静脉高的情况下，因为热量将通过血液消散因此热消散将变高。这指示外科医生任何切口的危险；如果毛细管被切断，则对患者的危险较低，然而，如果发生切到动脉，则对患者的危险较高。
[0200] 此外，通过建立物质中的血流率，可以检测癌症和肿瘤。这是因为癌性物质和肿瘤中的血流率比非癌性物质高。换言之，因为通过癌性物质和肿瘤的血流高于非癌性物质和肿瘤，因此热消散率将高于预期。这可以以两种方式进行测量。首先，加热图案可以应用于组织的已知的非癌性部分以建立热消散率并且将热消散率与潜在的癌性区域进行比较。其次，潜在的癌性区域中的热消散率可以与存储值进行比较。
[0201] 因此，总之，通过测量热消散率，并且将热消散率与在手术或医疗程序之前或者在手术或医疗程序期间获得的存储的参考率进行比较，可以建立物质的类型。此外，通过识别从热消散的形状建立的消散方向，可以识别物质的定向，甚至血流方向。进一步地，通过识别热消散率，可以建立组织的区域是不是癌性的。
[0202] 图17和图18示出了可以应用于内窥镜图像的示例性注释。进一步地，在图19中，还可以在内窥镜图像上注释各种不同的物质。这可包括血流区域、血流方向、甚至将外科医生引导至执行活检等的区域的可能的癌性物质。进一步地，通过识别血流至区域的速率和方向，外科医生将了解患者在执行这种活检中的危险。
[0203] 尽管以上描述了在CCU 5039中执行的图10和图11的过程，但是本公开不受此限制。例如，可以在摄像头控制单元5015中执行一个或多个过程或者这些过程的一部分。
[0204] 尽管以上描述了作为VCSL的光源，但是本公开不局限于此。例如，光源可以仅在红外光谱中、或者如上所述的在红外和可见光谱这两者中、或者仅在可见光谱中产生光。
[0205] 实际上，尽管以上描述了光源作为提供热量以局部加热物质，但是光源可以用于提供红外光谱中的光以局部加热物质，并且当没有加热物质时，可以用于利用可见光照亮该区域以协助内窥镜操作者和/或外科医生。这减少在内窥镜中所需的光源的量，并且因此，减少内窥镜装置的尺寸、成本和复杂性。
[0206] 此外，光源可以产生相干的(诸如，激光)或者非相干的(诸如，由发光二极管产生的)光。光源还可以产生各种光谱中的光。例如，光源可以产生单波长(或窄带)的光，诸如，具有人体高吸收性的绿光。可替换地，光源可以调谐不同颜色的光。在这种情况下，因为物质对光的吸收改变，因此以给定量加热物质的时间将根据物质和光的波长改变。因此，用于产生加热图案元件的光的波长可以存储在图4的表中。
[0207] 尽管以上用于例如确定切口的来源，但是本公开不受此限制。通过确定组织中的血液流动，还可以通过确定供应至某个区域的血液是不是不足的或过多的来推断组织内的血管供应和灌注。
[0208] 尽管以上提到了内窥镜，但是本公开不受如此限制。实际上，本公开的实施方式适用于任何种类的手术装置或医疗成像装置。实例包括但不限于供诸如神经外科、或伤口的清创术的程序使用的手术显微镜以及诸如在子宫镜中使用的其他医疗成像装置。
[0209] 本公开的各种实施方式由以下编号的项定义：
[0210] 1.一种医疗成像系统，包括：加热元件，被配置为将至少一个加热图案元件应用于物质以局部加热该物质；传感器，被配置为在应用加热图案元件之后在预定时间捕获受热物质的位置；以及电路，被配置为在预定时间之后基于所捕获的受热物质的位置确定应用于物质的加热图案的变化。
[0211] 2.根据项1的医疗成像系统，其中，加热元件还被配置为将布置为加热图案的多个加热图案元件应用于物质。
[0212] 3.根据项2所述的医疗成像系统，其中，具有加热图案的每个加热图案元件的尺寸基本上相同。
[0213] 4.根据项1至3的医疗成像系统，其中，加热元件被配置为发射红外辐射以加热物质。
[0214] 5.根据项3的医疗成像系统，其中，加热元件还被配置为发射可见光谱中的光。
[0215] 6.根据项1至5的医疗成像系统，其中，加热元件是激光发射装置。
[0216] 7.根据项6的医疗成像系统，其中，加热元件是布置在内窥镜装置的远端上的垂直空腔表面发射激光器。
[0217] 8.根据项1至7的医疗成像系统，其中，电路被配置为通过比较在预定时间之后捕获的图像与先前捕获的图像来确定物质的移动。
[0218] 9.根据项1至8的医疗成像系统，其中，电路被配置为在通过传感器捕获之前将图像防抖应用于图像。
[0219] 10.根据项1至9的医疗成像系统，其中，物质是流体并且电路被配置为基于加热图案在限定时间段的变化确定流体的移动。
[0220] 11.根据项10的医疗成像系统，其中，电路被配置为基于移动确定流体的来源。
[0221] 12.根据项1至11的医疗成像系统，其中，电路被配置为基于加热图案的变化确定加热的扩散率。
[0222] 13.根据项12所述的医疗成像系统，其中，电路被配置为基于扩散率确定物质的特性。
[0223] 14.根据项1至13的医疗成像系统，其中，电路被配置为利用物质的移动注释所捕获的图像并且显示所注释的图像。
[0224] 15.根据项10至14的医疗成像系统，其中，电路被配置为利用流体的来源注释所捕获的图像并且显示所注释的图像。
[0225] 16.根据项2的医疗成像系统，还包括透镜布置并且电路被配置为调整透镜布置的焦距，使得多个加热元件的子集在焦点上。
[0226] 17.根据项1至16的医疗成像系统，该系统还包括图像传感器，该图像传感器用于对包括至少红色、绿色和蓝色组分的内窥镜图像成像。
[0227] 18.根据项1至17的医疗成像系统，其中，传感器被配置为检测红外波长光。
[0228] 19.根据项18的医疗成像系统，其中，传感器被配置为检测可见波长光。
[0229] 20.一种医疗成像系统中的方法，该方法包括将至少一个加热图案元件应用于物质以局部加热物质；在应用加热图案元件之后在移动时间捕获受热物质的位置；并且在预定时间之后基于所捕获的受热物质的位置确定应用于物质的加热图案的变化。
[0230] 21.一种包含计算机可读指令的计算机程序产品，该计算机程序产品在被加载到计算机上时配置计算机以执行根据项20的方法。
[0233] 应当理解，为了清楚起见，以上描述已经参考不同的功能单元、电路和/或处理器描述了实施方式。然而，显而易见的是，在不背离实施方式的情况下，可以使用不同的功能单元、电路和/或处理器之间的任何合适的功能分布。
[0234] 所描述的实施方式可以以任何合适的形式实现，包括硬件、软件、固件或这些的任何组合。所描述的实施方式可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施方式的元件和部件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，该功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分来实现。因而，所公开的实施方式可以在单个单元中实现，或者可以在不同的单元、电路和/或处理器之间在物理上和在功能上分布。
[0235] 尽管已经结合一些实施方式描述了本公开，但是并不旨在局限于本文中阐述的特定形式。此外，尽管可能看起来结合具体实施方式描述了特征，但是本领域技术人员将认识到，所描述的实施方式的各种特征可以以适合于实现该技术的任何方式组合。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 配置医疗设备的装置、方法和计算机程序及医疗设备 | 2020-05-15 | 368 |
| 医疗信息显示装置、操作方法及程序 | 2020-05-12 | 629 |
| 医疗装置、医疗图像生成方法以及医疗图像生成程序 | 2020-05-11 | 345 |
| 医疗程序托盘及相关方法 | 2020-05-13 | 87 |
| 用于医疗程序确认的系统和方法 | 2020-05-14 | 689 |
| 用于进入乳腺管以执行医疗程序的医疗器械及其方法 | 2020-05-15 | 427 |
| 执行医疗程序的系统和方法 | 2020-05-13 | 668 |
| 验证医疗应用程序的方法、最终用户设备和医疗系统 | 2020-05-15 | 69 |
| 医疗控制设备、控制方法、程序以及医疗控制系统 | 2020-05-15 | 536 |
| 医疗数据通信装置、服务器、医疗数据通信方法和程序 | 2020-05-15 | 641 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
医疗程序热门专利
QQ群二维码
意见反馈
意见反馈