[0002] 本申请要求2013年7月12日提交的韩国
专利申请No.10-2013-0081980的权益，该韩国专利申请的全部内容以引用方式并入本文。
技术领域
[0003] 本
发明涉及用于观察人体内的前哨淋巴结(SLN)的装置。更具体地讲，本发明涉及通过检测SLN处的荧光物质(诸如，靛青绿)造成的
近红外(NIR)荧光来观察SLN的装置和用于检测SLN处的NIR荧光的方法。
背景技术
[0004] 前哨淋巴结(SLN)是当
肿瘤经由淋巴结直接转移时癌细胞首先到达的淋巴结。SLN活检是通过在癌组织中注入有色颜料来寻找SLN，
切除SLN，然后对切除的SLN执行病理
组织学检查从而辨认转移的方法。如果在SLN中检测到癌，就切除癌周围的所有淋巴结。然而，如果在SLN中没有检测到癌，则判定癌没有扩散到SLN，对SLN的切除可以减至最少。
[0005] 如此，通过切除最少的淋巴结，SLN活检可以使因现有手术中将外围淋巴结与癌组织一起完全切除而产生的
副作用和并发症最小化。SLN活检已经被作为乳癌、黑素瘤等中的标准外科手术技术来执行。另外，SLN活检正扩展至包括
肺癌、食管癌、胃癌、甲状腺癌、妇科癌症、泌尿癌症、喉癌等的所有癌症领域内的外科手术。
[0006] 在SLN活检中，用肉眼无法精确检测到SLN的
位置。因此，在SLN活检中使用的是：使用
放射性同位素作为示踪剂的
核医学成像方法、使用具有
磁性的磁
流体的成像方法、使用活体染料的光学成像方法、或同时使用放射性同位素和活体染料的方法。
[0007] 已经研究了光学成像方法和作为活体染料的各种荧光物质，以使暴露于患者用于检测SLN的
辐射最少。例如，已经进行了关于包括γ聚谷
氨酸和光学成像染料络合物的SLN检测的光学成像探针的研究。在
荧光染料之中，包括USA的FDA在内的许多国家中允许使用靛青绿(ICG)。ICG允许光在近红外(NIR)区域中被激发，产生荧光。另外，可以使用ICG观察散布直至10mm至20mm深度的人体组织的内部结构，可以甚至在投射白色可见光的地方(诸如，
手术室)观察到NIR荧光。
[0008] 然而，肉眼无法看到这种NIR荧光染料，因此已经开发出能够观察NIR荧光的装置。结果，近来开发出用于在手术期间观察NIR的被称为超眼医疗系统(HEMS)的装置。
[0009] HEMS装置是用于观察ICG荧光的成像装置。HEMS装置使用安装在其内的单个相机3同时测量可见光和NIR，可以甚至在明亮的外部照明的环境中观察到NIR荧光。在图1中示出HEMS装置。
[0010] HEMS装置采用白色
光源1、以及
波长为760nm的光源(NIR LED)作为激发光源2。然而，通过具有上述结构的装置，仅仅在
腹腔手术期间可以看到开放器官的外观，经常出现可见光
颜色、NIR组合图像中的ICG荧光图像和由白光被人体表面反射的
眩光造成的图像之间的混淆。
[0011] 同时，日本专利申请公开No.2006-340796公开了一种根据荧光图像检测SLN的系统。具体地，在日本专利申请公开No.2006-340796中，氙气灯发射包括激发光的白光，激发光滤光器被设置成让385nm至435nm波段的光从中透过。在从待测量对象得到的荧光和背景光的情况下，遮光滤光器被插入待观察对象和单个CCD芯片之间，以让荧光和背景光从中透过。因此，在CCD芯片中拾取图像。另外，图像经TV相机处理，以通过监视器呈现为荧光图像。然而，该系统是用于发射可见光中的荧光的
造影剂(诸如，5-ALA)的装置。该装置不适于观察NIR中的荧光(诸如，ICG)。
[0012] 关于此，美国专利申请公开No.2011/0063427公开了一种用于提供全彩色反射光和NIR图像的成像系统。用于得到NIR和全彩色图像的该成像系统包括：光源，其向待观察对象提供可见光和NIR光；相机，其具有多个图像
传感器，这些图像传感器独立地检测来自待观察对象的蓝色反射光和绿色反射光，并且交替地检测由待观察对象产生的红色反射光和NIR光。
[0013] 用于向光源和相机发送
信号的
控制器控制连续的蓝光和绿光使其照射到待观察对象上，通过周期性
开关光源和相机将红光和NIR激发光同步，使得从相机交替得到红色图像和NIR荧光图像。
[0014] 通过光源和相机之间的开关同步，从同一图像传感器交替地得到红色反射
光谱和NIR光谱。因此，红色反射光谱连同蓝色反射光和绿色反射光一起提供全彩色图像，或者NIR光谱提供NIR荧光图像。然而，光源和相机之间的同步使装置变复杂。
[0015] 同时，在同时观察从可见光(400nm至700nm)至NIR光(700nm至900nm)的大范围光谱的成像系统中，需要用色差校正来调节图像获得芯片(诸如，CCD传感器)的焦平面上的聚焦。美国专利申请公开No.US2011/0249323A1公开了一种用于校正
内窥镜装置中的色差的特殊光学
耦合器。所公开的光学耦合器由远焦棱镜组件和成像光学器件构成。远焦棱镜组件由具有不同折射率的棱镜构成，在棱镜之间的边界处设置二向色涂层，使得入射波长入射到合适的棱镜上。通过校正穿过具有不同折射率的棱镜的可见光和NIR光之间的光程差，校正可见光和NIR光之间的色差。然而，以这种方式消除色差需要特殊光学系统，并且不能使用现有的光学耦合器。
[0016] 另外，当可见光图像和NIR图像分别在同一监视器的两个不同屏幕窗口中显示时或者当这两个图像彼此重叠地显示时，难以将可见光图像与NIR图像区分开。
[0017] 基本上，SLN与非SLN的区分取决于荧
光信号的强度。即使当使用同一装置时，根据与待观察对象的距离、在TV系统的检测灵敏度内设置的参数(增益、快
门和
帧)、激发光的强度等，荧光信号的强度大大改变。因此，本质上需要用标准的测量方法来确保检测结果的可靠性。
发明内容
[0018] 本发明提供了一种检测前哨淋巴结(SLN)处的近红外(NIR)荧光的装置和方法，其可以在实现通过再现来自诸如靛青绿(ICG)的荧光材料的激发光所发射的NIR荧光而得到的复合图像连同可见光图像的过程中，可以以高
精度检测NIR荧光和SLN。
[0019] 在一个方面，本发明提供了一种检测SLN处的NIR荧光的装置，所述装置包括：白光源，被构造成发射白光；NIR激发光源，被构造成发射NIR激发光；光学分析组件，被构造成传输来自待观察对象的反射光和NIR荧光；多光谱
图像处理单元，被构造成检测从所述光学分析组件传输的白反射光和NIR荧光，并且将检测到的白反射光和NIR荧光处理为可见(VIS)反射光图像信号和NIR荧光图像信号；以及显示单元，被构造成输出通过组合经所述多光谱图像处理单元处理的所述VIS反射光图像信号和所述NIR荧光图像信号而得到的复合图像，其中，所述多光谱图像处理单元将检测到的白反射光分成红色(R)图像信号、绿色(G)图像信号和蓝色(B)图像信号，然后执行图像处理，使得在没有检测到NIR荧光图像信号的
像素中用红色(R)和绿色(G)实现所述VIS反射光图像信号，在检测到NIR荧光图像信号的像素中只用蓝色(B)显示NIR荧光图像信号。
[0020] 在另一个方面，本发明提供了一种用于检测SLN处的NIR荧光的装置，所述装置包括：白光源，被构造成发射白光；NIR激发光源，被构造成发射NIR激发光；光学分析组件，被构造成传输来自待观察对象的反射光和NIR荧光；多光谱图像处理单元，被构造成检测从所述光学分析组件传输的白反射光和NIR荧光，并且将检测到的白反射光和NIR荧光处理为VIS反射光图像信号和NIR荧光图像信号；以及显示单元，被构造成输出通过组合经所述多光谱图像处理单元处理的所述VIS反射光图像信号和所述NIR荧光图像信号而得到的复合图像，其中，所述多光谱图像处理单元将检测到的白反射光分成红色(R)图像信号、绿色(G)图像信号和蓝色(B)图像信号，并且针对每个像素将所述白反射光的蓝色(B)图像信号的强度与所述NIR荧光图像信号的强度进行相对比较，其中，当所述白反射光的蓝色(B)图像信号的强度大于所述NIR荧光图像信号的强度时，所述多光谱图像处理单元执行图像处理，使得所述白反射光的蓝色(B)图像信号与对应像素中的红色(R)图像信号和绿色(G)图像信号一起显示，其中，当所述NIR荧光图像信号的强度大于所述白反射光的蓝色(B)图像信号的强度时，所述多光谱图像处理单元执行图像处理，使得只用对应像素中的蓝色(B)显示所述NIR荧光图像信号。
[0021] 在示例性
实施例中，所述多光谱图像处理单元可以包括分束器，所述分束器被构造成通过将从所述光学分析组件传输的所述白反射光和所述NIR荧光的光路分开来形成VIS通道和NIR通道。
[0022] 在另一个示例性实施例中，所述分束器可以是在所选择的波长范围内选择性传输或反射光的分束棱镜。
[0023] 在又一个示例性实施例中，所述分束器可以是二向色棱镜。
[0024] 在又一个示例性实施例中，所述多光谱图像处理单元可以被构造成具有两个图像传感器，所述两个图像传感器分别设置在由所述分束器分开的光路上。
[0025] 在又一个示例性实施例中，所述两个图像传感器可以是设置在所述VIS通道上的彩色图像传感器和设置在所述NIR通道上的单色图像传感器。
[0026] 在又一个示例性实施例中，所述单色图像传感器可以被设置成与所述彩色图像传感器分隔开预定距离(Δ)以校正轴向色差。
[0027] 在又一个示例性实施例中，可以在相应的图像传感器和所述分束器之间设置滤光器。
[0028] 在又一个示例性实施例中，每个图像传感器可以连接有增益
放大器和模/数(A/D)转换器。
[0029] 在又一个示例性实施例中，所述多光谱图像处理单元可以包括数字图像处理器，所述数字图像处理器被构造成通过分析和处理收集到的图像信号来生成VIS反射光图像信号和NIR荧光图像信号。
[0030] 在又一个示例性实施例中，所述多光谱图像处理单元还可以包括用于所述两个图像传感器的公共定时发生器，并且所述数字图像处理器与所述定时发生器同步地执行图像处理操作。
[0031] 在又一个示例性实施例中，所述数字图像处理器可以使用反射激发光或白反射光作为参考光自动地控制所述增益放大器的参数，使得参考光是恒定的。
[0032] 在又一个示例性实施例中，所述装置还可以包括计算机，所述计算机被构造成通过组合经所述数字图像处理器分析和处理的所述VIS反射光图像信号和所述NIR荧光图像信号来形成复合图像。
[0033] 在又一个示例性实施例中，所述装置还可以包括发送器/接收器，所述发送器/接收器被构造成向所述计算机发送经所述数字图像处理器分析和处理的所述VIS反射光图像信号和所述NIR荧光图像信号。
[0034] 在又一个示例性实施例中，所述白光源可以是
金属卤化物灯或氙气灯。
[0035] 在又一个示例性实施例中，所述NIR激发光源可以是发射800±20nm的光的激光光源。
[0036] 在又一个示例性实施例中，所述光学分析组件可以是构成选自
腹腔镜、硬内窥镜、软内窥镜、相机和手术
显微镜中的任一个成像系统的光学分析组件。
[0037] 在又一个示例性实施例中，所述装置还可以包括光学适配器，所述光学适配器被构造成将所述光学分析组件连接到所述多光谱图像处理单元。
[0038] 在又一个示例性实施例中，用于观察NIR荧光的荧光材料可以是靛青绿(ICG)。
[0039] 在又一个示例性实施例中，从所述NIR激发光源照射的激发光的输出可以被控制成具有脉冲模式，所述脉冲模式的
频率低于所述多光谱图像处理单元的帧速。
[0040] 在又一个示例性实施例中，所述装置还可以包括标准样本，所述标准样本被构造成在相同条件下具有与SLN的荧光强度对应的荧光强度。
[0041] 在又一个示例性实施例中，可以将来自所述标准样本的荧光信号的强度与来自待观察对象的荧光信号的强度进行比较，并且仅当来自所述待观察对象的荧光信号的强度大于来自所述标准样本的荧光信号的强度时，才可以判定所述待观察对象是SLN。
[0042] 在又一个示例性实施例中，所述装置还可以包括遮光滤光器，所述遮光滤光器被构造成遮蔽被传输到所述多光谱图像处理单元的反射激发光。
[0043] 在又一个方面，本发明提供了一种用于检测SLN处的NIR荧光的方法，所述方法包括：将白光和NIR激发光照射到待观察对象上；从所述待观察对象收集白反射光和NIR荧光；将所述白反射光分成红色(R)光信号、绿色(G)光信号和蓝色(B)光信号；生成作为蓝色(B)图像信号的NIR荧光，并且使用生成的蓝色(B)图像信号连同所述白反射光的红色(R)信号和绿色(G)信号一起，生成复合图像；向显示单元输出生成的复合图像。
[0044] 在另一方面，本发明提供了一种用于检测SLN处的NIR荧光的方法，所述方法包括：将白光和NIR激发光照射到待观察对象上；从所述待观察对象收集白反射光和NIR荧光；将所述白反射光分成红色(R)光信号、绿色(G)光信号和蓝色(B)光信号；针对每个像素，将所述白反射光的蓝色(B)图像信号的强度与所述NIR荧光图像信号的强度进行相对比较；基于比较的结果，选择强度比另一个大的任一个信号作为对应像素的蓝色(B)光信号，其中，当所述白反射光的蓝色(B)图像信号的强度大于所述NIR荧光图像信号的强度时，所述白反射光的蓝色(B)图像信号与对应像素中白反射光的红色(R)信号和绿色(G)信号一起显示，其中，当所述NIR荧光图像信号的强度大于所述白反射光的蓝色(B)图像信号的强度时，只用对应像素中的蓝色(B)显示所述NIR荧光图像信号，生成复合图像并且向显示单元输出生成的所述复合图像。
[0045] 在示例性实施例中，照射所述白光和所述NIR激发光还可以包括控制照射到待观察对象上的NIR激光的输出，使其具有频率低于多光谱图像处理单元的帧速的脉冲模式，从而所述NIR激发光具有不连续的光照射输出。
[0046] 在另一个示例性实施例中在收集所述白反射光和所述NIR荧光的过程中，可以同时收集标准样本以及待观察对象的荧光信号。
[0047] 在又一个示例性实施例中，所述方法还可以包括分析输出到所述显示单元的复合图像，其中，在分析所述复合图像的过程中，当所述待观察对象的荧光信号的强度大于所述标准样本的荧光信号的强度时，最终判定所述待观察对象是SLN，当所述标准样本的荧光信号的强度大于所述待观察对象的荧光信号的强度时，判定所述待观察对象不是SLN。
[0048] 在又一个示例性实施例中，所述方法还可以包括在照射所述白光和所述NIR激发光之前测量所述标准样本的荧光。
[0049] 在又一个示例性实施例中，所述方法还可以包括在测量所述标准样本的荧光之前，将白光和激发光照射到所述标准样本上并且将来自所述标准样本的白反射光或反射激发光设置为参考光。
[0050] 在又一个示例性实施例中，照射所述白光和所述NIR激发光还可以包括控制参数，使得所述参考光的强度是恒定的。
[0051] 在又一个示例性实施例中，所述方法还可以包括分析输出到所述显示单元的复合图像。在分析所述复合图像的过程中，当所述待观察对象的荧光信号的强度大于所述标准样本的荧光信号的强度时，最终判定所述待观察对象是SLN，当所述标准样本的荧光信号的强度大于所述待观察对象的荧光信号的强度时，判定所述待观察对象不是SLN。
[0052] 在又一个示例性实施例中，生成所述复合图像可以包括通过执行图像处理来生成所述复合图像，使得在检测到NIR荧光的像素中显示NIR荧光的蓝色(B)，在没有检测到NIR荧光的像素中显示所述白反射光的红色(R)和绿色(G)。
[0053] 在下文中讨论本发明的其它方面和示例性实施例。
[0054] 如上所述，根据本发明的检测SLN处的NIR荧光的装置和方法具有如下的优点。
[0055] 第一，尽管使用的是现有的成像系统，但可以在短时段内以高精度检测SLN。因此，可以提高决定癌扩散的存在与否的精度并且最少地切除SLN。
[0056] 第二，由于NIR传感器和VIS传感器的焦面的位置不必彼此对应，因此不必校正具有光学系统(具体地讲，光学耦合器)的腹腔镜中的色差。
[0057] 第三，由于所述装置和方法可以容易地应用于现有的腹腔镜等，因此可以使改进装置的额外成本消耗降至最低。
[0058] 下文讨论本发明的以上和其它特征。
附图说明
[0059] 现在，将参照通过附图示出的本发明的某些示例性实施例详细描述本发明的以上和其它特征，附图只是以示例方式提供的，因此不限制本发明，其中：
[0060] 图1示意性示出用于观察靛青绿(ICG)荧光的传统超眼医疗系统(HEMS)装置；
[0061] 图2示出根据本发明的用于检测前哨淋巴结(SLN)处的近红外(NIR)荧光的装置的示意性构造；
[0062] 图3示出可见(VIS)反射光、激
光激发光和NIR荧光的波长范围；
[0063] 图4A和图4B示出根据本发明的装置的优选实施例，其中，图4A示出应用于ICG腹腔镜的示例，图4B示出应用于ICG视频示波器的示例；
[0064] 图5A概念性示出在VIS图像和NIR图像之间出现色差的状态，图5B示意性示出根据本发明的优选实施例的两个图像传感器被设置用于校正轴向色差的结构；
[0065] 图6示出使用ICG腹腔镜的针对组织的同一部分提取的图像；
[0066] 图7是顺序示出根据本发明的实施例的通过使用白色反射光中蓝色(B)以外的NIR荧光信号形成复合图像的过程的
框图，在该复合图像中，NIR荧光图像与白色反射光图像背景重叠；
[0067] 图8是示出根据本发明的实施例的通过比较白色反射光的蓝色(B)的强度与NIR荧光的强度来选择性输出蓝色(B)的示例的框图；
[0068] 图9示出根据图8的实施例的从装置得到的复合图像；
[0069] 图10示出在标准样本设置在作为待观察对象的SLN侧的状态下的复合图像；
[0070] 图11示出当标准样本设置在待观察对象附近时辨认SLN的方法的框图；
[0071] 图12是示出根据距待观察对象的测量距离的变化的荧光信号和反射光信号的变化的曲线图；
[0072] 图13是示出当标准样本没有设置在待观察对象侧时辨认SLN的方法的框图；
[0073] 图14示出连续白色反射光信号、光检测传感器的帧速和异步NIR荧光激发光的周期性脉冲信号。
[0074] 应该理解，附图不一定成比例，表现的是说明本发明的基本原理的各种优选特征的略有简化的表现。将部分地通过有特定意图的应用和使用环境来确定如本文公开的本发明的特定设计特征，包括(例如)特定的尺寸、方向、位置和形状。
[0075] 在附图中，在几幅附图中，相同的标号是指本发明的相同或等价的部件。
具体实施方式
[0076] 下文中，现在将详细参照本发明的各种实施例，这些实施例的示例在附图中示出并且在下面进行描述。虽然将结合示例性实施例描述本发明，但应该理解，本
说明书不旨在将本发明限于这些示例性实施例。相反，本发明旨在涵盖不仅示例性实施例，而且涵盖可以被包括在如所附
权利要求书限定的本发明的精神和范围内的各种替代形式、
修改形式、等同形式和其它实施例。
[0077] 下文中，将参照附图详细描述根据本发明的实施例的用于检测前哨淋巴结(SLN)处的近红外(NIR)荧光的装置。
[0078] 图2示出根据本发明的用于检测SLN处的NIR荧光的装置的示意性构造。根据本发明的装置设置有光学分析组件，光学分析组件面对待观察对象的待测量部分，根据成像系统的种类来构造光学分析组件。
[0079] 尽管在图2中示出腹腔镜用作成像系统，但诸如硬或软内窥镜、相机或
手术显微镜的其他成像系统可以用作成像系统。
[0080] 下文中，将参照图2示出腹腔镜被实现为光学分析组件的情况，将详细描述根据本发明的装置。
[0081] 如图2中所示，根据本发明的实施例的装置被构造成包括组合白-NIR照射器10、腹腔镜30、多光谱图像处理系统50、计算机70和显示单元80。
[0082] 在如上所述构造的装置中，从组合白-NIR照射器10发射的NIR波段中的激发光和白光经过导光件20通过作为光学分析组件的腹腔镜30中包括的光学传输模
块31被传输到待观察对象A。待观察的各种
生物对象可以被视为待观察对象A，标准样本被用于与这些对象进行比较并且被观察。
[0083] 使用设置有用于发射白光的灯和用于发射NIR光的
激光器的组合白-NIR照射器10得到组合的白-NIR光。
[0084] 优选地，组合白-NIR照射器10的白光源可以由金属卤化物灯或氙气灯构成，组合白-NIR照射器10的NIR激发光源可以由发射800±20nm的光的NIR激光光源构成。
[0085] 在这个实施例中，一体设置有白光源和NIR激发光源的组合白-NIR照射器已经被描述为示例，但本发明不限于组合白-NIR照射器的形式。也就是说，可以使用任何形式，只要组合白-NIR照射器向待观察对象提供白光和NIR激发光即可。
[0086] 如此，来自组合白-NIR照射器10的白光和NIR激发光通过腹腔镜30的光学传输模块31照射到待观察对象上，从待观察对象发射可见(VIS)反射光、激光激发光和NIR荧光。
[0087] 关于此，图3示意性示出VIS反射光、激光激发光和NIR荧光的波长范围。
[0088] 在这个实施例中，装置被构造成，使得从待观察对象发射的光(VIS反射光+NIR激光激发光和荧光)可以被传输到多光谱图像处理系统50。因此，装置可以被构造成包括腹腔镜30和光学适配器40，如图2中所示。
[0089] 因此，从待观察对象发射的光(VIS反射光+NIR激光激发光和荧光)通过腹腔镜30中包括的光学成像模块32和光学适配器40中包括的光学耦合器41被传输到多光谱图像处理系统50。
[0090] 同时，在这个实施例中，如图2中所示，包括用于分别处理VIS区域和NIR区域中的图像的两个图像传感器。因此，多光谱图像处理系统50可以由能够同时处理两个图像的多光谱2芯片TV系统构成。
[0091] 这里，可以安装遮光滤光器42，以防止NIR波段中的激光激发光通过被待观察对象反射的二次光的路径透入多光谱图像处理系统50并且允许其它波段中的光从中透过。
[0092] 由于待观察对象的背景的白反射光和待检测荧光需要经过多光谱图像处理系统的处理，因此使用遮光滤光器42遮蔽待检测的大量反射激发光。
[0093] 同时，可以在多光谱图像处理系统50中安装分束器51。分束器51将来自待观察对象的二次光分成两种光，即，VIS和NIR。另外，使用滤光器52和53选择被划分成两个通道的光的光谱之一。
[0094] 这里，使用棱镜的分束棱镜可以被用作分束器。更优选地，可以使用二向色棱镜作为分束器。
[0095] 在根据本实施例的装置中，在各通道中安装能够感测被分束光的波长的图像传感器。也就是说，在其中从分束器51分出VIS的VIS通道中安装彩色图像传感器54和滤光器52，在其中从分束器51分出NIR的NIR通道中安装单色图像传感器55和滤光器53。
[0096] 通过包括公共定时发生器61的同一视频处理和控制单元60控制两个传感器。在视频处理和控制单元60中安装用于彩色图像传感器54的第一增益放大器62和第一模/数(A/D)转换器64和用于单色图像传感器55的第二增益放大器63和第二模A/D转换器65。结果，由视频处理和控制单元60的这些组件形成包括白光图像和NIR荧光图像的数字图像。
[0097] 关于此，本实施例中的装置被构造成包括数字图像处理器66，数字图像处理器66用于分析和处理在多光谱图像处理系统中收集的图像信号并且产生VIS反射光图像信号和NIR荧光图像信号。
[0098] 也就是说，视频处理和控制单元60中包括的两通道数字图像处理器66生成用于独立地控制第一增益放大器62和第二增益放大器63中的放大系数的
控制信号，需要用该控制信号执行自动增益控制(AGC)调节。这里，如果设置了AGC调节，则可以控制增益使得可以控制预定参考光(诸如，反射激发光或白反射光)的强度。
[0099] 数字图像处理器66与定时发生器61同步地执行操作。数字图像处理器66对
视频信号执行处理，然后通过接收器/发送器67将视频信号发送到计算机70。计算机70对VIS反射光图像和NIR荧光图像执行图像处理并且使得两个图像成为在显示单元80的屏幕上显示的复合图像。
[0100] 图4A和图4B示出根据本发明的装置的具体实施例，其中，图4A示出靛青绿(ICG)腹腔镜，图4B示出ICG视频示波器。
[0101] 如图4A中所示，根据本发明的装置可以按被制造成检测人体内的SLN的ICG腹腔镜形式使用。如图4B中所示，根据本发明的装置可以按被制造成检测腹腔手术中的SLN的ICG视频示波器形式使用。
[0102] 在各设备中，多光谱2芯片TV系统可以用作如图2中所示的多光谱图像处理系统，NIR激光器11可以用作NIR激发光源。另外，装置12包括用于发射白光的光源12。
[0103] 具体地讲，在ICG腹腔镜中，包括作为白光源的VIS光源12和作为NIR光源的激光器11的组合VIS-NIR光源10用作白光源，以同时发射NIR激发光和白光。
[0104] 在ICG视频示波器中，使用分开的
手术灯12和NIR激光器11而非组合VIS-NIR光源，相机镜头33而非腹腔镜用作成像系统。
[0105] 同时，当同时检测和记录VIS和NIR的两个波段中的图像光谱时，在被设计和制造成适于VIS光谱区域的成像系统中出现色差的问题。色差可以分为轴向(纵向)色差和横向(横的)色差，轴向色差的问题尤为重要。
[0106] 参照图5A，相比于NIR光谱图像的聚焦，VIS光谱图像的焦距在轴上的相对差异值是Δ，这被称为轴向色差。
[0107] 在本发明的实施例中，图像传感器被安装在VIS通道和NIS通道中的每个中，以校正这种色差。
[0108] 具体地讲，如图5B中所示，根据波长控制光路的分束器安装在成像系统的后端。优选地，分束器使用可以通过选择性透射或反射光将光分束的分束棱镜。
[0109] 因此，分束器将光分成VIS和NIR，被分出的VIS和NIR分别入射到彩色图像传感器和NIR图像传感器上。
[0110] 根据本实施例，为了校正轴向色差，控制NIR图像传感器的位置，以使其相比于彩色图像传感器的位置相对移动的值是Δ。
[0111] 结果，根据移动位置校正具有受控距离的NIR图像传感器和各颜色的轴向色差。
[0112] 因此，在根据本实施例的装置中，校正轴向色差，而没有因使用分开的VIS和NIR成像系统和安装复杂的光学模块而造成的任何成本增加，使得可以同时精确地控制两个图像的聚焦。
[0113] 同时，本发明提供了用于同时实现NIR图像和VIS图像的新方法和通过所述方法制造的用于检测SLN处的NIR荧光的装置。
[0114] 为了实现一般的监视器实现彼此重叠的两个图像，出现了如何区分属于VIS反射光图像的NIR荧光图像的问题。在本发明中，使用根据颜色
对比度的新方法容易地区分NIR荧光图像。
[0115] 在颜色对比度中，使用在白反射光中具有黄-红
色调的
生物组织的特性。
[0116] 图6示出使用ICG腹腔镜进行观察期间得到的组织的图像。这里，在白光图像被分到通道R、G和B中之后得到的白反射光的红色(R)信号、绿色(G)信号和蓝色(B)信号。另外，在图6中示出在NIR通道中得到的NIR荧光单色图像。
[0117] 也就是说，图6示出使用ICG腹腔镜的关于组织同一部分的图像。在图6中，在RGB图像中示出原始图像[白反射(RGB)]，在白反射光图像被分到R、G和B通道中之后得到的图像被分别示出为R、G和B。
[0118] 在图6中还示出得自NIR荧光的图像(NIR荧光)，在图6中最后示出VIS反射光图像和荧光图像的复合图像(VIS反射图像+ICG荧光图像)。
[0119] 当与图6的图像进行比较时，可以看到，在通道B中几乎辨认不出生物组织的独特形状。这里，待观察对象的亮部分对应于强光的热点。也就是说，实际人体内的组织大部分可以用颜色R和G来表达，可以看到，颜色B在区分这些组织方面没有用处。
[0120] 因此，在本发明的实施例中，在白反射光中，蓝色(B)图像被替换成NIR荧光图像，使得可以与白反射光一起实现NIR荧光图像。
[0121] 【实施例1】
[0122] 在组合了白反射光和ICG荧光的模式状况下的复合图像(被反射白图像+ICG荧光图像)的构造中，在红色(R)和绿色(G)的反射光图像背景中选择除了蓝色(B)图像的图像之外的NIR图像荧光图像。
[0123] 得自白反射光的蓝色不是组织图像的特征要素，因此通过NIR荧光显示的SLN容易与其它组织区分开。另外，SLN与白反射光中示出的热点区分开。仅仅通过红色(R)和绿色(G)的通道表达形成复合图像中的图像背景的白反射光图像。由于热点没有蓝色，因此热点被示出为黄色。同时，NIR荧光图像被示出为蓝色(B)。
[0124] 也就是说，在图6的右下端示出使用白反射光(RG)和NIR荧光(B)输出的复合图像。在复合图像中，通过红色(R)和绿色(G)的通道将组织表达为图像背景，将热点表达为黄色(R+G)。通过B通道将NIR荧光图像表达为蓝色(蓝色部分)。
[0125] 因此，可以容易地观察到与NIR荧光相关的SLN连同组织的精确结构。
[0126] 将结合图2中示出的装置描述根据这个实施例的用于检测SLN处的NIR荧光的方法。首先，如果通过诸如腹腔镜的装置收集彩色图像(白反射光)和单色图像(荧光)，则彩色图像和单色图像通过光学耦合器等被传输到多光谱图像处理系统。通过分束器将关于传输的彩色图像和单色图像的信息分成VIS区域和NIR区域，然后通过两个图像传感器将所述信息转换成
电信号。
[0127] 分别通过图像传感器转换的各信号经过增益放大器和A/D转换器。然后，在数字图像处理器中分别将信号作为VIS反射光图像信号和NIR荧光图像信号进行处理。在这个实施例中，分别用通过数字图像处理器的RG的图像和B的图像形成白反射光和NIR荧光。在这种情况下，在形成图像的过程中由定时发生器61执行同步，因此荧光图像信号与白光造成的背景同时一起得到，使得可以得到用于实现复合图像的VIS反射光和NIR荧光图像信号。
[0128] 所得到信号的通过发送器/接收器被传输到计算机，计算机组合传输的VIS反射光和NIR荧光图像信号，从而通过显示单元实现复合图像。
[0129] 关于此，图7是顺序示出通过使用白反射光中的除了蓝色(B)之外的NIR荧光信号形成其中NIR荧光图像与白反射光图像背景重叠的复合图像的过程的框图。
[0130] 如图7中所示，收集彩色图像(白反射光)和单色图像(荧光)，收集的白光图像被分到RGB通道，从而得到相对于白光的R(白反射图像[i,j]R)、G(白反射图像[i,j]G)和B(白反射图像[i,j]B)的信号。
[0131] 接下来，生成荧光图像的信号作为B(荧光图像[i,j]B)的信号，使用B信号与R和G信号一起生成复合图像，从而输出复合图像。
[0132] 也就是说，在这个实施例中，当生成复合图像时，在检测到NIR荧光的像素中显示NIR荧光的蓝色(B)，在没有检测到NIR荧光的像素中显示白反射光的红色(R)和绿色(G)。
[0133] 同时，不同于实施例1，在另一个优选实施例中，将白反射光的蓝色(B)的振幅和NIR荧光的振幅进行相对比较。因此，为各像素选择二者中强度相对强的一个，从而实现复合图像。
[0134] 基本上，由于白反射光的蓝色(B)的强度不同于NIR荧光的强度，因此在检测SLN位置的过程中进行白反射光的蓝色(B)和NIR荧光的绝对振幅之间的比较是不适宜的。因此，在本发明的优选实施例中，可以使用相对比较白反射光的蓝色(B)和NIR荧光的振幅的方法。
[0135] 例如，由于NIR荧光信号的强度比白反射光的强度小得多，因此可以通过将NIR荧光信号乘以预定增益来放大NIR荧光信号，然后可以将放大后的NIR荧光信号的振幅与白反射光的振幅进行相对比较。
[0136] 【实施例2】
[0137] 在这个实施例中，针对每个像素，将白反射光的蓝色(B)的强度和NIR荧光的强度进行相对比较，使得白反射光的蓝色(B)和NIR荧光二者中强度强的一个被选择作为蓝色(B)输出。
[0138] 因此，当白反射光的蓝色(B)的强度强于NIR荧光的强度时，选择白反射光的蓝色(B)，从而与红色(R)和绿色(G)一起实现白反射光的RGB颜色。当NIR荧光的强度比白反射光的蓝色(B)的强度强时，NIR荧光被选择作为蓝色(B)。因此，NIR荧光与白反射光的红色(R)和绿色(G)一起作为复合图像输出。
[0139] 图8是示出通过比较白反射光的蓝色(B)的强度和NIR荧光的强度来选择性输出蓝色(B)的示例的框图。
[0140] 如图8中所示，当NIR的信号强度比表达颜色的图像像素中的VIS的信号强度强时，用发射NIR荧光的像素取代发射白反射光的蓝色的像素，因此只有NIR荧光图像信号被显示为蓝色(B)。相反，将白反射光的蓝色(B)图像信号与白反射光的红色(R)信号和绿色(G)信号一起显示作为对应像素中的复合颜色。因此，对应像素被显示为蓝色(B)。
[0141] 在图9中示出根据这个实施例得到的复合图像。也就是说，在图9中，与当NIR信号的强度超过蓝光信号的强度时的状况对应的各像素显示在NIR荧光图像的通道而非在白反射光图像中的蓝色(B)的通道中得到的信号。因此，可以看到，在图9的左侧和右侧，在NIR荧光图像的通道中得到的信号被显示为蓝色(蓝色部分)。
[0142] 在这种情况下，白反射光中示出的热点被示出为作为早期原始颜色的白色，在NIR信号的强度比白反射光中的蓝色信号的强度弱的部分处，组织的色调不改变。
[0143] 同时，在根据本发明的装置和方法中，通过分析向显示单元提供的复合图像的额外处理，更准确地辨认SLN。
[0144] 具体地讲，在本发明中，可以使用标准样本更精确地辨认SLN。
[0145] 具体地讲，在本发明中，基本上使用ICG作为将SLN与非SLN区分开的对比介质，通过当照射激光激发光时从ICG生成的荧光信号之间的强度差异将SLN与非SLN区分开。荧光信号的强度取决于许多要素。也就是说，荧光信号的强度取决于照射到待观察对象上的光的强度、VIS和NIR检测传感器的灵敏度、视频处理和控制单元的参数(增益和快门)、装置和待观察对象之间的测量距离等。在这些要素之中，难以控制测量距离。这是因为，由于待观察对象的组织学特征、待观察的所需部分的近距离观察等，导致测量距离频繁变化。
[0146] 因此，需要用具有与SLN的荧光强度类似的荧光强度的荧
光标准样本来精确地辨认SLN。可以通过基本上使用其中添加了血清或清蛋白的ICG溶液来制备荧光标准样本。ICG溶液通常用作用于增加荧光强度的荧光活化剂。可以使用除了有机材料之外的可以增加荧光强度并且更稳定保持荧光的其它材料作为活化剂。当使用洗发
水作为这个研究执行的实验中的活化剂的候选时，可以看到，密封塑料容器中的ICG溶液的荧光强度得以保持，在至少一个月内没有任何变化。当使用具有预定浓度的ICG溶液时，可以与SLN的荧光强度类似地控制标准样本的荧光强度。
[0147] 辨认SLN的方法可以根据标准样本是否设置在待观察对象侧被分成两种不同方法。
[0148] 首先，当考虑标准样本设置在待观察对象侧时，标准样本可以设置在待观察SLN侧，以比较标准样本的荧光强度与待操作部分的荧光强度。在图10中示出其中标准样本设置在作为待观察对象的SLN侧的示例。
[0149] 在这种情况下，可以通过监视器用肉眼执行或者通过定量估计执行待观察对象(淋巴结)的荧光信号的强度和标准样本的荧光信号的强度之间的比较。如果淋巴结的荧光强度(FI_Lymph Node)大于标准样本的荧光强度(FI_Standard Sample)，则作为待观察对象的淋巴结是SLN。如果淋巴结的荧光强度(FI_Lymph Node)小于标准样本的荧光强度(FI_Standard Sample)，则淋巴结是非SLN。这里，淋巴结的荧光强度意指待观察对象的荧光信号。
[0150] 关于此，图11是示出当标准样本设置在待观察对象附近时检测SLN的方法的框图。
[0151] 也就是说，参照图11的框图，腹腔镜接近待观察对象，然后将标准样本放置在待观察对象附近。随后，比较作为待观察对象的淋巴结的荧光信号的强度与标准样本的荧光信号的强度，基于比较结果，判定淋巴结是否是SLN。
[0152] 同时，考虑当标准样本没有设置在待观察对象侧的时候。
[0153] 比较淋巴结的荧光信号的强度与标准样本的荧光信号的强度是一种直接的方法。然而，当没有使用标准样本时，可以使用白反射光信号自动地计算距待观察对象的测量距离的变化。
[0154] 图12是示出根据距待观察对象的测量距离的变化的荧光和反射光信号的变化的曲线图。参照图12，可以看到，反射激发光的强度和荧光的强度根据距待观察对象的测量距离以几乎相同的速率减小。
[0155] 因此，如果自动地控制参数(增益和快门)使得参考光一直是恒定的，则使用反射激发光或白反射光作为参考光，可以得到相同强度的荧光，而不管距离是多大。
[0156] 也就是说，当考虑图2的装置时，自动地控制第一增益放大器和第二增益放大器中的参数，使得在数字图像处理器中，参考光信号是恒定的，从而可以连续地得到具有相同强度的荧光信号，而不管距离是多大。
[0157] 关于此，在这个实施例中，使用白反射光而非反射激发光，以校正测量距离。在这种情况下，由红色(R)、绿色(G)或蓝色(B)光生成的信号可以用作参考光。优选地，由受待观察组织的结构特性影响不太大的通道R生成的光学信号可以用作参考光。
[0158] 当标准样本没有设置在待观察对象侧时，在图13中示出辨认SLN的过程。
[0159] 首先，放置标准样本，基于相对于标准样本的VIS和NIR信号的测量值执行系统的校正操作。通过测量各标准样本的光强度执行根据白标准样本和NIR标准样本之间距离的比例表达式，并且测量漫反射值。
[0160] 在将腹腔镜插入人体之后，改变参数(增益和快门)以适应白光的强度，因此，自动地放大和控制白光通道(VIS光通道)的信号。在这种情况下，参数不仅在白光通道中而且在NIR通道中同样地改变，从而消除了测量距离的误差。
[0161] 如果观察到淋巴结处的荧光增加，则测量淋巴结的荧光强度。
[0162] 如果待观察淋巴结的荧光强度高于标准样本的荧光强度，则判定淋巴结是SLN。如果待观察淋巴结的荧光强度低于标准样本的荧光强度，则判定淋巴结是非SLN。
[0163] 同时，可以考虑通过时间调制方法与颜色对比度方法一起检测SLN处的荧光信号。
[0164] 图14示出连续白反射光信号、光检测传感器的帧速和异步NIR荧光激发光的周期脉冲信号。
[0165] 参照图14，在时间调制方法中，连续地执行白光源的光照射，因此连续地输出白反射光。同时，NIR荧光被构造成变成频率比TV系统的帧速小得多的脉冲模式。因此，NIR激发光具有不连续的光照射输出。在这种情况下，不必让激光照射的调制速率与TV系统的帧速同步。
[0166] 因此，在由连续输出的白反射光造成的VIS背景图像中周期性地闪烁NIR荧光图像，使得可以容易地辨认NIR荧光图像。
[0167] 可以独立地使用时间调制方法。优选地，将时间调制方法与实施例1或2的颜色对比度方法一起使用，使得可以容易地检测来自SLN的荧光信号。
[0168] 【实施例3】
[0169] 通过时间调制方法，连续激光的输出模式变成具有1Hz至2Hz的重复速率的脉冲模式，这个重复速率远小于作为内窥镜中使用的TV系统的光检测传感器的帧速15Hz。
[0170] 因此，在连续VIS图像背景中的NIR图像由于脉冲模式而周期性闪烁。
[0171] 在这个实施例中，时间调制方法与颜色对比度方法分开执行，因此VIS图像保持完美的颜色(RGB)。另一方面，当时间调制方法与实施例1和2的颜色对比度方法一起使用时，在NIR荧光图像中蓝色(B)可以被取代，因此，可以由红色(R)、绿色(G)和NIR荧光图像形成VIS图像。可供选择地，当蓝(B)光信号的强度大于NIR荧光图像的强度时，VIS图像可以完美地由红色(R)、绿色(G)和蓝色(B)形成。
[0172] 已经参照本发明的示例性实施例详细描述了本发明。然而，本领域的技术人员应该理解，可以在不脱离本发明的原理和精神的情况下在这些实施例中进行改变，本发明的范围由所附权利要求书及其等同限定。
