首页 / 专利库 / 光学 / 光谱学 / 同时进行实时多模式成像和它的光谱学使用

同时进行实时多模式成像和它的光谱学使用

阅读:110发布:2020-05-16

专利汇可以提供同时进行实时多模式成像和它的光谱学使用专利检索,专利查询,专利分析的服务。并且本 发明 包括光学设备,方法并用作实时(视频速率)同时的多模式成像,例如用 内窥镜 同时的测量白光反射,自然组织自身 荧光 和 近红外 图像。这些原理可用于各种光学设备,如 显微镜 ,内窥镜,望远镜, 照相机 等,观察或分析光与物体,如行星, 植物 , 岩石 ,动物,细胞,组织, 蛋白质 ,DNA, 半导体 等的交互作用。多带 光谱 图像可提供形态学数据,如 肺 组织的表面结构,然而化学组成,子结构和其它的物体特征可从涉及反射或来自物体的光 辐射 的(发射的)如发光或荧光光谱 信号 推论,指出内源的化学物或外源的物质如用于增强可见性的 染色 剂,药物, 治疗 或其它作用物。因此,本发明的一个实例讨论同时的白光反射和荧光成像。另一实例描述附加的另一反射的成像形式(近红外光光谱)。讨论各种应用的输入(发光)光谱,光 调制器 ,光处理,物体交互作用,输出光谱,检测器结构,同步, 图像处理 和显示。,下面是同时进行实时多模式成像和它的光谱学使用专利的具体信息内容。

1.一种同时测量目标对象的图像的光学设备,包括:
光源,用于传递询问宽带辐射
第一光调制器,用于将询问宽带辐射分离为对应多个成像形式的多个 白光发光段和荧光激励段;
第二光调制器,将来自目标对象反射的白光段和荧光激励段分离为对 应多个成像形式的多个白光成像段和荧光成像段;
至少一个检测器接收所述的成像段,并将所述成像段处理为图像。
2.根据权利要求1所述的设备,其特征在于还包括同步第一光调 制器和第二光调制器的装置。
3.根据权利要求1所述的设备,其特征在于还包括显示所述图像的 装置。
4.根据权利要求3所述的设备,其特征在于显示装置包括对齐所述 图像的装置。
5.根据权利要求1所述的设备,其特征在于还包括同步第一光调制 器和第二光调制器的装置和显示图像的装置。
6.权利要求1的光学设备并入内馈镜。
7.根据权利要求1所述的设备,其特征在于所述光源包括至少下 述光源之一:LED、多个LED、灯。
8.根据权利要求6所述的设备,其特征在于所述光源包括多个安装 在内馈镜的远端上的光发射二极管
9.根据权利要求8所述的设备,其特征在于第一光调制器由同步的 电子转换的光发射二极管分离询问宽带辐射。
10.根据权利要求1所述的设备,其特征在于第一光调制器包括 有对应多个成像形式的多个调制分量的运动的滤光器,所述每个分量有由 所述分量分离的宽带辐射与宽带辐射的比率组成的占空度。
11.根据权利要求10所述的设备,其特征在于所述多个调制分量 包括至少彩色平衡滤光器分量和荧光激发滤光器分量。
12.根据权利要求11所述的设备,其特征在于荧光激发滤光器分 量对应于有近似400到450nm和/或700到750nm光谱范围的询问光谱段。
13.根据权利要求1所述的设备,其特征在于第一光调制器包括光转 换装置。
14.根据权利要求1所述的设备,其特征在于还包括至少白光检 测器和荧光检测器。
15.根据权利要求1所述的设备,其特征在于所述第二光调制器 包括有对应多个成像形式的多个调制分量的运动的滤光器,所述分量有由 分量分离的宽带辐射与宽带辐射的比率组成的占空度。
16.根据权利要求15所述的设备,其特征在于所述多个调制分量 包括至少彩色平衡滤光器分量和荧光反射滤光器分量。
17.根据权利要求16所述的设备,其特征在于荧光反射滤光器分 量在近似300到800nm光谱范围提供接近百分之百的反射。
18.根据权利要求1所述的设备,其特征在于所述第二光学调制器包 括光转换装置。
19.一种同时测量目标对象的图像的光学设备,包括:
光源,用于传递询问宽带辐射;
光调制器,用于将询问宽带辐射分离为对应多个成像形式的多个白光 发光段和荧光激励段;
检测器,接收目标对象的返回辐射,并将返回辐射分离为对应多个成 像形式的多个返回光谱段;
图像处理装置,将返回光谱段处理为图像。
20.根据权利要求19所述的设备,其特征在于还包括同步所述光 调制器和所述检测器的装置。
21.根据权利要求19或20所述的设备,其特征在于还包括显示所述 图像的装置。
22.根据权利要求21所述的设备,其特征在于所述显示装置包括 对齐所述图像的装置。
23.权利要求19的设备并入内馈镜。
24.根据权利要求19所述的设备,其特征在于所述光源包括至 少下述光源之一:LED、多个LED、灯。
25.根据权利要求24所述的设备,其特征在于所述光源包括多个安 装在内馈镜的远端上的光发射二极管。
26.根据权利要求25所述的设备,其特征在于光调制器由同步的电 子转换的光发射二极管分离询问宽带辐射。
27.根据权利要求19所述的设备,其特征在于光调制器包括有对 应多个成像形式的多个调制分量的运动的滤光器,所述分量有由所述分量 分离的宽带辐射与宽带辐射的比率组成的占空度。
28.根据权利要求27所述的设备,其特征在于所述多个调制分量 包括至少彩色平衡滤光器分量和荧光激发滤光器分量。
29.根据权利要求28所述的设备,其特征在于荧光激发滤光器分 量对应于有近似400到450nm和/或700到750nm光谱范围的询问光谱段。
30.根据权利要求19所述的设备,其特征在于光调制器包括光转换 装置。
31.根据权利要求19所述的设备,其特征在于检测器包括至少白 光检测器和荧光检测器。
32.根据权利要求19所述的设备,其特征在于所述分离装置包括 多个分光反射镜。
33.根据权利要求32所述的设备,其特征在于还包括多个滤光器。
34.根据权利要求33所述的设备,其特征在于多个滤光器包括至 少一个带通滤光器和/或至少一个长通滤光器。
35.根据权利要求32所述的设备,其特征在于还包括多个镜头。
36.根据权利要求35所述的设备,其特征在于多个镜头聚焦多个 返回光谱段到对应的多个传感器上。
37.根据权利要求36所述的设备,其特征在于多个传感器包括 CCD。
38.根据权利要求37所述的设备,其特征在于所述CCD传感器包括 至少一组像素,其中,在至少一组中的每个像素覆盖有传送蓝光的带通滤 光器、传送绿光的带通滤光器、传送红光的带通滤光器、传送近红外光的 带通滤波器之一。
39.根据权利要求38所述的设备,其特征在于还包括装置,用 于产生来自蓝光的蓝通道图像、产生来自绿光的绿通道图像、产生来自红 光的红通道图像、产生来自近红外光的近红外图像。
40.根据权利要求39所述的设备,其特征在于还包括显示所述通 道图像的装置。
41.根据权利要求40所述的设备,其特征在于所述CCD传感器包括 至少一组像素,其中,在至少一组中的每个像素覆盖有传送蓝光的带通滤 光器、传送绿光的带通滤光器、传送红光的带通滤光器之一。
42.根据权利要求41所述的设备,其特征在于还包括装置,用于产 生来自蓝光的蓝通道图像、产生来自绿光的绿通道图像、产生来自红光的 红通道图像。
43.根据权利要求42所述的设备,其特征在于还包括显示通道图像 的装置。
44.根据权利要求19所述的设备,其特征在于还包括传感器,用 于同步所述的光调制器和所述的检测器。
45.根据权利要求19所述的设备,其特征在于所述处理装置包括:
转换装置,将返回光谱段分配到多个模数转换器之一,其中,所述多 个模数转换器数字化所述的返回光谱段;
阵列,将数字化的返回光谱段处理为图像。
46.一种同时测量白光和荧光图像的光学设备,包括
装置,用于提供要求的发光;
装置,以视频速率调制实时成像的发光;
装置,由发光与目标对象交互作用产生图像;
装置,以视频速率分离图像;
装置,检测分离的图像;
装置,处理检测的分离的图像;
装置,控制所述分离的图像的检测和处理;
装置,显示至少一个处理的图像。

说明书全文

技术领域

各种光学的设备如显微镜内窥镜,望远镜,照相机等支持观察或分 析与物体,如行星,植物岩石,动物,细胞,组织,蛋白质,DNA, 半导体等光的交互作用。一些多频带的光谱图像提供形态学图像数据,但 是其它多频带的光谱图像提供涉及化学构成,子结构和/或可从反射或发 射光的多频带的光谱图像测定的其它目标对象的特性的信息。这些光发射 图像,如发光或荧光,可指明和提供评估如所用的染色剂的内生的化学物 质或外生的物质的手段,以增强可视化,药物,治疗的媒介或其它媒介物。

在医学图像和更特殊的内窥镜领域中,反射的白光,自然组织自身荧 光,发光,化学发射,近IR反射,和其它光谱提供可视的组织并收集诊 断信息的手段。除了组织形态学的可视化,使用在电磁光谱的各个部分中 的光交互作用收集化学信息。内窥镜感兴趣的三种实时成像形态包括白光 反射成像,荧光发射和近红外反射成像形态。

在内窥镜中,常规的白光成像典型的用于观察表面形态学,建立界标, 并基于外貌评估内部器官。很好的建立了观察呼吸和胃-肠系统的应用。 最近已发展荧光成像,并使用组织的特性自身荧光已用到早期癌症的检 测。同样的,使用成像荧光已完成各种自然的和引入的化学的交互作用的 观察,如用蛋白质标记细胞。可使用近红外光测定在健康和疾病组织中的 化和组织缺氧。作为选择,荧光标签的单克隆的抗体可用于标记特定的 细胞的蛋白质,同时它可光学的检测和/或测量。

近来,存在使用这些以视频速率实时采集数据的成像形式的方法和设 备结构。然而,对成像,已连续的或部分连续的可获得来自不同形式的此 实时信息,但不是同时地。

如这里使用的“多模式”意味着至少两种成像模式,它们的发光光谱 带或它们的检测光谱带或两者是不同的。

这里使用的“光调制器”意味着改变电磁辐射波长,和/或改变强度, 和/或定时选通各种光谱的设备或光和/或电-光设备的组合。可单独的或包 括此光调制器的组合的在机械或电控制下使用各种滤光器,滤光器,滤光 轮,镜头,反射镜,微反射镜阵,液晶,或其它设备。本发明的某些实例 利用两个光调制器,一个与用于询问对象或与对象交互作用的调制光源光 谱关联。因此源光照的调制可以如用控制的方式转换(选通)一个或多个 发光源那样简单,或用如描述的设备完成光调制。第二光调制器用于处理 在与目标交互作用后返回的光。第二光调制器可用作分离成像光段,引导 它们到各个检测器,并包括,例如移动的反射镜,作为部分滤光轮的旋转 的反射镜,或数字多反射镜设备(DMD)。检测器可以是成像设备,如有 CCD传感器的照相机或可包括分光计的传感器。在一些情况中,如在体 内的内窥镜应用中,源光照可与的组织交互作用,返回的光可包括各种 反射的和再发射的光谱。

如这里使用的控制和同步意味着,例如以实时视频速率提供在光调制 器和/或电磁辐射源和/或检测器上的控制,并进一步同步这些部件的运行, 提供产生希望的时间段的希望的源光谱的装置,同时处理(例如,放大, 衰减,分割,选通)和检测各光谱的图像信号。在一些要求相对地紧密的 控制和同步的实例中,在其它实例中,可使用这些返回信号本身用以协调, 例如,可使用它们的强度和波长提供控制和同步的信息。

除了观察和分析以外,同时,可引导选择的光谱激发一定的光敏的化 学物质,因此可传递和监控处理如光学的治疗(PDT)。

现有技术讨论以下的装置,连续的提供白光成像(典型的光谱范围 400nm到700nm),荧光成像(例如用从400nm到450nm的蓝光和在400nm 到700nm范围的再发射激发的组织自身荧光),和有近似700nm到800nm 范围或以外的光谱近红外的图像,和/或在这些范围中的特定光谱,和/或 与光谱信号组合的成像形式,保留同时的以各种视频速率的提供这些各种 成像模式的设备和方法的需要。本发明满足此需要。

背景技术

Fulghum的美国专利号6364829题目为“内窥镜的自身荧光成像系统” 讨论了提供可见光(它导致最小的自身荧光)和紫外光(可导致组织自身 荧光)的宽带光源。例如,由在内窥镜的远轴的尖端的单个成像检测器检 测图像,并提供了在这些源发光光谱之间做电转换。提供各种光源,滤光 器,滤光轮,光,反射镜,分光的反射镜,光谱,光源,强度和时序图 表,因此。这个现有技术包括在参考文献中。
Wagnieres的美国专利号6148227题目为“提供记录荧光生物组织区域 的图像的诊断设备”讨论了发光光谱和荧光成像分量。在一个实例中, 用独立的信号处理指引红和绿分量分离部分的CCD。
Freitag的美国专利号6061591题目为“由荧光观察诊断恶性组织的装 置和方法”讨论了选通的白光发光源和激发荧光的激光。作为选择,可以 分离和从单个灯,例如,汞_氙弧光灯提供希望的荧光光谱。也讨论了滤 光轮(有红,绿和蓝滤光器和划分荧光为红和绿分量的滤光器)和时序要 求。虽然两者都可显示在监视器上,顺序的实现白光和荧光图像的测量。 各个附图描述相似于那些本发明预期的光源。
Fulghum描述的系统有在自光和荧光可视的方法之间用10Hz或更高的 显示率电子地来回转换的能力。不象其它的现有技术(例如,要讨论的美 国专利号5647368),在全色的普通可见光成像和荧光成像之间的转换由 电子开关完成而不是由操作者的物理调制(转换)。此现有技术也讨论了 在深紫波长上的荧光激发光,以便延伸位于内馈镜的紫色波长,以及期望 作为本发明各种实例的光源的UV的镓氮化物激光二极管和汞弧光灯。同 样感兴趣的是,Fulghum讨论了内窥镜的局限和涉及光纤的UV-透射特性 的特殊限制。由Ferguson/Zeng公开于2002年8月23日申请的正在审查 的美国专利申请号10/226406,题目为“非相干的光纤设备和成像方法” 解决了这些限制的一部分。
Schulz的美国专利6019719,题目为“完全耐高压加热的电子内窥镜” 讨论了物镜,晶体滤光器,IR滤光器和安置在成像的内窥镜的末端的底 部的CCD芯片。
Heimberger的美国专利5930424,题目为“连接光纤缆到内窥镜的光纤 光连接的设备”讨论了耦合设备,如光源到内窥镜的各种特性。
Halfele的美国专利5926213,题目为“校正视频照相机记录的彩色图 像的色调的设备”,讨论了如内窥镜照相机与启动色调校正的旋转传感器。 彩色校正,定标或归一化对从图像数据的数字化或图像的比较是有用的, 并认为是本发明的各种实例。
Palcic的美国专利5827190,题目为“有集成CCD传感器的内窥镜” 讨论了测量与组织和组织疾病关联的各种信号的照明光源和传感器。
Zeng的美国专利5647368,题目为“在呼吸和胃-肠道中使用自然荧光 检测有疾病的组织的成像系统”讨论了使用汞弧灯提供用内窥镜检测和区 别在变态的或有疾病的组织中的不同效果的白光和荧光成像。
MacAulay的美国专利5590660,题目为“使用综合的自身荧光成像有 疾病的组织的设备和方法”讨论了光源要求,光传感器,和提供用于如成 像有疾病的组织的,归一化自身荧光图像的背景图像。
Pacic的美国专利5769792,题目为“有疾病的组织的内窥镜成像系统” 还讨论了光源和从不同于正常和有疾病组织的自身荧光的光谱强度带提 取信息的装置。
Zeng的2000年12月19日申请正在审查的美国专利申请号09/741731, 题目为“荧光和反射成像和光谱学和用多路的测量设备同时测量电磁辐射 的方法和设备”,(部分继续申请的美国专利公开号2002/0103439)讨论了 同时的提供一种模式的成像和光谱学的同时的方法,但多路成像和关联的 光谱学方式是连续的。在本发明中,描述在各种希望的波长同时实现多模 式成像的方法。不像Zeng的现有技术,Zeng的本发明不寻求提供图像和 波长光谱的测量,代之寻求提供同时的多模式成像,其中检测和利用在规 定的光谱中的全部的图像作为显示或分析。
Gombrich的美国专利5999844,题目为“使用自身荧光成像和取样有 疾病的组织的方法和设备”讨论了接收激发光的多个图像检测器和在分离 的隔间或获取单元中沉积的活组织切片检查。
Irion的美国专利6212425,题目为“光力学诊断的设备”讨论了使用 光引导的反应或内在的荧光的内窥镜成像检测有疾病的组织,并传递治疗 使用或激发提供治疗的化合物的光。
Kanno的美国专利4884133,题目为“内窥镜光源设备”讨论了光源, 光导和内窥镜使用的这些元件的控制。
Kaneko的美国专利5749830,题目为“荧光内窥镜设备”讨论了两种 光源的使用,第一种(例如灯)白光,第二种(例如氦镉激光)提供询问 光谱的荧光。Kaneko专利也使用放在单个检测器路径上的滤光轮。多模 式成像滤光轮有多个滤光器(例如,在图4a中3个和图4b中5个)。同 时它们说明显示的两个成像形式(图7的110),他们不讨论同时的实时 多模式成像。因为此现有技术讨论在本发明中利用的宽范围的组织,如组 合光源,同步和滤光轮,Kaneko的专利合并在此作为参考。
Ferguson/Zeng的正在审查的美国专利申请号10/226406,题目为“非相 干的光纤设备和成像方法”中还进一步讨论了内窥镜和成像应用,其中还 讨论克服光纤设备一些存在的限制的设备,如内窥镜。

发明内容

本发明通过提供目标对象的同时多模式光谱成像解决了上面描述的问 题。
为实现上述目的,一种同时测量目标对象的图像的光学设备,包括:
光源,用于传递询问宽带辐射;
第一光调制器,用于将询问宽带辐射分离为对应多个成像形式的多个 白光发光段和荧光激励段;
第二光调制器,将来自目标对象反射的白光段和荧光激励段分离为对 应多个成像形式的多个白光成像段和荧光成像段;
至少一个检测器接收所述的成像段,并将所述成像段处理为图像。
调制目标辐射或发光提供不同波长的辐射段,例如,改变白,绿,蓝, 红和近红外光的段。目标对象返回发射的和再发射(例如,荧光)的光, 进一步调制返回的光,以便将返回光分离为对应不同波长的段。可处理, 显示,和分析返回的辐射。

附图说明

图1(现有技术)显示内窥镜成像利用的一系列典型的希望的光谱;
图2a和2b(现有技术)说明来自典型荧光内窥镜系统的光谱;
图3(现有技术)说明来自连续的白光和荧光内窥镜系统的荧光模式的 典型光谱;
图4显示放在内窥镜远端底的发光源;
图5是本发明实例的透视图;
图6a是用包括多个传感器的单个检测器同时的白光和荧光成像的透视 图;
图6b是关联图6a的检测器结构的透视图;
图6c是关联图6a的,可放在内窥镜远端尖端的另一个检测器结构的 透视图;
图6d是在图6a,6b和6c中描述的控制和同步同时成像模式的框图

具体实施方式

在本发明可受不同形式的实例影响时,这里详细描述在附图中所示的 特殊的实例,理解本发明公开的内容可认为是本发明的原理范例,不限制 这里所说明和描述的本发明。
根据包括反射光和/或发射光光谱的组织发光和产生的信号,可描述和 区分内窥镜和内窥镜系统。
图1(现有技术)说明白光和荧光评估利用的典型光谱。光谱0100显 示典型利用的宽范围发光。由单个光源或由在现有技术和在此申请中进一 步讨论的多重组合光源可提供此发光。
光谱1101显示典型的白光(宽带)发光光谱。可用各种光源(灯等) 产生宽带发光,例如,Fulghum的美国专利6364829讨论了希望的发光。 如在光谱1101中显示的发光可与提供反射光,如典型的白光信号(反射) 的目标组织交互作用,在光谱2102中说明的本质上与光源相同的光谱范 围,但相对于入射发光衰减。如在光谱2102中观察的一样,基于组织吸 收,存在的血液和其它因素,这样的衰减可以是优先的。
光谱3103表示要激发组织荧光的典型的短波光,例如蓝光。典型的返 回信号光谱4104有两个分量,典型的不利用组织反射分量104R,和组 织荧光发射信号104E。常常阻挡或滤波掉反射分量,因此它不干扰荧光 检测。
因此,为了激发组织荧光,窄发光带是优选的。窄带可从宽带发光中 隔离出来,或可由窄带源如LED或激光提供。可使用如在光谱5105中 说明的典型的UV发光激发组织自身荧光,产生如在光谱6106中显示的 光谱。通常不使用反射分量106R。在光谱7107中说明的典型的发光在红 /近IR中提供如在光谱8108中显示的反射分量。
此外,可有益的组合和使用发光光谱。例如,显示在光谱9109中的典 型的发光光谱,蓝光加红/近IR光,产生如在光谱10110中显示的信号光 谱。在讨论各图例时涉及这些光谱(0到10)。
图2a和2b(现有技术)描述和表示内窥镜成像原理,包括Alfano的 美国专利5413108,题目为“基于癌症表示的自然荧光的发光测量映射组 织样本和辨认它们的不同区域的方法和装置”,和Alfano的美国专利 6091985,题目为“使用自然荧光激发光谱学检测在组织和/或细胞中的癌 症和癌症前期情况”,上述两个现有技术合并在此作为参考。如所介绍的, 这些原理可用于其它的光学系统,如显微镜,照相机,望远镜等,Alfano 的美国专利6080584,题目为“使用自然荧光光谱学检测在涂片上存在的 癌症的和癌症前期细胞方法和装置”,包括Alfano的这个现有技术合并在 此作为参考。
因此,图2a说明白光,反射和发射内窥镜,通常,根据输入光谱212 (发光)和输出信号光谱214,由指示线210描述输入和输出。在UV范 围中选择第一发光201,即λ1-I,激发组织自身荧光(如,关联图1讨论 的光谱5)。在蓝/绿区域中出现产生的组织发射光谱21,这进一步确定为 λ1-E(如,图1中的光谱6的106E)。使用询问发光201,正常和有疾病 的组织的发射信号的强度是近似的。这进一步的由正常组织221和有疾病 的组织226的特性曲线显示。在时间间隔T1典型的获取组织发射(自身 荧光)的第一代表(参考)图像。
图2b显示输入光谱216和信号光谱218。在时间间隔T2,在UV/蓝区 域中的λ1-I,第二询问发光202照明组织激发自身荧光(如,关联图1讨 论的光谱3)。在蓝/绿区域中再一次出现产生的组织发射光谱252,这进 一步确定为λ2-E(发射)。在这些条件下,在正常组织222和有疾病的组 织227的特性曲线之间观察到可测量的差别。在时间间隔T2获得组织图 像。在T1获得的第一(参考)图像和在T2获得的第二图像之间的比率 和/或差提供归一化,处理和提取诊断信息的基础。此结构的一个优点是 因为顺序的获得图像,这可使用单个图像传感器获得。此外,因为在同样 一般的光谱区域(251,252都是蓝/绿)产生两个组织自身荧光图像,它 们不能用光学装置在空间上分离,因此,它们如指出的在时域上(T1, T2)被分离。例如,各种限制导致,记录(像素对齐)这两个图像变得很 困难,由于器官或目标组织(如,肺)的呼吸或运动可能移动这两个图像。
图3(现有技术)说明如在Zeng的美国专利5647328,题目为“使用 在呼吸和胃-肠道中自然荧光检测有疾病的组织的成像系统”中讨论的顺 序白光和荧光内窥镜使用的荧光模式,和还在Cline的美国专利6462770, 题目为“有反射和荧光内窥镜的自动增益控制的成像系统”中讨论。如进 一步描述的,Zeng的专利典型的使用两个发光源,提供如在关联图1中 讨论的光谱1和光谱3的顺序的发光谱。
图3显示荧光成像模式的在线310上面的输入光谱312和在线310下 面的输出光谱314。还标记λ1-I的输入光谱321提供激发组织荧光的蓝光, 如用图1讨论的光谱3。还确定为λ1-E的组织发射351出现在绿区中, 也指出正常组织301和有疾病的组织307的典型组织的特性曲线。在Zeng 的专利中如上面描述的关闭宽带白光源和打开蓝光源完成光调制。如用本 发明图5描述的,由插入或取代引导白光反射或荧光发射到希望的检测器 中的反射镜,提供光调制的第二种形式。因此,本发明的一个目的是提供 以视频速率转换发光光谱、协调图像的方向和捕获的装置。同时,可能以 高速率物理地完成此转换、在超出了现有技术范围的延伸的时间段上维 持此转换、可再现的、并要求完成多模式同时成像。在Cline的专利中还 描述这些原理,用图1说明由转换模式106和操作者控制转换65调制的 组合光源(36)。这个现有技术也讨论了希望的发光,并包括在此作为参 考。
图4显示提供和调制本发明开发的同时白光和荧光内窥镜的发光的装 置。给内窥镜400在远端底410提供一个或多个发光源。此结构的一个优 点是它消除与内窥镜关联的传输损耗,这对一定的波长可以是实际的。此 外,这些设备的快速转换提供调制希望的发光的简单的装置。如描述的, 三个LED提供发光,并通过电连接器可同步发光和图像检测。LED451 可提供如关联图1讨论的光谱0的宽光谱。典型的,此宽光谱进一步调制 如关联图5和6讨论的。LED451也可提供如用图1讨论的光谱1的更窄 的光谱。可提供第二LED452如光谱3或光谱5(按照图1)的输出,因 此支持白光和荧光内窥镜。同样的,有如光谱7发光的第三LED453可延 伸成像到红和近-IR波长范围。下面将进一步描述各种成像模式和同步的 要求。
图5说明提供同时白光和荧光成像的本发明实例。光源580传递宽带 照明(如关联图1讨论的光谱0)。光源可以是传递要求的发光的单个单 元或包括组合的光源。新的更高功率的LED提供适合于在如描述的在内 窥镜顶端使用的,或作为部分光源的有一定强度平的有用的光谱,如超 过200mV的蓝色LED。因此,这些光源可高速电转换(低于1微秒), 以提供如描述的调制发光光谱。
形成的光束581与光调制器交互作用,在这个例子中,光调制器是正 在旋转的滤光轮550,滤光轮由提供白光成像输出光谱(如关联图1讨论 的光谱1)的白光或彩色平衡滤光器552和提供荧光成像的激发光谱(如 关联图1讨论的光谱3,5,或9)的荧光激发滤光器554组成。两个光滤 光器552和554还可包括光阻塞条553,以便分离光谱束。因此,调制光 束581为白光发光段582和可以用未被照亮的段555隔开的荧光激发段 592。调制的光束与目标对象接触和交互作用,目标对象如组织540,它 可产生反射的白光段583(有如关联图1讨论的光谱2的光谱内容)和荧 光发射段如593(有如关联图1讨论的光谱4,6或10的光谱分量)。光 调制器520可进一步处理间隔的、交替的成像光束,在这个例子中,光调 制器520是位于相对于产生成像段的入射光45度的第二旋转的滤光轮, 互相分离90度。在这个例子中,光调制器由传送白光成像段585的打开 的或色彩平衡滤光器522和可以是引导荧光成像光束段的反射镜(近似 100%的反射率)的滤光器524组成。白光成像段到达检测器500,它可 以是为处理和/或显示输出标准RGB和同步视频信号502的RGB视频彩 色照相机。荧光成像段到达检测器530,它可以是荧光成像照相机,为进 一步处理和/或显示再一次输出标准RGB和同步视频信号532。
编码器510,560的功能就像分别与光调制器(旋转的滤光轮)550 和520关联的传感器,其通过电缆571和572与同步设备570接口,提 供协调和同步两个光调制器,还提供通过电缆574和573控制和同步白光 检测器500和荧光检测器530的帧同步信号
来自检测器500的白光图像和来自检测器530的荧光图像可显示在分 离的监视器或同一观察监视器的不同部分上作同时观察。作为选择,因为 两个图像是同步的,它们可如要求的或希望的那样叠加,处理,作伪彩色 或组合。
另一有用的图像显示模式是显示荧光图像模式(单独或与其它显示模 式组合)的R(红)信道,因为很少受血液吸收的影响的近红外反射信号 110R2(图1的光谱10)产生此红信号,因此准许医生通过血液观察组织 结构,例如检验在希望的位置执行活组织切片检查。
各种选项如由液晶,数字微反射镜设备(DMD),和合并光栅,棱镜等 的其它光/电设备组成的空间光调制器(SLM),可实现如上面讨论的光调 制器同样的终端。通常,用无运动部分的固态设备可改善使用因素如可靠 性,在电子控制下也可由消除部件如关联的光编码器简化设计。
在说明的实例中,白光和荧光有近似百分之五十的占空度。如果利用 其它形式的光调制器,可实现各种其它比率如白光百分之25和荧光百分 之75为改变滤光器域区域或时序所要求的或希望的。
图6a显示本发明的另一实例,它降低实现同时多模式成像要求的部件 数量。发光源630提供宽带发光(如关联图1讨论的光谱0)。光调制器 650进一步处理形成的发光681,在这个例子中,光调制器650是由传送 调制的白光发光(如关联图1讨论的光谱1)的白光或色彩平衡滤光器652 和荧光成像滤光器654(它提供发光,如关联图1讨论的光谱3,5和9) 组成的旋转滤光轮。滤光轮650也可利用束阻塞器653。因此,如果需要, 用未被照亮的间隔段655产生交错的白光和荧光照明段如682和692。发 光段与目标对象如组织640交互作用。反射的白光成像段如685(对应如 关联图1讨论的光谱2的特性)和荧光成像段(有如关联图1讨论的光谱 4,6,10的分量)引导到检测器600。幀传感器(光编码器)660产生 Frame_Sync信号作为指出滤光轮650的位置的手段。通过通信电缆661 用同步信息与检测器600接口。例如,可使用在Frame_Sync信号上的负 脉冲指出荧光检测的时序,而正脉冲可指出白光同步信息。检测器600(在 图6b中详细讨论的)接收成像段,并通过图像处理电子设备(用图6d显 示和讨论的)同时产生荧光成像信号和白光成像信号。在简单的结构中, 滤光轮650分别由两个同等均衡的白光发光和荧光激发的滤光器652和 654组成。轮650以900rmp或每秒15次旋转,提供同样光灵敏度的15 幀/秒的白光和荧光检测。可提供其它比率的滤光器区域,例如增加荧光 灵敏度,它典型的低于反射的白光的强度。Zeng的美国专利申请 09/741731,题目为“荧光和反射成像和光谱学和用多路的测量设备同时 测量电磁辐射的方法和设备”,(出版号是2002/0103439,继续申请号是 10/028568)讨论了它们的原理,因此,合并在此作为参考。
图6b显示利用有多个传感器(例如,CCD)的检测器,多模式同时的 获得白光反射和荧光发射成像的检测器结构,那么降低或消除如在现有技 术中使用的机械转换机制。因此,检测器600由可以是蓝,绿和红光的至 少三个传感器如传感器615,传感器625和635组成。典型地,这种结构 的优点是设置传感器具有可比较的路径长度,例如,从分光镜621的表面 到传感器645的距离基本上等效于从该点到传感器615的距离。可提供附 加的传感器如635作另一个成像模式如近-IR成像。
交替的成像光段610在箭头688指出的方向进入检测器600。当荧光成 像段(如695,用关联图6a讨论的)进入检测器时(典型的例子是如关 联图1讨论的光谱104E,106E或110E和110R2),此光610的一部分与 分光镜621互相作用(传送通过),分光镜621有近似500nm的截至波长, 例如反射光低于500nm(611)和传输光大于500nm(612)。然后成像段 进一步与有约600nm截至波长的分光镜622互相作用,500nm到600nm 的反射荧光分量向着传感器625(绿光),同时传输在成像光谱分量614。 同样的,分光镜623(选择性的有第四传感器645)划分现在实际上红的 光谱分量为红和近红外。用带通滤光器636(例如,有带外阻>O.D.5)进 一步光处理此反射的荧光分量655,然后由镜头637聚焦在传感器635上 形成图像。带通滤光器646(例如,有带外阻>O.D.5)进一步滤波传输的 参考成像光谱分量656,然后它由镜头647聚焦在传感器645上形成图像。 这些多光谱图像和信号及同步信号反馈到电子设备(用图6d讨论的)作进 一步的处理,控制和显示。
同样的,当白光成像段,如在图6a中讨论的685进入检测器时,分光 镜621反射400nm到500nm范围的它的蓝光谱分量,然后此光611由带 通滤光器616滤波,然后由镜头617聚焦在蓝色CCD传感器615上形成 蓝色图像。绿色(500到600nm)和红色(600到700nm)光谱分量612 通过分光镜621传输,并入射到分光镜622上,分光镜622反射绿色光谱 分量到带通滤光器626,然后由镜头627聚焦此光在传感器625上形成绿 色图像,同时红色光谱分量通过分光镜传送,和滤波并聚焦在红色传感器 645上形成红色图像,如果提供,近-IR分量到传感器635。这些多光谱图 像(R,G,B和可能的近-IR)和同步信号反馈到图6d讨论的电子设备作 进一步的处理并产生作显示和/或分析的视频信号输出。
作为选择,如果期望近-IR图像(除了红色图像),可选择分光镜通过 近-IR并反射红光,改变检测这两个图像的位置。
在不同的成像形式之间改变增益和/或各个传感器的往返速度,保证可 能有很不同的光信号强度的所有成像形式的最佳信号输出。同时这些增益 和/或往返速度动态改变,在不同的传感器之间常常有固定的放大关系, 不同成像形式的此关系是不同的。
在任何类型的视频图像显示设备,如标准CRT监视器,LCD平板显示 器,或投影仪上观察多模式图像。因为可同时的得到图像,但是多重带宽 中,用户可以以任何种类格式显示图像:用户可分离的或与荧光,红外和 近红外图像一起混合和匹配白,红,绿,蓝色图像,分离的或一起在同一 或分离的监视器上。
图6c显示利用在内窥镜远端尖端上有图案滤光器涂覆的小型化的单 CCD传感器,同时多模式获得白光反射、NIR反射和荧光发射成像的不 同的检测器结构。显微镜头642聚焦图像到CCD传感器643上,并都安 置在内窥镜641远端底上,内窥镜641有光纤束引导来自外部光源的发光 照明组织或位于同样远端尖端上的LED提供组织照度。设计在CCD传 感器643上不同的邻近像素获得不同光谱带宽的图像,例如,指定像素 646(B)获得对应只传送400到500nm光的高质量的带通滤光器涂覆的 蓝色带宽的图像;指定像素647(G)获得对应只传送500到600nm光的 高质量的带通滤光器涂覆的绿色带宽的图像;指定像素648(R)获得对 应只传送600到700nm光的高质量的带通滤光器涂覆的红色带宽的图像; 同时像素649(NIR)获得对应只传送700到900nm光的高质量的带通滤 光器涂覆的NIR带宽的图像。此CCD传感器输出R,G,B,NIR信号 和相似于如显示在图6b中的照相机600的同步信号,这些信号反馈到在 图6d中讨论的电子设备作进一步处理,并产生作显示和/或分析的标准的 视频信号输出。
图6d显示同步和控制如在图6a和图6b中描述的成像实现同时的白光 和荧光成像的框图。来自检测器600的成像信号602提供交替的荧光和白 光图像(幀)到视频模式选择转换器660,它分配这些信号到在视频解码 器662中数字化图像的独立的模数转换器(ADC)中。在这个例子中,由 绿通道601提供视频同步。数字化的图像反馈到Input FPGA(场可编程 阵列)670作处理。在Input FPGA670内部,数字化的图像引导到Input FIFO (先进先出)视频缓冲器672,然后到可编程处理单元675,它分离图像 为白光成像幀和荧光幀,如由连接到处理单元675的Frame_Sync信号604 确定的。两个存储缓冲器与FPGA670通信:作瞬时荧光图像存储的幀缓 冲器678和作瞬时白光图像存储的幀缓冲器679。可在FPGA670中实现 各种成像处理功能,例如,x-y像素移动,用于R,G,B图像用于对齐 和对准。x-y像素移动意味着在水平方向(x)和/或垂直方向(y)移动数 字图像(图像幀)的一个或多个像素。此处理消除了更复杂的或机械的机 制的需要,因此,简化了传感器如图6b讨论的615,625,636和645的 对齐。另一可编程图像处理功能可取得在两个或多个图像中的对应像素的 比率。处理的数字图像由视频FIFO680输出到OutputFPGA684,它分离 荧光图像幀和白光图像幀分别到视频编码器(DAC1)686和视频编码器 (DAC2)688。有数模转换器(DAC)的视频编码器686和688传输数 字图像信号到被显示在标准模拟视频监视器上的标准模拟视频信号692 和694。除了提供光调制的同步,检测器可利用Frame Sync信号604,例 如作为在不同成像形式使用的固定的增益设置之间转换的手段。
在用图6a,6b,6c,和6d描述的实例中,产生保持同样光灵敏度的 15幀/秒的数字荧光图像和15幀/秒的数字白光图像(对荧光模式),好象 显示在图6b中的照相机顺序的获取荧光图像和白光图像(如在Zeng等的 美国专利申请号09/741731,题目为“荧光和反射成像和光谱学和用多路 的测量设备同时测量电磁辐射的方法和设备”,和美国出版号 2002/0103439,继续申请号10/028568中略述的成像形式)。视频编码器 686和688还输出标准视频信号,即每秒重复一次每个15幀数字图像的 30幀/秒。如果要求更高的幀速率,例如,要求30幀/秒数字荧光图像和 白光图像(成比例的降低光灵敏度),这可由合适的速度旋转滤光轮650 实现(用图6a讨论的),在这个例子中,1800rpm(每秒30转)。
已示出和描述了本发明的优选实例,预见本领域的技术人员可设计不 偏离所附权利要求的本发明的各种修改
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈