首页 / 专利库 / 诊断设备和程序 / 编码孔径成像 / 编码孔径成像系统

编码孔径成像系统

阅读:847发布:2020-05-11

专利汇可以提供编码孔径成像系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及 编码孔径成像 设备和方法。在一个方面,编码孔径成像器具有至少一个检测器阵列和可重新配置的编码孔径掩模装置。可重新配置的编码孔径掩模装置可以显示多个编码孔径掩模,以便跨越不同的视场和/或以不同的 分辨率 提供成像,而无需任何移动部件或庞大的光学组件。可以使用多于一个检测器阵列来提供大面积成像而无需无缝拼接,并且这代表本发明的另一方面。本发明还涉及到在可见波段、紫外波段或红外波段内使用编码孔径成像。教导了使用编码孔径成像来通过弯曲的光学元件进行成像,因为图像解码可以自动去除由该弯曲元件引入的任何像差。,下面是编码孔径成像系统专利的具体信息内容。

1.一种编码孔径成像系统,其包括检测器阵列和编码孔径掩模装 置,其中,该编码孔径掩模装置是可重新配置的。
2.如权利要求1所述的成像系统,其中,所述编码孔径掩模装置 能被重新配置,以便提供具有不同视场的编码孔径掩模。
3.如权利要求2所述的成像系统,其中,仅仅所述编码孔径掩模 的部分包括编码孔径阵列,并且其中,该编码孔径阵列在掩模中的位 置限定所述视场。
4.如任一在前权利要求所述的成像系统,其中,所述编码孔径掩 模装置能被重新配置,以便提供具有不同分辨率的编码孔径掩模。
5.如任一在前权利要求所述的成像系统,其中,所述编码孔径掩 模装置能被重新配置,以便提供具有不同编码孔径阵列的编码孔径掩 模。
6.如任一在前权利要求所述的成像系统,其中,所述可重新配置 的编码孔径掩模装置包括控制器,该控制器被适配成把至少一个编码 孔径掩模写到该编码孔径掩模装置上。
7.根据权利要求6所述的成像系统,其中,利用多个不同的编码 孔径掩模对所述控制器进行预编程。
8.如任一在前权利要求所述的成像系统,其中,所述编码孔径掩 模装置是非平面的。
9.如任一在前权利要求所述的成像系统,其中,所述编码孔径掩 模装置在少于150ms内、或少于100ms内、或少于50ms内、或少于15ms 内、或少于10ms内、或少于5ms内能被重新配置。
10.如任一在前权利要求所述的成像系统,其中,所述编码孔径 掩模装置包括空间光调制器
11.如权利要求10所述的成像系统,其中,所述空间光调制器是 双稳态的。
12.如权利要求10或11所述的成像系统,其中,所述空间光调制 器是液晶设备。
13.如任一在前权利要求所述的成像系统,其包括处理器,该处 理器被适配成对所述检测器阵列的输出进行解码来提供图像。
14.如权利要求13所述的成像系统,其中,所述处理器被适配成 应用多种解码算法,以便对所述检测器阵列的输出进行解码。
15.如权利要求13或14中的任一权利要求所述的成像系统,其中, 所述处理器组合来自所述检测器阵列的多数据,每一帧是利用不同 的编码孔径掩模来采集的。
16.如权利要求1-12中的任一权利要求所述的成像系统,其包括 发送器/记录器,用于发送/记录所述检测器阵列的未被解码的输出。
17.如权利要求16所述的成像系统,其中,所述可重新配置的编 码孔径阵列装置被适配成改变所显示的编码孔径掩模,以便改变图像 加密。
18.一种可见波段成像系统,其包括检测器阵列和可见波段编码 孔径掩模装置。
19.一种紫外波段成像系统,其包括检测器阵列和紫外波段编码 孔径掩模装置。
20.一种红外波段成像系统,其包括检测器阵列和红外波段编码 孔径掩模装置。
21.一种成像方法,其包括以下步骤:把检测器阵列设置成通过 可重新配置的编码孔径阵列装置来观看场景,以及把编码孔径掩模写 到该编码孔径掩模装置上。
22.如权利要求21所述的成像方法,其把第一编码孔径掩模写到 所述编码孔径掩模装置上,并且随后把第二编码孔径掩模写到该编码 孔径掩模装置上。
23.如权利要求22所述的成像方法,其中,第一和第二编码孔径 掩模具有不同的视场和/或分辨率。
24.如权利要求21到23中的任一权利要求所述的成像方法,其中, 该方法包括以下步骤:对所述检测器阵列的输出进行解码,以便提供 图像。
25.如权利要求24所述的方法,其中,所述解码步骤包括:应用 去卷积算法、互相关算法以及迭代解搜索中的一种或多种。
26.如权利要求22所述的方法,其中,该方法涉及到在解码所述 图像时组合利用多个不同的编码孔径掩模所采集的数据。
27.一种成像系统,其包括被设置成通过非平面元件进行成像的 编码孔径成像器。
28.如权利要求27所述的成像系统,其中,所述编码孔径成像器 包括至少一个检测器和编码孔径掩模装置。
29.如权利要求28所述的成像系统,其中,所述编码孔径掩模装 置是能被重新配置的。
30.如权利要求27-29中的任一权利要求所述的成像系统,其中, 所述非平面元件形成平台的外表面的部分。
31.如权利要求27-30中的任一权利要求所述的成像系统,其中, 所述非平面元件具有空气动学形状。
32.一种编码孔径成像系统,其具有多个检测器阵列,所述检测 器阵列被设置成通过编码孔径掩模接收来自场景的辐射
33.如权利要求32所述的编码孔径成像系统,其中,每个检测器 阵列具有用于接收辐射的有效检测器区域和无效外围区域。
34.如权利要求29-30中的任一权利要求所述的编码孔径成像系 统,其中,至少一个检测器阵列的有效区域与相邻检测器阵列的有效 区域不邻接。

说明书全文

发明涉及一种具有可重新配置的编码孔径掩模的编码孔径成像 系统,特别是涉及一种具有可调节的成像性能而无需移动部件的成像 系统,并且涉及用于在紫外波长、可见波长和红外波长操作的编码孔 径成像设备。

用于观察场景的光学系统在从CCTV安全系统到监视/侦察系统的 各种各样的情况下被采用。对于这些系统来说,常常需要能够调节所 述系统的成像性能,例如在分辨率或图像更新速率方面进行调节。另 一个例子是需要在大的观测场(FOR,field-of-regard)上扫描成像 器,所述FOR比瞬时视场(FOV)大许多倍。

光学系统的机械扫描是公知的,例如透镜或反射镜装置的移动可 以改变FOR内的FOV,或者整个成像系统可以被移动。然而,光学组件 的移动通常需要庞大并且笨重的机械移动装置,而在某些应用中,使 得尺寸和重量最小化是重要的。此外,机械扫描的系统可能会生成不 希望的振动,这些振动使得所采集的图像失真。此外,大并且笨重的 光学组件或整个系统的快速移动可能会具有较大的转动惯量,从而可 能会是成问题的。

还公知使用空间光调制器(SLM)来显示衍射图案,其中具有显示 器阵列,以便实现扫描成像系统,例如参见已公开的PCT申请WO 2000/17810。可以显示不同的衍射图案,这些衍射图案把来自所述场 景的不同部分的辐射导向检测器。因此,在没有任何移动部件的情况 下实现了扫描,从而可以减小所述光学系统的重量和体积。这种衍射 光学装置通常可用在窄频带(单色)上,因为这些光学装置是高度色 散的。所述衍射光学装置的效率常常也较低。

本发明的目的是提供一种成像系统,其减轻了至少某些上述缺陷, 并且提供了一定程度的更通用的成像器可适配性。

因此,根据本发明,提供了一种编码孔径成像系统,其具有检测 器阵列和编码孔径掩模装置,其中该编码孔径掩模装置是可重新配置 的。

编码孔径成像是一种公知的成像技术,其主要被用在高能量成像 中,诸如被用在X射线或γ射线成像中,其中适当的透镜材料并不普 遍存在,例如参见E.Fenimore和T.M.Cannon的“Coded aperture imaging with uniformly redundant arrays(利用均匀冗余阵列的编 码孔径成像)”(Applied Optics,第17卷,第3期,第337-347页, 1978年2月1日)。已经对于三维成像提出了编码孔径成像,例如参 见Cannon TM、Fenimore EE的“Tomographical imaging using uniformly redundant arrays(利用均匀冗余阵列的X线断层摄影成 像)”(Applied Optics18,第7期,第1052-1057页,1979年)。

编码孔径成像利用了与针孔摄影机相同的原理,但是编码孔径成 像不具有单个小孔径,而是使用具有孔径阵列的编码孔径掩模。所述 孔径的小尺寸导致高分辨率,但是孔径数目的增多会使得到达所述 检测器的辐射增多,从而会增大信噪比。每个孔径把所述场景的图像 传递到所述检测器阵列,并且因此该检测器阵列处的图案是一系列重 叠的图像,并且不能被识别为该场景。需要进行处理以便由所记录的 数据重建所述原始场景图像。该重建过程需要关于所使用的孔径阵列 的知识,并且该孔径阵列被编码以便允许后续的质量良好的图像重建。 因此,编码孔径成像与传统的成像技术大不相同。在传统的成像中, 在所述检测器阵列处形成的空间强度图案是所述系统光学装置所采集 的共聚焦(in focus)图像。在编码孔径成像器中,在所述检测器阵 列处形成的强度图案是与图像以及与该编码孔径阵列相关的编码图像 图案。

使用可重新配置的编码孔径掩模装置允许在不同的时间显示不同 的编码孔径掩模。这例如允许在不需要任何庞大的移动部件的情况下 改变所述成像系统的方向和FOV。此外,还可以通过改变显示在所述编 码孔径掩模装置上的编码孔径掩模来改变该成像系统的分辨率。还可 能使用多个不同的编码孔径阵列来对相同的场景进行成像,也就是说 分别利用不同的掩模来采集一场景的多个。多帧成像可以提高图像 质量,并且本发明允许分别利用不同的掩模来快速采集数个不同的帧, 其中每个掩模可以按照要求被自由适配。已知的编码孔径成像系统使 用固定的掩模,而不是使用可重新配置的掩模装置。这里使用的与掩 模装置相关的术语“可重新配置”指的是掩模装置具有可重新配置区 域,在该区域内可以提供所述掩模图案,并且可以按照需要把该可重 新配置区域内的掩模装置的任何部分设置成不透明的(即阻止来自所 述场景的辐射到达所述检测器阵列)或透射的(从而允许来自场景的 辐射到达检测器)。例如,所述可重新配置的掩模装置可以被像素化, 其中每个有源像素能够被单独设置成透射的或不透明的,以便提供多 种不同的可能掩模。

All Systems公司的国际专利申请WO 97/26557描述了一种编码孔 径成像系统,其具有展现出正方形反对称均匀冗余阵列的掩模。该掩 模图案被设置成使得该编码孔径阵列在第一位置处展现出第一图案, 并且在已旋转的第二位置处展现出互补的第二图案。因此,可以通过 围绕其轴旋转掩模来提供两个不同但互补的掩模图案。使用两个互补 图案可用于消除背景噪声。WO 97/26557的编码孔径掩模装置允许对固 定掩模进行重新定位,以便提供新的阵列图案,然而该掩模装置并不 是可重新配置的掩模装置,并且不会提供对视场的尺寸或方向或者所 得到的图像的分辨率的控制。所述系统还被限制到最多两个不同的掩 模,因此在所使用的编码孔径阵列方面没有灵活性。

被显示在所述编码孔径掩模装置上(即在所述掩模装置的整个区 域上)的图案在这里被称作编码孔径掩模。该编码孔径掩模中的至少 部分是编码孔径阵列。编码孔径阵列是孔径的被构图阵列(patterned array),这些孔径允许辐射从所述场景到达所述检测器阵列,使得在 该检测器阵列处形成的辐射图案虽然不能被直接识别为场景图像,但 是可以对其进行处理以显现场景图像。所述编码孔径掩模中形成所述 编码孔径阵列的区域可以是所述编码孔径掩模装置的全部或仅仅是其 一部分。也就是说,显示在所述掩模装置上的整个图案是编码孔径阵 列,或者如下面更加详细地描述的那样,仅仅所述图案中的部分是编 码孔径阵列,该掩模的剩余部分阻挡辐射到达所述检测器。本领域技 术人员将很清楚地知道能被显示的编码孔径阵列。为了避免疑问,这 里使用的术语“孔径”并不意味着掩模装置中的物理孔洞,而是仅仅 意味着允许辐射到达所述检测器的图案区域,并且所述编码孔径阵列 可以是透射的或反射的。所述编码孔径阵列是所述孔径的构思图案位 于其中的区域。

因此,优选地,所述编码孔径掩模装置可以被重新配置,以便提 供编码孔径掩模,所述编码孔径掩模为所述系统提供不同的视场。按 照这种方式,可以在不需要任何宏观移动部件的情况下在观测场内改 变成像系统性能,该观测场可以大许多倍。所述不同的编码孔径掩模 可以被设置成使得仅仅该编码孔径掩模的部分包括编码孔径阵列,并 且该编码孔径阵列在所述掩模中的位置限定所述视场。换句话说,只 有所述掩模装置的一部分可以被用来限定编码孔径阵列,该掩模的剩 余部分阻挡辐射到达所述检测器阵列。因此,能够到达检测器阵列的 来自所述场景的仅有的辐射是穿过所述编码孔径阵列的辐射,因此该 编码孔径阵列相对于该检测器阵列的位置以及该编码孔径阵列的尺寸 将限定所述系统的视场。在显示于所述掩模装置上的掩模内移动所述 编码孔径阵列的位置将会改变辐射所能到达检测器阵列的方向,从而 将改变所述视场的方向和尺寸。因此,所述掩模装置的总尺寸限定所 述系统的观测场,并且可以比被写到可重新配置的掩模装置的编码孔 径阵列的尺寸大许多,但是所述视场可以被控制,以便例如提供扫描 或者跟踪场景中的对象。

优选地,所述编码孔径掩模装置可以被重新配置来提供具有不同 分辨率的编码孔径掩模。例如,可以显示不同的编码孔径掩模,这些 编码孔径阵列具有不同的有效孔径尺寸和间距。所述编码孔径掩模装 置还可以被重新配置来提供具有不同的编码孔径阵列的编码孔径掩 模。

此外,与固定掩模系统相比,改变掩模图案的能可以有利于提 高成像性能,例如通过组合来自多个掩模图案的所检测到的强度,可 以实现提高的图像分辨率和/或质量。可以使用数个掩模图案来对相同 的场景进行成像,以便改进图像处理,例如,可以使用多于两个掩模 图案,这取决于需求,可以使用五个或更多或者十个或更多的不同掩 模图案。所使用的掩模图案或者所使用的掩模图案的组合可以被自由 适配,并且例如响应于场景演变而变化。

本发明特别适用于在可见、近红外、热红外或紫外波段内的多功 能、高分辨率成像,诸如可以在监视中所使用的那样。几乎所有这种 类型的成像系统都使用折射的、反射的或衍射的光学组件,并且本领 域技术人员将不会想到编码孔径成像将适用于此。就其本质来说,编 码孔径成像阻挡来自视场的大量辐射到达检测器,从而可能降低所检 测到的辐射的信噪比。此外,必须对所检测到的输出执行信号处理技 术,以便解码并恢复所成像的场景。当考虑可见、UV或IR波长下的高 分辨率编码孔径成像时,衍射的效应可能也是显著的。编码孔径成像 通常被用于高能量辐射成像或粒子成像。对于这种应用来说,孔径尺 寸以及掩模到检测器的间距使得所述衍射效应不显著。当使用可见波 段辐射以用于高分辨率成像时,衍射效应开始模糊在检测器阵列处形 成的图案,从而使得重建更加困难。因此,本领域技术人员之前忽略 了把编码孔径成像用于可见波段或附近波段的成像系统。然而,本发 明人不仅实现了令编码孔径成像适用于多功能成像(包括在可见、UV 和IR波长下的成像),而且在把编码孔径成像应用于此时还具有数个 优点。

如所提及的那样,在使用相对大的编码孔径掩模装置时,可以在 该掩模的不同部分处提供多种不同尺寸的编码孔径阵列,以便在无需 任何移动部件的情况下给出具有变化的分辨率的多种不同视场。此外, 由于一系列场景图像在检测器阵列上的不同位置处重叠,所以如果有 任何坏点,则在所述掩模和/或检测器阵列中将仍然会获得完整的图 像,并且所述坏点的效应将在整个图像上被平均掉。这意味着没有丢 失任何信息,这在监视类型应用中是非常有用的。此外,如所提及的 那样,由所述检测器阵列记录的图像并没有复制所述视场中的场景。 只有在对所记录的图像进行处理之后,才能恢复原始场景图像。这在 之前将被视为缺点。然而,在所述成像系统正被远程地使用并且正在 把所记录的图像传送回基站的情况下,或者在记录图像以用于之后分 析的情况下,应当注意到,所记录的信息被有效地加密。产生了经过 自然加密而离开检测器的数据流,该数据流可以给出防止拦截或干扰 的安全性。此外,所述加密密钥(实际上是所述掩模图案)可以被随 意改变,这是因为所述掩模是可重新配置的。还应当注意到,利用编 码孔径成像系统,来自所述场景中的任何单个位置的光都不是被聚焦 到所述检测器阵列的单个部分上,从而所述系统还将提供对于来自亮 源(例如激光源)的破坏的保护。

所述编码孔径掩模装置可以被重新配置,从而使得所述编码孔径 掩模具有处在该掩模的不同位置处的多个不同的编码孔径阵列。换句 话说,在该掩模上的不同位置处同时使用两个或多个不同的编码孔径 阵列。因此,每个编码孔径阵列将把来自所述场景的不同部分的辐射 传递到所述检测器。很明显,在该检测器处的强度图案将包括来自每 个编码孔径阵列的单元。然而,可以对所得到的强度信号进行处理, 以便重建与每个编码孔径阵列相关联的场景图像。换句话说,所述成 像器能够分别利用所述检测器的全分辨率同时在多个方向上进行成 像。因此,本发明允许具有多个中央凹补片(foveal patch)的成像 器。

不同的编码孔径阵列可以具有不同的分辨率和/或尺寸。例如,所 述编码孔径掩模的一个编码孔径阵列可以具有非常高的分辨率,并且 因此提供所述场景的一个部分的详细视图,而另一个编码孔径阵列具 有针对该场景的不同部分的较低分辨率。

优选地,每个编码孔径阵列与其他编码孔径阵列不相关,也就是 说,在各个单独掩模图案之间的互相关中不应当有显著的峰值。

所述编码孔径掩模装置可以是平面的或非平面的。例如,该掩模 装置可以与设备中的孔径共形。弯曲的编码孔径掩模装置可以优化所 述成像系统的观测场。例如,与平面编码孔径装置相比,弯曲的编码 孔径掩模装置可以增大给定系统孔径的FOV。此外,非平面的编码孔径 掩模装置可以具有预定的形状,从而在使用中,该编码孔径掩模装置 与所述平台的形状共形。例如,本发明的成像系统可以被嵌入到飞机 或其他机载(airborne)平台中,例如被嵌入在机翼或飞机机头中。

传统的成像系统通常必须位于外壳内,该外壳处在飞机外表面上 的窗的后面。为了避免导致图像中的像差的该窗的效应,所述窗通常 将必须是半球状或平坦的,从而该窗的光学效应并不会引入不可接受 的图像像差或失真。这可能会涉及到使用非最佳的窗形状,该非最佳 的窗形状可能会增大阻力并且要求更为稳定的安装等等。

本发明允许使用弯曲的或有刻面的(faceted)编码孔径掩模装置, 该编码孔径掩模装置与在其上安装该编码孔径掩模装置的平台的形状 共形。在飞机的例子中,该编码孔径掩模装置可以与窗共形,并且与 其相邻地来定位。这确保了所述系统的输入孔径最大化并且给出了最 佳视场,而无需与所述平台的形状有偏差。在其中所述编码孔径掩模 装置对于其操作环境来说足够稳定的某些情况下,所述编码孔径掩模 装置可以形成所述窗。不管是不是可重新配置的,使用具有非平面编 码孔径掩模的编码孔径成像器都代表了本发明的另一方面。

本发明的另一优点在于,不管是平面的还是弯曲的,编码孔径掩 模装置都可以被用来通过无需是半球状的弯曲的或有刻面的表面来进 行成像。在任意视场处使用的特定编码孔径阵列和处理算法可以补偿 在不同视场处的所述弯曲表面的光学效应的任何差异。使用被设置成 通过弯曲表面进行成像的编码孔径成像器代表了本发明的另一方面, 并且本发明还提供一种成像系统,该成像系统具有被设置成通过非平 面元件进行成像的编码孔径成像器。很明显,该非平面元件对于操作 波长下的辐射必须是至少部分地透射的,并且例如可以包括表面中的 窗。如所提及的那样,该非平面元件不需要是半球状的,并且实际上 可以是不规则的,而本发明的这一方面的成像系统仍然将产生无像差 的图像。本发明的这一方面的编码孔径成像器包括至少一个检测器以 及编码孔径掩模装置,并且可以很方便地是根据本发明的第一方面的 编码孔径成像器。所述非平面元件可以形成平台(诸如飞行器)的外 表面的部分,并且可以具有空气动力学形状,也就是说该非平面元件 的形状主要由空气动力学因素支配。

本发明的第一方面的可重新配置的编码孔径掩模装置可以是能够 在其表面的至少部分上显示编码孔径阵列的任何可重新配置的设备。 该掩模装置可以被像素化,并且每个像素应当可以在透射的与不透明 的之间切换。应当注意到,这里使用的术语“透射的”应当被视为意 味着在该像素处允许至少一些入射辐射从该掩模向所述检测器阵列传 递,而“不透明的”则应当被视为在该像素处阻挡至少一些入射辐射 向该检测器阵列传递,其中,与不透明的像素相比,透射的像素允许 显著更多的辐射到达检测器。所述可重新配置的掩模装置可以是反射 设备,诸如是数字微镜设备,其中所述像素的反射率被改变,以便把 来自所述场景的辐射反射到检测器阵列(透射的)或者不反射到检测 器阵列(不透明的)。

所述可重新配置的编码孔径掩模装置可以具有控制器,该控制器 适于把至少一个编码孔径掩模写到该编码孔径掩模装置上。可以利用 多个不同的编码孔径掩模对该控制器进行预编程,并且该控制器可以 被适配来在特定时间把特定掩模写到该可重新配置的掩模装置上。例 如,该控制器可以写对应于低分辨率监视模式的掩模,直到检测到目 标,并且随后该控制器写对应于与所检测到的目标重合的高分辨率窄 FOV的掩模。

优选地,可以在相对较短的时标内重新配置所述编码孔径掩模装 置。优选地,可以在少于15ms、或少于10ms或少于5ms内重新配置该 掩模装置。所述编码孔径掩模装置的分辨率优选地与可能在所述系统 中使用的检测器的分辨率相匹配,其例如大约是可见波段中的5μm直 到长波热红外波段中的25μm。所述编码孔径阵列中的像素可以由所述 编码孔径掩模装置的一组数个单独像素形成。因此,可以通过组合各 组像素来仿真具有更大有效像素的掩模装置。

如所提及的那样,本发明的成像系统可以被用于在紫外波段中进 行成像,并且因此可以在大约380nm或更低和/或大约10nm或更高的 波长或波长范围下操作。本发明还可以被用于可见波段成像,并且因 此可以在大约780nm或更低和/或大约380nm或更高的波长或波长范围 下操作。本发明还可以被用于红外波段成像,并且因此可以在大约 780nm或更高和/或大约1mm或更低的波长或波长范围下操作。例如, 所述成像系统可以被用在中间IR波段中,即在3μm或以上和/或5μm 或以下的波长下,或者可以被用在长波IR波段中,即在8微米或以上 和/或14μm或以下的波长下。然而,本领域技术人员将认识到,还可 以适当地使用其他波长范围。

优选地,所述编码孔径掩模装置是双稳态的,也就是说,在不施 加电源的情况下,像素将存在于两个稳定透射状态之一下。这样做的 优点在于,一旦该编码孔径掩模装置被配置成特定掩模之后,就不需 要电源来维持该掩模。

所述编码孔径掩模装置可以包括至少一个空间光调制器。该空间 光调制器可以是液晶设备。液晶设备可以在可见和红外波段内操作, 并且可以快速切换。双稳态液晶设备是公知的,例如电液晶设备。 其他适当的可重新配置的掩模装置包括MEMS或MOEMS调制器、电致变 色设备、电泳设备以及电光调制器。例如,对于红外应用可以使用二 调制器。

所述检测器阵列优选地具有高灵敏度和动态范围、良好的信噪比 特性、高像素计数以及小像素间距。很明显,所使用的检测器阵列将 取决于操作波长。对于可见和近红外波段可以使用CMOS检测器阵列或 CCD阵列。对于热红外波段可以得到多种冷却的或未冷却的检测器技 术,其中包括碲镉汞(CMT)和锑化铟(InSb)检测器阵列。在需要大 检测器阵列的应用中,可以有彼此邻近设置的多于一个检测器阵列。 因此,本发明允许利用多个较小的检测器阵列来实现大面积检测器。 实际上,使用编码孔径成像具有大面积成像的优点。如上所述,由于 一系列场景图像在所述检测器阵列上的不同位置处重叠,所以如果有 任何坏点,则仍然将获得完整的图像,并且所述坏点的效应将在整个 图像上被平均掉。这对于相邻检测器阵列之间的任何间隙同样成立。 与传统的成像不同,CAI系统中的检测器阵列之间的任何间隙的效应将 被平均掉,并且仍然可以获得完整的图像,而在传统的成像中,检测 器阵列之间的间隙将导致图像中的间隙。这样做是有利的,因为标准 检测器阵列往往具有围绕该阵列的外围设置的写入/寻址电路。因此, 无法把具有有效检测器区域和无效外围区域的多个标准检测器阵列无 缝地拼接在一起以形成更大的检测器,从而使得有效区域是邻接的, 即一个有效区域的末端连着相邻检测器区域的开头。因此,大面积成 像要求定制检测器,并且在所能生产的检测器阵列的尺寸方面有限制。 然而,通过利用编码孔径成像系统,可以使用标准检测器阵列,并且 所述平均化效应意味着可以相对简单且便宜地获得大面积无缝成像或 非标准长宽比成像。这适用于具有固定视场(即固定编码孔径掩模) 或利用可重新配置的编码孔径掩模装置的可变视场的成像系统。

因此,在本发明的另一方面,提供了一种编码孔径成像系统,其 具有被设置成通过编码孔径掩模从场景接收辐射的多个检测器阵列。 如所提及的那样,每个检测器阵列具有用于接收辐射的有效检测器区 域和无效外围区域,并且至少一个检测器阵列的有效区域与相邻检测 器阵列的有效区域不邻接。这里关于本发明的其他方面描述的所有实 施例和优点都适用于使用多个检测器阵列的方面。

虽然平面检测器阵列在本发明的所有方面中都是优选的(由于其 易于制造因此易于得到并且成本较低),但是如果需要的话,所述检 测器阵列可以是弯曲的或有刻面的。

如上所述,到达所述检测器阵列的辐射图案可以被认为是所述场 景的一系列重叠图像,一幅图像来自每个孔径,并且要求进行信号处 理来解码所检测到的图案。因此,所述系统可以包括用于解码所述检 测器阵列的输出的处理器,以便产生图像。优选地,该处理器被适配 成应用多种解码算法来解码所述图像。在该系统被设置成通过弯曲表 面进行成像的情况下,所述解码算法补偿由穿过该弯曲表面的辐射所 导致的任何像差效应。

可以使用多种不同的解码算法。所使用的算法将取决于其中使用 所述成像系统的特定应用,并且还可能受到所要求的帧率、图像质量 和可用信号处理资源的影响。可以存储不同的算法,以便在某些情况 下使用。

所述解码算法可以方便地包括去卷积算法。可替换地,所述解码 算法可以包括互相关算法。所述解码可以包括对解空间的迭代搜索以 便恢复图像,例如最大熵方法和对源的迭代去除。所述处理可以被适 配来执行一种或多种上述解码算法。

本领域技术人员将认识到,在无衍射的情况下,在编码孔径成像 系统的检测器阵列处所记录的信号可以被描述为场景强度与所述编码 孔径阵列的孔径函数的卷积加上某个噪声。因此,所有解码算法的目 的都是通过使用掩模图案的知识来恢复场景图像,例如通过执行去卷 积或互相关来恢复场景图像。

然而,在衍射效应很显著的情况下,在所述检测器阵列处的强度 图案不再直接对应于所述孔径函数。相反,在所述检测器阵列处形成 的衍射图案实际上是所述掩模图案的模糊形式。因此,基于所述编码 孔径阵列的孔径函数的解码算法将导致模糊的图像。

因此,对所述图像进行处理可以涉及多级过程。在第一步,形成 所述场景的第一图像。这个第一图像将由于任何衍射效应而被模糊。 随后,可以应用至少一个图像增强步骤来提高图像质量。

形成第一图像的所述步骤可以使用对于传统的编码孔径阵列已知 的任何处理技术。然而,由于图像去卷积是一种不适定的(ill posed) 逆问题,所以优选地可以应用适用于对不适定的逆问题求解的多种技 术。在一个优选实施例中,在产生第一图像时可以应用Tikhonov正则 化技术。Tikhonov正则化是求解逆问题的一种公知技术,例如参见M. Bertero和P.Boccacci的“Introduction to Inverse Problems in Imaging(关于成像中的逆问题的介绍)”(Institute of Physics Publishing,1998年,ISBN 0750304359)的第108页,该文献在下 文中被称作Bertero&Boccacci。可替换地,可以应用维纳(Weiner) 滤波技术。还可以使用诸如Landweber迭代法之类的迭代技术,参见 Bertero&Boccacci的第291页。

为了进一步提高图像质量,可以在第一模糊图像上执行至少一个 图像增强步骤。该模糊图像可以被视为与点扩散函数卷积的真实图像。 于是,该图像增强步骤是要恢复所述真实图像。

优选地,所述图像增强步骤涉及到把第一图像划分成一系列图像 区域以及处理这些子图像以提高质量,所述点扩散函数在所述图像区 域上相对不变。把所述图像划分成多个小图像区域不仅确保所述点扩 散函数对于该区域在空间上是不变的,而且与尝试处理整幅图像相比 还易于计算。优选地,在每个小图像区域上对所述逆问题进行求解, 并且在该区域的中心处的解的值被保留为所述解。随后把该区域移动 多个像素,并且重复所述过程。

优选地,对于每个图像区域求解所述逆问题是Tikhonov正则化, 该Tikhonov正则化可以利用傅立叶方法来实现。可替换地,如D A Fish、J Grochmalicki和ER Pike在“Scanning singular-value decomposition method for restoration of images with space-variant blur(关于恢复带有空间变化的模糊的图像的奇异值 分解方法的分析)”(J.Op t.Soc.Am A,13,第3期,1996年,第464-469 页)中所提出的那样,可以使用截断奇异函数扩展(truncated singular function expansion)。该方法的计算量比Tikhonov正则化更大。该 方法要求计算与所述点扩散函数相关联的奇异值分解(SVD)。然而, 如果所述点扩散函数在空间上是不变的,则SVD仅仅需要被计算一次 以处理整幅图像。

由于编码孔径成像涉及到不相干成像,所以所述真实图像必须是 非负的。该先验信息可以被包括在所述逆问题的解中(例如参见GD de Villiers、ER Pike和B McNally的“Positive solutions to linear inverse problems(线性逆问题的正解)”(Inverse Problems 15, 1999年,第615-635页))。

还可以利用Landweber迭代法的变型把正性(positivity)合并 到所述解中,并且这种做法可能更容易实现(参见Bertero&Boccacci 的第291页)。应当注意到,Richardson-Lucy方法(也被称作期望最 大化方法)具有与所构想的Landweber方法类似的性能,尽管其计算 量更大,(Bertero&Boccacci的第179页)。

在具有所述图像具有较少数目的点目标的先验知识的情况下,所 述图像增强步骤可以附加地或可替换地使用涉及到曲线拟合的超分辨 率方法。

如果将使用所述编码孔径成像器来进行跟踪,则可能只有在实施 跟踪的情况下才需要所述高分辨率补片。这将大大削减计算负荷。因 此,所述方法可以涉及到只在图像的感兴趣部分(即所述场景的移动 部分或可能的或被确认的目标的区域)处执行图像增强的步骤。

所述图像增强步骤还可以涉及到组合来自所述场景的多幅图像的 数据。通过利用不同的编码孔径掩模获取该场景的数幅图像,有可能 生成关于该场景的附加信息。本质上,可以在所述数据上施加某种统 计结构。

特别是在所述编码孔径成像器被用于目标跟踪的情况下,可以组 合来自多于一幅图像的信息。优选地,使用一种“检测前跟踪”方案。 检测前跟踪算法之前已经被用在雷达和声纳领域中,并且把来自传感 器的数次数据采集的数据一起用来改进目标识别。类似的方法可以被 用于来自编码孔径成像系统的不同图像。

因此,所述图像处理可以采用三级过程。在第一级,产生所述场 景的第一图像。由于衍射效应,该图像将是该场景的被模糊图像。在 第二级,可以把该图像划分成多个图像区域,并且可以对每个图像区 域进行处理以便提高图像质量。最后,在第三级,可以组合来自其他 图像的数据,以进一步提高所述图像的至少部分的图像质量。

如所提及的那样,可以通过获取所述场景的多个帧来提高已解码 图像的质量,其中每个帧是利用不同的编码孔径阵列来捕获的。通过 使用可重新配置的掩模装置,本发明可以非常容易地改变所述编码孔 径掩模装置,并且采集所述场景的多个帧。可以利用适当的权重把所 述不同帧组合在一起(正如可以利用适当的权重把针对不同的编码孔 径阵列的掩模孔径函数组合在一起)。

所述处理器本身可以是实现用来解码所述图像的多种算法的数字 信号处理器。当与所述可重新配置的编码孔径掩模组合使用时,这为 所述成像系统给出了增加的灵活度。适当的信号处理硬件包括检测器 芯片上处理、微处理器、CPU或图形处理器(GPU)或其群集、现场可 编程阵列以及专用集成电路或其任意组合。

然而,如所提及的那样,所述检测器输出是自然加密的图像,因 此在某些应用中,所述系统可以包括发送器或记录器,用于发送/记录 所述检测器输出以用于后续解码。所使用的编码孔径阵列可以随时间 改变,周期性地改变或响应于某种外部指示而改变,以便改变所述加 密“密钥”。

因此,本发明提供一种可适配的成像系统,其可以在包括可见波 段和紫外波段的波段范围内操作。如上所述,先前的编码孔径成像系 统并未被认为适于在可见波段或紫外波段中进行成像。因此,在本发 明的另一方面,提供了一种可见波段成像系统,其包括检测器阵列和 可见波段编码孔径掩模装置。因此,本发明还可用于可以与可见波段 系统一起使用的掩模装置和解码算法。类似地,在本发明的另一方面, 提供了一种紫外波段成像系统,其包括检测器阵列和紫外波段编码孔 径掩模装置。本发明的第一方面的所有实施例和优点都适用于本发明 的这些方面-特别地,所述可见波段编码孔径掩模装置和紫外波段编 码孔径掩模装置可以是可重新配置的。

除了改变所述FOV之外,本发明所提供的可重新配置的成像性能 的另一例子是,通过制作粗糙结构(即具有大像素和像素间距)的编 码孔径阵列,可以降低图像分辨率和数字信号处理器的处理负荷,从 而对于给定数量的信号处理资源或系统能量消耗允许更快的图像解 码。

在本发明的另一方面,提供了一种成像方法,其包括以下步骤: 把检测器阵列设置成通过可重新配置的编码孔径阵列装置观察场景; 以及把编码孔径掩模写到该编码孔径掩模装置上。本发明的方法具有 上面关于本发明的第一方面所描述的所有优点。

所述方法可以涉及到把第一编码孔径掩模写到所述编码孔径掩模 装置上,并且随后把第二编码孔径掩模写到该编码孔径掩模装置上, 其中第一和第二编码孔径掩模具有不同的视场和/或分辨率。此外,可 以按照要求写不同的编码孔径掩模。如上所述,可以通过改变所述编 码孔径阵列在所述编码孔径掩模内的位置(即所述编码孔径阵列出现 在所述编码孔径掩模装置上的位置)来改变所述掩模的FOV。可以通过 改变所述阵列中的孔径的间距和尺寸来改变分辨率。可以在所述编码 孔径掩模装置上提供多中央凹(multifoveal)补片,以便提供单独的 高质量图像。

所述方法优选地包括对所述检测器阵列的输出进行解码以便提供 图像的步骤。这可以由本地处理器在该检测器阵列的输出上直接完成, 或者可以发送所述输出以便进行远程解码或记录,并且稍后进行处理。 所述解码步骤包括应用去卷积算法、互相关算法以及迭代解搜索中的 一种或多种。

现在将例如仅仅参照附图来描述本发明,其中:

图1示意性地示出了根据本发明的编码孔径成像系统;

图2示出了简单的平面编码孔径掩模装置,其可以操作在两种模 式下,即a)完全FOR低分辨率成像模式和b)高分辨率窄FOV成像模 式;

图3示出了可以在不同时间使用的某些掩模图案;

图4示出了弯曲的编码孔径掩模装置;

图5示出了对场景、典型的掩模图案、检测器阵列处的强度图案 以及已解码图像的仿真;

图6示出了利用编码孔径成像系统的3D成像的原理;

图7示出了利用去卷积算法来仿真衍射对图像质量的影响的数值 计算的结果;以及

图8示出了被设置来通过弯曲表面进行成像的编码孔径成像系统。

传统的摄影机系统在其透镜系统的焦平面处产生聚焦图像,其实 际上固定了所述摄影机的深度。在这种系统中,聚焦透镜通过引入径 向变化的相移而提供了检测器前处理的所需元素,从而能够在单独射 线束已经传播到所述透镜的焦平面时产生图像。菲涅衍射透镜系统 和波带片利用较薄的结构产生必需的相移,但是仍然要求单独射线束 传播相同的距离。传统的反射和折射透镜系统约束了当前的摄影机设 计,而高性能系统相对庞大并且昂贵地来生产。这种摄影机系统的可 适配性也受到限制,并且操控所述视场例如可能涉及到移动具有大转 动惯量的庞大的光学组件。

本发明在重量轻、可适配的成像系统中使用编码孔径成像(CAI)。 CAI基于与针孔摄影机相同的原理。在针孔摄影机中,在离开景深更大 的针孔的所有距离处都形成无色差的图像,从而允许期望更为紧凑的 成像系统。然而,主要的不利结果是差的强度吞吐量(intensity throughput),这是由针孔的小的光收集特性所造成的。然而,所述 摄影机仍然能够以由该针孔的直径所确定的分辨率产生图像,但是必 须考虑衍射效应。通过使用针孔阵列,可以把所述系统的光吞吐量提 高几个数量级,同时保留角分辨率。对应于所述场景的每个视点,每 个检测器元件都看到来自各个针孔的贡献相加的结果。

理解CAI的操作原理的另一种方式是观察到这是一种纯几何学成 像技术。来自所述系统的观测场(FOR)内的场景中的每个点的光都把 所述编码孔径的阴影投射到所述检测器阵列上。检测器测量这些阴影 的强度总和。所述编码孔径被特别设计成使得其自相关函数较尖锐并 且具有非常低的旁瓣。通常使用伪随机或均匀冗余阵列(URA)(诸如 在E.Fenimore和T.M.Cannon的“Coded aperture imaging with uniformly redundant arrays(利用均匀冗余阵列的编码孔径成像)” (Applied Optics,第17卷,第3期,第337-347页,1978年2月1 日)中描述的均匀冗余阵列),其中对检测器强度图案的去卷积可以 产生对所述场景中的点分布的良好近似。

图1示意性地示出了编码孔径成像系统的例子,其总体上被标记 为2。来自场景4中的点的光射线落到显示掩模的可重新配置的掩模装 置6上。在该例中,整个掩模形成特定的编码孔径阵列。该编码孔径 阵列充当阴影掩模,并且因此在检测器阵列8上产生一系列重叠的编 码图像。在该检测器阵列上的每个像素处,来自重叠的编码图像的强 度被求和。来自该检测器阵列8的输出被传递到处理器10,随后可以 在该处利用多种数字信号处理技术从所述检测器信号中解码所述场景 的图像。所述编码孔径掩模装置受到控制器12的控制,该控制器12 控制该可重新配置的掩模装置来显示不同的编码孔径掩模。

如图2中所示,可重新配置的掩模装置6相对于检测器阵列8的 尺寸和关系限定所述成像系统的观测场。图2a示出了显示掩模的可重 新配置的掩模装置,该掩模具有跨越其整个面积的粗糙的编码孔径阵 列。图2a中的成像系统正操作在全观测场(FOR)成像模式下,并且 生成整个FOR的相对低分辨率的图像。该可重新配置的掩模装置可以 随后被重新配置到图2b中示出的高分辨率模式,在该模式下,仅仅该 掩模的小区域显示更精细分辨率的编码孔径阵列,该掩模的剩余部分 是不透明的。辐射只能通过该掩模中承载所述编码孔径阵列的部分到 达检测器阵列8,从而仅仅观测到窄视场(FOV),但是由于整个检测 器阵列都接收辐射,所以图像的分辨率得到提高。因此,可以根据特 定需求很容易地改变所述系统的分辨率和FOV。例如,如果所述成像系 统将被用在安全监视系统中,则其通常可以操作在全FOR低分辨率模 式下,以监控区域。然而,当需要时,可以选择特定FOV以进行高分 辨率成像。例如,如果要检测图像中的运动(由操作员检测或者利用 图像处理自动检测),则可以对所述掩模装置进行重新配置,以便给 出其中发生所述运动的区域的高分辨率图像。

显而易见,所述系统的视场由显示在所述可重新配置的掩模装置 上的编码孔径阵列的尺寸和位置确定。改变小阵列在所述掩模装置上 的位置会改变所述视场。因此,通过简单地重新配置所述掩模装置以 改变所述编码孔径阵列的位置,可以很容易地操纵所述成像系统的视 场。图3示出了可以被使用的一系列掩模图案。

在时间t=0处,整个掩模装置处在全FOR监视模式下,其中显示 全尺寸的编码孔径阵列。在时间t=1处,该系统切换到高分辨率跟踪 及识别模式,在该模式下,仅仅该掩模中的部分显示编码孔径阵列, 并且所述位置被移动(t=2、3等等),以跟踪场景中的对象。

因此,本发明提供了一种具有可快速重新配置的编码掩模,其可 重新配置的程度足够高,以允许来自大FOR的辐射选择性地落在所述 检测器阵列上。可以使用平面的掩模装置或弯曲的掩模装置或具有刻 面的掩模装置。图4示出了弯曲掩模装置40的例子。如同平面掩模装 置一样,弯曲掩模装置可以显示不同的编码孔径阵列,以提供不同的 分辨率,并且可以改变该编码孔径阵列在所述掩模装置上的位置以改 变所述FOV。然而,弯曲掩模装置的优点在于可以对于给定的系统孔径 进一步增大所述FOR,尽管其更难以制造。如上所述,所述编码孔径掩 模装置的形状可以被设计成匹配其使用环境。例如,如果所述成像系 统将被用在飞机机翼中,则可以使用弯曲掩模装置,该曲线与机翼形 状的曲线相匹配。这意味着在使用中,该成像系统可以位于所述机翼 中的适当部分处,其具有最佳的FOV而不会有损空气动力特性。可替 换地,可以使用平面的或弯曲的或具有刻面的掩模,并且所述系统可 以被设置成通过弯曲表面(诸如机翼或飞机机头中的窗)进行成像, 而不会遭受不可接受的光学像差。图8示出了编码孔径成像系统,其 具有检测器阵列8和被设置成通过弯曲表面82进行成像的编码孔径掩 模6。

在所有情况下,该CAI方法所必需的相对宽的系统孔径对于系统 质量和惯性具有相对小的影响,因为所述可重新配置的编码掩模的厚 度纯粹由机械强度因素确定。更为传统的成像方法将要求系统孔径中 的某种形式的光强度,并且这与此处提出的CAI技术相比将有可能显 著增大质量和转动惯量。

与具有可操纵的FOV的大多数其他系统不同,本方法的特征在于, 在所述CAI系统中没有宏观移动部件。这在系统响应时间、功率要求 以及振动减轻方面产生显著的优点。取决于所选择的自适应掩模技术, 所述灵活成像系统的时间性能将有可能受到检测器阵列积分和读出时 间的限制。

所述自适应掩模装置的关键要求是:其能够被重新配置;其所具 有的像素可以在感兴趣的波段上被快速(对于某些应用理想地是<5ms) 切换成透明的或不透明的;其分辨率能力与可能和所述系统一起使用 的检测器的分辨率能力相匹配(可见波段内的~5μm直到长波热波段 (LWIR)内的25μm)。有利的要求包括在弯曲基板上制造的能力以及 双稳态透射的能力。后者将对所述系统的低功率操作有贡献,其中当 所述掩模未被配置时对于该掩模不要求能量。

在可见波段内,可以采用多种液晶显示器技术。例如,对于可见 和近红外波段掩模(原理上,热波段操作也是可能的)可以使用铁电 液晶设备,其快速、固有地是二元的并且具有简单的矩阵寻址需求。 所述铁电液晶设备还可能展现出双稳态行为。已经论证了小于10μs 的切换速度、小至2μm的像素尺寸以及具有超过108个像素的像素计 数的设备。可替换地,可以使用双稳态向列液晶技术,例如在美国专 利6,249,332中所描述的表面光栅对准的顶点(zenithally)双稳态 液晶。这是真实双稳态技术的例子,其可以利用塑料基板制造,并且 是稳定的,可以抵抗机械冲击。

本领域技术人员将认识到,可以使用其他液晶技术作为自适应掩 模装置。所述这些液晶技术中的某一些还可以被用到热红外,尽管某 些向列液晶的切换速度可能会随着液晶单元间隙的平方而降低,而所 述液晶单元间隙的平方必定会随着操作波长而增大。向列液晶切换速 度由松弛效应控制,并且因此在10.6μm下是相当慢的~1s。铁电体 可能是更适当的,其切换是完全电驱动的。附加的因素是,大多数相 关的LC模式不可避免地具有某种偏振依赖性,从而必须有起偏振器和 /或波片用于其操作。虽然增加的复杂度和降低的光学透射可能被视为 缺陷,但是其属性还可以被用来为所述成像器给出增加的功能,例如 给出偏振鉴别或分析。

可替换的不依赖于偏振的技术包括电致变色(当前致力于电子书 应用)以及各种类型的悬浮粒子设备。

对于红外应用,二氧化钒调制器可以被用于自适应掩模。薄膜二 氧化钒(VO2)在340K经历剪切相位变换。这种材料的电属性及红外光 学属性受到所述相位变换的严重影响。在该相变温度以下,VO2是“不 良”电绝缘体,并且在红外光谱区域内具有最小吸收。在该相变温度 以上,VO2是不良导体,并且在红外内是不透明的。已经证实了绝缘相 位与导电相位之间的快速电切换(20ns)。若干研究人员已经对于多 种红外应用探究了这种材料以及相关材料,并且所述材料可以被适配 成用于可重新配置的CAI掩模用途。

用于可重新配置的掩模装置的另一种有用候选技术是微光电机械 系统(MOEMS)空间光学调制器。MOEMS光学调制器是公知的,其中的 某些利用光学干涉效应来控制光束的强度和/或相位。例如,在GB 0521251中描述的调制器利用光学干涉效应来控制(多个)光束的强度 和/或相位,并且是基于单个MOEMS光学调制器或MOEMS光学调制器阵 列,其中,一个或多个可移动微镜被悬挂在基板之上。在该基板(例 如)是透光的波长下,该装置可以被用于透射所述波长,并且该装 置对于大得多的波长范围可以被用于反射。基于此类技术的调制器对 于本发明是特别有用的。这种调制器能够调制具有多个波长和/或入射 角的电磁辐射,或者可以被设置成调制具有单个波长的电磁辐射。

所述光学调制器可以被适配成调制对红外辐射的透射,更为优选 地是调制以下各项中的至少一种:短波红外(SWIR)辐射(0.8-2.5μ m)大气窗、中波红外(MWIR)辐射(3-5μm)大气窗以及长波红外(LWIR) 辐射(8-14μm)大气窗。很方便的是,所述光学调制器基板对于SWIR、 MWIR和LWIR辐射基本上是透射的。这种特性涉及到在所述光学调制器 的基板层上制造光学谐振器之前的该基板层的透射属性。

本发明的自适应CAI方法的重要优点是在所述系统中使用多种检 测器技术的能力。对于检测器选择的许多考虑因素与对于更为传统的 成像系统相同。为了最大化所述系统的性能,理想的检测器阵列特性 包括高灵敏度和动态范围、良好的信噪比性能、高像素计数以及小像 素间距。出于多种原因,未冷却的操作是优选的。执行芯片上检测器 前处理的某种能力可能是有利的。

在可见波段和近红外波段中,可以使用的检测器阵列技术是互补 金属氧化物半导体(CMOS)和电荷耦合器件(CCD)。二者在超过5百 万像素的像素计数中均是可用的。CCD是一种成熟的技术,其优点是更 高的灵敏度(比CMOS好~1个数量级)、更高的图像质量(低的固定 图案噪声)、更小的像素间距(与7-8μm的CMOS相比,2.5μm或更 小)。然而,CMOS技术仍然在进步,并且提供了把辅助电路(定时逻 辑、曝光控制、模数转换、信号预处理等等)合并到检测器芯片上的 能力。这样允许具有更小的系统体积以及更低的功率消耗(例如低~3 到10倍)的单芯片成像解决方案。对于可适配的CAI成像系统来说, CMOS技术的主要优点是图像读出的灵活性。这种灵活性的例子有像素 组合(binning)(即组合来自各组像素的输出)以及选择性加窗 (windowing)(在高帧率下读出阵列的部分)。与适当的数字处理体 系结构和算法相组合,这种操作模式将允许多种可适配的操作模式。

在热波段中,有多种冷却的和未冷却的热红外检测器技术可用。 在这些技术当中,碲镉汞(CMT)和锑化铟(InSb)技术是用于热波段 自适应CAI的主要候选。影响CAI性能的一个重要因素是检测器噪声 的影响。这在热波段系统中可能是更严重的问题。数值仿真表明,所 检测到的强度图案的差的信噪比有降低已解码图像的对比度的效果。

本发明的自适应CAI方法的优点是其灵活性。可以使用多种解码 算法。取决于当时的应用需要,可以相应地选择最适当的算法和参数。 可以在先验已知的信息变为可用时对其进行更新,并且其可以进一步 提高性能。还可以按照自然加密的方式把未解码或部分解码的图像从 所述CAI系统传送到远程位置,以便允许在需要时进行更为复杂的分 析。

现有技术中已经可得到多种CAI解码算法,这些解码算法中的 大部分是针对离线解码开发的,所述离线编码涉及到与X射线、g射线 以及放射线成像相关联的相对低像素计数检测器。对于实时解码应用 来说,在选择适当算法时要考虑的因素包括对将要使用的检测器的信 噪比特性的优化、掩模类型、与高效解码计算机体系结构的协同配合 以及支持多种性能选项的可适配性。

在最一般的情况下,可以用下式来描述离开检测器阵列D的信号:

D(x,y)=S(x,y)A(x,y)+N(x,y)        (1)

其中,x、y是二维信号分布的横线坐标,S是来自所述场景的信号,A 是所述系统中的掩模的孔径函数,N是在检测器处引入的噪声,并且 是卷积运算符。所有这种算法的目的都是以尽可能少的伪像来恢复 S(x,y)的部分(或全部)。取决于可使用CAI的应用,可以通过多种 量度来量化这些伪像。例如,观看图像的人可能要求与用于自动(基 于机器的)解译的量度不同的量度;检测、识别和/或跟踪将类似地要 求适当的优化。

去卷积方法

利用去卷积来进行解码:

Si(x,y)=F-1[F(D(x,y))/F(A(x,y))]=S(x,y)+F-1[F(N(x,y))/F(A(x,y))]    (2)

其中,F是傅立叶变换运算符。虽然在计算方面效率很高,但是F(A(x,y)) 可能具有小项(例如是大二元阵列的一般属性),从而导致有噪声的 重建。适当的掩模设计将最小化这种效应。公知的是,精确的去卷积 容易受到噪声的影响,因此与某些其他算法相比,检测器噪声对这种 去卷积算法的影响可能更大。如在许多基于傅立叶的方法中那样,快 速傅里叶变换(FFT)的速度可以导致这种算法的高效计算实现方式。 图5示出了使用这种算法的结果。利用随机二元掩模52来对原始的3-5 μm波段场景50进行成像。可以看出,在该检测器阵列处记录的像素 强度54是编码图案。利用逆算法对该编码图案进行解码,以便产生原 始图像的高质量版本56。

互相关方法

在这种技术中,通过将D(x,y)与阵列G(x,y)相关来解码S(x,y):

S’(x,y)=D(x,y)G(x,y)=S(x,y)A(x,y)G(x,y)+N(x,y))A(x,y)(3)

在G=A的简单情况下,掩模设计A使得其自相关非常近似德尔塔函数, 而且具有小旁瓣。开发了均匀冗余阵列,以便在小阵列尺寸下实现这 一点。如果是这种情况,则可以实现合理质量的重建。然而,即使在 理想情况下,所述掩模函数的真正的积极特性也将导致自相关峰值的 0.5倍的基值(pedestal),从而与理想情况的去卷积算法相比将导致 重建质量的相关联的降低。更一般来说,G被选择成使得G≠A。在这 种情况下,所述方法被称作“平衡互相关”,并且对于G的适当选择 可以得到良好质量的重建。

同样地,基于傅立叶的实现方式在计算方面可以是高效的。一种 紧密关联的方法是维纳滤波,其中使用加权的互相关。这种方法对于 具有较差自相关函数的掩模来说是有用的。

最初的迹象是,在理想的无噪声情况(N=0)下,与所述去卷积算 法相比,所述互相关方法所产生的重建较差。然而,对于N>0,所述互 相关可能更为稳定。

在所述掩模装置于不同位置处提供多于一个不同的编码孔径阵列 的情况下(以便同时提供不同的视场),所述检测器阵列将实际上是 由每个所述编码孔径阵列所贡献的所有强度图案的总和。然而,对于 任何一个所述阵列,基于所述孔径图案来处理信号都将仅仅显现如由 该阵列所看到的图像。因此,可以恢复与每个单独的视场相关联的图 像。

迭代恢复方法

可以使用对解空间的迭代搜索来恢复高质量图像。这些技术的例 子包括最大熵方法和Land Weber算法。这些技术更加灵活,并且可以 允许合并先验信息、区分优先次序的解码以及最小化由于噪声所导致 的效应。虽然可以实现非常高质量的重建,但是这些算法的迭代特性 使得它们相对慢,特别是对于大阵列尺寸尤其如此。

光子标记

把所检测到的光子经由所述掩模朝向所述场景中的特定角度位置 进行背投影,有可能在所选区域上重建图像。这样,可用的计算资源 可以被对准感兴趣的场景部分。因此,在利用CAI技术对场景进行中 央凹的并且灵活的成像时,上述方法是另一种非常有价值的技术。

3D图像检索

在诸如核医学之类的应用中,CAI已经被用于3D图像检索。在这 种应用中,CAI常常被称作“不相干全息术”。其原因是CAI图像是二 维强度分布(与许多全息图一样),并且通过适当地选择解码内核(与 在全息术中使用正确的“参考波”类似),可以检索所述场景的3D信 息。深度分辨率通常比x-y分辨率低一数量级。图6示出了简单的原 理:更加远离所述系统的源60比起更近的源62所投射的编码孔径的 阴影更小。

很明显,这种操作模式在许多应用中将是非常有价值的。在实现 高质量三维系统点扩散函数方面,基于强大的非线性优化的掩模设计 显示出其前景。

有多种数字处理技术可用,这些技术允许进行视频速率后处理以 及对所检测到的强度的图像进行解码。除了检测器芯片上处理(例如 通过CMOS检测器阵列而成为可能)之外,所述数字处理技术还包括CPU 和图形处理器(GPU)及其群集、数字信号处理(DSP)芯片、现场可 编程阵列(FPGA)以及专用集成电路(ASIC)。FPGA是非常有吸引力 的,因为它们灵活并且可以很经济地实现,而且可以被重新配置,因 此通常将被使用在要求灵活性的系统中。对于生产系统,很可能将使 用ASIC。ASIC具有更高的性能、更低的质量和功率消耗以及更低的单 位成本数量。

除了定制的算法实现方式之外,FPGA和ASIC还提供比通用中央处 理单元(CPU)更高的性能。例如,CPU/FPGA/ASIC的当前性能是- 1-2Gflop/20Gflop/200Gflop(Gflop=每秒千兆次浮点运算)。FPGA 和ASIC设备都有可能达到每秒千兆比特的数据传输速率。DSP、FPGA 和ASIC的功率消耗与CPU相比也是有利的。作为当前的现有技术的例 子,已知的高吞吐量快速傅里叶变换(FFT)核心在8.4ms内执行1024 ×1024的8比特FFT,并且在~17ms内执行涉及到2次FFT和与预先 计算的内核(如在某些类别的CAI解码算法中所使用的那样)的标量 乘法的去卷积或相关运算。

从前述内容可以明显看出,对所接收的强度图案进行解码要求关 于所使用的特定编码孔径阵列的掩模孔径函数的知识。通常利用关于 掩模及其相对于所述检测器阵列的位置的知识来在理论上计算所述掩 模孔径函数。然而,这要求精确地对准所述掩模。方位中的任何未对 准都是特别重要的,因为所述掩模的旋转可能导致由检测器感知到的 不同图案。

为了降低对于精确对准的需求并且提高处理精度,校准类型的步 骤可以涉及到利用所述编码孔径成像设备来对参考对象进行成像,以 及利用由于该参考对象而在所述检测器阵列上得到的强度图案来形成 解码图案。如果具有特定编码孔径的编码孔径成像(CAI)系统被用来 对点源进行成像,则所述检测器上的强度图案将实际上是由所述编码 孔径所投射的阴影。因此,该强度图案给出了该特定编码孔径在相对 于该检测器阵列的特定位置和方位下所要求的解码图案。

因此,所述强度图案被记录并且可以被直接用作所述解码算法中 的掩模图案。直接使用该掩模图案可以具有这样的优点:所述掩模的 任何衍射效应都存在于所记录的强度图案中。如前所述,CAI是一种纯 几何学的成像技术。结果,可以预期由所述编码孔径掩模导致的任何 衍射都会对成像性能产生不利影响。对于给定的波长,随着掩模到检 测器距离的增大以及随着掩模孔径的减小,衍射都将变得更加显著。

在进行处理时,捕获固有地包括衍射效应的编码孔径掩模的图像 可能在图像质量方面提供优点。

可以在进行存储之前处理所捕获的图案,以便例如提高对比度。

可替换地,可以使用理论上的掩模图案,但是在对所述参考对象 进行成像时所记录的数据能被用来确定实际编码孔径阵列的未对准程 度。可以把所捕获的强度图案与理论图案相关,并且基于所述相关把 例如对方位的任何调节施加到所述理论图案。这样做的实际方法是检 查所捕获的强度图案与理论图案的经过缩放和旋转的版本之间的相关 性。产生最高相关性峰值的版本将表明所捕获的图案的缩放比例和方 位。

由于所述编码孔径掩模装置是可重新配置的,所有其可以被重新 配置成数个不同掩模中的任何一个,其中的每个掩模具有不同的编码 孔径阵列,和/或所述编码孔径阵列位于该掩模装置上的不同位置处。 因此,可以很方便地利用每个不同的掩模配置来对适当定位的参考对 象进行成像,并且使用所述检测器处的强度图案来确定每个不同配置 的解码图案。

如上所述,本发明允许使用弯曲的编码孔径阵列。为这种弯曲的 编码孔径阵列生成理论上的解码图案可能涉及到大量计算。使用具有 检测器阵列的弯曲的编码孔径阵列允许直接确定解码图案,而无需任 何处理。

所述点源可以是利用显微镜物镜被聚焦到一点的激光束。对于远 距离成像应用,所述点源可以是场景中的闪光或者由激光照亮的反向 反射器。很明显,当记录来自点源的强度图案时,与该点源的强度相 比,所述场景的剩余部分的强度平应当较低。可以使用波长特定的 点源来确保该点源的强度,或者该点源可以具有已调制的输出,并且 可以使用对所述检测器阵列上的强度图案的处理来提取具有匹配调制 并且因此对应于该点源的信号。

在通过长距离成像时,利用使用中的视场内的点源也可能是有利 的,因为这样做允许进行大气像差校正。诸如由强照明装置(比如激 光器)照亮的反向反射器那样的电源可以被定位在所述场景内。由辐 射穿过大气的传播所导致的任何大气像差(即光学信号的失真)将导 致该点源具有如在所述编码孔径成像器处所感知到的失真形状。于是, 在所述检测器阵列处接收到的强度图案将是由正被这种失真源照亮的 掩模所导致的强度图案。于是,该强度图案可以被用作解码图案,以 用于解码任何图像。利用这种图案解码的失真点源的图像将实际上给 出所述未失真点源的图像。因此,如果点源位于将被成像的场景内并 且由该点源产生的强度图案被用作所述解码图案,则所述辐射从场景 到成像器的传播中的任何失真都将被补偿。

如所提及的那样,CAI是纯几何学成像技术。结果,可以预期由所 述编码孔径掩模导致的任何衍射都会对成像性能造成不利影响。对于 给定的波长,随着掩模到检测器的距离增大以及随着掩模孔径减小, 衍射将变得更加显著。对于基于CAI的成像器的最大角分辨率的情况, 掩模孔径间距与检测器像素间距的尺寸相近,并且通常是所成像的光 波长的大小的~10倍。计算表明,在这种情况下会发生显著的衍射。

幸运的是,已经发现衍射对已解码图像质量的影响可能不像所预 期的那么严重:即使利用简单的去卷积内核也可以恢复良好的图像。 在图7中示出了一例子,该图示出了具有不同衍射量的三个投影的掩 模图案的仿真,即衍射掩模投影70、少许衍射72和严重衍射74。底 行表示所重建的图像,并且可以看出,衍射对于图像质量确实具有某 种影响。利用非衍射内核,在这些仿真中使用基本的去卷积。

还可以通过使用更为复杂的算法来进一步最小化衍射效应,例如 使用多个数据帧和/或使用专门设计的孔径(比如软孔径函数)来最小 化。所述函数可以由灰度透射函数形成,或者可以是二元透射类型, 其中所述孔径的边缘具有子波长结构。还有可能使用如下掩模,该掩 模的图案刻意导致感兴趣波段的入射辐射的衍射,并且在检测器阵列 上产生作为调节良好的编码图案的衍射图案,也就是说,当系统对来 自场景的单一点进行成像时,形成在该检测器阵列处的衍射图案具有 带有小旁瓣的尖锐的自相关函数。换句话说,在设计所述掩模时可以 考虑到衍射,并且所述掩模依赖于衍射来产生编码图案。

使用被设计来导致衍射的掩模与传统的编码孔径成像的类似之处 在于,其产生可以被解码来重建场景图像的编码图案。然而,与传统 的编码孔径成像不同,可以刻意地使用导致衍射的掩模图案但是确保 所衍射的图案本身是调节良好的,而在传统的编码孔径成像中,所述 掩模图案被设计成调节良好的,并且确保只有最小的衍射,并且在处 理中补偿来自该掩模的任何衍射效应。

这意味着确定角分辨率的是所述检测器阵列上的投影图案的特征 尺寸。其不必与所述编码衍射掩模的特征尺寸直接相关(如标准编码 孔径成像的情况那样),这允许一定程度的更大设计自由度

应当注意到,使用考虑衍射来设计的编码孔径掩模与诸如在WO 2000/17810中描述的使用衍射透镜的方法大不相同。利用衍射透镜的 成像器用具有相同功能的衍射元件取代了传统的透镜。因此,这些系 统教导了衍射透镜,所述衍射透镜对辐射进行聚焦,以便在检测器平 面处形成图像,其中,如在传统成像中那样,所述检测器阵列处的空 间强度就是所述图像的空间强度。本发明的掩模并不对辐射进行聚焦, 并且并不在检测器平面中产生图像。由具有衍射透镜的成像器成像的 点源会在所述检测器阵列上产生一点。如果编码孔径阵列被设置成对 该相同点进行成像,则结果将是所述检测器阵列(或其一大部分)上 的编码强度图案,即需要被解码以便重建所述图像的不同于该图像的 强度图案。使用考虑衍射来设计的掩模仅仅意味着在感兴趣的波长下, 所述检测器阵列上的强度图案是调节良好的。

如果所述衍射掩模在检测器阵列处生成调节良好的图案,则可以 按照类似于传统的编码孔径成像的方式基于该衍射图案使用简单的解 码算法。可以使用更高级的解码技术来提高分辨率。

在热波段系统中,检测器噪声可能更成问题。由于所述二元CAI 掩模本身吸收了至少一半的进入的场景能量,所以导致这种情况被恶 化。本发明的数值仿真表明,所检测到的强度图案的较差的信噪比会 降低已解码图像的对比度。更为复杂的算法可以减轻这些效应。

如上所述,在提高图像质量和/或分辨率方面,使用多帧成像是特 别有利的。使用多个不同的编码孔径掩模来对所述场景进行成像,并 且组合来自多个帧的数据。使用几个不同的掩模可以减少信号中的噪 声,并且还可以提高最终图像的分辨率。所使用的不同掩模的数目可 以根据应用和根据场景演变而变化。例如,在缓慢改变的场景中或者 在需要高质量图像的情况下,可以采集数个不同的帧,例如采集十个 或二十个或五十个或一百个。在快速改变的场景中或者当跟踪移动目 标时,可以组合较少的帧。然而,本发明提供了改变所组合的帧数以 及按照需要使用的掩模图案的能力。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈