技术领域
[0001] 本
发明涉及红外成像技术的领域。一种
实施例涉及成像系统，该系统包括具有纵向色差的、未完全受到色彩校正的透镜单元，并包括用于进行捕获后的数字式
图像处理的图像处理单元。另一实施例涉及对具有红外成像系统的
电子设备进行操作的方法，该系统包括具有纵向色差的、未完全受到色彩校正的透镜单元。
背景技术
[0002] Jeong-Ho Lyu等人在"IR/Color Composite Image Sensor with VIP(Vertically Integrated Photodiode Structure)",Proceedings of 2007
International Image Sensors Workshop,Pages 267-270,2007中描述了一种具有红外敏感光电
二极管的图像
传感器，这些
光电二极管在衬底中埋在传统的光电二极管下方。通过这种图像传感器，不再需要IR(红外)截止
滤波器。US2007/0145273A1涉及红外彩色相机，在这些相机中，可见的和非可见的
光谱能量选择性地经过色彩滤波器阵列。非可见的光谱能量的空间分布被映射到经校正的彩色图像中可见光谱能量的空间分布。
[0003] F.Guichard等人在"Extended Depth-of-Field using Sharpness Transport across Colour Channels",SPIE,Proceedings of Electronic Imaging,2009中涉及到一种以延伸的视场深度(depth of field)获得图像的方法，在该方法中，对于给定的物距，RGB图像的至少一个色彩平面包含准焦(in-focus)场景信息。Oliver Cossairt等人在"Spectral Focal Sweep:Extended Depth of Field from Chromatic Aberrations",IEEE International Conference on Computational Photography(ICCP),March 2010中提供了一种光谱焦点扫描相机，该相机对用具有大的纵向色差的透镜获得的二进制图像展开卷积，从而以经扩展的视场深度恢复图像。Shen.C.H和Chen,HH在"Robust focus measure for low-contrast images",International Conference on Consumer Electronics(ICCE),2006中提出了使用离散余弦变换能量措施来评估焦点和锐度(sharpness)信息。
[0004] Manu Parmar和Brian Wandell在"Interleaved Imaging:An Imaging System Design Inspired by Rod-Con Vision",Proceedings of SPIE,2009中提出了一种成像架构，该架构由高灵敏度单色
像素组来获得灰度图像并由低灵敏度三色像素组来获得彩色图像。在低光照情况下，输出图像的空间信息主要是从灰度图像导出，而在高灵敏度像素已饱和的适光(photopic)条件下，输出图像只由彩色图像导出。在过渡光(mesopic)条件下，输出图像由彩色和灰度图像这二者导出，其中，通过使用距离函数和相似度函数把相邻像素值考虑在内，来更新每个像素值。相似度函数提供了既来自各个色彩图像又来自灰度图像的信息，其中，灰度信息的权重是由相邻像素(当前正在评估该像素的距离和相似度)周围的图像片中已饱和的像素的一部分来确定的。
[0005] Josep Garcia等人在"Chromatic aberration and depth extraction",Proceedings of 15th International Conference on Pattern Recognition,Pages762-765,2000中描述了一种方法，用于提取由色差造成的深度信息以导出自动聚焦信息。
S.Chung等人在"Removing Chromatic Aberration by Digital Image Processing",Optical Engineering,Vol.49(6),June 2010中提出了通过对不表现出色差的那些边缘的色彩行为进行分析以评估对于色差
信号的范围限制，来消除色差。违反了范围限制条件的像素值被识别成由色差造成的彩色条纹，并由被允许的值来代替。Anat Levin等人在"Image and depth from a conventional camera with a coded aperture",ACM Transactions on Graphics–Proceedings of ACM SIGGRAPH 2007,Volume 26,Issue 3,July2007中描述了使用经过编码的孔径并利用与孔径形状有关的信息来获得深度信息。
发明内容
[0006] 本发明的一个目的是提供一种增强的红外成像系统，用于对图像成分中的至少一种(例如对于红外图像成分)获得扩展的视场深度。该目的是通过独立
权利要求的主题来实现的。
从属权利要求中分别限定了进一步的实施例。通过下文结合
附图对实施例进行的说明，可以更加了解本发明的细节和优点。各个实施例的特征可以组合，除非它们彼此排斥。
附图说明
[0007] 图1A是根据本发明一种实施例的成像系统的示意性
框图，该系统包括具有纵向色差的、未受到色彩校正的透镜单元。
[0008] 图1B示出了用于理解图1A的成像系统工作原理的调制传递函数。
[0009] 图1C示出了用于理解图1A的图像处理单元工作原理的滤波器和调制传递函数。
[0010] 图2A是根据本发明一种实施例的成像系统的成像单元的示意性剖视图。
[0011] 图2B是根据关于具有仅一个传感器平面的成像传感器单元的实施例的成像单元的示意性剖视图。
[0012] 图2C是根据一种实施例的彩色滤波器单元的示意性平面图。
[0013] 图2D是关于包括
相位元件的成像系统的实施例的成像系统的成像单元的示意性剖视图。
[0014] 图2E是关于包括双折射元件的成像系统的实施例的成像系统的成像单元的示意性剖视图。
[0015] 图2F是根据本发明一种实施例的双折射元件的示意性俯视图。
[0016] 图2G是根据一种实施例(关于包括孔径元件的成像系统的实施例)的成像单元的示意性剖视图。
[0017] 图2H是根据本发明一种实施例的孔径元件的示意性俯视图。
[0018] 图3A是根据一种实施例的成像处理单元的示意性框图，该实施例在每个图像信号路径中都提供逆滤波器。
[0019] 图3B示出的示意图图示了图3A的图像处理单元的功能。
[0020] 图4A是根据一种实施例的图像处理单元的示意性框图，该实施例提供了对于图像信号的加权总和信号有效的逆滤波器。
[0021] 图4B示出的示意图图示了图4A的图像处理单元的功能。
[0022] 图5A是根据一种实施例的图像处理单元的示意性框图，该实施例在每个图像信号路径中提供了逆滤波器，并在成像系统中提供了相位元件。
[0023] 图5B示出的示意图图示了图5A的图像处理单元的功能。
[0024] 图6是根据一种实施例的图像处理单元的示意性框图，该实施例在成像系统中提供了孔径元件。
[0025] 图7是根据关于对红外传感器延伸视场深度的实施例对具有成像系统的电子设备进行操作的方法的简化
流程图。
具体实施方式
[0026] 为了简化对本文的阅读，作为约定，我们将把可见和红外(IR)
辐射光谱的任何子范围称为“色彩”。尤其是，我们将把IR也称为一种色彩，尽管这种命名方式从人类视觉的
角度来看是不正确的。例如，仅透射IR光谱范围中的辐射的滤波器也将被称为“色彩滤波器”。
[0027] 图1示出了具有成像单元100的成像系统400。成像系统400可以是移动相机系统或静止相机系统(例如监视(surveillance)相机系统、用于诊断或外科手术方法的相机、制造工艺控制系统中嵌入的相机、数字式
显微镜、数字式望远镜、或者针对消费应用和专业应用的静态
照相机和视频摄像机、以及为进行遥控或游戏应用而对手势或姿势进行检测的相机)的一部分。根据其他实施例，该成像系统一体集成在包括相机系统的手持式设备中，该设备例如蜂窝电话、
个人数字助理、或者音乐播放器。
[0028] 成像单元100包括孔径单元110，孔径单元被布置成使得经过孔径单元110的孔径的辐射经过透镜单元120并入射到成像传感器单元140上。孔径单元110也可以位于透镜单元120内部，尤其是在透镜单元120的光瞳平面(pupil plane)的
位置处。
[0029] 透镜单元120可以是单透镜、微透镜阵列、或者包括多个透镜的透镜组件。透镜单元120以纵向色差为特征，成像单元100不包含对该纵向(轴向)色差进行补偿以生成受到色彩校正的图像的元件。例如，透镜单元120是由色散材料(例如玻璃或塑料)形成的复合透镜，在该材料中，折射率是以入射光的
波长为变量的函数，使得焦距作为以波长为变量的函数而变化。例如，透镜单元120把红外辐射成像在第一焦平面FIR中，把可见的红色光成像在焦平面FR中，把绿色光成像在焦平面FG中，并把蓝色光成像在焦平面FB中。
[0030] 根据一种实施例，透镜单元120可以包括补偿元件，该元件对于球差和/或与视场有关的相差进行补偿，使得透镜单元120不表现出(或者仅表现出可忽略的量)球差和与视场有关的相差。
[0031] 成像传感器单元140包括多个像素传感器，其中，每个像素传感器包含
光电传感器，光电传感器用于把光
电信号从入射辐射转换成电子信号。成像传感器单元140以数字化的形式输出图像信号，该图像信号包含成像传感器单元140的全部像素传感器的像素值。
[0032] 成像单元100可以提供灰度图像和红外图像。根据其他实施例，色彩滤波器单元130可以被布置在透镜单元120与成像传感器单元140之间。色彩滤波器单元130可以包括多个色彩滤波器部分，其中，每个色彩滤波器部分具有滤波器色彩，例如蓝色、红色、绿色、白色或IR(红外)。每个色彩滤波器部分可以被赋予仅一个像素传感器，使得每个像素传感器接收特定色彩的图像信息。成像传感器单元140输出两个、三个、四个或更多个不同的子图像，其中，每个子图像包含关于输入辐射的具体
频率范围的图像信息，至少一个子图像描述了被成像场景的红外部分。
[0033] 成像传感器单元140从被成像场景捕获第一图像信号以及至少一个第二图像信号，第一图像信号信号描述的图像由红外
频率范围组成，或者包含红外频率范围的至少一部分，第二图像信号描述包含可见光或由可见光组成的第二图像。成像传感器单元140可以捕获一个、两个、三个或者更多个未受到色彩校正的第二图像，这些第二图像具有不同的光谱内容或组分。例如，第二图像可以包括使用滤波器色彩“红色”的“红色”图像、使用滤波器色彩“蓝色”的“蓝色”图像、以及使用滤波器色彩“绿色”的“绿色”图像。第二图像信号也可以描述具有重叠光谱内容的图像。例如，成像传感器单元140可以包括宽敏感带的像素传感器，这些传感器被赋予宽带色彩滤波器部分，滤波器色彩“白色”对于整个可见光谱近似透明。下文中，第一和第二图像信号被称为第一和第二色彩平面，或者第一和第二图像。这些第二图像中的一个可以是灰度图像，包含了整个可见光谱范围上的信息。
[0034] 成像系统还包括光学元件150，该元件通过使第一图像的视场深度延伸的方式来对由第一图像信号描述的第一图像的第一MTF(调制传递函数)进行操纵。例如，光学元件150把赋予第一图像的MTF曲线抬升。根据一种实施例，光学元件150被设计成把被赋予第一图像的MTF曲线的值偏移到更高的值(把MTF曲线“抬升”)，使得表现出零值的最低空间频率接近或者超过乃奎斯特频率极限。
[0035] 光学元件150被布置在成像系统的光路中。通常，光学元件150通过把对于第一图像的第一MTF
对比度(contrast)抬升，反过来也对于被赋予可见光谱的这些第二图像中的至少一个图像降低了第二MTF对比度。根据一种实施例，光学元件150被涉及来操纵第一图像，使得从零直至乃奎斯特频率极限的频率范围中，第二MTF对比度都不表现出零值。
[0036] 图像处理单元200接收第一和第二图像信号，并且例如基于第一和第二图像信号来计算经
修改的输出图像信号，其中，输出图像信号包含了与被成像场景有关的信息，并且，与在没有光学元件150的情况下生成的第一图像信号或至少一个第二图像信号的视场深度相比，对于红外和/或可见范围展现出经扩展的视场深度。根据一种实施例，图像处理单元200通过逆滤波处理，来对第一图像信号和/或至少一个第二图像信号中的调制传递函数对比度进行放大。
[0037] 图1B在左侧一栏示出了在没有光学元件的成像系统中对于绿色(G)和红外(IR)辐射的典型调制传递函数，并在右侧一栏视场了使用上述光学元件150获得的对于绿色(G)和红外(IR)辐射的典型调制传递函数。光学元件150增大了对于红外图像的MTF的值，使得在零与乃奎斯特频率极限之间的频率范围内不出现零值。进而，对于绿色图像的MTF的值可以被降低，其中，这种降低使得对于绿色图像的MTF仍然在零与乃奎斯特频率之间的频率范围内不表现出零。只要MTF曲线不在某个频率处变成零，高于该频率的图像信号就不会全部丢失，图像信息就可以用合适的图像处理技术(例如逆滤波)来恢复。
[0038] 逆滤波处理把MTF对比度放大，但是同时也把图像中存在的噪声放大。根据一种实施例，对图像中的噪声
水平进行测量，并且，与包含较高噪声水平的图像相比，对于低噪声图像施加较高的滤波器增益。成像系统可以被设计成在包括红外通道在内的全部的色彩通道中具有低的MTF，但是在这些色彩通道的任一者中，在零与乃奎斯特频率极限之间的频率范围中都没有零MTF。光学元件150被用来使MTF偏移，使它们满足这些要求。
[0039] 如图1C所示，图像处理单元200可以把光学元件150对于其他色彩通道可能具有的不利效果衰减。根据所示的实施例，图像处理单元200通过逆滤波器对于各个色彩通道施加逆滤波。根据另一实施例，图像处理单元200可以对于全部色彩通道一起施加一个共用的逆滤波器。每个逆滤波器可以是空间可变的(space-variant)，以对这些MTF的位置依赖关系进行平衡(例如相对于图像中心的距离)。
[0040] 如图1A进一步示出的，经修改的图像可以被储存在成像系统400的非易失性
存储器310中，例如作为代表彩色图像的一组数字式值，或者作为两组数字式值，其中第一组可以代表与被捕获的图像的红外内容有关的灰度图像而第二组可以代表
深度图。
非易失性存储器310可以是相机系统的存储卡。替代地或者另外地，经修改的图像可以被显示在成像系统400的显示设备上，或者可以通过有线或无线通信通道而输出到与成像系统400相连的另一系统，可以被提供给处理系统或处理应用以对红外图像中包含的信息进行进一步处理。
[0041] 图2A涉及根据一种实施例的成像单元100的示意图剖视图。成像单元100可以包括孔径单元110，其中，在曝光周期中，对场景或物体的图像进行描述的辐射经过孔径单元110的孔径115以及透镜单元120，并入射到成像传感器单元140上。成像传感器单元140包括第一像素传感器组143和第二像素传感器组145。根据一种实施例，第一像素传感器组143被布置在第一传感器平面中，第二像素传感器组145被布置在第二传感器平面中，该平面与第一传感器平面隔开，例如隔开约500nm至3000nm。根据另一实施例，第一和第二传感器平面是共面的。
[0042] 每个像素传感器包含光电传感器，光电传感器把光电信号从入射辐射转换到电子信号。这些像素传感器可以被形成在
半导体衬底中。例如，成像传感器单元140可以具有垂直集成(vertically integrated)光电二极管结构，其中，深光电二极管在衬底部分中形成于表面光电二极管下方几微米处，表面光电二极管被形成为与半导体衬底的衬底表面相邻。可见光在半导体衬底的表面部分被吸收，而红外辐射较深地穿透到半导体衬底中。结果，深光电二极管只接收红外辐射。在另一示例中，成像传感器单元140可以具有横向集成(lateral integrated)光电二极管结构，多个光电二极管布置成阵列。
[0043] 成像单元100可以包括色彩滤波器单元130，色彩滤波器单元可以被布置成与成像传感器单元140紧密
接触。色彩滤波器单元130可以包括多个色彩滤波器部分135，其中，每个色彩滤波器部分135具有滤波器色彩，例如绿色、红色、蓝色、品红(magenta)、黄色、白色或IR。每个色彩滤波器部分135被赋予仅一个像素传感器145，使得第二像素传感器组145的每个像素传感器接收特定色彩的图像信息。例如，色彩滤波器部分135可以被按照行列布置成矩阵状。被赋予不同滤波器色彩的色彩滤波器部分135可以沿着行方向和列方向规则地交替。例如，形成2×2矩阵的每四个色彩滤波器部分135可以被布置成形成Bayer
马赛克图案，其中，具有滤波器色彩“绿色”的色彩滤波器部分135被布置在2×2矩阵的第一对角线上，而具有滤波器色彩“红色”的一个色彩滤波器部分135和具有滤波器色彩“蓝色”的一个色彩滤波器部分135被布置在2×2矩阵的另一对角线上。通过Bayer马赛克图案，对于滤波器色彩“绿色”的
采样率是滤波器色彩“红色”和“蓝色”的采样率的两倍以把下述情况考虑在内：对于人眼而言，绿色携带了大多数
亮度(luminance)信息。
[0044] 根据另一实施例，色彩滤波器部分135可以被布置成形成RGBE马赛克图案(其中“翠绿(Emerald)”作为第四滤波器色彩)、CYYM马赛克图案(具有一个青色、两个黄色和一个品红色滤波器部分135)、或者CYGM马赛克图案(具有一个青色、一个黄色、一个绿色和一个品红色滤波器部分135)，滤波器部分135被布置成2×2的单位矩阵，色彩滤波器单元130中重复地布置多个单位矩阵。根据另一实施例，色彩滤波器单元130包括单位矩阵的马赛克图案，单位矩阵具有三种不同滤波器色彩的三个色彩滤波器部分以及不具有色彩滤波特性、并对于可见光谱内的全部色彩透明的一个透明滤波器部分。这些透明的和彩色的滤波器部分135可以被布置成形成例如RGBW马赛克图案，例如4×4或者2×4的RGBW马赛克图案。
[0045] 红外辐射可以在各个色彩滤波器部分135之间对于红外辐射透明的部分133中经过色彩滤波器单元130。根据一种实施例，色彩滤波器130包含至少一个对于红外辐射透明的色彩滤波器部分类型。例如，色彩滤波器130是RGBIR滤波器，其中，每个2×2的单位矩阵包含一个红色、一个绿色、一个蓝色和一个红外色彩滤波器部分135，并且多个单位矩阵被规则地布置以形成马赛克图案。根据其他实施例，色彩滤波器单元130不包括被赋予深光电二极管的部分，因为色彩滤波器部分135可以对于红外辐射的一部分频率范围透明。
[0046] 透镜单元120可以由物镜实现，包括几个单独的透镜，适于把物空间的物体成像到传感器平面。由于色差，每个彩色图像蓝色、绿色、红色和红外将聚焦在处于不同距离的另一焦平面中。在关于具有两个或更多个传感器平面的成像传感器单元的实施例中，针对红外辐射的第一焦平面与被赋予可见光的任何第二焦平面之间的距离不与第一、第二传感器平面之间的垂直距离相匹配。结果，在此情况下，当红外图像和针对可见光的图像都被同时捕获时，第一和第二图像中的至少一者也严重地离焦(out of focus)。
[0047] 成像传感器单元140输出第一图像和至少一个第二图像，第一图像针对被成像场景的红外内容，第二图像在可见光谱范围中描述被成像场景。光学元件150被布置在光路中。光学元件150对第一图像的MTF进行修改以获得具有延伸的视场深度的第一图像。
[0048] 图2B关于根据具有仅一个传感器平面的实施例的成像单元100的示意性剖视图。成像单元100可以包括孔径单元110，其中，在曝光期间，对场景或物体的图像进行描述的辐射经过孔径单元110的孔径115和透镜单元120，并入射到成像传感器单元140上。成像传感器单元140包括像素传感器组146。根据一种实施例，像素传感器组146被布置在一个共用的传感器平面中。光学元件150对第一图像的MTF进行修改以获得具有延伸的视场深度的第一图像。
[0049] 图2C涉及另一实施例，其中，色彩滤波器单元130的色彩滤波器部分135可以形成以“红外”作为第四滤波器色彩并布置成2×2单位矩阵的R-G-B-IR马赛克图案。这四种色彩R、G、B和IR可以在2×2单位矩阵内按照任何排列方式布置。色彩滤波器单元130可以被集成到图2B的成像单元100中。
[0050] 在图2D的成像单元100中，光学元件是相位元件152，该元件适于针对包括透镜单元120和相位元件152的成像系统100获得或者近似深度不变(depth-invariant)的PSF(点扩散函数)。用通过施加几乎深度不变的PSF而设计的逆滤波器来对被成像信号进行卷积造成了近似于全准焦的图像。对成像系统100的PSF进行调谐，使该PSF在足够大的视场深度上是不变的，这种情况能够减小透镜单元120的纵向色差以及第一图像和第二图像之间的焦点偏移的效果。也可以不用相位元件152，而是用双折射元件153或者孔径滤波器元件154。
[0051] 图2E涉及一种实施例，其中，光学元件是双折射元件153，该元件在成像单元100的光路中布置在透镜单元120的光瞳平面中。双折射元件153被设计成对被赋予第一图像的第一调制传递函数进行修改，以扩展第一图像的视场深度，其中，被赋予第一图像信号和/或至少一个第二图像信号的调制传递函数在直至乃奎斯特频率极限的频率范围中没有零值。双折射元件153可以包括双折射材料，例如
液晶聚合物层。
液晶聚合物层可以被形成在载体衬底上。液晶的单轴(uniaxial)轴线的方向大致平行于双折射元件153的表面，其中，双折射元件153被布置成使表面与成像单元100的光路
正交。在表面中，单轴轴线的方向对于整个所述双折射元件153而言是变化的。也可以使用相位元件152或者孔径滤波器元件154而不使用双折射元件153。
[0052] 图2F图示了图2E的双折射元件153的一种实施例。根据该实施例，双折射元件153被划分成多个区153a、153b、153c，其中，在这些区153a、153b和153c中的至少两个区中，单轴轴线的方向彼此不同。区153a、153b、153c可以呈现不同的集合形状。根据一种实施例，这些区中除了一个之外的区153b、153c是同心的环形，围绕着圆形的中心区153a。
[0053] 除了图2D的相位元件152，或者代替该元件，图2G的成像系统包括孔径元件154。孔径元件154可以是
支撑着图案的载体，该图案具有不同透射性的结构。孔径元件154可以用来对被赋予第一图像的第一调制传递函数进行修改，以延伸第一图像的视场深度，其中，被赋予第一图像信号和/或至少一个第二图像信号的调制传递函数在直至乃奎斯特频率极限的频率范围中没有零值。孔径元件154可以被布置在成像单元100的透镜单元120的光瞳平面中。
[0054] 图2H示出了孔径元件154的细节。根据一种实施例，孔径元件154的图案包括透明结构154a和不透明结构154b。根据另一实施例，这些结构中的至少一些结构是板透明的，透射率在0％与100％之间。这些结构可以呈现任何集合形状，并且可以布置成适于以所需方式对MTF进行修改的任何顺序。根据一种实施例，这些部分的透射率取决于光的波长。
[0055] 图3A示出了使用第一图像信号IR和至少一个第二图像信号中包含的信息的图像处理单元200，第一图像信号代表了包含红外辐射的频率范围中的图像场景，第二图像信号例如是代表包含红色光的频率范围中的图像场景的第二图像信号R、代表包含绿色光的频率范围中的图像场景的另一第二图像信号G、以及代表包含蓝色光的频率范围中的图像场景的另一第二图像信号B。图像处理单元200包括逆滤波器单元205。每个逆滤波器单元205被赋予由成像单元100输出的图像信号中的一个信号。每个逆滤波器单元205是线性空间滤波器，其滤波器函数是针对相应图像信号的模糊(blurring)函数的频率响应的逆。由于每个图像信号受到另一
散焦(defocus)，所以这些逆滤波器单元205代表不同的滤波器函数。
[0056] 图3B在左侧示出了光学MTF(调制传递函数)的示意图，这些光学MTF代表了用基于RGBIR成像传感器的成像系统获得的被成像场景的图像信号R、G、B、IR。该图在中间那栏示意性地图示了对于逆滤波器单元205事先已知的逆滤波器函数。该图在右侧示出了所得的光学－数字式MTF曲线。
[0057] 根据图4A的实施例，图像处理单元200通过从第一和第二图像信号生成强度信号，来使用第一图像信号和所述至少一个第二图像信号中包含的信息。图像处理单元200可以包括加权单元208，用于以预定的系数CB、CR、CG、CIR对各个图像信号进行加权。求和单元203可以把经过加权的图像信号
叠加或相加，以获得强度信号。逆滤波器单元205向强度信号施加用于强度信号的预定逆滤波器函数。这些系数和/或逆滤波器函数可以从透镜数据事先计算出来。
[0058] 图4B在左侧示出了从使用基于RGBIR成像传感器的成像系统获得的被成像场景导出的强度信号的MTF的示意图。该图在中间示意性地图示了用于逆滤波器单元205的事先已知的/自适应的逆滤波器函数。该图在右侧示出了所得的用于强度信号的光学－数字式MTF曲线。由于不处理
色度，所以这种途径与使用各个逆滤波器函数的那些实施例相比，不易受到的彩色噪声增强的影响。
[0059] 图5A涉及在图2D和图2E所示的成像系统的光路中使用相位元件或双折射元件以在某个范围上获得深度不变的PSF的实施例。图像处理单元200包括逆滤波器单元205，其中，每个逆滤波器单元205向由成像单元100输出的相应图像信号施加相同的逆滤波器函数。逆滤波器函数是基于对于包含相位元件或双折射元件的图像系统所获得的PSF而设计的，使得获得全准焦的图像。
[0060] 图5B在左侧示出了示意图，这些光学MTF代表了用基于RGBIR成像传感器但没有任何相位元件的成像系统获得的被成像场景的图像信号R、G、B、IR。第二栏的示意图示意性地图示了使用相位元件所得的MTF。在没有相位元件的情况下，针对绿色平面的MTF曲线在很宽的空间频率范围上具有显著的幅度，而全部的其他MTF曲线迅速下降到零。结果，只有对于绿色色彩的图像信号会聚焦在传感器平面中，而其他色彩会聚焦在其他焦平面不同距离处。相位元件的效果是略微降低了对于绿色色彩的MTF，同时显著把其他色彩的MTF曲线抬升到零以上。如第三栏所示，各个逆滤波器函数由逆滤波器单元205施加于各个图像信号，以事先目标光学－数字式MTF曲线。该图在右侧示出了在成像处理单元200的输出处所得的光学－数字式MTF曲线。
[0061] 图6涉及一种具有图像处理单元200的实施例，该单元包括计算单元209，计算单元被配置成基于图2G所示的孔径元件的孔径形状来计算全准焦图像。
[0062] 在上述各个实施例中，图像处理单元200的全部元件可以仅由
硬件实现(例如以集成
电路、FPGA(现场可编程
门阵列)、ASIC(
专用集成电路)的方式)，仅由
软件实现(例如可以在
计算机程序中或者微
控制器存储器中实现)、或者由硬件和软件要素组合实现。根据一种实施例，图像处理单元200被集成在集成电路中。
[0063] 图7涉及对电子设备进行操作的方法，该电子设备具有表现出纵向色差的成像系统。通过使用布置在成像单元的光路中的光学元件，被赋予第一图像的第一调制传递函数受到操纵以扩展第一图像的视场深度(702)，其中第一图像在包含了红外范围的第一频率范围中描述被成像场景。从被成像场景生成第一图像信号以及至少一个第二图像信号(704)，其中第一图像信号描述第一图像，第二图像信号在包含了可见范围的第二频率范围中对被成像场景进行成像。图像
信号处理提供了输出图像信号，该信号包含了红外和/或可见频率范围中与被成像场景有关的信息。
[0064] 根据一种实施例，图像信号处理通过逆滤波处理来对第一图像信号和/或至少一个第二图像信号中的调制传递函数进行放大，以补偿光学元件对第二图像的不利效果。
[0065] 在被成像场景对于第一频率范围被聚焦在第一焦平面处并对于第二频率范围被聚焦在第二焦平面处的情况下，输出图像信号的经延伸的视场深度可以对于由第一、第二焦平面之间的距离所造成的焦点偏移进行补偿。
[0066] 在针对RGBIR传感器的传统途径中，这些传感器对于同一场景同时地提供可见范围中的传统图像以及IR图像，IR图像严重地离焦；本发明的途径提供了全准焦方式的成像或以经延伸的视场深度进行成像，以校正对于红外辐射以及可见范围中的辐射的离焦模糊问题。这种成像系统能够在没有任何复消色差(apochromatic)镜头的情况下实现。
