校正不均匀暗电流的图像传感器专利检索-彩色滤光阵列摄影专利检索查询-专利查询网

校正不均匀暗电流的图像 传感器

阅读：201发布：2020-05-12

专利汇可以提供校正不均匀暗电流的图像传感器专利检索，专利查询，专利分析的服务。并且本申请案涉及一种校正不均匀暗电流的图像传感器。一种成像系统包括图像像素阵列、暗像素阵列及控制器。所述图像像素阵列包含适于产生图像信号的多个像素群集。所述暗像素阵列适于产生与所述成像系统的全局黑阶值对应的一或多个黑色参考信号。所述控制器包含逻辑，所述逻辑在由所述控制器执行时使得所述系统执行包含以下各项的操作：确定所述像素群集中的每一者的局部黑阶值；及至少部分地基于所述全局黑阶及所述局部黑阶值中所包含的第一局部黑阶值来校正所述图像信号中所包含的第一图像信号。，下面是校正不均匀暗电流的图像传感器专利的具体信息内容。

权利要求

1.一种成像系统，其包括：
图像像素阵列，其包含适于响应于入射光而产生图像信号的多个像素群集，其中所述图像信号的群组与所述像素群集中的相应像素群集相关联，且其中所述图像信号的所述群组中的每一者包含多个彩色信号及一个全色信号；
暗像素阵列，其适于产生与所述成像系统的全局黑阶值对应的一或多个黑色参考信号；及
控制器，其耦合到所述图像像素阵列及所述暗像素阵列，其中所述控制器包含逻辑，所述逻辑在由所述控制器执行时使得所述系统执行包含以下各项的操作：
基于所述像素群集中的相应像素群集的所述彩色信号及所述全色信号来确定所述像素群集中的每一者的局部黑阶值；及
至少部分地基于所述全局黑阶值及所述局部黑阶值中所包含的与所述像素群集中所包含的第一像素群集相关联的第一局部黑阶值来校正所述图像信号中所包含的与所述第一像素群集相关联的第一图像信号。
2.根据权利要求1所述的成像系统，其中所述多个彩色信号表示所述像素群集中的每一者中所包含的红色像素、蓝色像素及绿色像素，且其中所述全色信号表示所述像素群集中的每一者中所包含的无色像素。
3.根据权利要求2所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
计算所述多个彩色信号的和与所述全色信号之间的差，以确定所述像素群集中的每一者的所述局部黑阶值，其中所述多个彩色信号及所述全色信号是由所述图像像素阵列的所述像素群集中的对应像素群集中所包含的所述红色像素、所述蓝色像素、所述绿色像素及所述无色像素的相应量子效率来补偿的。
4.根据权利要求1所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
将所述局部黑阶值分组成多个局部黑阶值群组，其中所述局部黑阶值群组中的每一者表示所述图像像素阵列的不同子区段；及
基于对所述局部黑阶值的所述分组来确定所述图像像素阵列的所述不同子区段中的每一者的平均黑阶值。
5.根据权利要求4所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
基于所述不同子区段中的每一者的所述平均黑阶值相对于所述全局黑阶值的比率来确定所述不同子区段中的每一者的增益因子。
6.根据权利要求5所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
对所述不同子区段中的每一者的所述增益因子应用第一滤波器，其中所述第一滤波器至少部分地基于与所述不同子区段中的每一者相关联的所述图像信号相对于所述全局黑阶值的信暗比来动态地调整所述增益因子。
7.根据权利要求6所述的成像系统，其中所述第一滤波器是指数加权移动平均数“EWMA”滤波器，其中所述EWMA滤波器是基于所述不同子区段的先前增益因子的动态滤波器，且其中所述信暗比是基于与所述不同子区段中的相应子区段相关联的平均全色信号。
8.根据权利要求5所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
基于所述不同子区段中的每一者的所述增益因子来产生二维“2D”增益阵列，其中所述
2D增益阵列表示所述图像像素阵列。
9.根据权利要求8所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
通过对所述2D增益阵列进行内插来确定所述多个像素群集中所包含的至少所述第一像素群集的局部增益校正因子。
10.根据权利要求9所述的成像系统，其中经由双线性内插或双三次内插来实现对所述
2D增益阵列的所述内插以确定所述局部增益校正因子。
11.根据权利要求9所述的成像系统，其中所述控制器包含额外逻辑，所述额外逻辑在由所述控制器执行时使得所述系统执行其它操作，所述其它操作包含：
基于所述第一像素群集的所述局部增益校正因子来调整所述全局黑阶值；及基于与所述第一像素群集相关联的所述第一图像信号与所述所调整的全局黑阶值之间的差来产生经校正图像信号。
12.一种对图像传感器进行黑阶校正的方法，所述方法包括：
接收由像素群集阵列响应于入射光而产生的多个图像信号，其中所述图像信号的群组与所述像素群集中的相应像素群集相关联，且其中所述图像信号的所述群组中的每一者包含多个彩色信号及一个全色信号；
经由从暗像素阵列接收到的一或多个黑色参考信号来确定所述像素群集阵列的全局黑阶值；
确定所述像素群集中的每一者的局部黑阶值，其中所述局部黑阶值中的每一者是基于所述像素群集中的对应像素群集的所述色彩图像信号及所述全色信号；及至少部分地基于所述全局黑阶值及所述局部黑阶值中所包含的第一局部黑阶值来校正所述像素群集中所包含的第一像素群集的所述图像信号中所包含的第一图像信号，其中所述第一局部黑阶值表示所述第一像素群集。
13.根据权利要求12所述的方法，其中所述多个彩色信号表示所述像素群集中的每一者中所包含的红色像素、蓝色像素及绿色像素的输出，且其中所述全色信号表示所述像素群集中的每一者中所包含的无色像素的输出。
14.根据权利要求13所述的方法，其进一步包括：
计算与所述像素群集中的每一者相关联的所述多个彩色信号的和与所述全色信号之间的差以确定所述局部黑阶值，其中所述像素群集中的每一对应像素群集的所述多个彩色信号及所述全色信号是由所述像素群集中的所述每一对应像素群集中所包含的所述红色像素、所述蓝色像素、所述绿色像素及所述无色像素的相应量子效率来补偿的。
15.根据权利要求12所述的方法，其进一步包括：
将所述局部黑阶值分组成多个局部黑阶值群组，其中所述局部黑阶值群组中的每一者表示所述像素群集阵列的不同子区段；及
基于对所述局部黑阶值的所述分组来确定所述像素群集阵列的所述不同子区段中的每一者的平均黑阶值。
16.根据权利要求15所述的方法，其进一步包括：
基于所述不同子区段中的每一者的所述平均黑阶值相对于所述全局黑阶值的比率来确定所述不同子区段中的每一者的增益因子。
17.根据权利要求16所述的方法，其进一步包括：
对所述不同子区段中的每一者的所述增益因子应用第一滤波器，其中所述第一滤波器至少部分地基于与所述不同子区段中的每一者相关联的所述图像信号相对于所述全局黑阶值的信暗比来动态地调整所述增益因子。
18.根据权利要求17所述的方法，其中所述第一滤波器是指数加权移动平均数“EWMA”滤波器，其中所述EWMA滤波器是基于所述不同子区段的先前增益因子的动态滤波器，且其中所述信暗比是基于与所述不同子区段中的相应子区段相关联的平均全色信号。
19.根据权利要求16所述的方法，其进一步包括：
基于所述不同子区段中的每一者的所述增益因子来产生二维“2D”增益阵列，其中所述
2D增益阵列表示所述图像像素阵列。
20.根据权利要求19所述的方法，其进一步包括：
通过对所述2D增益阵列进行内插来确定至少所述第一像素群集的局部增益校正因子。
21.根据权利要求20所述的方法，其进一步包括：
基于所述第一像素群集的所述局部增益校正因子来调整所述全局黑阶值；及基于与所述第一像素群集相关联的所述第一图像信号与所述所调整的全局黑阶值之间的差来产生经校正图像信号。

说明书全文

校正不均匀暗电流的图像 传感器

技术领域

[0001] 本发明大体来说涉及图像传感器，且确切来说但不仅仅涉及对图像传感器进行黑阶校准。

背景技术

[0002] 图像传感器已经普及且现在广泛用于数字相机、蜂窝式电话、安全摄像机以及医学、汽车及其它应用中。随着图像传感器集成到各种各样的电子装置中且其功能不断扩展，期望通过装置架构设计且通过后图像获取处理来在尽可能多的方面(例如，分辨率、功耗、动态范围等)增强图像传感器的性能指标。

[0003] 典型的图像传感器响应于从外部场景入射在图像传感器上的图像光而操作。图像传感器包含具有光敏元件(例如，光电二极管)的像素阵列，所述光敏元件吸收入射图像光的一部分並在吸收图像光之后立即产生图像电荷。可测量像素中的每一者的图像电荷来作为每一像素的输出电压，所述输出电压随着入射图像光而变化。换句话说，所产生的图像电荷量与图像光的强度成比例，利用这一点来生成表示外部场景的数字图像(即，图像数据)。然而，图像传感器可因暗电流而产生外部场景的不准确表示，所述暗电流会影响从图像传感器的个别像素测量到的图像电荷(例如，添加到输出电压)，这可妨碍图像传感器生成忠实再现外部场景的光学特性(例如，强度、色彩等)的数字图像。

发明内容

[0004] 本发明的一个方面提供一种成像系统，所述成像系统包括：图像像素阵列，其包含适于响应于入射光而产生图像信号的多个像素群集，其中所述图像信号的群组与所述像素群集中的相应像素群集相关联，且其中所述图像信号的所述群组中的每一者包含多个彩色信号及一个全色信号；暗像素阵列，其适于产生与所述成像系统的全局黑阶值对应的一或多个黑色参考信号；及控制器，其耦合到所述图像像素阵列及所述暗像素阵列，其中所述控制器包含逻辑，所述逻辑在由所述控制器执行时使得所述系统执行包含以下各项的操作：基于所述像素群集中的相应像素群集的所述彩色信号及所述全色信号来确定所述像素群集中的每一者的局部黑阶值；及至少部分地基于所述全局黑阶值及所述局部黑阶值中所包含的与所述像素群集中所包含的第一像素群集相关联的第一局部黑阶值来校正所述图像信号中所包含的与所述第一像素群集相关联的第一图像信号。

[0005] 本发明的另一方面提供一种对图像传感器进行黑阶校正的方法，所述方法包括：接收由像素群集阵列响应于入射光而产生的多个图像信号，其中所述图像信号的群组与所述像素群集中的相应像素群集相关联，且其中所述图像信号的所述群组中的每一者包含多个彩色信号及一个全色信号；经由从暗像素阵列接收到的一或多个黑色参考信号来确定所述像素群集阵列的全局黑阶值；确定所述像素群集中的每一者的局部黑阶值，其中所述局部黑阶值中的每一者是基于所述像素群集中的对应像素群集的所述色彩图像信号及所述全色信号；及至少部分地基于所述全局黑阶值及所述局部黑阶值中所包含的第一局部黑阶值来校正所述像素群集中所包含的第一像素群集的所述图像信号中所包含的第一图像信号，其中所述第一局部黑阶值表示所述第一像素群集。
附图说明

[0006] 参考以下各图描述本发明的非限制性及非穷尽性实施例，其中除非另有规定，否则遍及各个视图，相似参考编号指代相似部件。在适当情况下，不必标记元件的所有例子以免图式变混乱。图式未必成比例，而是重点放在图解说明所描述的原理。

[0007] 图1A是图解说明根据本发明的教示包含图像像素阵列的成像系统的功能框图，所述图像像素阵列以光学方式耦合到彩色滤波器阵列以捕获外部场景的数字图像或视频。

[0008] 图1是根据本发明的教示的成像系统的功能框图。

[0009] 图2是图解说明根据本发明的教示的两个四晶体管型像素的像素电路系统的电路图，所述像素电路系统可包含于图1A至1B中的成像系统中。

[0010] 图3是图解说明根据本发明的教示的包含图像像素阵列的像素阵列的功能框图，所述图像像素阵列划分成可各自独立地被校准以实现黑阶校正的不同子区段。

[0011] 图4展示根据本发明的教示的黑阶校准方法，所述方法利用自校准暗图像不均匀性校正来移除黑阶误差。

具体实施方式

[0012] 本文中描述对成像系统或图像传感器进行不均匀性校正的设备、系统及方法的实施例。在以下说明中，陈述众多具体细节以提供对实施例的透彻理解。然而，所属领域的技术人员将认识到，本文中所描述的技术可在不具有所述具体细节中的一或多者的情况下实践或者可借助其它方法、组件、材料等来实践。在其它实例中，未详细展示或描述众所周知的结构、材料或操作以避免使某些方面模糊。

[0013] 在本说明书通篇所提及的“一个实施例”或“实施例”意指结合所述实施例描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，在本说明书通篇各个地方出现的短语“在一个实施例中”或“在实施例中”未必全部皆指代同一实施例。此外，特定特征、结构或特性可以任何适合方式组合于一或多个实施例中。

[0014] 在本说明书通篇，使用数个术语。这些术语将具有在其所属领域中的普通含义，除非本文中另外具体定义或其使用的上下文将另外清晰地暗示。应注意，在本文件通篇，元件名称及符号可互换使用(例如，Si与硅)；然而，两者具有相同的含义。

[0015] 对于任何图像传感器而言，但尤其是对于汽车图像传感器、监控图像传感器及天文图像传感器而言，期望具有界限清晰且准确的黑阶以使得由所述图像传感器生成的数字图像或视频忠实地再现外部场景的光学特性。通常，当存在大的信噪比时，在对日光场景进行成像时的黑阶可忽略不计。然而，在由于低光条件而延长曝光时间的应用中，温度处于图像传感器操作范围的高端中或在低信噪比的其它此种条件中，暗电流的效应可变得显而易见。更具体来说，由于跨越图像传感器的温度梯度、过程梯度、像素输出稳定性等等，可出现图像传感器的暗电流的不均匀性。

[0016] 本文中描述可用于对图像数据(例如，由图像传感器响应于入射光而产生的图像信号)进行全面的黑阶校正的设备、成像系统及方法的实施例。确切来说，本发明的实施例校正在低光环境中及/或在高温操作条件下捕获图像或视频时可普遍存在的不均匀暗电流(即，暗图像不均匀性)。成像系统的全面黑阶校正藉由在每像素或每像素群集基础上利用局部增益校正因子调整图像像素阵列的全局黑阶值来校正图像像素阵列的不均匀暗电流，所述局部增益校正因子是依据特定像素或像素群集所特有的局部黑阶而确定。

[0017] 图1A图解说明成像系统100的功能框图，所述成像系统100包含图像像素阵列106，图像像素阵列106以光学方式耦合到彩色滤波器阵列112以捕获表示外部场景103的图像或视频的图像信号。成像系统100的所图解说明实施例包含像素阵列105、彩色滤波器阵列112、光屏蔽件114、读出电路系统110及控制器120。像素阵列105包含多个个别像素(例如，光电二极管、光传感器等)，所述多个个别像素包含二维(“2D”)图像像素阵列106及暗像素阵列107。在所图解说明的实施例中，彩色滤波器112与包含像素阵列105的个别像素的一部分以光学方式耦合，此举会形成图像像素阵列106。彩色滤波器阵列112包含各自与图像像素阵列106中所包含的像素中的至少个别像素相关联是多个彩色滤波器(例如，红色、绿色及蓝色)及全色滤波器(例如，无色、透明、非滤波等)。更具体来说，彩色滤波器阵列112的所述多个彩色滤波器及全色滤波器以最小重复单元(例如，所图解说明的RGBC，其对应于红色滤波器、绿色滤波器、蓝色滤波器及无色滤波器)以可拼接方式布置以形成图像像素阵列
106的多个像素群集。

[0018] 由图像像素阵列106产生的图像信号群组与像素群集中的相应像素群集相关联。图像信号群组中的每一者包含多个彩色信号及一个全色信号，其累积起来表示对应像素群集的色彩及强度。像素群集中的每一者捕获图像信号中所包含的多个彩色信号，所述多个彩色信号组合起来表示可见光光谱。更具体来说，像素群集中的每一者的彩色滤波器包含叠加地覆盖可见光光谱的原色滤波器(例如，红色、绿色及蓝色)或次生色滤波器(例如，蓝绿色、品红及黄色)中的至少一个滤波器。在所图解说明的实施例中，图像像素阵列106中以光学方式耦合到彩色滤波器阵列112中的红色滤波器(“R”)的个别像素对应于红色像素且捕获表示外部场景103中的红色光的强度的彩色信号。类似地，以光学方式耦合到蓝色滤波器(“B”)或绿色滤波器(“G”)的个别像素分别对应于蓝色像素或绿色像素，且捕获表示外部场景103中的蓝色光或绿色光的强度的彩色信号。像素群集中的每一者还包含以光学方式耦合到全色滤波器(例如，无色、透明、非滤波)的至少一个个别像素，所述全色滤波器捕获表示未经滤波的可见光(例如，白色光)光谱的强度的全色信号。因此，总体来说，像素群集中的每一者捕获包含多个彩色信号及一个全色信号的图像信号，所述多个彩色信号及一个全色信号用于确定对应像素群集的色彩、色彩强度及局部黑阶。

[0019] 像素阵列105的暗像素阵列107以光学方式耦合到光屏蔽件114。光屏蔽件114以光学方式屏蔽(例如，经由不透明金属层或其它)暗像素阵列107中所包含的个别像素的至少光敏区以使其不暴露于入射光下。并非是基于入射光产生信号，暗像素阵列107基于暗像素阵列107内的个别像素的暗电流而产生一或多个黑色参考信号。随后，利用所述一或多个黑色参考信号确定成像系统100的全局黑阶值以校正由图像像素阵列106产生的图像信号。

[0020] 由像素阵列105产生的所述图像信号及所述一或多个黑色参考信号是模拟信号，所述模拟信号可由耦合到像素阵列105的读出电路系统110取样。读出电路系统110可进一步包含放大电路系统、模/数(“ADC”)电路系统，全局及/或局部黑阶校正电路系统、图像缓冲器等等。可经由控制成像系统100的操作(前操作、后操作及原位操作)的控制器120来操作读出电路系统110。在所图解说明的实施例中，读出电路系统110与控制器120分离。然而，在其它实施例中，读出电路系统110可包含于控制器120中。

[0021] 图1B图解说明根据本发明的教示的成像系统100的功能框图的更详细视图。成像系统100的所图解说明实施例包含像素阵列105、读出电路系统110、光屏蔽件114及控制器120。成像系统100还包含彩色滤波器阵列112(如图1A中所图解说明)，省略了彩色滤波器阵列112以防止使某些方面模糊。像素阵列105包含图像像素阵列106及暗像素阵列107。控制器120包含控制电路系统115、处理器122、存储器124、功能逻辑126、全局黑阶逻辑128、暗图像不均匀性(DINU)逻辑130及像素校正逻辑132。

[0022] 像素阵列105的所图解说明实施例包含二维(“2D”)图像像素阵列106及暗像素阵列107。图像像素阵列106包含所述多个个别成像像素(AP1、AP2、AP3、…、APn)，所述多个个别成像像素用于响应于入射光而捕获表示外部场景(例如，图1A的外部场景103)的图像信号。暗像素阵列107包含多个个别黑色参考像素(BP1、BP2、…、BPn)，所述个个别黑色参考像素用于捕获与成像系统100的全局黑阶值对应的一或多个黑色参考信号。在一个实施例中，所述多个成像像素中的每一者是有源像素传感器，例如互补金属氧化物图像传感器像素。在一些实施例中，个别黑色参考像素包含与对应的作用像素类似或相同的结构，但存在至少一个例外：所述黑色参考像素被光阻挡层(例如，图1A所图解说明的光屏蔽件114)屏蔽而无法接收光。

[0023] 如所图解说明，图像像素阵列106的作用像素中的每一者被布置成行(例如，行R3至Ry)及列(例如，列C1至Cx)以获取外部场景(例如，人、地方或物体)的图像数据(例如，图像信号)，然后可使用所述图像数据来呈现外部场景的数字图像或视频。像素阵列105中所包含的暗像素阵列107的个别黑色参考像素(例如，BP1至BPn)也被布置成行(例如，行R1至R2)及列(例如，列C1至Cx)以捕获一或多个黑色参考信号以用于确定成像系统100的全局黑阶值。个别黑色参考像素被光屏蔽件114(例如，阻挡光到达暗像素阵列107的足够厚的金属)屏蔽在光之外，以使得来自个别黑色参考像素的信号表示成像系统100中的暗电流。在一些实施例中，暗像素阵列107内的一行个别黑色参考像素尽可能近似于图像像素阵列106的一行作用像素以提供图像像素阵列106的暗电流(例如，全局黑阶值)的准确表示。在同一实施例或其它实施例中，先读出(例如，经由读出电路系统110)并处理(例如，经由控制器120)黑色行，再读出并处理作用行(例如，图像像素阵列106中的像素)，以使得黑阶校正值可用于读出所述作用行。在本发明的实施例中，将全局黑阶值与依据图像像素阵列106的个别成像像素确定的局部黑阶结合使用以校正图像信号。应了解，所图解说明的像素阵列105的配置仅是许多可能配置的一个实施例。在其它实施例中，暗像素阵列107可形成于像素阵列105的其它区中，例如像素阵列105的中心，或甚至沿着图像像素阵列106的两个相对侧延伸。在一些实施例中，暗像素阵列107可与图像像素阵列共享共同行或共同列。

[0024] 读出电路系统110可包含放大电路系统、模/数转换(“ADC”)电路系统、全局及局部黑阶校正电路系统、图像缓冲器等等。在所图解说明的实施例中，读出电路系统110对分别来自像素阵列105的图像信号及黑色参考信号进行取样并传输到控制器120。在一些实施例中，读出电路系统110包含于控制器120中。

[0025] 控制器120包含逻辑及/或电路系统以控制成像系统100的各种组件的操作(例如，在图像及/或视频获取的前阶段、后阶段及原位阶段期间)。控制器120可实施为硬件逻辑(例如，特殊应用集成电路、场可编程门阵列、芯片上系统等)、在通用微控制器或微处理器上执行的软件/固件逻辑、或硬件逻辑与软件/固件逻辑两者的组合。在一个实施例中，控制器120耦合到用以存储供控制器120执行的指令的存储器124。指令在由控制器120执行时可使得成像系统100执行与控制电路系统115、功能逻辑126、全局黑阶逻辑128、DINU黑阶逻辑130、像素校正逻辑132等等的各种功能模块对应的操作。存储器是非暂时性计算机可读媒体，其可包含但不限于可由控制器120读取的易失性存储系统(例如，RAM)或非易失性存储系统(例如，ROM)。

[0026] 在所图解说明的实施例中，控制器120的各种逻辑及/或电路系统模块115到132用于捕获外部场景的图像或视频(例如，由图像信号表示，所述图像信号各自与图像像素阵列106的对应像素相关联)，且随后至少部分地基于像素群集中的对应像素群集的全局黑阶值及局部黑阶值来在每像素或每像素群集上校正图像信号中的一或多者。有利地，在每像素或每像素群集基础上进行的图像信号校正补偿可由跨越像素阵列105的温度梯度、过程梯度及像素输出稳定性等导致的不均匀暗电流。控制电路系统115可控制图像像素阵列106及暗像素阵列107的操作特性。功能逻辑126可存储图像信号作为图像数据且甚至操纵所述图像数据(例如，应用后图像效应，例如裁剪、旋转、移除红眼、调整亮度、调整对比度等等)。全局黑阶逻辑128可经耦合以从暗像素阵列107接收一或多个黑色参考信号以用于确定成像系统100的全局黑阶值。DINU黑阶逻辑130可经耦合以从图像像素阵列106接收图像信号以确定图像像素阵列106中的个别像素中的每一者的局部黑阶值。随后，DINU黑阶逻辑130可利用所述局部黑阶值来产生2D增益阵列，所述局部黑阶值经内插以确定图像像素阵列106的一或多个像素或像素群集的局部增益校正因子。像素校正逻辑132可利用局部增益校正因子来在每像素或每像素群集基础上调整全局黑阶值以补偿图像像素阵列106内的暗电流的不均匀性。然后，可利用所调整的全局黑阶值来校正对应像素及/或像素群集的图像信号。

[0027] 图2是图解说明根据本发明的教示的两个四晶体管型像素202(像素Pa)及204(像素Pb)的像素电路系统的电路图200，所述像素电路系统可包含于图1A到1B的成像系统100中。像素Pa及Pb布置于两个行及一个列中。像素电路系统200中的每一像素的所图解说明实例包含光电二极管PD、转移晶体管T1、复位晶体管T2、源极跟随器(“SF”)晶体管T3及选择晶体管T4。在操作期间，转移晶体管T1接收转移信号TX，从而响应于入射光而将积累于光电二极管PD中的电荷转移到浮动扩散节点FD。在一个实施例中，浮动扩散节点FD可耦合到存储电容器以暂时存储图像电荷(未图解说明)。复位晶体管T2耦合在电源轨VDD与浮动扩散节点FD之间以在复位信号RST的控制下进行复位(例如，将FD放电或充电到预设电压)。浮动扩散节点FD经耦合以控制SF晶体管T3的栅极。SF晶体管T3耦合在电源轨VDD与选择晶体管T4之间。SF晶体管T3用作源极跟随器，其提供来自像素的高阻抗输出。最后，选择晶体管T4在选择信号SEL的控制下将像素电路系统200的输出选择性地耦合到列读出线(也被称为位线或数据位线)。从像素读出到位线上的数据是模拟信号，所述模拟信号可由读出电路系统(例如，图1A到1B的读出电路系统110)接收以被转换成数字信号(例如，图像信号及/或黑色参考信号)。在一个实施例中，TX信号、RST信号及SEL信号由控制电路系统(例如，图1中所图解说明的控制器120中所包含的控制电路系统115)产生。

[0028] 图3是图解说明根据本发明的教示的包含图像像素阵列306的像素阵列305的功能框图，图像像素阵列306被划分成不同子区段，所述不同子区段可各自独立地被校准以达成黑阶校正。像素阵列305是成像系统100的图1A到1B的像素阵列105的一个可能实施方案。再次参考图3，像素阵列305包含用以产生图像信号的图像像素阵列306及用以产生一或多个黑色参考信号的暗像素阵列307。图像像素阵列306可对应于图1A到1B中所图解说明的图像像素阵列106且包含多个个别像素(例如，图1B的AP1、AP2、AP3、…、APn)，所述个别像素以光学方式耦合到彩色滤波器阵列(例如，图1A的彩色滤波器阵列112)的个别滤波器(例如，红色滤波器、绿色滤波器、蓝色滤波器及全色滤波器)。暗像素阵列307可对应于图1A到1B中所图解说明的暗像素阵列107，且包含多个个别像素(例如，图1B的BP0、BP1、…、BPn)，所述个别像素以光学方式耦合到光屏蔽件314(例如，图1A的光屏蔽件114)。再次参考图3，所述一或多个黑色参考信号与暗像素阵列307中所包含的个别像素的暗电流相关联且可用于确定像素阵列305的全局黑阶值。使用由图像像素阵列306产生的图像信号来产生外部场景的数字图像或视频。然而，由于图像像素阵列306内的个别像素的图像信号中所存在的暗电流会导致不准确性，因此图像信号不可准确地表示外部场景。

[0029] 可在暗电流几乎恒定及/或信噪比高时使用全局黑阶值来校正图像信号，以使得暗电流对图像信号几乎无影响甚至全无影响。然而，在当信噪比基本上较低时的低光条件期间，如果跨越图像像素阵列305暗电流存在不均匀性(例如，对于像素阵列305中的所有像素来说，暗电流并不是基本上恒定的)(例如，由于由接近系统操作温度的高端操作及/或低光环境中的操作导致的温度梯度)，那么可期望在每像素或每像素群集基础上校正图像信号以补偿不均匀性。

[0030] 为补偿暗电流不均匀性，将图像像素阵列306划分成不同子区段(例如，布置成图像像素阵列305的矩形子区段、正方形子区段或者其它可拼接子区段的个别像素或像素群集)以针对不同子区段中的每一者确定增益因子。在一些实施例中，不同子区段中的每一者可对应于像素或像素群集的2D阵列(例如，16×9像素阵列)。随后，可组合不同子区段中的每一者的增益因子以产生2D增益阵列，所述2D增益阵列通过内插可用于确定图像像素阵列306内的个别像素或像素群集的局部增益校正因子。如所图解说明，不同子区段中的每一者的增益因子可表示为G0,0、G1,0、G0,1、…、Gn-1,m-1，所述增益因子共同形成2D增益阵列。基于与像素或像素群集中的特定像素或像素群集相关联的图像信号，可从2D增益阵列内插对应增益校正因子gx,y并使用对应增益校正因子gx,y来调整所述特定像素或像素群集的全局黑阶值。然后，可从图像信号减去或者其它方式移除所调整的全局黑阶值以校正特定像素及/或像素群集的图像信号。

[0031] 图4展示根据本发明的教示的利用自校准暗图像不均匀性校正来移除黑阶误差的黑阶校准方法400。此外，图4中图解说明像素阵列405，像素阵列405是成像系统100的图1A到1B的像素阵列105(及图3的像素阵列305)的一个可能实施方案。再次参考图4，像素阵列405包含图像像素阵列406(例如，其对应于图1A到1B的图像像素阵列106)，图像像素阵列
406包含适于响应于入射光而产生图像信号的多个像素群集(例如，第一像素群集431)。图像像素阵列406包含以光学方式耦合到彩色滤波器阵列(例如，图1A的彩色滤波器阵列112)的个别滤波器(例如，红色滤波器、绿色滤波器、蓝色滤波器及全色滤波器)的多个个别像素(例如，图1B的AP1、AP2、AP3、…、APn)。图像像素阵列406的个别像素中的每一者耦合到彩色滤波器阵列的滤波器中的特定滤波器且被分组在一起以形成多个像素群集，其中每一像素群集表示图像像素阵列406的最小重复单元。在所图解说明的实施例中，利用RGBC彩色滤波器阵列，其中每一像素群集对应于个别像素阵列，所述个别像素阵列包含彼此紧邻的至少一个红色“R”像素、一个绿色“G”像素、一个蓝色“B”像素及一个全色“C”像素(例如，第一像素群集431包括个别像素的2×2阵列)。虽然图像像素阵列406的所图解说明实施例包含具有2x2最小重复单元的RGBC彩色滤波器，但应了解也可利用其它彩色滤波器阵列及最小重复单元(例如，RGBC彩色滤波器阵列具有个别像素阵列2×4、4×4或其它等最小重复单元，且彩色滤波器阵列具有其它滤波器，例如蓝绿滤波器、品红滤波器及黄色滤波器而非红色滤波器、绿色滤波器及蓝色滤波器)。还应了解，在一些实施例中，彩色滤波器阵列的最小重复单元可不必界定像素群集(例如，彩色滤波器阵列的最小重复单元是2×2滤波器阵列，但个别像素群集可对应于4×6或6×6个别像素阵列)。

[0032] 图像像素阵列406的个别像素中的每一者产生图像信号，基于所述图像信号与像素群集中的相应像素群集的关联性将所述图像信号分组在一起(例如，来自第一像素群集431中所包含的红色像素、绿色像素、蓝色像素及无色像素的图像信号可形成包含于图像信号群组中的第一图像信号群组)。在所图解说明的实施例中，与像素群集中的每一者相关联的图像信号群组包含多个彩色信号(例如，红色信号、绿色信号及蓝色信号)及至少一个全色信号，所述信号分别是从像素群集中的对应像素群集(例如，第一像素群集431)的红色像素、绿色像素、蓝色像素及无色像素测量而来。还可将像素群集分组成像素群集阵列以形成表示图像像素阵列406的不同子区段(例如，第一子区段433及第二子区段435)。在所图解说明的实施例中，第一子区段433及第二子区段435包含于不同子区段中且各自包含3×3像素群集阵列(或6×6个别像素阵列)。不同子区段的布置可拼接及/或可重复以包含图像像素阵列406的每一个别像素。

[0033] 像素阵列405还包含暗像素阵列407，暗像素阵列407对应于图1A到1B的暗像素阵列107。再次参考图4，暗像素阵列407中所包含的个别像素中的每一者以光学方式耦合到光屏蔽件414(例如，图1A的光屏蔽件114)以产生与成像系统(例如，图1A到1B的成像系统100)的全局黑阶值对应的一或多个黑色参考信号。

[0034] 过程400是利用自校准暗图像不均匀性(DINU)校正来移除黑阶误差的黑阶校准方法，在利用处于低光条件下及/或在高温下操作的成像系统(例如，图1A到1B所图解说明的成像系统100)捕获图像时可能会出现所述黑阶误差。在所图解说明的实施例中，逐帧地应用方法400。换句话说，针对由成像系统所捕获的每一帧更新黑阶校准且随后使用所述黑阶校准来校正由存在于图像信号内的暗电流引起的黑阶误差。

[0035] 方框402图解说明测量及/或接收一或多个黑色参考信号。在利用成像系统(例如，图1A到1B中所图解说明的成像系统100)捕获图像帧时暗像素阵列407可同时产生所述一或多个黑色参考信号。暗像素阵列407中所包含的每一个别像素以光学方式耦合到光屏蔽件414，以使得所测量的黑色参考信号表示像素中的对应像素的暗电流。所述一或多个黑色参考信号共同表示成像系统的全局黑阶值。

[0036] 方框404展示确定全局黑阶值且响应于测量到所述一或多个黑色参考信号而应用光学滤波器。所应用的滤波器可以是中值滤波器，其用以移除不正确的或者未能提供准确表示暗像素阵列407中所包含的像素的暗电流的离群值黑色参考信号。然后，可通过求黑色参考信号总和的平均数(例如，将信号中的每一者一起求和且随后将所述和除以黑色参考信号的总数目)来确定平均全局黑阶值。(平均)全局黑阶值表示用于对成像系统进行黑阶校准的基线校正值。然而，如先前所述，如果暗电流跨越像素阵列405并不恒定(例如，当在低光条件及/或高温条件下操作时通常会出现此情形)或信噪比低时，那么暗电流可出现局部不均匀性。

[0037] 方框450图解说明测量及/或接收图像信号。可响应于入射光从图像像素阵列406中的个别像素产生图像信号，此举可与方框402同时发生。如上文所论述，图像信号群组与像素群集中的相应像素群集(例如，第一像素群集431)相关联。图像信号群组中的每一者包含像素群集中的特定像素群集的多个彩色信号(例如，红色信号、绿色信号及蓝色信号，所述信号分别表示红色像素、绿色像素及蓝色像素)以及一个全色信号(表示无色像素)。

[0038] 方框452展示基于像素群集中的相应像素群集的彩色信号及全色信号来确定每一像素群集的局部黑阶。举例来说，可依据图像信号群组中所包含的与第一像素群集431相关联的第一图像信号群来确定第一像素群集431的局部黑阶。即，至少部分地基于以下预期：特定像素群集中的每一像素具有大致相等的偏移分量(例如，固定噪声)且无色像素应具有与红色像素信号分量、绿色像素信号分量及蓝色像素信号分量的和成比例的信号分量(例如，光子通量)。换句话说，像素群集中的每一者的全色信号与彩色信号的和成比例，可利用这一点来确定局部黑阶值。

[0039] 更具体来说，假设个别像素的信号对应于：

[0040] S＝L*QE+BL (1)

[0041] 其中S对应于来自个别像素的图像信号，L是由光子通量(每秒每单位面积的光子数目)确定的部分，BL是黑阶(例如，暗电流对图像信号的影响)，且QE是个别像素的量子效率。注意，术语“量子效率”指代对广谱白色光(例如，包含波长的可见光范围)的积分响应。个别像素中的每一者的所述积分响应(即，量子效率)是在预校准(例如，工厂校准)步骤期间计算的常数值，在所述预校准步骤中成像系统暴露于已知照度的广谱白色光下。

[0042] 可关于L将方程式(1)重新布置成：

[0043]

[0044] 可利用此关系，这是因为预期在理想像素群集(例如，RGBC像素群集，例如第一像素群集431)中，无色像素(Lc)与红色像素、绿色像素及蓝色像素(LR、LG及LB)具有以下关系：

[0045] LC＝LR+LG+LB (3).

[0046] 可组合方程式(3)及(2)来将不同的分量与像素群集中的个别像素群集之间的关系描述为：

[0047]

[0048] 可利用方程式(4)的近似值来从每一像素群集提取黑阶信息，如下：

[0049]

[0050] 随后可将方程式(5)重新布置成：

[0051]

[0052] 由于假设个别像素中的每一者的量子效率值恒定，因此可通过以下方式来将方程式(6)进一步简化/近似：将常数(Q)界定为：

[0053]

[0054] 且将所调整的量子效率(QE)界定为：

[0055]

[0056] 然后，可将方程式(8)与方程式(6)组合以进一步将黑阶(BL)近似为：

[0057]

[0058] 随后，可基于方程式(9)及像素群集中的相应像素群集的图像信号(例如，第一像素群集431的彩色信号及全色信号)来确定个别像素群集中的每一者的局部黑阶(BL)值。换句话说，通过计算图像像素阵列406的像素群集中的每一者的所述多个彩色信号(例如，红色信号、蓝色信号及绿色信号)的和与一个全色信号之间的差来确定局部黑阶值。通过图像像素阵列406的像素群集中的对应像素群集中所包含的红色像素、蓝色像素、绿色像素及无色像素的相应量子效率来补偿所述多个彩色信号及全色信号。在一个实施例中，确定若干局部黑阶值中所包含的与第一像素群集431相关联的第一局部黑阶值，且随后使用所述第一局部黑阶值来校正若干图像信号中所包含的与第一像素群集431相关联的第一图像信号。

[0059] 在一些实施例中，每一像素群集可含有多于一个红色、蓝色、绿色或无色像素。在这些实施例中，确定表示同一色彩的信号(例如，红色信号、绿色信号、蓝色信号或全色信号)的平均数或平均值。举例来说，在一些实施例中，每像素群集可存在多个全色像素，所述多个全色像素将生成多个全色图像信号且可将所述多个全色图像信号一起求和，随后将所得的和除以像素群集的全色信号的总数目，以确定平均全色信号以用于确定所述特定像素群集的局部黑阶值。

[0060] 应了解，以上方程式仅图解说明基于所述特定像素群集的彩色信号及全色信号来求解个别像素群集的局部黑阶值的一个可能解决方案。还可使用其它技术来确定个别像素群集的局部黑阶值，例如但不限于使用数值分析来求解方程式(4)的BL。另外，应了解，可利用其它方程式及/或算法来求解局部黑阶值。举例来说，在一些实施例中，彩色滤波器可允许可见光光谱的重叠范围穿过，以使得可并入通量(L)值中的每一者的补偿系数以确保方程式(3)准确。

[0061] 在确定图像像素阵列406中所包含的像素群集中的每一者的局部黑阶值之后，方框452继续进行到方框454，以基于所述局部黑阶值来确定图像像素阵列406的不同子区段(例如，第一子区段433及第二子区段435)中的每一者的平均黑阶值。不同子区段中的每一者可表示像素群集阵列，所述像素群集阵列可经拼接或布置以表示图像像素阵列406。

[0062] 将像素群集分组到不同子区段中以实现黑阶值的合理分辨率。此是通过任选地应用中值滤波器以移除离群值或未准确地表示不同子区段的所测量信号值的像素值来实现。然后确定不同子区段的平均黑阶值，如下：

[0063]

[0064] 其中BLi是不同子区段中的特定子区段内的个别像素群集的黑阶值，且n表示不同子区段中的所述特定子区段内的像素群集的总数目。换句话说，局部黑阶值被分组成局部黑阶值的多个群组，其中局部黑阶值群组中的每一者表示图像像素阵列406的不同子区段。然后，举例来说，基于方程式(10)，确定图像像素阵列406的不同子区段中的每一者的平均黑阶值。

[0065] 一旦确定了图像像素阵列406的不同子区段中的每一者的平均黑阶值，方框454继续进行到方框456。方框456展示确定不同子区段中的每一者的增益因子(Gmean)且应用指数加权移动平均数(EWMA)滤波器来校正所述增益因子。如所图解说明，方框456也结合到方框404，这是因为增益因子至少部分地基于在方框404中所确定的全局黑阶值。基于平均黑阶值(例如，在方框454中利用方程式10确定)与全局黑阶值(例如，依据方框404确定)的比率来确定不同子区段中的每一者的增益因子(Gmean)。更具体来说，不同子区段中的特定增益因子(Gmean)可对应于BLmean/BLglobal，其中BLmean是不同子区段中的特定子区段的平均黑阶值。

[0066] 通过逐个图像地对增益因子进行滤波(例如，利用第一滤波器)来进一步提高校准的准确性(即，增益因子取决于先前图像增益因子)。由于量子效率(QEx)的小误差会被较高的信号电平放大(例如，在正常的周围照明条件或更亮条件下操作)，因此对增益因子(Gmean)进行加权以使得当存在较高的信号对黑阶比(例如，信暗比)时，增益因子对校准的影响较少，或在一些情况中甚至完全停用校准。换句话说，对增益因子进行滤波(例如，利用第一滤波器)会给将在不均匀性普遍存在时(例如，低光条件)利用的局部不均匀性校准加权。因此，对所述不同子区段中的每一者的增益滤波应用所述第一滤波器以至少部分地基于与不同子区段中的每一者相关联的所述图像信号相对于所述全局黑阶值的信暗比来动态地调整所述增益因子。

[0067] 在一些实施例中，所述第一滤波器是指数加权移动平均数(EWMA)滤波器，其中α由所述信暗比动态地控制：

[0068] Gt＝α*Gmean+(1-α)*Gt-1 (11)

[0069] 其中Gt对应于经校正增益因子，Gmean是不同子区段中的每一者的基于比率BLmean/BLglobal计算的增益因子，Gt-1是先前校正的增益因子(例如，紧先前或先前所捕获图像帧的经校正增益因子)，且α是由信暗比动态地控制的值。信暗比是平均全色信号相对于全局黑阶值的比率。通过将不同子区段中的特定子区段内的像素群集中的每一者的全色信号一起求和且将所述和除以不同子区段中的所述特定子区段的全色信号的总数目来确定所述不同子区段中的每一者的平均全色信号。然后基于信暗比方值来确定α。举例来说，在一些实施例中，如果所述信暗比小于2，那么α是1/8。如果所述信暗比小于4，但大于或等于2，那么α是1/16。如果所述信暗比小于8，但大于或等于4，那么α是1/32。最后，如果所述信暗比大于或等于8，那么α是0。应了解，信暗比与α之间的关系仅是说明性的，且可在本发明的各种实施例中利用其它关系。

[0070] 一旦确定不同子区段中的每一者的增益因子，则方框456继续进行到方框458。方框458图解说明基于所述不同子区段中的每一者的增益因子(或经校正增益因子)来产生2D增益阵列(例如，图3中所图解说明)。2D增益阵列表示图像像素406。

[0071] 一旦已产生2D增益阵列，则方框458继续进行到方框460。方框460展示确定图像像素阵列406内的一或多个像素群集的局部增益校正因子(例如，gx,y)。可通过对2D增益阵列进行内插来确定所述像素群集中的一或多者(例如，第一像素群集431)的局部增益校正因子。在一些实施例中，经由双线性内插或双三次内插实现所述内插。所述局部增益校正因子表示用于基于特定像素或像素群集的局部黑阶值来调整全局黑阶的校正系数。

[0072] 一旦所述个别像素群集的局部增益校正因子是已知的，则方框460继续进行到方框462。方框462图解说明基于全局黑阶值及局部增益校正因子来校正像素群集的图像信号。可在每像素或像素群集基础上进行所述校正，如下：

[0073] Scorr＝Sraw-gxy*BLglobal (12)

[0074] 其中Scorr是经校正图像信号值；Sraw是在方框450中测量的原始未经校正的黑阶图像信号值；gx,y是针对与正被校正的图像信号相关联的特定像素或像素群集计算的局部增益校正因子，所述局部增益校正因子可从2D增益阵列提取；且BLglobal是在方框404中确定的全局黑阶值。因此，基于正被校正的特定像素或像素群集(例如，第一像素群集431)的局部增益校正因子(及对应局部黑阶值，例如第一局部黑阶值)调整全局黑阶值，以基于与第一像素群集431相关联的未经校正图像信号(例如，与第一像素群集431中所包含的像素中的一者对应的第一图像信号)与所调整的全局黑阶值之间的差来产生经校正异图像信号(例如，Scorr)。在一些实施例中，期望在色彩平面基础上校正黑阶值，其中可替代地使用根据色彩平面确定的全局黑阶值。

[0075] 应了解，在一些实施例中，所述黑阶校正并入相同滤波方案以在确定所述局部黑阶值时确定全局黑阶值。换句话说，可通过利用类似中值滤波器，平均(例如，平均值)确定、帧对帧EWMA滤波器等来确定全局黑阶值。

[0076] 然后方框462继续进行到方框464，方框464展示输出多个经校正的图像信号，所述经校正的图像信号与已针对黑阶误差加以校正的所捕获的图像或视频对应。针对黑阶误差的所述校正基于特定像素或像素群集的局部黑阶值补偿局部不均匀性。

[0077] 可使用软件及/或硬件来实施上文所阐释的过程。所描述的技术可构成包含在有形或非暂时性机器(例如，计算机)可读存储媒体内的机器可执行指令，所述机器可执行指令在由机器(例如，图1A的控制器120)执行时将致使所述机器执行所描述的操作。另外，所述过程可包含在硬件内，例如专用集成电路(“ASIC”)、现场可编程门阵列(FPGA)等等。

[0078] 有形非暂时性机器可读存储媒体包含提供(即，存储)信息的任何机制，所述信息呈可由机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)存取的非暂时形式。举例来说，机器可读存储媒体包含可记录/不可记录媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等)。

[0079] 对本发明的所图解说明实例的以上描述(包含发明摘要中所描述内容)并不旨在具穷尽性，或将本发明限制于所揭示的精确形式。尽管出于说明目的而在本文中描述了本发明的特定实例，但所属领域的技术人员将认识到，可在本发明的范围内做出各种修改。

[0080] 可鉴于以上详细说明对本发明做出这些修改。所附权利要求书中所使用的术语不应被理解为将本发明限制于本说明书中所揭示的特定实例。而是，本发明的范围将完全由所附权利要求书来确定，所述权利要求书将根据所创建的权利要求解释原则来加以理解。

标题	发布/更新时间	阅读量
一种水下三维扫描仪及控制方法	2020-05-08	47
成像系统及其形成的方法、包括成像系统的电子装置	2020-05-11	336
显示面板	2020-05-13	553
阵列基板及显示面板	2020-05-11	636
液晶显示面板及液晶显示装置	2020-05-12	129
一种基于矩形晶格排列的彩色滤光片及其制备方法和应用	2020-05-11	977
一种Polarizer-Grating叠层超表面及其应用	2020-05-11	647
彩膜基板及其制作方法、显示装置	2020-05-12	930
用于分析皮肤状况的系统和方法	2020-05-08	239
受光元件以及测距模块	2020-05-11	130

校正不均匀暗电流的图像传感器

校正不均匀暗电流的图像传感器

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：