集成电路技术已经使包括计算机、控制系统、电信、以及成像的 很多领域发生变化。例如在成像领域，已经证明CMOS图像传感器比CCD 成像装置制造起来更为便宜。另外，对于特定的应用，CMOS器件在性 能上也更为优越。MOS器件中的像素元素(pixel element)可以做得 更小，从而可以提供更高的分辨率。另外，还可以在成像电路中集成 信号处理逻辑电路，从而利用一个单独的集成芯片来形成完整独立的 成像装置。CMOS图像传感器现在可以从各种制造商处得到，包括本发 明的受让人：全视觉(OmniVision)技术公司。
由CMOS图像传感器形成的图像的主要构成单元是像素。像素的数 目、大小和间距决定了该成像装置产生的图像的分辨率。CMOS图像传 感器的像素都是半导体器件，它们可以将入射光子转换为电流信号。 各像素产生的信号通常都非常小。
CMOS图像传感器必须能够控制的一个重要参数是各像素对入射光 的曝光时间。与照相软片的曝光时间相似，必须调节各像素的曝光时 间以补偿照明条件的变化，例如室内或室外照明。太长的曝光时间将 导致图像过于明亮和褪色。相反，太短的曝光时间将导致图像太暗而 难以观看。
通常，利用可以执行自动曝光控制(AEC)算法的一个电路来控制 曝光时间。美国专利No.5734426中公开了一种现有技术的控制曝光时 间的方法。它对于很多应用是适合的，但还是有图像中同时存在暗和 亮部分的成像应用。在这种情况下，AEC电路经常会混淆这种亮和暗部 分的组合，从而导致成像困难。

根据本发明的第一方面，提供了一种在集成电路上形成的图像传 感器，包括像素阵列，该像素阵列包括多个亮像素和多个暗像素；暗 曝光控制电路，用于控制所述多个暗像素的曝光时间；以及亮曝光控 制电路，用于控制所述多个亮像素的曝光时间。
根据本发明的第二方面，提供了一种用于控制图像传感器曝光时 间的方法，该图像传感器具有像素阵列，该像素阵列包括多个亮像素 和多个暗像素，所述方法包括：分析所述暗像素的输出，并根据所述 分析来控制所述多个暗像素的曝光时间；以及分析所述亮像素的输 出，并根据所述分析来控制所述多个亮像素的曝光时间。
附图说明
在附图中，相同的附图标记将指示本发明的多个非限制和非穷举 实施例的不同视图的相同部分，其中
图1示出具有亮像素和暗像素的CMOS图像传感器的示意图；
图2-3示出本发明方法的流程图。

在下面的说明中，将提供很多特别的细节，例如多个系统部件的 识别，以便于对本发明实施例的完全理解。但是，本领域技术人员应 当知道，本发明在没有这些特别细节中的一个或多个的情况下，通过 其它方法、部件、材料等也可以实现。在其它例子中，公知的结构、 材料或操作将不再示出或详细说明，以避免使得本发明的多个实施例 的各方面变得模糊。
本说明书中对于“一个实施例”或“实施例”的参考是指连同该 实施例进行说明的特定特征、结构或特性被包括在本发明的至少一个 实施例中。因此，说明书中不同地方出现的“在一实施例中”或“在 实施例中”并不总是指参照同一个实施例。另外，在一个或多个实施 例中，特定特征、结构、或特性可以按照任何适当的方式来组合。
参照图1，CMOS图像传感器101包括像素103的矩形矩阵。水平 方向或x方向上的像素数目和垂直方向或y方向上的像素数目构成图 像传感器101的分辨率。垂直列中的各像素103向电荷放大器105发 送信号。
另外，像素103可以分为两类：“亮”像素103b和“暗”像素103d。 从下面可以看出，亮像素103b与暗像素的曝光时间是分开确定和控制 的。应当注意，在一个实施例中，亮像素103b和暗像素103d之间没 有结构性差别。这种分类通常是由于AEC的缘故而进行的。但是，在 其它实施例中，亮像素103b和暗像素103d之间也可能具有结构性差 别。
通常，各亮像素103b都与一暗像素103d相关联。这可以通过将 像素103的行配对为一个行对109，并将上行指定为亮像素103b以及 将下行指定为暗像素103d。应当理解，相反的指定也是可以接受的。 按照这种方式，行对109中上行中的各亮像素103b与下行中的暗像素 103d相关联。
这只是亮和暗像素之间的联系的一个例子，其它的联系也可以， 例如通过形成一列对，并指定一个列为亮像素列，第二列为暗像素列。 还可以使用多种其它逻辑分组技术。另外，即使在一个实施例中，任 何一个亮像素103b和与它相关联的暗像素103d都是物理靠近的，但 这并不是本发明的要求。
从像素103中查找信息将遵循公知的光栅扫描技术。特别是，从 左到右依次顺序扫描一行像素103。然后按照同样的方式扫描下一行， 直到从上到下将所有的行都顺序扫描为止。在整个阵列101的各次完 整扫描结束时，出现预定时间的垂直消隐期，直到光栅扫描模式被重 复为止。这种类型的扫描遵循NTSC扫描方案。但是，对于其它应用， 可以遵循不同的读出协议。传统设计的控制电路也以这种方式来顺序 读出像素103。
在各像素被扫描时，该像素的信号被提供到所述列的电荷放大器 105。这样，电荷放大器105顺序接收到信号。然后来自电荷放大器105 的顺序信号又发送到第二级放大器107，该放大器放大这些信号以便于 对它们进行进一步处理。在很多实施例中，可以将列放大器或第二级 放大器去掉。该列放大器或第二级放大器的增益可根据需要选择性增 大或减小。处理器111将执行像素103、放大器105和107的读出以 及下面将要描述的计算和处理。
如上所述，图像传感器的一个重要功能就是可以自动控制图像传 感器的增益和曝光时间，从而补偿变化的照明条件。补偿变化的照明 条件的预先准备包括简单的监视像素输出的平均信号。
根据本发明，亮像素103b与暗像素103d采用不同的方法来调节 曝光时间。大多数图像传感器都是称为“逐行”曝光装置。在这些类 型的图像传感器中，每行图像传感器在不同的时间开始曝光周期(也 称为积分周期)。例如，参照图1，图像传感器101的第一行开始对入 射光曝光(通常在复位操作后)。经过一个短的周期之后，仍然是在 复位操作后，图像传感器101的第二行开始对入射光曝光。这种过程 连续进行，直到所有的行都已经对入射光曝光为止。应当注意第一行 的曝光时间应当持续一个时间长度，且该曝光通常在很多后续行已经 开始曝光操作后才会结束。
事实上，一行的曝光时间通常被度量为开始曝光操作的行的数 目。例如，一行的曝光时间可度量为16行或20行。换句话说，任何 行的总的曝光时间都是开始16或20个后续行所花费的时间。
在一特定数值的例子中，假设成像阵列具有640列和480行(VGA 格式)。在每秒30帧的情况下，每0.033秒就必须捕捉一帧。另外， 成像阵列101的各行必须大约每68微秒就开始曝光操作(0.033秒 /480行)。但是，68微秒的曝光时间很少能够足以捕捉到足够的入射 光。事实上，为了产生可用的输出信号，必须花费毫秒级的曝光时间。 因此，从开始曝光到曝光完成，成像阵列101的16或更多行都已经开 始了曝光过程。
如上所述，曝光时间量的度量不是只此由计时器来完成的，而是 由统计已经开始曝光过程的行的数目的计数器来完成。术语“曝光行 计数”是用于描述由行的数目来度量的曝光时间的。因此如果曝光时 间被修改，则曝光行计数也必须被修改。
如果对于通常的光强度，曝光行计数名义上被设定为16行，且如 果图像传感器101后来被移动到相对较亮的环境中，则应当减少曝光 行计数以减少曝光时间。但是，曝光行计数的减少只能以“整行”进 行，例如曝光行计数不能从16行减小为15.34行，只能减少到15行。
另外，用于判断是否应当调节曝光时间或增益的方法和算法有很 多且多种多样。例如，Dong的转让给本发明受让人的美国专利 No.5734426公开了一种判断曝光或增益调节的方法。作为另一个例 子，我们的共同未决的美国专利申请No.10/005776公开了另一种技 术，该美国专利申请No.10/005776的申请日为2001年11月7日，名 称为“METHOD OF FAST AUTOMATIC EXPOSURE OR GAIN CONTROL IN A MOS IMAGE SENSOR(在MOS图像传感器中实现快速自动曝光或增益控 制的方法)”的发明已经通过引用结合入本发明，且该申请已被转让 给与本发明相同的受让人。无论如何，当需要调节曝光时间或增益时， 可以采用多种方法来进行判断。通常，这些方法都努力将像素输出信 号的平均幅度保持在相对较窄的范围内，例如在VH1和VL0之间。该窄 范围还可称为“稳定范围”，其中不需要进一步调节曝光时间或增益。
参照图2，其中示出与亮像素103b相关的AEC方法。首先，在框 201中，图像传感器101捕捉图像。这里所用的术语图像是指图像序列 中的至少一帧。然后，在框203中，处理器111分析各亮像素103b输 出的信号。
关于有多少亮像素103b被认为“太亮”而进行计数。这可以通过 将各单独亮像素103b的信号电平与预定的阈值相比较来实现。在下面 的描述中将会看到，在本发明的方法中将使用多个阈值。为了避免混 淆，在框203中使用的预定的阈值称为BPTB阈值。这个首字母缩写代 表“亮像素太亮”阈值。在一个实施例中，该BPTB阈值被设定为接近 像素的饱和电平。通过判断有多少亮像素103b超过了BPTB阈值，得 到一个百分比度量。该百分比是超过BPTB阈值的亮像素103b相对于 亮像素103b总数的比值。
如框205中所示，如果超过阈值的亮像素的百分比高于百分比阈 值B1，则在框207中减小亮像素103b的曝光时间。曝光时间减少的 量可以根据希望的图像传感器101的响应时间来变化。因此，对亮像 素103b的曝光时间进行调节的精确的量对本发明不是关键的。例如， 减少的曝光时间可以是一个曝光行计数或多个曝光行计数。
但是，如果超过BPTB阈值的亮像素103b的百分比不大于该百分 比阈值B1，则接下来判断有多少亮像素103b被认为“太暗”。该判断 可以在框209中进行。可以通过将各像素输出的信号与一阈值进行比 较来判断有多少亮像素103b“太暗”。与上述相似，该阈值将被称为 BPTD阈值(对应于“亮像素太暗”)。
在一个实施例中，通常将BPTD阈值设定为相对比较接近于零信号 电平。然后在框211，如果低于BPTD阈值的亮像素103b的数目与亮 像素103b的总数相比的百分比超过了预定的百分比阈值D1，则在框 213，亮像素103b的曝光时间增加。曝光时间的增加量可以根据所需 的图像传感器101的响应时间而变化。因此，对本发明来说，亮像素 103b的曝光时间调节的精确量不是关键的。例如，增加的曝光时间可 以是一个曝光行计数或很多曝光行计数。
如果在判断框211中，“太暗”的亮像素103b的百分比没有超过 阈值百分比D1，则在框215，亮像素103b的曝光时间基本不变。
图3示出关于暗像素103d的相似的方法。首先，在框301中，图 像传感器101捕捉图像。这里所用的术语图像是指图像序列中的至少 一帧。接下来，在框303中，处理器111分析各暗像素103d输出的信 号。
关于有多少暗像素103d被认为“太暗”进行计数。这可以通过将 各单独暗像素103d的信号电平与预定的阈值相比较来实现。为了避免 混淆，在框303中使用的预定的阈值称为DPTD阈值。这个缩写代表“暗 像素太暗”阈值。在一个实施例中，该DPTD阈值被设定为接近像素的 零信号电平。通过判断有多少暗像素103d低于DPTD阈值，得到一个 百分比度量。该百分比是超过DPTD阈值的暗像素103d相对于暗像素 103d总数的比值。
如框305中所示，如果低于DPTD阈值的暗像素的百分比高于百分 比阈值D2，则在框307中增加暗像素103d的曝光时间。曝光时间的 增加量可以根据希望的图像传感器101响应时间来变化。因此，对暗 像素103d的曝光时间进行调节的精确的量对本发明不是关键的。例 如，增加的曝光时间可以是一个曝光行计数或许多曝光行计数。
但是，如果低于DPTD阈值的暗像素103d的百分比不大于该百分 比阈值D2，则接下来判断有多少暗像素103d被认为“太亮”。该判断 可以在框309中进行。可以通过将各暗像素103d输出的信号与一阈值 进行比较来判断有多少暗像素103d“太亮”。与上述相似，该阈值将 被称为DPTB阈值(对应于“暗像素太亮”)。
在一个实施例中，通常将DPTB阈值设定为相对比较接近于饱和信 号电平。接下来在框311，如果高于DPTB阈值的暗像素103d的数目 与暗像素103d的总数相比的百分比超过了预定的百分比阈值B2，则在 框313，减少暗像素103d的曝光时间。曝光时间的增加量可以根据所 需的图像传感器101的响应时间而变化。因此，对本发明来说，暗像 素103d的曝光时间调节的精确量不是关键的。例如，增加的曝光时间 可以是一个曝光行计数或很多曝光行计数。
如果在判断框311处，“太亮”的暗像素103d的百分比没有超过 阈值百分比B2，则在框315，暗像素103d的曝光时间基本不变。
如同大多数AEC方法的情况一样，AEC控制电路以及处理的效果只 在图像传感器101捕捉的后续帧中才是明显的。这是因为图像传感器 101的像素103的曝光时间的变化只会影响后续帧。
本发明的另一方面是根据像素103输出的信号形成图像。如上所 述，像素103被分为亮像素103b和暗像素103d。每个单独的亮像素 103b都与一个单独的暗像素103d相关联。这两个像素一起形成一个 独立的成像元件，用于图像再现目的。
因此，图像传感器101的有效分辨率会降低一半。换句话说，对 于给定的分辨率，需要两倍数目的独立像素103。然而，对于很多低分 辨率应用来说，如果不需要光灵敏度中的大的动态变化范围，则包括 额外的像素就不很重要。另外，人眼也对垂直分辨率不敏感。
另外，总的来说，在一个实施例中，为了实现大的动态范围，百 分比D2要小于百分比D1，百分比B1要小于百分比B2。但是应当理解， 对于很多应用，多个阈值百分比之间的关系也可改变。不过，在前面 设定的参数情况下，这允许亮像素103b感知亮的目标而暗像素103d 感知暗的目标。
另外，本发明的AEC方法还可与自动增益控制(AGC)结合使用。 相似的，对于亮像素103b和暗像素103d，也有两个独立的自动增益 控制电路或算法。通常，如果AEC电路不能提供足够大的动态范围， 则AGC可以增大该动态范围。
在一个实施例中，可以通过将亮像素和暗像素的信号相加，实现 亮像素103b和与其相关联的暗像素103d合并形成一个独立像素元 素。这种亮像素和暗像素的合并可以称为合成像素元素。亮像素和暗 像素信号的合并可以采用很多和多种多样的形式。例如，它可以是信 号的简单累加，每个像素都均等地对该像素元素的最终信号输出作出 贡献。或者，可以采用暗像素与亮像素信号的不同比来产生该像素元 素的最终信号。
根据上面所述，图像传感器101的光的动态范围和灵敏度并不固 定。当图像的亮度均匀时，亮像素103b和暗像素103d的AEC算法将 提供相似的曝光时间。这意味着，所捕捉到的图像不会损失对比度。 但是，如果图像的亮的部分和暗的部分之间的差别很大时，用于暗像 素的AEC算法提供的曝光时间将大于用于亮像素的AEC算法为亮像素 提供的曝光时间。这样，图像传感器101的动态范围就可以变得很大。 另外，应当理解，实际计算和判断都可以在处理器111中执行并且由 处理器111控制。
上面参照有限的实施例对本发明进行了说明和描述，在不脱离本 发明的实质特征精神的情况下，本发明还可采用很多形式。因此所说 明和描述的实施例在所有方面都是示例性的和非限制性的。因此，本 发明的范围由附加权利要求来限定而不是由上述说明书来限定，所有 落入权利要求等同物的内涵和范围的变化都被包括在其中。