具备时间重叠图像输出的图像传感器
阅读：848发布：2024-01-09
专利汇可以提供具备时间重叠图像输出的图像传感器专利检索，专利查询，专利分析的服务。并且一种图像 传感器 系统，具有生成第一图像和第二图像的图像传感器。第一和第二图像以时间重叠方式传送到处理器。举例来说，图像可以以交错方式传递到处理器或在分开的专用总线上提供。，下面是具备时间重叠图像输出的图像传感器专利的具体信息内容。
1.一种用于传递第一图像和第二图像的方法，包括：
从图像传感器的像素阵列产生第一图像，其中，所述图像传感器以逐行扫描的方式从其像素阵列提取所述第一图像；
从所述像素阵列产生第二图像；
以时间重叠方式将所述第一和第二图像从所述图像传感器传递到处理器部件，其中由于所述第二图像的曝光时间所导致的延迟，所述第二图像比所述第一图像晚到达所述处理器部件；以及
执行来自非易失性存储部件的固件，且根据所述固件，使所述处理器部件以时间重叠方式接收所述第一和第二图像。
2.如权利要求1所述的方法，其特征在于，第一和第二图像以交错方式传递到所述处理器部件中。
3.如权利要求1所述的方法，其特征在于，所述第一和第二图像以时间交错方式通过存储器总线从所述处理器部件传送到存储器部件。
4.一种图像传感器系统，包括：
产生第一图像和第二图像的图像传感器，所述图像传感器以时间重叠方式传送第一图像和第二图像，其中，所述图像传感器以逐行扫描的方式从其所包括的像素阵列提取所述第一图像；
处理器部件，耦合至所述图像传感器并以时间重叠方式接收所述第一和第二图像，其中由于所述第二图像的曝光时间所导致的延迟，所述第二图像比所述第一图像晚到达所述处理器部件；
耦合至所述处理器部件的非易失性存储器部件，所述非易失性存储器部件包含使所述处理器部件以时间重叠方式接收所述第一和第二图像的程序；以及
其中，所述第一和第二图像以时间交错方式通过存储器总线从所述处理器部件传送到存储器部件。
5.一种图像传感器系统，包括：
以时间重叠方式产生和传送第一图像和第二图像的图像传感器部件，其中，所述图像传感器部件以逐行扫描的方式从其像素阵列提取所述第一图像；
以时间重叠方式接收所述第一和第二图像并处理所述第一和第二图像的处理器部件，其中由于所述第二图像的曝光时间所导致的延迟，所述第二图像比所述第一图像晚到达所述处理器部件；以及
非易失性存储器部件，用于存储使所述处理器部件以时间重叠方式接收所述第一和第二图像的程序；以及
其中，所述第一和第二图像以时间交错方式通过存储器总线从所述处理器部件传送到存储器部件。
6.一种耦合至传送第一图像和第二图像的图像传感器的处理器部件，包括：
以时间重叠方式接收第一图像和第二图像的处理器部件，其中由于所述第二图像的曝光时间所导致的延迟，所述第二图像比所述第一图像晚到达所述接收第一图像和第二图像的处理器部件，其中所述接收第一图像和第二图像的处理器部件按照使所述接收第一图像和第二图像的处理器部件以时间重叠方式接收第一和第二图像的程序来工作，且其中，所述图像传感器以逐行传送的方式传送所述第一图像与第二图像至所述接收第一图像和第二图像的处理器部件；以及
其中，所述第一和第二图像以时间交错方式通过存储器总线从所述处理器部件传送到存储器部件。
具备时间重叠图像输出的图像传感器
[0002] 交叉相关申请的引用
[0003] 本申请是国际专利申请，要求2003年5月23日提交的美国专利申请10/445256的优先权。
[0004] 发明背景1.发明领域
[0006] 2.背景信息
[0007] 摄影器材、如数码相机和数码摄像机包含电子图像传感器，该传感器捕获光线以分别处理成静态或视频图像。有两种主要类型的电子图像传感器，电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)传感器。CCD图像传感器具有相对较高的信噪比(SNR)，可提供优质图像。此外，CCD可制成具有相对较小的像素阵列，同时符合大部分相机和视频分辨率要求。像素是图像的最小分立元素。由于这些原因，大部分市场上可买到的相机和摄像机中使用CCD。
[0009] 至今，仍未开发出具有与市场上可买到的CCD传感器同样SNR和像素间距要求的CMOS传感器。像素间距是相邻像素中心之间的距离。希望提供一种CMOS传感器，具有相对较高的SNR，同时提供商业上可接受的像素间距。
[0010] 图像传感器通常连接至外部处理器和外部存储器。外部存储器存储来自图像传感器的数据。处理器处理存储的数据。为了提高画质，有时希望捕获同一画面的两个不同的图像。对于CCD传感器，在捕获第一图像和捕获第二图像之间存在固有的延迟。在此延迟期间，图像可能移动。此图像移动可能会降低最终画面的质量。希望减少从像素阵列捕获和传输图像所需的时间。还希望提供可利用外部存储器的低噪声、高速、高分辨率的图像传感器。
[0011] 发明概述
[0014] 图1是图像传感器的实施例的示意图；
[0015] 图2是在外部存储器中存储静态图像的像素数据的方法的图解；
[0016] 图3是提取和组合静态图像的像素数据的方法的图解；
[0017] 图4是提取和组合像素数据的备选方法的图解；
[0018] 图5是提取和组合像素数据的备选方法的图解；
[0019] 图6是提取和组合像素数据的备选方法的图解；
[0020] 图7是提取和组合像素数据的备选方法的图解；
[0021] 图8是说明存储和组合视频图像的像素数据的方法的图解；
[0022] 图9是说明存储和组合视频图像的像素数据的方法的又一图解；
[0023] 图10是说明转换像素数据的分辨率的方法的图解；
[0024] 图11是说明转换像素数据的分辨率的备选方法的图解；
[0025] 图12是说明转换像素数据的分辨率的备选方法的图解；
[0026] 图13是图像传感器的像素的实施例的示意图；
[0027] 图14是图像传感器的光读取器电路的实施例的示意图；
[0028] 图15是图像传感器的操作的第一模式的流程图；
[0029] 图16是图像传感器的操作的第一模式的时序图；
[0031] 图18是生成图16的时序图的逻辑电路的示意图；
[0032] 图19是生成像素行的RST信号的逻辑电路的示意图；
[0033] 图20是图19中所示逻辑电路的时序图；
[0034] 图21是说明图像传感器的操作的第二模式的流程图；
[0035] 图22是图像传感器的操作的第二模式的时序图；
[0036] 图23a是图像传感器系统的备选实施例的示意图；
[0037] 图23b是图像传感器系统的备选实施例的示意图；
[0038] 图24是图像传感器系统的备选实施例的示意图；
[0039] 图25是图像传感器系统的备选实施例的示意图；
[0040] 图26是外部处理器的备选实施例的示意图；
[0041] 图27是图像传感器系统的备选实施例的示意图；
[0042] 图28是图27中所示处理器的处理器实施例的示意图；
[0043] 图29是图28中所示处理器的DMA控制器的实施例的示意图。
[0044] 详细说明
[0045] 所公开的是一种图像传感器系统，具有生成第一图像和第二图像的图像传感器。第一和第二图像以时间重叠方式传输到处理器。举例来说，图像可以以交错方式传输到处理器或在分开的专用总线上提供。
[0046] 整个图像传感器最好是通过CMOS制造工艺和电路来制造。CMOS图像传感器具有高速、低功耗、小像素间距和高SNR的特性。
[0047] 更具体地按照参考编号参照附图，图1说明图像传感器10。图像传感器10包括像素阵列12，其中包含多个独立的光电检测像素14。像素14排列成行和列的二维阵列。
[0048] 像素阵列12通过总线18耦合至光读取器电路16并通过控制线22耦合至行解码器20。行解码器20可以选择像素阵列12的各个行。光读取器16则可以读取所选行中的特定离散列。结合在一起，行解码器20和光读取器16允许读取阵列12中的各个像素14。
[0049] 光读取器16可以通过输出线26耦合至模数转换器24(ADC)。ADC 24产生数字位串，对应于由光读取器16和所选像素14提供的信号的振幅。
[0050] ADC 24通过线路36和开关38、40和42耦合至一对第一图像缓冲器28和30，以及一对第二图像缓冲器32和34。第一图像缓冲器28和30通过线路46和开关48耦合至存储器控制器44。存储器控制器44可更一般地称作数据接口。第二图像缓冲器32和34通过线路52和开关54耦合至数据组合器50。存储器控制器44和数据组合器50分别通过线路58和60连接至读回缓冲器56。读回缓冲器56的输出通过线路62连接至控制器44。数据组合器50通过线路64连接至存储器控制器44。此外，控制器44通过线路66连接至ADC 24。
[0051] 存储器控制器44通过控制器总线70耦合至外部总线68。外部总线68耦合至外部处理器72和外部存储器74。总线70、处理器72和存储器74在现有的数码相机、相机和手机中很常见。
[0052] 为了捕获静态画面图像，光读取器16从像素阵列12逐行提取画面的第一图像。开关38处于将ADC 24连接至第一图像缓冲器28和30的状态。开关40和48经过设置，使得数据进入一个缓冲器28或30以及通过存储器控制器44从其他缓冲器30或28提取。
例如，第二行像素可以存储在缓冲器30中，而第一行像素数据通过存储器控制器44从缓冲器28提取并存储在外部存储器74中。
例如，第二行像素可以存储在缓冲器30中，而第一行像素数据通过存储器控制器44从缓冲器28提取并存储在外部存储器74中。
[0053] 在画面的第二图像的第一行可获得时，选择开关38以交替地将第一图像数据和第二图像数据分别存储在第一图像缓冲器28和30以及第二图像缓冲器32和34中。可以选择开关48和54以交错方式交替地将第一和第二图像数据存储到外部存储器74中。此过程如图2所述。
[0054] 有多种方法用于提取和组合第一和第二图像数据。如图3所示，在一种方法中，第一和第二图像的每一行从外部存储器74以存储器数据速率被提取，并存储在读回缓冲器56中，在数据组合器50中组合，并以处理器数据速率传输到处理器72。或者，第一和第二图像可以存储在读回缓冲器56中，然后以交错或接连方式提供给处理器72，而不在组合器
50中组合图像。此技术允许处理器72以不同的方法处理数据方式。
50中组合图像。此技术允许处理器72以不同的方法处理数据方式。
[0055] 图4说明外部处理器72组合像素数据的备选方法。从外部存储器74提取第一图像的一行并以存储器数据速率存储在读回缓冲器56中，然后以处理器数据速率传输到外部处理器72。然后，从外部存储器74提取第二图像的一行，存储在读回缓冲器56中，并传输到外部处理器72。对第一和第二图像的每一行继续此程序。或者，可以从外部存储器74提取整个第一图像，存储在读回缓冲器56中并传输到外部处理器72，每次一行，如图5所示。然后，从外部存储器74提取第二图像的每一行，存储在读回缓冲器56中，并传输到外部处理器72。
[0056] 如果处理器数据速率与存储器数据速率一样，处理器72会以交错或接连方式直接从外部存储器74提取像素数据速率，分别如图6和图7所示。对于所有上述技术，存储器控制器44为图像传感器10、处理器72和存储器74之间的数据传输提供仲裁。为了减少图像传感器10中的噪声，控制器44最好在光读取器16没有提取输出信号时传输数据。
[0057] 为了捕获视频画面，画面的第一图像的像素数据行可以存储在外部存储器74中。在画面的第二图像的第一行可获得时，以存储器数据速率从存储器74提取第一图像的第一行，并在数据组合器50中组合，如图8和图9所示。组合的数据以处理器数据速率传输到外部处理器72。如图9所示，外部存储器以存储器数据速率同时输出和输入第一图像的像素数据行。
[0058] 对于视频捕捉，缓冲器28、30、32和34可以执行输入像素数据的分辨率转换。有两种常见视频标准：NTSC和PAL。NTSC需要480条水平线。PAL需要590条水平线。为了提供高静态图像分辨率，像素阵列12可包含多达1500条水平线。图像传感器将输出数据转换为标准格式。通过板上转换，图像传感器减少处理器72的开销。
[0059] 图10说明转换分辨率和减少数据量的技术。减少数据会降低图像传感器的噪声和功耗。另外，减少数据会降低对外部存储器的存储要求。第一种方法将4个邻接列和4个邻接行的像素减少为2列和2行的像素。像素阵列12包括4乘4的像素组，其中包含按Bayer模式排列的红(R)、绿(G)和蓝(B)像素。根据以下等式，4乘4阵列减少为2乘2阵列：
[0060] R＝1/4*(R1+R2+R3+R4) (1)
[0061] B＝1/4*(B1+B2+B3+B4) (2)
[0062] GB＝1/2*(G1+G2) (3)
[0063] GR＝1/2*(G3+G4) (4)
[0064] 净效应是75％的数据速率减少，以Bayer模式排列。
[0065] 图11说明分辨率转换的备选方法。第二种技术提供与MPEG-2兼容的4∶2∶0编码。转换使用以下等式执行：
[0066] R＝1/4*(R1+R2+R3+R4) (5)
[0067] B＝1/4*(B1+B2+B3+B4) (6)
[0068] GB＝1/2*(G1+G2) (7)
[0069] GR＝1/2*(G3+G4) (8)
[0070] GBB＝1/2*(G5+G6) (9)
[0071] GRR＝1/2*(G7+G8) (10)
[0072] 净效应是62.5％的数据速率减少。
[0073] 图12说明又一种备选的分辨率转换方法。第三种方法使用以下等式提供4∶2∶2编码技术：
[0074] G12＝1/2*(G1+G2) (11)
[0075] G34＝1/2*(G3+G4) (12)
[0076] G56＝1/2*(G5+G6) (13)
[0077] G78＝1/2*(G7+G8) (14)
[0078] R12＝1/2*(R1+R2) (15)
[0079] R34＝1/2*(R3+R4) (16)
[0080] B12＝1/2*(B1+B2) (17)
[0081] B34＝1/2*(B3+B4) (18)
[0082] 净效应是50％的数据速率减少。
[0083] 为节省能量，存储器控制器44可在外部存储器74没有接收或发送数据时将其断电。为实现此功能，可将控制器44的电源控制引脚76连接至SDRAM的CKE引脚(见图1)。
[0084] 图13说明像素阵列12的像素14的单元结构的实施例。像素14可包含光电检测器100。举例来说，光电检测器100可以是光电二极管。光电检测器100可连接至重置晶体管112。光电检测器100还可通过电平移动晶体管116耦合至选择晶体管114。晶体管112、114和116可以是场效应晶体管(FET)。
[0085] 重置晶体管112的栅极可以连接至RST线118。晶体管112的漏极节点可以连接至IN线120。选择晶体管114的栅极可以连接至SEL线122。晶体管114的源极节点可以连接至OUT线124。RST 118和SEL线122可对于像素阵列12中的整行像素是公共的。同样，IN 120和OUT 124线可对于像素阵列12中的整列像素是公共的。RST线118和SEL线122连接至行解码器20，并且是控制线22的一部分。
[0086] 图14说明光读取器电路16的实施例。光读取器16可包括多个双采样电容电路150，每个连接至像素阵列12的OUT线124。每个双采样电路150可包括第一电容152和第二电容154。第一电容152分别通过开关158和160耦合至OUT线124和地GND1 156。第二电容154分别通过开关162和164耦合至OUT线124和地GND1。开关158和160由控制线SAM1 166控制。开关162和164由控制线SAM2 168控制。电容152和154可以通过闭合开关170连接在一起，从而执行电压减去。开关170由控制线SUB 172控制。
[0087] 双采样电路150通过多个第一开关182和多个第二开关184连接至运算放大器180。放大器180的负端-通过第一开关182耦合至第一电容152，正端+通过第二开关184耦合至第二电容154。运算放大器180的正输出+连接至输出线OP 188和负输出-连接至输出线OM 186。输出线186和188连接至ADC 24(见图1)。
[0088] 运算放大器180提供放大信号，该信号是连接至放大器180的采样电路150的第一电容152中存储的电压和第二电容154中存储的电压之间的差值。放大器180的增益可以通过调节可变电容190而改变。可变电容190可通过闭合一对开关192放电。开关192可连接至相应的控制线(未示出)。虽然表示和描述的是单个放大器，但是应该理解，光读取器电路16中可使用一个以上的放大器。
[0089] 图15和16说明图像传感器10在也称为低噪声模式的第一模式中的操作。在过程框300中，将参考信号写入像素阵列的每个像素14，然后将第一参考输出信号存储在光读取器16中。参照图13和16，这可以通过将RST 118和IN 120线从低电压切换到高电压以使晶体管112导通来实现。RST线118为整行被驱动为高。IN线120为整列被驱动为高。在优选实施例中，在IN线120初始低时，RST线118首先被驱动为高。
[0090] RST线118可以连接至三态缓冲器(未示出)，该缓冲器在IN线120切换到高状态时切换到三态。这允许栅极电压浮动到高于IN线120上电压的值。这导致晶体管112进入三极管区。在三极管区，光电二极管100上的电压大约与IN线120上的电压一样。产生更高栅极电压允许光电检测器重置在接近Vdd的电平。先有技术的CMOS传感器将光电检测器重置为Vdd-Vgs的电平，其中Vgs可高达1V。
[0091] SEL线122也被切换到高电压电平以使晶体管114导通。光电二极管100的电压通过电平移动晶体管116和选择晶体管114提供给OUT线124。光读取器16(见图14)的SAM1控制线166被选择，以将OUT线124上的电压存储在第一电容152中。
[0092] 参照图15，在过程框302中，像素阵列的像素则被重置且重置输出信号则被存储在光读取器16中。参照图13和16，这可以通过将RST线118驱动为低以使晶体管112截止并重置像素14来实现。使晶体管112截止会产生重置噪声、电荷注入和驻留在光电二极管100上的时钟馈通电压。如图17所示，在晶体管112重置时，噪声会减小光电检测器100上的电压。
[0093] SAM2线168被驱动为高，SEL线122被驱动为低，然后再次被驱动为高，这样光电二极管100的电平移动电压作为重置输出信号被存储在光读取器电路16的第二电容154中。过程框300和302对阵列12中的每个像素14重复。
[0094] 参照图15，在过程框304中，随后从第一参考输出信号减去重置输出信号以产生噪声输出信号，随后被ADC 24转换为数字位串。根据图2、3、8或9中所述的技术之一，数字输出数据存储在外部存储器74中。噪声信号对应于第一图像像素数据。参照图14，减去过程可以通过闭合光读取器电路16(图14)的开关182、184和170以从第一电容152上的电压减去第二电容154上的电压来实现。
[0095] 参照图15，在框306中，光响应输出信号从像素阵列12的像素14采样并存储在光读取器电路16中。光响应输出信号对应于图像传感器10检测到的光图像。参照图13、14和16，这可以通过使IN 120、SEL 122和SAM2线168处于高状态并使RST 118处于低状态来实现。光读取器电路16的第二电容152存储光电二极管100的电平移动电压作为光响应输出信号。
[0096] 参照图15，在框308中，第二参考输出信号随后在像素14中产生并存储在光读取器电路16中。参考图13、14和16，这可以通过与产生和存储第一参考输出信号相似的方法来实现。RST线118被首先驱动为高，然后进入三态。随后将IN线120驱动为高以使晶体管112进入三极管区，这样光电二极管100上的电压为IN线120上的电压。SEL 122和SAM2
168线随后被驱动为高以将第二参考输出电压存储在光读取器电路16的第一电容154中。
过程框306和308对阵列12中的每个像素14重复。
168线随后被驱动为高以将第二参考输出电压存储在光读取器电路16的第一电容154中。
过程框306和308对阵列12中的每个像素14重复。
[0097] 参照图15，在框310中，从第二参考输出信号减去光响应输出信号以产生标准化的光响应输出信号。标准化的光响应输出信号被转换为数字位串以创建标准化的光输出数据，该数据存储在第二图像缓冲器32和34中。标准化的光响应输出信号对应于第二图像像素数据。参照图13、14和16，减去过程可以通过闭合光读取器16的开关170、182和184以从第二电容154上的电压减去第一电容152上的电压来实现。差值随后被放大器180放大并由ADC 24转换为数字位串作为光响应数据。
[0098] 参考图15，在框312中，从外部存储器提取噪声数据。在框314中，根据图3、4、5、6、7或8中所示的技术之一，噪声数据与标准化光输出数据组合(减去)。噪声数据对应于第一图像，而标准化光输出数据对应于第二图像。第二参考输出信号与第一参考输出信号相同或大致相同，使得本技术从标准化光响应信号中减去由于重置噪声、电荷注入和时钟馈通而产生的噪声数据。这提高了最终图像数据的信噪比。图像传感器使用仅有三个晶体管的像素执行此噪声消除。因此，本图像传感器提供噪声消除，同时保持相对较小的像素间距。此过程使用外部处理器72和外部存储器74实现。
[0099] 所述过程按顺序在像素阵列12中的各像素行执行。如图16所示，在像素阵列中的第n-l行产生标准化光响应信号时，第n行可能正在产生噪声信号，其中l是以行周期的倍数计的曝光持续时间。
[0100] 各种控制信号RST、SEL、IN、SAM1、SAM2和SUB可以在一般被称为行解码器20的电路中产生。图18说明按照图16的时序图产生IN、SEL、SAM1、SAM2和RST信号的逻辑的实施例。该逻辑可以包括多个比较器350，其中一个输入连接至计数器352和另一个输入连接至包含较低计数值和较高计数值的硬连线信号。计数器352顺序地产生计数。比较器350比较当前计数与较低和较高计数值。如果当前计数处于较低和较高计数值之间，比较器
350输出逻辑1。
350输出逻辑1。
[0101] 比较器350连接至多个“与”门356和“或”门358。“或”门358连接至锁存器360。锁存器360提供相应的IN、SEL、SAM1、SAM2和RST信号。“与”门356还连接至模式线364。要按照图16所示的时序图操作，模式线364设置为逻辑1。
[0102] 锁存器360根据由“与”门356、“或”门358、比较器350和计数器352的当前计数建立的逻辑在逻辑0和逻辑1之间切换。例如，耦合至IN锁存器的比较器所用的硬连线信号可能包含计数值6和计数值24。如果计数器的计数大于或等于6但小于24，则比较器350将提供使IN锁存器360输出逻辑1的逻辑1。较低和较高计数值建立图16所示的脉冲的序列和持续时间。模式线364可以切换至使图像传感器以第二模式工作的逻辑0。
[0103] 传感器10可能具有多个重置RST(n)驱动器370，每个驱动器370连接至一行像素。图19和20说明示范驱动器电路370和电路370的操作。每个驱动器370可具有一对“或非”门372，它们连接至图18所示的RST和SAM1锁存器。“或非”门控制三态缓冲器374的状态。三态缓冲器374连接至一行像素中的重置晶体管。三态缓冲器的输入连接至“与”门376，“与”门376连接至RST锁存器和行使能ROWEN(n)线。
[0104] 图21和22说明图像传感器在也称为扩展动态范围模式的第二模式中的操作。在这种模式中，图像提供足够的光能量，使得SNR即使没有图15和16中所述的噪声消除技术也是足够的。然而可以理解，在图像传感器10处于扩展动态范围模式中时可以使用图15和16中所示的噪声消除技术。扩展动态模式同时具有短曝光周期和长曝光周期。参照图21，在框400中，每个像素14被重置以开始短曝光周期。图像传感器的模式可以由处理器
72设置以确定传感器应该处于低噪声模式还是扩展动态范围模式。
72设置以确定传感器应该处于低噪声模式还是扩展动态范围模式。
[0106] 在框404中，选定的像素随后被重置。光电二极管100的电平移动重置电压存储在光读取器电路16的第一电容152中作为重置输出信号。短曝光输出信号被从光读取器电路16中的重置输出信号减去。短曝光信号和重置信号之间的差值由ADC 24转换为二进制位串并根据图2、3、8或9中所示的技术之一存储在外部存储器74中。短曝光数据对应于第一图像像素数据。然后再重置每个像素以开始长曝光周期。
[0107] 在框406中，光读取器电路16将来自像素的长曝光输出信号存储在第二电容154中。在框408中，像素被重置且光读取器电路16将重置输出信号存储在第一电容152中。长曝光输出信号被从重置输出信号减去、放大并由ADC 24转换为二进制位串作为长曝光数据。
[0108] 参考图21，在框410中，从外部存储器提取短曝光数据。在框412中，根据图3、4、5、6、7或8中所示的技术之一，短曝光数据与长曝光数据组合。数据可以按多种不同的方式组合。外部处理器72可以先使用长曝光数据分析图像。如果图像太亮，光电二极管可能会饱和。这通常会导致图像“褪色”。处理器72可以处理长曝光数据以确定图像是否褪色，如果是，处理器72则可以使用短曝光图像数据。处理器72也可以同时使用长和短曝光数据以补偿检测到的图像的饱和部分。
[0109] 举例来说，图像开始可以设置为全零。然后处理器72分析长曝光数据。如果长曝光数据不超过阈值，则使用长曝光数据的所有N位取代图像的N个最低有效位(LSB)。如果长曝光数据超过阈值，则使用短曝光数据的所有N位取代图像的N个最高有效位(MSB)。M
此技术将动态范围增大M位，其中M是由等式l＝2定义的长短曝光的曝光持续时间比中N
的指数。根据映射等式Y＝2 log2(X)/(N+M)，取代的图像可经过对数映射以获得N位的最终图片。
此技术将动态范围增大M位，其中M是由等式l＝2定义的长短曝光的曝光持续时间比中N
的指数。根据映射等式Y＝2 log2(X)/(N+M)，取代的图像可经过对数映射以获得N位的最终图片。
[0110] 图22说明长短曝光数据的数据产生和提取的定时。从像素阵列12读取输出信号与从存储器74提取信号重叠。图22说明数据产生和提取的定时，其中第n行像素开始短曝光，第(n-k)行结束短曝光周期并开始长曝光周期，第(n-k-l)行像素结束长曝光周期。其中k是以行周期的倍数计的短曝光持续时间，l是以行周期的倍数计的长曝光持续时间。
[0111] 在第(n-k-l)像素阵列正在完成长曝光周期的同时，存储器控制器44开始为行(n-k-l)中的像素提取短曝光数据。在行周期开始时，光读取器电路16从像素阵列12的第(n-k)行提取短曝光输出信号，如信号SAM1、SAM2、SEL(n-k)和RST(n-k)的使能所示。然后，光读取器电路16提取第(n-k-l)行的长曝光数据。
[0112] 图像传感器10的双模式可以补偿图像中的变化亮度。在图像亮度低时，来自像素的输出信号相对低。这通常会减小由传感器提供的结果数据的信噪比，假定平均噪声相对恒定。图15和16所示的噪声补偿方案提高输出数据的信噪比，使得图像传感器即使在目标图像相对较暗时也可提供优质的图片。相反，在目标图像太亮时，图21和22所示的扩展动态范围模式会补偿这种亮度以提供优质的图片。
[0113] 图23a说明图像传感器的又一实施例，具备连接至外部处理器72的处理器总线70’和连接至外部存储器74的分开的存储器总线70”。在这样配置下，处理器72可以在存储器74存储和传输数据时访问数据。此实施例还允许处理器总线70’的时钟速率比图1所示实施例的总线68更慢。
[0114] 图23b说明又一实施例，其中处理器72耦合至分开的数据接口500，而外部存储器74连接至分开的存储器控制器44。
[0115] 图24说明图像传感器的又一实施例，具有连接至缓冲器28、30、32和34的数据接口500。接口500通过处理器总线502连接至外部处理器72。在此配置中，外部存储器74通过分开的存储器总线504连接至处理器72。对于静态图像和视频捕捉这两者，第一和第二图像以交错方式提供给外部处理器。
[0116] 图25公开不带缓冲器28、30、32和34的图像传感器的又一实施例。在此实施例中，ADC 24直接连接至外部处理器72。处理器72可以执行计算步骤，例如组合(减去)噪声数据与标准化光输出数据，或短曝光数据与长曝光数据。
[0117] 图26公开了包含DMA控制器510、缓冲存储器512和图像处理单元514的外部处理器。图像传感器10连接至DMA控制器510。处理器的DMA控制器510将第一和第二图像数据以交错或接连方式传输到存储器74。DMA控制器510还可以将图像数据传输到缓冲存储器512由图像处理单元514进行处理。
[0118] 图27说明图像传感器系统550的又一实施例。系统550包括通过第一总线556和第二总线558耦合至处理器554的图像传感器552。处理器554也可以通过存储器总线562耦合至存储装置560，并通过非易失性存储器总线566耦合至非易失性存储装置564。
[0119] 图像传感器552产生第一图像和第二图像。举例来说，第一图像在系统处于低噪声模式时可以是数字化的标准化噪声输出信号，或扩展动态范围模式的短曝光数据。同样，第二图像可以是低噪声模式的数字化的标准化光响应输出信号，或扩展动态范围模式的长曝光数据。
[0120] 图像传感器552以时间重叠方式将第一和第二图像传输到处理器554。在第二图像通过第二总线558传输的同时第一图像可以通过第一总线556传输。应该理解，时间重叠方式表示在第一图像数据仍由图像传感器552传输时，第二图像数据正被传输到处理器554。举例来说，图像传感器552可通过将第一和第二图像在单个总线上交错，或在专用总线556和558上传输这两种图像，将图像传输到处理器。图像传感器552可以从内部数据接口、存储器控制器、直接从ADC或任何其他板载处理器和/或存储器接口传输图像数据。
[0121] 处理器554可以使第一图像存储在存储装置560中，并在以后与第二图像重新组合。或者，存储装置560可以存储整个第一和第二图像。然后，可以由处理器554提取和组合第一和第二图像。作为又一种备选方案，存储装置560可以仅存储第二图像的一部分。
[0122] 非易失性存储装置564可以是包含嵌入式固件的只读存储器(“ROM”)。该固件可以包含使处理器554以时间重叠方式接收第一和第二图像的程序。举例来说，程序可以使处理器554以交错的方式接收图像。或者，处理器554可以配置为具有固件和硬件的组合，或纯硬件实现，用于以时间重叠方式接收图像数据。
[0123] 如图28所示，双总线系统550的处理器554可以包含板载DMA控制器566、缓冲存储器568和类似图26所示处理器的处理单元570。DMA控制器566可以使图像数据从存储装置560存储和提取。
[0124] 图29说明具有多个缓冲器572、574、576和578的双端口DMA控制器566的实施例。缓冲器572和574，576和578分别通过开关580和582耦合至总线556和558。缓冲器572和574，576和578通过开关584、586和588耦合至存储器总线562。这些缓冲器和开关可类似于图1所示的图像传感器的缓冲器28、30、32和34以及开关38、40、42、48和54来工作。
[0125] DMA控制器566可以具备逻辑电路590，使第一图像数据存储在缓冲器572和574中，第二图像数据存储在缓冲器576和578中。缓冲器574和578可以存储分别来自总线556和558的数据，而存储装置560存储分别来自缓冲器572和576的第一图像数据和第二图像数据。然后，缓冲器572和576可以存储来自总线556和558的数据，而缓冲器574和
578提供数据给存储器560。缓冲器572、574、576和578可以在存储来自总线556和558的数据与提供数据给存储装置560之间交替。DMA控制器566可以控制图像数据在存储装置560内的存储位置。
578提供数据给存储器560。缓冲器572、574、576和578可以在存储来自总线556和558的数据与提供数据给存储装置560之间交替。DMA控制器566可以控制图像数据在存储装置560内的存储位置。
[0126] 虽然未示出，图23a、23b和25中所示的图像传感器系统也可以具有双总线配置。图23a和23b中所示的实施例可以具有用于处理器72和/或存储器74的双总线。
[0128] 虽然某些示范实施例已经在附图中描述和显示，但是应该理解，这些实施例对广义发明只是说明性而不是限制性的，并且本发明不限于所显示和描述的特定结构和配置，因为本领域的技术人员可以想出各种其他修改。
[0129] 例如，虽然显示和描述了涉及图像整行的交错技术，但是应该理解，数据可以以涉及少于一整行或多于一行的方式交错。举例来说，可以传输图像A的第一行的一半，再传输图像B的第一行的一半，再传输图像A的第一行的另一半，如此类推。同样，可以传输图像A的前两行，再传输图像B的前两行，再传输图像A的第三和第四行，如此类推。
[0130] 此外，处理器72和/或554可以是Texas Instruments提供的数字信号处理器，部件名称为TMS320DSC21、TMS320DSC25、TMS320DM270或TMS320DM310，或者是这些部件的修改形式。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 误差扩散阈值选择方法和装置、设备及储存介质 | 2020-05-08 | 319 |
| 展示方法及装置、服务器、电子设备 | 2020-05-08 | 909 |
| 用于从列表中选择项目的计算机实现方法 | 2020-05-11 | 981 |
| 存储器件、垂直NAND闪速存储器件及固态硬盘 | 2020-05-08 | 937 |
| 配电网广域测量控制系统中多源量测的标注方法及装置 | 2020-05-08 | 82 |
| 一种基于区块链管理地图导航的方法、设备及介质 | 2020-05-08 | 871 |
| 一种提升热点区寿命的负载均衡方法 | 2020-05-11 | 443 |
| 存储装置、操作存储装置的方法和非易失性存储器装置 | 2020-05-08 | 414 |
| 一种极低成本BLE Beacon硬件架构及兼容广播包生成方法 | 2020-05-08 | 526 |
| 演出场所版权保护方法及装置、计算机可读存储介质 | 2020-05-08 | 726 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈