技术领域
[0001] 本
发明涉及一种成像系统与方法，特别是涉及一种可适用于全局或旋转快
门的高动态范围(HDR)成像系统与方法。
背景技术
[0002] 互补式金属
氧化物
半导体(CMOS)图像
传感器普遍应用于移动应用。互补式金属氧化物半导体(CMOS)图像传感器也适用于其他应用，例如
汽车或保全应用。然而，汽车或保全应用的要求异于移动应用的要求。例如，汽车或保全应用要求高动态范围(high dynamic range,HDR)，使得非常暗与非常亮的场景可于同一
帧撷取到好
质量的图像。
[0003]
像素的动态范围可藉由分割像素成为一大一小的光
二极管来达到。然而，由于长曝光与短曝光通常不会重迭，因而会产生有害的移动假影(artifact)。移动假影会因为长曝光像素与短曝光像素之间的不同曝光时间而产生。长曝光像素会造成移动模糊，形成对象边缘的拖曳现象。
[0004] 鉴于此，因而提出一些高动态范围成像系统，其使用空间中(spatial)配置的像素阵列或时间中(temporal)多次曝光帧。然而，传统高动态范围成像系统需要较多的模拟至数字转换周期或者像素数据位。
[0005] 因此亟需提出一种新颖的高动态范围成像机制，以克服传统高动态范围成像系统的缺失。
发明内容
[0006] 鉴于上述，本发明
实施例的目的之一在于提出一种高动态范围(HDR)成像系统与方法，具增强动态范围，可有效降低所产生及传送的数据量或/且降低模拟至数字转换周期。
[0007] 根据本发明实施例，高动态范围成像系统包含像素阵列及高动态范围
编码器。像素阵列提供高感光度
信号与低感光度信号。高动态范围编码器根据高感光度信号与低感光度信号以产生
编码信号。当高感光度信号未大于预设临界值时，则将旗标位设为主动，否则将旗标位设为非主动。
附图说明
[0008] 图1A显示本发明第一实施例的高动态范围成像系统的方
块图；
[0009] 图1B显示本发明实施例的高动态范围成像方法的
流程图；
[0010] 图2A例示图1A的像素阵列的示意图；
[0011] 图2B例示图1A的另一个像素阵列的示意图；
[0012] 图2C例示高感光度像素所产生的高感光度信号、低感光度像素所产生的低感光度信号与入射光
亮度的关系曲线；
[0013] 图2D例示具增强动态范围的高感光度信号、低感光度信号与入射
光亮度的关系曲线；
[0014] 图3显示本发明第二实施例的高动态范围成像系统的方块图；以及
[0015] 图4显示本发明第三实施例的高动态范围成像系统的方块图。
具体实施方式
[0016] 图1A显示本发明第一实施例的高动态范围(high-dynamic-range,HDR)成像系统100的方块图，图1B显示本发明实施例的高动态范围成像方法的流程图。高动态范围成像系统(以下简称成像系统)100与高动态范围成像方法(以下简称成像方法)可适用于
机器视觉(machine vision)相机。
[0017] 在本实施例中，成像系统100可包含像素阵列(pixel array)10(步骤101)，其可包含多个高感光度(sensitivity)像素10H与多个低感光度像素10L，其中高感光度像素10H的感光度高于低感光度像素10L。图2A例示图1A的像素阵列10的示意图，其中高感光度像素10H于空间上(spatially)设于奇数列，低感光度像素10L设于偶数列。图2B例示图1A的另一个像素阵列10的示意图，其中高感光度像素10H与低感光度像素10L于空间上交叉设置。
[0018] 图2C例示高感光度像素10H所产生的高感光度信号、低感光度像素10L所产生的低感光度信号与入射光亮度的关系曲线。根据图示，高感光度像素10H对于光线的敏感度大于低感光度像素10L，但是高感光度像素10H较快达到饱和(saturation)，如图2C所例示的饱和准位。在本
说明书中，信号一词可指称模拟
电子信号或数字数据信号，可从上下文容易得知。
[0019] 除了上述空间上的配置，高感光度信号与低感光度信号也可使用其他机制来产生，例如长/短曝光时间、高/低增益或大/小曝光-增益乘积。在另一实施例中，高感光度信号与低感光度信号可由时间上(temporal)的配置来产生。举例而言，高感光度信号从目前帧(frame)产生，低感光度从下一帧产生，其中下一帧具较短曝光时间(或较低增益或较小曝光-增益乘积)。所产生的高感光度信号如果为模拟形式，可储存于电容器；如果为数字形式，可储存于
存储器。关于时间上配置的细节可参阅Bo Zhao等人提出的“64×64晶载移动对象检测与
定位的互补式金属氧化物半导体图像传感器(A 64×64CMOS Image Sensor With On-Chip Moving Object Detection and Localization)”，发表于
电机电子工程师学会图像技术的
电路与系统会刊(IEEE Transactions on Circuits and Systems for Video Technology)，第22册，第4期，2012年四月；及Dongsoo Kim等人提出的“用于无线感测网络的具11晶体管/像素的三态智能视觉传感器(Tri-Mode Smart Vision Sensor With 11-Transistors/Pixel for Wireless Sensor Networks)”，发表于电机电子工程师学会传感器期刊(IEEE Sensors Journal)，第13册，第6期，2013年六月，其内容视为本说明书的一部分。
[0020] 高感光度信号与低感光度信号可使用适当的曝光机制来产生，例如全局快门(global shutter)或旋转快门(rolling shutter)。于全局快门机制，使用具第一曝光时间与增益的像素阵列以撷取第一帧。于读出第一帧后，使用具第二曝光时间与增益的像素阵列以撷取第二帧，其中第二曝光时间与增益的乘积大于第一曝光时间与增益的乘积。合成第一帧与第二帧可得到高动态范围图像。于旋转快门机制，非一次曝光整个像素阵列以撷取帧，而是垂直或
水平方式一行一行扫描。上述曝光机制的细节可参阅Johannes Solhusvik等人于2013年提出的“用于汽车应用的高动态范围互补式金属氧化物半导体图像传感器的比较(A comparison of high dynamic range CIS technologies for automotive applications)”；及Trygve Willassen等人于2015年提出的“使用110纳米背面发光互补式金属氧化物半导体工艺的1280×1280 4.2微米分割二极管像素的高动态范围传感器(A 1280×1080 4.2μm Split-diode Pixel HDR Sensor in 110 nm BSI CMOS Process)”，其内容视为本说明书的一部分。
[0021] 于步骤102，决定高感光度像素与低感光度像素的感光比(sensitivity ratio)。在本实施例中，高动态范围图像帧的感光比为固定值。本实施例的成像系统100可包含模拟至数字转换器(ADC)11，用以将(像素阵列10产生的)信号从模拟形式等效转换为数字形式。
其中，模拟至数字转换器11可将(高感光度像素10H产生的)模拟高感光度信号转换为数字高感光度信号SH，且将(低感光度像素10L产生的)模拟低感光度信号转换为数字低感光度信号SL。
[0022] 本实施例的成像系统100可包含存储器12，例如动态
随机存取存储器(DRAM)或静态随机存取存储器(SRAM)，用以暂存高感光度信号SH与低感光度信号SL的至少其中之一。根据本实施例的特征之一，成像系统100可包含高动态范围编码器13(其包含存储器12)，从模拟至数字转换器11与存储器12接收高感光度信号SH与低感光度信号SL(步骤103)，据以产生编码信号SE。于步骤104，比较高感光度信号SH与预设临界值ST。在本实施例中，预设临界值ST可等于或小于高低感光度信号的饱和准位。如果高感光度信号SH未大于预设临界值ST(亦即SH<＝ST)，将旗标位设为主动(asserted)(例如值为“1”)并串连至高感光度信号SH以产生编码信号SE(步骤105)。例如，将主动的旗标位(值为“1”)串连作为最高有效位(MSB)。如果高感光度信号SH为N位，则编码信号SE为(N+1)位，其最高有效位(MSB)为“1”(亦即SE＝2N+SH)。相反，如果高感光度信号SH大于预设临界值ST(亦即SH>ST)，将旗标位设为非主动(de-asserted)(例如值为“0”)并串连至低感光度信号SL以产生编码信号SE，例如为(N+1)位，其最高有效位(MSB)为“0”(亦即SE＝SL)(步骤106)。
[0023] 本实施例的成像系统100可包含发射器14，其接收并传送编码信号SE(步骤107)。另一方面，成像系统100可包含接收器15，其接收所传送的编码信号SE(步骤108)。本实施例的发射器14与接收器15可操作为有线方式或无线方式。
[0024] 在本实施例中，成像系统100可包含高动态范围译码器16，其接收编码信号SE并据以产生译码信号SD。于步骤109，决定所接收的编码信号SE的旗标位(亦即最高有效位)是否为主动(例如“1”)。如果旗标位为主动(例如“1”)，则除去所接收的编码信号SE的旗标位以产生译码信号SD(步骤110)。另一方面，如果旗标位为非主动(例如“0”)，则将所接收的编码信号SE乘以(步骤102的)感光比以产生译码信号SD，亦即SD＝R*SE(步骤111)。
[0025] 根据上述实施例，像素阵列10的动态范围可有效增加，如图2D所示。更重要的是，本实施例仅需产生及传送一个额外(旗标)位。相反，于未使用本实施例的高动态范围编码器13的成像系统中，需产生及传送多个额外位。例如，当高感光度信号与低感光度信号为10位数字数据且感光比为16，则
输出信号需要14位。感光比愈高，则需更多位与功耗。
[0026] 图3显示本发明第二实施例的高动态范围成像系统200的方块图。于图3中，类似于第一实施例(图1A)的方块以相同的元件符号表示，其细节不予赘述，且沿用图1B所示的流程图。
[0027] 类似于图1A的高动态范围编码器13，本实施例的高动态范围成像系统(以下简称成像系统)200可包含比较器131，其接收并比较(高感光度像素10H所产生的)高感光度信号SH与预设临界值ST(步骤104)。如果高感光度信号SH未大于预设临界值ST(亦即SH<＝ST)，比较器131产生主动的旗标位Ccmp(例如值为“1”)；否则比较器131产生非主动的旗标位Ccmp(例如值为“0”)。
[0028] 本实施例的成像系统200可包含复用器132，其根据旗标位Ccmp以选择高感光度信号SH与低感光度信号SL的其中之一作为复用信号SM。如果旗标位Ccmp为主动，则复用信号SM为高感光度信号SH；否则复用信号SM为低感光度信号SL。
[0029] 本实施例的成像系统200可包含模拟至数字转换器(ADC)11，用以将复用信号SM从模拟形式等效转换为数字形式，因而产生数字复用信号SM。
[0030] 在本实施例中，成像系统200可包含串连单元133，其接收数字复用信号SM，根据旗标位Ccmp以产生编码信号SE。如果旗标位Ccmp为主动，将主动的旗标位Ccmp(其值为“1”作为最高有效位)串连至复用信号SM，亦即高感光度信号SH(步骤105)。例如，如果高感光度信号SH为N位，则编码信号SE为(N+1)位，其最高有效位(MSB)为“1”(亦即SE＝2N+SH)。相反，如果旗标位Ccmp为非主动，将非主动的旗标位Ccmp(其值为“0”作为最高有效位)串连至复用信号SM(低感光度信号SL)，亦即SE＝SL(步骤106)。
[0031] 相较于第一实施例(图1A)，本实施例的比较器131与复用器132所执行的编码先于模拟至数字转换器11所进行的转换。因此，本实施例可有效降低模拟至数字转换周期，因为仅有高感光度信号SH与低感光度信号SL的其中之一进行模拟至数字转换。也就是说，本实施例的模拟至数字转换最多仅需之前实施例的一半。对于未使用本实施例的图3架构者，需要更多的模拟至数字转换周期。例如，对于空间中(spatial)配置的M×N像素阵列，需要M×N模拟至数字转换周期，而非如本实施例仅需M×N/2转换周期。对于时间中(temporal)高动态范围例子，例如交错(staggered)高动态范围，其曝光(并读出)像素阵列Z次，则需M×N×Z模拟至数字转换周期，而非如本实施例仅需M×N×Z/2转换周期。
[0032] 图4显示本发明第三实施例的高动态范围成像系统300的方块图。于图4中，类似于第一实施例(图1A)或第二实施例(图3)的方块以相同的元件符号表示，其细节不予赘述，且沿用图1B所示的流程图。
[0033] 在本实施例中，高动态范围成像系统(以下简称成像系统)300可包含
模拟信号调节器(analog signal conditioner,ASC)31，其接收并调节(例如执行
电流/
电压转换、相关双重取样(CDS)、滤波或/且放大)高感光度像素10H与低感光度像素10L所收集的信号，因而产生高感光度信号SH与低感光度信号SL。
[0034] 类似于先前实施例，本实施例仅需产生并传送一个(旗标)位，而非如传统成像系统通常需产生多个位。此外，相较于传统系统，本实施例仅需一半的模拟至数字转换周期。
[0035] 以上所述仅为本发明的优选实施例而已，并非用以限定本发明的
权利要求范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述的权利要求范围内。
[0036] 符号说明
[0037] 100 高动态范围成像系统
[0038] 200 高动态范围成像系统
[0039] 300 高动态范围成像系统
[0040] 10 像素阵列
[0041] 10H 高感光度像素
[0042] 10L 低感光度像素
[0043] 11 模拟至数字转换器
[0044] 12 存储器
[0045] 13 高动态范围编码器
[0046] 131 比较器
[0047] 132 复用器
[0048] 133 串连单元
[0049] 14 发射器
[0050] 15 接收器
[0051] 16 高动态范围译码器
[0052] 31 模拟信号调节器
[0053] 101 提供高动态范围像素阵列
[0054] 102 决定感光比
[0055] 103 接收高感光度信号与低感光度信号
[0056] 104 比较高感光度信号与预设临界值
[0057] 105 编码信号等于高感光度信号串连最高有效位
[0058] 106 编码信号等于低感光度信号
[0059] 107 传送编码信号
[0060] 108 接收所传送的编码信号
[0061] 109 决定旗标位是否为主动
[0062] 110 除去旗标位以产生译码信号
[0063] 111 编码信号乘以感光比以产生译码信号
[0064] SH 高感光度信号
[0065] SL 低感光度信号
[0066] SE 编码信号
[0067] ST 预设临界值
[0068] SD 译码信号
[0069] R 感光比
[0070] SM 复用信号
