图像处理设备和车载照相机设备
阅读：63发布：2021-05-29
专利汇可以提供图像处理设备和车载照相机设备专利检索，专利查询，专利分析的服务。并且图像处理 设备包括行 缓冲器 ；FIR 滤波器 ，用作增强图像的高频分量的边缘增强滤波器；以及IIR滤波器，用作减小噪声的 低通滤波器 。FIR滤波器和IIR滤波器使用相同的行缓冲器。根据 开关 信号 ，开关对于相对低的噪声 水 平使能FIR滤波器并且禁止IIR滤波器，同时开关对于相对高的噪声信号使能IIR滤波器并禁止FIR滤波器。，下面是图像处理设备和车载照相机设备专利的具体信息内容。
1.一种图像处理设备，用于处理由成像装置获取的图像数据，所述图像处理设备包括：
行缓冲器，用于临时并顺序地存储图像数据；
有限脉冲响应(FIR)滤波器，用于通过使用行存储器执行图像数据的空间频率特性的成形；以及
无限脉冲响应(IIR)滤波器，用于使用与FIR滤波器使用的行缓冲器相同的行缓冲器作为在处理后的图像数据的反馈中使用的行缓冲器。
2.根据权利要求1所述的图像处理设备，其中，FIR滤波器是用于增强图像数据的高频分量的边缘增强滤波器。
3.根据权利要求1所述的图像处理设备，其中，IIR滤波器是用于减小噪声的低通滤波器。
4.根据权利要求1所述的图像处理设备，还包括：
噪声水平检测装置，用于检测图像数据的噪声水平；
开关信号生成装置，用于基于在噪声水平检测装置处检测到的噪声水平来生成开关信号；以及
开关装置，用于根据在开关信号生成装置处生成的开关信号独立地使能和禁止FIR滤波器和IIR滤波器。
5.根据权利要求4所述的图像处理设备，其中，噪声水平检测装置基于成像装置的自动增益控制(AGC)电路的增益来检测噪声水平。
6.根据权利要求4所述的图像处理设备，其中，噪声水平检测装置基于图像的平均光亮度来检测噪声水平。
7.根据权利要求4所述的图像处理设备，其中，
当噪声水平相对低时，利用与FIR滤波器的输入端子连接的行缓冲器的输出端子，使能FIR滤波器并且禁止IIR滤波器；并且
当噪声水平相对高时，利用与行缓冲器的输入端子连接的IIR滤波器的输出端子以及与IIR滤波器的输入端子连接的行缓冲器的输出端子，禁止FIR滤波器并且使能IIR滤波器。
8.一种车载照相机设备，包括：
广视角光学系统；
成像装置，用于读取通过光学系统捕获的图像；
根据权利要求1到7中任一项所述的图像处理设备，其中所述图像处理设备用于处理由成像装置捕获的图像；以及
显示装置，用于显示由图像处理设备处理后的图像数据。
图像处理设备和车载照相机设备
技术领域
背景技术
[0002] 近些年增加了对于在盲区监视器和后视监视器中使用的车载照相机设备的需求。用于这样的车载照相机设备的图像捕获环境并不总是明亮的，即，图像捕获环境有时相对暗。因为在相对暗的图像捕获环境中捕获的图像帧的明亮度(brightness)不足，因此需要一些应对手段。
[0003] 当图像帧的明亮度不足时，在包括例如CCD的成像装置的照相机设备中，通常采用增加成像装置的自动增益控制电路(AGC)的增益的机制来获得更亮的图像。例如在日本专利申请公开No.H4-247777中已经公开了这样的技术。同时，增益的增加不利地导致噪声的增加。作为对应手段，通常在明亮度不足的图像帧的暗的部分中采用低通滤波器的机制从而减少噪声。在相对小规模的电路中通常使用无限脉冲响应(IIR)滤波器来实现低通滤波器。例如在日本专利申请公开No.2005-184786中已经公开了这样的技术。
[0004] 由此，在车载照相机设备等上使用IIR滤波器导致在暗的部分增加增益从而保持图像的明亮度在期望的明亮度而不增加噪声的可能性。
[0005] 车载照相机设备等通常使用广角光学系统并且在它的图像处理单元中包括高频增强滤波器，例如有限脉冲响应(FIR)滤波器，用于校正由光学系统导致的分辨率降低的目的。然而，对于这种高频增强滤波器，具有若干行容量的行缓冲器是不可缺少的。同时，通过使用IIR滤波器实现低通滤波器以抑制噪声的机制需要额外的行缓冲器。然而，在当前的情况下，由于在成像装置中像素数的增加，行缓冲器的容量需求已经显著增加，向额外的行缓冲器提供IIR滤波器将导致电路规模的增大。
[0006] 本发明的目的在于提供一种图像处理设备，其增强了由光学系统消弱的图像的高频分量并且减小了暗的部分的噪声而不增加电路规模，并且具有低成本和低功耗，还提供包括该图像处理设备的车载照相机设备。
发明内容
[0007] 根据本发明的一个方面，提供了一种图像处理设备，用于处理由成像装置获取的图像数据，所述图像处理设备包括：行缓冲器，用于临时并顺序地存储图像数据；有限脉冲响应(FIR)滤波器，用于通过使用行存储器执行图像数据的空间频率特性的成形；以及无限脉冲响应(IIR)滤波器，用于使用与FIR滤波器使用的行缓冲器相同的行缓冲器作为在处理后的图像数据的反馈中使用的行缓冲器。
[0008] 由此，IIR滤波器不再需要额外的行存储器，这导致电路规模的减小。
[0009] 具体地，处理通过使用例如CCD的成像装置获取的图像的图像处理设备和包括图像处理设备的车载照相机设备能够增强由成像系统衰减的图像的高频分量并且减小暗的部分中的噪声而不引起电路规模的增大。附图说明
[0011] 图2是用于说明倍率色像差和失真的图示；
[0012] 图3是用于说明倍率色像差和失真的同步校正的图示；
[0013] 图4A和4B是用于说明倍率色像差和失真的独立校正的图示；
[0014] 图5是示出图1所示的倍率色像差校正单元的具体结构的框图；
[0015] 图6A至6C是示出图5所示的坐标变换单元的示例结构的框图；
[0016] 图7是示出图1所示的失真校正单元的具体结构的框图；
[0017] 图8是示出图1所示的调制传递函数(MTF)校正单元的结构的框图；
[0018] 图9是示出图8所示的滤波器单元的结构的框图；
[0019] 图10是用于图9所示的FIR滤波器的示例系数的图示；
[0020] 图11是示出FIR滤波器的结构的框图；
[0021] 图12是示出图9所示的IIR滤波器的结构的框图；
[0022] 图13是示出如何将IIR滤波器、行缓冲器以及FIR滤波器连接至一起用于相对低的噪声水平的框图；以及
[0023] 图14是示出如何将IIR滤波器、行缓冲器以及FIR滤波器连接至一起用于相对高的噪声水平的框图。
具体实施方式
[0024] 下面参考附图描述本发明的示例实施例。本发明的一个实施例提供了一种图像捕获设备，通过使用具有大的倍率色像差的广角光学系统来捕获对象的图像并且发生高失真。图像捕获设备包括图像处理系统，除了MTF校正之外，该图像处理系统还执行倍率色像差的校正、失真的校正等。毫无疑问，该配置不局限于此。
[0025] 此外，在下面的说明中，假设图像是由加法三原色，即红(R)、绿(G)和蓝(B)组成。毫无疑问，本发明可以应用于图像是由减法三原色，即黄(Y)、红紫(M)和蓝绿(C)组成的情况。
[0026] 图1是在根据本发明的实施例的图像捕获设备中的图像处理系统的功能框图。图像捕获设备进一步外部地包括图1中没有示出的操作单元、图像存储单元和图像显示单元(监视器)。假设图像捕获设备被用作车载照相机设备。毫无疑问，图像捕获设备可以用于其他方式。
[0027] 图像捕获设备包括控制单元100。控制单元100向图像捕获设备的所有其他单元提供控制信号(时钟、横向/纵向同步信号等)。即，控制单元100控制流水线中所有其他单元的操作。控制单元100包括噪声水平检测单元102以及开关信号生成单元104，噪声水平检测单元102基于AGC电路120的增益和在MFT校正单元160获得的亮度(luminance)信号检测图像的噪声水平，开关信号生成单元104基于由噪声水平检测单元102执行的检测结果在MTF校正单元160中生成开关信号以使能或禁止IIR滤波器和FIR滤波器提供它们的功能，这将在稍后描述。
[0028] 图像捕获设备包括成像装置110。成像装置110包括元件(例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)并且将通过使用广角光学系统(未显示)捕获的光学图像转换为电信号(像素信号)。广角光学系统具有大的倍率色像差和失真。成像装置110还包括拜尔阵列彩色滤波器并且根据从控制单元110馈送的坐标值(x，y)顺序地输出拜尔阵列中的RGB像素信号。控制单元100还将馈送给成像装置110的坐标值(x，y)顺序地馈送给在控制单元100的后续级以预定时间延迟布置的单元。
[0029] 在可选结构中，替代控制单元100，成像装置110响应于时钟和横向/纵向同步信号的接收生成坐标值(x，y)并且将它们顺序地馈送到在控制单元100的后续级布置的单元。
[0030] 图像捕获设备包括在成像装置110的后续级的AGC电路120。AGC电路120将像素信号放大到预定水平，该像素信号是从成像装置110输出的模拟信号。通过考虑图像帧所需的光亮度(lightness)和噪声水平之间的平衡，将AGC电路120的增益设置为恰当的值。如下面将描述的，在控制单元100中的噪声水平检测单元102基于这个AGC单元120的增益检测图像的噪声水平。
[0031] 图像捕获设备包括在AGC电路120的后续级的模数(A/D)转换器130。从AGC电路120输出的拜尔阵列RGB图像信号是模拟信号。A/D转换器130将模拟拜尔阵列RGB图像信号转换为数字信号(像素数据)。每个数字信号是例如每个RGB的颜色具有8比特的信号。
[0032] 图像捕获设备包括在A/D转换器130的后续级的拜尔插值单元140。拜尔插值单元140接收数字拜尔阵列RGB信号(像素数据)，并且通过以RGB的单个颜色为基础执行线性插值来对所有坐标位置生成像素数据。
[0033] 尽管在当前实施例中已经讨论了成像装置包括拜尔阵列彩色滤波器，本实施例对于包括另一个配置的彩色滤波器的成像装置也是有效的，例如另一个CMYG阵列或RGB和红外线(Ir)阵列。特别地，与例如RGB的三色类型相比，包括如前所述具有四色阵列的彩色滤波器的成像装置需要低等待时间的存储器或四端口随机访问存储器(RAM)用于校正倍率色像差。
[0034] 图像捕获设备包括在拜尔插值单元140的后续级的倍率色像差校正单元150。倍率色像差校正单元150接收拜尔插值的R、G和B像素数据，通过使用预定的多项式对RGB的单个色度分量执行坐标变换(对于倍率色像差的坐标变换)，并且输出进行了倍率色像差校正的RGB像素数据。如后面将提到的，通过使用具有相对小容量和低等待时间的存储器或具有相对小容量和多个端口的存储器(例如静态随机访问存储器(SRAM))可以执行用于校正倍率色像差的坐标变换。
[0035] 图像捕获设备包括在倍率色像差校正单元150的后续级的MTF校正单元160。如在后面将描述的，MTF校正单元160包括用作边缘增强滤波器的FIR滤波器和用作噪声减少滤波器的IIR滤波器。MTF校正单元160接收已经进行了倍率色像差校正的RGB像素数据的输入，将RGB像素数据转换为亮度信号Y和色度信号Cb和Cr，并且后续在正常条件下，通过使用FIR滤波器执行Y信号的高频增强(边缘增强)；然而在图像的噪声水平已经增加的条件下，通过使用IIR滤波器执行YCbCr信号的噪声减小，将已经进行了边缘增强或噪声减少的YCbCr信号转换回到RGB信号(RGB像素数据)，并且输出该RGB信号。本发明涉及该MTF校正单元160的FIR滤波器和IIR滤波器。根据实施例，如稍后所述，在控制单元100中的噪声水平检测单元102基于由MTF校正单元160获得的亮度信号Y来获得图像的平均光亮度，由此检测噪声水平。
[0036] 图像捕获设备包括在MTF检测单元160的后续级的失真校正单元170。失真校正单元170接收已经经过倍率色像差校正和MTF校正的RGB像素数据，通过使用预定多项式等集中地执行RGB色度分量的坐标变换(用于失真的坐标变换)，并且输出已经经过了失真校正的RGB像素数据。如后面将描述的，用于失真校正的坐标变换期望使用的存储器与在倍率色像差校正中使用的存储器相比具有较大的容量(最多大一个图像帧)；然而，校正失真的存储器所需的端口数目是一个。由此，高等待时间的存储器(动态随机访问存储器(DRAM)等)可以被用作这样的存储器。
[0037] 图像捕获设备包括在失真校正单元170的后续级的伽马校正单元180。伽马校正单元180接收从失真校正单元170输出的RGB像素数据，通过使用以RGB的单个颜色为基础的查找表等对于数据执行预定的伽马校正，并且输出已经进行了伽马校正的RGB像素数据。从伽马校正单元180输出的像素数据由监视器显示在显示单元(未显示)上。
[0038] 具有图1所示的结构的图像捕获设备可以提供高图像质量的成像系统，即使该系统使用产生倍率色像差和失真的高视角光学系统时该成像系统仍然具有小的电路规模和低成本。即使当由于暗的部分的增益的增加而导致图像的噪声水平的增加时，可以抑制噪声水平。同时，可以使用同时校正倍率色像差和失真的倍率色像差和失真校正单元来替代倍率色像差校正单元150。当应用这样的倍率色像差和失真校正单元时，不再需要失真校正单元170。伽马校正单元180可以被布置在拜尔插值单元140的紧邻后续级。
[0039] 下面将详细描述倍率色像差校正单元150、MTF校正单元160和失真校正单元170的特定示例配置。
[0040] 在给出倍率色像差校正单元150和失真校正单元170的具体描述之前，将描述倍率色像差校正和失真校正的原理。
[0041] 如在图2中示意性示出，当通过使用光学系统捕获图像时以及当发生倍率色像差和失真时，关于在由1指示的图像帧的右上角处原始位置(像素)的像素数据由于失真而从该原始位置偏移，并且由于倍率色像差在RGB的不同色度分量之间不同地偏移。由此，在图2中分别将由成像装置实际成像的R分量、G分量和B分量示出为2(R)、3(G)和4(B)。可以通过将与在2(R)、3(G)和4(B)的位置(像素)的RGB色度分量相关的像素数据复制到作为原点位置1的位置(像素)，即，通过执行坐标变换来执行倍率色像差校正和失真校正。在执行坐标变换的过程中，位置2，3和4被用作坐标变换源坐标，而位置1被用作坐标变换目标坐标。
[0042] 可以从光学系统的设计数据中得到失真的量和倍率色像差的量，并且由此可以计算RGB色度分量相对于原始位置的偏移量。
[0043] 图3是用于说明同时校正倍率色像差和失真的方法的示意图。具体地，通过将与2(R)、3(G)和4(B)的位置(像素)的RGB色度分量相关的像素数据复制到作为原始位置1的位置(像素)，即通过执行坐标变换，可以同时校正倍率色像差和失真。然而，这个方法的不利之处在于必须提供一种存储器，其对于每个RGB具有相对大的容量以及低等待时间和多端口中的任一个。例如，在图3所示的例子中，对于每个RGB需要快速的6行存储器来执行坐标变换。
[0044] 图4A和4B是用于说明独立地校正倍率色像差和失真的方法的示意图。尽管在对于不同的色度分量不同的偏移量发生了倍率色像差，偏移量相对小。相反地，以相对大的偏移量发生失真但是对于不同色度分量偏移量是相同的。关于这一点，以RGB的单个色度分量为基础执行像素数据的坐标变换(在稍后描述的例子中，RB色度分量进行坐标变换并且被复制到G分量的位置)，从而校正倍率色像差；此后，已经进行了倍率色像差校正的RGB像素数据被作为一组数据进行用于失真校正的坐标变换。这个方法允许分开使用在用于倍率色像差校正的坐标变换中使用的存储器以及在用于失真校正的坐标变换中使用的存储器。更具体地，可以使用快速(低等待时间或具有多个端口)、小容量存储器用于在倍率色像差校正的坐标变换中使用的RGB，并且使用慢速(高等待时间或具有单个端口)、大容量存储器用于在RGB之间共享以及用于失真校正。存储器的分开使用导致成本降低。图1的系统结构给出了关于这点的说明。
[0045] 参考图4A，图4A是倍率色像差校正的示意图，在2(R)、3(G)和4(B)的位置(像素)的RB色度分量相关的像素数据经过坐标变换被复制到作为G分量的位置(像素)的3(G)。通过执行该操作实现倍率色像差校正。参考图4B，图4B是失真校正的示意图，经过了倍率色像差校正并且与位置(像素)3的RGB色度分量相关的像素数据被作为一组数据经过坐标变换以被复制到作为原始位置的位置(像素)1。通过执行这个操作来实现失真校正。
[0046] 在图4A和4B所示的例子中，单独处理RGB的3行快速存储器可以被满意地用于倍率色像差校正。另一方面，另外需要用于失真校正的5行存储器；然而，该存储器可以是由RGB共享的慢速存储器，这导致了与图3相比总成本的降低。
[0047] 这里讨论的失真表示在要被使用的投影机制中透镜的失真。要被使用的投影机制的例子包括如同从照相机上看到图像那样获取图像的投影机制，以及用于以放大的方式显示部分图像的投影机制。
[0048] 图5是倍率色像差校正单元150的示意性结构图。倍率色像差校正单元150包括：用于校正倍率色像差的坐标变换存储器(行缓冲器)(SRAM)，其中1510(R)、1510(G)和1510(B)分别用于R色度分量、G色度分量和B色度分量；坐标变换单元1520，基于预定的坐标变换算法计算对于RGB的单个颜色进行倍率色像差校正的坐标变换；以及坐标变换系数表1530，存储在坐标变换算法中使用的系数。
[0049] 可以通过作为行缓冲器的具有相对小容量并且依然具有RGB的三个端口或低等待时间的存储器来满意地执行倍率色像差校正。在这个例子中，假设坐标变换存储器1510(R)、1510(G)和1510(B)中的每一个包括具有20行的容量的SRAM，假设由于倍率色像差最大偏移量是20行。在X方向上存储器的大小依赖于分辨率。例如，当分辨率相当于视频图像阵列(VGA)(640×480)的分辨率时，在X方向上640点的大小就足够了。颜色深度是每个RGB的颜色8比特，并且以8比特为单位执行对于坐标变换存储器1510(R)、1510(G)和1510(B)的每一个的读取和写入。
[0050] 由此，每个坐标变换存储器1510(R)、1510(G)和1510(B)具有小的容量；由此，每个存储器期望包括在图像处理芯片中提供的三个端口的SRAM以确保存储器区域包括20行。当存储器是例如SRAM的低等待时间存储器时，1端口存储器可以时间共享的方式被用作3端口存储器。
[0051] 根据对应的坐标值(x，y)，已经经过倍率色像差校正的RGB的单个颜色的像素数据被从它的第一行顺序地写入坐标变换存储器1510(R)、1510(G)和1510(B)的对应的一个中。当20行像素数据已经被写入到每个存储器中时，从第一行顺序地丢弃像素数据，并且顺序地新写入后续行的像素数据以取代已丢弃的数据。由此，在坐标变换存储器1510(R)、1510(G)和1510(B)的每一个中顺序地存储用于执行校正倍率色像差的坐标变换所需的每个存储器最大20行的RGB像素数据。
[0052] 坐标值(x，y)指示一帧捕获的图像的读出位置。同时，坐标变换存储器1510(R)、1510(G)和1510(B)中的每一个是20行的行缓冲器，其中要被循环写入的行改变；由此，使用坐标值(x，y)直接作为坐标变换存储器1510(R)、1510(G)和1510(B)上的写入地址是没有用的。由此，需要将坐标值(x，y)转换为坐标变换存储器1510(R)、1510(G)和1510(B)上的实际地址；然而，图5中没有示出这样的配置。在转换后坐标值(X，Y)和坐标变换存储器1510(R)、1510(G)和1510(B)上的读取地址之间的读取操作的关系也是相同的，这将在后面描述。
[0053] 坐标变换单元1520接收作为坐标变换目标坐标的坐标值(x，y)，通过使用预定的坐标变换算法(例如多项式)计算用于对RGB的单个颜色进行倍率色像差校正的变换坐标，并且输出坐标值(X，Y)，这是关于RGB的单个颜色的坐标变换源坐标。如图4A所示，在本实施例中，R和B色度分量经过坐标变换要被复制到G分量的位置。由此，尽管关于G分量，接收坐标值(x，y)的输入的坐标变换单元1520将它们输出作为坐标值(X，Y)而不进行变换，关于R和B色度分量，坐标变换单元1520通过使用预定的坐标变换算法将对于RB的单个颜色这样输入的坐标值(x，y)变换为坐标值(X，Y)，并且输出该坐标值(X，Y)。对于每组坐标值(x，y)重复该操作。
[0054] 当假设原点处于图像帧的中心，坐标变换算法可以被表示为如下公式(1)：
[0055] X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x
[0056] Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y (1)
[0057] 其中abs()是在()内的参数的绝对值，并且a(1)到a(4)和b(1)到b(4)是坐标变换系数。坐标变换系数被预先存储在坐标变换系数表1530中。
[0058] 如前所述与对坐标变换存储器1510(R)、1510(G)和1510(B)的写入并行地(实际上具有预定时间周期的延时)，根据从坐标变换单元1520输出的坐标值(X，Y)(实际上坐标值(X，Y)的地址变换值)从坐标变换存储器1510(R)、1510(G)和1510(B)顺序地读出RGB像素数据。在这种情况下，在与写入G分量像素数据的位置相同的位置从坐标变换存储器1510(G)读出G分量像素数据。相反地，在从写入色度分量像素数据的位置偏移了预定距离的位置，即偏移了倍率色像差的量的位置从坐标变换存储器1510(R)和1510(B)中对应的一个读取R分量像素数据和B分量像素数据中的每一个。
[0059] 通过执行上述操作，从坐标变换存储器1510(R)、1510(G)和1510(B)输出经过了倍率色像差校正的RGB像素数据。详细地，在坐标变换源坐标值(X，Y)处的RGB像素数据被输出作为在坐标变换目标坐标值(x，y)处的RGB像素数据。
[0060] 图6A到6C示出了坐标变换单元1520的各种示例配置。图6A是G的色度分量没有进行坐标变换并且作为输入值的坐标值(x，y)被输出作为G的坐标值(X，Y)，同时R和B的色度分量分别由R的坐标变换计算单元1521和B的坐标变换计算单元1522执行坐标变换，变换作为输入值的坐标值(x，y)以输出R的坐标值(X，Y)和B的坐标值(X，Y)的示例配置。因为仅对R和B色度分量提供了坐标变换计算单元，由此可以抑制电路规模。
[0061] 图6B和6C示出了其他示例配置，关于R和B色度分量通常偏移关于G色度分量实质上对称的倍率色像差(图2)。图6B示出了一个坐标变换计算单元1523计算坐标值(x，y)的校正量，减法单元1524从坐标值(x，y)中减去校正量以获得B的坐标值(X，Y)，而加法单元1525将校正量加入到坐标值(x，y)以获得R的坐标值(X，Y)。另一方面，以与图6A所示的方式相同的方式，将针对G的输入坐标值(x，y)按原样作为针对G的坐标值(X，Y)输出。
[0062] 图6C示出了提供增益电路1526以调节R的校正量从而允许对称位置之间的偏差(deviation)的示例配置。图6B和6C所示的示例配置仅体现了一个坐标变换计算单元，导致电路规模的进一步减小。
[0063] 替代图6A所示的坐标变换计算单元1521和1522，可以提供存储了R和B色度分量的每一个的输入坐标值(x，y)和输出坐标值(X，Y)之间的对应关系的查找表(LUT)，以便通过使用LUT可以直接得到与坐标变换目标坐标值(x，y)对应的坐标变换源坐标值(X，Y)。类似地，可以替代图6B和6C所示的坐标变换计算单元1523提供存储输入坐标值(x，y)和校正量之间的对应关系的LUT，这使得通过使用LUT可以直接获得与坐标值(x，y)对应的校正量。这允许省略坐标变换的计算，由此使得基本上仅对存储器芯片可以实现倍率色像差校正。
[0064] 图7是失真校正单元170的具体结构图。失真校正单元170包括：RGB合成单元1710，将每个对应于一个颜色的三条RGB像素数据组合成一个数据条；坐标变换存储器1720(SRAM)，要由RGB像素数据的色度分量共享并且用于失真校正；RGB分离单元1730，将合成的RGB像素数据分离成原始的色度分量；用于校正失真的坐标变换计算单元1740，通过使用预定的坐标变换算法计算用于合成的RGB像素数据的失真校正的变换坐标；以及坐标变换系数表1750，存储坐标变换算法要使用的系数。
[0065] 因为以相对大的偏移量发生了失真，用于存储最大为一个图像帧的像素数据的缓存存储器被期望用于执行失真校正。同时，因为RGB色度分量偏移了单个偏移量，可以满意地使用具有等于RGB像素数据的总比特数的比特宽度的单个缓存存储器。假设分辨率是VGA(640×480)，RGB像素数据的比特数目(颜色深度)是每个RGB颜色8个比特，并且坐标变换存储器1720是以24比特(640×480点)为单位进行读写的DRAM。
[0066] 由于成本，如上所述需要相对大的容量的坐标变换存储器1720很难被以SRAM的形式实现在图像处理芯片中，并且1端口存储器可以被满意地用于处理RGB；由此，期望通过使用图像处理芯片外部提供的DRAM来实现坐标变换存储器1720。
[0067] RGB合成单元1710接收经过了倍率色像差校正的RGB像素数据(每个8比特)，顺序地将该RGB像素数据合成为一条像素数据(24比特)，并且输出该像素数据。这样组成的RGB像素数据根据坐标变换目标坐标值(x，y)从它的第一行被顺序地写入坐标变换存储器1720。
[0068] 同时，用于校正失真的坐标变换计算单元1740接收坐标变换目标坐标值(x，y)，计算RGB共有的变换坐标，用于通过使用例如多项式的预定坐标变换算法的失真校正，并且输出坐标变换源坐标值(X，Y)。坐标变换算法可以被表示为公式(1)，其与早前提出的用于倍率色像差校正的公式相同。自然，要使用不同的坐标变换系数。坐标变换系数被预先存储在坐标变换系数表1750中。
[0069] 与之前提及的将合成的RGB像素数据(24比特)写入到坐标变换存储器1720并行地(准确的，具有预定时间周期的延迟)，根据从用于校正失真的坐标变换计算单元1740输出的坐标值(X，Y)从坐标变换存储器1720顺序地读出合成的RGB像素数据。RGB分离单元1730将从坐标变换存储器1720读出的合成的RGB像素数据(24比特)分离成单个R、G和B分量(每个8比特)的原始像素数据。
[0070] 作为这些操作的结果，已经经过了失真校正的R像素数据、G像素数据和B像素数据被从RGB分离单元1730输出。通过另一种方式，R像素数、G像素数据和B像素数据被复制到坐标值(x，y)，或者它们的原始位置。
[0071] 此外，在失真校正的情况下，可以提供存储输入坐标值(x，y)和输出坐标值(X，Y)之间的对应关系的LUT，使得与坐标变换目标坐标值(x，y)相对应的坐标变换源坐标值(X，Y)被直接地使用LUT获得。这允许省略用于坐标变换的计算，由此基本上仅在存储器芯片上实施失真校正。
[0072] 下面将描述MTF校正单元160。如图8所示，MTF校正单元160包括RGB/YCbCr变换单元1610、滤波单元1620和YCbCr/RGB变换单元1630。
[0073] RGB/YCbCr变换单元1610接收RGB像素数据的输入并且通过使用例如下面的公式将RGB像素数据分离为亮度信号Y和色度信号Cb和Cr：
[0074] Y＝0.299R+0.584G+0.114B (2)
[0075] Cr＝0.500R-0.419G-0.081B (3)
[0076] Cb＝-0.169R-0.332G+0.500B (4)
[0077] 滤波单元1620包括边缘增强滤波器(FIR滤波器)和噪声减小滤波器(IIR滤波器)，并且在正常条件下，通过使用FIR滤波器执行亮度信号Y的高频增强(边缘增强)；然而，当图像中的噪声水平增加时，通过使用IIR滤波器执行YCbCr的噪声减少。本发明的特征在于滤波单元1620的配置。下面详细描述滤波单元1620的具体配置和操作。
[0078] YCbCr/RGB变换单元1630接收经过了高频增强和噪声减小中任一个的YCbCr信号的输入，通过使用例如下面的公式将信号转换回到RGB像素数据，并且输出该RGB像素数据：
[0079] R＝Y+1.402Cr (5)
[0080] G＝Y-0.714Cr-0.344Cb (6)
[0081] B＝Y+1.772Cb (7)
[0082] 当亮度信号Y和色度信号YCbCr而不是RGB信号被期望输出给后续级时，YCbCr/RGB变换单元1630可以被省略。
[0083] 图9是在MTF校正单元160中滤波单元1620的特定配置的示意图。如图9所示，滤波单元1620包括用作噪声减小滤波器的IIR滤波器1621、用作边缘增强滤波器的FIR滤波器1622、由IIR滤波器1621和FIR滤波器1622两者使用的行缓冲器1623、以及开关SW1和SW2。
[0084] 同时，开关信号从控制单元100中的开关信号生成单元104(图1)馈送到开关SW1和SW2中的每一个。下面将描述如何生成开关信号。在图像的噪声水平相对低的正常条件下，开关SW1禁止IIR滤波器1621使得输入的YCbCr信号被直接发送到行缓冲器1623，同时开关SW2使能FIR滤波器1622使得YCbCr信号通过输出端子从FIR滤波器输出。相反地，当图像的噪声水平相对高时，开关SW1使能IIR滤波器1621使得YCbCr信号被从IIR滤波器1621发送到行缓冲器1623，同时开关SW2禁止FIR滤波器1622使得YCbCr信号通过输出端子直接从行缓冲器1623送出。
[0085] 行缓冲器1623被用于噪声减少的IIR滤波器1621和用于边缘增强的FIR滤波器1622两种所使用。对于抽头数目被设置为例如5×5的FIR滤波器1622，具有5行或更大容量的行缓冲器可以被满意地用于行缓冲器1623。同时，行缓冲器1623在每个地址(例如对每个地址分配了24比特(1个字))存储YCbCr信号(YCbCr数据)的一个像素，其中以每个颜色深度是8比特的RGB分量形成24比特信号；即，每个8比特的YCbCr分量。
[0086] 在AGC电路120的增益相对低的正常情况下，即，图像具有相对低噪声的情况下，FIR滤波器1622增强由于光学系统衰减的图像的高频分量(边缘增强)，由此执行空间频率特性的成形。图10示出了对FIR滤波器1622设置的实例系数。FIR滤波器1622从行缓冲器1623顺序地读出在第(N-2)到第(N+2)行的5×5像素的YCbCr信号(目标像素位于其中心)，并且对于目标像素的Y信号执行边缘增强滤波。这防止了色度信号CbCr的噪声水平的增加。
[0087] 图11是FIR滤波器1622的具体结构图。分离单元16221从行缓冲器1623读取YCbCr信号作为输入，并且将YCbCr信号分离为Y信号和CbCr信号。滤波器16222通过使用如图10给出的这样的系数执行Y信号的边缘增强。合成单元16223将经过了边缘增强的信号和CbCr信号合成到一起来输出YCbCr信号。
[0088] 返回图9，当由于在暗的部分等中AGC电路120的增益的增加而引起了图像的噪声水平的的增加时，IIR滤波器1621执行噪声减小。可以例如使用下面的公式(8)到(10)来设置IIR滤波器1621的系数：
[0089] Cb(x，y)＝0.25×Cb(x，y)+0.375×Cb(x，y-1)+0.375×Cb(x-1，y) (8)[0090] Cr(x，y)＝0.25×Cr(x，y)+0.375×Cr(x，y-1)+0.375×Cr(x-1，y) (9)[0091] Y(x，y)＝0.5×Y(x，y)+0.25×Y(x，y-1)+0.25×Y(x-1，y) (10)[0092] Cb(x，y)和Cr(x，y)是在第N行上坐标(x，y)的目标像素的色度信号，并且Y(x，y)是相同坐标(x，y)的亮度信号。Cb(x，y-1)和Cr(x，y-1)是在第(N-1)行上坐标(x，y-1)的色度信号，第(N-1)行是目标像素所位于的第N行的前一行，并且Y(x，y-1)是相同坐标(x，y-1)的亮度信号。Cb(x-1，y)和Cr(x-1，y)是在第N行上坐标(x-1，y)的色度信号，坐标(x-1，y)是目标像素的坐标的前一的坐标，并且Y(x-1，y)是相同坐标(x-1，y)的亮度信号。
[0093] IIR滤波器1621从行缓冲器1623顺序地读取在第(N-1)行的坐标(x，y-1)和第N行的坐标(x-1，y)的YCbCr信号，并且对于这些信号和作为输入的目标像素的坐标(x，y)的YCbCr信号执行噪声减小滤波。这样处理的YCbCr信号被写入到行缓冲器1623并且在将来处理目标像素时馈送回到IIR滤波器1621。
[0094] 图12是IIR滤波器1621的具体结构图。分离单元16211将作为输入的YCbCr信号和从行缓冲器1623馈送回来的YCbCr信号中的每一个分离为Y、Cb和Cr。滤波器16213、滤波器16214和滤波器16212通过分别对Cb信号、Cr信号和Y信号应用公式(8)、公式(9)和公式(10)来执行滤波。公式(8)、(9)和(10)对CbCr信号施加相对强的噪声抑制同时对于Y信号施加相对弱的噪声抑制。注意公式(8)、(9)和(10)用于示例，并且可选地可以应用不对Y信号执行滤波的配置。合成单元16215将已经进行了噪声减少的Cb、Cr和Y信号合成在一起。
[0095] 参考图13和14，下面将描述滤波单元1620的处理过程的概况。
[0096] 图13示出了在AGC电路120的增益相对低的情况下，即，图像的噪声水平相对低的情况下，如何将IIR滤波器1621、行缓冲器1623和FIR滤波器1622连接到一起。在这种情况下，禁止IIR滤波器1621(输出：打开(open))并且使能FIR滤波器1622。
[0097] 开关SW1使得YCbCr信号从RGB/YCbCr变换单元1610输出以旁路IIR滤波器，从而被顺序地写入到行缓冲器1623。FIR滤波器1622从行缓冲器1623顺序地读取在第(N-2)到第(N+2)行的5×5像素(在坐标(x-2，y-2)到(x+2，y+2)的像素)的YCbCr信号，并且通过应用在图10中所给出的系数使用这些信号的Y信号来执行在坐标(x，y)的目标像素的亮度信号Y的边缘增强滤波。通过开关SW2将已经经历了边缘增强的Y信号的YCbCr信号顺序地发送到YCbCr/RGB变换单元1630以被变换回到RGB信号。
[0098] 图14示出了在由于AGC电路120的增益增加而导致图像的噪声水平增加的情况下如何将IIR滤波器1621、行缓冲器1623和FIR滤波器1622连接在一起。在这种情况下，使能IIR滤波器1621并且禁止FIR滤波器1622(输出：打开)。
[0099] 从RGB/YCbCr变换单元1610输出的YCbCr信号(在坐标(x，y)的YCbCr信号)被顺序地输入到IIR滤波器1621。在第(N-1)行坐标(x，y-1)的处理后的YCbCr信号和在第N行坐标(x-1，y)的处理后的YCbCr信号被顺序地从行缓冲器1623读出并且被馈送回到IIR滤波器1621。IIR滤波器1621接收在坐标(x，y)的YCbCr信号和从行缓冲器1623馈送回来的在坐标(x，y-1)和(x-1，y)的处理后的YCbCr信号的输入，并且通过使用公式(8)、(9)和(10)执行在目标像素的坐标(x，y)的YCbCr信号的噪声减小滤波。通过开关SW1将经过了噪声减小的YCbCr信号顺序地写入行缓冲器1623。同时，行缓冲器1623顺序地读取在坐标(x，y)的处理后的YCbCr信号和在坐标(x，y-1)和坐标(x-1，y)的处理后的YCbCr信号。从行缓冲器1623读出的在坐标(x，y)的YCbCr信号通过开关SW2被顺序地发送到YCbCr/RGB变换单元1630，同时旁路FIR滤波器1622以变换回到RGB信号。从行缓冲器1623读出的在坐标(x，y-1)和(x-1，y)的YCbCr信号被馈送回到IIR滤波器1621以被用于后续目标像素的噪声减小。
[0100] 如前所述，根据从控制单元100的开关信号生成单元104馈送的开关信号，滤波单元1620采用用于正常条件的图13所示的配置(禁止IIR滤波器1621并且使能FIR滤波器1622)来执行分辨率有优先级的亮度信号的边缘增强，或者使用图14所示的配置(使能IIR滤波器1621并且禁止FIR滤波器1622)，该配置用于由于在暗的部分等AGC电路120的增益增加而导致的图像的噪声水平的增加的情况，来执行对YCbCr信号的噪声减小。同时，IIR滤波器1621通过使用行缓冲器执行处理后的YCbCr信号的反馈。使用行缓冲器1623(其由FIR滤波器1622使用)还作为以共享方式在反馈中使用的行缓冲器消除了对IIR滤波器提供额外的行存储器的需要，导致电路规模的减小。
[0101] 下面将描述图像的噪声水平的检测和开关信号的生成。控制单元100的噪声水平检测单元102应用例如下面的任一种方法来检测图像的噪声水平。当然，这些方法仅用于示例，可以应用检测噪声水平的任何方法。
[0102] (i)成像装置110的输出信号在由A/D转换器130进行A/D转换之前在AGC电路120被放大。通过在需要的图像的光亮度和噪声水平之间进行平衡而将AGC电路120的增益设置为合适的值；然而，当暗的部分的光亮度的降低使得增益成为某个值或更高时，噪声水平不期望地增加到等于或大于允许的范围。具体地，当以被增加以增加暗的部分的灵敏度的增益执行图像捕获，在捕获的图像中噪声占统治地位。通过利用这个事实，噪声水平检测单元102可以基于AGC电路120的增益来确定噪声水平。
[0103] (ii)总的来说，AGC电路120控制它的增益以将由成像装置110捕获的图像的光亮度保持为常数。由此，在正常条件下平均光亮度为常数；然而，如果即使当增益增加到它的最大值时灵敏度还是不充足，图像的平均光亮度降低。由此，可以通过检测图像帧的平均亮度来确定增益是否达到它的最大值，即，是否增加了噪声水平。通过利用该事实，噪声水平检测单元102可以基于由MTF校正单元160获得的亮度信号Y从整个图像帧得到的亮度值的和(或在某些情况下，加权的亮度值的和，其中向与图像帧中心等的对象对应的信号分配权重)来计算图像帧的平均亮度，由此确定噪声水平。
[0104] (iii)明亮度通常与噪声水平成反比。通过利用该事实，可以提供照度传感器使得噪声水平检测单元102可以基于照度传感器的输出来确定噪声水平。
[0105] 开关信号生成单元104基于噪声水平检测单元102的检测结果生成开关信号。具体地，当图像的噪声水平相对低时，生成使得开关SW1禁止IIR滤波器1621和使得开关SW2使能FIR滤波器1622的开关信号；相反地，当噪声水平相对高时，生成使得开关SW1使能IIR滤光器1621和使得开关SW2禁止FIR滤波器1622的开关信号。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种光学仪器储藏室温湿度自动控制系统 | 2020-05-08 | 747 |
| 一种用于焦距检测的双刀口差分检测装置、检测方法及数据处理方法 | 2020-05-08 | 345 |
| 用于控制机动车的车门的方法和系统 | 2020-05-11 | 981 |
| 一种5G天线板材料内层过粗化工艺 | 2020-05-08 | 11 |
| 一种混凝土自动整平方法及采用其的智能整平机器人 | 2020-05-08 | 609 |
| 显示面板对位方法和显示面板的制备方法 | 2020-05-08 | 446 |
| 一种全自动光学检测仪 | 2020-05-08 | 514 |
| 高精度尺寸自动化测量装置 | 2020-05-08 | 72 |
| 适用于不同尺寸及不同平整度丝印网板的光学检测装置 | 2020-05-11 | 102 |
| 孔检测仪器 | 2020-05-08 | 898 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
自动光学检测热门专利
QQ群二维码
意见反馈
意见反馈