用于图像处理的方法和设备以及车载照相机设备 |
|||||||
| 申请号 | CN200980152171.3 | 申请日 | 2009-12-10 | 公开(公告)号 | CN102265595B | 公开(公告)日 | 2014-05-14 |
| 申请人 | 株式会社理光; | 发明人 | 笠原亮介; | ||||
| 摘要 | 提供了一种 图像处理 设备，包括增强图像的锐度的边缘增强 滤波器 。边缘增强滤波器包括：距离计算器，计算两个或更多个轴方向上的目标 像素 与捕获的图像的光学中心之间的距离的值； 边缘检测 滤波器，检测两个方向上的边缘量；乘法器，将由边缘检测滤波器检测到的每个边缘量乘以轴方向中的对应的一个方向的距离值中的一个距离值；第一加法器，将乘法器的输出相加到一起；以及第二加法器，将目标像素的像素值与第一加法器的输出相加。如果需要，可以在第一加法器和第二加法器之间插入核心化单元。 | ||||||
| 权利要求 | 1.一种图像处理设备，包括用于增强图像的锐度的边缘增强滤波装置，其中，该边缘增强滤波装置包括： |
||||||
| 说明书全文 | 用于图像处理的方法和设备以及车载照相机设备技术领域背景技术[0003] 此外，当使用光学系统捕获图像时，取决于所使用的光学系统，图像的分辨率随着走向周边，即远离光学系统的光学中心而降低。为此，例如，日本专利申请公开第2007-148500号公开了高频增强滤波器的使用。在这种高频增强滤波器中，滤波器系数依据到图像帧中心的距离而改变，以便向图像帧的周边进行更宽范围的增强。 [0004] 已要求相当强的全方向边缘增强，以通过使用传统的均匀、与方向无关的滤波器，在图像帧的周边部分中增加高频增强(边缘增强)的强度。这产生噪声被大幅放大的副作用。 [0005] 通过比特移位器和加法器可以实现固定系数滤波器。相反，使图像帧在图像帧的不同部分具有不同的滤波器系数的配置需要大量乘法器，导致极大的电路规模。这使用配置在某些情况下，例如作为配置应当甚至以低功率工作的车载设备使用不太合适。 [0006] 本发明的目的在于解决传统技术中的上述问题。 发明内容[0007] 根据本发明的一方面，提供了一种图像处理设备，包括用于增强图像的锐度的边缘增强滤波装置。该边缘增强滤波装置包括：距离计算装置，用于计算距离值，该距离值是在至少两个轴方向上的目标像素与捕获的图像的光学中心之间的距离的值；边缘检测滤波器，对应于每个轴方向，每个边缘检测滤波器用于基于逐个方向检测至少两个方向中的对应的一个方向上的边缘量；乘法装置，对应于每个边缘检测滤波器，每个乘法装置用于将在边缘检测滤波器中的对应的一个边缘检测滤波器处检测到的边缘量乘以在距离计算装置处针对轴方向中的对应的一个轴方向计算得到的距离值；第一加法装置，用于将乘法装置的输出相加到一起；以及第二加法装置，用于将目标像素的像素值与第一加法装置的输出相加。 [0008] 根据本发明的一方面，可以使用相对小规模的电路和处理来进行对使得分辨率在图像帧的周边降低的光学系统的校正。与此同时，还可以抑制噪声放大。另外，不仅可以对图像帧的周边部分，还可以对它的中心部分，进行边缘增强。附图说明 [0010] 图2是用于说明倍率色像差和失真的图； [0011] 图3是用于说明对倍率色像差和失真的同时校正的图； [0012] 图4A和4B是说明对倍率色像差和失真的独立校正的图； [0013] 图5是描绘图1所示的倍率色像差校正单元的详细配置的框图； [0014] 图6A至6C是描绘图5所示的坐标变换单元的示例性配置的框图； [0015] 图7是描绘图1所示的失真校正单元的详细配置的框图； [0016] 图8是描绘图1所示的调制传递函数(MTF)校正单元的基本配置的框图； [0017] 图9是描绘有限冲激响应(FIR)滤波器的示例性系数的表； [0018] 图10是描绘图8所示的FIR滤波器的示例性配置的框图； [0019] 图11是描绘图10所示的纵向/横向边缘检测滤波器的示例性系数的表； [0020] 图12是描绘图像帧中心和目标像素之间的关系的示意图； [0021] 图13A至13C是各自描绘距离计算器的示例性输入/输出特性的曲线图； [0022] 图14A和14B是各自描绘核心化(coring)单元的示例性输入/输出特性的曲线图；以及 [0023] 图15是描绘图8所示的FIR滤波器的另一配置示例的框图。 具体实施方式[0024] 下面，参考附图详细描述本发明的示例性实施例。本发明的一个实施例提供一种图像捕获设备，其通过使用发生大倍率色像差和高失真的广视角光学系统捕获对象的图像。该图像捕获设备包括图像处理系统，图像处理系统除了进行MTF校正之外，还进行对倍率色像差的校正、对失真的校正等。毋庸置疑，配置不限于此。 [0025] 此外，在下面的说明中，假定图像由加法原色、即红色(R)、绿色(G)和蓝色(B)构成的。毋庸置疑，本发明还可以应用于图像由减法原色、即黄色(Y)、红紫色(M)和蓝绿色(C)构成的情况。 [0026] 图1是根据本发明的实施例的图像捕获设备中的图像处理系统的功能框图。图像捕获设备在外部还包括在图1中未示出的操作单元、图像存储单元和图像显示单元(监视器)。假定使用图像捕获设备作为车载照相机设备。毋庸置疑，可以以一些其它方式使用图像捕获设备。 [0027] 图像捕获设备包括控制单元100。控制单元100向图像捕获设备的所有其它单元提供控制信号(时钟、横向/纵向同步信号和其它)。也就是说，控制单元100管道化地(in pipeline)控制所有其它单元的操作。 [0028] 图像捕获设备包括成像装置110。成像装置110包括例如电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)传感器的元件，其将使用广角光学系统(未示出)捕获的光学图像转换为电信号(像素信号)。广角光学系统具有大的倍率像差和失真。成像装置110还包括拜尔阵列滤色器，其根据从控制单元100馈送的坐标值(x，y)，依次输出拜尔阵列中的RGB像素信号。控制单元100还以预定时间滞后，将馈送到成像装置110的坐标值(x，y)，依次馈送到布置在控制单元100的后续级的单元。 [0029] 在可选配置中，代替控制单元100，成像装置110响应于对时钟和横向/纵向同步信号的接收，生成坐标值(x，y)，并将它们依次馈送到布置在控制单元100的后续级的单元。 [0030] 图像捕获设备在控制单元100的后续级包括模拟到数字(A/D)转换器120。从成像装置110输出的拜尔阵列RGB图像信号是模拟信号。A/D转换器120将模拟拜尔阵列RGB图像信号转换为数字信号(像素数据)。数字信号中的每个是例如RGB中的每个颜色具有8比特的信号。一般在A/D转换器120的先前级设置自动增益控制(AGC)电路；然而，省略对其的描述。 [0031] 图像捕获设备在A/D转换器120的后续级包括拜尔插值单元130。拜尔插值单元130接收数字拜尔阵列RGB图像信号(像素数据)，通过按照RGB中的各个颜色进行线性插值，生成所有坐标位置的像素数据。 [0032] 虽然在本实施例中，作为包括拜尔阵列滤色器讨论了成像装置，但是本实施例对于包括诸如另一CMYG阵列或者RGB和红外线阵列的另一布置的滤色器的成像装置也有效。特别地，与诸如RGB的三色的类型相比，包括如早前所述的具有四色阵列的这种滤色器的成像装置需要具有较低延迟的存储器或者4端口随机存取存储器(RAM)，用于校正倍率色像差。 [0033] 图像捕获设备在拜尔插值单元130的后续级包括倍率色像差校正单元140。倍率色像差校正单元140接收经过拜尔插值的R、G和B像素数据，使用预定多项式按照RGB中的各个色度分量进行坐标变换(针对倍率色像差的坐标变换)，并且输出经过倍率色像差校正的RGB像素数据。如稍后将叙述的，可以使用具有相对小的容量和低延迟的存储器或者具有相对小的容量和多个端口的存储器(例如静态随机存取存储器(SRAM))，进行用于校正倍率色像差的坐标变换。 [0034] 图像捕获设备在倍率色像差校正单元140的后续级包括MTF校正单元150。MTF校正单元150接收经过倍率色像差校正的RGB像素数据，并且对RGB像素数据的亮度信号进行作为高频增强滤波的MTF校正，并输出经过MTF校正的RGB像素数据。本发明主要涉及这个MTF校正单元150。如稍后将叙述的，根据本发明的配置允许使用相对小规模的电路来增加朝向图像帧的端部的高频增强的强度。还特别允许在光学分辨率很可能低的距离图像帧中心的切线方向上进行强边缘增强。 [0035] 图像捕获设备在MTF校正单元150的后续级包括失真校正单元160。失真校正单元160接收已经经过倍率色像差校正和MTF校正的RGB像素数据，使用预定多项式等集中地对RGB色度分量进行坐标变换(针对失真的坐标变换)，并且输出经过失真校正的RGB像素数据。如稍后将叙述的，在针对失真校正的坐标变换中使用的存储器理想地具有比在倍率色像差校正中使用的存储器大的容量(最多大一个图像帧)；然而，用于校正失真的存储器所需要的端口的数量是一个。因此，可以使用具有高延迟的存储器(动态随机存取存储器(DRAM)等)，作为这个存储器。 [0036] 图像捕获设备在失真校正单元160的后续级包括伽马校正单元170。伽马校正单元170接收从失真校正单元160输出的RGB像素数据，按照RGB中的各个颜色，使用查找表等对数据进行预定伽马校正，并且输出经过伽马校正的RGB像素数据。在显示单元(未示出)上对从伽马校正单元170输出的像素数据进行监视器显示。 [0037] 虽然成像系统利用具有倍率色像差和失真的光学系统并产生它周边的图像质量(分辨率)相对低的图像，但是具有图1所示的配置的图像捕获设备可以提供具有低成本和相对小规模的电路的高图像质量成像系统。此外，可以用同时校正倍率色像差和失真的倍率色像差和失真校正单元替换倍率色像差校正单元140。当利用该倍率色像差和失真校正单元时，失真校正单元160变得没有必要。可以将伽马校正单元170布置在紧接在拜尔插值单元130的后续级。 [0038] 下面将详细描述倍率色像差校正单元140、MTF校正单元150和失真校正单元160的具体示例性配置。 [0039] 下面将详细地描述倍率色像差校正单元140、MTF校正单元150和失真校正单元160的特定示例性配置。 [0040] 在给出关于倍率色像差校正单元140和失真校正单元160的详细描述之前，描述倍率色像差校正和失真校正的原理。 [0041] 如在图2中示意性地示出的，当使用光学系统捕获图像时，并且当发生倍率色像差和失真时，关于由1指示的图像帧的右上角的原始位置(像素)的像素数据由于失真从这个原始位置偏移，还由于倍率色像差在RGB不同的色度分量之间不同地偏移。相应地，在图2中，作为2(R)、3(G)和4(B)分别示出了由成像装置实际成像的R分量、G分量和B分量。可以通过将关于2(R)、3(G)、4(B)的位置(像素)的RGB色度分量的像素数据复制到作为原始位置的位置(像素)1；即通过进行坐标变换，来进行倍率色像差校正和失真校正。在进行坐标变换时，利用位置2、3和4作为坐标变换源坐标，而利用位置1作为坐标变换目标坐标。 [0042] 可以从光学系统的设计数据获得失真的量和倍率色像差的量；因此，可以计算RGB色度分量相对于原始位置的偏移量。 [0043] 图3是用于说明同时校正倍率色像差和失真的方法的示意图。具体地，可以通过将关于2(R)、3(G)和4(B)的位置(像素)的RGB色度分量的像素数据复制到作为原始位置的位置(像素)1；换句话说，通过进行坐标变换，来同时校正倍率色像差校正和失真。然而，该方法的缺点在于，在该方法中，需要提供具有相对大的容量以及针对RGB中的每个具有低延迟和多个端口中的任意一个的存储器。例如，在图3所示的示例中，对于RGB中的每个需要快速的6行存储器来进行坐标变换。 [0044] 图4A和4B是用于说明独立校正倍率色像差和失真的方法的示意图。虽然在不同的色度分量之间以不同的偏移量发生倍率色像差，但是偏移量相对小。相反，以相对大的偏移量发生失真，但是对于不同的色度分量，偏移量相同。关注这一点，按照RGB中的各个色度分量对像素数据进行坐标变换(在稍后要叙述的示例中，对RB色度分量进行坐标变换，并且将RB色度分量复制到G分量的位置)，以校正倍率色像差；之后，作为一组数据，对经过倍率色像差校正的RGB像素数据进行针对失真校正的坐标变换。该方法允许独立地使用在针对倍率色像差校正的坐标变换中使用的存储器和用于针对失真校正的坐标变换的存储器。更具体地，可以使用针对RGB的快速(低延迟或者具有多个端口)的小容量存储器在针对倍率色像差校正的坐标变换中使用，并且使用在RGB之间共享的慢速(高延迟或者具有单个端口)的大容量存储器在失真校正中使用。使用独立的存储器使得成本降低。为了示出这一点，而给出了图1的系统配置。 [0045] 参考作为倍率色像差校正的示意图的图4A，对关于位置(像素)2(R)和4(B)的RB色度分量的像素数据进行坐标变换，将其复制到作为G分量的位置(像素)的3(G)。通过进行该操作实现倍率色像差校正。参考作为失真校正的示意图的图4B，作为一组数据，对经过倍率色像差校正的关于位置(像素)3的RGB色度分量的像素数据进行坐标变换，以将其复制到作为原始位置的位置(像素)1。通过进行该操作实现失真校正。 [0046] 在图4A和4B所示的示例中，对RGB分别进行处理的3行快速存储器可以令人满意地用于倍率色像差校正。另一方面，另外还需要用于失真校正的5行存储器；然而，该存储器可以是在RGB之间共享的慢速存储器，与图3相比，这使得总成本降低。 [0047] 这里讨论的失真表示要使用的投影方案中的透镜的失真。要使用的投影方案的示例包括用于获得如从照相机上方看到的图像的投影方案和用于以放大的方式显示图像的一部分的投影方案。 [0048] 图5是倍率色像差校正单元140的示意性配置图。倍率色像差校正单元140包括：用于校正倍率色像差的坐标变换存储器(行缓冲器)(SRAM)，其中，1410(R)、1410(G)和1410(B)分别用于R色度分量、G色度分量和B色度分量；坐标变换单元1420，其基于预定坐标变换算法，按照RGB中的各个颜色，计算用于倍率色像差校正的变换坐标；以及坐标变换系数表1430，其存储在坐标变换算法中使用的系数。 [0049] 使用具有相对小的容量并且还具有用于RGB的三个端口或者低延迟的存储器作为行缓冲器，可以令人任意地进行倍率色像差校正。在这个示例中，在由于倍率色像差产生的最大偏移量是20行的假设下，坐标变换存储器1410(R)、1410(G)和1410(B)中的每个都包括具有20行容量的SRAM。X方向上的存储器的大小取决于分辨率。例如，当分辨率等同于视频图形阵列(VGA)(640×480)的分辨率时，X方向上640点的大小是充分的。颜色深度是RGB中的每个颜色8比特，以8比特为单位进行到坐标变换存储器1410(R)、1410(G)和1410(B)中的每一个的写入和从坐标变换存储器1410(R)、1410(G)和1410(B)中的每一个的读取。 [0050] 因此，坐标变换存储器1410(R)、1410(G)和1410(B)中的每一个的容量是小的；因此，存储器中的每一个理想地包括在图像处理芯片中设置的3端口SRAM，以确保存储区域包含20行。当存储器是诸如SRAM的低延迟存储器时，可以以分时方式将1端口存储器用作3端口存储器。 [0051] 将经过倍率色像差校正的RGB中的各个颜色的像素数据，根据对应的坐标值(x，y)，从它的第一行开始依次写入坐标变换存储器1410(R)、1410(G)和1410(B)中的对应的一个。当将20行的像素数据写入存储器中的每个中时，从第一行开始依次丢弃像素数据，并且依次新写入后续行的像素数据来代替已丢弃的数据。因此，将进行用于校正倍率色像差的坐标变换所需的每个存储器最多20行的RGB像素数据，依次存储在坐标变换存储器1410(R)、1410(G)和1410(B)中的每个中。 [0052] 坐标值(x，y)指示一帧捕获的图像的读出位置。此外，坐标变换存储器1410(R)、1410(G)和1410(B)中的每个是要写入的行循环改变的20行的行缓冲器；因此，使用坐标值(x，y)直接作为坐标变换存储器1410(R)、1410(G)和1410(B)上的写入地址没有帮助。 因此，需要将坐标值(x，y)转换为坐标变换存储器1410(R)、1410(G)和1410(B)上的真实地址；然而，在图5中没有示出用于这样的配置。这与稍后将描述的变换后的坐标值(X，Y)和坐标变换存储器1410(R)、1410(G)和1410(B)上的读取地址之间的读取操作的关系同样存在。 [0053] 坐标变换单元1420接收作为坐标变换目标坐标的坐标值(x，y)，使用诸如多项式的预定坐标变换算法，按照RGB中的各个颜色计算用于倍率色像差校正的变换坐标，并按照RGB中的各个颜色输出作为坐标变换源坐标的坐标值(X，Y)。如图4A所示，在本实施例中，对R和B色度分量进行坐标变换，以将其复制到G分量的位置。相应地，在对于G分量，接收到输入的坐标值(x，y)的坐标变换单元1420在不进行变换的情况下将它们作为坐标值(X，Y)输出时，对于R和B色度分量，坐标变换单元1420使用预定坐标变换算法按照RB中的各个颜色，将如此输入的坐标值(x，y)变换为坐标值(X，Y)，并且输出坐标值(X，Y)。对于每一组坐标值(x，y)重复该操作。 [0054] 当假定原点在图像帧的中心时，可以用下面的方程式(1)表示坐标变换算法： [0055] X＝x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x [0056] Y＝y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y (1) [0057] 其中，abs()是()中的参数的绝对值，a(1)至a(4)和b(1)至b(4)是坐标变换系数。将坐标变换系数预先存储在坐标变换系数表1430中。 [0058] 与之前叙述的写入坐标变换存储器1410(R)、1410(G)、1410(B)并行地(实际上具有预定时间段的延时)，根据从坐标变换单元1420输出的坐标值(X，Y)(实际上为坐标值(X，Y)的地址转换值)，依次从坐标变换存储器1410(R)、1410(G)、1410(B)中读取RGB像素数据。在这种情况下，从与写入G分量像素数据的位置相同的位置处的坐标变换存储器1410(G)中，读取G分量像素数据。相反，从写入色度分量像素数据的位置偏移预定距离(即倍率色像差的量)的位置处的坐标变换存储器1410(R)和1410(B)中的对应的一个中，读取R分量像素数据和B分量像素数据中的每个。 [0059] 通过进行上述操作，从坐标变换存储器1410(R)、1410(G)和1410(B)输出经过倍率色像差校正的RGB像素数据。具体地，将坐标变换源坐标值(X，Y)处的RGB像素数据作为坐标变换目标坐标值(x，y)处的RGB像素数据输出。 [0060] 图6A至6C示出了坐标变换单元1420的各个示例性配置。图6A是如下示例性配置：不对G的色度分量进行坐标变换，而将作为输入值的坐标值(x，y)作为针对G的坐标值(X，Y)输出，同时对R和B的色度分量进行分别由针对R的坐标变换计算单元1421和针对(B)的坐标变换计算单元1422进行的、对作为输入值的坐标值(x，y)进行变换以输出针对R的坐标值(X，Y)和针对B的坐标值(X，Y)的坐标变换。因为仅针对R和B色度分量设置坐标变换计算单元，因此可以抑制电路规模。 [0061] 图6B和6C示出了对R和B色度分量通常由于倍率色像差而关于G色度分量基本对称地偏移(图2)的事实给予关注而设计的其它示例性配置。图6B示出了如下示例性配置：一个坐标变换计算单元1423计算针对坐标值(x，y)的校正量，减法单元1424从坐标值(x，y)中减去校正量以获得针对B的坐标值(X，Y)，同时加法单元1425将校正量与坐标值(x，y)相加以获得针对R的坐标值(X，Y)。另一方面，以与图6A所示的方式相同的方式，将针对G的输入坐标值(x，y)按原样作为针对G的坐标值(X，Y)输出。 [0062] 图6C描绘了如下示例性配置：设置增益电路1426，以调整针对R的校正量，以允许对称位置之间的偏离。仅使用一个坐标变换计算单元实施了图6B和6C所示的示例性配置，这使得电路规模进一步降低。 [0063] 可以提供针对R和B色度分量中的每个在其中存储输入坐标值(x，y)和输出坐标值(X，Y)之间的对应关系的查找表(LUT)，来代替图6A所示的坐标变换计算单元1421和1422，以便使用LUT可以直接获得与坐标变换目标坐标值(x，y)对应的坐标变换源坐标值(X，Y)。类似地，可以提供在其中存储输入坐标值(x，y)和校正量之间的对应关系的LUT，来代替图6B和6C所示的坐标变换计算单元1423，以便使用LUT可以直接获得与坐标值(x，y)对应的校正量。这允许省略用于坐标变换的计算，由此使得基本仅在存储器芯片上即可实现倍率色像差校正。 [0064] 图7是失真校正单元160的详细配置图。失真校正单元160包括：RGB合成单元1610，其将RGB像素数据中的每个对应于一个颜色的三个项合成为一个数据项；坐标变换存储器1620(SRAM)，在RGB像素数据的色度分量之间共享，并在失真校正中使用；RGB分离单元1630，其将合成的RGB像素数据分离为原始色度分量；校正失真用坐标变换计算单元 1640，其使用预定坐标变换算法计算用于合成的RGB像素数据的失真校正的变换坐标；以及坐标变换系数表1650，其存储要与坐标变换算法一起使用的系数。 [0065] 因为失真以相对大的偏移量发生，因此理想地使用用于最多在其中存储一个图像帧的像素数据的缓冲存储器来进行失真校正。此外，因为RGB色度分量偏移单个偏移量，因此可以令人满意地利用比特宽度等于RGB像素数据的总比特数目的单个缓冲存储器。假定分辨率是VGA的分辨率(640×480)，RGB像素数据的比特(颜色深度)的数量是RGB中的每个颜色8比特，坐标变换存储器1620是以24比特、640×480点为单位进行写入和读取的DRAM。 [0066] 考虑到成本，在图像处理芯片中难以用SRAM的形式实施如上所述需要相当大的容量的坐标变换存储器1620，1端口存储器可以令人满意地用于处置RGB；因此，理想地使用在图像处理芯片外部设置的DRAM来实施坐标变换存储器1620。 [0067] RGB合成单元1610接收经过倍率色像差校正的RGB像素数据(每次8比特)，依次将RGB像素数据合成为一个像素数据项(24比特)，并且输出像素数据。根据坐标变换目标坐标值(x，y)，将如此合成的RGB像素数据从它的第一行开始依次写入坐标变换存储器1620。 [0068] 此外，校正失真用坐标变换计算单元1640接收坐标变换目标坐标值(x，y)，使用诸如多项式的预定坐标变换算法，针对失真校正计算RGB公用的变换坐标，并且输出坐标变换源坐标值(X，Y)。与在之前叙述的倍率色像差校正中使用的相同，可以将坐标变换算法表示为方程式(1)。当然，要使用不同的坐标变换系数。预先将坐标变换系数存储在坐标变换系数表1650中。 [0069] 与之前叙述的将合成的RGB像素数据(24比特)写入坐标变换存储器1620并行地(准确地说具有预定时间段的延时)，根据从校正失真用坐标变换计算单元1640输出的坐标值(X，Y)，从坐标变换存储器1620依次读取所合成的RGB像素数据。RGB分离单元1630将从坐标变换存储器1620中读取的合成的RGB像素数据(24比特)分离为R、G和B分量中的各个分量的原始像素数据(每个8比特)。 [0070] 作为这些操作的结果，从RGB分离单元1630输出经过失真校正的R像素数据、G像素数据和B像素数据。换言之，将R像素数据、G像素数据和B像素数据复制到坐标值(x，y)或者它们的原始位置。 [0071] 在失真校正的情况下，也可以提供存储了输入坐标值(x，y)和输出坐标值(X，Y)之间的对应关系的LUT，以便使用LUT直接获得与坐标变换目标坐标值(x，y)对应的目标变换源坐标值(X，Y)。同样，这允许省略用于坐标变换的计算，由此使得基本仅在存储器芯片上即可实现失真校正。 [0072] 下面描述MTF校正单元150。图8是示出MTF校正单元150的基本配置的示意图。在MTF校正单元150中，响应于对经过倍率色像差校正的RGB像素数据的接收，色度/亮度信号分离单元1510将RGB像素数据分离为亮度信号Y以及色度信号Cb和Cr；FIR滤波器(边缘增强滤波器)1520对亮度信号Y进行高频增强(MTF校正)，色度/亮度信号合成单元1530将经过高频增强的亮度信号Y与色度信号Cb、Cr合成，由此输出RGB像素数据。 [0073] 色度/亮度信号分离单元1510例如使用下面的方程式，将RGB像素数据分离为亮度信号Y以及色度信号Cb和Cr： [0074] Y＝0.299R+0.587G+0.114B (2) [0075] Cr＝0.500R-0.419G-0.081B (3) [0076] Cb＝-0.169R-0.332G+0.500B (4) [0077] FIR滤波器1520一般包括如图9中描绘的这种5×5的滤波器，其仅接收亮度信号Y以及色度信号Cb和Cr中的亮度信号Y，并且进行预定高频增强滤波，使得通过仅对Y信号进行高频增强滤波(MTF校正)来抑制色度噪声放大。这导致获得高质量图像。 [0078] 色度/亮度信号合成单元1530接收经过高频增强的亮度信号Y以及色度信号Cb和Cr，例如使用下面的方程式合成信号，并输出RGB像素数据： [0079] R＝Y+1.402Cr (5) [0080] G＝Y-0.714Cr-0.344Cb (6) [0081] B＝Y+1.772Cb (7) [0082] 本发明涉及对FIR滤波器(边缘增强滤波器)1520的改进。利用根据本发明的实施例的FIR滤波器，允许增加朝向图像帧的端部的高频增强的强度。还允许特别在光学上很可能低的距离图像帧中心的切线方向上进行相对强的边缘增强。为了通过使用如图9所示的传统的均匀的与方向无关的均匀滤波器获得等同于从本发明的实施例获得的效果的高频增强效果，需要进行相当强的全方向边缘增强，这产生大的噪声放大的副作用。 [0083] 相反，根据本发明的实施例，特别在光学分辨率降低的切线方向上进行边缘增强，由此还允许抑制噪声放大。此外，图像的中心不需要是图像的严格中心；例如，当图像的中心由于透镜的制造公差等而偏离时，可以将光轴的中心适配为中心。 [0084] 图10是FIR滤波器1520的配置的示意图。将输入像素数据(亮度信号Y)依次存储在行缓冲器11中，并且将目标像素和所需的参考像素的像素值发送到横向边缘检测滤波器12和纵向边缘检测滤波器13中的每个。同时还将目标像素的像素值发送到加法器22。用SRAM等形成行缓冲器11，行缓冲器11优选地具有最高几行(例如5行)的容量。 [0085] 响应于对目标像素和预定参考像素的像素值的接收，横向边缘检测滤波器12和纵向边缘检测滤波器13分别进行横向(X方向)边缘方向检测和纵向(Y方向)边缘方向检测。在图11中给出了用于横向边缘检测滤波器12的系数的示例和用于纵向边缘检测滤波器13的系数的示例。在图11中由“a”指示的值是用于横向边缘检测滤波器12的示例系数，而由“b”指示的值是用于纵向边缘检测滤波器13的示例系数。这些系数值理想地依据利用的光学系统而改变。 [0086] X方向距离计算器14和Y方向距离计算器15分别计算在图像帧中心和当前根据横向同步信号和纵向同步信号正在滤波的目标像素之间X方向上的距离值和Y方向上的距离值。 [0087] 图12示出了图像帧中心和目标像素之间的关系。图像帧中心表示捕获的图像的光学中心。依据光学系统，可以根据如在图13A中给出的这种简单线性函数和如在图13B中给出的这种二阶或者高阶函数中的任意一个，进行目标像素和图像帧中心之间的距离的计算。当需要对可能由光学系统的组装误差发展而来的被称为单侧模糊的右部分和左部分之间的分辨率差进行校正时，如在图13C中给出的，可以利用关于图像的中心不对称的函数，使得应用于右手部分的边缘增强的强度和应用于左部分的边缘增强的强度彼此不同。在这种情况下，可以通过对距离应用适当的增益，来调整朝向周边增加的MTF校正的量。图13A、13B和13C中的每个指示X方向距离计算器14的输入-输出特性；Y方向距离计算器15展示与其类似的特性。 [0088] 加法器16将作为预定常数的中心部分系数“a”与X方向距离计算器14计算的目标像素和图像帧中心之间的X方向距离的值相加。加法器17将作为预定常数的预定中心部分系数“a”与Y方向距离计算器15计算的目标像素和图像帧中心之间的Y方向距离的值相加。将中心部分系数“a”与X/Y方向距离值中的每个相加，允许调整要应用于图像帧中心的MTF增强的量。此外，如果需要调整要应用于图像帧中心的MTF增强的量，可以将中心部分系数“a”设置为0，或者可以省略加法器16和17。 [0089] 乘法器18将由横向边缘检测滤波器12计算的X方向的检测到的边缘的量乘以加法器16的输出值。乘法器19将由纵向边缘检测滤波器13计算的Y方向的检测到的边缘的量乘以加法器17的输出值。换言之，乘法器18和19用于使横向/纵向边缘检测滤波器12和13的增益以便依据目标像素和图像帧中心之间的距离变化。插入加法器16和17还同时允许调整要应用于图像帧中心的MTF增强的量。 [0090] 加法器20将乘法器18和19的输出相加到一起，以获得取决于目标像素和中心之间的距离的边缘增强量。如果需要，可以对加法器20的输出进行由核心化单元21进行的核心化，以进行噪声放大抑制。加法器22将从行缓冲器11中读取的目标像素的像素值与核心化单元21的输出相加，由此获得输出像素数据。 [0091] 核心化单元21例如具有如在图14A和14B中给出的这种输入-输出特性，其用于通过从输出中截断作为噪声的预定水平或者更低的边缘分量来抑制噪声放大。可以利用图14A和14B中的任意适当的一个。因为高阈值在噪声减小中产生较大的效果，因此理想地将预定阈值设置为适当的值；然而，高阈值可能导致在图像中出现不自然的接触并且导致边缘检测的效果降低。 [0092] 可以将核心化单元设置在乘法器18和19中的每个的后续级。在这种情况下，通过将两个核心化单元的阈值设置为不同的值，可以按照各个方向适当地抑制噪声放大。 [0093] 图15是根据本发明的另一实施例的FIR滤波器(边缘增强滤波器)1521的示意性配置图。可以利用FIR滤波器1521来代替FIR滤波器1520。FIR滤波器1521与图10所示的FIR滤波器1520的不同之处在于，在横向/纵向边缘检测滤波器12和13的后续级附加地设置了核心化单元23和24。乘法器25、乘法器26和加法器27分别等同于乘法器18、乘法器19和加法器20。其余配置与图10所示的配置类似。 [0094] 使用图15所示的配置，用于核心化的阈值等同地依据图像帧中的位置而变化。因此，获得比从如图10所示的在整个图像帧中用于核心化的阈值是均匀的这种配置所获得的更大的噪声减小的效果。 [0095] 在图10或者图15所示的配置中，将横向边缘检测滤波器和纵向边缘检测滤波器与X/Y方向距离计算器等组合。这允许使用相对小规模的电路和低的功耗获得与从使图像帧在不同的部分具有不同的滤波系数的配置所获得的类似的效果。边缘检测滤波器不限于横向方向和纵向方向。可以附加地设置倾斜方向边缘检测滤波器。也在这种情况下，需要的乘法器等中的每个的数量对于方向中的每个方向仅仅是一个，因此涉及电路规模和功耗的稍微增加。 [0096] 作为本发明的又一实施例，可以针对RGB分量信号中的每个设置具有图10或者图15所示的配置的FIR滤波器(边缘增强滤波器)，使得高频增强的强度按照RGB中的各个分量信号朝向图像帧的端部增加。换言之，MTF校正单元可以仅具有针对RGB信号中的色度分量单独设置的FIR滤波器，但是没有色度/亮度信号分离单元和色度/亮度信号合成单元。具有图10或者图15的配置的FIR滤波器对于这种情况可以按其原样配置而被采用。 |
||||||
QQ群二维码
意见反馈
意见反馈