[0001] 相关内容
[0002] 本
发明要求于2012年3月5日提交的
申请号为61/606844、名称为“相机瑕疵缺陷检测”的临时
专利申请的优先权。
技术领域
[0003] 本发明的
实施例涉及通过对固态相机生成的数字图像进行
图像处理来检测固态相机的瑕疵缺陷的技术。还描述了其它的实施例。
背景技术
[0004] 当显示相机拍摄的结果数字图像时，可以通过观看到的一个或多个模糊光点来证明相机的瑕疵缺陷。模糊光点是由于数字图像的
像素与周围环境的像素不同造成的，即使相机已经拍摄了完全一致的平场校正型目标的图像。瑕疵(blemish)缺陷通常是由于划痕、污点或异物(例如尘粒)造成的，并且可能位于相机的光学成像路径的光学表面上。瑕疵可与其它的缺陷例如渐晕(vignettes)形成对比。后者通常是小的缺陷，其出现在几乎每个工业产品中，并且可以在能够校正渐晕和镜头抖动缺陷的后期图像处理中减轻。另一方面，在制造或生产线检测中，瑕疵可能严重到足以造成样品被标记为失败产品。可以利用基于图像处理的瑕疵检测
算法，其用于筛选出具有或者显示出瑕疵缺陷的产品。这些算法的目标是仅仅标示出那些具有瑕疵缺陷的产品；正在努
力提高这些算法的准确度，来降低误报的可能性。
发明内容
[0005] 数字相机模
块捕获的数字图像被缩小到较小尺寸，并利用一维的
空域滤波器对该图像分别进行
水平方向滤波和垂直方向滤波。经过水平方向滤波后的图像和经过垂直方向滤波后的图像被组合，其中，组合后的滤波图像的边缘区域和
角落区域是以与其中间区域不同地生成的。然后，对组合后的滤波图像进行
阈值处理，并且从阈值化的图像中选择出来的像素被标记为瑕疵区域。
[0006] 上述概述并没有包括本发明所有方面的详尽列表。本发明意图包括能够实践上面概括的各方面的所有合适的组合的系统和方法，还包括公开在下面的具体实施方式中以及本申请的
权利要求中特别指出的内容。这样的组合具有上面概括中没有具体提到的独特优点。
附图说明
[0007] 本发明的实施例通过示例的方式来阐述，而不受附图中图示的限制，其中附图中的相同标记表示同样的部件。需要注意的是，在此公开的本发明的“一个”或“某一”实施例中的标记不必用于相同的实施例，它们可以用于至少一个。
[0008] 图1是根据本发明实施例的瑕疵检测算法或测试方法的
流程图；
[0009] 图2是瑕疵检测方法的详细说明；
[0010] 图3描述了相机模块作为待测装置；
[0011] 图4显示了集成了相机模块的消费者
电子装置。
具体实施方式
[0012] 现在阐述本发明的几个实施例及其附图。无论何时，并没有清楚的定义实施例中描述部分的形状、相对
位置和其它方面，本发明的范围不限于仅仅描述的部分，该部分仅仅用于阐述的目的。并且，详尽的解释了多个细节，应该明白的是本发明的一些实旋例不需要这些细节也能实现。在一些情况下，并没有详尽的阐述已知的
电路、结构和技术，这样做从而不会使得对
说明书的理解不清楚。
[0013] 本发明的一个实施例是关于测试数字相机模块、集成了数字相机模块的消费者电子设备，或者其它具有数字相机模块的任意组件或装置，例如专业的数字视频或静止相机的处理。为了方便，这样的组件或装置在此一般地被成为“相机模块”或待测装置(DUT)。所述处理用于检测相机模块的固态成像
传感器捕获的数字图像中的异常像素区域。可以预料到的是一个或多个在此描述的本发明的实施例能够区分瑕疵和“正常的”镜头抖动或渐晕。后者普遍存在于几乎所有相机模块的高产量工业产品中，并且可以利用后期图像处理
软件轻松地修正。这里描述的瑕疵检测处理是由DUT执行的，不需要由DUT进行在先的镜头抖动修正或者渐晕修正。更进一步的，相比较在先技术，可以相信所述处理对于微弱的瑕疵是更加敏感的。这产生了一种测试技术，其能够更好的区分坏的产品和正常的产品，因此通过降低错误率提高了产品线的产量。
[0014] 图1是根据本发明实施例的瑕疵检测算法或测试方法的流程图。所述处理过程从向相机模块或DUT发送指令来捕获适合于检测瑕疵的平场或者统一
颜色校正目标(未显示)的初始数字图像3开始。所述目标是经过精确构造的完全平的基底，在其上形成具有一致灰度的图像，其被明亮的、均匀的照亮。所得到的所述目标的数字图像3被期待是整个图像具有本质上统一的像素(相同的强度值)。然而，实际上，瑕疵可能出现，表现为比周围环境稍微暗或者具有更小强度的像素集，这被认为是严重的缺陷，其检测可能导致DUT排除。注意到，瑕疵通常是难以检测的，与脉冲式的死像素相反，瑕疵的边缘相对平滑并且穿过整个图像变化缓慢。在一个例子中，初始数字图像3是原始图像，即，被最低限度地处理从而不易于被用于位图图形编辑器或网页浏览器。原始图像可能包含某些缺陷，例如噪声和渐晕。渐晕通常被认为是图像强度从中心放射状的下降，实质留下一些小亮点(其边缘或角落比中心区域更暗)。这种缓慢变化类型的图像
信号可能使得瑕疵检测算法变得困难，尤其是当瑕疵区域的边缘与渐晕的边缘类似的时候。
[0015] 在图1所述的详细说明的示例中，初始图像3是颜色滤波阵列或
马赛克(CFA)格式的原始图像(例如，具有贝叶斯颜色滤波阵列或马赛克的传感器捕获的)。如图所述从CFA格式的原始图像中分出一个或多个组分的颜色平面。在所述组分的颜色平面的任意一个上进行随后的图像处理，在这种情况下分别是四个颜色平面或四个颜色通道(红色，绿色1，绿色2和蓝色)。首先，缩放选中的颜色平面到较小尺寸(低
分辨率)的缩放图像5，从而降低噪声并且降低计算时间。
[0016] 其次，在相同的颜色平面上分别进行两次滤波操作。首先，进行水平方向滤波来获得水平滤波图像7，其中，水平方向的一维空域滤波器(这里成为的核h)逐行的对缩放后的图像5的每个像素进行滤波。这可以用下面的公式表示(N个系数)：
[0017] 滤波后的像素＝像素＊W1+像素＊W2+...像素＊WN 公式【1】
[0018] 在附图2中进行了更加详细的说明，其中一维空域滤波器的核h为9(N＝9)个系数的宽度，例如，(系数为【+1/2，0，0，0，-1，0，0，0，+1/2】。这是能够突出瑕疵的
带通滤波器的一个示例。为了匹配任何预期的瑕疵大小，应该提前选择核h的宽度或者大小(系数的数量)。在运行特定产品的少数几个DUT的初始测试期间确定所述大小；然后，基于发现的任何瑕疵的大小在产品运行期间调整或适配所述大小。尤其是，核h应该恰好足够大来包围预期的瑕疵，但是不能更大到以致于降低了整个检测过程的
精度。
[0019] 除了水平方向滤波之外，还对缩放图像5进行垂直方向滤波来生成垂直滤波图像9。在一个实施例中，用于水平滤波的相同的核h可以旋转90°来生成一个一维空域垂直滤波器。从附图2的描述中还可以看出逐列的将垂直滤波器应用到每个像素上。在水平和垂直滤波中，所得到的滤波图像7、9本质上具有与缩放图像5相同的大小或者分辨率。但是注意到，所述两个一维空域滤波器可以是不同的大小，并且它们还可以具有不同的系数。
[0020] 附图1还描述了一个可选的操作，即在进行水平方向滤波之前形成中间图像6(其保持与缩放图像5相同的大小)。中间图像6通过对缩放图像5进行垂直方向降噪滤波而获得。降噪滤波器与任何合适的低通滤波技术一致，例如基于集中趋势的测量，如均值滤波器或中值滤波器。相似的，生成要进行垂直方向滤波的中间图像8。其可以通过在对缩放图像5进行水平方向降噪滤波而获得(例如中值滤波器)。
[0021] 一旦生成了水平方向滤波图像7和垂直方向滤波图像9(直接基于缩放后图像5，或者间接基于中间图像6、8)，两个滤波图像7、9则结合到一起来生成组合后的滤波图像11(其可以保持与图像7、9中的每个相同的大小或分辨率)。仍然参见图2，其示出了组合操作的详情。尤其是，组合后的滤波图像11的边缘区域(EL，ER，ET，EB)和角落区域(TL，TR，BL，BR)与其中间或中心区域M不同地生成的。尤其是，中心或中间区域Mc通过平均(或者通过其它合适的线性组合或其它统计学的测量的组合)水平滤波图像7的对应中间区域Mh和垂直滤波图像9的中间区域Mv而生成。也就是说，Mc的像素可以经由平均它所对应的Mh和Mv的像素而计算。
[0022] 对于角落区域(TLc，TRc，BLc，BRc)，这些区域中的每个的像素可以被设置为与具有更小
能量(在滤波图像7、9之间)的对应的角落区域中的它们的对应像素相同。因此，举例来说，组合图像11的左上角的像素TLc应该等于TLh或者TLv的对应的像素，其中基于两者中的哪一个具有更小能量或者更小的整个像素强度。这由下述公式指示：
[0023] Mc＝average(Mh，Mv)
[0024] TLc＝min(TLh，TLv)
[0025] TRc＝min(TRh，TRv) 公式【2】
[0026] BLcmin(BLh，BLv)
[0027] BRc＝min(BRh，BRv)
[0028] ELc＝ELv ETc＝ETh
[0029] ERc＝ERv EBc＝EBh
[0030] 为了确定两个角落区域中的哪一个更小，通过例如角落区域中所有像素值之和来计算每个角落区域的能量。无论角落区域中的哪一个具有更小的和，其都成为组合图像11的对应的角落区域。
[0031] 对于垂直边缘区域ELc，ERc，它们中的每个的像素应该被设置为等于垂直滤波图像9中相对的边缘区域。对于水平边缘区域ETc，EBc，它们中的每个的像素应该被设置为等于水平滤波图像7中相对的边缘区域。
[0032] 当使用水平一维空域滤波器时，与中间区域相比，区别地对待角落和边缘区域，这是出于向缩放图像5(或者向中间图像6)引入两个推断的垂直填充区域的需要。区别对待角落和边缘区域也是由于垂直一维空域滤波的应用(这使得需要引入两个推断的水平填充区域)。图2中虚线所示的矩形表示所述四个填充区域。例如，当向缩放图像5的左边多列像素应用所述水平一维空域滤波器时，需要左边缘的填充区域。类似的，当向缩放图像5的右边多列像素应用所述水平一维空域滤波器时，需要右边缘的填充区域。当向缩放图像的上边多行应用所述垂直一维空域滤波器时，需要上边缘的填充区域，当向缩放图像的下边多行应用所述垂直一维空域滤波器时，需要下边缘的填充区域。左边缘和右边缘填充区域的宽度大约是水平一维空域滤波器宽度的一半，上边缘和下边缘填充区域的宽度大约是垂直一维空域滤波器宽度的一半。所述每个填充区域中的像素应该被设计成，通过外推，延伸它们在缩放图像5的邻接部分的阴影曲线。
[0033] 相对于水平滤波后的图像7、9的角落区域，可以略微的放大组合图像11的角落区域。尤其是，水平或垂直滤波图像7、9的预期角落区域是边长大约是一维空域滤波器宽度的一半的正方形。因此，举例来说，如果滤波器的核h是9个像素的宽度并且被用于垂直和水平方向滤波，那么预期的角落TLh和TLv中的每个都是5x5像素的正方形。然而，可以通过定义相对应的角落TLc(在组合图像11中)略微放大来获得更好的结果，例如8x8像素的正方形。从图2的详细描述中可以看出角落区域TLc比边缘区域ELc和ETc略微宽一些。放大后的角落区域TLc的像素值可以与水平滤波图像7或者垂直滤波图像9(基于哪一个具有更小能量)中相应的放大后的相对角落区域相同。
[0034] 回到图1，生成组合滤波图像11后，所述处理过程还继续包括进一步的去噪操作，随后是被设计为仅仅保留瑕疵缺陷的阈值处理操作。例如，大于阈值的像素被标记为瑕疵。然后，记录这组瑕疵的位置(坐标)为瑕疵区域，一起记录的还有所述区域的最大像素强度和所述区域全部像素之和。后两者表示瑕疵区域的严重程度。
[0035] 如上所述，本发明的一个实施例可以是其上存储有指令的机器可读介质(例如微电子
存储器)，这些指令使得一个或多个
数据处理组件(这里一般指“处理器”)执行DUT配置和上面描述的包括配置相机模块(待检测设置，DUT)的曝光设置和向DUT发送捕获校正目标的图像的指令的数字图像处理操作，数字图像处理例如是捕获图像的降噪、缩放、滤波、图像组合和阈值处理。在另外的实施例中，可以通过用于测试相机模块的特殊的测试系统的
硬件组件来执行这些操作中的一部分。所述测试系统可以包括硬件逻辑(例如，专用的
数字滤波器模块，控制和定时逻辑)用于特定的操作或组件。所述测试系统的操作可选的可由编程数据处理组件和
固件硬件电路组件的任意组合执行。
[0036] 在一个实施例中，测试相机模块的系统可以包括下列组件。图3所示的是用于工业测试环境的测试系统的示例，其中DUT是一个能够集成到便携式消费者电子装置例如附图4中所详述的智能电话、
平板电脑或者
笔记本电脑的相机模块。所述测试系统包括模块测试设备20，其中的曝光控制单元22连接到相机模块或者待测设备(DUT)用于向DUT发送捕获数字图像的指令。缩放器单元23连接到相机模块，用于接收数字图像并且空间地缩放数字图像到更小的分辨率。提供的水平方向滤波器24，用于通过所述缩放数字图像的一个实例，所述滤波与附图1描述的水平方向滤波缩放图像5的操作是类似的。提供的垂直方向滤波器25，用于通过所述缩放数字图像的另一个实例，所述滤波与垂直方向滤波缩放图像5的操作是类似的。组合器26用于将水平方向滤波器24的输出图像和垂直方向滤波器25的输出图像组合成具有与每个输出图像(例如，与附图1和附图2中的组合图像相类似)相同分辨率的组合图像。然后，
鉴别器单元28将从组合图像中选择出来的像素分类为瑕疵区域。所述鉴别器可以执行与上面描述的去噪和阈值化组合滤波图像11相似的操作，并且将从阈值化的图像中选择出来的像素标记为瑕疵区域。然后生成瑕疵缺陷列表，随后通过自动机械处理或通过人工的“手动的”估计所述列表来确定是否DUT已经通过了瑕疵缺陷测试(并且因此DUT是否应该从可接受的工业产品列表中移除)。
[0037] 附图中描述和展示了特定的实施例，应该知晓的是所述实施例仅仅是本发明的例证性的而不是限制性的，并且本发明并不局限于所述展示和描述的特定的结构和布局，因为其它的
修改对于本领域技术人员来说是可以发生的。例如，虽然所阐述的瑕疵检测技术被用于贝叶斯格式原始图像的一个或多个成分颜色平面，这里所阐述的所述瑕疵检测技术也可以用于全色原始图像(例如具有直接从不具有颜色滤波阵列或马赛克的全色成像传感器生成的RGB像素)的初始图像，Y-通道图像(例如，从YUV颜色空间图像获得的)，或者颜色滤波器马赛克原始图像的去马赛克或全色插入版本。后者可能已经在其上执行了后处理，例如在进行瑕疵检测算法之前的
白平衡和伽马校正。说明书因此被认为是例证性的而不是限制性的。
