在传统上，作为用于检查一个输出图像中包含的缺陷的方法，已经 提出了一种基于正规化相关方法的缺陷检查方法。这种缺陷检查方法的 一个优点是，甚至当由于照明条件的变化使得用于检查的扫描图像的对 比度与一个参考图像的对比度不同时，也能以正确方式进行缺陷检查。
根据以下公式1计算从参考图像数据产生的具有N×M像素的模板图 像T(i，j)与从用于检查的扫描图像提取的图像I(i，j)之间的正规化相关值 C： $C=\frac{\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{M}{\Sigma }}\{I(i,j)-\mathrm{\mu I}\}·\{T(i,j)-\mathrm{\mu T}\}}{\sqrt{\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{M}{\Sigma }}{\{I(i,j)-\mathrm{\mu I}\}}^2·\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{M}{\Sigma }}{\{T(i,j)-\mathrm{\mu T}\}}^2}}$ $\mathrm{\mu I}=\frac{1}{\mathrm{NM}}·\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{M}{\Sigma }}I(i,j)$ $\mathrm{\mu T}=\frac{1}{\mathrm{NM}}·\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{M}{\Sigma }}T(i,j)...........\left(1\right)$
当模板图像与从用于检查的扫描图像提取的图像完全一致时，正规 化相关值C变为1。另一方面，当模板图像与从用于检查的扫描图像提取 的图像完全不一致时(当模板图像和所提取的图像代表明暗彼此反转的 图形时)，正规化相关值C变为-1。
在实际的缺陷检查装置中，模板图像对应于不包含噪声的理想无缺 陷数据，而用于检查的扫描图像对应于以下这种图像数据，即在图像记 录介质上记录的、从图像输出装置输出的、从一个图像转换得到的数字 数据。因此，由一个用于把图像转换到数字数据的转换单元产生的误差 和噪声被混合到用于检查的扫描图像中。
结果，甚至当用于检查的扫描图像没有缺陷时，它的正规化相关值 也不总是等于1。因此，当正规化相关值大于或等于一个预定阈值时， 可以判断出参考图像与用于检查的扫描图像一致，因此检查对象图像没 有缺陷。
对于该基于正规化相关的缺陷检查方法，在以下现有技术中已经提 出几个问题和解决手段。
在JP-A-Hei.9-62841中揭示的“图像匹配方法和图像匹配装置”中， 当一个图像具有诸如图像背景的低灰度级级值(暗图像部分)时，这种 强制找出一个具有较高相关值的部分的基于正规化相关值的缺陷检查方 法存在一个问题。在本例中，在计算相关值C时，采用灰度级级值自身 的累积值，而不是已经根据平均电平和灰度级级值之间的差校正的灰度 级级值后获得的累积值。因此，在不具有灰度级级值的暗背景中可以避 免正规化相关值中包含的这种误差。
而且，在JP-A-Hei.7-121711中揭示的“图形匹配中的正规化相关的 相关值的的相关值校正装置/方法”中指出了以下问题。即，甚至当正规 化相关的相关值等于1时，用于检查的扫描图像和参考图像二者也不总 是从具有相同反射率分布的对象上捕获的。在本例中，基于参考图像的 灰度级级值的平均值、用于检查的扫描图像的灰度级级值的平均值、用 于检查的扫描图像的标准偏差、和参考图像的标准偏差来确定校正量， 以校正相关值。
但是，鉴于缺陷检查是在输出图像的整个区域上执行的，存在一些 不能通过从参考图像产生的模板图像来计算正规化相关值的情况。
例如，可以是这样一种情况，即，参考图像的模板图像中没有灰度 级值变化并且模板图像是在位于写有字符的文件的外围部分处的空白部 分或具有均匀灰度级值的部分(例如图像)中产生的。在此情况下，上 述公式中定义的模板图像T(i，j)不依赖于i和j；模板图像中的每个灰度级 值变为一个平均值(T(i，j)＝μT)，上述公式右侧的分母和分子变为零；因 此，正规化相关值C变得不稳定。换句话说，当在用于检查的扫描图像 的该部分的一个位置处存在缺陷时，不能进行缺陷检查。
根据JP-A-Hei.62841中揭示的该技术，甚至当参考图像的模板图像 中没有灰度级值变化时，也可以计算相关值。但是，该技术具有以下严 重问题。也就是说，相对于图像匹配装置的正规化相关带来的缺陷检查 的优点，即图像灰度级值的偏移变化和照明光量的变化，丧失了该图像 匹配装置的较高强健性。
而且，在JP-A-Hei.7-121711中揭示的技术中，当参考图像的模板图 像中没有灰度级值变化时，无法解决以下一个基本问题，即，该技术不 能计算正规化相关值。

本发明的目的是提供一种图像缺陷检查装置。也就是说，在利用正 规化相关方法的图像缺陷检查装置中，甚至当参考图像的模板图像中没 有灰度级值变化时，也可以计算正规化相关值，可以以高精度检测缺陷， 并且该图像缺陷检查装置可以具有非常宽的应用范围而不受图像对象的 任何限制。
本发明可以实现该目的。换句话说，根据本发明的图像缺陷检查装 置把参考图像数据与用于检查的扫描图像进行比较以判断该用于检查的 扫描图像上是否存在图像缺陷。基于参考图像数据从图像输出装置输出 该用于检查的扫描图像。用于检查的扫描图像在图像记录介质上形成。 图像缺陷检查装置包括：图像获取单元，存储单元，模板图像产生单元， 对应图像提取单元，数据嵌入单元，正规化相关值计算单元，和缺陷判 断单元。图像获取单元获取从图像输出装置输出的用于检查的扫描图像 以把所获取的用于检查的扫描图像转换为数字数据。存储单元存储参考 图像数据和由图像获取单元转换的数字数据。模板图像产生单元从参考 图像数据产生模板图像。对应图像提取单元从存储单元中存储的数字数 据提取位于与模板图像对应的位置处的预定图像。数据嵌入单元把希望 的相同图形数据嵌入模板图像和由对应图像提取单元提取的预定图像。 正规化相关值计算单元根据已经被数据嵌入单元嵌入了相同图形数据的 模板图像和所提取的图像来计算正规化相关系数。缺陷判断单元把由正 规化相关值计算单元计算的正规化相关系数与预定阈值进行比较以获得 二者之间的大小关系，从而判断该用于检查的扫描图像是否包含缺陷。
在根据本发明的图像缺陷检查装置中，数据嵌入单元把预定数据图 形嵌入参考图像数据和用于检查的扫描图像的数字数据的相同位置。因 此，正规化相关值计算单元通过采用已经被嵌入了图形数据的这些图像 数据来计算正规化相关系数。结果，甚至当图像数据没有灰度级值变化 时，也可以由于嵌入的图形数据而发生灰度级变化，从而可以计算正规 化相关系数。
附图说明
图1是用于解释根据本发明一个实施例模式的图像缺陷检查装置的 方框图；
图2是图像缺陷检查装置的外观图；
图3是用于说明图像缺陷检查装置的处理顺序操作的流程图；
图4是用于表示通过划分一个参考图像获得一个模板图像的图；
图5是用于表示所嵌入数据的布置的图；
图6是用于表示在所嵌入数据中以棋盘图形布置多个像素的布置示 例的图；
图7是用于表示在所嵌入数据中以棋盘图形布置多个像素的另一个 布置示例的图；
图8是用于表示在所嵌入数据中以行形状布置多个像素的布置示例 的图；
图9是在采用接触传感器的情况下图像缺陷检查装置的外观图。

现在参考附图对本发明的实施例模式进行说明。在该说明中，本发 明被构造为一个激光打印机的打印处理系统(图像输出装置)的一部分。
图1是用于解释应用了本发明图像缺陷检查装置的打印处理系统的 示意方框图。图像缺陷检查装置被安装在图2的激光打印机(此后称为 “打印机”)201上。
如图1所示，在打印处理系统中，CPU 101，RAM 102，硬盘驱动器 (HDD)103，外部接口电路(外部接口)104，IOT控制器105(IOT： 图像输出终端)，和用于CCD相机的CCD相机接口107通过数据总线108 相互连接。采用外部接口104以便从外部输入打印数据。打印数据以页 面描述语言描述。IOT控制器105对应于一个用于连接图像输出终端(IOT 未示出)的接口电路。图像输出终端通过利用从激光束产生的光束以输 出打印纸基于静电潜像在纸上打印一个图像。CCD相机106作为一个用 于把打印图像转换为数字数据的单元。CCD相机接口电路107用于连接 打印处理系统的CCD相机106。
用于存储程序的ROM 109连接到CPU 101。CPU 101从ROM 109读 出该程序，从而适当地定时执行所读取的程序，以便控制打印控制处理 操作和图像缺陷检查处理操作(将在后面说明)。
而且，CPU 101通过数据总线108向/从其它硬件发送/接收在打印处 理操作和图像缺陷处理操作中使用的图像数据。作为接口电路104的接 口部分，例如可以采用一个连接到个人计算机(PC)的打印机板的并行 端口和/或一个以太网(R)接口。
硬盘驱动器103具有用于存储通过外部接口104输入的打印数据的存 储区域和用于存储通过把打印数据扩展为位图所产生的打印处理后的一 页图像数据的另一个存储区域。
RAM 102包含一个用于执行打印处理操作的区域，即一个用于执行 打印处理操作的工作区域，和一个用于缓冲待发送到IOT控制器105的图 像数据(通过把打印数据扩展为位图所获得的图像数据，即原始图像数 据)的缓冲区域。此外，RAM 102包含一个用于执行图像缺陷检查/处理 操作的区域，即一个用于执行用于输出检查的图像处理操作的工作区 域，和一个用于存储捕获的图像数据(即用于检查的扫描图像数据)的 区域。
IOT控制器105以IOT的处理顺序把图像数据重新布置，并控制IOT 以产生激光二极管的信号。用于CCD相机106的CCD相机接口电路107对 CCD相机106的输出数据进行模数转换(此后称为A/D转换)，然后把A/D 转换的输出数据存储在RAM 102中。
如图2所示，该CCD相机106被设置在一位置使得它可以捕获打印机 201的出纸盒203的上表面上的经打印处理后的纸202的整个区域。
图像缺陷检测处理部100主要由用于检查的扫描图像数据预处理 部、参考图像数据预处理部、和正规化相关计算处理部构成。
用于检查的扫描图像数据预处理部包括明暗校正部110、光学失真 校正部111、透视转换部112、和区域提取部113。用于检查的扫描图像 数据(捕获图像)通过数据总线108被输入明暗校正部110。进行明暗校 正和光学失真校正以便校正CCD相机106的特性、捕获操作的照明条件 等等。
透视转换部112对打印图像(纸尺寸的图像)进行校正。换句话说， 执行荧光透视转换以便校正经打印处理后的纸202的图像(用于检查的 扫描图像)，该图像是由图2所示位于出纸盒203上方的CCD相机106沿 着倾斜方向捕获的。区域提取部113执行从用于检查的扫描图像(捕获 图像)提取一个所需纸尺寸的区域的处理操作。
参考图像数据预处理部包括分辨率转换部114、模糊(渐晕)处理 校正系数计算单元115、和模糊处理单元116。参考图像数据通过数据总 线108被输入分辨率转换部114。分辨率转换部转换该参考图像，使得参 考图像的分辨率与由区域提取部113提取的图像的分辨率一致。而且， 模糊处理校正系数计算单元115计算一个模糊处理校正系数，该系数把 参考图像的边沿部分的模糊程度校正到基本等于捕获图像的边沿部分的 模糊程度。然后模糊处理单元116基于该模糊处理校正系数执行该参考 图像的模糊处理。
正规化相关计算处理部包括模板图像产生部117、对应图像提取部 118、灰度级确定部119、数据嵌入部120和121、正规化相关计算处理部 122、和缺陷判断部123。
CPU101通过数据总线108把模板图像的尺寸发送到模板图像产生部 117。模板图像产生部117从参考图像数据预处理部获得的数据中切出一 个正规化相关值计算所需的模板图像。具体地，模板图像产生部117对 由参考图像数据预处理部处理的参考图像进行划分，以生成多个模板图 像，并继而为每个模板图像分配号码。对应图像提取部118从用于检查 的扫描图像数据预处理操作获得的数据中提取一个对应图像。对应图像 具有与模板图像相同的尺寸，并且位于与模板图像相同的位置。具体地， 首先对应图像提取部118对由用于检查的扫描图像预处理部处理的捕获 数据进行划分，并为每个划分后的捕获图像分配号码。然后，对应图像 提取部118输出，例如，对应于模板图像No.1的划分后的捕获图像No.1 (即，对应图像)。
灰度级值确定部119根据模板图像的灰度级值数据确定待嵌入的数 据的灰度级。在数据嵌入部120和121中，根据预定图像而具有特定灰度 级值的数据分别被嵌入模板图像和对应图像。正规化相关值计算处理部 122根据模板图像和对应图像计算正规化相关值。基于计算结果，缺陷 判断部123判断是否存在缺陷。
接着，将参考图3所示流程图对根据本实施例的打印处理系统的处 理操作进行说明。当打印机进入等待状态时(S300)，CCD相机106响 应于来自CPU 101的指令，以周期性方式捕获位于出纸盒203上方的区域 以输出一个捕获图像。
CPU 101把捕获图像与存储器中存储的出纸盒203的图像进行比较， 并由此判断出纸盒203上是否有纸。当出纸盒203上有纸时，CPU 101把 一个图像可检查标志设置为OFF，并继续处于等待状态。当出纸盒203上 没有纸时，CPU 101把图像可检查标志设置为ON，并连续处于等待状态。
当CPU 101在等待状态下接收到一个打印作业(S301)并且图像可 检查标志(S302)被设置为OFF时，CPU 101执行正常打印处理操作 (S304)。当图像可检查标志(S302)被设置为ON时，CPU 101在打印 作业的第一张图像上执行图像检查。
CPU 101执行第一张图像的打印处理操作(S303)，把扩展的图像 数据发送到IOT控制器105，并且还把扩展的图像数据存储到HDD 103 中。当完成了最后图像数据的表现(rendering)处理操作时，CPU 101 等待从IOT控制器105发出的第一张图像处理完成信号(S308)。当发送 了第一张图像处理完成信号时，CPU 101在经过预定时间后把一个触发 信号发送到CCD相机106(S309)。
CCD相机106与该触发信号同步地打开一个快门。此时，该快门恰 在经打印后的纸已经被输出到出纸盒203上后打开。当一个打印作业打 印多张图像并且在步骤S303中定义的一张图像的打印处理操作结束时， CPU 101与上述图像处理操作并行地执行剩余的打印处理操作。CCD相 机接口电路107把由CCD相机106捕获的图像数据转换为数字图像信号， 然后，数字图像信号被存储在存储器(RAM 102)中。
所存储的图像数据由明暗校正进行处理(S310)，然后，由光学失 真校正进行处理(S311)。接着，利用边沿检测操作提取一个梯形原始 图像中的坐标值(S312)以计算荧光透视转换操作之前的校正系数 (S313)。
接着，通过实际地进行荧光透视转换处理操作把具有梯形形状的原 始区域几何地转换为矩形形状的原始区域(S314)。接着，通过利用作 为背景的出纸盒203的颜色与纸边沿的白色之间的差，从所转换的图像 中提取矩形原始区域中的坐标值(S315)，然后，把该坐标值发送到原 始图像数据的分辨率转换处理操作(S316)。
接着，重新计算矩形区域的校正系数，使得在步骤S313计算的校正 系数可以应用于矩形转换的图像(S317)。接着，仅从在步骤S315中提 取的坐标值中切出原始区域(S318)，然后，把切出的原始区域存储在 存储器(RAM 102)中。
另一方面，对于HDD 103中存储的图像数据，通过基于在步骤S315 中提取的矩形原始区域的坐标值，使用线性插值方法等来执行分辨率转 换处理操作(S316)。随后，执行模糊处理操作(S319)，然后，把所 得图像数据存储在存储器(RAM 102)中。该图像数据被用作参考图像 数据。
执行模糊处理操作的原因如下：即，由于参考图像数据具有理想的 可变灰度级色标特性，因此执行与不能从捕获图像中去除的模糊特性等 同的模糊处理操作，使得在进行正规化相关值计算处理操作(将在后面 说明)时发生的误差可以变得最小。
接着，把计数器(未示出)设置为(i＝1)(S320)。如图4所示， 在模板图像产生部117中把参考图像数据划分为N个模板图像Ti(i＝1到 N)(S321)。划分的总数和划分方法可以根据希望确定(当参考图像 数据较小时，不需要对小参考图像数据进行划分)。而且，当不进行整 个原始图像的缺陷检查时，可以划分它的一个部分区域。
尽管位置分辨率和尺寸分辨率与CCD相机的像素数和捕获条件有 关，但是一般来说，划分得越窄，在缺陷检测操作中图像缺陷的位置分 辨率和尺寸分辨率的改善就越大。
在本实施例模式中，当把A4尺寸(由JIS定义)的图像用作缺陷用 于检查的扫描图像时，该图像最好被划分为大约50到1000个图像区域。 但是，本发明不限于上述划分。可以构想另一种划分方法。即，当选择 划分数为一个较小的数时，可以首先进行是否存在缺陷的粗略判断。然 后，当更精细地划分图像时，可以进行是否存在缺陷的精确判断。
接着，把这些划分的图像中的一个图像作为在缺陷检查中使用的模 板图像401(参见图4)。然后，由数据嵌入部120把数据嵌入模板图像401 (S322)。
灰度级值确定部119基于模板图像的像素数据的统计值(例如平均 值、方差值、峰值、谷值等)确定待嵌入的数据的灰度级值(在本实施 例中，使用平均值作为统计值)。而且，可以通过采用所提取的图像数 据的一个统计值而不是模板数据的统计值来确定待嵌入的数据的灰度级 值。
当模板图像的像素数据的平均值大于一个图像的中间灰度级值(例 如，256灰度级级的情况下的128)时，灰度级值确定部119把使模板图 像的像素数据的平均值变小的值确定为待嵌入的数据的灰度级值。反 之，当模板图像的像素数据的平均值小于图像的中间灰度级值时，灰度 级值确定部119把使模板图像的像素数据的平均值变大的值确定为待嵌 入的数据的灰度级值。
希望的是，以如下方式设置待嵌入的数据的灰度级值，即，使得当 不存在缺陷时，正规化相关值在用于检查的扫描图像的整个区域上不怎 么变化。例如，当使用图4所示的白色部分的模板图像时的正规化相关 值与当采用图4所示的字符部分的模板图像时的另一个正规化相关值之 间没有特定变化。
在本实施例模式中，当模板图像的平均灰度级值大于或等于128时， 那么灰度级值数据50作为256灰度级级的图像数据被嵌入。另一方面， 当模板图像的平均灰度级值小于或等于128时，那么灰度级值200作为256 灰度级级的图像数据被嵌入。另选地，可以根据平均灰度级值的一个相 对值来确定待嵌入的数据的灰度级值。
待嵌入的数据的布置方式如下确定，即，被嵌入了数据的模板图像 的像素数据的方差值(或者，标准偏差)不变为零。图5表示已经嵌入 了数据的像素500和未嵌入数据的像素501被交替布置的示例。待嵌入的 数据可以被布置为，使得分别包括多个像素的多个单元形成图6和图7所 示的棋盘图形。否则，待嵌入的数据可以被布置为图8所示的行形状。
接着，以与参考图像数据完全相同的方式对已经执行了区域切出处 理操作(S318)的图像进行划分。从用于检查的扫描图像中提取与模板 图像的位置和尺寸对应的Tn图像。
由于处理系统中包含的噪声，即使这种没有缺陷的用于检查的扫描 图像也不能完全与参考图像数据一致。结果，提取与模板图像的位置对 应的图像和位于该对应图像的附近(几个像素内，例如，10个像素)的 所有图像(S324)。
此外，基于模板图像产生的待嵌入数据以与S322完全相同的方式被 嵌入多个所提取的图像中。正规化相关计算处理单元122计算多个所提 取的图像与模板图像之间的正规化相关值(S326)。
假设一个具有计算结果中的最大正规化相关值(S327)的所提取图 像对应于模板图像。判断最大正规化相关值是否大于随后设置的缺陷判 断部123的阈值(S328)。
当不具有缺陷的用于检查的扫描图像的位置与参考图像数据的位置 完全一致时，仅可以提取对应于该位置的模板图像的图像(S324)。在 此情况下，由于对于正规化相关值仅有一个计算结果(S326)，不再需 要用于选择正规化相关值的最大值(S327)的处理操作。
当计算结果大于阈值时，判断出用于检查的扫描图像没有缺陷。当 计算结果小于阈值时，判断出用于检查的扫描图像有缺陷。对于缺陷判 断部123的阈值，预先根据一个没有缺陷的打印图像计算一个平均正规 化相关值，然后采用该平均正规化相关值作为阈值。
还应该注意，对于数据嵌入操作，仅当模板图像的灰度级值的方差 (或标准偏差)等于零或近似等于零时，才可以嵌入数据(例如，不超 过0.01)。
当选择最大正规化相关值时(S327)，把计数器的计数值递增1 (S329)，并且把其结果与模板图像的数量N进行比较(S330)。当该 结果不等于模板图像的数量N时，在步骤S321定义的处理操作中选择第i 个模板图像，然后重复进行相同处理操作。在步骤S330中i等于N的情况 下，完成缺陷检查(S331)。
当步骤S328中定义的处理操作中检测到图像缺陷时，把划分数量(即 与缺陷尺寸有关的信息)、i的值(即位置信息)、和正规化相关值(即 与缺陷的尺寸和浓度有关的信息)提供给对应处理操作。因此，可以掌 握与用于检查的扫描图像中的缺陷的尺寸、浓度和位置有关的近似值。
在此阶段，可以在用户界面上发出一个警告通知，并且可以把警告 通知发到一个试图利用打印管理软件通过网络来打印图像的个人计算 机。此外，可以利用一个远程维护系统通过网络把通知发送到一个打印 机维护商(S332)。
还应该注意，在本实施例中，采用CCD相机106作为一个用于把用 于检查的扫描图像转换为数字数据的单元。另选地，如图9所示，可以 在出纸口提供一个接触传感器(例如，线路传感器(line sensor))。在 该另选情况中，不再需要光学失真校正处理(S311)，梯形原始区域坐 标提取处理(S312)，荧光透视转换处理操作之前的校正系数计算 (S313)，和荧光透视转换处理操作(S314)。
如前面详细说明的，根据本发明，甚至在模板图像的像素的方差值 等于零的情况下，也可以通过利用非常简单的处理方法执行正规化相关 值的计算，来找出对应于该模板图像的捕获图像(用于检查的扫描图像) 中存在的缺陷。此外，由于对是否存在缺陷的判断是以块单位进行的， 因此可以检测缺陷的近似位置、缺陷的近似尺寸以及缺陷的近似浓度。 而且，在接收到该缺陷检测结果时，可以在打印机和复印机的维护中有 效地利用该缺陷检测，从而可以减少维修成本。