[0002] 本专利申请要求2010年10月19日提交的美国临时专利申请No.61/394,428的权益，其公开内容全文以引用方式并入本文。
技术领域
[0003] 本
发明涉及自动检测系统，例如用于检测移动幅材的计算机化系统。
背景技术
[0004] 已经证明用于分析移动幅材的计算机化检测系统对现代制造操作至关重要。例如，部署基于图像的检测系统的做法正变得日益普遍，该基于图像的检测系统可自动根据用光学检器(如
照相机)获取的数字图像对已制造产品的
质量进行分类。这些检测系统通常依赖于复杂的技术，如
机器学习、图案识别和
计算机视觉技术。
[0005] 一些检测系统采用了通常称之为“分类器”的
算法，该算法为每个已获取的数字图像(即“样品”)分配评级，从而指示出样品是可接受的还是不可接受的，或在最简单的情况下，是对应于变化程度或质量
水平的更复杂的标注组。这些类型的检测系统通常在两个单独的处理阶段中执行任务。
[0006] 第一个步骤是离线执行步骤，称之为“训练阶段”。在训练阶段中，由一组专家为一组代表性样品图像手动分配评级(本文也称为“标注”)。专家可以是(例如)在手动检查幅材产品并确定潜在
缺陷方面具有丰富经验的工艺工程师。根据样品图像，为
训练数据开发一种可由计算机化检测系统使用的分类模型。这样，可将训练阶段视为检查工艺的学习部分。
[0007] 一旦从训练数据中开发出了模型，就可在处理过程的“分类阶段”将其实时应用于从新制造产品中获取的新样品。即，分类模型可由计算机化幅材检测系统在线使用，以通过为每个样品分配标注来对新样品图像进行分类。
[0008] 计算机化检测系统对新样品图像的正确评级能
力与用于训练系统的初始训练数据(即，样品图像及其由专家分配的相应标注)的质量和准确性直接相关。例如，训练集中的样品应代表整个数据分布，即期望从给定幅材应用中获得的数据分布。因此，拥有大量的训练样品总体上是有利的，这可帮助更有效地训练模型以及减少过度拟合的影响，其特征在于这样一个模型，该模型区分训练样品之间的噪声或不显著差异，但对于训练样品集之外的范围具有较差的预测性能。然而，大量样品的手动标注任务对专家而言可能会非常费时和繁琐。更糟糕的是，该标注任务是主观任务，对产品非常熟悉的专家会由于任务性质而产生不一致的标注。此外，会在不同的专家评估者之间出现不一致。这些困难会随训练集规模的增长而增加，并会因以下事实而加剧：相同的幅材可应用于不同的最终用途，该不同的最终用途具有不同的验收公差。因此，产品对于一种最终用途而言可能被视为是不可接受的，但对于另一种最终用途而言可能是可接受的。
发明内容
[0009] 概括地讲，本发明描述了一种计算机化评级工具，该计算机化评级工具可帮助用户有效和一致地为代表给定产品样品的大型数字图像集合分配专家评级(即，标注)。举例来说，标注可对应于样品中存在的特定非均匀性缺陷的严重级别。与用户分别为每个样品标注不同(这可能是乏味的、主观的，而且容易出错，并可能导致不一致的标注)，计算机化工具通过自动化最繁琐的方面简化了任务，同时为用户提供直观的
可视化反馈和方法以与数据进行交互。在一些示例性
实施例中，计算机化工具以视觉吸引力方式向用户显示图像，并通过允许用户在空间上可视化样品之间的关系而简化了分配一致标注的任务。在其他实施例中，计算机自动为代表样品的大型数字图像集合分配评级(即标注)。
[0010] 在一些示例性实施例中，所述计算机化评级工具提供了用于以直观和可配置的方式可视化数据的机制，包括对图像进行聚类和排序。在某些示例性实施例中，计算机化工具提供了易用界面，该易用界面用于探究数据中表示的多种缺陷类型，以及用于有效地分配专家评级。此外，计算机化工具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择最相关图像子集的缺陷，以及能够将标注从该子集自动传送到剩余图像，而无需进一步的用户交互。
[0011] 在一个示例性实施例中，装置包括处理器或计算机，该计算机包括处理器和
存储器，该存储器存储有要在处理器上执行的多个训练样品和评级
软件。该评级
软件包括特征提取模
块，用于通过以下方式从多个训练图像的每一个中提取特征：通过相应训练图像的
像素值计算每个训练图像的数值描述符。评级软件执行第一聚类过程以处理训练图像的数值描述符，从而自动选择训练图像的代表性子集并计算训练图像代表性子集的多个图像集群。
[0012] 在一些示例性实施例中，至少一个评级软件在处理器或该评级软件提供的
用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件
指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。在某些示例性实施例中，用户界面包括输入机制以接收输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到每个图像集群。
[0013] 在另外的或可供选择的示例性实施例中，处理器或计算机用于确定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。在一些具体的示例性实施例中，在处理器上运行的评级软件指定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。
[0014] 在上述任意示例性实施例中，评级软件可将已分配到每个图像集群缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有训练图像。
[0015] 在另外的实施例中，该方法包括在计算机上运行评级软件以通过以下方式从多个训练图像的每一个中提取特征：通过相应训练图像的像素值计算每个训练图像的数值描述符。该方法还包括使用评级软件处理训练图像的数值描述符，以自动选择训练图像的代表性子集，以及使用评级软件执行第一聚类过程以处理训练图像代表性子集的数值描述符并计算训练图像代表性子集的多个图像集群。
[0016] 在一些示例性实施例中，评级软件在处理器上运行，其中评级软件包括用于通过以下方式从多个训练图像的每一个中提取特征的特征提取模块：通过相应训练图像的像素值计算每个训练图像的数值描述符，并且其中评级软件执行第一聚类过程以处理训练图像的数值描述符，从而自动选择训练图像的代表性子集并计算训练图像代表性子集的多个图像集群。至少一个评级软件在处理器或该评级软件提供的用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组相应的评级标注。
[0017] 因此，在一些具体的示例性实施例中，该方法还包括：使用评级软件提供用户界面以接收来自用户的输入，所述用户输入指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注；接收输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到每个图像集群；以及针对每个图像集群，使用评级软件将已分配到图像集群缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有训练图像。
[0018] 然而，在其他另外的或可供选择的示例性实施例中，该方法还包括接收来自计算机的输入，所述输入指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。在某些此类实施例中，接收来自计算机的输入还包括使用计算机确定代表性训练图像中存在的多个缺陷类别，以及针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。
[0019] 本发明技术可提供一种或多种优点。例如，针对对大型训练数据集手动标注的固有问题，本文所述计算机化工具将对大型数据集标注这一繁琐过程的一部分加以自动化，同时还以有效利用自身专业知识的方式在循环中保留了人工操作。这可允许将通过监督/半监督分类算法的训练阶段开发的模型成功地应用于计算机化检测系统。
[0020] 本发明的一个或多个实施例的细节在
附图和以下具体实施方式中说明。通过具体实施方式和附图以及
权利要求书，本发明的其他特征、目标和优点将显而易见。
附图说明
[0021] 图1为示出了示例性幅材制造和转换系统的
框图，其中可在该系统中应用本文所述的技术。
[0022] 图2为示出了示例性幅材制造厂中检测系统的示例性实施例的框图。
[0023] 图3为示出了软件评级工具示例性操作的
流程图。
[0024] 图4-9示出了评级工具所提供用户界面的示例性功能。
具体实施方式
[0025] 图1为示出了示例性系统2的框图，其中可在该系统中应用本文所述的技术。幅材制造厂6A-6N(幅材制造厂6)表示生产和运输幅材卷7形式的幅材的制造地点。幅材制造厂6可以按地理
位置分布，该幅材制造厂中的每一个可以包括一条或多条生产线。通常，幅材卷7可由任何制造厂6制造，并可在幅材制造厂之间运输以进行额外的处理。成品幅材卷10运输到转换位点8A-8N(转换位点8)以转换成产品12A-12N(产品12)。如图1所示，转换控制系统4、幅材制造厂6A-6M(幅材制造厂6)和转换位点8A-8N(转换位点8)通过
计算机网络9互连，以交换与幅材制造相关的信息(例如缺陷信息)并转换成产品12。
[0026] 通常，幅材卷7、10可以包含已生产的幅材，其可以是在一个方向具有固定尺寸并且在
正交方向上具有预定或待定长度的任何片状材料。幅材的实例包括但不限于金属、纸张、织物、非织物、玻璃、
聚合物膜、柔性
电路或它们的组合。金属可以包括例如
钢或
铝等材料。织物一般包括各种布。非织物包括例如纸张、过滤介质或绝缘材料等材料。膜包括例如透明和不透明的聚合物膜，包括
层压材料和涂覆膜。
[0027] 转换位点8可接纳来自幅材制造厂6的成品幅材卷10，并将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N(客户14)的产品12内。转换系统可根据多种标准(例如与产品相关的等级水平)确定将给定成品幅材卷10转换成何种产品14。也就是说，可以根据每个片材所符合的特定等级水平选择应将哪个片材组装到哪个产品12中。根据本文所述的技术，转换位点8也可接收成品幅材卷10中的与异常有关的数据，即，可能的缺陷。最终，转换位点8可将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N(客户14)的产品12内。
[0028] 为了生产准备转换成用于组装到产品12中的各个片材的成品幅材卷10，非成品幅材卷7可能需要经多条生产线的处理，这些生产线可位于一个幅材制造厂内，例如幅材制造厂6A内，也可位于多个制造厂内。每一个加工过程通常使用幅材卷作为原料卷，利用卷将幅材送入制备工艺中。完成每一个加工过程后，幅材通常再次卷绕成幅材卷7并转移至不同产品线或运送至不同制造厂，在那里进行退绕、加工并再次卷绕成卷。重复该过程，直至最终生产出成品幅材卷10。对于多个应用，用于幅材卷7中的每一个的幅材可具有多个涂层，所述涂层是在一个或多个幅材制造厂6的一条或多条生产线处涂覆的。就第一制备工艺而言，涂层通常涂覆至
基础幅材的暴露表面，或者就后续制备工艺而言，涂层通常涂覆至先前涂覆的涂层。涂层的实例包括
粘合剂、硬涂层、低粘附力背面涂层、
金属化涂层、中
密度涂层、导电或不导电涂层，或者它们的组合。
[0029] 在一个给定幅材卷7的每一个制备工艺中，一个或多个检测系统会采集幅材的异常信息。例如，如图2所示，处理幅材时，如向幅材施加一个或多个涂层时，生产线的检测系统可以包括紧邻连续移动幅材设置的一个或多个
图像采集装置。图像采集装置扫描连续移动幅材的连续部分，以获得数字图像。检测系统可使用一种或多种算法来分析图像，以生成可表示实际“缺陷”的所谓“局部”异常信息，具体取决于将幅材转换成何种最终产品12。检测系统可以(例如)生成“点”缺陷的异常信息，其中每个缺陷都被
定位在单一区域中。又如，检测系统可以生成“不均一”缺陷或“不均匀因素”的异常信息，其中幅材表现出大范围的不均一
波动。此类不均匀因素的例子包括杂色、颤动、带和条纹。
[0030] 幅材制造厂内的分析计算机采用了在本文中称为“分类器”的算法，该算法将质量评级(即标注)分配到每个已获取的数字图像(即“样品”)。分析计算机可在制造幅材时，或在获取幅材的所有图像数据之后离线时实时应用算法。在任一种情况下，标注将每个对应的幅材区域分类成一个质量级别。在一个实例中，标注将每个区域分类为可接受的或不可接受的。在另一个实例中，分类器可对与变化程度相对应的一组复杂的标注进行分配。所分配的标注最终可根据幅材转换成的具体产品12而用于接受或拒绝幅材的区域。
[0031] 在分类过程中，分析计算机通过应用根据训练数据开发的分类模型对已获取的数字图像进行分类。训练数据通常在算法的“训练阶段”中运行，分类模型开发用于与训练数据进行最佳匹配。即，在训练阶段和分类模型开发之后，对训练数据应用分类模型将使得以高正确概率为训练数据标注。一旦从训练数据中开发出了模型，分析计算机就会在处理过程的“分类阶段”将该模型实时应用于从新制造产品中获取的新样品。
[0032] 在一些实施例中，对给定制造幅材的数字图像进行分类的操作可由转换控制系统4离线执行。转换控制系统4可根据给定幅材的分类为每个幅材卷10选择和生成转换方案。分类可以特定于应用，因为某些异常可在一个产品(例如产品12A)中导致缺陷，而该异常不会在不同产品(例如产品12B)中导致缺陷。每一个转换方案表示限定的指令，用于将对应成品幅材卷10加工，以用于形成可以最终出售给客户14的产品12。例如，可将幅材卷10转换成用于应用到
笔记本电脑的显示屏的最终产品，如，特定尺寸的片材。又如，可将相同的幅材卷10取代地转换成用于应用到
移动电话的显示屏的最终产品。转换控制系统4可根据可应用到异常的不同缺陷检测算法来辨识出哪一个产品最佳地实现某些参数，例如幅材的最大利用率。
[0033] 图2为框图，示出了位于图1的示例性幅材制造厂6A中的幅材生产线21的一部分内的检测系统的示例性实施例。在示例性实施例中，将幅材20的一段设置在两个支承辊22、24之间。图像采集装置26A-26N(图像采集装置26)被设置为紧邻连续移动幅材20，并扫描连续移动幅材20的连续部分以获取图像数据。采集计算机27从图像采集装置26收集图像数据，然后将图像数据传送至分析计算机28。
[0034] 图像采集装置26可以是能够读取移动幅材20的连续部分并以数字数据流方式提供输出的常规图像装置。如图2所示，成像装置26可为直接提供数字数据流的摄像机或是具有额外
模数转换器的模拟摄像机。其他
传感器，例如激光
扫描仪，可以作为图像采集装置使用。幅材的连续部分表明通过连续的单行采集数据。单行包括映射到单排传感器或像素的连续移动幅材的区域。适于采集图像的装置实例包括行扫描摄像机，例如得自的Aviiva SC2 CL型。其他实例包括与模数转换器结合使用的得自Surface Inspection Systems GmbH(Munich，Germany)的激光扫描仪。
[0035] 可以通过使用辅助获取图像的光学组件而可选地采集图像数据。组件可以是摄像机的一部分，也可以与摄像机分开。光学组件在成像过程中利用反射光、
透射光或折射光。反射光例如通常适合检测由于幅材表面
变形(例如表面划痕)引起的缺陷。
[0036] 在一些实施例中，基准标记
控制器30控制基准标记读出器29来从幅材20采集卷和位置信息。例如，基准标记控制器30可包括一个或多个光学照相传感器，以用于从幅材20读取
条形码或其他标记。另外，基准标记控制器30可从与幅材20和/或辊22、24接合的一个或多个高
精度编码器接收位置
信号。根据这些位置信号，基准标记控制器30确定每一个检测到的基准标记的位置信息。基准标记控制器30将辊信息和位置信息传送至分析计算机28，以与所检测的异常关联。
[0037] 分析计算机28处理来自采集计算机27的图像数据流。即，根据本文所述的技术，分析计算机28根据基于训练数据35开发的分类模型34(“模型34”)使用分类器，以将质量评级(即标注)分配到每个已获取的数字图像。分类器和分类器构造的其他详细信息在PCT国际专利申请公开No.WO 2010/059679中有所描述。
[0038] 训练数据35通常包括已由一个或多个专家38分配了评级的大型代表性样品数字图像集。数字图像可以(例如)代表取自幅材20或此前由生产线21生产的另一个幅材的样品。
[0039] 因此，在一些示例性实施例中，训练
服务器36为软件运行提供操作环境，所述软件提供计算机化专家评级工具37(“评级工具37”)以协助专家38有效且一致地将评级(即标注)分配到代表样品的大型数字图像集合。即，一个或多个专家38与评级工具37提供的用户界面进行交互以将质量评级分配到样品集的每个数字图像。如本文进一步详述，专家评级工具37提供用户界面，该用户界面允许一个或多个专家38可视化和
修改训练数据35中的图像集群、探究训练数据以辨识所代表的缺陷类型以及将专家评级分配到图像。
[0040] 更具体地讲，专家评级工具37提供用于以直观和可配置的方式可视化数据的机制，包括对样品图像进行聚类和排序的功能。专家评级工具37还提供易用界面，该易用界面用于探究数据中表示的多种缺陷类型，以及用于有效地分配专家评级。此外，专家评级工具37具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择最相关图像子集的缺陷，以及能够将标注从该子集传送到剩余图像，而无需进一步的用户交互。这可允许将监督/半监督分类算法的训练阶段结果成功地应用于制造厂6中的算机化检测系统。专家38可通过本地用户界面(如制造厂6A中的专家38A)或借助于网络9(如专家38B)以远程方式直接与训练服务器36交互。
[0041] 在其他示例性实施例中，可能有利的是，以其他方式(或作为另外一种选择)使计算机自动将评级(标注)分配到代表样品的数字图像的大型集合。例如，训练服务器36可为自动将质量评级分配到样品集每个数字图像的软件的运行提供操作环境，例如，根据在每个图像中观察到的缺陷数量将所有类似图像分组为缺陷类别，从而自动为该数量的缺陷类别提供评估。这可以通过(例如)比较从图像提取的特征和计算其相似性来完成。该步骤完成后，也可以(例如)通过将图像与显示出缺陷的其他图像作比较，以及评估当前图像相对于其他图像显示出的严重级别，而将标注的初始评估自动分配到每个缺陷类别中的图像。
[0042] 由于软件指令通过训练服务器36的一个或多个处理器执行，包括一个或多个
硬件微处理器、
数字信号处理器(DSP)、特定应用集成电路(ASIC)、现场可编程
门阵列(FPGA)、或任何其它等效的集成或离散
逻辑电路，以及这些组件的任意组合，因此可以至少部分地或甚至完全实施专家评级工具37。软件指令可以存储在非临时性计算机可读介质内，例如
随机存取存储器(RAM)、
只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、
电可擦除可编程只读存储器(EEPROM)、闪存、
硬盘、CD-ROM、
软盘、盒式磁带、磁介质、光介质，或其他计算机可读存储介质。
[0043] 虽然出于举例说明的目的将训练服务器36和评级工具37示出为位于制造厂6A内部(例如位于中心位置或转换位点处)，但其也可以位于制造厂的外部。例如，训练服务器36和评级工具37可在转换控制系统4内运行。在该实例中，训练服务器36使分类模型34与分析计算机28通信以应用于从幅材20收集的样品。
[0044] 一旦建立了训练数据35和分类模型34，训练服务器36就会处理训练数据以生成模型34，该模型34用于对接收自采集计算机27的幅材20的图像数据进行后续实时分析和分类。这样，可根据分类模型34对幅材20区域中的新图像进行分类。分析计算机28可以采用任何可利用专业评级训练数据35的技术，如机器学习技术，其包括神经网络、自适应控制、
数据挖掘、遗传编程、
聚类分析、主成分分析、图案识别和计算机视觉技术。可检测的示例性缺陷包括不均匀因素(例如杂色、颤动、带和条纹)和点缺陷(包括斑点、划痕、油滴)。
[0045] 分析计算机28在
数据库32内存储幅材20的异常信息，包括幅材20的卷识别信息和每一个异常的位置信息。例如，分析计算机28可使用由基准标记控制器30生成的位置数据来确定生产线
坐标系内每个异常的空间位置或图像区域。即，根据来自基准标记控制器30的位置数据，分析计算机28确定每个异常在当前生产线所用坐标系内的x、y以及可能的z位置。例如，可以限定坐标系，使得x维度表示幅材20的横向距离，y维度表示幅材的纵向距离，z维度表示幅材的高度，所述高度取决于涂层的数量、材料或此前涂覆到幅材的其他层。
[0046] 此外，可以限定x、y、z坐标系在生产线内物理位置处的原点，其通常与幅材20的初始进料位置相关。数据库32可以按许多不同形式中的任一形式执行，包括数据存储文件或在一个或多个数据库服务器上执行的一个或多个
数据库管理系统(DBMS)。数据库管理系统可以是例如关系(RDBMS)、分层(HDBMS)、多维(MDBMS)、面向对象(ODBMS或OODBMS)或对象关系(ORDBMS)数据库管理系统。例如，数据库32是作为由Microsoft Corporation的TMSQL Server 提供的关系数据库而执行的。
[0047] 一旦该过程结束，分析计算机28就可将收集在数据库32中的数据通过网络9传送至转换控制系统4。例如，分析计算机28可将卷信息和异常信息以及每个异常的各个子图像传送到转换控制系统4，以根据分类模型34进行后续的离线详细分析。例如，信息可通过数据库32与转换控制系统4之间的数据库同步进行传送。在一些实施例中，转换控制系统4(并非分析计算机28)可确定出每一个异常可在产品12中引起缺陷的那些产品。一旦将成品幅材卷10的数据收集在数据库32中，就可将所述数据传送至转换位点8和/使用所述数据来标记幅材卷上的异常，方式为利用可移除或可擦洗标记直接在幅材表面上进行标记或者在
覆盖片材上进行标记，所述覆盖片材可在幅材上进行异常标注之前或期间被施加至幅材。
[0048] 图3为示出了评级工具37示例性操作的流程图。最初，评级工具37接收训练数据35，该训练数据通常为图像集(50)形式的输入。接着，评级工具37的特征提取
软件模块处理每个图像以提取特征(52)。特征提取提供每个图像的数值描述符作为每个图像固有相关信息的简化数值表示。可以保留与训练集中图像之间关系相关的可用信息的任何方式来提取特征，同时去除无信息的图像特征。
[0049] 通用特征提取技术的例子包括用一组
过滤器卷积图像并计算已过滤图像的统计信息，或根据
颜色或强度直方图提取特征。有时可将像素值用作特征，但这种情况下的描述符无简化，因为通常必须存储整个图像。通常，所得特征被视为对应图像中相关信息的简化描述。在一个实施例中，特征并非特定于具体的应用，而是提供了一组丰富的特征，不同的应用可使用这些特征中的不同特征子集。即，在该实例中，并未通过使用复杂的、特定于应用的过滤器来提取特征。相反，过滤器仅有利于图像间的直接成对比较，以衡量其相似性。评级工具37并不限于使用任何具体的特征提取方法，并且可以容易地应用于更适合其他类型特征的应用。
[0050] 以简化形式包含相关图像信息(特别是当其与纹理相关时)的一个示例性方法是，计算整个图像像素特征的小协方差矩阵。一旦推导出该小协方差矩阵(例如5×5)，就可仅根据这些矩阵有效地进行图像间的成对比较，而不是直接处理图像。例如，将灰度图像定义为二维阵列，并通过像素坐标x和y将其标记为I(x，y)。在每个像素位置(x，y)，根据像素强度值及该像素处的一阶和二阶导数推导出特征矢量：
[0051]
[0052] 只需计算每个像素处强度值之间的前向差分和中心差分，即可近似得出图像导数(梯度)。最后，在整个图像范围内计算这些像素特征的协方差矩阵：
[0053]
[0054] 其中N为图像中的像素数量，并且
[0055]
[0056] 为像素特征的平均值。在后续处理步骤(包括算法的聚类阶段)中，可使用它计算图像间的成对距离。就这些协方差矩阵描述符而言，成对距离的计算公式如下：
[0057]
[0058] 其中λi(CI1；CI2)为两个协方差矩阵的第i个广义特征值。
[0059] 更多详细信息可见于O.Tuzel、F.Porikli和P.Meer.的“Region Covariance：A Fast Descriptor for Detection and Classification.”Proceedings of the European Conference on Computer Vision，2006(2006年欧洲计算机视觉会议记录“区域协方差：用于检测和分类的快速描述符”)，该文献以引用的方式并入本文。
[0060] 提取每个训练图像的特征之后，评级工具37进入聚类阶段(53)，其中根据从图像中提取的描述性特征对图像进行聚类。用于训练和测试分类算法的图像集非常大(通常约为数万张图像)，这一情况并不少见。短期内对所述多张图像进行详细聚类和可视化通常是不实际的，而且可能是不必要的，因为大多数大型数据集包含大量的冗余，使得只需要详细分析代表性的子集。
[0061] 在一些示例性实施例中，计算机或处理器自动从于该计算机或处理器上运行的软件中接收信息，所述软件指定了代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。因此，在某些此类实施例中，计算机或处理器运行软件(例如评级工具37)，该软件用于确定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。在一些具体的示例性实施例中，在计算机或处理器上运行的评级软件指定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。
[0062] 在某些示例性实施例中，确定存在的缺陷类型数量和将严重级别标注分配到这些缺陷类别每一个中的图像，这两个步骤中的一者或两者可作为用户输入接收，以及/或作为来自计算机的输入接收，例如，通过在计算机或处理器上运行软件以自动计算或评估所有这些输入或其一部分。然而，本领域中的普通技术人员应当了解，可以多种方式来完成从计算机接收输入的过程。
[0063] 作为一个在本文中称为
角度量化方法的实例，计算机可通过执行以下步骤接收输入，除非被其他步骤约束或限制为特定的顺序，否则这些步骤可以任何顺序执行。第一步骤(如上文进一步所述)包括选择代表性图像子集以进行处理；从这些图像的每一个中提取描述性数值特征矢量；以及对其进行聚类。可通过以下步骤借助在计算机或处理器上运行的软件来评估所存在的缺陷类别数量：首先计算特征空间中所有图像的形心，称为总体形心(即，从所有图像中提取的特征描述符的平均值)，然后相比其他集群的矢量计算从总体形心到每个单独集群形心的矢量角度。当发现一组可能的多个集群的矢量之间的角度非常小时，可以假设该组集群代表具有单一缺陷类型的图像。通过识别矢量之间的角度较小的所有此类集群组，将确定所存在的缺陷类型数量。
[0064] 一旦识别了每个缺陷类型，就可用源自总体形心的单一矢量代表该缺陷类型，总体形心计算方法是，首先对包含此缺陷类型的集群矢量进行归一化，然后计算其平均值。最后，可通过以下方法自动评估给定缺陷类别图像的严重级别标注：计算该图像矢量(从总体形心到特征空间中的该图像)在特定缺陷类型的代表性矢量上的投影，其中缺陷严重级别由该投影的长度给定。
[0065] 作为另一个在本文中称为主题建模方法的实例，计算机可通过执行以下步骤接收输入，除非被其他步骤约束或限制为特定的顺序，否则这些步骤可以任何顺序执行。一旦图像按角度量化方法聚类，则每个图像(或如果存在大量图像时每个集群的形心)被分成指定尺寸的方形
补片。然后图像形成被建模为生成概率过程，其目的是尝试尽可能准确地建立生成图像的理论过程模型。根据该生成模型，每个图像均由缺陷类型混合物构成，每个缺陷类型都将影响选择哪个补片来构建该图像。使用概率推理技术(如
马尔可夫链蒙特卡罗抽样)从图像中获得控制该生成过程的参数。该推理结果将生成存在于这些图像中的各种缺陷类型的模型，其中组中的每个图像已被建模为这些缺陷的其中一些混合物。这将提供用于测量给定图像中每个缺陷类型影响(即严重级别)的方法。
[0066] 在另外的或可供选择的示例性实施例中，一个或多个专家38与专家评级工具37提供的用户界面进行交互以将质量评级分配到样品集的每个数字图像，并且评级工具37自动选择代表性图像子集以在标注过程(54)中协助专家38。为了协助专家38有效地探究数据并识别所存在的缺陷类型，评级工具37自动选择子集以包含训练数据35内存在的不同缺陷类型的极端例子，以及具有正常缺陷水平的图像例子。
[0067] 在一个此类示例性实施例中，评级工具37利用像素强度的方差来区分相对极端缺陷的情况，已观察到足够的所述相对极端缺陷来对基于幅材产品的图像中的不均匀因素(即，纹理)进行表征。此外，计算像素方差的计算成本相对较低，这对于非常大的训练图像集可能是有利的。对于上文概述的协方差矩阵描述符，矩阵CI的左上方元素中给出了像素强度方差，从而无需进行额外的计算。在该实例中，选择子集的第一步骤是用最高方差(54)识别N1个图像。这些图像大致对应于训练数据35中的N1个最具缺陷的图像。由于子集代表整体集合也非常重要，因此评级工具37也从剩余集合中随机选择N2个图像。该N1+N2个图像的集合包含初始子集S0(在图3中表示为子集0)。N1和N2的大小由用户选择。
[0068] 此外，评级工具37生成子集以包括不能很好地由S0(56)代表的S0中尚未包括的任何异常值。使用上述距离函数(公式4)处理S0中不存在的每个剩余图像以识别其在特征空间中的k个最近邻(kNN)。术语“特征空间”是指由特征矢量的维度定义的多维空间，例如上述在公式1中定义的特征矢量。如果图像到其所有kNN的距离都大于
阈值Td，则该图像被视为异常值。参数k和Td可由专家38配置，但也可使用默认值。这允许专家38尝试不同的值和查看结果。示例性默认值可为(例如)k＝5和Td＝1.0。评级工具37以这种方式将所选的任何异常值添加到此前选择的N1+N2个图像以形成完整的子集S1(在图1中表示为“子集1”)。
[0069] 选择训练图像的代表性子集S1之后，评级工具37对该子集应用
聚类算法以从子集S1(60)的图像中形成小群组的相对类似图像。评级工具37形成集群以提供更直观的可视化训练数据集，并使其更容易为专家38探究。在一个实例中，评级工具37根据其协方差矩阵描述符，使用
自下而上聚合的聚类算法以在子集S1中形成图像集群。在该过程中，每个图像最初都被视为单独的集群，并使用此前建立的集群识别连续集群。例如，评级工具37根据使用公式(4)计算的图像间距离形成聚合分层链接树，该聚合分层链接树包含训练数据之间的分层相互关系。评级树在某一点处终止该过程(即，“切断”链接树)以按照专家38的指定生成配置的集群数量Nc。聚合分层聚类的其他信息可见于W.H.E.Day和 H.Edelsbrunner 的“Efficient Algorithms for Agglomerative Hierarchical Clustering Methods.”Journal of Classification，vol.1，no.1，pp.7-24，1984(“聚合分层聚类法的高效算法”《分类杂志》，第1卷，第1期，第7-24页，1984年)。
[0070] 由于可能存在多个集群(例如某些情况下的数百个集群)，评级工具37也使这些集群相对于彼此排序，以使得最类似的分组以紧邻彼此的方式显示。这由形成第二聚合分层链接树的评级工具37完成，在这种情况下，包含集群自身之间的相互关系。因此，可通过观察第二树的最低级别(叶
节点)来获得集群的顺序。为了形成第二分层链接树，评级树37以成对方式分析图像集群，并计算每个集群对之间的成对集群间距离。使用每个集群之间的集群间距离来形成第二链接树。在一个实例中，评级树37将两个集群之间的距离计算为两个集群中图像之间的各距离的中值。评级工具37利用第二树的叶节点的布置来控制图像集群的显示，从而以彼此在空间上紧密接近的方式显示最类似的图像集群。这有助于专家38形成对训练数据内存在的以及训练数据提供的缺陷的认知。
[0071] 在一些示例性实施例中，通过开发链接树对训练图像进行聚类之后，评级工具37提供用户界面，该用户界面给予专家可视化集群和当聚类在视觉上无法接受时重新分配图像的机会(62)。然后，用户将专家评级分配到每个图像集群，而不是独立地为每个图像标注(64)，并且评级工具37将这些专家评级传送到剩余图像集合，而无需进一步的用户交互，从而形成整个数据集的专家评级(66)。即，评级工具37使用本文所述的算法将专家评级自动分配到训练图像的整个数据集。换句话讲，专家38只需使用评级工具37提供的用户界面，按照每种已识别的缺陷类别将专家评级分配到子集S1中的所有(或一些)图像集群。
[0072] 评级工具37将专家评级自动传送到剩余未标注图像，包括未在子集S1中的那些图像。对于每个未标注图像Iu，评级工具37使用距离函数(公式4)计算从该图像到每个已标注图像Il(即，到已为其分配了专家评级的子集S1中的每个图像)的成对距离。然后根据下式将这些距离转换为成对
亲和性：
[0073]
[0074] 其中带宽参数σ是根据距离 的启发式操作选择的。将这些亲和性归一化为权值：
[0075]
[0076] 数量w(Iu，Il)对应于以穿过特征空间随机游走方式从图像Iu到图像Il的转换概率，并且w被归一化使得∑iw(Iu，Ili)＝1。
[0077] 最后，属于该缺陷类别中专家评级e的图像Iu的概率计算公式为：
[0078]
[0079] 其中Ⅱ为指示函数，使得如果已标注图像 已分配了该缺陷类别中的专家评级e，则 否则为零。针对每个可能的专家评级e计算隶属度概率pe(Iu)，并且将具有最高概率的一个专家评级选择为未标注图像Iu的专家评级。在每个缺陷类别中，评级工具37针对每个未标注图像重复该过程。与标注传送相关的其他示例性信息可见于X.Zhu和Z.Ghahramani的“Learning from Labeled and Unlabeled Data with Label Propagation.”CMU CALD Technical Report CMU-CALD-02-107，2002(“使用标注传送学习标注和未标注数据”，CMU CALD技术报告CMU-CALD-02-107，2002年)，该文献全部内容以引用的方式并入本文。
[0080] 返回到图3，在一些示例性实施例中，在专家38将专家评级分配到每个图像集群并且标注自动传送到剩余图像之后，评级工具37允许专家在必要时探究训练数据35并调整标注分配(68)，以最终为整组训练数据35生成专家评级。这样，评级工具37为自动子集选择和随后将专家评级传送到训练数据35中的更大图像集提供功能。因此，即使图像可能包含大量的冗余，评级工具37也可允许专家38轻松操作评级并将其分配到大型数据集(例如，约数万个图像)。
[0081] 图4为评级工具37的用户界面提供的示例性窗口80的图示，专家38通过该窗口配置参数以控制聚类过程。在该实例中，窗口80包括输入机制，专家38通过该输入机制指定训练图像的目录、训练图像的格式、输出结果目录以及选择，该选择指示评级工具是否应执行新图像聚类或读数是否将以前聚类过程中的结果输入。
[0082] 此外，专家38可指定用于控制聚类过程的某些参数。具体地讲，窗口80包括输入字段，该输入字段用于指定评级工具37将训练图像组织成多少个集群。如上所述，评级工具37利用由用户指定的所需集群数量在生成第一链接树时截断聚类过程，以产生符合或超过指定集群数量的多个叶节点。此外，专家38可指定训练数据35是否为大型数据集，并且评级工具37是否应为聚类自动识别图像的代表性子集，如本文所述。在这种情况下，专家38也可指定用于控制代表性子集S0大小的参数，即具有要包括的最高方差的图像数量N1(图4中的150)和用于从剩余图像中随机选择的图像数量N2(图4中的50)。该N1+N2个图像的集合构成了初始子集S0。此外，专家38可指定评级工具37是否将在代表性集S1中包括异常值，如果是，则针对每个图像在特征空间中检查的最近邻(kNN)的数量为k(图4中为5)，用于作为异常值表征图像的阈值为Td(图4中的1.0)。
[0083] 图5为评级工具37提供的示例性集群查看窗口90的图示，其用于显示聚类操作的结果。如图所示，图像集群直观地显示在两个单独的面板91A、91B中，用户可使用嵌入的超链接通过这两个面板浏览和探究集群。左侧面板91A通过显示来自每个集群92A-92N的单一代表性(形心)图像而提供聚类结果的高级概览。面板91A显示每个集群的代表性图像、与集群相关的标识符，括号中为分配到该集群的图像数量。例如，集群92A的标识符为“10”，并且该集群已分配了三个图像。评级工具37根据上述的第二聚合分层链接树在可滚动面板91A中布置集群94A-94N，使得包含类似图像的集群在面板中被布置为彼此紧邻。换句话讲，评级工具37可根据第二聚合分层链接树的叶节点在可滚动面板91A中布置集群。
[0084] 要进行更详细的探究，专家38可在之后选择(例如单击)集群92中任意一个的代表性图像或标识符，以在右侧面板91B中查看其内包含的图像。在图5的实例中，专家38选择了集群92A(即，标识符为“10”的集群)进行查看。在该实例中，面板91B示出了已分配到该集群的三个图像，所有这三个图像彼此非常相似，这表明聚类算法将其适当地分组在一起。由于子集S1中的图像如面板91A所示进行了分组和排序，因此专家28可以非常直观的方式来探究已聚类的训练数据35。与只能提供大型的未分组图像集合以进行手动查看和标注分配的其他技术相比，这可能是有利的。本文所述的聚类和可视化功能可以简化专家38的数据探究任务，并且允许专家快速识别代表性训练数据中存在的缺陷类型。
[0085] 如图5所示，集群查看窗口90包括输入区域96，专家38与该输入区域交互以修改各个图像的集群分配，包括将图像移至不同的集群或新集群中的功能。此外，输入区域98允许用户与集群本身交互，包括合并两个集群的功能，以及以物理方式将集群移至显示顺序中不同位置的功能。评级工具37自动实时更新集群查看窗口90中的
显示面板91A、91B，以反映在集群分配中所做的更改。这样，可以如下方式使用评级工具37：允许专家38拥有对于训练数据35内代表性图像的任意分组或分配类型的最终决定权。这在可视化方面也提供了额外的灵活性衡量，因为聚类和排序操作的最终目的是提供增强的功能以将训练
数据可视化和评级。
[0086] 此外，集群查看窗口90包括输入区域100，其用于限定训练数据35内存在的缺陷类别数量。集群查看窗口90也包括输入区域104，其用于将专家评级分配到图像。将在下文对输入区域100、102中的每一个进行更详细的讨论。
[0087] 在某些示例性实施例中，可能有利的是，使用评级软件提供用户界面以接收来自用户的输入，所述用户输入指定代表性训练图像中存在的一个或多个缺陷类别。图6中示出了一个示例性用户界面。图6更详细地示出了查看窗口90的输入区域100。在该实例中，专家38通过集群查看窗口90根据对已聚类训练数据35的查看和探究，指出训练数据中存在三种缺陷类别。如图7所示，一旦专家38设置了缺陷类别数量，集群查看窗口90就会在相同位置提供另一个菜单102，以允许用户输入缺陷类别的名称，所述名称提供有意义的方式来识别缺陷类别。在图7的实例中，专家38为在训练数据35中识别的三种缺陷类型输入了名称“chatter”(颤动)、“mottle”(杂色)和“streaks”(条纹)。集群查看窗口90中的显示面板91A、91B保持打开，同时专家38与输入区域100和菜单102交互，使得专家在为代表性训练数据分配缺陷类别数量以及为每种缺陷类别分配名称的同时，仍可以选择浏览和可视化已聚类的训练数据。
[0088] 图8示出了集群查看窗口90的输入区域104，其用于将专家评级标注分配到训练数据35的代表性子集S1内的图像集群。一旦专家38与输入区域100和菜单102进行了交互以为数据中存在的缺陷类别分配数量和名称，评级工具37就会允许专家与输入区域104交互以将专家评级分配到训练数据35的图像。为了极大地简化该任务，评级工具37允许专家38将评级标注分配到整个集群，而不必对各个图像进行标注，后者相当乏味并且容易出错。此外，专家38可以选择不对任何集群进行标注。在后续处理中，当标注传送到未在子集S1中的剩余图像时，标注也传送到未标注的任何集群中的图像。如图6所示，集群查看窗口90允许专家38对集群中的所有缺陷类别同时进行标注。例如，在图6中，专家38为训练数据的集群“13”中的缺陷“chatter”(颤动)、“mottle”(杂色)和“streaks”(条纹)指定了标注“5”、“1”和“1”。此外，在一个实例中，评级工具37未对可分配的专家评级类型施加任何限制。标注可以是数字，例如此处显示的标注“1”和“5”，或者它们可以是“合格”和“不合格”文本标注。一旦专家评级分配到了集群，面板显示91就会实时更新以反映这些更改。
[0089] 图9为评级工具37提供的最终专家评级查看窗口110的图示，专家38可使用该窗口可视化和修改每种缺陷类别中的专家评级。专家评级查看窗口110显示所有图像的最终专家评级标注。如图9所示，专家评级查看窗口110包含两个并列型HTML显示面板112、114，用户可借助于这两个显示面板通过使用嵌入的超链接浏览页面来可视化结果。专家评级查看窗口110的左侧也包含菜单选项120，其用于修改专家评级。
[0090] 在可视化方面，专家评级查看窗口110以直观且易于为专家38或其他用户理解的方式显示标注过程的结果。作为一个实例，专家评级查看窗口110在单独的HTML页面中显示每种缺陷类别的结果。在每种缺陷类别中，具有每个可能专家评级的图像作为该缺陷类别的单独HTML页面部分显示在面板114中。例如，如图9所示，HTML面板112列出了缺陷类别。在选择其中一个缺陷类别时，HTML面板114显示每个可能专家评级的图像。这允许专家38根据分配到图像时该缺陷的不同标注以独立集群的方式来查看缺陷。在图9的实例中，软件工具在页面顶部提供“Defect Class 1(chatter)”(“缺陷类别1(颤动)”)中的结果，所述结果开头为已接收到的标注“1”的图像。HTML面板114可垂直滚动，以使得专家38可查看用于缺陷类别的每个标注，以及对该标注而言，分配了该标注的每个图像。
[0091] 为了进一步提高用户理解数据的能力，评级工具37执行另一个聚类操作以将在给定缺陷类别中每个可能专家评级范围内的图像聚类为相对小群组的类似图像。评级工具37为当前所选缺陷类别(例如“Defect Class 1(chatter)”(“缺陷类别1(颤动)”))生成HTML面板114，以仅显示每个集群的形心图像，这有助于在显示屏上仅保持少量的可管理数量的图像。例如，对于“chatter”(颤动)缺陷类别内的标注“1”，评级工具37生成HTML面板114以显示形心图像116。专家38可在每个集群的形心图像上单击以导航至另一个HTML页面，在该页面上显示该集群中包含的所有图像。
[0092] 相对于生成HMTL面板114的聚类操作，评级工具37在每个缺陷类别的每个可能专家评级范围内执行单独的聚类计算。即，如本文所述，每个图像接收每个缺陷类别中的专家评级。换句话讲，每个缺陷类别包含所有的图像，但图像在每个缺陷类别中的可能专家评级之间的分布通常不同。例如，某些图像可以具有缺陷类别“chatter”(颤动)中的专家评级“1”，而且可以具有缺陷类别“mottle”(杂色)中的专家评级“5”。评级工具37执行单独的聚类以计算每个缺陷类别的每个标注的独立链接树。作为一个实例，评级工具37可为具有专家评级“1”和具有专家评级“5”的图像计算缺陷类别“chatter”(颤动)中的聚类，同样可计算其他缺陷类别中的聚类。
[0093] 在一个示例性实施例中，集群计算如下。在缺陷类别c中具有专家评级e的图像集合称为 集合 由以下两种图像构成：来自初始子集S1中的图像，以及来自为其传送了专家评级的 中的图像。图像 表示在缺陷类别c中具有专家评级e的图像，其位于此前进行了标注的初始子集S1中。由于S1中的图像此前进行过聚类，因此 中的每个图像都已分配到集群。评级工具37使用这些集群分
配对 的聚类进行初始化。即该操作被用作初始聚类以开始处理，之后，当有新图像顺序地添加到集群时，这些集群将被修改。对于 中的每个图像(即， 中尚未进行集群分配的图像)，我们将其分配到 中与其最接近的集群。该过程比计算每个集合 的全新聚类更有效率，因为其利用了此前S1的聚类，并且以增量方式对剩余图像 进行了聚类。
[0094] 专家评级查看窗口110的左侧也包含菜单选项120，其用于通过输入图像名称来修改任何图像的专家评级。用户可使用菜单选项120在所有缺陷类别中查看当前图像的专家评级，以及在必要时对其进行更改。
[0095] 已经描述了本发明的各种实施例。这些和其他实施例均在所附权利要求书的范围内。
