缺陷检测装置及方法
阅读：1038发布：2020-06-05
专利汇可以提供缺陷检测装置及方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种 缺陷 检测装置及方法，所述装置包括运动部件、采像部件以及处理部件，处理部件与运动部件、采像部件连接，处理部件包括：路径规划模 块 ：用于根据检测对象的所有可采像 位置 及预设的第一抽样比例，确定多个第一采像位置；根据每个第一采像位置的第一检测图像，确定第一缺陷概率；根据第一缺陷概率及预设缺陷概率，建立概率矩阵；并将概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；判定模块：用于将第二缺陷概率中的最大值确定为第三缺陷概率，当第三缺陷概率大于或等于缺陷概率 阈值 时，检测对象判定为有缺陷，反之则判定为无缺陷。本发明的 实施例 可提高缺陷检测的效率以及检测结果的准确性。，下面是缺陷检测装置及方法专利的具体信息内容。
1.一种缺陷检测装置，其特征在于，所述装置包括运动部件、采像部件以及处理部件，所述处理部件与所述运动部件、所述采像部件连接，所述运动部件用于对检测对象进行抓取和/或摆放，和/或对所述采像部件进行运动，所述采像部件用于对所述检测对象进行采像，所述处理部件包括：
路径规划模块：用于根据所述检测对象的所有可采像位置及预设的第一抽样比例，确定所述检测对象的多个第一采像位置；
根据所述采像部件采集的每个第一采像位置的第一检测图像，确定所述每个第一采像位置的第一缺陷概率；
根据所述第一缺陷概率及所述所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵；
根据预设的子矩阵尺寸，将所述概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；
判定模块：用于将所有第二缺陷概率中的最大值确定为所述检测对象的第三缺陷概率，当所述第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
2.根据权利要求1所述的装置，其特征在于，所述路径规划模块，还用于：
判断每个第二缺陷概率是否满足置信条件，其中，所述置信条件为所述第二缺陷概率小于或等于预设的第一置信阈值，或者，所述第二缺陷概率大于或等于预设的第二置信阈值，所述第一置信阈值小于所述第二置信阈值；
当每个第二缺陷概率均满足所述置信条件时，直接进入判定模块进行缺陷判定；
当存在不满足所述置信条件的第二缺陷概率时，
在所述不满足所述置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，
根据所述采像部件采集的每个第二采像位置的第二检测图像，确定所述每个第二采像位置的第四缺陷概率；
用所述第四缺陷概率替换所述局部区域对应的子矩阵中相应的预设缺陷概率，重新确定所述局部区域的第二缺陷概率；
重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足所述置信条件。
3.根据权利要求1-2任一项所述的装置，其特征在于，通过卷积网络确定所述第二缺陷概率，包括：
根据预设的子矩阵尺寸，确定所述卷积网络的卷积核及步长；
根据所述卷积核及步长，通过所述卷积网络对所述概率矩阵进行卷积操作，得到所述检测对象的每个局部区域的第二缺陷概率。
4.根据权利要求3所述的装置，其特征在于，所述子矩阵尺寸是根据平均能观测到缺陷的最大连续采像间隔及预设的采像精度确定的，所述卷积网络的参数是根据概率分布确定的，所述概率分布优选为高斯分布。
5.根据权利要求2所述的装置，其特征在于，所述第二采像位置不包括所述第一采像位置。
6.根据权利要求1-2任一项所述的装置，其特征在于，所述路径规划模块，还用于：
根据预设的采像精度及所述检测对象的几何形状，确定所述检测对象的所有可采像位置；
根据预设的角度精度，确定每个可采像位置的采像角度。
7.根据权利要求6所述的装置，其特征在于，所述路径规划模块，还用于：
根据每个第一采像位置的采像角度，获得每个第一采像位置至少一张第一检测图像，并根据所述至少一张第一检测图像，确定每个第一采像位置的第一缺陷概率，和/或根据每个第二采像位置的采像角度，获得每个第二采像位置至少一张第二检测图像，并根据所述至少一张第二检测图像，确定每个第二采像位置的第四缺陷概率。
8.根据权利要求2所述的装置，其特征在于，通过判定网络确定所述第一缺陷概率和/或所述第四缺陷概率，包括：
将第一检测图像和/或第二检测图像输入所述判定网络进行处理，得到第一缺陷概率和/或第四缺陷概率。
9.根据权利要求1-2任一项所述的装置，其特征在于，所述运动部件包括机器人或机械臂，所述采像系统包括相机、光源。
10.根据权利要求9所述的装置，其特征在于，所述机器人或机械臂的末端为夹具和/或所述采像部件。
11.根据权利要求1所述的装置，其特征在于，所述多个子矩阵是部分重叠的。
12.一种缺陷检测方法，其特征在于，所述方法包括：
路径规划步骤：根据所述检测对象的所有可采像位置及预设的第一抽样比例，确定所述检测对象的多个第一采像位置；
根据每个第一采像位置的第一检测图像，确定所述每个第一采像位置的第一缺陷概率；
根据所述第一缺陷概率及所述所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵；
根据预设的子矩阵尺寸，将所述概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；
判定步骤：将所有第二缺陷概率中的最大值确定为所述检测对象的第三缺陷概率，当所述第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
13.根据权利要求12所述的方法，其特征在于，路径规划步骤还包括：
判断每个第二缺陷概率是否满足置信条件，其中，所述置信条件为所述第二缺陷概率小于或等于预设的第一置信阈值，或者，所述第二缺陷概率大于或等于预设的第二置信阈值，所述第一置信阈值小于所述第二置信阈值；
当每个第二缺陷概率均满足置信条件时，直接进入判定步骤；
当存在不满足置信条件的第二缺陷概率时，
在所述不满足置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，
根据每个第二采像位置的第二检测图像，确定所述每个第二采像位置的第四缺陷概率；
用所述第四缺陷概率替换所述局部区域对应的子矩阵中相应的预设缺陷概率，重新确定所述局部区域的第二缺陷概率；
重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足置信条件。
缺陷检测装置及方法
技术领域
背景技术
[0002] 目前，对物体(例如各类金属铸件)的缺陷检测主要基于传统视觉，例如，通过模板匹配或人工编写的特征对物体进行缺陷检测。该方式使用的硬件以非标准化硬件为主，即在进行缺陷检测时，为了抓取不同几何形状的物体以及对不同的缺陷进行采像，需要定制工装、夹具、采像方式、打光方式，甚至定制检测装置的整体机械结构等。非标准化硬件的定制特性，使得其应用场景具有极大的局限性，较难适应多种物体的检测需求。
[0003] 基于传统视觉的缺陷检测，对编写模板或特征的软件工程师的依赖性极大，每当出现一种新缺陷时，都需要软件工程师手动更新模板或特征，对新缺陷的适应性较差，而且使用人工编写的模板或特征进行缺陷检测时，很难检测出随机性缺陷(例如划伤)，也很难正确识别复杂的材料表面(例如金属车削表面)，容易出现漏判及误判，从而导致缺陷检测的准确率较低。
[0004] 此外，基于传统视觉的缺陷检测，对物体进行采像的轨迹是固定的，如果需要对物体进行全方位的检测，需要大量的采像次数及采像时间，检测效率较低，而且根据采像获得的多张图像确定物体缺陷时，采用对每张图像单独判断的方式，误判及漏判较多。
发明内容
[0005] 有鉴于此，本发明提出了一种缺陷检测技术方案。
[0006] 根据本发明的一方面，提供了一种缺陷检测装置，所述装置包括运动部件、采像部件以及处理部件，所述处理部件与所述运动部件、所述采像部件连接，所述运动部件用于对检测对象进行抓取和/或摆放，和/或对所述采像部件进行运动，所述采像部件用于对所述检测对象进行采像，所述处理部件包括：
[0008] 根据所述采像部件采集的每个第一采像位置的第一检测图像，确定所述每个第一采像位置的第一缺陷概率；
[0009] 根据所述第一缺陷概率及所述所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵；
[0010] 根据预设的子矩阵尺寸，将所述概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；
[0011] 判定模块：用于将所有第二缺陷概率中的最大值确定为所述检测对象的第三缺陷概率，当所述第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
[0012] 在一种可能的实现方式中，所述路径规划模块，还用于：
[0013] 判断每个第二缺陷概率是否满足置信条件，其中，所述置信条件为所述第二缺陷概率小于或等于预设的第一置信阈值，或者，所述第二缺陷概率大于或等于预设的第二置信阈值，所述第一置信阈值小于所述第二置信阈值；
[0014] 当每个第二缺陷概率均满足所述置信条件时，直接进入判定模块进行缺陷判定；
[0015] 当存在不满足所述置信条件的第二缺陷概率时，
[0016] 在所述不满足所述置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，
[0017] 根据所述采像部件采集的每个第二采像位置的第二检测图像，确定所述每个第二采像位置的第四缺陷概率；
[0018] 用所述第四缺陷概率替换所述局部区域对应的子矩阵中相应的预设缺陷概率，重新确定所述局部区域的第二缺陷概率；
[0019] 重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足所述置信条件。
[0020] 在一种可能的实现方式中，通过卷积网络确定所述第二缺陷概率，包括：
[0021] 根据预设的子矩阵尺寸，确定所述卷积网络的卷积核及步长；
[0022] 根据所述卷积核及步长，通过所述卷积网络对所述概率矩阵进行卷积操作，得到所述检测对象的每个局部区域的第二缺陷概率。
[0023] 在一种可能的实现方式中，所述子矩阵尺寸是根据平均能观测到缺陷的最大连续采像间隔及预设的采像精度确定的，所述卷积网络的参数是根据概率分布确定的，所述概率分布优选为高斯分布。
[0024] 在一种可能的实现方式中，所述第二采像位置不包括所述第一采像位置。
[0025] 在一种可能的实现方式中，所述路径规划模块，还用于：
[0026] 根据预设的采像精度及所述检测对象的几何形状，确定所述检测对象的所有可采像位置；
[0027] 根据预设的角度精度，确定每个可采像位置的采像角度。
[0028] 在一种可能的实现方式中，所述路径规划模块，还用于：
[0029] 根据每个第一采像位置的采像角度，获得每个第一采像位置至少一张第一检测图像，并根据所述至少一张第一检测图像，确定每个第一采像位置的第一缺陷概率，和/或[0030] 根据每个第二采像位置的采像角度，获得每个第二采像位置至少一张第二检测图像，并根据所述至少一张第二检测图像，确定每个第二采像位置的第四缺陷概率。
[0031] 在一种可能的实现方式中，通过判定网络确定所述第一缺陷概率和/或所述第四缺陷概率，包括：
[0032] 将第一检测图像和/或第二检测图像输入所述判定网络进行处理，得到第一缺陷概率和/或第四缺陷概率。
[0034] 在一种可能的实现方式中，所述机器人或机械臂的末端为夹具和/或所述采像部件。
[0035] 在一种可能的实现方式中，所述多个子矩阵是部分重叠的。
[0036] 根据本发明的另一方面，提供了一种缺陷检测方法，所述方法包括：
[0037] 路径规划步骤：根据所述检测对象的所有可采像位置及预设的第一抽样比例，确定所述检测对象的多个第一采像位置；
[0038] 根据每个第一采像位置的第一检测图像，确定所述每个第一采像位置的第一缺陷概率；
[0039] 根据所述第一缺陷概率及所述所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵；
[0040] 根据预设的子矩阵尺寸，将所述概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；
[0041] 判定步骤：将所有第二缺陷概率中的最大值确定为所述检测对象的第三缺陷概率，当所述第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
[0042] 在一种可能的实现方式中，路径规划步骤还包括：
[0043] 判断每个第二缺陷概率是否满足置信条件，其中，所述置信条件为所述第二缺陷概率小于或等于预设的第一置信阈值，或者，所述第二缺陷概率大于或等于预设的第二置信阈值，所述第一置信阈值小于所述第二置信阈值；
[0044] 当每个第二缺陷概率均满足置信条件时，直接进入判定步骤；
[0045] 当存在不满足置信条件的第二缺陷概率时，
[0046] 在所述不满足置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，
[0047] 根据每个第二采像位置的第二检测图像，确定所述每个第二采像位置的第四缺陷概率；
[0048] 用所述第四缺陷概率替换所述局部区域对应的子矩阵中相应的预设缺陷概率，重新确定所述局部区域的第二缺陷概率；
[0049] 重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足置信条件。
[0050] 根据本发明的实施例，能够根据检测对象的所有可采像位置及抽样比例，通过处理部件的路径规划模块确定检测对象的多个采像位置后，通过运动部件对检测对象进行抓取和/或摆放，和/或对采像部件进行调整，并通过采像部件进行采像，得到检测对象的多个检测图像，根据多个检测图像，通过路径规划模块确定多个采像位置的缺陷概率，建立概率矩阵，进而确定多个局部区域的缺陷概率，然后通过处理部件的判断模块确定多个局部区域的缺陷概率中的最大值，并根据该最大值确定检测对象的缺陷检测结果，从而可以在进行缺陷检测时，根据所有可采像位置及抽样比例确定采像位置，并利用采像位置的相关性来确定检测结果，可提高缺陷检测的效率以及检测结果的准确性，减少误判及漏判。附图说明
[0051] 下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
[0052] 图1示出根据本发明的实施例的缺陷检测装置的框图。
[0053] 图2示出根据本发明的实施例的缺陷检测装置的处理部件的工作流程示意图。
具体实施方式
[0054] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055] 本发明实施例的缺陷检测装置，可以全方位、多角度地对检测对象进行检测，以发现其是否存在缺陷，可用于生产企业对其生产的各种产品进行缺陷检测，也可用于产品集成商对采购的各种产品(例如零部件)进行缺陷检测，还可用于其他场景，本发明对缺陷检测装置的应用场景不作限制。
[0056] 图1示出根据本发明的实施例的缺陷检测装置的框图。如图1所示，所述缺陷检测装置包括运动部件100、采像部件200以及处理部件300，所述处理部件300与所述运动部件100、所述采像部件200连接，所述运动部件100用于对检测对象进行抓取和/或摆放，和/或对所述采像部件进行运动，所述采像部件200用于对所述检测对象进行采像，所述处理部件
300包括：
300包括：
[0057] 路径规划模块310：用于根据所述检测对象的所有可采像位置及预设的第一抽样比例，确定所述检测对象的多个第一采像位置，对于抽样方式，本发明不做限定；根据所述采像部件200采集的每个第一采像位置的第一检测图像，确定所述每个第一采像位置的第一缺陷概率；根据所述第一缺陷概率及所述所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵；根据预设的子矩阵尺寸，将所述概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；
[0058] 判定模块320：用于将所有第二缺陷概率中的最大值确定为所述检测对象的第三缺陷概率，当所述第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
[0059] 根据本发明的实施例，能够根据检测对象的所有可采像位置及抽样比例，通过处理部件的路径规划模块确定检测对象的多个采像位置后，通过运动部件对检测对象进行抓取和/或摆放，和/或对采像部件进行调整，并通过采像部件进行采像，得到检测对象的多个检测图像，根据多个检测图像，通过路径规划模块确定多个采像位置的缺陷概率，建立概率矩阵，进而确定多个局部区域的缺陷概率，然后通过处理部件的判断模块确定多个局部区域的缺陷概率中的最大值，并根据该最大值确定检测对象的缺陷检测结果，从而可以在进行缺陷检测时，根据所有可采像位置及抽样比例确定采像位置，并利用采像位置的相关性来确定检测结果，可提高缺陷检测的效率以及检测结果的准确性，减少误判及漏判。
[0060] 在一种可能的实现方式中，所述运动部件100可包括机器人或机械臂，可用于对检测对象进行抓取、摆放(例如移动、旋转等)、卸料等，还可用于对采像部件进行调整，例如，调整采像部件的采像位置或采像角度等。其中，机械臂(例如6轴机械臂、scara机械臂、delta机械臂等)具有多自由度，例如3自由度，便于对检测对象进行多位置、多角度的摆放。本领域技术人员可根据检测对象的自由度的需求确定机器人或机械臂自由度的数量，本发明对此不作限制。
[0061] 在一种可能的实现方式中，运动部件100具有位置重复精度，即运动部件的运动位置具有重复性。运动位置的可重复性，可以使得运动部件抓取检测对象的位置具有可重复性，还可以使得运动部件对采像部件的位置及角度调整具有可重复性，进而使得采像位置具有可重复性，从而可提高采像的准确性。
[0062] 在一种可能的实现方式中，机器人或机械臂的末端可以是夹具和/或采像部件。在机器人或机械臂的末端为夹具时，机器人或机械臂能够夹取或抓取检测对象，将检测对象在采像部件前以多个角度摆放，以进行采像；在机器人或机械臂的末端为采像部件时，机器人或机械臂能够将采像部件在检测对象前以多角度定位，以进行采像。
[0063] 例如，运动部件可包括两个机械臂，一个机械臂的末端为夹具，可以抓取检测对象，另一个机械臂的末端为采像部件，两个机械臂可以以多角度相对运动，以通过“手眼协调”，实现对检测对象全方位、多角度的采像。
[0064] 应当理解，本领域技术人员可根据实际情况选取合适的机器人或机械臂的末端，本发明对此不作限制。
[0065] 在一种可能的实现方式中，所述采像部件200可包括相机、光源，可用于对检测对象进行采像。其中，相机可包括单色相机、彩色相机等，光源可用于在采像时进行照明，使得采像部件可捕捉到清晰的图像。在选择光源时可考虑其形状、波长、亮度等特性，本领域技术人员可以根据检测对象的反光程度、透明度、颜色、材质、几何形状等特征，并结合实际情况，选择合适的光源。本发明对采像时使用的相机及光源不作限制。此外，采像部件还可包括镜头，本领域技术人员可根据实际情况确定是否需要镜头或所需镜头的具体配置，本发明对此不作限制。
[0066] 在一种可能的实现方式中，所述采像部件200还可包括能够观测检测对象的传感器，例如多光谱传感器、三维传感器等，本领域技术人员可根据检测对象的反光程度、透明度、颜色、材质、几何形状等特征，并结合实际情况，选择合适的传感器。本发明对采像时使用的传感器不作限制。
[0067] 在一种可能的实现方式中，所述处理部件300可以是处理器或单片机。其中，处理器可以是通用处理器，例如CPU(Central Processing Unit，中央处理器)，也可以是人工智能处理器(IPU)，例如人工智能处理器可包括GPU(Graphics Processing Unit，图形处理单元)、NPU(Neural-Network Processing Unit，神经网络处理单元)、DSP(Digital Signal Process，数字信号处理单元)、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application Specific Integrated Circuit，专用集成电路)中的一种或组合。本发明对处理器的具体类型不作限制。
[0068] 在一种可能的实现方式中，处理部件300的路径规划模块310，可根据预设的采像精度及检测对象的几何形状，确定检测对象的所有可采像位置；根据预设的角度精度，确定每个可采像位置的采像角度。其中，对于同一类检测对象来说，其所有可采像位置以及每个可采像位置的采像角度是相同的。
[0069] 在一种可能的实现方式中，采像精度可通过下述方式来确定：可首先根据光学采o o像需求及单张图像的漏判概率rb，确定采像的最小精度res ，最小精度res可用于表示在单张图像的漏判概率低于rb时采集的连续图像之间最大的位置间隙，例如，对于一维可采像位置X∶x，其最小精度reso＝min(Δx)，其中，Δx代表了相邻可采像位置之间在x方向上的欧几里德距离；对于二维可采像位置X∶(x,y)，其最小精度reso＝min(Δx,Δy)，其中，Δx代表了相邻可采像位置之间在x方向上的欧几里德距离，Δy代表了相邻可采像位置之间在y方向上的欧几里德距离；在确定采像的最小精度reso后，可根据预设的采像安全系数m及最小精度reso，通过下述公式(1)确定采像精度res：
[0070]
[0072] 在一种可能的实现方式中，确定采像精度后，可根据采像精度及检测对象的几何形状，确定检测对象的所有可采像位置；并根据预设的角度精度，确定每个可采像位置的采像角度。
[0073] 例如，检测对象的采像表面为矩形平面时，可根据采像精度将矩形平面分割为大小相同的多个小矩形，将小矩形的顶点的位置确定为可采像位置，对于每个可采像位置，可根据角度精度，确定多个采像角度，以便从多个角度采集可采像位置的图像；再例如，检测对象的采像表面为曲面，且采像位置落在曲面表面上时，可将曲面平铺开为平面后，使用与矩形平面类似的方法确定其可采像位置，并根据角度精度，确定每个可采像位置的多个采像角度；还例如，检测对象的采像表面为内孔型，且采像位置落在内孔表面以外的位置时，可将内孔表面视为一维，即沿内孔方向的一条线段，根据采像精度，确定其可采像位置，该可采像位置可将沿内孔方向的一段线段分割为多个小线段。
[0074] 在一种可能的实现方式中，检测对象的几何形状不同，其采像表面的形状也会不同，例如，圆锥形状的检测对象包括1个圆形平面及1个曲面。本领域技术人员可根据检测对象的几何形状，确定不同采像表面的可采像位置，本发明对此不作限制。
[0075] 在一种可能的实现方式中，路径规划模块可根据检测对象的所有可采像位置及预设的第一抽样比例，确定检测对象的多个第一采像位置。其中，第第一抽样比例r1∈[0,1]，r1越小，从所有可采像位置中确定的第一采像位置的数量越小，对应的采像时间也越短。例如，所有可采像位置为1000个，在r1为0.3时，第一采像位置的数量为300，在r1为0.5时，第一采像位置的数量为500。本领域技术人员可根据实际抽样需求设定第一抽样比例的取值，本发明对此不作限制。
[0076] 在一种可能的实现方式中，第一抽样比例相同，其对应的第一抽样方式可能不同，但对于同一类检测对象，其第一抽样比例相同，对应的第一抽样方式也相同，即同一类检测对象的所有可采像位置相同，第一采像位置也相同。本领域技术人员可根据实际需要进行设置具体的第一抽样方式，本发明对此不作限制。
[0077] 在一种可能的实现方式中，在确定多个第一采像位置后，路径规划模块310可获取采像部件采集的每个第一采像位置的第一检测图像，并根据第一检测图像，确定每个第一采像位置的第一缺陷概率。其中，根据第一检测图像确定第一缺陷概率的方式有多种，例如，将第一检测图像与预设的无缺陷图像进行比对、分析，计算第一缺陷概率，或者，将第一检测图像输入基于深度学习的网络/系统确定第一缺陷概率，或者采用其他方式。本发明对第一缺陷概率的具体确定方式不作限制。
[0078] 在一种可能的实现方式中，在确定多个第一采像位置后，路径规划模块310还可根据每个第一采像位置的采像角度，获得每个第一采像位置至少一张第一检测图像，并根据所述至少一张第一检测图像，确定每个第一采像位置的第一缺陷概率。也就是说，可从至少一个采像角度对每个第一采像位置进行采像，并根据采像得到的至少一张第一检测图像，确定第一缺陷概率。通过这种方式，可提高第一采像位置的第一缺陷概率的准确性。
[0079] 在一种可能的实现方式中，在确定每个第一采像位置的第一缺陷概率后，路径规划模块310可根据第一缺陷概率及所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵。也就是说，概率矩阵包括所有可采像位置对应的概率值，其中，第一采像位置对应的概率值为第一缺陷概率，其他位置对应的概率值为预设缺陷概率，例如0.5。
[0080] 在一种可能的实现方式中，路径规划模块310可根据预设的子矩阵尺寸，将概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率。
[0081] 其中，子矩阵尺寸可根据平均能观测到缺陷的最大连续采像间隔及预设的采像精度res确定的。例如，子矩阵的尺寸q＝平均能观测到缺陷的最大连续采像间隔/采像精度，其中，q为正整数。当子矩阵的尺寸q＝3时，子矩阵为3*3的矩阵。
[0082] 在一种可能的实现方式中，可根据预设的子矩阵尺寸，将概率矩阵拆分成多个子矩阵，每个子矩阵可以有重叠区域，也可以无重叠区域，但所有子矩阵需全部覆盖所述概率矩阵，子矩阵是否有重叠区域可根据实际情况设置；然后根据每个子矩阵中的多个概率值，确定每个子矩阵对应的局部区域的第二缺陷概率PR。其中，第二缺陷概率PR的确定方式有多种，例如，可将子矩阵中所有概率值的最大值确定为PR，或者，根据子矩阵中所有概率值的最大值及与最大值相邻的至少一个概率值，确定PR，或者，对子矩阵中所有概率值进行加权平均，确定PR，或者，通过神经网络确定PR，或者采用其他方式，本发明对此不作限制。
[0083] 在一种可能的实现方式中，可通过卷积来确定每个子矩阵对应的局部区域的第二缺陷概率PR，即通过对子矩阵的所有概率值进行卷积后，确定出第二缺陷概率PR。其中，卷积核的参数可以是概率分布，例如高斯分布等，本领域技术人员可根据实际情况选取合适的概率分布，本发明对此不作限制。
[0084] 在一种可能的实现方式中，卷积核的参数为高斯分布时，可通过下述公式(2)确定任一子矩阵的第二缺陷概率PR：
[0085] PR＝Wgauss*P (2)
[0086] 其中，Wgauss表示高斯分布，P表示任一子矩阵。
[0087] 例如，在可采像位置为一维时，第二缺陷概率 其中，Pi为子矩阵中的概率值，i表示Pi在子矩阵中的位置，Wi表示Pi对应的卷积核的Pk参数；
[0088] 在可采像位置为二维时，第二缺陷概率 其中，Pi,j为子矩阵中的概率值，(i,j)表示Pi,j在子矩阵中的位置，Wi,j表示Pi,j对应的卷积核的Pk参数。
[0089] 在一种可能的实现方式中，在确定出第二缺陷概率后，处理部件的判断模块320可将所有第二缺陷概率中的最大值确定为检测对象的第三缺陷概率，当第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
[0090] 其中，缺陷概率阈值可根据实际情况进行设置，例如，可将缺陷概率阈值设为0.75-0.9之间的任一值(例如缺陷概率阈值为0.8)。本领域技术人员可根据实际情况设置缺陷概率阈值，本发明对此不作限制。
[0091] 在一种可能的实现方式中，在检测对象的所有可采像位置包括多个层级时，可以按照层级从小到大，在每个层级的多个缺陷概率中选取最大值，作为下一层级的输入，直到确定出检测对象的整体缺陷概率，例如，对于包括多个采像表面的检测对象，可从每个采像表面的多个局部区域概率中选取出最大值作为每个采像表面的缺陷概率，再从多个采像表面的缺陷概率中选取最大值作为检测对象的整体缺陷概率；然后判断整体缺陷概率与缺陷概率阈值的关系，在整体缺陷概率大于或等于缺陷概率阈值时，认为检测对象有缺陷，反之，认为检测对象无缺陷。
[0092] 在一种可能的实现方式中，所述路径规划模块，还可用于：
[0093] 判断每个第二缺陷概率是否满足置信条件，其中，所述置信条件为所述第二缺陷概率小于或等于预设的第一置信阈值，或者，所述第二缺陷概率大于或等于预设的第二置信阈值，所述第一置信阈值小于所述第二置信阈值；
[0094] 当每个第二缺陷概率均满足所述置信条件时，直接进入判定模块进行缺陷判定；
[0095] 当存在不满足所述置信条件的第二缺陷概率时，
[0096] 在所述不满足所述置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，
[0097] 根据所述采像部件采集的每个第二采像位置的第二检测图像，确定所述每个第二采像位置的第四缺陷概率；
[0098] 用所述第四缺陷概率替换所述局部区域对应的子矩阵中相应的预设缺陷概率，重新确定所述局部区域的第二缺陷概率；
[0099] 重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足所述置信条件。
[0100] 其中，对于预设的第一置信阈值PNG,min及第二置信阈值PNG,max，本领域技术人员可根据实际情况设置其取值，本发明对此不作限制。
[0101] 在一种可能的实现方式中，第一置信阈值PNG,min为0.5-ΔP，第二置信阈值PNG,max为0.5+ΔP，其中，0<ΔP<0.5。例如，ΔP＝0.2时，第一置信阈值为0.3，第二置信阈值为0.7。
[0102] 在一种可能的实现方式中，在确定每个局部区域的第二缺陷概率后，可判断每个第二缺陷概率是否满足置信条件。其中，置信条件为第二缺陷概率小于或等于预设的第一置信阈值PNG,min，或者，第二缺陷概率大于或等于预设的第二置信阈值PNG,max。如果第二缺陷概率PR≥PNG,max或者PR≤PNG,min，认为第二缺陷概率满足置信条件，如果PNG,min
[0103] 在一种可能的实现方式中，当每个第二缺陷概率均满足置信条件时，可直接进入判定模块进行缺陷判定，不再对检测对象进行采像。
[0104] 在一种可能的实现方式中，当存在不满足置信条件的第二缺陷概率时，可在不满足置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，其中，所述第二抽象比例r2∈[0,1]，且r2>r1。
[0105] 在一种可能的实现方式中，第二采像位置可以不包括第一采像位置，即第二采像位置与第一采像位置不同，已经采像的位置不再采像，从而可提高处理效率。
[0106] 在确定第二采像位置后，可根据采像部件采集的每个第二采像位置的第二检测图像，确定每个第二采像位置的第四缺陷概率。其中，根据第二检测图像确定第四缺陷概率的方式有多种，例如，将第二检测图像与预设的无缺陷图像进行比对、分析，计算第四缺陷概率，或者，将第二检测图像输入基于深度学习的网络/系统确定第四缺陷概率，或者采用其他方式。本发明对第四缺陷概率的具体确定方式不作限制。
[0107] 在一种可能的实现方式中，可根据每个第二采像位置的采像角度，获得每个第二采像位置至少一张第二检测图像，并根据至少一张第二检测图像，确定每个第二采像位置的第四缺陷概率。也就是说，可从至少一个采像角度对每个第二采像位置进行采像，并根据采像得到的至少一张第二检测图像，确定第四缺陷概率。通过这种方式，可提高第二采像位置的第四缺陷概率的准确性。
[0108] 在确定出第四缺陷概率后，可用第四缺陷概率替换局部区域对应的子矩阵中相应的预设缺陷概率，重新确定局部区域的第二缺陷概率；然后重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足置信条件。
[0109] 在本实施例中，在第二缺陷概率不满足置信条件时，需要确定第二采像位置，进而重新确定局部区域的第二缺陷概率，直到每个第二缺陷概率均满足置信条件，使得每个局部区域的第二缺陷概率都是可信的，从而可以使得第二采像位置根据第二缺陷概率的具体取值而动态变化，实现采像路径及位置的动态规划，提高采像位置的相关性，同时，在每个第二缺陷概率均满足置信条件时进入判定模块进行缺陷判定，可提高缺陷判定的准确性。
[0111] 在一种可能的实现方式中，可通过判定网络确定第一缺陷概率和/或所述第四缺陷概率，具体为：将第一检测图像和/或第二检测图像输入判定网络进行处理，得到第一缺陷概率和/或第四缺陷概率。
[0113] 在一种可能的实现方式中，判定网络在使用前，需经过训练，以提高判定结果的准确性。可使用训练集中的图像(已对图像的每个像素OK/NG(包括缺陷种类)进行标注)，通过监督学习或非监督学习的方式，对判定网络进行训练，使得判定网络可以自动学习训练集中的图像的特征，而不需要人工进行特征的编写。
[0114] 在一种可能的实现方式中，通过判定网络确定第一缺陷概率和/或第四缺陷概率时，可将第一检测图像和/或第二检测图像输入判定网络，判定网络可对输入的第一检测图像和/或第二检测图像进行预处理，增强缺陷的可识别度，然后对第一检测图像和/或第二检测图像中的每个像素进行判定，得到每个像素的判定结果OK/NG，如果判定结果为NG，可进一步判定NG的缺陷种类；然后对第一检测图像和/或第二检测图像的每个像素的判定结果进行归一化(Softmax)处理，得到第一缺陷概率和/或第四缺陷概率。
[0115] 在本实施例中，通过判定网络确定第一缺陷概率和/或所述第四缺陷概率，可提高第一缺陷概率和/或第四缺陷概率的计算速度及准确性。
[0116] 在一种可能的实现方式中，可通过卷积网络确定所述第二缺陷概率，具体为：根据预设的子矩阵尺寸，确定所述卷积网络的卷积核及步长；根据所述卷积核及步长，通过所述卷积网络对所述概率矩阵进行卷积操作，得到所述检测对象的每个局部区域的第二缺陷概率。其中，卷积网络的参数可根据概率分布来确定，概率分布例如高斯分布等，本领域技术人员可根据实际情况选取合适的概率分布。本发明对卷积网络的参数的具体取值不作限制。在一种可能的实现方式中，概率分布优选为高斯分布。
[0117] 举例来说，在子矩阵尺寸为q＝3时，可将卷积网络的卷积核设为3*3，步长设为小于或等于q的正整数，例如步长为1、2或3(可根据实际情况设置)；然后将概率矩阵输入卷积网络进行卷积操作，卷积操作时卷积核所在的子矩阵对应检测对象的一个局部区域，从而可得到检测对象的每个局部区域的第二缺陷概率。其中，局部区域的数量与卷积核及步长相关。
[0118] 在本实施例中，通过卷积网络确定第二缺陷概率，可提高第二缺陷概率的计算速度及准确性。
[0119] 图2示出根据本发明的实施例的缺陷检测装置的处理部件的工作流程示意图。如图2所示，处理部件根据采像精度及检测对象的几何形状确定所有可采像位置后，可在步骤S401中，根据预设的第一抽样比例，从所有可采像位置中确定出多个第一采像位置，并在步骤S402中，根据采像部件采集的每个第一采像位置的第一检测图像，确定每个第一采像位置的第一缺陷概率；
[0120] 然后在步骤S403中，根据第一缺陷概率及所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵，并在步骤S404中，根据预设的子矩阵尺寸3，将概率矩阵拆分成多个3×3的子矩阵，并确定每个子矩阵对应的局部区域的第二缺陷概率；
[0121] 确定第二缺陷概率后，在步骤S405中判断每个第二缺陷概率是否都满足置信条件，其中，置信条件为第二缺陷概率小于或等于第一概率阈值0.3，或者第二缺陷概率大于或等于第二概率阈值0.7；
[0122] 在存在第二缺陷概率不满足置信条件时，可在步骤S406中，在不满足置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置；在步骤S407中，根据采像部件采集的每个第二采像位置的第二检测图像，确定每个第二采像位置的第四缺陷概率，并用第四缺陷概率替换局部区域对应的子矩阵中相应的预设缺陷概率；然后在步骤S404中重新确定局部区域的第二缺陷概率；
[0123] 在每个第二缺陷概率都满足置信条件时，可在步骤S408中，将所有第二缺陷概率中的最大值确定为检测对象的第三缺陷概率；在步骤S409中判断第三缺陷概率是否大于或等于缺陷概率阈值0.8；在第三缺陷概率大于或等于缺陷概率阈值0.8时，在步骤S410中，判定检测对象有缺陷，否则，在步骤S411中，判定检测对象无缺陷。
[0124] 根据本发明的实施例，缺陷检测装置可根据预设的采像精度及检测对象的几何形状，确定检测对象的所有可采像位置，从而可通过处理部件来实现了以前针对检测对象的形状的硬件定制，使得缺陷检测装置可以适应多种物体的检测需求。
[0125] 根据本发明的实施例，能够根据检测对象的所有可采像位置及抽样比例，通过处理部件的路径规划模块确定检测对象的多个采像位置后，通过运动部件对检测对象进行抓取和/或摆放，和/或对采像部件进行调整，并通过采像部件进行采像，得到检测对象的多个检测图像，根据多个检测图像，通过路径规划模块确定多个采像位置的缺陷概率，进而确定多个局部区域的缺陷概率，然后判断每个局部区域的缺陷概率是否满足置信条件，在局部区域的缺陷概率不满足置信条件时，需要确定局部区域的新的采像位置，进而重新确定局部区域的第二缺陷概率，在各个局部区域的缺陷概率均满足置信条件时，通过处理部件的判断模块确定多个局部区域的缺陷概率中的最大值，并根据该最大值确定检测对象的缺陷检测结果，从而可以在进行缺陷检测时，实现采像路径及位置的动态规划，并利用采像位置的相关性来确定检测结果，不仅可以有效识别检测对象的随机缺陷及复杂的材料表面，还可以提高缺陷检测的效率以及检测结果的准确性，减少误判及漏判。
[0126] 本发明的另一方面，还提出了一种缺陷检测方法，所述方法包括：
[0127] 路径规划步骤：根据所述检测对象的所有可采像位置及预设的第一抽样比例，确定所述检测对象的多个第一采像位置；
[0128] 根据每个第一采像位置的第一检测图像，确定所述每个第一采像位置的第一缺陷概率；
[0129] 根据所述第一缺陷概率及所述所有可采像位置除第一采像位置之外的位置的预设缺陷概率，建立概率矩阵；
[0130] 根据预设的子矩阵尺寸，将所述概率矩阵拆分成多个子矩阵，确定每个子矩阵对应的局部区域的第二缺陷概率；
[0131] 判定步骤：将所有第二缺陷概率中的最大值确定为所述检测对象的第三缺陷概率，当所述第三缺陷概率大于或等于缺陷概率阈值时，检测对象判定为有缺陷，反之则判定为无缺陷。
[0132] 在一种可能的实现方式中，路径规划步骤还包括：
[0133] 判断每个第二缺陷概率是否满足置信条件，其中，所述置信条件为所述第二缺陷概率小于或等于预设的第一置信阈值，或者，所述第二缺陷概率大于或等于预设的第二置信阈值，所述第一置信阈值小于所述第二置信阈值；
[0134] 当每个第二缺陷概率均满足置信条件时，直接进入判定步骤；
[0135] 当存在不满足置信条件的第二缺陷概率时，
[0136] 在所述不满足置信条件的第二缺陷概率所对应的局部区域中，根据预设的第二抽样比例确定第二采像位置，
[0137] 根据每个第二采像位置的第二检测图像，确定所述每个第二采像位置的第四缺陷概率；
[0138] 用所述第四缺陷概率替换所述局部区域对应的子矩阵中相应的预设缺陷概率，重新确定所述局部区域的第二缺陷概率；
[0139] 重复判断每个第二缺陷概率是否满足置信条件的步骤，直到每个第二缺陷概率均满足置信条件。
[0140] 根据本发明的实施例，能够在进行缺陷检测时，实现采像路径及位置的动态规划，并利用采像位置的相关性来确定检测结果，不仅可以有效识别检测对象的随机缺陷及复杂的材料表面，还可以提高缺陷检测的效率以及检测结果的准确性，减少误判及漏判。
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
缺陷热门专利
QQ群二维码
意见反馈
意见反馈