首页 / 专利库 / 电脑图像 / 边缘检测 / 一种面向机械装配过程的零部件自动识别方法

一种面向机械装配过程的零部件自动识别方法

阅读:1031发布:2020-06-23

专利汇可以提供一种面向机械装配过程的零部件自动识别方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种机械装配过程中的零部件自动识别方法,方法步骤包括:构建所要装配的机器的零部件装配序列库,零部件堆 图像采集 ,零部件堆图像特征提取,零部件堆图像的三维立体构建,零部件堆图像特征提取,最后进行零部件的配准识别。本发明具有原理简单、效率高、检测精确度高、鲁棒性强等优点。,下面是一种面向机械装配过程的零部件自动识别方法专利的具体信息内容。

1.一种面向机械装配过程的零部件自动识别方法,其特征在于,包括如下步骤:
步骤1,构建所要装配的机器的零部件装配序列库
将所要装配的机械零部件在装配过程中每一步所需要的零部件的特征依照装配顺序存储于装配零部件机械臂的终端计算机中;
步骤2,零部件堆的图像采集
采集办法是采用工业电荷耦合器件CCD,采集到机械零件的二维平面图像并提取灰度信息;由于零散环境中零部件存在遮挡以及同种零部件不同尺寸的情况,对同一零部件堆进行360度范围不同度的图像采集,即每四十五度采集一次图像,共采集零件堆八个方向的图像;
步骤3,零部件堆图像的预处理
对采集到的零散环境中的零部件堆图像进行去噪、二值化、梯度锐化和分割归一化处理,以提高图像质量
步骤4,零部件堆图像的三维立体构建
采用基于深度图像与计算的统一装置结构的实时重建的方法,将步骤2,3完成后的图像在计算机中进行零部件三维立体模型构建;
步骤5,零部件堆图像的特征提取:步骤4构建完成零部件的三维立体图像后,提取零部件图像的尺度,形状,颜色特征以及现有广泛使用的sift特征进行步骤6操作;
对于零部件堆图像尺度特征的提取,首先选定工业零件待测量部分区域,对选定的两个区域用Sobel边缘检测算法进行边缘检测,进而用高斯曲线拟合法进行亚像素定位;其次选定工业零件的最左边边缘和最右边边缘,在任意处设定坐标原点,以平行于CCD感光元素的方向为x轴,以像素为单位,求出两个边缘的x坐标值MaxX和MinX;然后令x的坐标值MaxX与MinX相减,取两者差的绝对值,得出两边缘之间的像素个数PixelWidth;然后通过摄像机的标定系数k,即可得出选定区域的宽度值;RegionWidth=k*PixelWidth;最后,为了得到精确结果,选取不同的测量区域进行多次测量后取平均值;
对于零部件堆图像形状特征的提取,采用基于边缘检测图像的逐像素特征提取法,通过对图像进行逐行逐列的扫描,当遇到黑色像素时取其特征值为l,遇到白色像素时取其特征值为0,这样当扫描结束以后就形成了一个维数与图像中像素点的个数相同的特征向量矩阵,以此特征向量矩阵作为图像的形状特征;
对于零部件堆图像颜色特征的提取,采用颜色直方图的方法进行描述;使用颜色特征检索图像时计算每一幅图像的颜色直方图如式(1)所示,累计直方图如式(2)所示:
颜色直方图
累计直方图
其中,设一幅图像的灰度级为N,ni为第i中颜色在整幅图中的像素数;
以及使用每种颜色在图像像素点中的比例,作为图像的颜色特征加以保存;
对于零部件堆图像sift特征的提取,首先进行尺度空间的生成;然后检测尺度空间极值点,并精确定位极值点;然后为每个关键点指定方向参数;最后生成关键点的描述子作为sift特征;
步骤6,零部件的配准识别
将步骤1已构建完成的零部件装配序列库中将要装配的零部件特征与步骤5获取到的零散环境中的零部件堆的图像特征进行配准识别;若找到所需的零部件,则机器臂抓取零部件进行机器的装配,重复步骤6的工作,直到所要进行的装配过程结束;若找不到所需的零部件,则通过机械装置将零部件堆重置,重复步骤2到步骤6的工作。

说明书全文

一种面向机械装配过程的零部件自动识别方法

技术领域

[0001] 本发明属于零部件识别技术领域,具体涉及了基于机器视觉的机械装配过程中零部件的自动识别方法。

背景技术

[0002] 在现代化的大生产之中,涉及到各种各样的检验、生产监视及零件识别应用,视觉检测往往是不可缺少的环节需要众多的检测工人,通过肉眼或结合显微镜进行观测检验,大量的检测人工不仅影响工厂效率,而且带来不可靠的因素,直接影响产品质量与成本。此外,大部分检测工序不仅仅要求外观的检测,同时需要准确获取检测数据,例如零配件批量加工的尺寸检查,自动装配的完整性检查,电子装配线的元件自动定位,通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作,其它物理量传感器也难有用武之地。采用机器视觉可以有效的解决这一问题,而且,机器视觉系统比光学或机器传感器有更好的可适应性。
[0003] 因零件前道工序(铸造)预留的相位识别特征孔并未加工处理,较易出现毛刺、铸瘤甚至不圆等缺陷,这些不稳定因素对机器视觉系统识别的智能化提出了较高的要求。自动化系统中的视觉系统输出的定位精度和鲁棒性直接关系到系统运行的安全性和稳定性,为此需要专开发稳定有效的图像处理算法以提高视觉系统的稳定性。

发明内容

[0004] 本发明的目的是克服现有技术中的不足之处,提供一种基于机器视觉的机械装配过程中零部件识别的方法,通过摄像头模拟人的视觉功能,摄取零部件图像,并提取信息加以处理,最终使机器获得自动识别零部件的能,为机械的自动装配提供前向过程。
[0005] 为解决上述技术问题本发明的具体步骤如下:
[0006] 1.构建所要装配的机器的零部件装配序列库。将所要装配的机械零部件在装配过程中每一步所需要的零部件的特征依照装配顺序存储于装配零部件机械臂的终端计算机中。
[0007] 2.零部件堆的图像采集。采集办法是采用工业CCD(电荷耦合器件),采集到机械零件的二维平面图像并提取灰度信息。由于零散环境中零部件存在遮挡以及同种零部件不同尺寸的情况,对同一零部件堆进行360度范围不同度的图像采集,即每四十五度采集一次图像,共采集零件堆八个方向的图像。
[0008] 3.零部件堆图像的预处理。对采集到的零散环境中的零部件堆图像进行必要的去噪、二值化、梯度锐化、分割归一化处理,以提高图像质量。
[0009] 4.零部件堆图像的三维立体构建。采用基于深度图像与计算的统一装置结构(Compute Unified Device Architecture)的实时重建的方法,将步骤2,3完成后的图像在计算机中进行零部件三维立体模型构建。
[0010] 5.零部件堆图像的特征提取。步骤4构建完成零部件的三维立体图像后,提取零部件图像的尺度,形状,颜色特征以及现有广泛使用的sift特征进行步骤6操作。
[0011] 对于零部件堆图像尺度特征的提取,首先选定工业零件待测量部分区域,对选定的两个区域用Sobel边缘检测算法进行边缘检测,进而用高斯曲线拟合法进行亚像素定位;其次选定工业零件的最左边边缘和最右边边缘,在任意处设定坐标原点,以平行于CCD感光元素的方向为x轴(以像素为单位),求出两个边缘的x坐标值MaxX和MinX;然后令x的坐标值MaxX与MinX相减,取两者差的绝对值,得出两边缘之间的像素个数PixelWidth;然后通过摄像机的标定系数k,即可得出选定区域的宽度值;RegionWidth=k*PixelWidth;最后,为了得到精确结果,选取不同的测量区域进行多次测量后取平均值。对于零部件堆图像形状特征的提取,采用基于边缘检测图像的逐像素特征提取法,通过对图像进行逐行逐列的扫描,当遇到黑色像素时取其特征值为l,遇到白色像素时取其特征值为0,这样当扫描结束以后就形成了一个维数与图像中像素点的个数相同的特征向量矩阵。以此特征向量矩阵作为图像的形状特征。对于零部件堆图像颜色特征的提取,采用颜色直方图的方法进行描述。颜色直方图运算速度非常快,对图像平移、旋转及尺度变化较不敏感,鲁棒性强。使用颜色特征检索图像时计算每一幅图像的颜色直方图(见(1)式,其中设一幅图像的灰度级为N,)、累计直方图(见(2)式),
[0012] ni为第i中颜色在整幅图中的像素数;
[0013] 颜色直方图
[0014] 累计直方图
[0015] 及每种颜色在图像像素点中的比例,作为图像的颜色特征加以保存。对于零部件堆图像sift特征的提取,首先进行尺度空间的生成;然后检测尺度空间极值点,并精确定位极值点;然后为每个关键点指定方向参数;最后生成关键点的描述子作为sift特征。
[0016] 6.零部件的配准识别。将步骤1已构建完成的零部件装配序列库中将要装配的零部件特征与步骤5获取到的零散环境中的零部件堆的图像特征进行配准识别。若找到所需的零部件,则机器臂抓取零部件进行机器的装配,重复步骤6的工作,直到所要进行的装配过程结束;若找不到所需的零部件,则通过机械装置将零部件堆重置,重复步骤2到步骤6的工作。
[0017] 本发明的有益效果:
[0018] 本发明是面向零散环境机械装配过程中的零部件自动识别方法,适用于大型机械自动组装的前向过程,方法原理简单且快速,自动化程度高,鲁棒性强,为机器全自动化生产提供了前向的技术铺垫,使机器的自动装配具有多样性、灵活性和可重组性。当需要改变生产过程时,对机器视觉来说“工具更换”仅仅是零件库的变换而不是更换昂贵的硬件。当生产线重组后,视觉系统可以重复使用。附图说明
[0019] 图1是面向机械装配过程的零部件自动识别方法的操作流程图

具体实施方式

[0020] 本发明公开了一种机械装配过程中的零部件自动识别方法。该方法构建了机械零部件装配过程中零部件特征库,用于实现机械装配的全自动化,在进行机械装配过程中,能够逐步从零部件特征库中提取需要装配的零部件特征与待识别的零部件特征进行配准识别,直至装配完成,节省了在装配过程中人为指定每步装配所需零部件的繁琐步骤,可以极大的节约机械装配的时间。此外,在更换装配机械时,由于已构建零部件特征库,我们只需将零部件特征库中零部件特征进行更换而不需将装配过程中的昂贵硬件进行更换,可以极大的节约生产成本。在对待识别零部件堆图像采集过程中,由于零散环境中的零部件有可能存在遮挡,以及零部件本身在铸造过程中可能产生的毛刺、铸瘤甚至不圆的缺陷以及零部件尺度不一的问题,仅仅采集图像一个方位的信息不能很好的解决这些问题,因此我们通过工业摄像机采集零散环境中零部件图像360度范围内的信息(每45度进行一次图像采集,共采集8个不同方向的待识别零部件图像)。将待识别的零部件堆图像进行必要的预处理后对图像进行三维构建。零部件堆三维图像模型的特征提取用于解决零散环境中零部件极易出现遮挡以及零部件本身尺度不一的问题,改进了仅提取待识别零部件图像的二维平面图像中的特征方式的缺陷。通过我们已经构建好的三维模型,可以更好的提取待识别零部件的形状,尺度等特征,极大方便了我们解决遮挡及尺度不一的问题,使零部件的识别更加容易,减少了识别不到而进行零部件重置的情况的发生。最后进行零部件的配准识别。本发明具有原理简单、效率高、检测精确度高、鲁棒性强等优点。
[0021] 下面结合附图和具体实施方式对本发明进行详细说明。如图1所示,机械装配的零部件识别方法具体包括以下步骤:
[0022] 1.构建所要装配的机器的零部件装配序列库。将所要装配过程中每一步所要装配的零部件与其特征存储于控制装配的机械手臂的终端计算机中。通过工业摄像机CCD摄像机对每一步所要装配的零部件采集八个方位的图像,再对采集到的零部件图像进行三维构建,将通过图像的特征提取提取到的零部件特征当作标签存储在转配过程中。
[0023] 2.零部件堆图像采集。采用工业摄像机CCD在360度的范围内对零部件堆进行图像采集,每45度进行一次图像采集共获得八个方位的图像,
[0024] 3.零部件堆图像的预处理。并对采集到的图像进行必要的图像处理,如去噪、二值化、梯度锐化和分割归一化处理。
[0025] 4.零部件堆图像的三维立体构建。对于零部件堆中存在同种零部件不同尺寸以及零部件被部分遮挡的问题,通过采集到的零部件堆八个方位的图像构建零部件的三维图像,我们采用基于深度图像与计算的统一装置结构(Compute Unified  Device Architecture)的实时重建的方法构建零部件三维图像,增强系统的鲁棒性。
[0026] 5.零部件堆图像特征提取。构建完成零部件堆的三维图像后,提取零部件图像的尺度,形状,颜色以及现有的sift特征提取算法提取零部件堆图像的sift特征作为零部件堆的特征,以提高系统的准确度。现有的sift特征是一种非常稳定的局部特征,对旋转、尺度缩放、亮度变化等保持不变性。
[0027] 6.零部件的配准识别。提取零部件图像的特征之后,将零部件装配库中当前待装配零部件图像的特征与步骤5获取到的零部件堆的图像特征进行配准识别。首先采用向量的几何特性对特征点进行粗略匹配,然后采用最近邻NN(NearestNeighbor)方法进行特征匹配,并采用双向匹配方法去除误匹配,最后采用随机抽样一致RANSAC(Random sample consensus)算法继续进行去除误匹配操作。匹配结束后,设置判别阈值,计算匹配到的特征点与提取到的特征点的比值与阈值对比,判定是否找到当前所要装配的零部件。若找到所需零部件,则进行零部件的装配,并从计算机装配库中提取下一个装配零件的特征重复步骤6直到装配过程结束;如果找不到所需的零部件,则用机械装置将零部件堆重置,重新进行步骤2到步骤6的操作。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈