首页 / 专利库 / 摄影 / 自拍 / 一种基于立体视觉的钢卷识别定位方法

一种基于立体视觉卷识别定位方法

阅读:438发布:2024-01-02

专利汇可以提供一种基于立体视觉卷识别定位方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 立体视觉 的 钢 卷识别 定位 方法,主要包括以下步骤:(1)确立双目立体视觉模型,获取图像对;(2)采用张正友标定方法进行摄像机标定;(3)采用立体匹配 算法 获取 视差 图;(4)利用深度直方图实现对目标钢卷的分割,计算出钢卷的X轴和Y轴的世界坐标;(5)根据重投影矩阵计算得到钢卷的三维点 云 数据,对钢卷点云数据进行平滑去噪;(6)最后对去噪后的点云数据进行圆柱特征拟合,从而获取钢卷在Z轴的世界坐标。本发明的方法能够准确识别定位钢卷的 位置 、减小激光扫描周期,提高成品仓库的物流效率。,下面是一种基于立体视觉卷识别定位方法专利的具体信息内容。

1.一种基于立体视觉卷识别定位方法,其特征在于,包括以下步骤:
(1)确立双目立体视觉模型,获取图像对;
(2)采用张正友标定方法进行摄像机标定;
(3)采用立体匹配算法获取视差图;
(4)利用深度直方图实现对目标钢卷的分割,计算出钢卷的X轴和Y轴的世界坐标;
(5)根据重投影矩阵计算得到钢卷的三维点数据,对钢卷点云数据进行平滑去噪;
(6)最后对去噪后的点云数据进行圆柱特征拟合,从而获取钢卷在Z轴的世界坐标。
2.根据权利要求1所述的基于立体视觉的钢卷识别定位方法,其特征在于,所述步骤(1)中,建立一般双目立体视觉模型,获取待检测图像对,进一步的已知空间点的左右摄像机图像的坐标,通过透视变换和坐标系间的关系求出该点的三维空间坐标。
3.根据权利要求1所述的基于立体视觉的钢卷识别定位方法,其特征在于,所述步骤(2)中,为了确立二维图像坐标系与三维世界坐标系之间的关系,首先进行摄像机标定;采用张正友平面标定法,具体包括以下步骤:
(a)准备一个棋盘格标定板作为实验中标定的靶标;
(b)移动棋盘格标定板,从不同度拍摄若干标定板图像;
(c)对每副标定板图像进行角点检测,获取角点像素坐标;
(d)先不考虑畸变系数,利用最大似然估计法获取投影矩阵H,进一步求解摄像机的内部参数和外部参数,最大似然估计法计算方法如下:
假设实验中有n幅标定板图像,每幅图像有m个角点,假设每个角点的干扰噪声独立同分布,将获取的内部参数和外部参数作为初始值,求得标定板上角点的投影像素值,以图像像素点和投影像素值的距离作为目标函数,求距离最小时的外部参数解:
上式中,mij表示第i幅标定板图像中的第j个角点的像素坐标,Ri、ti分别是根据第i幅标定板图像计算得到的摄像机的旋转矩阵与平移向量,Mj是第j个角点的世界坐标系下的坐标值;
(e)考虑畸变系数,通过线性最小二乘法求解畸变方程中的畸变系数;
(f)把已获取的摄像机内部参数作为初始值,考虑畸变因素下的重投影,利用上式的Levenberg-Marquardt算法对图像点与重投影点间的距离进行迭代求解,完成对摄像机参数的非线性优化,提高摄像机标定的精度;进一步的利用极线几何对图像对进行极线校准,校准后的图像对的同名极线共线,使区域匹配时的二维搜索降低为一维搜索,提高匹配精度,减小计算量。
4.根据权利要求1所述的基于立体视觉的钢卷识别定位方法,其特征在于,所述步骤(3)中,采用基于灰度的匹配算法,故需将RGB图像在预处理时转换为灰度图像,进一步的采用高斯滤波去除图像的噪声,对图像对进行拉普拉斯锐化处理,使图像的细节和边缘清晰,得到预处理后的图像;进一步的采用基于NCC的区域立体匹配算法,确定3×3窗口实现区域匹配获取视差图;NCC相似性度量因子公式下:
其中,S为(x+y)对应邻域窗的相似度,I(x+y)为目标图像(x+y)处灰度值,I为目标图像邻域窗内的灰度平均值;T(x+y)为基准图像(x+y)处的灰度值,T为基准图邻域窗内的灰度平均值;SNCC为归一化互相关系数,该系数越大两幅图就越相似,反之,两幅图就越不相似。
5.根据权利要求1所述的基于立体视觉的钢卷识别定位方法,其特征在于,所述步骤(4)中,利用视差图的深度信息提取出钢卷轮廓,进一步的获取钢卷中心在图像中的X和Y坐标,通过图像坐标到大地坐标的转换计算,计算得到钢卷在大地坐标系下的坐标xp和yp。
6.根据权利要求1所述的基于立体视觉的钢卷识别定位方法,其特征在于,所述步骤(5)中,根据重投影矩阵计算得到钢卷的三维点云数据,进一步的对钢卷点云数据进行平滑去噪,去除点云数据中的噪声点、失真点和体外孤立点去噪后的图像;重投影矩阵Q公式如下:
上式中除了c′x外的所有参数都来自左图像,c′x是主点在右图像上的x坐标;如果主光线在无穷远处相交,那么cx=c′x,并且右下角的项为0。
7.根据权利要求1所述的基于立体视觉的钢卷识别定位方法,其特征在于,所述步骤(6)中,对去噪后的点云数据进行圆柱特征拟合,进一步获取钢卷在Z轴的世界坐标,实现对钢卷的定位;采取MCMD方法,平方距离和的计算公式为:
对于三维表面S, 为第i个点到模型表面的平方距离;si代表S上与qi最近的点,si处的曲率半径为ρi1和ρi2;ni1,ni2为主曲率方向向量,ni3为法向量;最短距离为di=|qi-si|;若曲率中心与点qi在表面S的两侧,则di<0;反之di>0,当0<di<ρji或者ρij为无穷大时,αij=
0;采用稳健Z分数方法逐步剔除粗差,即每次循环依据距离和最小准则获取可靠初始模型,重新计算垂直距离中位数 中位数中误差 并计算点集Q中每个点的Zr值;将Zr≥k0的点从点集中剔除,当点集中所有点的Zr<k0(2.0≤k0≤2.5)时停止循环;进一步的剔除掉粗差点后的剩余点,认为是同一几何基元的点,对其进行最小二乘法迭代拟合获得最终的圆柱几何特征参数。

说明书全文

一种基于立体视觉卷识别定位方法

技术领域

[0001] 本发明涉及图像处理领域,具体涉及一种基于立体视觉的钢卷识别定位方法。技术背景
[0002] 自动识别和定位技术是成品仓库智能化和无人化的有效途径之一,通过智能检测和定位、吊具改造和自控技术,将大量减少人工辅助,特别是避免人工介入危险性较大的作业。成品仓库是钢公司重要的物流储存部,钢卷的装卸操作是影响物流效率和安全的突出环节。目前绝大部分钢铁仓库在钢卷的运输过程主要采用人工操作和监测的方法。在这种工作方式下工人存在安全隐患,并且人工操作主要依靠司机的肉眼观测,存在一定的随意性,导致行车不必要的启停造成工作效率低下。还有小部分的自动程度较高的钢铁仓库采用激光作为传感器辅助实现自动识别和抓取钢卷,但由于激光扫描钢卷周期较长,导致生产效率低下,所以迫切需要一种能够准确识别钢卷位置、减小激光扫描周期,来更好地完成钢卷的识别与定位的方法。

发明内容

[0003] 本发明的目的在于解决在成品仓库中,如何实现对钢卷的快速识别定位,减小激光扫描周期,提高物流效率等问题,提供一种基于立体视觉的钢卷识别定位方法。该方法不仅能够准确的检测出钢卷的位置,而且检测速度快,具有实时性的特点。
[0004] 为达到上述目的,本发明采用下述技术方案:
[0005] 一种基于立体视觉的钢卷识别定位方法,包括对摄像机标定、立体匹配、基于视差图的钢卷识别和钢卷点处理与定位等几个关键部分,具体包括以下步骤:
[0006] (1)确立双目立体视觉模型,获取图像对;
[0007] (2)采用张正友标定方法进行摄像机标定;
[0008] (3)采用立体匹配算法获取视差图;
[0009] (4)利用深度直方图实现对目标钢卷的分割,计算出钢卷的X轴和Y轴的世界坐标;
[0010] (5)根据重投影矩阵计算得到钢卷的三维点云数据,对钢卷点云数据进行平滑去噪;
[0011] (6)最后对去噪后的点云数据进行圆柱特征拟合,从而获取钢卷在Z轴的世界坐标。
[0012] 本发明与现有技术相比较,具有以下明显优点及突出性进步:
[0013] 在常规的平行双目立体视觉系统中,虽然可以通过视差原理得到空间中目标点的深度值,然而在实际情况下,左右摄像机的光轴不可能存在完全平行的现象,摄像机成像平面会在不同的同一焦平面上,本发明利用一般双目立体视觉原理结合数学方法,获取空间中目标点的三维坐标,原理简单易于实现;本发明采用张正友平面标定法来获取摄像机的内部参数和外部参数,从而正确地建立空间坐标系内物点与图像平面上的像点间的对应关系,相较传统方法而言,其提高了重建效果并降低了测量误差,避免了传统标定方法过程中繁琐的操作,标定精度比自标定方法高;本发明采用的立体校正技术,使得左右视图的成像原点坐标一致、两摄像机光轴平行、左右成像平面共面,提高了立体匹配的精度,减少了后续立体匹配的计算量。本发明利用基于深度直方图的目标分割的方法和圆柱拟合技术,获得任意点的三维空间坐标,即获取三维点云数据,本发明不仅能够减少三维点云数据的运算量,减少外部噪点干扰,同时减小了激光扫描钢卷的周期,准确的检测出钢卷的位置,而且检测速度快,具有实时性的特点。附图说明
[0014] 图1为本发明方法的流程图
[0015] 图2为本发明方法的系统组成图。
[0016] 图3为本发明方法一个实施例的示意图,其中(a)为实施例待检测图;(b)为实施例立体校正图;(c)为实施例视差图与目标分割;(d)为实施例钢卷点云处理图。

具体实施方式

[0017] 下面结合附图,对本发明的具体实施例做进一步的说明。
[0018] 如图2所示,本发明一种基于立体视觉的钢卷识别定位方法通过一种基于双目立体视觉的钢卷识别与定位系统来实现,该系统包括系统硬件与系统软件两个部分,所述的系统硬件包括标定装置、摄像机、补光灯、POE交换机和计算机;所述的系统软件包括摄像机标定、立体校正、立体匹配、图像分割、点云获处理等部分。本发明通过双目立体视觉系统采集钢卷图像对,采用基于NCC的区域立体匹配算法获取视差图,对视差图进行阈值化分割,计算出钢卷在X轴和Y轴的坐标。进一步的根据三测量原理计算出钢卷视差图中每个像素点的深度,获取钢卷的初始点云数据,进行圆柱特征拟合,从而获得钢卷在Z轴的坐标,以此来实现钢卷的智能识别与定位。
[0019] 如图1所示,一种基于立体视觉的钢卷识别定位方法,具体包括以下步骤:
[0020] (1)确立双目立体视觉模型,获取图像对;
[0021] (2)采用张正友标定方法进行摄像机标定;
[0022] (3)采用立体匹配算法获取视差图;
[0023] (4)利用深度直方图实现对目标钢卷的分割,计算出钢卷的X轴和Y轴的世界坐标;
[0024] (5)根据重投影矩阵计算得到钢卷的三维点云数据,对钢卷点云数据进行平滑去噪;
[0025] (6)最后对去噪后的点云数据进行圆柱特征拟合,从而获取钢卷在Z轴的世界坐标。
[0026] 所述步骤(1)中,建立一般双目立体视觉模型,获取实施例待检测图像对如图3(a)所示,进一步的已知空间点的左右摄像机图像的坐标,通过透视变换和坐标系间的关系求出该点的三维空间坐标。
[0027] 所述步骤(2)中,为了确立二维图像坐标系与三维世界坐标系之间的关系,首先进行摄像机标定;采用张正友平面标定法,具体包括以下步骤:
[0028] (a)准备一个棋盘格标定板作为实验中标定的靶标;
[0029] (b)移动棋盘格标定板,从不同角度拍摄若干标定板图像;
[0030] (c)对每副标定板图像进行角点检测,获取角点像素坐标;
[0031] (d)先不考虑畸变系数,利用最大似然估计法获取投影矩阵H,进一步求解摄像机的内部参数和外部参数,最大似然估计法计算方法如下:
[0032] 假设实验中有n幅标定板图像,每幅图像有m个角点,假设每个角点的干扰噪声独立同分布,将获取的内部参数和外部参数作为初始值,求得标定板上角点的投影像素值,以图像像素点和投影像素值的距离作为目标函数,求距离最小时的外部参数解:
[0033]
[0034] 上式中,mij表示第i幅标定板图像中的第j个角点的像素坐标,Ri、ti分别是根据第i幅标定板图像计算得到的摄像机的旋转矩阵与平移向量,Mj是第j个角点的世界坐标系下的坐标值;
[0035] (e)考虑畸变系数,通过线性最小二乘法求解畸变方程中的畸变系数;
[0036] (f)把以获取的摄像机内部参数作为初始值,考虑畸变因素下的重投影,利用上式的Levenberg-Marquardt算法对图像点与重投影点间的距离进行迭代求解,完成对摄像机参数的非线性优化,提高摄像机标定的精度;进一步的利用极线几何对图像对进行极线校准,校准后的图像对的同名极线共线,如图3(b)所示,使区域匹配时的二维搜索降低为一维搜索,提高匹配精度,减小计算量。
[0037] 所述步骤(3)中,本发明采用基于灰度的匹配算法,故需将RGB图像在预处理时转换为灰度图像,进一步的采用高斯滤波去除图像的噪声,对图像对进行拉普拉斯锐化处理,使图像的细节和边缘清晰,得到预处理后的图像;进一步的采用基于NCC的区域立体匹配算法,确定3×3窗口实现区域匹配获取视差图。NCC相似性度量因子公式下:
[0038]
[0039] 其中,S为(x+y)对应邻域窗的相似度,I(x+y)为目标图像(x+y)处灰度值,I为目标图像邻域窗内的灰度平均值;T(x+y)为基准图像(x+y)处的灰度值,T为基准图邻域窗内的灰度平均值。SNCC为归一化互相关系数,该系数越大两幅图就越相似,反之,两幅图就越不相似。
[0040] 所述步骤(4)中,利用视差图的深度信息提取出钢卷轮廓,如图3(c)所示,进一步的获取钢卷中心在图像中的X和Y坐标,通过图像坐标到大地坐标的转换计算,计算得到钢卷在大地坐标系下的坐标xp和yp。
[0041] 所述步骤(5)中,根据重投影矩阵计算得到钢卷的三维点云数据,进一步的对钢卷点云数据进行平滑去噪,去除点云数据中的噪声点、失真点和体外孤立点去噪后的图像如图3(d)所示。重投影矩阵Q公式如下:
[0042]
[0043] 上式中除了c′x外的所有参数都来自左图像,c′x是主点在右图像上的x坐标。如果主光线在无穷远处相交,那么cx=c′x,并且右下角的项为0。
[0044] 所述步骤(6)中对去噪后的点云数据进行圆柱特征拟合,进一步获取钢卷在Z轴的世界坐标,实现对钢卷的定位;采取MCMD方法,平方距离和的计算公式为:
[0045]
[0046]
[0047] 对于三维表面S, 为第i个点到模型表面的平方距离;si代表S上与qi最近的点,si处的曲率半径为ρi1和ρi2;ni1,ni2为主曲率方向向量,ni3为法向量;最短距离为di=|qi-si|。若曲率中心与点qi在表面S的两侧,则di<0;反之di>0,当0<di<ρji或者ρij为无穷大时,αij=0。本发明采用稳健Z分数方法逐步剔除粗差,即每次循环依据距离和最小准则获取可靠初始模型,重新计算垂直距离中位数 中位数中误差 并计算点集Q中每个点的Zr值;将Zr≥k0的点从点集中剔除,当点集中所有点的Zr<k0(2.0≤k0≤2.5)时停止循环。进一步的剔除掉粗差点后的剩余点,认为是同一几何基元的点,对其进行最小二乘法迭代拟合获得最终的圆柱几何特征参数。
[0048] 为了验证本发明的可行性,本实施例通过现场试验进行测试。试验结果表明,该方法能够实现钢卷识别定位,且冗余计算少速度快,流程简单容易理解并可以提高成品仓库的物流效率。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈