技术领域
[0001] 本
发明属于先进测量技术领域，涉及了一种基于双目视觉的轴类零件中轴线测量方法，尤其适用于非
接触式工业检测和基于视觉的
机器人导航系统。
背景技术
[0002] 轴类零件在工业应用中随处可见，对轴类零件的三维
位姿的精确测量在工业检测中具有重要的意义。尤其在现代制造技术中，自动化装配技术已经逐步取代人工进行复杂的装配操作来提高效率，保证产品的
质量及
稳定性。在零件装配过程中，轴孔装配是经常会遇到的工作情况，在机械手进行抓取轴类零件以及进行装配时，必须准确测量出轴类零件的中轴线三维位姿，才能准确进行轴孔装配，并避免零件间发生碰撞而产生
缺陷，进而顺利完成装配任务。
[0003] 随着
机器视觉技术的发展，目前国内外已经开展了相关的研究及应用试验，将机器视觉系统引入到轴孔尺寸测量中来，但是目前大多数研究集中在空间圆孔及其椭圆孔的识别与参数测量，对于轴类零件尺寸及其三维位姿测量的研究相对较少。崔彦平等人研究了一种基于双目视觉的回转体目标空间三维
姿态的测量方法，该方法能够在不进行特征点匹配的情况下实现回转体三维姿态的测量，但由于轴类零件表面的高反光性以及实际应用中光照不均的问题，使用该种方法在提取像面
母线的亚
像素直线方程时将导致
精度下降，并且该种方法的验证过程需要精密工作转台，代价较高。Sun等人在Shaft diameter measurement using a digital image一文中提出一种基于
图像处理的轴类测量方法，这种基于单目视觉原理而脱离立体几何原理的测量方法必然过分依赖图像质量及其处理效果，缺乏良好的稳定性，并且该方法要想达到较高的精度需要利用已知直径的轴类尺寸作为先验知识进行重新标定，应用场合具有一定限制。此外，西安理工大学张凯提出的目标
工件轴线计算方法由于在图像处理过程中需要采用灰度值
阈值和RGB彩色阈值，使得在采用普通黑白摄像机的情况下可能无法识别，甚至导致计算失败。
[0004] 综上所述，提出一种无需人工介入而且能够精确测量出轴类零件中轴线三位姿态的低成本的方法具有较大的应用价值。
发明内容
[0005] 为了解决背景技术中存在的问题，本发明提出一种基于双目视觉的轴类零件中轴线测量方法，能够有效地测量空间轴类零件的中轴线，精度高、速度快，并且通过检验验证了方法简单实用，极大地节约实验成本，提高效率，为双目视觉
算法验证工作提供了一种新思路。
[0006] 为了实现上述目的，本发明采用的技术方案是包括以下步骤：
[0007] 1)根据张正友标定法分别对双目视觉系统的左右摄像机进行单目标定，由左右摄像机构成双目视觉系统，获得左右摄像机的内参、外参和径向畸变参数；根据双目视觉立体标定方法计算出双目视觉系统的结构参数，即左右摄像机的相对
位置关系：然后利用相对位置关系对左右摄像机的内参、外参和径向畸变参数进行优化，再根据左右摄像机的内参、外参计算左右摄像机的投影矩阵；
[0008] 2)将轴类零件放在左右摄像机的公共
视野内，通过左右摄像机对轴类零件进行拍照分别获得左右图像的两幅图像(左图像和右图像)，对两幅图像依次进行高斯滤波、灰度转换和阈值处理，然后利用步骤1)获得的左右摄像机的径向畸变参数对左右图像进行矫正处理；
[0009] 3)对矫正后的左右图像进行处理获得各自的轴轮廓；
[0010] 4)利用左右图像的轴轮廓处理获得轴类零件的中轴线。
[0011] 所述的步骤1)获得的左右摄像机的内参、外参、径向畸变参数和投影矩阵包括左摄像机的内参数矩阵Al、左摄像机的外参数矩阵Rl和Tl、左摄像机的径向畸变参数矩阵Kl、左摄像机的投影矩阵Ml、右摄像机的内参数矩阵Ar、右摄像机的外参数矩阵Rr和Tr、右摄像机的径向畸变参数矩阵Kr和右摄像机的投影矩阵Mr。
[0012] 所述的步骤1)获得的左右摄像机的相对位置关系包括旋转矩阵R和平移向量T。
[0013] 所述步骤1)中，利用相对位置关系对左右摄像机的内参、外参和径向畸变参数进行优化，再用左右摄像机的内参计算获得左右摄像机的外参，具体为：
[0014] 利用旋转矩阵R和平移向量T，根据3D约束优化方法对每个摄像机标定得到的内参、外参和径向畸变参数进行优化以提高标定精度，然后用优化后的内参和外参计算出左摄像机的投影矩阵Ml和右摄像机的投影矩阵Mr。
[0015] 3D约束优化方法采用Yi Cui在Precise calibration of binocular vision system used for vision measurement中第8-10页提出的计算方法。
[0016] 所述步骤3)具体为：对矫正后的左右图像和模板图像进行轮廓检测，在将检测到的左右图像中的所有轮廓与模板图像检测获得的模板轮廓进行匹配，获得左右图像中各自与模板轮廓匹配的轮廓，并作为轴轮廓，即与轴类零件对应的轮廓；
[0017] 所述的模板图像中具有且仅有一个与轴类零件匹配的矩形框。矩形框与轴类零件在尺寸和形状上相匹配，具体实施矩形框置于模板图像的中间。
[0018] 所述步骤4)具体为：
[0019] 4.1)用最小旋转外接矩形逼近左右图像中的轴轮廓，提取获得每个轴轮廓的长边，左右图像中两个轴轮廓的长边共计有四条长边lab、lcd、lgh、lij，lab、lcd分别表示左图像中轴轮廓的两条长边，lgh、lij分别表示右图像中轴轮廓的两条长边；
[0020] 4.2)采用以下公式计算通过左右摄像机中心并与轴类零件的轴轮廓相切的四个空间平面SOAB、SOCD、S0′GH、S0′IJ，进而获得四个空间平面的法向量NOAB、NOCD、N0′GH、N0′IJ：
[0021] labMlSOAB＝0，lcdMlSOCD＝0，lghMrS0′GH＝0，lijMrS0′IJ＝0
[0022] 式中，lab、lcd分别表示左图像中轴轮廓的两条长边，lgh、lij分别表示右图像中轴轮廓的两条长边；Ml、Mr分别表示左右摄像机的投影矩阵；SOAB、SOCD分别表示经过左摄像机中心分别与轴类零件的轴轮廓两条长边相切的两个空间平面，S0′GH、S0′IJ分别表示经过右摄像机中心分别与轴类零件的轴轮廓两条长边相切的两个空间平面；
[0023] 4.3)根据空间平面SOAB、SOCD及其各自的法向量NOAB、NOCD计算空间平面SOAB和空间平面SOCD之间的空间
角平分平面Sl，根据空间平面S0＇GH、S0＇IJ及其各自的法向量N0′GH、N0′IJ计算空间平面S0′GH和空间平面S0＇IJ之间的空间角平分平面Sr，取两个空间角平分平面Sl与Sr的交线作为轴类零件的中轴线。
[0024] 所述步骤4.1)具体为：
[0025] 4.1.1)采用canny算子对矫正后的左右图像以及模板图像进行
边缘检测，将左图像检测到的所有边缘存为左边缘集合vector_left，将右图像检测到的所有边缘存为右边缘集合vector_right，将模板图像边缘检测所得到的模板边缘结果记为mode_edge；
[0026] 4.1.2)分别遍历左边缘集合vector_left和右边缘集合vector_right中的每一个元素，根据模板匹配原理将每个元素分别与模板边缘mode_edge进行匹配，分别计算获得匹配度，将左图像所有边缘的匹配度存储为左得分集合vector_LeftScores,将右图像所有边缘的匹配度存储为右得分集合vector_RightScores；
[0027] 本步骤中具体实施中用OpenCV工具的matchTemplate函数进行匹配计算获得匹配度。
[0028] 4.1.3)分别将左得分集合vector_LeftScores和右得分集合vector_RightScores中的元素按照从小到大进行排序，选取两个集合中最小得分对应的轮廓作为中
心轴在左右摄像机中的成像轮廓；
[0029] 4.1.4)采用最小旋转矩形方法对步骤4.1.3)中获得的两个成像轮廓进行逼近，得到两个极其近似轮廓的外接矩形rect_left和rect_right；
[0030] 4.1.5)选取左图像的外接矩形rect_left中的两个长边作为左图像的轴轮廓的两条长边lab、lcd，选取右图像的外接矩形rect_right中的两个长边作为右图像的轴轮廓的两条长边，计算各条长边的直线方程。
[0031] 本发明实施中还提出了一种新的检验模型，该模型半径已知，并对中轴线进行
可视化，将该条空间直线拟合、重建结果与本发明方法所得结果进行对比，验证本方法半径尺寸测量结果的有效性与精确度。
[0032] 本发明具有的有益效果是：
[0033] 1.本发明方法通过双目视觉测量技术，能够自动、高精度的测量出轴类零件中轴线的空间三维姿态，具有非接触式的优点，在用传统方法无法测量的场合具有很高的应用价值，尤其适用于非接触式工业检测和基于视觉的机器人导航系统。
[0034] 2.本发明提出的利用最小旋转外接矩形逼近轴类零件在左右摄像机成像平面上的轮廓线的方法，能够弥补因光照不均和零件表面高反光性带来的检测误差，提高精度；自行设计的检验模型简单实用，避免了高价的精密试验台，节约实验成本，为双目视觉相关算法的检验工作提供了新思路。
附图说明
[0035] 图1为本发明方法的原理示意图。
[0036] 图2为本发明方法的流程示意图。
[0037] 图3为
实施例的新模型验证方式示意图。
具体实施方式
[0038] 为了更好的理解本发明，下面结合附图和实施例对本发明的技术方案作详细的描述。
[0039] 图1所示为双目
立体视觉系统。OlXlYlZl和OrXrYrZr分别为左右摄像机
坐标系，olulvl和orurvr分别为以像素为单位的左右图像坐标系，OwXwYwZw为世界坐标系，其中Z轴指向左摄像机坐标系原点Ol。设世界坐标系与左摄像机坐标系之间的旋转矩阵和平移向量分别为Ro和to，记Ro＝[r1 r2 r3]，其中三维列向量ri表示矩阵Ro的第i列，i＝1,2,3。设左右摄像机坐标系之间的旋转矩阵和平移向量分别为R和T，则 其中Xl和Xr分别为某一空间点在左右摄像机坐标下的坐标，R和T通过双目摄像机标定确定。
[0040] 图1中EF表示轴类零件的中轴线，abcd表示轴类零件在左摄像机成像平面上的轮廓，ghij表示轴类零件在右摄像机成像平面上的轮廓。
[0041] 下面详细叙述本发明方法的实施步骤：
[0042] 1.对左右摄像机，利用张正友标定法(A Flexible New Technique for Camera Calibration.Zhengyou Zhang,December,2,1998.)，确定出左摄像机的内参数矩阵Al、左摄像机的径向畸变参数Kl、右摄像机的内参数矩阵Ar、右摄像机的径向畸变参数Kr；并计算左摄像机对应的投影矩阵Ml、右摄像机对应的投影矩阵Mr；根据双目视觉立体标定方法(Jeans-Yves Bouguet,Camera Calibration Toolbox for Matlab,MRL-Intel Incorp.)，计算出双目视觉系统的结构参数，即左右摄像机的相对位置关系：旋转矩阵R和平移向量T。其中，内参数矩阵的形式为：
[0043]
[0044] 其中，αl和βl分别表示左摄像机x轴方向的有效焦距和y轴方向的有效焦距，uol和vol表示左摄像机成像平面的主点坐标，γ表示左摄像机坐标轴倾斜参数，理想情况下为0；αr和βr分别表示右摄像机x轴方向的有效焦距和y轴方向的有效焦距，uor和vor表示右摄像机成像平面的主点坐标，γr表示右摄像机坐标轴倾斜参数，理想情况下为0。
[0045] 本实例中摄像机标定与计算结果为：
[0046]
[0047] Kl＝[-0.0114 -0.0578 -1.3177]
[0048] Kr＝[-0.0233 -0.1116 -0.4499]
[0049]
[0050] T＝[-59.7610 0.4727 0.7066]
[0051] 2.将双目视觉系统放置在待检测的轴类零件附近，确保该轴类零件在左右摄像机的公共视场范围内，同时使背景尽量简单、使轴类零件的轴线方向尽可能平行于左右摄像机坐标系原点的连线，即双目视觉系统的基线。利用左右摄像机同时拍摄轴类零件，从而使在左摄像机得到一幅包含轴类零件影像的图像，相应地，在右摄像机也得到一幅包含轴类零件影像的图像。利用左摄像机的径向畸变参数Kl对左图像进行畸变矫正，得到不含有畸变信息的左图像，记为planel。同时，利用右摄像机的径向畸变参数Kr对右图像进行畸变矫正，得到不含有畸变信息的右图像，记为planer。
[0052] 具体的矫正过程是：对左边的图像，设某包含畸变信息的图像点在以像素为单位的图像坐标系下的坐标为 其归一化的图像坐标为 它们对应的不含畸变信息的图像点坐标分别为(u,v)和(x,y)。根据文献(D.C.Brown，Close-range camera calibration,Photogram-metric Engineering,37(8):855-866,1971)，有：
[0053]
[0054]
[0055] 利用坐标变化公式：
[0056]
[0057]
[0058] 其中，Kl为左摄像机径向畸变参数，Al为摄像机的内参数矩阵，都可以通过摄像机的单目标定确定。
[0059] 可以得到：
[0060]
[0061]
[0062] 由于以上方程是非线性方程组，为了简化求解过程，上述方程组可近似为
[0063]
[0064]
[0065] 利用上面两式可以对左右图像上的每一个图像点进行畸变矫正，从而得到不含有畸变信息的图像planel。对于右边的图像，矫正方法与左图像的矫正方法完全相同，不再赘述。
[0066] 3.对矫正后的左图像planel和右图像planer进行自适应阈值将图像二值化，具体的自适应阈值采用以下方法计算：
[0067] 设变量t在灰度值范围(0～255)内依此取整数值(共256个灰度值)，每次取值将左图像分为背景和前景两部分，同时计算下列两式：
[0068] u＝w0*u0+w1*u1
[0069] g＝w0*(u-u0)2+w1*(u-u1)2
[0070] 其中，w0为图像
背景像素点占整幅图像的比例，u0为图像背景像素点的平均灰度，w1为
前景像素点占整幅图像的比例，u1为前景像素点的平均灰度，u表示整幅图像的平均灰度，计算结果g表示前景和背景图像灰度值的方差。比较所得的256个g值，g值最大时变量t的值为最佳阈值，根据最佳阈值进行图像二值化分割。
[0071] 然后进行轮廓检测，并将检测到的所有轮廓与模板轮廓进行匹配，计算匹配相似度得分，根据得分高低获得左右图像中目标轴的轮廓；由于轴类零件的轴线方向基本平行于左右摄像机坐标系原点的连线，可知轴在左右成像平面上的影像近似于矩形，故本文采用最小旋转外接矩形逼近左右图像中匹配到的轴轮廓，进行计算得到左图像planel和右图像planer上轴轮廓的4条轴线方向的边lab、lcd、lgh、lij，采用最小旋转外接矩形的方法还能弥补由于轴类零件表面高光以及光照不均匀造成的图像轮廓分割误差。
[0072] 本实例计算的lab、lcd、lgh、lij值为：
[0073] lab：[463.23004,-1358.9934,847808]
[0074] lcd：[463.23004,-1358.9935,292788.81]
[0075] lgh：[459.90479,-1310.1235,987763.63]
[0076] lij：[459.90479,-1310.1235,432691.72]
[0077] 4.根据左图像planel和右图像planer上4条轴线方向的轮廓边lab、lcd、lgh、lij以及左摄像机投影矩阵Ml和右摄像机投影矩阵Mr计算通过左右摄像机中心并与空间轴类零件侧面相切的4个平面SOAB、SOCD、Sl′GH、S0′IJ。
[0078] 其实现原理为(崔彦平等,回转体目标空间三维姿态测量方法研究.传感技术学报,Jan.2007.)：已知图1中空间轴类零件的母线AB和CD在左摄像机成像平面上的像为ab和cd，母线GH和IJ在右摄像机成像平面上的像为gh和ij，则平面SOAB、SOCD、S0＇GH、S0＇IJ在世界坐标系下的方程为：
[0079] labMlSOAB＝0，lcdMlSOCD＝0，lghMrS0′GH＝0，lijMrS0′IJ＝0
[0080] 同时获得4个空间平面的法向量NOAB、NOCD、N0′GH、N0′IJ。
[0081] 本实例中计算得到
[0082] SOAB：[1744510.4,-5117928.5,224126.41,0]
[0083] SOCD：[1744510.4,-5117929,-330892.88,0]
[0084] S0′GH：[1731987.6,-4933886,403896.97,-1.0351583e+008]
[0085] S0′IJ：[1731987.6,-4933886,-151174.95,-1.0351583e+008]
[0086] NOAB：[0.32235768,-0.94571155,0.041414984]
[0087] NOCD：[0.32235768,-0.94571155,0.041414984]
[0088] S0′IJ：[0.33024019,-0.94075006,0.077011526]
[0089] S0′IJ：[0.3310855,-0.94315809,-0.028898496]
[0090] 5.通过基本几何原理，由切平面SOAB、SOCD及其相应的法向量NOAB、NOCD可计算得到SOAB、SOCD的空间角平分平面Sl；根据切平面S0′GH、S0′IJ及其相应的法向量N0′GH、N0′IJ计算S0′IJ、S0′IJ的空间角平分平面Sr；则两个平分平面Sl与Sr的交线为空间轴的中轴线。
[0091] 本实例中计算的Sl和Sr的结果为：
[0092] Sl：[0.64438975,-1.8904679,-0.019666974,0]
[0093] Sr：[0.66132569,-1.8839082,0.048113029,-39.525501]
[0094] 本实施例最后设计一种检验模型，如图3所示，该模型设计为I和II两部分。第I部分为一段半径为30mm，长度为180mm的光轴，其作用是通过本发明所提出的方法对该段光轴进行中轴线测量。第II部分为一段光轴的四分之一，与第I部分光轴同轴且半径相同，长度为100mm，模型的这一部分对中轴线进行了可视化，通过对可视化中轴线的拟合结果与本发明所提出方法对第I部分光轴的测量结果进行对比，验证本发明方法的有效性与精确度。
[0095] 本实施例中对检验模型可见直线的拟合结果以及本发明测量结果如下表1(空间直线表示为两个空间平面的交线)：
[0096] 表1
[0097] 平面1 平面2 轴线方向矢量
拟合结果 [0.6471,-1.8912,- [0.6645,-1.8866,0.0485,- [-0.1296,-0.0447,
0.0201,0] 39.6322] 0.0359]
算法重建 [0.6444,-1.8905,- [0.6613,-1.8839,0.0481,- [-0.1280,-0.0440,
0.0197,0] 39.5255] 0.0362]
[0098] 由此计算出拟合中轴线与算法重建中轴线间的夹角为0.54°，距离为1.11mm，由此可以看出，本发明所提出的基于双目视觉和最小外接矩形的轴类零件中轴线测量方法可以到达较高的精度，为实现轴类零件的自动化测量提供支持。
