技术领域
[0001] 本
发明属于
计算机视觉领域，具体的说涉及基于线结构光拟合平面的机器人重复定位精度测量方法。
背景技术
[0002] 随着我国国民经济的快速发展，自动化生产已经成为未来的发展趋势和方向。利用机器人代替人工实现自动上下料，不仅节约生产成本，同时也提高了生产效率和安全系数，降低了工人劳动强度，成为越来越多企业的理想选择。
[0003] 为了实现机器人自动上下料，需要其具有较高的重复定位精度。结构光测量方法具有实时性强，设备简单等特点，使其受到越来越多的重视，对于测量设备的体积、重量、功耗等方便要求比较严格的应用场合，结构光测量的自身优势体现得更加明显。
[0004] 结构光测量方法作为一种主动式光学测量技术，其主要原理是利用结构光投射器向被测物体表面投射可控制的光点、光条或光面，然后通过图像
传感器(比如摄像机)获取图像，根据系统的几何关系，运用三
角原理计算得到物体的三维坐标。根据结构光投射器向被测物体表面投射结构分别为可控制的光点、光条或光面，可将结构光分为点结构光、线结构光和面结构光。点结构光测量方法需要逐点扫描物体从而进行测量，被测物体越大，图像获取和处理时间将越长，难以实现实时测量；面结构光提供的三维坐标点数据量非常大，计算时间亦会随之增加。因此，线结构光更适用于工程应用。
[0005] 恶劣的生产环境，严重的噪声污染，机器人自身的不确定性，一般测量方法的精度很难满足实际要求。
发明内容
[0006] 为了解决生产环境中噪声污染严重，以及机器人自身不确定性等问题对测量精度的影响，本发明提供一种测量速度快，鲁棒性强，能够实时测量机器人重复定位精度的方法。
[0007] 本发明为实现上述目的所采用的技术方案是：基于线结构光拟合平面的机器人重复定位精度测量方法，利用
水平线结构光照射平面合作靶标上表面，并提取合作靶标上表面的图像坐标，根据相机
坐标系和图像坐标系间的几何关系，将线结构光图像坐标转换为相机系坐标，并进行平面拟合，确定合作靶标上表面在相机坐标系下的
位置，进而确定合作靶标的模型坐标系坐标轴以及原点，最后根据相机坐标系与模型坐标系间的几何关系，确定旋转矩阵及平移向量，实现机器人重复定位精度的测量。
[0008] 基于线结构光拟合平面的机器人重复定位精度测量方法，包括以下步骤：
[0009] 平面合作靶标上表面形成一个十字光区域，并利用水平线结构光照射合作靶标上表面，用相机采集含有十字光区域和水平线结构光区域的图像；
[0010] 通过对采集的图像二值化，确定十字光水平区域及线结构光区域，得到水平区域图像；
[0011] 对采集的图像与水平区域图像进行差分，确定十字光垂直区域，得到垂直区域图像；
[0012] 利用
重心法分别提取水平区域图像中十字光水平区域坐标及线结构光区域坐标、垂直区域图像中十字光垂直区域坐标，得到线结构光图像；
[0013] 将线结构光图像坐标转换为相机坐标系坐标，并对相机坐标系下的线结构光数据进行平面拟合，进而确定模型坐标系坐标轴；
[0014] 利用十字光水平区域坐标及十字光垂直区域坐标确定模型坐标系原点；
[0015] 根据相机坐标系与模型坐标系间的几何关系，确定旋转矩阵及平移向量。
[0016] 所述水平线结构光为两条，分别由两个线结构光
测量传感器投射，两条水平线结构光位于十字光水平区域所在平面上，且位于十字光水平区域的两侧。
[0017] 所述对相机坐标系下的线结构光数据进行平面拟合包括以下步骤：对线结构光数据采用随机抽样一致
算法筛除部分点，将剩余的点带入非线性最小二乘问题目标函数，得到平面向量；
[0018] 其中，非线性最小二乘问题目标函数如下：
[0019]
[0020] r(p)为残差，是关于p的非线性函数，R表示实数集，m表示筛除部分点后所有线结构光数据的点数，n为3，表示三维；
[0021] 拟合平面方程为：
[0022] Ax+By+Cz+1＝0 (2)
[0023] 残差r(p)为：
[0024]
[0025] 其中，平面向量p＝(A,B,C)，x、y、z为筛除后的点，A、B、C为拟合平面系数；
[0027] p(k+1)＝p(k)+hlm (4)
[0028]
[0029] 其中，u是惩罚因子，Jr为雅克比矩阵，I为单位矩阵，p(k)表示第k次迭代的平面向量。
[0030] 所述惩罚因子通过以下步骤得到：
[0031] (1)若正则方程的初始状态A0＝J(p0)TJ(p0)，则初始 p0表示平面向量p的初始值，u0表示惩罚因子初始值，J表示关于向量p的雅克比矩阵，τ为可变系数，为正则方程A0的主对角线元素，j为正则方程A0维数；
[0032] (2)如果hlm使得函数f变小，那么公式(4)中的hlm保留，并且把惩罚因子u减小，然后进行下一步迭代；否则，重新求解正则方程A＝J(p)TJ(p)，直到得到的hlm使得函数f值最小。
[0033] 所述确定模型坐标系坐标轴具体如下：计算拟合平面的法线，设定其为模型坐标系z轴，设定拟合平面线结构光方向为模型坐标系x轴，z轴叉乘x轴即为模型坐标系y轴。
[0034] 所述确定模型坐标系原点具体为：分别对十字光水平区域数据及十字光垂直区域数据进行直线拟合，其交点即为模型坐标系原点。
[0035] 所述旋转矩阵及平移向量如下：
[0036]
[0037] T＝-[Vx Vy Vz]T (7)
[0038] 其中，R为旋转矩阵，T为平移向量，[Vx Vy Vz]T为模型坐标系原点在相机系坐标下坐标，且为单位
正交向量。
[0039] 在机械手上安装相机和两个线结构光测量传感器。
[0040] 本发明具有以下优点及有益效果：
[0041] 1.采用结构光测量传感器、合作靶标、CCD相机和PC机实现机器人重复定位精度测量，具有测量设备简单、实时性强的特点。
[0042] 2.虽然结构光测量数据易受噪声污染，但依旧能够准确地确定其坐标，具有良好的抗干扰性能。
[0043] 3.对机器人自身的约束小，其大小、形状以及
颜色可以随意变化。
[0044] 4.本发明可以实现机器人重复定位精度的在线、实时、自动、非
接触测量，测量速度快、系统柔性好。
附图说明
[0046] 图2为机器人重复定位精度视觉检测系统示意图；
[0047] 图3为视觉传感器坐标转换示意图；
具体实施方式
[0049] 下面结合附图及
实施例对本发明做进一步的详细说明。
[0050] 如图4所示，本发明的基于线结构光拟合平面的机器人重复定位精度测量方法，利用平面合作靶标和线结构光，拟合合作靶标平面方程，进而确定模型坐标系坐标轴和原点，最后得到相机坐标系与模型坐标系间的旋转矩阵及平移向量。具体地，利用两条水平线结构光照射平面合作靶标上表面，并提取其图像坐标；根据相机坐标系和图像坐标系间的几何关系，将线结构光图像坐标转换为相机系坐标，并进行平面拟合，确定合作靶标上表面在相机坐标系下的位置；计算拟合平面的法线，设定其为模型坐标系z轴，设定拟合平面线结构光方向为模型坐标系x轴，z轴叉乘x轴即为模型坐标系y轴；在平面合作靶标上表面形成一个十字光区域，其交叉点即为模型坐标系原点；根据相机坐标系与模型坐标系间的几何关系，即可确定其旋转矩阵及平移向量。如图1所示，具体包括如下步骤：
[0051] 1.测量系统的标定
[0052] 定义图像坐标系为Ou，摄像机坐标系为Oc，建立Oc到Ou之间的变换关系，即摄像机的内参数矩阵。在摄像机内参数矩阵标定过程中，只考虑摄像机镜头的径向畸变。
[0054] 如图2所示，在平面合作靶标上表面形成一个十字光区域，同时利用两条水平线结构光照射其上表面，其中一条线结构光位于十字光水平区域上方，一条线结构光位于十字光水平区域下方，最后用CCD相机采集图像。
[0055] 3.确定十字光水平区域及两条线结构光区域
[0056] 利用形态学滤波
腐蚀十字光垂直区域，并对图像进行二值化操作，即可确定十字光水平区域及两条线结构光区域。
[0057] 4.确定十字光垂直区域
[0058] 对CCD相机采集到的图像进行二值化处理，并与形态学滤波且被二值化的图像进行差分，即可确定十字光垂直区域。
[0059] 5.重心法提取十字光水平区域、垂直区域及线结构光图像坐标
[0060] 利用重心法提取图像中的十字光水平区域及线结构光测量数据：
[0061] Cu＝u (8)
[0062]
[0063] 其中，Cu为十字光水平区域或测量结构光的u方向坐标，Cv为十字光水平区域或测量结构光的v方向坐标，*表示乘法，N为满足约束条件的点个数，I(u,v)为图像(u,v)位置处的灰度值，且满足以下约束条件，
[0064] I(u,v)＞TI (10)
[0065] 其中，TI为灰度
阈值，可以根据结构光成像情况确定，本文选择TI＝40。图像水平方向为u方向，垂直方向为v方向。
[0066] 利用重心法提取图像中的十字光垂直区域测量数据：
[0067]
[0068] Cu＝v (12)
[0069] 其中，Cu为十字光垂直区域的u方向坐标，Cv为十字光垂直区域的v方向坐标。6.确定模型坐标系坐标轴
[0070] 首先，线结构光图像坐标转换为相机系坐标，如图3所示。
[0071] 然后对线结构光相机系数据进行平面拟合，采用随机抽样一致(RANSAC)算法和Levenberg-Marquard(LM)算法相结合。RANSAC算法可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。这里假设数据由“局内点”组成；“局外点”是不能适应该模型的数据，其产生的原因有噪声的极值，错误的测量方法，对数据的错误假设；除此之外的数据属于噪声。具体为：输入一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数，通过反复选择数据中的一组随机子集来达成目标，被选取的子集为局内点，并用下述方法进行验证：
[0072] (a)有一个模型适应于局内点，即所有的未知参数都能从假设的局内点计算得出；
[0073] (b)用(a)中得到的模型去测试所有的其他数据，如果某个点适用于估计的模型，认为它也是局内点；
[0074] (c)如果有足够多的点被归类为局内点，那么估计的模型就足够合理；
[0075] (d)用所有局内点去重新估计模型，因为它仅仅被初始的局内点估计过；
[0076] (e)通过估计局内点与模型的错误率来评估模型。
[0077] 这个过程被反复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。
[0078] LM算法用于解决非线性最小二乘问题，其关键是用模型函数f对待估参数向量p在其邻域内做线性近似，忽略掉二阶以上的导数项，从而转化为线性最小二乘问题，具有收敛速度快等优点。非线性最小二乘问题目标函数如下：
[0079]
[0080] r(p)为残差，是关于p的非线性函数，R表示实数集，m表示筛除部分点后所有线结构光数据的点数，n为3，表示三维；
[0081] 拟合平面方程为：
[0082] Ax+By+Cz+1＝0 (2)
[0083] 残差r(p)为：
[0084]
[0085] 其中，p＝(A,B,C)，x、y、z为筛选后的点，A、B、C为拟合平面系数。
[0086] LM算法是对高斯
牛顿法的改进，在迭代步长上略有不同。高斯牛顿法的迭代公式为：
[0087] p(k+1)＝p(k)+hgn (13)
[0088] p(k+1)＝p(k)-H-1▽f (14)
[0089]
[0090]
[0091] 即：
[0092]
[0093] LM算法的迭代步长为：
[0094] p(k+1)＝p(k)+hlm (4)
[0095]
[0096] 其中，Jr为雅克比矩阵，I为单位矩阵，p(k)表示第k次迭代的平面向量，u是惩罚因子，具有如下效果：
[0097] a.当u>0时，协方差矩阵 永远是整数，确保了hlm代表f(p)的下降方向：
[0098] b.如果u的值很大，主对角线元素占主体地位，那么hlm成了最速下降法的方向(接近负的梯度方向)：
[0099]
[0100] 其中，g为f(p)关于p的导数；
[0101] c.如果u的值很小，那么hlm成了高斯牛顿法的方向：
[0102] hlm＝hgn (20)
[0103] 由此可见，惩罚因子既有下降的方向又影响下降步长的大小。迭代开始时，惩罚因子u被设定为较小的值，若A0＝J(p0)TJ(p0)，则初始 其中，p0表示平面向量p的初始值，u0表示惩罚因子初始值，J为雅克比矩阵，τ为可变系数， 为正则方程A0的主对角线元素，j为正则方程A0维数。
[0104] 迭代过程中，如果hlm使得函数f变小，那么公式(4)中的hlm保留，并且把惩罚因子u减小，然后进行下一步迭代；否则，重新求解正则方程，直到得到的hlm使得函数f值最小。
[0105] 最后计算拟合平面法线(本实施例选取法线方向向下)，设定其为模型坐标系z轴，设定拟合平面线结构光方向为模型坐标系x轴，则z轴叉乘x轴即为模型坐标系y轴。
[0106] 7.确定模型坐标系原点
[0107] 通过对十字光水平区域及垂直区域数据图像坐标转换为相机系坐标，并分别进行直线拟合，其交点即为模型坐标系原点。
[0108] 取相机系数据(三维)中的横纵轴坐标xi、yi，即已知点集为(x1,y1)，(x2,y2)，……，直线方程为y＝f(x)＝kx+b，最小二乘法的目标函数表达式为：
[0109] min e＝min∑|yi-f(xi)|2＝min∑(yi-k*xi-b)2 (21)
[0110] 对(21)式求导得出关于每个系数的方程，将点集带入解次超定方程组进而求得各系数的值，最终求得方程表达式。
[0111] 分别对误差表达式关于系数k和b求导得：
[0112]
[0113] de/db＝∑(yi-k*xi-b)＝0 (23)
[0115]
[0116] k∑(xi+b)＝∑yi (25)
[0117] 设 B0＝∑xi，C0＝∑xi*yi，D0＝∑yi，n0为点集个数，则方程转化为：
[0118] A0k+B0b＝C0 (26)
[0119] B0k+n0b＝D0 (27)
[0120] 解出k，b得：
[0121]
[0122]
[0123] 8.确定相机坐标系与模型坐标系间的旋转矩阵及平移向量
[0124] 根据相机坐标系与模型坐标系间的关系，旋转矩阵R及平移向量T具体为：
[0125]
[0126] T＝-[Vx Vy Vz]T (7)
[0127] 其中，[Vx Vy Vz]T为模型坐标系原点在相机坐标系下坐标，且为单位正交向量。
