技术领域
[0001] 本
发明涉及
制鞋方法，尤其涉及一种基于
机器人视觉系统的
鞋底边缘自动化识别和跟踪方法。
背景技术
[0002] 传统的制鞋工艺中手工完成鞋底与
鞋面的粘合。目前有部分制鞋设备采用机器人完成鞋面贴合部位的自动化打磨、喷药
水、涂胶操作，但必须采用离线示教的方式完成机器人跟踪轨迹的生成。首先将鞋底贴合到鞋面上，手工画出鞋底边缘线，并按一定的间隔画出竖线，然后利用鞋底边缘线与竖线的交叉点示教机器人产生跟踪轨迹，如图9所示，图9中，1表示鞋底边缘线以下的打磨、喷药水和涂胶区域，2表示机器人示教点，3表示鞋底边缘。这两种方式较为耗时，采用示教的方式是用一双鞋的跟踪轨迹适用于后续鞋面的操作轨迹，这将造成一定的误差。
[0003] 在传统的制鞋工艺中，利用手工或机器人进行鞋底边缘线打磨画线和示教过程费时费
力，产品品质无法保证。而且同一型号的所有鞋子都使用同样的跟踪曲线，由于鞋子会产生
变形，这样在打磨喷胶时，很容易产生较大误差，影响成品鞋的
质量。
发明内容
[0004] 为了解决
现有技术中问题，本发明提供了一种基于机器人的鞋底边缘线自动跟踪方法。
[0005] 一种基于机器人的鞋底边缘线自动跟踪方法，包括以下步骤：
[0006] 步骤1：摄像机及
机器人手眼标定：进行摄像机标定；将摄像机安装到机器人上，通过手眼标定得到摄像机和机器人之间的坐标转换关系；
[0007] 步骤2：鞋面点
云数据扫描：标定出扫描头上的激光平面方程；获得手眼标定和激光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，毎运行距离s拍一幅图像，s的大小根据所需点云的稠密程度而定，扫描区域为鞋底边缘线上下一定的区域，拍完图后通过
重心法获得激光光条点对应的摄像机
坐标系中的三维坐标，这些点信息依靠之前手眼标定的结果统一转换到机器人
基座坐标下，从而获得扫描区域内鞋的三维点集Psi；
[0008] 步骤3：法向量估计：由于点云网格化耗费时间过多，直接在散乱点云上处理，对散乱点云处理的第一步需要求出每个点的法向量，首先需要用kd-tree数据结构表示出散乱的点云，对应输入点云中的某点p，利用kd-tree结构找出离p点最近的K个点组成一个K邻域，在K邻域内进行空间平面拟合，所得平面的法向作为p的法向估计；
[0009] 步骤4：散乱点云特征提取：点云的特征估计是基于曲面微分几何的，在邻域内估计出点的高斯
曲率，平均曲率以及主曲率和主方向；
[0010] 步骤5：特征信息的投影：步骤4得到的特征信息是在三维点上的，为了方便提取出鞋底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中；
[0011] 步骤6：二维图像中鞋底边缘线的提取：图像中特征点为灰色或者白色，
像素灰度值大于0，无特征信息为黑色，像素灰度值为0，鞋底边缘线提取过程如下：遍历图像如果发现有特征点，就从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用vector
容器L来表示，由此，获得很多线段,存在vector>容器Q当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线；由于L的增长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部线段方向大致相同，即他们向量的内积小于一个很小的正值ξ，则连接成一条新的曲线段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就是鞋底边缘线在二维图像中的投影；根据投影时保存的用于记录三维信息的三通道图像，可以将这条线段反投影回三维空间；此时在三维空间中的鞋底边缘线是一条线状散乱点集，需要进行进一步的细化；[0012] 步骤7：鞋底边缘线的细化：采用空间直线投影的方法对鞋底边缘线进行细化，在鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘线。根据在二维图像中识别最长封闭特征线的过程可知，这条特征线上的点是有序的，则最终细化后的鞋底边缘线上点也是有序，将相邻点之间两两相连成小线段，机器人可沿着小线段完成鞋底边缘线跟踪，小线段上两个点的法向量可为机器人跟踪时
姿态提供参考；
[0013] 步骤8：鞋面新的跟踪曲线生成：在后续的生产过程中，将需打磨喷胶的鞋面倒置安装在
鞋楦上并放置到扫描
位置，通过机器人扫描获得鞋面的三维点云数据Psc，将之前获得的带有鞋底的鞋点集Psi和Psc利用ICP
算法将两个点云数据进行对齐；然后将初始鞋底边缘线上lo间隔δ
采样，采样点为po，以po为起点，po所处Psi点集处的法向量为方向生成直线ln，计算ln与Psc的交点获得新的点集Pi，将新的点集Pi拟合出封闭的三维跟踪曲线lsc，机器人沿lsc运行并对lsc以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打磨、喷胶操作。
[0014] 作为本发明的进一步改进，步骤2中，标定出扫描头上的激光平面方程的方法如下：将两张圆环标定板成90°摆放，摄像机同时标定出两张标定板和摄像机之间的关系，保持之前标定时的摄像机姿态，激光发射器打上激光光条后拍图，应用重心法提取出激光光条，将两个标定板的上的激光点同时转换到摄像机坐标下，进行平面的最小二乘拟合，如此获得了激光平面和摄像机之间的坐标关系。
[0015] 作为本发明的进一步改进，步骤3中，估计出法向量np后，法向量指向是不统一的，指向鞋子模型的内部或者外部，由于后续处理需要分出模型的凹凸面，所以需要调整得到统一指向的法向量，调整方法是保存机器人拍照时的位置和姿态，预测出点云大概的法向方向nd，如果np和nd内积小0，则将np反向。
[0016] 作为本发明的进一步改进，步骤4中，首先要在参考点p邻域内拟合出空间曲面方程，空间曲面方程可表示为带有十个待拟合参数的参数方程：
[0017]
[0018] 用最小二乘可以拟合出十个参数
[0019] MTa＝0 (2-3)
[0020] 对上式M矩阵进行SVD分解，参数向量a的解为最小特征值对应的
特征向量；采用三水平集的方法，提高拟合
精度，
[0021] als＝[MTM]-1MTb (2-4)
[0022] b是水平集沿法向向里和向外偏移很小的量组成的列向量矩阵，引入总体最小二乘，同时对数据矩阵M和
观测矩阵b进行补偿，
[0023] (M+E)a＝b+e (2-5)
[0024] E对数据矩阵M进行补偿，e对观测矩阵进行补偿，将右边式子归零，移动到左边，得到表达式如下
[0025] (A+B)x＝0 (2-6)
[0026] B＝[E，e]，A＝[M，-b]，x＝[aT，1]T (2-7)
[0027] 对A进行PCA分解，得到特征值和特征向量，特征值从大到小排列λ1>λ2>…>λ11，(∈＞0)，总共十一个特征值，从理论上讲，x的解应该是最小特征值λ11对应的特征向量，但是由于x共有十一维，最后几个特征值都已经很小而且值很接近，考虑到计算机本身存在误差，所以最后几个很小很接近的特征值对应的右奇异向量都应该是x的解，取一个很小的参考量∈，比λ11+∈值小的特征值对应的特征向量都是解，由此构成一个解空间[0028]
[0029] 由于x最后一个值为1，则理论上 是一个11-k+1维值全为1的行向量，可以推导出a的解为
[0030]
[0031] 得到a的解后，在邻域内的空间曲面方程f(p)就拟合出来了，根据曲面微分几何知识，能够求取曲面的高斯曲率K和平均曲率H。
[0032] 作为本发明的进一步改进，步骤5中，用AB，BC，CD，DE，EF，FG，GH和HA表示投影的二维图像，为了方便理解，可以把这些图像看作是墙，即将三维信息投射到墙上，
指定Z轴正方向垂直纸面向外，则同一Z值的三维点在二维图像中的行的位置相同，用u表示图像行；该投影方案是一个分区域分
块投影，受到鞋子尺寸的影响，AF和BE离
鞋头和
鞋跟距离约是鞋长的λ处，λ是常系数，取值0.1～0.2，投影后图像的灰度值代表特征信息的大小，投影过程如下：根据鞋子的一般形状分为了8块投影区域，ABO1O2区域内的特征点携带着特征信息向O1A方向投影到AB图像中，O1O2EF区域内的则向O1F方向投影到FE图像中，AF左边的特征点P向O1P方向投影，BE右边的特征点P向O2P方向投影，由此，所有特征点携带特征信息投影到了AB、BC、CD、DE、EF、FG、GH和HA共8幅二维图像中，另外用一幅相关的三通道图像存储对应点的三维信息x，y，z值；再将8幅图连接整合为一幅图，由此，寻找鞋底边缘线就是在这幅图像中寻找一条从图像最左端一直延续到最右端的特征线，这条特征线对应为三维鞋子模型中最长的封闭特征线。
[0033] 作为本发明的进一步改进，步骤6中，寻找下一点的办法是，在vector
中寻找最后N个点，进行直线拟合，然后在直线方向找到一个矩形区域，对这个矩形区域中的点根据特征信息大小进行加权后使用PCA主成分分析；由于鞋底边缘线在一个小范围内是趋近于直线的，如果没有分叉点，该矩形区域内的点接近在一条直线上，则主成成分特征值比较大，设置参数ε，如果主成成分特征值大于ε，则认为这个矩形区域内没有分叉点，则矩形区域内的点信息加入vector，对应图像的灰度值置为0；如果主成成分特征值小于ε，说明矩形区域内点分散，可能为分叉点，此时vector停止增加点，形成了一条曲线段，然后从矩形区域的右侧末端取出最后几个点开始重新增长为新的vector，矩形区域右侧不存在特征点，则重新遍历图像，寻找新的特征点，直到遍历完所有特征点，保证所有特征点都在线段当中，如果特征线vector增长到图像边缘，停止增长。[0034] 本发明的有益效果是：
[0035] 本发明设计了一套制鞋工艺中的鞋底边缘线机器人自动跟踪方法，能够快速对鞋面进行扫描，获得鞋底边缘线位置，利用鞋底边缘线和新的鞋面产生准确的鞋底边缘线，通过机器人末端跟踪该三维封闭曲线快速完成打磨、喷药水和喷胶等操作，减少了制鞋工艺中的人力，提高了打磨、喷胶的精度，从而提高了
鞋类产品的质量。
附图说明
[0036] 图1是本发明机器人坐标系转换关系；
[0037] 图2A是本发明机器人扫描的扫描路径示意图，图2B是本发明机器人扫描的扫描区域示意图；
[0038] 图3A是本发明鞋底边缘线的凹谷面，图3B是鞋底边缘线曲面示意图；
[0039] 图4本发明特征信息投影俯视图；
[0040] 图5是本发明投影后的二维信息图像；
[0041] 图6是本发明区别鞋底边缘线中的分叉点；
[0042] 图7新鞋面跟踪线的生成；
[0044] 图9是现有技术中采用示教的方式产生鞋底边缘线结构示意图。
具体实施方式
[0045] 下面结合附图对本发明做进一步说明。
[0046] 1.摄像机及机器人手眼标定
[0047] 本发明的第一步是摄像机标定，采用的标定板为圆环形标定板，使用4x7共28个圆环，环外边缘直径30mm，环内边缘直径1mm，应用张氏标定法完成摄像机标定。
[0048] 摄像机安装到机器人上后，摄像机和机器人之间的坐标转换关系未知，需要通过手眼标定将其标定出来，如图1，需要求解出摄像机坐标系与机器人末端坐标系之间固定的转换关系。求解过程如下：改变机器人的末端位置和姿态，得到一组标定靶的图像，同时记录不同姿态下机器人末端的位置和姿态，进而对摄像机的外参数进行标定，由摄像机的外参数和对应的机器人末端
位姿，经过计算即可得到机器人的手眼关系。
[0049] 图1中，T6表示机器人世界坐标系和末端坐标系之间的转换关系，Tm表示机器人末端与摄像机坐标系之间的转换关系，Tc表示摄像机坐标系与靶标坐标系之间的转换关系，即摄像机的外参数，Tr表示机器人世界坐标系与靶标坐标系之间的转换关系。Tm为摄像机坐标系与机器人末端坐标系的转换关系，即手眼标定所要求得的结果。参考徐德等出版的《机器人视觉测量与控制》，标定出Tm。
[0050] 2.鞋面点云数据扫描
[0051] 2.1激光平面标定
[0052] 在进行鞋面扫描前，必须标定出扫描头上的激光平面方程。已知摄像机投影方程为：
[0053]
[0054] u，v是世界三维信息x，y，z通过投影矩阵p投影得到的图像信息，反过来无法通过图像信息反投影恢复真实世界的三维信息。本发明采用激光发射器作为辅助工具，增加了一个反投影过程的约束条件，这样系统需要标定出激光平面和摄像机之间的位置关系。
[0055] 将两张圆环标定板成90°摆放，摄像机同时标定出两张标定板和摄像机之间的关系，保持之前标定时的摄像机姿态，激光发射器打上激光光条后拍图，应用重心法提取出激光光条，将两个标定板的上的激光点同时转换到摄像机坐标下，进行平面的最小二乘拟合，如此获得了激光平面和摄像机之间的坐标关系。
[0056] 2.2点云扫描
[0057] 获得手眼标定和激光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，如图2A所示，扫描区域201为鞋底边缘线上下一定的区域，如图2B所示。
[0058] 图2A中箭头所示的路径为设定的摄像机拍摄路径，机器人围绕鞋子沿该路径扫描鞋子，毎运行距离s拍一幅图像，s的大小根据所需点云的稠密程度而定。拍完图后可快速通过重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息还需要依靠之前手眼标定的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集Psi。
[0059] 3.法向量估计
[0060] 由于点云网格化耗费时间过多，本发明直接在散乱点云上处理。对散乱点云处理的第一步需要求出每个点的法向量。首先需要用kd-tree(kd树)数据结构表示出散乱的点云，对应输入点云中的某点p，利用kd-tree结构找出离p点最近的K个点组成一个K邻域。在K邻域内进行空间平面拟合，所得平面的法向作为p的法向估计。
[0061] 估计出法向量np后，法向量指向是不统一的，指向鞋子模型的内部或者外部。
[0062] 由于后续处理需要分出模型的凹凸面，所以需要调整得到统一指向的法向量。调整方法是保存机器人拍照时的位置和姿态，预测出点云大概的法向方向nd，如果np和nd内积小0，则将np反向。
[0063] 4.散乱点云特征提取
[0064] 点云的特征估计是基于曲面微分几何的，基本思路在邻域内估计出点的高斯曲率，平均曲率以及主曲率和主方向。首先要在参考点p邻域内拟合出空间曲面方程，空间曲面方程可表示为带有十个待拟合参数的参数方程
[0065]
[0066] 用最小二乘可以拟合出十个参数
[0067] MTa＝0 (2-3)
[0068] 对上式M矩阵进行SVD(奇异值分解)分解，参数向量a的解为最小特征值对应的特征向量。但是这样直接求解损失了太多微分信息，导致后续处理无法进行，本发明中采用三水平集的方法，提高拟合精度。
[0069] als＝[MTM]-1MTb (2-4)
[0070] b是水平集沿法向向里和向外偏移很小的量组成的列向量矩阵，(2-4)式的求逆方法将数据矩阵M和观测矩阵b中的噪声放大了。由此，引入总体最小二乘，同时对数据矩阵M和观测矩阵b进行补偿。
[0071] (M+E)a＝b+e (2-5)
[0072] E对数据矩阵M进行补偿，e对观测矩阵进行补偿。将右边式子归零，移动到左边，得到表达式如下
[0073] (A+B)x＝0 (2-6)
[0074] B＝[E，e]，A＝[M，-b]，x＝[aT，1]T (2-7)
[0075] 对A进行PCA(主成分分析)分解，得到特征值和特征向量，特征值从大到小排列λ1>λ2>…>λ11，(∈＞0)，总共十一个特征值，从理论上讲，x的解应该是最小特征值λ11对应的特征向量，但是由于x共有十一维，最后几个特征值都已经很小而且值很接近，考虑到计算机本身存在误差，所以最后几个很小很接近的特征值对应的右奇异向量都应该是x的解，取一个很小的参考量∈，比λ11+∈值小的特征值对应的特征向量都是解，由此构成一个解空间[0076]
[0077] 由于x最后一个值为1，则理论上 是一个11-k+1维值全为1的行向量，可以推导出a的解为
[0078]
[0079] 得到a的解后，在邻域内的空间曲面方程f(p)就拟合出来了，根据曲面微分几何知识，能够求取曲面的高斯曲率K和平均曲率H。
[0080] 本算法参考SVD分解的
基础上，使用了PCA分解，并对数据矩阵M数据根据离参考点的距离进行相应加权，对于鞋底边缘线这种非尖锐的平滑特征提取有很好的效果。鞋底边缘线这样的凹谷面如图3A所示。
[0081] 鞋底边缘附近曲面属于基本曲面类型中的谷面，如图3B中虚线标注部分，谷面的基本特性中有K值趋近于0，则对于鞋底边缘特征线的特征来讲，H值越大则对应特征的特征信息就越强。
[0082] 5.特征信息的投影
[0083] 之前步骤得到的特征信息是在三维点上的，为了方便提取出鞋底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中，AB,BC,CD,DE,EF,FG,GH和HA表示投影的二维图像，为了方便理解，可以把这些图像看作是墙，即将三维信息投射到墙上，如图4是投影过程的俯视图，如果指定Z轴正方向垂直纸面向外，则同一Z值的三维点在二维图像中的行的位置(用u表示图像行)相同。该投影方案是一个分区域分块投影，受到鞋子尺寸的影响，AF和BE离鞋头和鞋跟距离约是鞋长的λ处，λ是常系数，取值0.1～0.2。投影后图像的灰度值代表特征信息的大小，下面简单描述投影过程：
[0084] 根据鞋子的一般形状分为了8块投影区域，ABO1O2区域内的特征点携带着特征信息向O1A方向投影到AB图像中，O1O2EF区域内的则向O1F方向投影到FE图像中，AF左边的特征点P向O1P方向投影，BE右边的特征点P向O2P方向投影，由此，所有特征点携带特征信息投影到了AB、BC、CD、DE、EF、FG、GH和HA共8幅二维图像中，另外用一幅相关的三通道图像存储对应点的三维信息x，y，z值。
[0085] 再将8幅图连接整合为一幅图，由此，寻找鞋底边缘线就是在这幅图像中寻找一条从图像最左端一直延续到最右端的特征线，这条特征线对应为三维鞋子模型中最长的封闭特征线。
[0086] 6.二维图像中鞋底边缘线的提取：
[0087] 得到投影的二维图像表示的特征信息后，整幅图像如图5。实际图像中特征点为灰色或者白色，像素灰度值大于0，无特征信息为黑色，像素灰度值为0。鞋底边缘线提取过程如下：遍历图像如果发现有特征点(非零)，就从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用vector
容器L来表示，寻找下一点的办法是，在L中寻找最后N个点，进行直线拟合，然后在直线方向找到一个矩形区域，对这个矩形区域中的点根据特征信息大小进行加权后使用PCA主成分分析，由于鞋底边缘线在一个小范围内是趋近于直线的，如果没有分叉点，该矩形区域内的点接近在一条直线上，则主要成分特征值比较大，设置参数ε，实际中取0.7，如果主要成分特征值大于ε，则认为这个矩形区域内没有分叉点，则矩形区域内的点信息加入L，对应图像的灰度值置为0，如图6。如果主要成分特征值小于ε，说明矩形区域内点分散，可能为分叉点，此时L停止增加点，形成了一条曲线段，然后从矩形区域的右侧末端取出最后几个点开始重新增长为新的L，矩形区域右侧不存在特征点，则重新遍历图像，寻找新的特征点，直到遍历完所有特征点(图像中所有像素灰度值全为0)，保证所有特征点都在线段当中。如果特征线L增长到图像边缘，停止增长。
[0088] 通过上面的步骤，可以获得很多线段，存在vector
>容器Q当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线。[0089] 由于容器L的增长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部线段方向大致相同，即他们向量的内积小于一个很小的正值ξ，则连接成一条新的曲线段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就是鞋底边缘线在二维图像中的投影。根据投影时保存的用于记录三维信息的三通道图像，可以将这条线段反投影回三维空间。此时在三维空间中的鞋底边缘线是一条线状散乱点集，需要进行进一步的细化。
[0090] 7.可跟踪鞋底边缘线的生成
[0091] 通过上面的步骤获得的鞋底边缘线较为杂乱，需要细
化成一条封闭的空间三维曲线，机器人才能完成跟踪，实现自动化生产的打磨、喷胶、喷药水等操作。本发明优先考虑程序运行的效率，采用空间直线投影的方法对鞋底边缘线进行细化，选择了在鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘线，由于在二维图像中提取的鞋底边缘线是从图像左侧到图像右侧之间有序排列的，所以最终获得的三维鞋底边缘线的点也是有序的，机器人可以从相邻两点间获得可跟踪的小线段，而点的法向量为机器人跟踪时的姿态提供参考。
[0092] 8.新鞋面跟踪曲线的生成
[0093] 在后续的生产过程中，将需打磨喷胶的鞋面倒置安装在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据Psc，将之前获得的带有鞋底的鞋点集Psi和Psc利用ICP算法将两个点云数据进行对齐。然后将初始鞋底边缘线上lo间隔δ采样，采样点为po，以po为起点，po所处Psi点集处的法向量为方向生成直线ln，计算ln与Psc的交点获得新的点集Pi，将新的点集Pi拟合出封闭的三维跟踪曲线lsc，机器人沿lsc运行并对lsc以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打磨、喷胶等操作。
[0094] 图7中，当前鞋面点集Psc，Po点处法线方向生成的直线ln，在当前鞋面上生成的新的跟踪曲线li，初始鞋底边缘线lo，初始鞋面点集Psi。
[0095] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
