一种基于智能学习的工业机器人三维空间自主装配方法 |
|||||||
| 申请号 | CN201410614211.4 | 申请日 | 2014-11-04 | 公开(公告)号 | CN104325268A | 公开(公告)日 | 2015-02-04 |
| 申请人 | 南京赫曼机器人自动化有限公司; | 发明人 | 刘衍; 丁吉祥; | ||||
| 摘要 | 本 发明 公开了一种基于智能学习的工业 机器人 三维空间自主装配方法。该方法如下：根据 工件 的活动范围，设置相机单元的 位置 ；控制 工业机器人 末端的圆环在工件的不同活动范围内运动，分别采集多组数据，通过智能学习分别建立不同活动范围内物理空间中三维坐标到相机空间中二维坐标的映射关系；获取目标工件在相机空间中的坐标，通过映射关系转换为三维物理空间中的位置，工业机器人 控制器 发送命令控制工业机器人向目标工件运动，将工业机器人 定位 到目标工件上，然后进行工件装配；在装配的同时采集数据实时更新映射关系。本发明不需要进行标定，且具有高 精度 、高鲁棒性和实时性好的优点。 | ||||||
| 权利要求 | 1.一种基于智能学习的工业机器人三维空间自主装配方法，其特征在于，包括以下步骤： |
||||||
| 说明书全文 | 一种基于智能学习的工业机器人三维空间自主装配方法技术领域背景技术[0002] 随着越来越多的工业机器人在各工业领域中获得了广泛应用，如机器人喷漆，机器人搬运，机器人装配等。在这些领域中工业机器人代替人工做可重复的精确地运动，从而保证了产品质量。用机器人代替人进行作业时，必须预先对机器人发出指示，规定机器人应该完成的动作和作业的具体内容。目前有两种方式规划机器人的轨迹，直接示教和离线示教。 [0003] 直接示教是指我们通常所说的手把手示教，通过机器人的手控操作盒控制机器人运动，直接示教的过程包括使机器人上安装的工具的末端运动到其操作部位，并记录下载这个位置机器人的坐标，然后机器人沿示教时记录的轨迹自主运动，完成特定的操作任务。直接示教不但过程繁琐、效率低、占用宝贵的生产时间，而且是机器人系统成为一个相对独立的单元，难以实现与其他系统或生产过程的无缝集成。示教的精度完全靠示教者的经验目测决定，精度较低，对于工件不是精确固定在某一特工位置的装配难以获得令人满意的示教效果。因此该方法仅适用于运动轨迹简单的场合，不能满足小批量、多品种的柔性生产的需要。 [0004] 离线示教是基于精确的机器人模型，并建立工具坐标系，将工具末端的坐标精确地变换到机器人基准坐标系下，根据操作工件的CAD模型规划出实际操作时工具末端的连续运动轨迹。该方式的实现对机器人模型的精度，以及机器人工具坐标系的确定都有很高的精度要求。 [0005] 综上所述，现有机器人装配存在以下问题：(1)直接示教操作过程繁琐，效率和精度都比较低，仅适用于操作轨迹较简单，且精度要求不高的场合；(2)离线示教对机器人模型的精度和工具坐标系参数的求解精度要求很高，而目前对机器人模型的标定精度和工具坐标系参数的标定精度较低，因此，离线生成的路径精度不高，不能满足高精度复杂轨迹的操作需要；(3)无论是直接示教还是离线示教，当每次需要装配的工件不能精确固定在某一固定位置，而在固定区域内的任意位置时，机器人就无法完成任务。 发明内容[0006] 本发明的目的在于提供一种基于智能学习的工业机器人三维空间自主装配方法，具有高精度、高鲁棒性和实时性好的优点。 [0007] 实现本发明目的的技术解决方案为：一种基于智能学习的工业机器人三维空间自主装配方法，包括以下步骤： [0008] 步骤1，信息采集 [0010] 步骤2，机器人学习过程 [0012] 步骤3，计算工件在图像中的坐标 [0013] 工件置于工件活动范围内的任意位置，两个相机同时拍摄工件，分别计算工件在两幅图像中的二维坐标位置； [0014] 步骤4，工件二维坐标转换为机器人关节角度信息 [0015] 根据步骤2中求得的映射关系，将步骤3中计算的工件二维坐标位置转换为三维机器人物理空间坐标位置，通过机器人运动学单元确定三维机器人物理空间坐标位置相对应的工业机器人关节角度值； [0016] 步骤5，工业机器人装配 [0017] 工业机器人根据步骤4中得到的关节角度信息运动到工件所在的位置，工业机器人携带末端装置设置的工件装配工具对工件进行装配； [0018] 步骤6，装配过程在线再学习 [0019] 在进行工件装配的过程中重复步骤1～2，实时更新三维物理空间和二维相机空间之间的映射关系。 [0020] 本发明与现有技术相比，其显著优点是：(1)在工业机器人进行工件装配的过程中，工件可摆放在活动区域内的任意位置，无需将工件精确摆放在某一固定位置；(2)本方法采用了具有多自由度的相机单元，无需知道相机之间的夹角和相机的位置，只需确保工件在相机的视野范围内；(3)在完成机器人工件装配过程中无需对工业机器人和摄像机进行标定，通过精确的映射关系获得工件的精确位置；(4)在机器人工件装配过程中进行在线学习，实时更新映射关系。附图说明 [0021] 图1是本发明基于智能学习的工业机器人三维空间自主装配方法结构示意图。 [0022] 图2是本发明基于智能学习的工业机器人三维空间自主装配方法末端装置结构示意图。 [0023] 图3是本发明基于智能学习的工业机器人三维空间自主装配方法相机云台结构示意图。 [0024] 图4是本发明基于智能学习的工业机器人三维空间自主装配方法的流程图。 [0025] 图5是本发明基于智能学习的工业机器人三维空间自主装配方法实例结构示意图。 具体实施方式[0026] 下面结合附图及具体实施例对本发明作进一步详细说明。 [0027] 结合图1～2，一种基于智能学习的工业机器人三维空间自主装配方法，相应的装置包括：工业机器人系统1、工业计算机5、相机单元3、工件2-1以及工件活动范围2，其中工业机器人系统1包括六自由度的工业机器人1-1、末端装置1-2和工件装配工具1-3，其中工件装配工具1-3固定在末端装置1-2上，末端装置1-2刚性固定在六自由度工业机器人1-1的末端，末端装置1-2上贴有白色和黑色的圆环1-4，工业计算机5包括图像处理单元5-1和机器人运动学单元5-2，机器人运动学单元5-2包括机器人正运动学单元5-2-1和机器人逆运动学单元5-2-2两部分，其中图像处理单元5-1与机器人运动学单元5-2相连，工业计算机5通过第一千兆以太网6与工业机器人控制器7相连接，工业机器人控制器7的控制端接入工业机器人系统1，工业计算机5通过第二千兆以太网4与相机单元3相连。 [0028] 如图3所示，相机单元3是双目视觉装置，该装置由相机云台3-1、两个相机3-2、两自由度电机运动单元3-3和电机驱动模块3-4组成，相机3-2的内外参数不用标定，且可以摆放在任意位置，相机之间的距离和相机之间的夹角不必确定，只需工件2-1在两个相机3-2的视野范围内。 [0029] 结合图4，本发明基于智能学习的工业机器人三维空间自主装配方法，包括以下步骤： [0030] 步骤1，信息采集 [0031] 设置相机3-2的位置，确保工件2-1在两个相机3-2的视野范围内，将工业机器人1-1的末端装置1-2移动到工件活动范围2内的不同位置采集工业机器人1-1关节角度信息和机器人末端装置1-2上圆环1-4的图像位置信息；所述圆环1-4的图像位置信息通过图像处理识别算法得到，具体如下： [0032] (1.1)对步骤1中获取的机器人末端装置1-2上圆环1-4的图像进行边缘检测，提取圆环1-4边缘信息； [0033] (1.2)对圆环1-4边缘信息进行筛选，符合圆形的作为圆环1-4的图像位置信息。 [0034] 由于相机3-2无需标定，故可以将相机3-2摆放在任意位置，只需确保工件2-1在两个相机的视野范围内。多次将机器人的末端装置1-2移动到工件活动范围2内的不同位置进行视觉索引数据采集。 [0035] 步骤2，机器人学习过程 [0036] 根据步骤1采集的机器人关节角度信息，通过机器人运动学计算出机器人末端在机器人基坐标系下的三维物理空间位置，建立三维物理空间和二维相机空间之间的映射关系；使用Camera-Space Manipulation (CSM)方法来建立三维物理空间和二维相机空间之间的映射关系，具体如下： [0037] [0038] [0039] 其中，(xc,yc)是视觉索引在相机空间中的二维坐标，(px,py,pz)是视觉索引在物理空间中的三维坐标，C＝[C1,C2,C3,C4,C5,C6]是映射关系参数。 [0040] 步骤3，计算工件2-1在图像中的坐标 [0041] 工件2-1置于工件活动范围2内的任意位置，两个相机3-2同时拍摄工件2-1，分别计算工件2-1在两幅图像中的二维坐标位置； [0042] 工件2-1是孔状的，并且有深度和方向。孔状工件2-1放在工件活动范围2内的任意位置，在两个相机3-2中同时拍摄这个工件2-1，通过第二千兆以太网4将图像实时传送至工业计算机5，图像处理单元5-1对采集到的图像进行处理识别工件2-1，并且分别计算工件2-1在两幅图像空间中的二维坐标位置、工件2-1上的视觉索引二维坐标位置和工件2-1的方向。 [0043] 步骤4，工件2-1二维坐标转换为机器人关节角度信息 [0044] 根据步骤2中求得的映射关系，将步骤3中计算的工件2-1二维坐标位置转换为三维物理空间坐标位置，将步骤3中计算的工件上的视觉索引二维坐标位置转换为工件的深度信息和方向。通过机器人运动学单元5-2确定三维物理空间坐标位置相对应的工业机器人1-1关节角度值；即机器人逆运动学单元5-2-2根据三维物理空间坐标位置和工件2-1的深度信息和方向，结合机器人正运动学单元5-2-1确定相对应的工业机器人1-1关节角度信息。 [0045] 步骤5，工业机器人装配 [0046] 将步骤4中计算的关节角度值发送给工业机器人控制器7，工业机器人控制器7发送命令控制六自由度工业机器人1-1向工件2-1运动。工业机器人1-1根据步骤4中得到的关节角度信息运动到工件2-1所在的位置，工业机器人1-1携带末端装置1-2设置的工件装配工具1-3对工件2-1进行装配； [0047] 步骤6，装配过程在线再学习 [0048] 在进行工件2-1装配的过程中重复步骤1～2，通过CSM方法实时更新三维物理空间和二维相机空间之间的映射关系，即工业机器人1-1在装配工件2-1的同时采集工业机器人1-1的末端装置1-2上圆环1-4的图像位置信息，将其中正确的数据信息加入关系拟合的数据中建立新的三维机器人坐标系空间和二维相机空间之间的映射关系。 [0049] 实施例1 [0050] 结合图5，本发明基于智能学习的工业机器人三维空间自主装配方法详细如下所述： [0051] (1)视觉索引信息采集 [0052] 结合图1～3，本发明中由于相机3-2无需标定，故可将相机3-2摆放在任意位置，只需确保工件2-1在两个相机3-2的视野范围内。多次将机器人的末端装置1-2移动到工件2-1可活动区域内的不同位置进行圆环1-4数据采集。采集的数据是机器人的六个关节角度信息和机器人末端装置1-2上的圆环1-4信息，即白色黑色的圆环在两个相机3-2图像中的坐标。 [0053] (2)机器人学习过程 [0054] 根据步骤(1)中采集的机器人六个关节角度信息，通过机器人正运动学单元5-2-1计算出机器人末端1-2在机器人基坐标系下的三维物理空间位置。使用Camera-Space Manipulation(CSM)方法来建立三维物理空间和二维相机空间之间的映射关系，映射关系如下： [0055] [0056] [0057] 其中，(xc,yc)是视觉索引在相机空间中的二维坐标，(px,py,pz)是视觉索引在物理空间中的三维坐标，C＝[C1,C2,C3,C4,C5,C6]是映射关系参数。 [0058] (3)图像处理识别工件并计算工件在图像中的坐标 [0059] 工件2-1是孔状的，并且有深度和方向。将工件2-1放在工件活动范围2内的任意位置，两个相机3-2同时拍摄这个工件2-1，通过第二千兆以太网4将图像实时传送至工业计算机5，图像处理单元5-1对采集到的图像进行处理识别工件，并且分别计算工件2-1在两幅图像空间中的二维坐标位置、工件上的视觉索引二维坐标位置和工件的方向。 [0060] (4)工件二维坐标转换为机器人关节角度信息 [0061] 根据(2)中求得的映射关系，将(3)中计算的工件2-1在两幅图像空间中二维坐标位置转换为三维物理空间坐标位置，将(3)中计算的工件上的视觉索引二维坐标位置转换为工件的深度信息和方向。机器人逆运动学单元5-2-2根据工件三维坐标位置和工件2-1的深度信息和方向，结合机器人正运动学单元5-2-1确定相对应的六自由度工业机器人1-1关节角度值。 [0062] (5)机器人工件装配 [0063] 将(4)中计算的关节角度值发送给工业机器人控制器7，工业机器人控制器7发送命令控制六自由度的工业机器人1-1向工件2-1运动。工业机器人7根据给定的关节角度信息精确运动到工件2-1所在的位置，工业机器人携带末端工具1-3精确进入工件2-1进行装配，如图5所示。 [0064] (6)装配过程在线再学习 [0065] 当工业机器人1-1在工件2-1的不同活动区域内进行工件装配的同时，重复步骤(1)～(2)，采集工业机器人1-1末端装置1-2的圆环1-4数据信息，通过CSM方法实时更新映射关系。 [0066] 采用基于智能学习的工业机器人三维空间自主装配方法，在本方法下进行了14次工业机器人装配，实验结果如表1所示，通过表1可以看出本方法在工件的活动范围内都可以进行高精度装配。 [0067] 表1 [0068] [0069] 综上所述，本发明基于智能学习的工业机器人三维空间自主装配方法，在工业机器人进行工件装配的过程中，工件可摆放在活动范围内的任意位置，无需将工件精确摆放在某一固定位置；无需知道相机之间的夹角和相机的位置，只需确保工件在相机的视野范围内；在完成工业机器人工件装配过程中无需对工业机器人和相机进行标定，通过精确的映射关系获得工件的精确位置；在工业机器人工件装配过程中在线再学习，实时更新映射关系；具有高精度、高鲁棒性和实时性好的优点。 |
||||||
QQ群二维码
意见反馈
意见反馈