技术领域
[0001] 本
发明涉及
机械臂控制领域，尤其是涉及一种利用低精度深度相机高精度抓取形状对称工件的方法。
背景技术
[0002] 传统的工业
机器人抓取通常采用示教编程模式，这种方式适用于工况稳定，工业零件(后面简称工件)放置的
位置和
姿态固定的情况，若工件摆放的位置和姿态不固定则会出现抓取失败。解决此问题的方法多种多样，最直接的方法是采用类似人眼的
机器视觉引导
工业机器人工作。
[0003] 近年来，随着RGB-D深度相机的广泛使用，机器人对环境的三维
感知能
力不断增强，可以很方便地采集到目标物的多模态数据。但在实际环境中，
传感器获取的图像并不只包含目标物体，还包含复杂背景或其他干扰物体，因此对机器人来讲，要完成目标检测与抓取
位姿估计两项任务。
[0004] 目前基于
深度学习的目标检测方法是最先进的方法，但该方法虽然能正确检测到目标，却无法保证用于
定位的矩形框完全包含目标，这将导致用矩形框来分割点
云时会丢失部分目标点云。对于用高精度深度相机获取的稠密点云而言，丢失小部分点云对后续的目标模型拟合与位姿估计影响不大，但高精度深度相机价格昂贵，对生产厂家意味着高昂的生产成本。低精度深度相机价格便宜，但获取的点云稀疏，少量点云的丢失会严重降低抓取位姿估计精度，导致抓取失败。
发明内容
[0005] 本发明的目的就是为了克服上述
现有技术存在的
缺陷而提供一种利用低精度深度相机高精度抓取形状对称工件的方法。
[0006] 本发明的目的可以通过以下技术方案来实现：
[0007] 一种利用低精度深度相机高精度抓取形状对称工件的方法，包括以下步骤：
[0008] 1)在抓取
坐标系O-XYZ中对生产线抓取区运送工件料盘进行位置测定；
[0009] 2)对机械臂抓取系统进行手眼标定，得到相机坐标系与抓取坐标系之间的齐次转换矩阵T1；
[0010] 3)生成3D工件模型点云并标记抓取位置；
[0011] 4)构建基于深度学习的工件检测网络模型并进行训练；
[0012] 5)根据训练后的工件检测网络模型进行2D图像目标检测；
[0013] 6)集成图像目标检测结果和料盘位置信息，从3D抓取区观测点云中分割得到工件观测点云；
[0014] 7)根据分割得到的工件点云估计抓取位姿。
[0015] 所述的步骤4)具体包括以下步骤：
[0016] 41)采用相机从多个
角度拍摄多种遮挡情况下的工件的2D RGB图像；
[0017] 42)在图像上标注出每个工件的外接矩形框并生成训练样本库；
[0018] 43)选择
卷积神经网络框架SSD作为工件检测网络模型框架；
[0019] 44)根据训练样本库，采用参数调优的方式训练工件检测网络模型。
[0020] 所述的步骤5)具体包括以下步骤：
[0021] 51)采用深度相机获取生产线抓取区范围的2D RGB图像与2D
深度图像，并将2D深度图像转换成3D点云的表现形式；
[0022] 52)利用训练好的工件检测网络模型从2D RGB图像上检测工件，并采用2D矩形框表示工件位置和大小；
[0023] 53)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将2D RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
[0024] 所述的步骤6)具体包括以下步骤：
[0025] 61)根据步骤53)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
[0026] 62)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
[0027] 63)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生成，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云；
[0028] 所述的步骤7)具体包括以下步骤：
[0029] 71)对优化后的工件观测点云采用RANSAC
算法获取工件的中
心轴线方向；
[0030] 72)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的齐次转换矩阵T2；
[0031] 73)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
[0032] 74)通过旋转、平移将工件模型点云坐标系O”-X”Y”Z”与抓取坐标系O-XYZ重合；
[0033] 75)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3，利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于设定的
阈值，则将更新后的T3作为初值，并重复以上过程，若小于阈值则停止
迭代；
[0034] 76)经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)后，计算机械臂抓取工件的位置坐标抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
[0035] 所述的步骤76)中，机械臂抓取工件的位置坐标的计算式为：
[0036]
[0037] 与现有技术相比，本发明具有以下优点：
[0038] 一、降低运行时间：本发明选取轻量级SSD神经网络模型进行2D目标检测，可以有效降低目标检测算法运行时间。
[0039] 二、提高点云完整性：集成料盘位置信息和2D目标检测结果分割工件观测点云，可以有效提高工件观测点云的完整性，为后续的高精度位姿估计提供保障。
[0040] 三、提高拟合成功率：利用工件观测点云直接拟合中心轴线，而不是拟合工件形状，能有效避免小工件因点云稀疏造成的拟合失败；
[0041] 四、估计速度快精度高：通过前述工件观测点云坐标系和工件模型点云坐标系的定义方式，以T3作为ICP初值进行迭代，可以在有限次迭代后达到收敛，实现快速高精度位姿估计。
[0042] 本发明可以利用用户级低精度深度相机作为视觉引导机械臂抓取时，达到工业级高精度深度相机视觉引导的抓取精度，并且抓取速度和系统
稳定性满足工业生产要求。
附图说明
[0043] 图1为利用低精度深度相机从生产线料盘中快速高精度抓取形状对称工件的机械臂抓取方法
流程图。
[0044] 图2为3D工件模型点云。
[0045] 图3为标注每个工件的外接矩形框示意图。
[0046] 图4为2D RGB图像上标注2D矩形框示意图。
[0047] 图5为优化后的工件观测点云。
[0048] 图6为配准后工件观测点云与工件模型点云示意图。
具体实施方式
[0049] 下面结合附图和具体
实施例对本发明进行详细说明。
[0050] 如图1所示，本发明提供一种利用低精度深度相机高精度抓取形状对称工件的方法，该方法可分七部分：1)在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定；2)对机械臂抓取系统进行手眼标定；3)生成3D工件模型点云并标记抓取位置；4)构建基于深度学习的工件检测网络模型并进行训练；5)根据训练后的工件检测网络模型进行2D图像目标检测；6)集成图像目标检测结果和料盘位置信息从3D抓取区观测点云中分割得到工件观测点云；7)根据分割得到的工件观测点云估计抓取位姿。
[0051] 第一部分，在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定，具体过程如下：
[0052] (1)定义抓取坐标系O-XYZ；
[0053] (2)在抓取区料盘中垂直放入工件，通过人工操控机械臂抓取工件，获得工件抓取点在抓取坐标系O-XYZ中的坐标
[0054] (3)量取工件抓取点离料盘的高度，再根据工件的大小尺寸，算出料盘中心点在抓取坐标系O-XYZ中的坐标。
[0055] 第二部分，机械臂抓取系统中的手眼标定，具体过程如下：
[0056] (1)每次人工操作抓取工件的同时，通过深度相机拍摄抓取工件的RGB图像和深度图像，获取工件抓取点在相机坐标系上的坐标
[0057] (2)重复以上过程，获得多组同名抓取点在抓取坐标系和图像坐标系中的坐标，然后根据公式(2)采用最小二乘方法求得深度相机坐标系与抓取坐标系之间的转换关系，完成机械臂抓取系统的手眼标定；
[0058]
[0059] 第三部分，3D工件模型点云生成及抓取位置标记，具体过程为：将工件CAD模型转换为3D模型点云，并在工件模型点云上标注抓取点位置；
[0060] 第四部分，构建基于深度学习的工件检测网络模型并进行训练，具体过程如下：
[0061] (1)用相机从多个角度拍摄不同遮挡情况下的工件的2D RGB图像；
[0062] (2)标注出图像上每个工件的外接矩形框构建训练样本库；
[0063] (3)选择卷积神经网络框架SSD作为工件检测网络模型框架；
[0064] (4)利用训练样本库，采用参数调优的方式训练工件检测网络模型；
[0065] 第五部分，基于工件检测网络模型的图像目标检测，具体过程如下：
[0066] (1)采用深度相机获取生产线抓取区范围的2D RGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；
[0067] (2)利用训练好的工件检测网络模型从2D RGB图像上检测工件，用2D矩形框表示工件位置和大小；
[0068] (3)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
[0069] 第六部分，集成图像目标检测结果与料盘位置信息的工件观测点云分割，具体过程如下：
[0070] (1)根据第五部分(3)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
[0071] (2)以料盘所在位置为中心，根据工件大小定义3D虚拟矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
[0072] (3)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生长，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云；
[0073] 第七部分，基于工件观测点云的抓取位姿估计，具体过程如下：
[0074] (1)根据工件观测点云采用RANSAC算法估算工件的中心轴线方向；
[0075] (2)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的转换关系如公式(3)所示：
[0076]
[0077] (3)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
[0078] (4)通过旋转、平移将O”-X”Y”Z”坐标系与抓取坐标系O-XYZ重合；
[0079] (5)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3。利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于阈值，则将更新后的T3作为初值重复以上过程，若小于阈值则停止迭代；
[0080] (6)经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′′，y′G，z′G)，根据公式(1)求得机械臂抓取工件的位置坐标 抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
[0081] 实施例：
[0082] 某生产企业搭建的机械臂抓取系统包含一个YaMaha四轴机械臂，机械臂末端最大可张开宽度1.7cm，一台Intel RealSense D415深度相机和一台主频为3.3GHz的工业计算机。待抓取工件放在料盘中在生成线上运送，工件沿中心轴线对称，宽度约为1cm。在实际生产中，工人将工件手工插入料盘圆孔中时，无法保证每个工件都垂直插入，会出现倾斜情况，为了保证机械臂从生产线料盘中自动抓取工件时不出现抓取失误，设计技术方案如下：
[0083] 第一部分，在抓取坐标系O-XYZ中对生产线抓取区运送工件的料盘进行位置测定，具体过程如下：
[0084] (1)定义抓取坐标系O-XYZ；
[0085] (2)在抓取区料盘中垂直放入工件，通过人工操控机械臂抓取工件，获得工件抓取点在抓取坐标系O-XYZ中的坐标
[0086] (3)量取工件抓取点离料盘的高度，再根据工件的大小尺寸，算出料盘中心点在抓取坐标系O-XYZ中的坐标。
[0087] 第二部分，机械臂抓取系统中的手眼标定，具体过程如下：
[0088] (1)每次人工操作抓取工件的同时，通过深度相机拍摄抓取工件的RGB图像和深度图像，获取工件抓取点在相机坐标系中的坐标
[0089] (2)重复以上过程，获得至少6组同名抓取点在抓取坐标系和图像坐标系中的坐标，根据公式(2)，采用最小二乘方法求得深度相机坐标系与抓取坐标系之间的齐次坐标转换矩阵T1。
[0090] 第三部分，利用工件的CAD模型生成3D工件模型点云，如附图2，并标记工件模型抓取位置；
[0091] 第四部分，构建基于深度学习的工件检测网络模型并进行训练，具体过程如下：
[0092] (1)用相机从多个角度拍摄不同遮挡情况下的工件的2D RGB图像；
[0093] (2)如附图3所示，标注出图像上每个工件的外接矩形框构建训练样本库；
[0094] (3)选择卷积神经网络框架SSD作为工件检测网络框架；
[0095] (4)利用训练样本库，采用参数调优的方式训练工件检测网络模型；
[0096] 第五部分，基于工件检测网络模型的图像目标检测，具体过程如下：
[0097] (1)采用深度相机获取生产线抓取区范围的2D RGB图像与2D深度图像，并将2D深度图像转换成3D点云的表现形式；
[0098] (2)利用训练好的工件检测网络模型从2D RGB图像上检测工件，如附图4所示，用2D矩形框表示工件位置和大小；
[0099] (3)根据深度相机标定参数，配准2D RGB图像和2D深度图像，将RGB图像中的2D矩形框投影到3D点云空间中，形成3D矩形框。
[0100] 第六部分，集成图像目标检测结果与料盘位置信息的工件观测点云分割，具体步骤如下：
[0101] (1)根据第五部分(3)得到的3D矩形框从3D抓取区观测点云中分割出第一工件观测点云；
[0102] (2)以料盘圆孔所在位置为中心，定义一个长宽为6cm*6cm，高为15cm的3D矩形框，从3D抓取区观测点云中分割出第二工件观测点云；
[0103] (3)将第一工件观测点云和第二工件观测点云取并集，然后对合并后的工件观测点云以点云距离为测度进行区域生长，剔除其它目标观测点云和噪音干扰，得到优化后的工件观测点云，如附图5所示；
[0104] 第七部分，基于工件观测点云的抓取位姿估计，具体步骤如下：
[0105] (1)根据工件观测点云采用RANSAC算法估算工件的中心轴线方向；
[0106] (2)定义工件观测点云坐标系：以工件观测点云的中心为坐标系原点O’，以工件观测点云的中心轴线方向为Z’轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X’轴和Y’轴，得到工件观测点云坐标系与相机坐标系之间的转换关系如公式(3)所示：
[0107] (3)定义工件模型点云坐标系：以工件模型点云的中心为坐标系原点O”，以工件模型点云的中心轴线方向为Z”轴，按照右手直角坐标系的定义任选两条相互垂直的直线作为X”轴和Y”轴；
[0108] (4)通过旋转、平移将O”-X”Y”Z”坐标系与抓取坐标系O-XYZ重合；
[0109] (5)采用ICP算法，以T3＝T1*T2为初值，在工件模型点云中找到一点Pi，在工件观测点云中找到距离Pi最近的一点P′i，建立一组对应点集，利用n组对应点列出n个方程，采用最小二乘求解得到更新后的T3。利用更新后的T3对工件观测点云进行刚体变换，计算变换后的工件观测点云与工件模型点云的距离平方和，若连续两次距离平方和之差绝对值大于0.1mm，则将更新后的T3作为初值重复以上过程，若小于0.1mm，则停止迭代；
[0110] (6)如图6所示，经ICP精确配准工件观测点云与工件模型点云后，由工件模型点云上标注的抓取点得到工件观测点云上的同名点(x′G，y′G，z′G)，根据公式(1)求得机械臂抓取工件的位置坐标 抓取方向与Z’轴在抓取坐标系O-XYZ中的方向一致。
[0111] 该机械臂抓取系统在生产线上连续工作8个小时，无一例抓取失败，平均每个工件抓取间隔小于1s。
