技术领域
[0001] 本
发明涉及一种机器人自主分类抓取方法，特别涉及一种基于YOLOv3的机器人自主分类抓取方法。
背景技术
[0002] 目前，当下我国人口老龄化严重，劳动
力短缺，对服务机器人的需求也越来越大，但是服务机器人所工作的非结构化环境也带来了许多技术难题，其中十分主要的一个问题就是非结构环境中机器人的自主抓取。抓取作为机器人与现实世界交互的主要方式之一，是一个急需解决的问题。不同于
工业机器人在结构化环境中对
工件的抓取，服务机器人在非结构化环境下的自动抓取面临着诸多挑战，例如动态化环境、光照变化、物体间存在相互遮挡，以及最主要的，非结构化环境中除了已知的物体，还有大量未知物体，而多数工业机器人上应用十分成熟的抓取规划方法依赖于预先获取物体的模型来建立
数据库，或者是在预先编好的程序下执行固定的动作，而对于非结构化环境中工作的服务机器人，预先获取所有需要进行抓取的物体的模型是不现实的，因此机器人必须能够对未知的物体在线进行快速稳定可靠的抓取规划。本发明采用
计算机视觉中的方法，通过相机提取目标物体的彩色图和
深度图，然后利用目标检测的方法对目标物体进行识别和
定位，得到目标物体的类别和以矩形框表示的
位置。再通过
图像处理和点
云的相关的
算法可以得到物体的具体
位姿，然后通过
机械臂进行抓取。在目标
物体识别方面，传统的算法通常采用图像处理的方法进行边缘提取、surf、sift等方法对图像进行特征提取，然后与模板进行匹配。但是这种算法容易受到工作环境的影响，对光照、物体形状、大小等比较敏感，鲁棒性较差，泛化能力弱。
发明内容
[0003] 本发明为解决公知技术中存在的技术问题而提供一种鲁棒性较好，泛化能力强的基于YOLOv3的机器人自主分类抓取方法。
[0004] 本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于YOLOv3的机器人自主分类抓取方法，采集并构建目标物体的样本数据集；用该样本数据集对YOLOv3目标检测网络进行训练，得到目标物体识别模型；采集待抓取目标物体的彩色图像和
深度图像；采用训练完成的YOLOv3目标检测网络，对彩色图像进行处理获得待抓取目标物体的类别信息及位置信息，引入深度图像进一步处理获得待抓取目标物体的点云信息；对点云信息进行最小
包围盒求取，结合PCA算法计算点云的主方向，校准待抓取目标物体的X、Y、Z轴的坐标数据，计算待抓取目标物体相对于机器人
坐标系的六
自由度位姿。
[0005] 进一步地，采集并构建目标物体样本数据集的步骤为：
[0006] 步骤a，使用kinect相机对各种目标物体进行
图像采集，并对多种目标物体组合进行图像采集；
[0007] 步骤b，构建符合YOLOv3目标检测网络的样本数据集，并将样本数据集按照5：1：1的比例划分为训练集、验证集和测试集。
[0008] 进一步地，对YOLOv3目标检测网络进行训练的步骤为：构建包括Darknet-53网络的YOLOv3目标检测网络，首先将样本数据集输入Darknet-53神经网络，通过改变Darknet-53神经网络中的卷积核的步长来进行下
采样，同时将YOLOv3目标检测网络的
中间层和
输出层的上采样结果进行拼接，得到三个不同尺度的特征图。
[0009] 进一步地，对多种目标物体组合的图像信息进行处理时，通过图像标注工具，对图像中的物体进行类别标注和位置标注。
[0010] 进一步地，通过矩形框表示目标物体的位置信息；矩形框计算方法如下所示：
[0011]
[0012] 式中：
[0013] bx为YOLOV3预测出的物体边界框中心点X方向坐标；
[0014] by为YOLOV3预测出的物体边界框中心点Y方向坐标；
[0015] bw为YOLOV3预测出的物体边界框X方向宽度；
[0016] bh为YOLOV3预测出的物体边界框Y方向宽度；
[0017] cx为特征图上网格左上
角X方向坐标；
[0018] cy为特征图上网格左上角Y方向坐标；
[0019] tx为YOLOV3预测出的目标物体的X坐标偏移值；
[0020] ty为YOLOV3预测出的目标物体的Y坐标偏移值；
[0021] tw为YOLOV3预测出的目标物体的横向尺度缩放值；
[0022] th为YOLOV3预测出的目标物体的纵向尺度缩放值；
[0023] pw为预设的锚框在特征图上的横向尺度；
[0024] ph为预设的锚框在特征图上的纵向尺度；
[0025] σ为sigmoid函数。
[0026] 进一步地，通过遍历矩形框内目标物体的
像素掩码，结合深度图像，计算出目标物体的点云信息；其计算公式如下：
[0027]
[0028] 式中：
[0029] xw为相机坐标系下物体X方向坐标；
[0030] yw为相机坐标系下物体Y方向坐标；
[0031] zw为相机坐标系下物体Z方向坐标；
[0032] zc为相机坐标系下物体的深度信息；
[0033] u为像素坐标系下像素点
水平方向坐标；
[0034] v为像素坐标系下像素点竖直方向坐标；
[0035] u0为图像中心水平方向像素坐标；
[0036] v0为图像中心竖直方向像素坐标；
[0037] f为相机焦距；
[0038] 其中，u0、v0、f为相机参数，通过相机标定得到。
[0039] 进一步地，用视觉
传感器采集目标物体的RGB-D图像信息。
[0040] 进一步地，通过Kinect
深度相机采集目标物体的深度图像。
[0041] 进一步地，根据得到的目标物体X，Y，Z轴坐标，计算其相对于相机坐标系下的六自由度位姿，再结合手眼标定的结果得到目标物体在机器人基坐标下的六自由度位姿。
[0042] 本发明具有的优点和积极效果是：本文采用了计算机视觉中的YOLO V3目标检测算法，来对目标物体进行识别定位。该算法目前较为成熟，且速度相较于先前的目标检测算法
精度高，速度更快，非常适合对于实时性要求较高的机器人分类抓取上。通过对YOLO V3目标检测算法结果的分析，通过点云预处理和PCA等方法进行物体抓取位姿的估计，从而实现机器人的对目标物体的分类抓取，实现机械臂的自主抓取。本发明鲁棒性较好，泛化能力较强。
附图说明
[0043] 图1是本发明的工作流程示意图。
具体实施方式
[0044] 为能进一步了解本发明的发明内容、特点及功效，兹列举以下
实施例，并配合附图详细说明如下：
[0046] YOLOv3：由Joseph Redmon于2018年提出的单阶段目标检测算法；
[0047] PCA：主成分分析方法；
[0048] Darknet-53：深度
卷积神经网络，用于提取图像特征，为YOLOv3算法的核心模
块；
[0049] kinect：视觉传感器，可以获得物体的RGB信息和深度信息。
[0050] RGB：三通道彩色图像；
[0051] RGB-D：三通道彩色图像和深度图像的总称；
[0052] R-CNN：区域卷积神经网络，由Ross Girshick等人于2014提出的目标检测算法。
[0053] Fast R-CNN：快速区域卷积神经网络，由Ross Girshick等人于2015年针对R-CNN检测速度慢提出的目标检测算法。
[0054] SSD：一种用于多个类别的单阶段目标检测器，由Wei Liu等人于2016年提出的目标检测算法；
[0055] cell：网格；
[0056] ROS：
机器人操作系统，编写机器人
软件程序的一种具有高度灵活性的软件架构；
[0057] message：ROS机器人操作系统中的一种通讯机制；
[0058] anchor：锚框；
[0060] 请参见图1，一种基于YOLOv3的机器人自主分类抓取方法，采集并构建目标物体的样本数据集；用该样本数据集对YOLOv3目标检测网络进行训练，得到目标物体识别模型；采集待抓取目标物体的彩色图像和深度图像；采用训练完成的YOLOv3目标检测网络，对彩色图像进行处理获得待抓取目标物体的类别信息及位置信息，引入深度图像进一步处理获得待抓取目标物体的点云信息；对点云信息进行最小包围盒求取，结合PCA算法计算点云的主方向，校准待抓取目标物体的X、Y、Z轴的坐标数据，计算待抓取目标物体相对于机器人坐标系的六自由度位姿。构建基于YOLOv3目标检测网络的目标物体识别模型，用采集并构建目标物体的样本数据集对YOLOv3目标检测网络进行训练，获取目标物体的类别信息及位置信息等。
[0061] 优选地，采集并构建目标物体样本数据集的步骤可如下：
[0062] 步骤a，可使用kinect相机对各种目标物体进行图像采集，并可对多种目标物体组合进行图像采集；
[0063] 步骤b，可构建符合YOLOv3目标检测网络的样本数据集，并可将样本数据集按照5：1：1的比例划分为训练集、验证集和测试集。
[0064] 优选地，对YOLOv3目标检测网络进行训练的步骤可为：可构建包括Darknet-53网络的YOLOv3目标检测网络，可首先将样本数据集输入Darknet-53神经网络，可通过改变Darknet-53神经网络中的卷积核的步长来进行
下采样，同时可将YOLOv3目标检测网络的中间层和输出层的上采样结果进行拼接，可得到三个不同尺度的特征图。
[0065] 优选地，对多种目标物体组合的图像信息进行处理时，可通过图像标注工具，对图像中的物体进行类别标注和位置标注。
[0066] 优选地，可通过矩形框表示目标物体的位置信息；矩形框计算方法可为如下公式所示：
[0067]
[0068] 式中：
[0069] bx为YOLOV3预测出的物体边界框中心点X方向坐标；
[0070] by为YOLOV3预测出的物体边界框中心点Y方向坐标；
[0071] bw为YOLOV3预测出的物体边界框X方向宽度；
[0072] bh为YOLOV3预测出的物体边界框Y方向宽度；
[0073] cx为特征图上网格左上角X方向坐标；
[0074] cy为特征图上网格左上角Y方向坐标；
[0075] tx为YOLOV3预测出的目标物体的X坐标偏移值；
[0076] ty为YOLOV3预测出的目标物体的Y坐标偏移值；
[0077] tw为YOLOV3预测出的目标物体的横向尺度缩放值；
[0078] th为YOLOV3预测出的目标物体的纵向尺度缩放值；
[0079] pw为预设的锚框在特征图上的横向尺度；
[0080] ph为预设的锚框在特征图上的纵向尺度；
[0081] σ为sigmoid函数。
[0082] σ为sigmoid函数，可用于将tx、ty压缩在[0,1]区间，防止偏移过多。
[0083] 优选地，可通过遍历矩形框内目标物体的像素掩码，结合深度图像，计算出目标物体的点云信息；其计算方法可为如下公式所示：
[0084]
[0085] 式中：
[0086] xw为相机坐标系下物体X方向坐标；
[0087] yw为相机坐标系下物体Y方向坐标；
[0088] zw为相机坐标系下物体Z方向坐标；
[0089] zc为相机坐标系下物体的深度信息；
[0090] u为像素坐标系下像素点水平方向坐标；
[0091] v为像素坐标系下像素点竖直方向坐标；
[0092] u0为图像中心水平方向像素坐标；
[0093] v0为图像中心竖直方向像素坐标；
[0094] f为相机焦距；
[0095] 其中，u0、v0、f为相机参数，可通过相机标定得到。
[0096] 优选地，可用视觉传感器采集目标物体的RGB-D图像信息。
[0097] 优选地，可通过Kinect深度相机采集目标物体的深度图像。
[0098] 优选地，可根据得到的目标物体X，Y，Z轴坐标，可计算其相对于相机坐标系下的六自由度位姿，可再结合手眼标定的结果得到目标物体在机器人基坐标下的六自由度位姿。
[0099] 下面结合本发明的优选实施例进一步说明本发明的工作流程及工作原理：
[0100] YOLOv3目标检测网络是目前目标检测中综合性能最强的算法，算法成熟，精度高速度快，目前在机器人领域、无人驾驶领域都有很好的应用。简而言之，YOLOv3的先验检测(Prior detection)系统将分类器或定位器重新用于执行检测任务。将模型应用于特征图的多个位置和尺度提高了小物体的识别精度。并通过目标性评分的方法对评分较高的锚框进行进一步的边界框回归。此外，相对于其它目标检测方法，该网络使用了完全不同的方法。将神经网络应用于整张图像，该网络将图像划分为不同的区域，因而预测每一块区域的边界框和概率，这些边界框会通过预测的概率加权。相比于基于分类器的系统，它在测试时会查看整个图像，所以它的预测利用了图像中的全局信息。与需要数千张单一目标图像的R-CNN不同，它通过单一网络评估进行预测。这令YOLOv3非常快，一般它比R-CNN快1000倍、比Fast R-CNN快100倍。其精度也比SSD单阶段检测器高，并且速度是SSD的三倍左右。鉴于其优秀的性能，和出色的实时性。
[0101] 一、获取目标物体的位置信息、类别信息
[0102] 本发明中采用基于YOLOv3目标检测网络的模型来进行目标识别，识别的对象为各种类型水果(包括香蕉、苹果、杨桃、樱桃、葡萄、草莓等13种水果)其具体步骤可如下：
[0103] 1、使用kinect相机对各种水果进行拍摄，并对不同水果组合进行拍摄。
[0104] 2、制作符合YOLOv3网络的数据集，并将数据集按照5：1：1的比例划分为训练集、验证集和测试集。
[0105] 3、利用数据集中的训练集和验证集对YOLOv3目标检测网络进行模型训练，首先经过一个深度CNN网络Darknet-53，在该网络通过改变卷积核的步长来进行下采样，同时将网络的中间层和后面网络层的上采样结果进行拼接，从而得到三个不同尺度的特征图，实现了对不同程度对象的估计。在本方法中主要提升了对草莓、樱桃等物体的识别精度定位精度。
[0106] 4、三种特征图分别分成对应尺寸的小网格(cell)，对每一个网格都会预测三个box(边界框)。
[0107] 5、在进行预测前，运用逻辑回归对，每一个box进行目标性评分，即预测该块位置是目标的可能性有多大，排除部分不必要的锚框，选择最优锚框进行下一步的边界框回归，从而减少了计算量。
[0108] 6、每一个box包含五个基本参数(x,y,w,h,confidence)和类别信息。输出(tx,ty,tw,th,to)，通过下面公式就可以计算出物体的(x,y,w,h,confidence)
[0109]
[0110] 式1中：
[0111] bx为YOLOV3预测出的物体边界框中心点X方向坐标；
[0112] by为YOLOV3预测出的物体边界框中心点Y方向坐标；
[0113] bw为YOLOV3预测出的物体边界框X方向宽度；
[0114] bh为YOLOV3预测出的物体边界框Y方向宽度；
[0115] cx为特征图上网格左上角X方向坐标；
[0116] cy为特征图上网格左上角Y方向坐标；
[0117] tx为YOLOV3预测出的目标物体的X坐标偏移值；
[0118] ty为YOLOV3预测出的目标物体的Y坐标偏移值；
[0119] tw为YOLOV3预测出的目标物体的横向尺度缩放值；
[0120] th为YOLOV3预测出的目标物体的纵向尺度缩放值；
[0121] pw为预设的锚框在特征图上的横向尺度；
[0122] ph为预设的锚框在特征图上的纵向尺度；
[0123] σ为sigmoid函数。
[0124] 7、在ROS中建立message消息，发布图片经YOLO V3识别后的位置信息、类别信息和置信度。
[0125] 二、获取目标物体的点云图
[0126] 在图片经过YOLOV3算法的识别后，会输出图片中物体的位置信息和类别信息，结合图像的RGB图和深度图，截取RGB图和深度图中的
指定位置，既将目标物体在RGB图和深度图上截取出来，利用RGB图上的像素信息和深度图上深度信息，从而计算出目标物体所在区域的点云图。再在获取点云图之前需要对Kinect相机进行相机内参标定和深度图与RGB图配准。具体步骤可如下：
[0127] 1、在ROS系统中运用Kinect工具包对Kinect相机进行内参标定、RGB图与深度图配准。
[0128] 2、在ROS中，订阅kinect相机的RGB图和深度图话题，并接收发布的message消息。
[0129] 3、根据接收到的ROS message消息，对相应的RGB图和深度图进行目标物体的提取。得到目标物体对应的RGB图和深度图。
[0130] 4、遍历RGB图和深度图中的每一个点，结合公式(2)计算出图像中每一个点的位置信息。其中u0、v0、f为相机内参，u、v为像素坐标。将得到的每一个像素点的空间坐标加入到点云中，从而构建出目标物体的点云信息。
[0131]
[0132] 式2中：
[0133] xw为相机坐标系下物体X方向坐标；
[0134] yw为相机坐标系下物体Y方向坐标；
[0135] zw为相机坐标系下物体Z方向坐标；
[0136] zc为相机坐标系下物体的深度信息；
[0137] u为像素坐标系下像素点水平方向坐标；
[0138] v为像素坐标系下像素点竖直方向坐标；
[0139] u0为图像中心水平方向像素坐标；
[0140] v0为图像中心竖直方向像素坐标；
[0141] f为相机焦距；
[0142] 其中，u0、v0、f为相机参数，可通过相机标定得到。
[0143] 三、基于PCA的目标物体六自由度估计。
[0144] PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据
降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的
正交特征也被称为主成分，是在原有n维特征的
基础上重新构造出来的k维特征。PCA算法利用协方差矩阵来计算出样本集在不同方向的分散程度。PCA的工作就是从原始的空间中按顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标。利用PCA主成分分析法可以对点云进行主方向提取，得到点云物体的主要方向。然后将得到的点云主方向转化为机械臂抓取所需要的四元数信息。具体步骤可如下：
[0145] 1、对获得的点云图进行降噪，过滤掉点云中的离群点、噪声点。
[0146] 2、对点云进行条件滤波，移除物体所处平面点云，保留物体本身点云信息。
[0147] 3、点云稀疏，通过
体素化网格的方法，在每一个体素中保留一个点来表示其他点，实现点云数据的下采样，调整网格的大小来改变下采样的比例。通过点云稀疏的方法在保留物体特征的前提下减少点云的数据量，降低计算量提高计算效率。
[0148] 4、对以上两步中的点云进行PCA计算，获得物体点云的主方向坐标系。
[0149] 5、计算点云数据的最小包围盒，计算目标点云在相机坐标系下的六自由度位姿。
[0150] 6、将相机坐标系下的点云位姿转换到机器人坐标系下，得到目标物体在机器人坐标系下的六自由度位姿。
[0151] 以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的
专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。
