技术领域
[0001] 本
发明涉及视觉分拣运输技术领域，特别是涉及一种多机器人协作分拣运输方法及系统。
背景技术
[0002] 随着工业发展，物料分拣搬运的自动化需求不断增加。基于视觉的分拣系统主要通过将摄像头采集的图像进行处理，通过轮廓、
颜色等特征提取，识别和
定位目标，根据这些结果控制机器人完成对物料的分拣与搬运。这种将视觉与机器人相结合的方法，具有速度快、灵活性强、高可靠等特点。
[0003] 然而，对于工作环境较复杂情况下的识别、定位
精度有待提高，同时对于种类多、分布密集的物料分拣时，单个机器人的分拣效率低，且搬运能
力有限。
[0004] 故此，如何研发一套识别定位准确、分拣效率高且搬运能力强的多机器人协作分拣运输方法及系统，成了本领域技术人员亟需解决的问题。
发明内容
[0005] 有鉴于此，本发明提出一种多机器人协作分拣运输方法及系统，能在较复杂的工作环境下提高识别、定位精度并且能够高效、稳定完成对于种类多、分布密集物料的分拣运输。
[0006] 一方面，本发明提供了一种多机器人协作分拣运输方法，包括以下步骤：
[0008] 所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理
服务器；
[0009] S2，构建任务控制执行单元
[0010] 所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器；
[0011] S3，通过图像采集单元采集工作场地图像；
[0012] S4，进行相机标定及相机与物料台
位置标定，得到各相机的内参数、
像素平面与相机
坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；
[0013] S5，通过图像采集单元采集下一
帧工作场地图像；
[0014] S6，利用图像采集单元采集的所有帧工作场地图像，分别对工作场地内的各机器人、物料识别与定位，具体步骤如下：
[0015] S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；
[0016] S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的
姿态信息；
[0017] S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位
算法，实时识别并定位世界坐标系中的机器人位置；
[0018] S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；
[0019] S7，输出机器人
位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；
[0020] S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；
[0021] S9，中央处理服务器根据得到的机器人、物料位置信息作为参考
信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。
[0022] 进一步地，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：
[0023] S41，同一相机对不同位置、
角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标；
[0024] S42，通过张正友相机标定法，得到各个相机参数标定；
[0025] S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；
[0026] S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；
[0027] S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数；
[0028] S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤 S47；
[0029] S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵。
[0030] 进一步地，步骤S61中ARtag码进行检测与识别的具体过程如下：
[0031] S611，将采集到的所有帧工作场地图像进行
阈值化，得到二值图像，接着进行轮廓检测；
[0032] S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；
[0033] S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；
[0034] S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；
[0035] S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；
[0036] S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态。
[0037] 进一步地，步骤S63中多相机融合定位算法根据多个相机的内外参数和 ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该ARtag 码世界坐标中心点的世界坐标，具体表现为：
[0038] S631，推导相机、世界坐标系映射公式，相机标定的映射公式如下：
[0039]
[0040] 式中，P为ARtag码世界坐标中心点，n为摄像头的相机数量，Zc1、Zc2、…Zcn分别为P对于相机1、2、...n在投影点的深度信息，M1、R1、T1，M2、R2、 T2，...Mn、Rn、Tn分别为相机1、2、...n的相机参数；
[0041] S632，移项、代换得到向量H，H表示为：
[0042]
[0043] 式中，I为3*3的单位矩阵，K1、K2、Kn均为中间变量，其中，
[0044]
[0045] 式中，R1-1、R2-1、Rn-1分别为相机外参旋转矩阵R1、R2、Rn的逆矩阵，M1-1、 M2-1和Mn-1分别为相机内参矩阵M1、M2和Mn的逆矩阵；
[0046] S633，对向量H进行SVD分解，H表示为：
[0047] H＝UΣV* (11)
[0048] 式中，U、V表示酉矩阵，Σ为半正定对角矩阵；
[0049] S634，通过如下公式计算得到ARtag码世界坐标中心点的世界坐标
[0050]
[0051] 式中，H+为H的伪逆矩阵，Q为中间变量，其表达式如下：
[0052]
[0053] 其中，B1、B2和Bn均为中间变量：
[0054]
[0055] 式中，0为三维零向量。
[0056] 进一步地，所述步骤S63中通过
运动补偿算法去除网络监控摄像头的延时影响，具体表现为：
[0057] (a)在完成ARtag码识别与多相机融合定位得到机器人在ts秒之前的位置 ARtag码世界坐标中心点P的前提下，通过机器人上的
陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与
角速度ω(t)，其中，t∈[0,ts]；
[0058] (b)机器人当前实际位置为：
[0059] P'＝P+Δx (14)
[0060] 其中，Δx为ts秒时间段内机器人的位移，即：
[0061]
[0062] 其中，rv(t)表示机器人在ts秒内某时刻的线速度矢量，复数形式为：
[0063] rv(t)＝v(t)ejθ(t) (16)
[0064] 式中，θ(t)为机器人在ts秒内某时刻的角度，且其表达式如下：
[0065]
[0066] (c)上述为理想情况下时间连续的形式，实际上通过如下时间公式对 v(t)，ω(t)进行抽样：
[0067]
[0068] 式中，N为正整数，则：
[0069]
[0070] (d)完成运动补偿，得到当前时刻机器人的真实位置。
[0071] 进一步地，所述步骤S64中识别和定位物料台上的物料，具体步骤如下：
[0072] S641，使用最靠近物料台的摄像头采集图像，并对采集到的图像进行高斯滤波预处理；
[0073] S642，根据物料台位置标定结果和物料台实际大小，对图像去背景化，并截取待检测的物料台区域图像；
[0074] S643，将待检测图像输入已经训练好的基于TensorfLow的
卷积神经网络模型，进行物料的检测与识别；
[0075] S644，判断是否识别到物料，若是则进入步骤S645，反之，则返回步骤 S641；
[0076] S645，在图像中框出并计算得到物料的中心点像素坐标，输出物料类别和中心点像素坐标；
[0077] S646，通过使用标定后已知的相机像素坐标系与物料台平面上的世界坐标系的转换关系，点对点定位得到物料中心点在世界坐标系下的坐标；
[0078] S647，最终完成物料的识别、分类与定位。
[0079] 进一步地，步骤S643中基于TensorfLow的卷积神经网络模型为RetinaNet 模型，构建方法如下：
[0080] S6431，使用相机从不同角度、距离采集所有待检测的物料图像1000张，以物料台区域为主要部分对这1000张图片截取得到大小为500*500的待检测图像；
[0081] S6432，将每张图像中的物料目标进行标定，绘制方框与类标签，制作得到标定好的1000张原始数据集；
[0082] S6433，通过
水平镜像、垂直镜像、水平垂直镜像和伽
马变换等数据集增强方式，得到大小为12000张图像的数据集；
[0083] S6434，将步骤S6433得到的数据集输入到RetinaNet网络中进行训练。
[0084] 进一步地，步骤S6434中数据集输入到RetinaNet网络中进行训练的具体过程如下：
[0085] (a)数据集图像输入主网络进行卷积特征提取；
[0086] (b)输入并行的分类、方框回归全卷积子网络，通过概率预测得到目标标签和标签框；
[0087] (c)对预测值与实际值使用焦点损失函数进行损失计算，计算角点损失，所述焦点损失函数为：
[0088] FL(pt)＝-αt(1-pt)γlog(pt) (20)
[0089] 其中，pt是不同类别的分类概率，γ是个大于0的值，at是个[0，1]间的小数。
[0090] (d)利用反向传播算法调整各层间连接权值；
[0091] (e)根据更新的模型参数和网络结构推算逐层输出，并判断训练周期是否结束，若是，则得到强泛化性的RetinaNet网络进行物料的检测与识别，反之，则返回步骤(a)。
[0092] 进一步地，步骤S8中所述机器人的路径规划根据工作场地内已知的障碍物位置，采用静态的A*算法对机器人的运动路径进行规划，具体步骤如下：
[0093] S80，根据物料台的大小和位置，通过中央处理服务器为已经完成任务分配的各机器人的运动设定固定的目标点：上料点、运输目的地终点等；
[0094] S81，在工作场地建立场地网格图：将机器人移动的工作场划分为多个方格；
[0095] S82，根据机器人所在初始位置初始化起点，并将起点放入开启列表，置空关闭列表，计算起点的启发函数F：
[0096] F＝G+H (21)
[0097] 其中，F为从初始点经由
指定点到达目标点的代价估计，G为目前的实际代价函数即从初始点到指定点所要行走的距离，H为指定点和目标点的欧几里得距离：
[0098]
[0099] 式中，(x’，y’)为指定点的坐标，(x，y)为目标点的坐标；
[0100] S83，判断开启列表是否为空，若是，则寻路失败，反之，则进入步骤S84；
[0101] S84，遍历开启列表取出拥有最小F的点作为预处理点，将该预处理点放入关闭列表，并对预处理点周围八个点进行扩展；
[0102] S85，判断扩展点是否为目标点，若是，则寻路成功，从目标点到起始点推导路径，并输出路径；若否，则进入步骤S86；
[0103] S86，判断扩展点是否为障碍物或者在关闭列表中，若是，则忽略该扩展点，返回步骤S83；若否，则进入步骤S87；
[0104] S87，判断扩展点是否在开启列表中，若是则进入步骤S88，若否则将扩展点放入开启列表中，记录F值后返回步骤S83；
[0105] S88，判断经由预处理点扩展点是否小于经由扩展点父
节点到扩展点的G 值，若是，则更新扩展点的
父节点，更新F值和G值后，返回步骤S83；若否，则直接返回步骤S83；
[0106] S89，重复步骤S83至S88，最终得到一条通往目标点的最优路径，完成各机器人的路径规划。
[0107] 上述多机器人协作分拣运输方法通过ARtag码识别、多相机融合定位和运动补偿相结合的方法完成对多
移动机器人的实时识别与定位；同时采用卷积神经网络模型对目标物料进行识别分类，并通过相机定位获得目标的位置信息；接着根据实际需求和物料目标的类别以及位置信息完成分拣机器人、运输机器人的任务分配，最后通过TCP协议驱动、闭环PID算法和路径规划算法实时无线控制机器人协作完成分拣运输工作，极大提高了分拣运输效率，并在相对复杂的环境下也有良好的
稳定性，具有识别定位准确、分拣效率高且搬运能力强的优点。
[0108] 另一方面，本发明还提供了一种多机器人协作分拣运输系统，包括图像采集单元和任务控制执行单元；
[0109] 所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，对工作场地进行监控，多个所述监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；
[0110] 所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人和分拣机器人均在监控区域内移动，并受控于中央处理服务器，所述中央处理服务器采用其上任一项所述的多机器人协作分拣运输方法，控制运输机器人、分拣机器人协作完成分拣运输工作。
[0111] 该多机器人协作分拣运输系统由中央处理服务器、网络监控摄像头、分拣机器人、运输机器人、物料以及物料台等组成，整个系统结构简单、操作方便，且通过中央处理服务器能够实现视觉识别定位系统与多
机器人控制系统的高效连接，极大提高了分拣运输效率。
附图说明
[0112] 构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性
实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0113] 图1为本发明一种多机器人协作分拣方法一实施例的流程示意图；
[0114] 图2为本发明相机标定、物料台位置标定一实施例的流程示意图；
[0115] 图3为本发明多机器人识别和定位一实施例的流程示意图；
[0116] 图4为本发明物料检测模型构建及识别定位一实施例的流程示意图；
[0117] 图5为本发明多机器人路径规划一实施例的流程示意图。
具体实施方式
[0118] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0119] 需要说明的是，为进一步更好地理解本发明，特对如下定义进行阐释：
[0120] PnP(Perspective-n-Point)求解算法，即通过已知的几个3D点以及它们在相机中的投影2D点，推算相机姿态的算法。
[0121] ARtag码(AR标签，AR是“
增强现实”的意思)是一种基准标记系统。
[0122] Tensorflow，是一个基于数据流编程(dataflow programming)的符号数学系统，是一个开源
软件库，用于各种
感知和语言理解任务的
机器学习。
[0123] RetinaNet模型，是由一个骨干网络和两个有特定任务的子网络组成的单一网络模型，骨干网络负责在整个图像上计算卷积特征，第一个子网络在骨干网络的输出上执行图像分类任务，第二个子网络负责卷积边框回归。
[0124] ResNet(Deep residual network)网络结构，即深度残差卷积神经网络结构，其主要思想是在网络中增加了直连通道，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。
[0125] FPN(Feature Pyramid Network)，即特征金字塔网络，是利用多尺度特征和Top-Down结构做目标检测的网络结构。
[0126] PID(Proportion Integration Differentiation)闭环控制算法，即比例积分导数闭环控制算法，常用于自动
控制器。
[0127] TCP(Transmission Control Protocol)协议，传输控制协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议。
[0128] A*算法(A-Star算法)，是一种静态路网中求解最
短路径最有效的直接搜索方法，也是解决许多搜索问题的有效算法。
[0129] 如图1所示的实施例，本发明公开了一种多机器人协作分拣运输方法，包括以下步骤：
[0130] S1，构建图像采集单元
[0131] 具体地，图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器。
[0132] S2，构建任务控制执行单元
[0133] 具体地，任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器。
[0134] S3，通过图像采集单元采集工作场地图像；
[0135] S4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；
[0136] S5，通过图像采集单元采集下一帧工作场地图像；
[0137] S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；
[0138] S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；
[0139] S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；
[0140] S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；
[0141] S7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；
[0142] S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；
[0143] S9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。优选地，中央处理服务器与各机器人之间通过TCP协议驱动。
[0144] 在进一步的技术方案中，如图2所示，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：
[0145] S41，同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标，需要说明的是，本步骤中优选拍摄 10张图片即可；
[0146] S42，通过张正友相机标定法，得到各个相机参数标定；
[0147] S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；
[0148] S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；
[0149] S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数，此处，ARtag码一般优选20cm*20cm大小，但不仅限于此；
[0150] S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤 S47；
[0151] S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵，最终完成物料台位置标定。
[0152] 图3为本发明多机器人识别和定位的流程示意图。如图3所示，前述多机器人识别的流程示意图具体如下：
[0153] S611，将采集到的所有帧工作场地图像进行阈值化，得到二值图像，接着进行轮廓检测；
[0154] S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；
[0155] S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；
[0156] S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；
[0157] S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；
[0158] S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态。
[0159] 本发明中多机器人的定位采用多相机融合定位算法，根据多个相机的内外参数和ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该 ARtag码世界坐标中心点的世界坐标，如图3所示，具体表现为：
[0160] S631，推导相机、世界坐标系映射公式；
[0161] S632，移项、代换得到向量H；
[0162] S633，对向量H进行SVD分解；
[0163] S634，计算得到ARtag码世界坐标中心点的世界坐标。
[0164] 下面以n(n＝2，3，4...)个相机为例，对上述计算过程举例说明：
[0165] (1)设定P为ARtag码世界坐标中心点，n为摄像头的相机数量，Zc1、Zc2、…Zcn分别为P对于相机1、2、...n在投影点的深度信息，M1、R1、T1，M2、R2、 T2，...Mn、Rn、Tn分别为相机1、2、...n的相机参数；
[0166] (2)根据相机标定的映射公式：
[0167]
[0168] 式中，M1、M2和Mn分别为相机1、2和.n的内参矩阵，R1、R2、Rn分别为相机1、2和n的外参旋转矩阵，T1、T2和Tn分别为相机1、2和n的平移向量；
[0169] 移项得：
[0170] 其中，令：
[0171] 式中，R1-1、R2-1、Rn-1分别为相机外参旋转矩阵R1、R2、Rn的逆矩阵，M1-1、 M2-1和Mn-1分别为相机内参矩阵M1、M2和Mn的逆矩阵；
[0172]
[0173] 式中，B1、B2和Bn分别为中间变量；
[0174] 则经过移项后的映射公式可写成：
[0175]
[0176] 即：
[0177]
[0178] 其中，0为一个三维零向量，上式可写成：
[0179]
[0180] 其中，I为3*3的单位矩阵，令：
[0181]
[0182] 式中，K1、K2、Kn分别表示中间变量；
[0183]
[0184] 式中，Q为中间变量；
[0185] 则上式即：
[0186]
[0187] (3)通过对H进行SVD分解，H＝UΣV* (11)
[0188] 其中，U、V为酉矩阵，Σ为半正定对角矩阵，由伪逆矩阵公式得：
[0189] H+＝VΣ+U* (12)
[0190] 最后，由步骤(2)的公式得到：
[0191]
[0192] 通过上述公式(13)即可求得世界点P在世界坐标系下的坐标，最终完成定位。
[0193] 同时，本发明中步骤S63中具体通过如下运动补偿算法去除网络监控摄像头的延时影响：
[0194] (a)在完成ARtag码识别与多相机融合定位得到机器人在ts秒之前的位置 ARtag码世界坐标中心点P的前提下，通过机器人上的陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与角速度ω(t)，其中，t∈[0,ts]；
[0195] (b)机器人当前实际位置为：
[0196] P'＝P+Δx (14)
[0197] 其中，Δx为ts秒时间段内机器人的位移，即：
[0198]
[0199] 其中，rv(t)表示机器人在ts秒内某时刻的线速度矢量，复数形式为：
[0200] rv(t)＝v(t)ejθ(t) (16)
[0201] 式中，θ(t)为机器人在ts秒内某时刻的角度，且其表达式如下：
[0202]
[0203] (c)上述为理想情况下时间连续的形式，实际上通过如下时间公式对 v(t)，ω(t)进行抽样：
[0204]
[0205] 式中，N为正整数，则：
[0206]
[0207] (d)完成运动补偿，得到当前时刻机器人的真实位置。
[0208] 需要说明的是，机器人的姿态也优选采用运动补偿算法，最终实现机器人的实时定位
跟踪。
[0209] 图4为本发明物料检测模型构建及识别定位一实施例的流程示意图。具体地，如图4所示，物料台上的物料通过如下步骤实现识别与定位：
[0210] S641，使用最靠近物料台的摄像头采集图像，并对采集到的图像进行高斯滤波预处理；
[0211] S642，根据物料台位置标定结果和物料台实际大小，对图像去背景化，并截取待检测的物料台区域图像；优选地，待检测的物料台区域图像截取大小为 500*500；
[0212] S643，将待检测图像输入已经训练好的基于TensorfLow的卷积神经网络模型，进行物料的检测与识别；
[0213] 需要说明的是，本步骤中基于TensorfLow的卷积神经网络模型优选为 RetinaNet模型，构建方法如下：
[0214] S6431，使用相机从不同角度、距离采集所有待检测的物料图像1000张，以物料台区域为主要部分对这1000张图片截取得到大小为500*500的待检测图像；
[0215] S6432，将每张图像中的物料目标进行标定，绘制方框与类标签，制作得到标定好的1000张原始数据集；
[0216] S6433，通过水平镜像、垂直镜像、水平垂直镜像和伽马变换等数据集增强方式，得到大小为12000张图像的数据集；
[0217] S6434，将步骤S6433得到的数据集输入到RetinaNet网络中进行训练。
[0218] S644，判断是否识别到物料，若是则进入步骤S645，反之，则返回步骤 S641；
[0219] S645，在图像中框出并计算得到物料的中心点像素坐标，输出物料类别和中心点像素坐标；
[0220] S646，通过使用标定后已知的相机像素坐标系与物料台平面上的世界坐标系的转换关系，点对点定位得到物料中心点在世界坐标系下的坐标；
[0221] S647，最终完成物料的识别、分类与定位。
[0222] 同时，如图4所示，步骤S6434中数据集输入到RetinaNet网络中进行训练的具体过程如下：
[0223] (A)数据集图像输入主网络进行卷积特征提取；
[0224] 需要说明的是，主网络优选为50层
自下而上的前向ResNet网络结构和50 层
自上而下的FPN；
[0225] (B)每层FPN的
特征向量均同时输入并行的分类、方框回归全卷积子网络，通过概率预测得到目标标签和标签框；
[0226] (C)对预测值与实际值使用焦点损失函数进行损失计算，计算角点损失，所述焦点损失函数为：
[0227] FL(pt)＝-αt(1-pt)γlog(pt) (20)
[0228] 其中，pt是不同类别的分类概率，γ是个大于0的值，at是个[0，1]间的小数。
[0229] (D)利用反向传播算法调整各层间连接权值；
[0230] (E)根据更新的模型参数和网络结构推算逐层输出，并判断训练周期是否结束，若是，则得到强泛化性的RetinaNet网络进行物料的检测与识别，反之，则返回步骤(A)。
[0231] 此外，图5为本发明多机器人路径规划一实施例的流程示意图。参见图5，根据工作场地内已知的障碍物位置，采用静态的A*算法对机器人的运动路径进行规划，具体步骤如下：
[0232] S80，根据物料台的大小和位置，通过中央处理服务器为已经完成任务分配的各机器人的运动设定固定的目标点：上料点、运输目的地终点等；
[0233] S81，在工作场地建立场地网格图：将机器人移动的工作场划分为多个方格；
[0234] S82，根据机器人所在初始位置初始化起点，并将起点放入开启列表，置空关闭列表，计算起点的启发函数F：
[0235] F＝G+H (21)
[0236] 其中，F为从初始点经由指定点到达目标点的代价估计，G为目前的实际代价函数即从初始点到指定点所要行走的距离，H为指定点和目标点的欧几里得距离：
[0237]
[0238] 式中，(x’，y’)为指定点的坐标，(x，y)为目标点的坐标；
[0239] S83，判断开启列表是否为空，若是，则寻路失败，反之，则进入步骤S84；
[0240] S84，遍历开启列表取出拥有最小F的点作为预处理点，将该预处理点放入关闭列表，并对预处理点周围八个点进行扩展；
[0241] S85，判断扩展点是否为目标点，若是，则寻路成功，从目标点到起始点推导路径，并输出路径；若否，则进入步骤S86；
[0242] S86，判断扩展点是否为障碍物或者在关闭列表中，若是，则忽略该扩展点，返回步骤S83；若否，则进入步骤S87；
[0243] S87，判断扩展点是否在开启列表中，若是则进入步骤S88，若否则将扩展点放入开启列表中，记录F值后返回步骤S83；
[0244] S88，判断经由预处理点扩展点是否小于经由扩展点父节点到扩展点的G 值，若是，则更新扩展点的父节点，更新F值和G值后，返回步骤S83；若否，则直接返回步骤S83；
[0245] S89，重复步骤S83至S88，最终得到一条通往目标点的最优路径，完成各机器人的路径规划。
[0246] 另一方面，本发明还公开了一种多机器人协作分拣运输系统，包括图像采集单元和任务控制执行单元：图像采集单元包括放置在工作场地四周的多个网络监控摄像头，多个网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器，优选地，摄像头的数量为4个，分布于工作场地的四周，用于对工作场地进行360°监控，并通过网线连接至交换器，经由路由器受控于中央处理服务器，工作场地的监控监控范围近似正方形；任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，运输机器人用于搬运物料，由车头和车厢部分组成，车头顶部粘贴ARtag码，分拣机器人用于分拣物料，
车身顶部粘贴ARtag码，上述机器人均在监控区域内移动，通过无线局域网受控于中央处理服务器。优选地，运输机器人为3个，分拣机器人数量为1个，但不仅限于此。
[0247] 需要说明的是，前述分拣机器人优选拥有手臂执行单元，该执行单元采用 uArm四
自由度机械臂，且机械臂末端设置有
吸盘，通过吸盘拾取目标。
[0248] 综上所述，本发明具有如下优点：
[0249] 1)通过采用应用广泛的普通网络监控摄像头作为视觉传感单元，成本低、扩展性强，提高了未来的可塑性；
[0250] 2)采用ARtag码识别、多相机融合定位和运动补偿相结合的方法，提高了较复杂环境下对多移动机器人的实时识别、定位速度和精度；
[0251] 3)采用数据集庞大的单级RetinaNet卷积神经网络模型，提高了对种类多、分布密集的物料的识别速度和精度；
[0252] 4)采用多机器人路径规划算法，提高机器人的自主避障能力；
[0253] 5)采用视觉系统与多机器人相结合，通过无线局域网实现机器人的视觉共享、思维共享、位置共享，使得多机器人的协同工作更简单，提高系统的分拣运输能力。
[0254] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
