技术领域
[0001] 本公开属于
工业机器人领域，尤其是机器人引导定位技术，具体涉及一种复合
机器人视觉引导定位装置及方法。
背景技术
[0002] 复合机器人是AGV(自动移动小车)与
机械臂组成的移动机械手，属于一种新型机器人，可快速布局于3C行业、自动化工厂、仓储分拣、自动化货物超市，实现物料自动搬运、物品上下料、物料分拣等。
[0003] 目前，复合机器人的视觉引导定位跟固定底座机器人一样，也主要采用眼在手上的方式，即机械臂末端带动着相机运动，但复合机器人比底座固定机器人工作环境条件更加复杂，导致这种机器人的视觉引导物体抓放难度也增加。
[0004] 底座固定机器人面对的工作区域固定，通常都是通过事先的标定，建立各采集点的手眼
位置对应关系，解算出标定参数，后续只需根据物体在视场内的
像素坐标和标定参数，计算出机械臂的位移量，按照该位移量控制机械臂移动，即可准确对准
工件摆放位置，进而实现准确抓放。可见，在机械臂抓放工件前，只需在二维平面内计算和调整即可实现与工件位置的对准。
[0005] 而底座移动的复合机器人，需要先将AGV小车自动导航运动到停车点，再用机械臂对
工作台上的目标位置进行物体抓放，在这一过程中，由于AGV小车的停车点位置会存在误差，以及AGV小车停车点地面的不平，都会导致小车到达停车点后机械臂末端相对工作台的位置和
姿态与标定时不同，由于机械臂是一种高
精度设备，这时如果仍然简单地按照底座固定机器人的处理方法，即仅仅根据标定参数和目标位置在相机视场内的像素坐标计算机械臂的偏移量，会导致机械臂末端位置距离实际目标位置出现偏差，机械臂动作精度大大降低。
发明内容
[0006] 本发明的目的在于提供一种复合机器人视觉引导定位装置及方法，以解决上述复合机器人在实际工作环境中视觉引导精度下降的问题。
[0007] 本发明一方面提供了一种复合机器人视觉引导定位装置，包括：
[0008] 测量模
块，固定于机械臂末端，用于测量机械臂末端相对于工作
台面的距离、机械臂末端的倾
角、以及获取工作台上作为引导基准的标识区的图像；
[0009] 视觉引导处理模块，用于根据所述测量模块采集到的信息，通过机器人运动
控制器，控制机械臂运动，使机器人在标定时和作业应用时机械臂末端相对于工作台的距离、位置和角度值达到同样的状态；控制标定数据的自动化采集和标定参数解算；控制机械臂末端从标定位置沿TCP偏移至工件摆放位置，完成工件抓放。
[0010] 进一步地，所述测量模块包括测距
传感器、倾角传感器和工业相机。
[0011] 进一步地，所述视觉引导处理模块包括：
[0012] 测量模块通信单元：与所述测量模块通信，实时获取和记录所述测量模块采集的距离和倾角信息；
[0013] 机器人通信单元：向机器人运动控制器发指令，指挥其控制机器人运动，同时实时获取机器人的坐标信息；
[0014]
图像识别定位单元：控制所述测量模块采集图像，对接收到的图像进行识别定位，获取并记录其中基准点的像素坐标和图像的Rz角度值；
[0015] 标定参数计算单元：根据在各采集点处获取的基准点像素坐标和机械臂的偏移量，计算标定参数保存；
[0016]
人机交互单元：为用户提供指令、数据、图像等信息的输入输出
接口。
[0017] 进一步地，还包括固定于工作台上所述标识区的二维码标签或字符标签。
[0018] 本发明同时提供了一种适用于上述装置的复合机器人视觉引导定位方法，包括视觉引导标定的步骤和视觉引导作业应用的步骤，其中所述视觉引导标定的步骤具体包括：
[0019] 相对
位姿采集：当小车到达适当停车点后，调整机械臂末端至适当的标定原点，获取并记录此时机械臂位姿，机械臂末端的倾角，以及相对于工作台面的距离、位置和Rz角度值；
[0020] 标定参数解算：标定
数据采集，根据采集到的数据计算标定参数；
[0021] 测量机械臂由所述标定原点至工件摆放位置的TCP偏移量；
[0022] 所述视觉引导作业应用的步骤具体包括：
[0023] 相对位姿复现：当小车停于标定时的位置和角度后，控制机械臂运动至标定时记录的姿态，然后控制机械臂末端调整至标定时所记录的相对位姿；
[0024] 按照由所述标定原点至工件摆放位置的TCP偏移量，控制机械臂运动，完成抓放作业任务。
[0025] 进一步地，所述相对位姿采集的步骤具体包括：
[0026] 调整机械臂末端姿态，使其工作平面与工作台面平行，采集并记录机械臂末端倾角Rx和Ry的数值；
[0027] 调整机械臂末端与工作台的距离，使所述测量模块的成像
视野清晰，记录当前点为标定原点；
[0028] 采集并记录此时机械臂末端到工作台面的距离；
[0029] 采集工作台上所述标识区的图像，对图像进行识别定位，提取并记录其中基准点的像素坐标和标识区的Rz角度值；
[0030] 采集并记录此时机械臂的位姿。
[0031] 进一步地，所述对图像进行识别定位的方法为：使用形状匹配方式进行识别定位，如果所述标识区设有二维码标签，则使用二维码识别定位方式进行识别定位。
[0032] 进一步地，所述标定数据采集的方法包括：
[0033] 设置各采集点相对于所述标定原点的TCP偏移量；
[0034] 控制机械臂沿TCP
坐标系分别按预设偏移量运动到各采集点；
[0035] 在各采集点处采集工作台上所述标识区的图像，对图像进行识别定位，提取并记录其中基准点的像素坐标。
[0036] 进一步地，所述标定参数计算的方法为：
[0037] 假设机械臂末端在标定原点处，得到所述标识区中基准点的像素坐标为(u0,v0)；机械臂末端沿着TCP坐标系移动Δx，此时基准点像素坐标为(u1,v1)；机械臂末端返回到标定原点后再沿着TCP坐标系移动Δy，此时基准点像素坐标为(u2,v2)；
[0038] 那么在作业应用时，如果得到基准点的像素坐标为(u,v)，则这时机械臂相对于标定原点的TCP偏移量(Δx',Δy')应为：
[0039]
[0040] 其中，
[0041] Δu1＝u1-u0，Δv1＝v1-v0，Δu2＝u2-u0，Δv2＝v2-v0，Δu＝u-u0，Δv＝v-v0。
[0042] 进一步地，所述相对位姿复现的步骤具体包括：
[0043] 控制机械臂运动至标定时记录的姿态；
[0044] 测量机械臂末端倾角Rx和Ry值，调整机械臂末端姿态，使该倾角与标定时记录的倾角数值相同；
[0045] 测量机械臂末端到工作台面之间的距离值，调整机械臂姿态，使该距离等于标定时记录的距离数值；
[0046] 获取工作台上所述标识区的图像，提取标识区的Rz角度值，与标定时记录的图像Rz值对比，调整机械臂末端姿态Rz，使两者一致；
[0047] 再次获取所述标识区的图像，得到其中基准点的像素坐标，根据记录的标定参数，计算机械臂的TCP偏移量，按该偏移量控制机械臂运动，即可到达标定时记录的相对于工作台面的位姿。
[0048] 可见，本发明提供的复合机器人视觉引导定位装置和方法，通过在标定时详细记录复合机器人的相对位置和姿态信息，包括与工作台的距离、位置和角度等，进而在作业应用时复现这一相对位姿，
覆盖复合机器人由于小车导航定位误差、地面不平等因素引起的视觉和动作偏差，从而提高机器人在实际环境下的作业精度。与
现有技术相比，其有益效果主要包括：(1)保证了复合机器人在各种不利工作环境下的抓放物体准确度；(2)能够与机器人运动控制器通信，直接控制机器人运动，而不需要使用机械臂
示教器，方便快捷，数据精准，无人为输入错误；(3)自动识别并获取视觉引导基准的像素坐标和图像角度，减少标定过程的操作复杂度，提高了标定效率。
[0049] 应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本
申请所欲主张的范围。
附图说明
[0050] 下面的附图是本发明
说明书的一部分，其示出了本发明的
实施例，所附附图与说明书的描述一起用来说明本发明的原理。
[0051] 图1为复合机器人视觉引导定位装置示例性实施例组成示意图；
[0052] 图2为复合机器人视觉引导定位方法示例性实施例总体
流程图；
[0053] 图3为复合机器人视觉引导定位方法示例性实施例的标定步骤流程图；
[0054] 图4为复合机器人视觉引导定位方法示例性实施例的作业应用步骤流程图。
具体实施方式
[0055] 下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0056] 附图1中给出了本公开所述复合机器人视觉引导定位装置示例性实施例的组成示意图。
[0057] 本公开提供的复合机器人视觉引导定位装置包括：
[0058] 测量模块，用于测量机械臂末端相对于工作台面的距离、机械臂末端的倾角、以及获取工作台上作为引导基准的标识区的图像；
[0059] 视觉引导处理模块，用于根据所述测量模块采集到的信息，通过机器人运动控制器，控制机械臂运动，使机器人在标定时和作业应用时机械臂末端相对于工作台的距离、位置和角度值达到同样的状态；控制标定数据的自动化采集和标定参数解算；控制机械臂末端从标定位置沿TCP偏移至工件摆放位置，完成工件抓放。
[0060] 其中，工作台面上作为引导基准的标识区应具有与周围环境明显不同、易于被识别区分的特征。从中选择有特征的一点作为基准点，以该点在图像中的像素坐标定位实现机械臂末端相对于工作台的定位。
[0061] 标识区的位置可以灵活选择：如果待抓放工件放在工作台上的工件定位工装中，且工件相对于定位工装位置和姿态不变，那么可以直接选择在工件定位工装上，这时待抓放工件、工件定位工装、标识区三者之间的相对定位关系保持不变；如果待抓取目标工件在工作台上的位置是活动变化的，即没有工件定位工装限位，那么也可以直接选择在待抓取目标工件上。同时都需要选取方便机械臂末端拍照装置识别的位置。
[0062] 标识区可以通过印刷或粘贴标签等手段设置其内部特征，优选的方案为贴附二维码标签或字符标签。
[0063] 测量模块为测量机器人相对工作台的位姿提供了更多的信息，后续以此为
基础进行位姿调整，能够有效校正复合机器人由于小车导航定位误差、地面不平等因素引起的视觉偏差，提供视觉引导作业精度。
[0064] 测量模块可采用现有一切适用于测量机械臂末端相对于工作台的距离、机械臂末端倾角、以及获取工作台上作为引导基准的标识区图像的探测装置。
[0065] 优选方案为测距传感器、倾角传感器和工业相机，如图1所示。
[0066] 视觉引导处理模块通常包括机器人的视觉控制计算机和运行于其中的视觉引导处理
软件。视觉控制计算机也通称视觉控制器，为
工业控制计算机，与机器人运动控制器、测量模块之间均有
通信接口：一般通过网线与机器人运动控制器相连，通过TCP/IP协议通信；通过高速网线与相机相连；通过串口与测角或测距传感器相连。视觉引导处理软件则完成所述视觉引导处理模块的各项功能。
[0067] 作为优选方案，视觉引导处理模块包括：
[0068] 测量模块通信单元：与所述测量模块通信，实时获取和记录所述测量模块采集的距离和倾角信息；
[0069] 机器人通信单元：向机器人运动控制器发指令，指挥其控制机器人运动，同时实时获取机器人的坐标信息；
[0070] 图像识别定位单元：控制所述测量模块采集图像，对接收到的图像进行识别定位，获取并记录其中基准点的像素坐标和图像的Rz角度值；
[0071] 标定参数计算单元：根据在各采集点处获取的基准点像素坐标和机械臂的偏移量，计算标定参数保存；
[0072] 人机交互单元：为用户提供指令、数据、图像等信息的输入输出接口。
[0073] 附图2中给出了适用于上述复合机器人视觉引导装置的视觉引导定位方法示例性实施例的总体流程图。如图2所示，根据示例性实施例的视觉引导方法，主要包括视觉引导标定的步骤和视觉引导作业应用的步骤，其中，视觉引导标定步骤包括：
[0074] 相对位姿采集：小车到达适当停车点后，调整机械臂末端至适当的标定原点，获取并记录此时机械臂位姿，机械臂末端倾角，以及相对于工作台面的距离、位置和Rz角度值。其中，机械臂末端相对工作台的位置和Rz角度值可以通过工作台上作为引导基准的标识区中基准点的像素坐标和标识区的Rz角度值来定位。
[0075] 标定参数解算：包括标定数据采集，根据采集到的数据计算标定参数。
[0076] 测量机械臂由所述标定原点至工件摆放位置的TCP偏移量。
[0077] 视觉引导作业应用步骤包括：
[0078] 相对位姿复现：小车运动至标定时记录的停车点后，控制机械臂运动至标定时记录的姿态，根据测量模块采集的信息，控制机械臂末端调整至标定时相对于工作台的位姿。
[0079] 按照标定时获取的所述标定原点至工件摆放位置的TCP偏移量，控制机械臂按TCP偏移，完成抓放作业任务。
[0080] 该方法中，相对位姿采集过程中，通过对测量模块所获参数的采集，详细记录了标定时机械臂的姿态、机械臂末端相对于工作台的位姿，包括距离、位置和角度，其中位置用标识区图像中基准点的像素坐标表征，角度用倾角传感器记录的RX和Ry方向角度值以及标识区图像的Rz角度值表征。而标识区图像中基准点的像素坐标和标识区图像的Rz角度值都通过对测量模块获取的标识区图像进行识别定位处理得到。
[0081] 之后，在作业应用时，通过上述相对位姿的复现，使复合机器人相对于工作台的位姿与标定时相同，从而屏蔽了机器人由于小车导航定位误差、地面不平等因素引起的视觉和动作偏差，保证了机器人在实际作业环境下的作业精度。
[0082] 作为优选方案，相对位姿采集的步骤，具体包括：
[0083] 调整机械臂末端姿态，使其工作平面与工作台面平行，采集并记录机械臂末端倾角Rx和Ry的数值；
[0084] 调整机械臂末端与工作台的距离，使所述测量模块的成像视野清晰，记录当前点为标定原点；
[0085] 采集并记录此时机械臂末端到工作台面的距离；
[0086] 采集工作台上所述标识区的图像，对图像进行识别定位，提取并记录其中基准点的像素坐标和标识区的Rz角度值；
[0087] 采集并记录此时机械臂的位姿。
[0088] 作为优选方案，相对位姿复现的步骤，具体包括：
[0089] 控制机械臂运动至标定时记录的姿态；
[0090] 测量机械臂末端倾角Rx和Ry值，调整机械臂末端姿态，使该倾角与标定时记录的倾角数值相同；
[0091] 测量机械臂末端到工作台面之间的距离值，调整机械臂姿态，使该距离等于标定时记录的距离数值；
[0092] 获取工作台上所述标识区的图像，提取标识区的Rz角度值，与标定时记录的图像Rz值对比，调整机械臂末端姿态Rz，使两者一致；
[0093] 再次获取所述标识区的图像，得到其中基准点的像素坐标，根据记录的标定参数，计算机械臂的TCP偏移量，按该偏移量控制机械臂运动，即可到达标定时记录的相对于工作台面的位姿。
[0094] 其中，对图像识别定位的方法属于成熟技术，通常采用形状匹配的方法，但如果标识区中设的是二维码标签，则可以采用二维码识别定位的方法。
[0095] 复合机器人的标定参数解算可以采用现有技术中一切适用的方法。优选方案为基于增量补偿的标定数据采集和标定参数计算：按照预设的Rx和Ry方向的TCP偏移量，控制机械臂分别到达标定原点周围的各预设点，采集该点处工作台上基准点的像素坐标，然后根据采集到的这些数据计算标定参数，建立起基准点的像素坐标与机械臂相对于标定原点的TCP偏移量之间的对应关系。
[0096] 另外，在标定步骤中测量机械臂由所述标定原点至工件摆放位置的TCP偏移量，可以通过牵引示教等方式完成。
[0097] 本发明所述复合机器人视觉引导定位方法，通过标定时详细的相对位姿测量以及在后面作业应用环节的复现，屏蔽了机器人小车自身的各种误差因素的影响，保证了工件抓放精度，便捷精准。
[0098] 应用示例：
[0099] 如图1所示为示例性的复合机器人视觉引导定位装置。图中，复合机器人由移动小车(1)和机械臂(2)组成，工作台面(10)为
水平状态。小车标定或工作时，选择适合的停车点(11)，工作台的工件位置都处于机械臂末端的工作范围(9)内。
[0100] 该机器人视觉引导定位装置包括：
[0101] 水平安装在复合机器人机械臂末端的倾角传感器(3)，安装在机械臂末端的测距传感器(4)、及工业相机(5)，分别用于测量机械臂末端倾角、机械臂末端到工作台的距离，以及获取作为视觉引导基准的标识区(7)的图像；
[0102] 视觉引导处理模块，与机器人运动控制器、倾角传感器(3)、测距传感器(4)、工业相机(5)之间均有通信接口，获取测量模块所采集的距离、倾角、图像等数据，并对图像进行识别定位，得到其中基准点的像素坐标和标识区的Rz角度值；给机器人运动控制器发指令，控制机器人运动，同时实时获取机器人的坐标信息。
[0103] 该视觉引导处理模块主要用于：根据预设的偏移量，控制机械臂偏移，采集基准点像素坐标，计算标定参数；标定时获取并记录机械臂末端相对于工作台面的距离、位置和角度值，作业应用时控制机械臂末端到达同样的相对位姿；控制机械臂末端从标定位置沿TCP偏移至工件摆放位置，完成工件抓放。
[0104] 视觉引导处理模块包括机器人视觉控制器和运行于其中的视觉引导处理软件，视觉控制器为工控机，通过网线分别与复合机器人运动控制器和相机相连，通过串口与倾角传感器及测距传感器相连；视觉引导处理软件则完成各项具体功能。
[0105] 另外，该视觉引导定位装置还包括了设置于标识区(7)的二维码标签或字符标签，以标签的中心点作为基准点进行像素坐标定位。
[0106] 适用于上述装置的复合机器人视觉引导定位方法包括视觉引导定位标定步骤和作业步骤，其中：
[0107] S1，标定步骤，如附图3所示，包括：
[0108] S11，复合机器人AGV小车到达合适的工作停车点后(小车的运动导航由小车的控制装置负责)，调整复合机器人机械臂末端姿态，使机械臂末端与工作台平行，视觉引导处理模块记录下此刻倾角传感器Rx和Ry的角度数值。
[0109] S12，调整复合机器人机械臂与工作台的距离，调节工业相机的焦距和
光圈，使相机成像视野清晰，视觉引导处理模块记录下此刻测距传感器的距离数值。取该点为标定原点。
[0110] S13，视觉引导处理模块与机器人通信，记录此刻机械臂的位姿，打开相机采图，定位标签的像素坐标和角度值并记录。
[0111] S14，设置复合机器人机械臂沿TCP坐标系(工具坐标系)X方向和Y方向的偏移量，分别控制机械臂运动到偏移点，打开相机采图，对标签进行像素坐标定位；然后机械臂返回到标定原点，再控制机器人沿TCP偏移至另一点，打开相机采图，对图像中的标签进行像素定位，机械臂返回到标定原点。
[0112] S15，视觉引导处理模块根据所获像素坐标及机械臂偏移量，计算标定参数，并保存标定结果到本地。
[0113] S16，通过牵引示教方式，将机械臂从此刻的标定原点位置沿TCP运动到待抓放目标工件位置，记录下机械臂的TCP偏移量(ΔTx',ΔTy',ΔTz')。
[0114] S2，作业步骤，如附图4所示，包括：
[0115] S21，复合机器人AGV小车从初始点导航运动到标定时的停车点后，将机械臂运动到标定原点姿态；
[0116] S22，根据标定时记录的倾角传感器Rx和Ry值，调节机械臂末端姿态，保证与标定时记录的倾角传感器数值相同；
[0117] S23，根据标定时记录的测距传感器距离，调节机械臂末端到工作台的距离；
[0118] S24，打开工业相机拍照，识别标签角度，与标定时记录的Rz进行对比，将角度偏差发送给复合机器人机械臂；
[0119] S25，复合机器人机械臂根据角度偏差，调节末端姿态Rz，使其与标定时的姿态一致；
[0120] S26，再次打开相机拍照，识别定位标签像素坐标，根据标定参数，计算机械臂的TCP偏移量，指挥控制机械臂进行TCP偏移。此刻复合机器人机械臂工具坐标系相对于标签的位置和角度已经与标定时一致。
[0121] S27，根据标定时记录的机械臂从标定原点到待抓取工件位置之间的TCP偏移量，指挥控制机械臂按照TCP运动。此刻，机械臂便能够准确地运行到待抓放工件位置，完成抓放作业任务。
[0122] 可见，本实施例中的复合机器人视觉引导定位装置及方法，通过实时获取测角、测距
传感器数据以及相机图像，详细记录标定时机械臂相对于工作台的距离、位置和角度，在后续实际工作过程中精确调整机械臂，使其达到这一相对位姿，从而屏蔽了因小车停车定位误差、角度误差、以及地面不平等因素对机械臂抓放操作带来的影响，使复合机器人视觉引导定位作业精度能够相对现有技术获得明显改善。
[0123] 以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与
修改，均应属于本申请保护的范围。
