一种机器人抓取物料包的方法和机器人抓取装置专利检索-控制器局域网络电信专利检索查询-专利查询网

一种 机器人抓取物料包的方法和机器人抓取装置

阅读：848发布：2021-07-09

专利汇可以提供一种机器人抓取物料包的方法和机器人抓取装置专利检索，专利查询，专利分析的服务。并且本发明公开一种机器人抓取物料包的方法和机器人抓取装置，用于目标物料包的准确抓取。本发明提供的方法包括：通过主控板控制三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，记录三轴全方位双目摄像机的位姿信息及保存左右视图；根据左右视图分析出目标物料包在摄像机坐标系下的三维坐标；根据位姿信息、目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标；根据目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的倾斜信息，计算机械臂的各个关节需要运动的关节角度，通过主控板控制机械臂的各个关节按照关节角度旋转，进而控制机械臂对目标物料包实施抓取。，下面是一种机器人抓取物料包的方法和机器人抓取装置专利的具体信息内容。

权利要求

1.一种机器人抓取物料包的方法，其特征在于，包括：
步骤1、通过机器人的主控板控制所述机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录所述三轴全方位双目摄像机的位姿信息以及保存对所述目标物料包采集到的左右视图；
步骤2、根据所述左右视图分析出所述目标物料包在摄像机坐标系下的三维坐标；
步骤3、根据所述三轴全方位双目摄像机的位姿信息、所述目标物料包在摄像机坐标系下的三维坐标以及所述机械臂坐标系的原点位置，计算出所述目标物料包在机械臂坐标系下的三维坐标；
步骤4、根据所述目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的机器人的倾斜信息，计算出机械臂的各个关节在所述机械臂坐标系下需要运动的关节角度，通过所述主控板控制所述机械臂的各个关节按照所述关节角度旋转；
步骤5、当所述机械臂的各个关节旋转完成后，通过所述主控板控制所述机械臂对所述目标物料包实施抓取。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三轴全方位双目摄像机的位姿信息、所述目标物料包在摄像机坐标系下的三维坐标以及所述机械臂坐标系的原点位置，计算出所述目标物料包在机械臂坐标系下的三维坐标之后，所述方法还包括：
根据所述目标物料包在机械臂坐标系下的三维坐标以及所述机械臂坐标系的原点位置判断所述目标物料包是否在所述机械臂的抓取范围内，若所述目标物料包在所述机械臂的抓取范围内，触发执行步骤4至步骤5；
若所述目标物料包不在所述机械臂的抓取范围内，通过所述主控板控制所述机器人的移动搭载平台向所述目标物料包靠近，并重新触发执行步骤1至步骤5。
3.根据权利要求1所述的方法，其特征在于，所述通过机器人的主控板控制所述机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，包括：
通过机器人的主控板控制摄像机支架进行前后左右上下的运动，通过所述摄像机支架的运动调整所述摄像机本体的两个摄像头的位置，通过所述主控板控制所述两个摄像头采集所述目标物料包的图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述左右视图分析出所述目标物料包在摄像机坐标系下的三维坐标，包括：
通过图像分割技术从所述左右视图中分割出左视图中的各个物料包，找到各个物料包的连通域及连通域的中心，并用椭圆拟合记录椭圆长轴、短轴的方位；
通过立体匹配技术找到所述左视图中所述连通域的中心在右视图中对应的位置坐标，计算出视差信息；
根据所述视差信息和所述三轴全方位双目摄像机的内参数和外参数，计算出所述目标物料包在所述摄像机坐标系下的三维坐标。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈所述机器人的倾斜信息，计算出机械臂的各个关节在所述机械臂坐标系下需要运动的关节角度，包括：
根据所述目标物料包在机械臂坐标系下的三维坐标，通过倾角传感器测量出所述机器人本体的倾斜信息；
根据所述机械臂的末端执行器与所述机器人本体的表面平行关系，计算出所述机械臂的各个关节需要运动的关节角度，通过调整所述各个关节实现对所述机器人本体的倾斜程度做出补偿。
6.根据权利要求1所述的方法，其特征在于，所述通过所述主控板控制所述机械臂的各个关节按照所述关节角度旋转，包括：
通过主控板控制所述机器人的上位机向所述机械臂的运动控制器发送运动控制指令；
通过所述运动控制器将所述运动控制指令发送给伺服驱动器，由所述伺服驱动器驱动所述机械臂的直流伺服电机进行正反旋转，所述直流伺服电机的旋转通过传动机构带动所述各个关节的旋转，并通过位置闭环控制方式使所述直流伺服电机稳定在期望位置。
7.一种机器人抓取装置，其特征在于，所述机器人抓取装置，包括：主控板、上位机、三轴全方位双目摄像机、机械臂、倾角传感器，其中，
所述主控板为所述机器人的控制中心，所述主控板和上位机进行控制信息的传输，所述主控板通过外设部件互连标准 PCI总线和所述三轴全方位双目摄像机连接，所述主控板通过通用串行总线USB转控制器局域网络CAN卡和所述机械臂连接，所述主控板通过串口通讯总线和所述倾角传感器连接；
所述主控板，用于控制所述三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录所述三轴全方位双目摄像机的位姿信息以及保存对所述目标物料包采集到的左右视图；
所述上位机，用于根据所述左右视图计算出所述目标物料包在摄像机坐标系下的三维坐标；根据所述三轴全方位双目摄像机的位姿信息、所述目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出所述目标物料包在机械臂坐标系下的三维坐标；
所述上位机，还用于根据所述目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的机器人的倾斜信息，计算机出机械臂的各个关节需要运动的关节角度；
所述主控板，还用于控制所述机械臂的各个关节按照所述关节角度旋转；当所述机械臂的各个关节旋转完成后，控制所述机械臂对所述目标物料包实施抓取。
8.根据权利要求7所述的机器人，其特征在于，所述机器人，还包括：移动搭载平台，所述上位机、所述三轴全方位双目摄像机、所述机械臂、所述倾角传感器都设置在所述移动搭载平台上；
所述主控板，还用于根据所述三轴全方位双目摄像机的位姿信息、所述目标物料包在摄像机坐标系下的三维坐标以及所述机械臂坐标系的原点位置，计算出所述目标物料包在机械臂坐标系下的三维坐标之后，根据所述目标物料包在机械臂坐标系下的三维坐标以及所述机械臂坐标系的原点位置判断所述目标物料包是否在所述机械臂的抓取范围内，若所述目标物料包不在所述机械臂的抓取范围内，通过所述主控板控制所述机器人的移动搭载平台向所述目标物料包靠近。
9.根据权利要求7所述的机器人，其特征在于，所述三轴全方位双目摄像机，包括：摄像机支架和摄像机本体，所述摄像机支架，包括：第一步进电机、第二步进电机、第三步进电机、升降平台、连接件、丝杠，其中，
所述第一步进电机和所述第二步进电机设置于所述升降平台的上方，所述第三步进电机设置于所述升降平台的下方，所述第三步进电机通过连接件支撑所述第二步进电机和摄像机，所述第二步进电机和摄像机固定在一起，所述丝杠垂直穿过所述升降平台；所述第一步进电机转动时带动所述丝杠控制所述升降平台的上下运动，所述第二步进电机转动时带动所述摄像机前后转动，所述第三步进电机转动时带动所述摄像机本体左右转动。
10.根据权利要求7所述的机器人，其特征在于，所述机器人包括：无线传输设备和触摸屏，其中，所述主控板通过所述无线传输设备和上位机进行控制信息的传输；所述触摸屏，用于在用户的触摸操作下向所述机器人传输控制指令。

说明书全文

一种机器人抓取物料包的方法和机器人抓取装置

技术领域

[0001] 本发明涉及机器视觉与运动控制技术领域，具体涉及一种机器人抓取物料包的方法和机器人抓取装置。

背景技术

[0002] 目前，在工业领域已经开始应用机器人，这类机器人主要依靠机械臂来完成流水线上的某一道工序。现有的机器人往往被固定在某一机构上，通过事先离线示教方式达到通过某一既定动作对某一既定目标操作的目的，存在面向的对象单一、运动情形单一、对工作环境适应性不强的问题。例如，在码垛、涂胶、点焊、弧焊等行业广泛应用的机器人往往都存在上述问题。

发明内容

[0003] 本发明的目的在于提供一种机器人抓取物料包的方法和机器人抓取装置，用于实现目标物料包的准确抓取。

[0004] 为了达到上述目的，本发明采用这样的如下技术方案：一方面，本发明提供一种机器人抓取物料包的方法，包括：
步骤1、通过机器人的主控板控制所述机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录所述三轴全方位双目摄像机的位姿信息以及保存对所述目标物料包采集到的左右视图；
步骤2、根据所述左右视图分析出所述目标物料包在摄像机坐标系下的三维坐标；
步骤3、根据所述三轴全方位双目摄像机的位姿信息、所述目标物料包在摄像机坐标系下的三维坐标以及所述机械臂坐标系的原点位置，计算出所述目标物料包在机械臂坐标系下的三维坐标；
步骤4、根据所述目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的倾角信息，计算出机械臂的各个关节在所述机械臂坐标系下需要运动的关节角度，通过所述主控板控制所述机械臂的各个关节按照所述关节角度旋转；
步骤5、当所述机械臂的各个关节旋转完成后，通过所述主控板控制所述机械臂对所述目标物料包实施抓取。

[0005] 另一方面，本发明提供一种机器人抓取装置，所述机器人抓取装置，包括：主控板、上位机、三轴全方位双目摄像机、机械臂、倾角传感器，其中，所述主控板为所述机器人的控制中心，所述主控板和上位机进行控制信息的传输，所述主控板通过外设部件互连标准 PCI总线和所述三轴全方位双目摄像机连接，所述主控板通过通用串行总线USB转控制器局域网络CAN卡和所述机械臂连接，所述主控板通过串口通讯总线和所述倾角传感器连接；
所述主控板，用于控制所述三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录所述三轴全方位双目摄像机的位姿信息以及保存对所述目标物料包采集到的左右视图；
所述上位机，用于根据所述左右视图分析出所述目标物料包在摄像机坐标系下的三维坐标；根据所述三轴全方位双目摄像机的位姿信息、所述目标物料包在摄像机坐标系下的三维以及机械臂坐标系的原点位置，计算出所述目标物料包在机械臂坐标系下的三维坐标；
所述上位机，还用于根据所述目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的机器人倾斜信息，计算机械臂的各个关节需要运动的关节角度；
所述主控板，用于控制所述机械臂的各个关节按照所述关节角度旋转；当所述机械臂的各个关节旋转完成后，控制所述机械臂对所述目标物料包实施抓取。

[0006] 采用上述技术方案后，本发明提供的技术方案将由如下优点：首先通过机器人的主控板控制机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录三轴全方位双目摄像机的位姿信息以及保存对目标物料包采集到的左右视图，然后根据左右视图分析出目标物料包在摄像机坐标系下的三维坐标，根据三轴全方位双目摄像机的位姿信息、目标物料包在摄像机坐标系下的三维坐标以及所述机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标，接下来根据目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的机器人的倾斜信息，计算出机械臂各个关节需要运动的关节角度，通过主控板控制机械臂的各个关节按照关节角度旋转，当机械臂的各个关节旋转完成后，通过主控板控制机械臂对目标物料包实施抓取。本发明中引入了机器人的视觉技术，待抓取的目标物料包图像由三轴全方位双目摄像机采集，通过图像处理技术最终分析出每个目标物料包的三维坐标，再结合机器人本体的倾斜信息，通过机器人逆运动学计算每个关节的关节角度，从而使机械臂旋转到特定的位置后完成对目标物料包的准确抓取。本发明中机器人不局限于固定位置和固定动作，也不需要事先离线示教，而是可以通过对三轴全方位双目摄像机采集的左右视图进行图像分析，自动完成目标物料包位置的定位以及自身机械臂的自动转动，可以解决复杂环境下对物料包的抓取。
附图说明

[0007] 图1为本发明实施例提供一种机器人抓取物料包的方法的流程方框示意图；图2为本发明实施例提供的机器人抓取物料包的方法中三轴全方位双目摄像机的控制与采集图像的原理示意图；
图3为本发明实施例提供的机器人抓取物料包的方法中图像分割和立体视觉的流程示意图；
图4为本发明实施例提供的机器人抓取物料包的方法中机械臂的闭环运动控制系统结构图；
图5为本发明实施例提供的机器人抓取物料包的方法中机械臂抓取目标物料包的示意图；
图6为本发明实施例提供的机器人抓取装置的系统结构示意图；
图7为本发明实施例提供的摄像机支架的组成结构示意图。

具体实施方式

[0008] 本发明实施例提供了一种机器人抓取物料包的方法和机器人抓取装置，用于实现目标物料包的准确抓取。

[0009] 为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

[0010] 本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

[0011] 以下分别进行详细说明。

[0012] 本发明机器人抓取物料包的方法的一个实施例，可应用于机器人对物料包的自动抓取中，请参阅图1所示，本发明提供的机器人抓取物料包的方法，可以包括如下步骤：步骤1、通过机器人的主控板控制机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录三轴全方位双目摄像机的位姿信息以及保存对目标物料包采集到的左右视图。

[0013] 在本发明实施例中，机器人包括：主控板、上位机、三轴全方位双目摄像机、上位机、机械臂、倾角传感器，其中，主控板为机器人的控制中心，主控板和上位机进行控制信息的传输，主控板通过外设部件互连标准（PCI，Peripheral Component Interconnect）总线和三轴全方位双目摄像机连接，主控板采用通用串行总线通过USB转控制器局域网络（CAN，Controller Area Network）卡和机械臂连接，主控板通过串口通讯总线和倾角传感器连接。

[0014] 本发明中待抓取的目标物料包的位置可以任意放置，不需要在机器人抓取物料包之前进行人为的挪动，也不需要特别设置机器人的位置，不需要先离线示教机器人的操作方式。本发明中机器人可包括三轴全方位双目摄像机，该摄像机可以对待抓取的目标物料包图像进行采集，具体的，通过主控板控制机器人的三轴全方位双目摄像机进行运动控制，以调节三轴全方位双目摄像机的视角，确保三轴全方位双目摄像机的两目均能采集到目标物料包。

[0015] 在本发明中，三轴全方位双目摄像机在主控板的控制下调整双目的位置确保能够采集到目标物料包，同时还需要记录下三轴全方位双目摄像机在采集目标物料包时自身的位姿信息，三轴全方位双目摄像机的位姿信息包括：三轴全方位双目摄像机的位置信息和姿态信息，另外对于三轴全方位双目摄像机采集目标物料包的图像得到的左右视图也需要保存，该左右视图为三轴全方位双目摄像机的双目分别采集目标物料包的图像得到，左右视图包括：左视图和右视图。

[0016] 在本发明中机器人采用的是三轴全方位双目摄像机，该摄像机具有左右两个摄像头，可以按照前后左右上下进行全方位调节。具体的，在本发明的一些实施例中，三轴全方位双目摄像机，包括：摄像机支架和摄像机本体，摄像机支架，包括：第一步进电机、第二步进电机、第三步进电机、升降平台、连接件、丝杠，其中，第一步进电机和第二步进电机设置于升降平台的上方，第三步进电机设置于升降平台的下方，第三步进电机通过连接件支撑第二步进电机和摄像机，第二步进电机和摄像机固定在一起，丝杠垂直穿过升降平台；第一步进电机转动时带动丝杠控制升降平台的上下运动，第二步进电机转动时带动摄像机前后转动，第三步进电机转动时带动摄像机本体左右转动。

[0017] 也就是说，本发明中三轴全方位双目摄像机包括的摄像机支架中包括三个步进电机，可以控制摄像机本体上下左右前后六个方位的运动。基于这种三轴全方位双目摄像机的实现方式，本发明实施例中步骤1通过机器人的主控板控制机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，具体可以包括如下步骤：A1、通过机器人的主控板控制摄像机支架进行前后左右上下的运动，通过摄像机支架的运动调整摄像机本体的两个摄像头的位置，通过主控板控制两个摄像头采集目标物料包的图像。

[0018] 其中，主控板控制摄像机支架进行前后左右上下的运动，三轴全方位双目摄像机可以由数字信号处理器（DSP，Digital Signal Processing）板产生3路的脉冲宽度调制（PWM，Pulse Width Modulation）波来控制摄像机支架的3个步进电机，同时它通过USB转CAN卡的方式实现上位机与DSP板的双向通信来控制和反映3个步进电机的位置信息，间接反映出三轴全方位双目摄像机的位姿信息。

[0019] 请参阅图2所示，为本发明实施例提供的机器人抓取物料包的方法中三轴全方位双目摄像机的控制与采集图像的原理示意图，如图2所示，USB转CAN卡的一端与上位机的USB 接口相连，另一端用来连接DSP的CAN模块，DSP与摄像机支架的步进电机的控制器相连，上位机的发送数据由DSP的接收端接收，DSP接收到的数据通过终端服务子程序存入到相应的全局变量中，而全局变量可以用于设置DSP产生的脉冲数，三轴全方位双目摄像机的转动是通过DSP板上的PWM模块产生的脉冲使摄像机支架上的步进电机转动间接实现的，各个步进电机的位置信息可以通过步进电机上的编码器进行反馈，也可以通过记录脉冲的个数来间接获得，三轴全方位双目摄像机通过1394线与上位机中的视频采集卡相连接完成图像的采集，1394视频采集卡将三轴全方位双目摄像机采集到的图像存至上位机的内存单元，同时也将上位机的指令转成机器语言实现对三轴全方位双目摄像机的控制。

[0020] 步骤2、根据左右视图分析出目标物料包在摄像机坐标系下的三维坐标。

[0021] 在本发明实施例中，步骤1中通过主控板保存了三轴全方位双目摄像机对目标物料包采集到的左右视图之后，执行步骤2根据采集到的左右视图分析出在摄像机坐标系下目标物料包的三维坐标，目标物料包在摄像机坐标系下的三维坐标具体可以指的是目标物料包的中心点在摄像机坐标系下的三维坐标，具体的，根据左右视图分析出的目标物料包在摄像机坐标系下的三维坐标可以由上位机中的处理器执行计三维坐标的计算过程，计算出的目标物料包在摄像机坐标系下的三维坐标可以用{x0,y0,z0}表示。本发明中对三轴全方位双目摄像机采集到的左右视图检测出在摄像机坐标系下的三维坐标，可以定位出需要抓取的目标物料包的具体位置，实现对目标物料包的实时定位。

[0022] 在本发明的一些实施例中，步骤2根据左右视图分析出目标物料包在摄像机坐标系下的三维坐标，具体可以包括如下步骤：B1、通过图像分割技术从左右视图中分割出左视图中的各个物料包，找到各个物料包的连通域及连通域的中心，并用椭圆拟合记录椭圆长轴、短轴的方位；
B2、通过立体匹配技术找到左视图中连通域的中心在右视图中对应的位置坐标，计算出视差信息；
B3、根据视差信息和三轴全方位双目摄像机的内参数和外参数，计算出目标物料包在摄像机坐标系下的三维坐标。

[0023] 具体的，对于步骤B1至步骤B3的实现方式，请参阅如图3所示，为本发明实施例提供的机器人抓取物料包的方法中图像分割和立体视觉的流程示意图，具体可以选用双目平行摄像机模型，做到两个摄像机的焦距大小一样、成像中心均位于感光元件的正中间。步骤B1和步骤B2中分别为图像处理部分和立体视觉处理部分，先要对摄像机进行标定，再利用摄像机内参数和外参数对摄像机采集的左、右视图进行双目校正，在摄像机未标定时依次执行如下步骤：拍摄模板图像、检测特征点、计算投影矩阵H、确定摄像机参数，然后进行图像对的校正，对左图像和右图像分别校正后利用SAD法实现立体匹配，然后生成视差空间图（英文简称DSI），对校正了的右图像先后进行全局阈值（英文简称OTSU）操作、图像锐化操作、CANNY 边缘检测操作、对CANNY 边缘图像进行SOBEL求边缘操作、水平和竖直方向上膨胀操作、根据物料包的几何特征提取属于它们的连通域，判断是否符合目标物的几何特征，并在符合目标物的几何特征时，对目标物的连通域进行求中心和用内椭圆拟合操作，在不符合目标物的几何特征时舍去当前连通域。在立体视觉处理部分，首先通过对两个摄像机采集的图像中的每一点求出其灰度值，一副图像中的每一点在另一图像中的匹配点，可以通过设置的视差范围缩小搜索范围，沿着极线的方向上在另一幅图像中从视差最小点开始，往视差最大的方向进行寻找，找到灰度值与它最相近的另一点，即为对应的匹配点。匹配后可生成一副视差图，利用该视差图，找到属于目标物料包中心点的视差值。最后执行步骤B3结合双目摄像机的内参数和外参数，就可以计算该目标物料包的中心点在摄像机坐标系里的三维坐标。

[0024] 步骤3、根据三轴全方位双目摄像机的位姿信息、目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标。

[0025] 在本发明实施例中，通过主控板控制上位机计算出目标物料包在摄像机坐标系下的三维坐标，这个目标物料包的三维坐标为在摄像机坐标系下的坐标，即由三轴全方位双目摄像机拍摄的图像计算出的目标物料包的三维坐标，通过将目标物料包的三维坐标变换到摄像机坐标系下，从而确定了需要抓取的目标物料包的位置信息，这是机器人实施抓取物料包的先行条件，但是步骤2中计算出的是目标物料包在摄像机坐标系下的三维坐标，机器人仍不能确定机械臂该怎样运动才能对目标物料包实施抓取，机器人需要进一步的根据三轴全方位双目摄像机的位姿信息、目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标，其中，记录的三轴全方位双目摄像机的位姿信息也是在摄像机坐标系下的坐标，而三轴全方位双目摄像机与机械臂的位置关系是相对固定的，据此根据三轴全方位双目摄像机的位姿信息和目标物料包在摄像机坐标系下的三维坐标可以计算出目标物料包在机械臂坐标系下的三维坐标，目标物料包在机械臂坐标系下的三维坐标被确定后，机器人可以确定使用机械臂应该在哪个位置坐标可以抓取到目标物料包。举例说明，若目标物料包在摄像机坐标系下的三维坐标为{x0,y0,z0}，假设目标物料包在机械臂坐标系下的三维坐标为{x1,y1,z1}，则通过三轴全方位双目摄像机的位姿信息计算出机械臂坐标系与摄像机坐标系之间的位置转换参数k，则{x1,y1,z1}可以通过k和{x0,y0,z0}的矩阵乘运算，计算出目标物料包在机械臂坐标系下的三维坐标。

[0026] 在本发明的一些实施例中，本发明提供的机器人还可以是可移动机器人，具体的，在机器人中，还包括：移动搭载平台，则上位机、三轴全方位双目摄像机、机械臂、倾角传感器都设置在该移动搭载平台上，该移动搭载平台设置有可前后左右移动的小车。举例说明，本发明中可移动机器人的运动采用了RS232串口通讯方式，当控制器接收到上位机的数据后，就将信号放大传给驱动器，驱动器与控制前、后、左、右运动的四个电机相连，进而控制各个电机来间接控制小车本体的运动。在这种配置了可移动的搭载平台的机器人中，步骤3根据三轴全方位双目摄像机的位姿信息、目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标之后，本发明提供的机器人抓取物料包的方法还可以包括如下步骤：C1、根据目标物料包在机械臂坐标系下的三维坐标和机械臂坐标系的原点位置判断目标物料包是否在机械臂的抓取范围内，若目标物料包在机械臂的抓取范围内，触发执行步骤4至步骤5；
C2、若目标物料包不在机械臂的抓取范围内，通过主控板控制机器人的移动搭载平台向目标物料包靠近，并重新触发执行步骤1至步骤5。

[0027] 具体的，在本发明中计算出目标物料包在机械臂坐标系下的三维坐标之后，机器人可以确定出在机械臂坐标系下需要抓取的物料包的位置信息，机器人通过该位置信息可以判断出机械臂需要移动到的位置，机器人根据当前机械臂的停留位置和目标物料包在机械臂坐标系下的三维坐标进行目标是否可达的判断，机器人先确定出当前机械臂的抓取范围是否包括了目标物料包的位置，若目标物料包在机械臂的抓取范围内，则说明机械臂能够抓取到目标物料包，可以继续执行步骤4和步骤5，若目标物料包不在机械臂的抓取范围内，则说明机械臂的当前停留位置无法抓取到目标物料包，机器人需要移动重新靠近目标物料包，通过主控板控制机器人的移动搭载平台向目标物料包靠近，机器人向目标物料包的移动距离可以根据机器人的当前位置和目标物料包的位置来决定，只要机器人移动位置后目标物料包在机械臂的抓取范围内即可，当机器人移动后，可以重新执行步骤1至步骤5，可以理解的是，若当机器人移动后重新执行步骤1至步骤3之后，还可以执行步骤C1和C2，即重新判断目标物料包是否在机械臂的当前抓取范围内，若机械臂仍不能触及到目标物料包，还可以再次移动机器人，使目标物料包在机械臂的抓取范围内。

[0028] 步骤4、根据目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的机器人的倾斜信息，计算出机械臂的各个关节在机械臂坐标系下需要运动的关节角度，通过主控板控制机械臂的各个关节按照关节角度旋转。

[0029] 在本发明实施例中，步骤3中计算出目标物料包在机械臂坐标系下的三维坐标之后，机器人可以确定出机械臂应该怎样运动才能触及到目标物料包，机器人中设置有倾角传感器，启动机器人测量倾角的功能，利用倾角传感器获得机器人的倾斜信息，将倾斜信息考虑进去，通过机器人逆运动学，计算运动至目标物料包的中心各个关节需要运动的关节角度，其中，在机器人的机械臂中包括有需要运动的多个关节，各个关节需要运动的关节角度可分别计算出，直至末端的最后一个关节。

[0030] 具体的，在本发明的实施例中，步骤4中根据目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈的机器人的倾斜信息，计算出机械臂的各个关节在机械臂坐标系下需要运动的关节角度，具体可以包括如下步骤：D1、根据目标物料包在机械臂坐标系下的三维坐标，通过倾角传感器测量出机器人本体的倾斜信息；
D2、根据机械臂的末端执行器与机器人本体的表面平行关系，计算出机械臂的各个关节需要运动的关节角度，通过调整各个关节实现用于对机器人本体的倾斜程度做出补偿。

[0031] 其中，倾角传感器可获得机器人本体的倾斜信息，它反馈的信息与逆运动学求出的解相结合，用来补偿机器人的倾斜，最终达到使末端执行器工作面与目标物料包表面相平行的目的。例如，根据倾角传感器反馈的信息（x1-y1面相对于水平面，沿x1和y1轴转动的角度），旋转最后一个关节，利用该关节补偿机器人本体的倾斜信息，保证结合逆运算后，末端执行器的接触面与机械人本体的上表面平行，也即与待抓取的物料包的表面平行，方便移动机器人抓取物料包。

[0032] 在本发明的步骤4中，计算出机械臂的各个关节在机械臂坐标系下需要运动的关节角度之后，通过主控板控制机械臂的各个关节按照上述关节角度旋转，具体的，步骤4中通过主控板控制机械臂的各个关节按照关节角度旋转，可以包括如下步骤：E1、通过主控板控制机器人的上位机向机械臂的运动控制器发送运动控制指令；
E2、通过运动控制器将运动控制指令发送给伺服驱动器，由伺服驱动器驱动机械臂的直流伺服电机进行正反旋转，直流伺服电机的旋转通过传动机构带动各个关节的旋转，并通过位置闭环控制方式使直流伺服电机稳定在期望位置。

[0033] 具体的，机械臂的各个关节按照关节角度旋转可以参阅如图4所示，为本发明实施例提供的机器人抓取物料包的方法中机械臂的闭环运动控制系统结构图，移动机器人的机械臂用到了分布式运动控制技术，机械臂的每个运动关节均具有一定的指令接受及位置信息反馈能力，而不是单纯的实现位置环、速度环、电流环控制，通过主控板控制上位机向运动控制器发送应用程序指令，运动控制器发送运动指令给伺服驱动器，由伺服驱动器驱动直流伺服电机转动，直流伺服电机通过传动机构带动负载，使机械臂的各个关节按照运动指令转动，即可实现机械臂的联动控制。本发明中，移动机器人的机械臂是使用直流伺服电机进行位置闭环控制，在机器人运行过程中，安装于电机轴末端的数字编码器不断测量直流伺服电机的实际位置（即输出量），然后将位置信息实时反馈回伺服驱动器与参考位置输入量进行比较运算，并通过比例-积分-微分（PID，Proportion Integration Differentiation）调节器对位置误差信号的处理，实现对直流伺服电机正反转的准确控制，从而使直流伺服电机位置稳定在期望位置上。

[0034] 步骤5、当机械臂的各个关节旋转完成后，通过主控板控制机械臂对目标物料包实施抓取。

[0035] 在本发明实施例中，机械臂的各个关节旋转完成后，机械臂已经旋转至可抓取目标物料包的位置之后，机器人通过主控板控制机械臂对目标物料包实施抓取，请参阅如图5所示，为本发明实施例提供的机器人抓取物料包的方法中机械臂抓取目标物料包的示意图，移动搭载平台移动至物料包周围，机械臂的各个关节按照关节角度旋转完成后，机械臂的末端执行器与待抓取的物料包的表面平行，方便移动机器人抓取物料包。本发明提供的机器人可广泛应用于有目标监视需求的场合，将图像处理引入到了机器人研发中，可满足对象多样化需求，增加机器人的使用领域，倾角传感器能获知机器人本体的倾斜信息，可配合机械臂准确抓物，也能反映工况的路面情况。

[0036] 通过以上实施例对本发明的描述可知，首先通过机器人的主控板控制机器人的三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录三轴全方位双目摄像机的位姿信息以及保存对目标物料包采集到的左右视图，然后根据左右视图分析出目标物料包在摄像机坐标系下的三维坐标，根据三轴全方位双目摄像机的位姿信息和目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标，接下来根据目标物料包在机械臂坐标系下的三维坐标，通过倾角传感器计算机器人的机械臂的各个关节在机械臂坐标系下需要运动的关节角度，通过主控板控制机械臂的各个关节按照关节角度旋转，当机械臂的各个关节旋转完成后，通过主控板控制机械臂对目标物料包实施抓取。本发明中引入了机器人的视觉技术，待抓取的目标物料包图像由三轴全方位双目摄像机采集，通过图像处理技术达到对目标物料包实施分割的目的，再通过立体匹配和坐标变换，最终分析出每个目标物料包的三维坐标，再结合机器人本体的倾斜信息，通过机器人逆运动学计算每个关节的关节角度，从而使机械臂旋转到特定的位置后完成对目标物料包的准确抓取。本发明中机器人不局限于固定位置和固定动作，也不需要事先离线示教，而是可以通过三轴全方位双目摄像机自动完成位置的检测以及自身机械臂的自动转动，可以解决复杂环境下对物料包的抓取。

[0037] 上述实施例对本发明提供的机器人抓取物料包的方法进行了说明，接下来对本发明提供的机器人进行详细说明，该机器人可以是机器人抓取装置，用于实现对目标物料包的抓取。请参阅如图6所示的机器人抓取装置，机器人抓取装置包括：主控板、上位机、三轴全方位双目摄像机、上位机、机械臂、倾角传感器，其中，主控板为机器人的控制中心，主控板和上位机进行控制信息的传输，主控板通过PCI总线和三轴全方位双目摄像机连接，主控板通过USB转控CAN卡和机械臂连接，主控板通过串口通讯总线和倾角传感器连接；
主控板，用于控制三轴全方位双目摄像机对待抓取的目标物料包进行图像采集，并记录三轴全方位双目摄像机的位姿信息以及保存对目标物料包采集到的左右视图；
上位机，用于根据左右视图分析出目标物料包在摄像机坐标系下的三维坐标；根据三轴全方位双目摄像机的位姿信息和目标物料包在摄像机坐标系下的三维坐标以及机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标；
上位机，还用于根据目标物料包在机械臂坐标系下的三维坐标，结合倾角传感器反馈机器人的倾斜信息，计算出机械臂的各个关节需要运动的关节角度；
主控板，还用于控制机械臂的各个关节按照关节角度旋转；当机械臂的各个关节旋转完成后，控制机械臂对目标物料包实施抓取。

[0038] 在图6中，以主控板和倾角传感器之间通过RS232总线连接为例，机器人的抓取物料包的具体实现过程请参阅前述实施例的描述。

[0039] 在本发明的一些实施例中，请参阅如图6所示，机器人抓取装置，还包括：移动搭载平台，上位机、三轴全方位双目摄像机、机械臂、倾角传感器都设置在移动搭载平台上；主控板，还用于根据三轴全方位双目摄像机的位姿信息和目标物料包在摄像机坐标系下的三维坐标以及所述机械臂坐标系的原点位置，计算出目标物料包在机械臂坐标系下的三维坐标之后，根据目标物料包在机械臂坐标系下的三维坐标和机械臂坐标系的原点位置判断目标物料包是否在机械臂的抓取范围内，若目标物料包不在机械臂的抓取范围内，通过主控板控制机器人的移动搭载平台向目标物料包靠近。

[0040] 在图6中，以主控板和移动搭载平台之间通过RS232总线连接为例，当然也可以用其它的串口通讯总线连接，此处不做限定。

[0041] 在本发明的一些实施例中，三轴全方位双目摄像机，包括：摄像机支架和摄像机本体，对于摄像机支架，请参阅如图7所示，包括：第一步进电机1、第二步进电机5、第三步进电机10、升降平台9、丝杠12，其中，第一步进电机1和第二步进电机5设置于升降平台9的上方，第三步进电机10设置于升降平台9的下方，第三步进电机10通过连接件支撑第二步进电机5和摄像机7，第二步进电机5和摄像机7固定在一起，丝杠12垂直穿过升降平台9；
第一步进电机1转动时带动丝杠12控制升降平台9的上下运动，第二步进电机5转动时带动摄像机7前后转动，第三步进电机10转动时带动摄像机7左右转动。

[0042] 举例说明如下，在摄像机支架中，第一步进电机1固定在电机固定框2上，其轴通过联轴器3与丝杠12相连，从而带动固定在升降平台9上的第二步进电机5，连接件具体为L型的电机固定架，第三步进电机10通过连接件支撑第二步进电机5和摄像机7，第三步进电机10实现摄像机7上下移动，第二步进电机5转动，将会使摄像机7前后转动，第三步进电机10固定在升降平台9下方，其转动将带动第二步进电机5、连接件、摄像机7一起左右转动。

[0043] 在本发明的一些实施例中，摄像机支架，还包括：分别设置在第一步进电机1、第二步进电机5和第三步进电机10上的绝对式编码器，绝对式编码器用于记录第一步进电机、第二步进电机和第三步进电机的运动位置。具体的，在第一步进电机、第二步进电机、第三步进电机上分别设置有一个绝对式编码器，通过绝对式编码器采集光电信号，从而获得各个电机的转轴的位置，当获得了反馈，可计算出误差，最后通过误差可以对各个步进电机做进一步控制，也就会使摄像机转到需要的位置。现有的摄像机支架无法记录摄像机的位置信息，对于需要目标定位的场合就不能满足需要。在本发明提供的摄像机支架中，在每个步进电机中设置绝对式编码器，可以准确记录摄像机的位置信息，并可以对步进电机的控制误差进行微调，满足精确定位的需要。

[0044] 举例说明如下，在一个四周由四根柱子支撑的摄像机支架中间加一根可转动的丝杠，丝杠和升降平台连接，让四根支撑柱和丝杠与它垂直并穿过它。在与升降平台接触的正下面固定有一个第三步进电机，用以使摄像机左右转动。升降平台的上面，通过在第三电机的轴上固定一个L型的电机固定架，与控制摄像机前后转动的第二步进电机为刚性连接，电机固定架的一边是第二步进电机，另一边是与第二步进电机相连的摄像机。摄像机支架的正上方固定一个第一步进电机，该第一步进电机使丝杠转动的同时会带动支架中间的升降平台上下移动，从而实现摄像机的上下运动。

[0045] 本发明提供的摄像机支架中，它包括3个步进电机、联轴器、丝杠、升降平台、支撑柱、支撑面、电机固定框、电机固定架，采取现有微处理器控制技术，通过产生脉冲波从而控制电机的转动，设置一定的脉冲数可以使电机转动相应的角度，从而实现控制电机的上升距离、前后左右旋转的角度，也就实现了对摄像机的位置控制，三轴全方位摄像机支架通过控制3台转动角度精细的步进电机来获得摄像机的全方位视角，并可承受重量大的摄像机；通过开闭环控制，满足转动位置准确的要求。特别适合用于需要视觉传感器来实现目标定位的场合，也可以用于其他需要全景监测或是视角需求大的地方。

[0046] 在本发明的一些实施例中，摄像机支架，还包括：四根支撑柱8，升降平台9上设置有四个孔，每个孔内有橡皮套，四根支撑柱插入橡皮套后分别穿过升降平台的四个孔，丝杠设置在四根支撑柱围成的圈中间。在升降平台9上设置有四个孔，分别用于支撑柱穿过，丝杠12与升降平台9保持垂直，升降平台由丝杠来控制它的升降，为了保持丝杠和升降平台的垂直，还可以在升降平台上设置4个支撑柱，用于支撑升降平台的平稳升降，为了支撑的平稳性，升降平台上的每个孔内还可以设置橡皮套，支撑柱插入橡皮套后穿过升降平台的孔。

[0047] 进一步的，摄像机支架，还包括：上支撑面4和下支撑面11，上支撑面4和下支撑面11固定在四根支撑柱8的上下两端上。上下支撑面和支撑柱垂直，因此丝杠也需要和上下支撑面始终垂直，升降平台的四周有四个孔，孔内有橡皮套，穿过与上下支撑面相连的四根支撑柱。

[0048] 进一步的，摄像机支架，还包括：电机固定框2，第一步进电机1固定在电机固定框2上，丝杠12穿过电机固定框2和第一步进电机1连接，电机固定框2固定在上支撑面4上。通过这种设置电机固定框和上支撑面的方式，可以实现第一步进电机和升降平台的固定，使得升降平台在升降时第一步进电机、上支撑面和摄像机的整体移动。

[0049] 在本发明的一些实施例中，连接件具体为L型的电机固定架、摄像机支架，还包括：圆筒6、摄像机固定架，其中，第二步进电机5和第三步进电机10分别通过圆筒6和L型的电机固定架连接在一起，第二步进电机5通过圆筒6和电机固定架的短端连接在一起，第三步进电机10通过圆筒6和电机固定架的长端连接在一起；
摄像机7固定在L型的摄像机固定架的长端上，摄像机固定架的短端插入第二步进电机5的圆筒内。

[0050] 需要说明的是，在本发明的实施例中，第三步进电机10通过连接件对第二步进电机5和摄像机7起到支撑作用，连接件的具体形式不可以不局限于L型的电机固定架，该连接件还可以是起到连接固定作用的其它形状。

[0051] 进一步的，圆筒6分别和第二步进电机5的转轴、第三步进电机10的转轴直接相连。圆筒和步进电机的转轴连接，可以起延长电机轴的作用。

[0052] 在本发明的一些实施例中，第一步进电机1通过联轴器3与丝杠12相连。其中第一步进电机转动时可带动丝杠的转动，丝杠的转动使升降平台上下运动，而摄像机分别与第二步进电机和第三步进电机固定在一起，第二步进电机、第三步进电机和摄像机都随着升降平台上下运动，从而可以实现对摄像机上下运动的控制，并且第二步进电机和第三步进电机的转动可以分别带动摄像机的前后运动和左右运动，因此本发明提供的摄像机支架可以实现三轴的全方位转动。

[0053] 具体的，为了控制摄像机转动的平稳性，第三电机的转动和第二电机的转动都是围绕摄像机的中心轴的转动，这样使得摄像机在前后左右转动时方位的调整更平稳，不会造成视频图像监控的抖动。

[0054] 通过以上技术方案对本发明的描述可知，本发明提供的摄像机支架包括有三个步进电机和升降平台以及丝杠，其中第一步进电机和第二步进电机设置于升降平台的上方，第三步进电机设置于升降平台的下方，第三步进电机通过连接件支撑第二步进电机和摄像机，第二步进电机和摄像机固定在一起，丝杠垂直穿过升降平台；第一步进电机转动时带动丝杠控制升降平台的上下运动，第二步进电机转动时带动摄像机前后转动，第三步进电机转动时带动摄像机左右转动。本发明提供的摄像机支架通过三个步进电机可以控制摄像机的上下运动以及前后左右转动，从而可以实现全方位的角度拍摄，通过三个步进电机可以控制摄像机在三维平面内转动，从而可以缩小转动角度跨度，这对于需要全景监测的场合就可以很好的满足摄像机位置全方位调动的需要。

[0055] 在本发明的一些实施例中，机器人包括：无线传输设备和触摸屏，其中，主控板通过无线传输设备和上位机进行控制信息的传输；触摸屏，用于在用户的触摸操作下向机器人传输控制指令。

[0056] 具体的，本发明中机器人的人机交互，可通过用户在触摸屏上点击相应的消息响应按钮控制机器人，也可通过无线网络远程控制机器人。

[0057] 综合实施例对本发明的描述可知，本发明机器人的硬件组成主要包括机器人的主控板、触摸屏、视频采集卡、双目摄像机、上位机、移动搭载平台、机械臂、摄像机支架、倾角传感器和无线传输设备。主控板是整个系统的控制中心，所有控制指令都需要主控板进行调度。主控板通过无线传输设备与上位机进行控制信息的传输，从而进行远距离控制机器人的各种动作。视频采集卡与主控板连接，经PCI总线与主控板进行图像数据的交互。三轴全方位双目摄像机通过1394总线与视频采集卡连接。对于摄像机支架、机械臂的控制采用CAN总线技术，主控板则通过USB转CAN的方式对它们控制。移动搭载平台的运动和倾角传感器的使用，均采用了RS232串口通讯方式，当控制器接受到上位机的数据后，就将信号放大传给驱动器，驱动器与控制前、后、左、右运动的四个电机相连，进而控制各个电机来间接控制机器人本体的运动。而倾角传感器只需通过PL-2303USB转TTL串口线与工控机的USB接口相连，配合专用的上位机，就能反馈倾斜的角度信息。

[0058] 进一步的，本发明机器人人机交互无线网络远程控制，增强了对人的保护程度；机器人本体可以移动，扩大机器人的工作范围；通过控制摄像机支架上的三个轴上的步进电机，间接控制三轴全方位双目摄像机的前后、上下、左右运动，从而实现摄像机的全方位拍摄，同时通过DSP控制电机并通过CAN总线与上位机通信，掌握电机的转动信息，也就确定了三轴全方位双目摄像机的位置，使该机器人可广泛应用于有目标监视需求的场合；将图像处理引入到了机器人研发中，可满足对象多样化需求，增加机器人的使用领域；倾角传感器能获知机器人本体的倾斜信息，可配合机械臂准确抓物，也能反映工况的路面情况。

[0059] 另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

[0060] 通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

[0061] 综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

标题	发布/更新时间	阅读量
一种测试汽车控制器局域网络报文发送周期的系统和方法	2020-05-13	164
用于隔离控制器局域网络中的故障的方法和装置	2020-05-14	425
汽车控制器局域网络总线唤醒装置	2020-05-11	1018
收发器电路以及用于控制器局域网络的方法	2020-05-12	642
混合动力车控制器局域网网络结构	2020-05-11	168
控制器局域网络总线数据的测试方法及装置	2020-05-13	700
用于控制器局域网络中的断路线路故障检测和诊断的方法和装置	2020-05-14	540
用于隔离控制器局域网络中的故障的方法和装置	2020-05-14	295
控制器局域网络CAN信号的隔离电路和电子控制单元	2020-05-16	292
控制器局域网络总线控制盒	2020-05-14	171

一种机器人抓取物料包的方法和机器人抓取装置

一种机器人抓取物料包的方法和机器人抓取装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：