基于3D视觉传感器的双臂机器人控制方法及系统专利检索-骨骼分析诊断设备和程序专利检索查询-专利查询网

基于3D视觉 传感器的双臂 机器人控制方法及系统

阅读：985发布：2020-05-16

专利汇可以提供基于3D视觉传感器的双臂机器人控制方法及系统专利检索，专利查询，专利分析的服务。并且本发明涉及机器人控制技术领域，具体公开一种基于3D视觉传感器的双臂机器人控制方法，包括以下步骤：S1、通过3D视觉传感器获取手臂骨骼点的深度图像；S2、对所述深度图像进行分析，得到手臂骨骼点的位置信息；S3、根据所述深度图像中手臂骨骼点的位置信息，获取所述深度图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行对应动作。本发明有效的解决了现有通过鼠标和键盘、示教盒或穿戴设备等控制方式中存在的各种问题的技术效果。，下面是基于3D视觉传感器的双臂机器人控制方法及系统专利的具体信息内容。

权利要求

1.一种基于3D视觉传感器的双臂机器人控制方法，其特征在于，包括以下步骤：
S1、通过3D视觉传感器获取手臂骨骼点的图像；
S2、对所述图像进行分析，得到手臂骨骼点的位置信息；
S3、根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；
S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行与所述手臂所对应的动作。
2.如权利要求1所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，所述3D视觉传感器包括RGB摄像机，红外线发射装置及用于接收红外线的摄像机。
3.如权利要求2所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，所述3D视觉传感器所获取的图像包括深度图像及彩色图像。
4.如权利要求2所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，步骤S2还包括以下步骤：
通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。
5.如权利要求1所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，所述步骤S3包括以下步骤：
根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度；
根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。
6.一种基于3D视觉传感器的双臂机器人控制系统，其特征在于，包括以下模块：
3D视觉传感器，用于获取手臂骨骼点的图像；
图像分析模块，用于所述图像进行分析，得到手臂骨骼点的位置信息，以及根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；
机器人控制器，用于接收所述手臂骨骼的旋转角度信息，执行与所述手臂所对应的动作。
7.如权利要求6所述的基于3D视觉传感器的双臂机器人控制系统，其特征在于，所述图像分析模块，用于通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。
8.如权利要求6所述的基于3D视觉传感器的双臂机器人控制系统，其特征在于，所述图像分析模块，还用于根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度，以及根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。
9.一种基于3D视觉传感器的双臂机器人，其特征在于，包括如权利要求6-8任意一项权利要求所述的3D视觉传感器的双臂机器人控制系统。

说明书全文

基于3D视觉传感器的双臂 机器人控制方法及系统

技术领域

[0001] 本发明涉及机器人控制技术领域，特别涉及一种基于3D视觉传感器的双臂机器人控制方法及系统。

背景技术

[0002] 目前的双臂机器人多是采用鼠标、键盘、操纵杆或示教盒一类的外部设备来对机器人进行控制，但是此类方法操作起来非常繁琐，人机交互性比较差。另外，使用一些穿戴设备来控制机器人的造价又比较昂贵。因此，摆脱传统通过外部设备控制机器人的方法的问题成为了亟需解决的问题。

发明内容

[0003] 本发明旨在克服现有双臂机器人采用外部设备控制双臂，操作繁琐、交互性差的技术缺陷，提供一种基于3D视觉传感器的双臂机器人控制方法。

[0004] 为实现上述目的，本发明采用以下技术方案：

[0005] 一方面，本发明提供一种基于3D视觉传感器的双臂机器人控制方法，具体包括以下步骤：

[0006] S1、通过3D视觉传感器获取手臂骨骼点的图像；

[0007] S2、对所述图像进行分析，得到手臂骨骼点的位置信息；

[0008] S3、根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；

[0009] S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行与所述手臂所对应的动作。

[0010] 一些实施例中，所述3D视觉传感器包括RGB摄像机，红外线发射装置及用于接收红外线的摄像机。

[0011] 一些实施例中，所述3D视觉传感器所获取的图像包括深度图像及彩色图像。

[0012] 一些实施例中，步骤S2还包括以下步骤：

[0013] 通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。

[0014] 一些实施例中，所述步骤S3包括以下步骤：

[0015] 根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度；根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。

[0016] 此外，本发明还公开了一种基于3D视觉传感器的双臂机器人控制系统，包括以下模块：

[0017] 3D视觉传感器，用于获取手臂骨骼点的图像；

[0018] 图像分析模块，用于所述图像进行分析，得到手臂骨骼点的位置信息，以及根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；

[0019] 机器人控制器，用于接收所述手臂骨骼的旋转角度信息，执行与所述手臂所对应的动作。

[0020] 一些实施例中，所述图像分析模块，用于通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。

[0021] 一些实施例中，所述图像分析模块，还用于根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度，以及根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。

[0022] 此外，本发明还公开一种基于3D视觉传感器的双臂机器人，包括所述的3D视觉传感器的双臂机器人控制系统。

[0023] 本发明的有益效果在于：

[0024] 本发明通过3D视觉传感器来获取深度图像，并通过深度图像提取出人体双臂各骨骼点的三维数据点；对每个骨骼点进行跟踪，通过每一帧骨骼点的位置来计算机器人各轴的旋转角度，从而实现对机器人的控制，摆脱了传统通过外部设备对机器人控制方法的束缚。

[0025] 更加地，使用基于视觉的机器人控制方法不仅可以简单有效的对机器人进行实时控制，具有较高的人机交互性，同时还达到了适用于一些高危险、有毒性的环境的技术效果。附图说明

[0026] 图1为本发明一种基于3D视觉传感器的双臂机器人控制方法的流程图；

[0027] 图2为本发明一种基于3D视觉传感器的双臂机器人控制方法中3D视觉传感器的一个实施例；

[0028] 图3为本发明一种基于3D视觉传感器的双臂机器人控制方法中双臂骨骼点图；

[0029] 图4为本发明一种基于3D视觉传感器的双臂机器人控制方法一实施例中左臂骨骼点各坐标系图。

具体实施方式

[0030] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

[0031] 本发明的思路为：通过采用3D视觉传感器来获取深度图像，并机器人视觉分析器对获取到的深度图像进行分析，得到人体手臂骨骼点的位置信息，计算每一帧骨骼点在深度图像中的运动情况并发送给机器人控制器来转化成不同的动作，从而实现对机器人的控制。

[0032] 请参阅图1，为本发明一种基于3D视觉传感器的双臂机器人控制方法的流程图。本实施例中，基于3D视觉传感器的双臂机器人控制方法具体通过以下步骤实现：

[0033] 执行步骤S1，通过3D视觉传感器获取手臂骨骼点的图像。所获取的图像包括深度图像和彩色图像。

[0034] 如图2所示，本发明一个实施例中，3D视觉传感器由一个RGB摄像机，一个红外线发射装置和一个用于接收红外线的摄像机所组成。其中，RGB摄像机用来获取彩色图像，红外线发射器和红外线接收相机用来获取深度图像。所获取的彩色图像和深度图像的分辨率均为640×480，且每秒最多可拍摄30帧图像。

[0035] 执行步骤S2，对3D视觉传感器所获得的深度图像进行分析，得到手臂骨骼点的位置信息。

[0036] 如图3所示，本发明人体双臂由7个骨骼节点组成，分别为左手、左手肘、左肩膀、肩膀中心、右肩膀、右手肘、右手。其中肩膀中心为骨骼基点，也为左肩膀的父骨骼点。依此类推，左肩膀为左手肘父骨骼点、左手肘为左手父骨骼点，右手臂同理。在本步骤中，使用背景相减的方法从深度图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。具体地，以左手臂为例，以左肩膀臂骨骼点为原点建立如图4所示的左手臂基坐标系，则左肩膀骨骼点坐标为(0，0，0)。通过3D传感器得到左手臂各个骨骼点相对于左肩膀骨骼点基坐标系的坐标点。

[0037] 执行步骤S3，根据所述深度图像中手臂骨骼点的位置信息，获取所述深度图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度。

[0038] 由于使用运动学逆运算的方式来求各关节旋转角度会出现多解情况，且其运动路径也不一定是实际手臂的运动路径，所以本发明直接计算各个骨骼节点的旋转情况并对应控制机器人各轴进行相同角度转动，从而实现对机器人的控制。根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度；根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。

[0039] 具体地，结合图4，以左手臂骨骼点的计算过程为例，左肩膀骨骼点与左肘骨骼点相连组成左手臂的上臂，且设为上臂为l1。通过对人体上臂进行分析可知，在左肩膀骨骼点处由两个自由度组成，分别为上臂l1在YOZ平面绕X轴转动(对应机器人1轴)和在XOZ平面绕Y轴转动(对应机器人2轴)。根据所获取的每帧图像中左肘骨骼点在左肩膀骨骼点基坐标系的三维坐标点(x1，y1，z1)即可分别计算出上臂l1在YOZ平面及XOZ平面的转动角度。限定上臂l1在YOZ平面内只在Y正象限范围转动，即转动范围为±90度，

[0040] 所以则转动角

[0041] 限定上臂l1在XOZ平面内只在X正象限范围转动，即转动范围为±90度，[0042] 所以则转动角

[0043] 左肘骨骼点与左手骨骼点相连组成左手臂的下臂，设为下臂为l2。且下臂在左肘骨骼点处也由两个自由度组成。分别为l2在Y1O1Z1平面绕Y1轴转动(对应机器人3轴)和在X1O1Y1平面绕Z1轴转动(对应机器人4轴)。根据每帧中手骨骼点在肩膀骨骼点基坐标系的三维坐标点(x2，y2，z2)即可计算出下臂l2在Y1O1Z1平面及X1O1Y1平面的转动角度。限定下臂l2在Y1O1Z1平面内只在Y1正象限范围转动，即转动范围为±90度，所以则转动角[0044]

[0045] 限定下臂l2在X1O1Y1平面内只在X1正象限范围转动，根据人体下臂实际情况，该轴转动范围应为-45～90度，

[0046] 所以则转动角

[0047] 由于手骨骼点和肘骨骼点肯定不能重合，所以x2≠x1。从而得到了左手臂骨骼点的旋转角度。右手臂骨骼的旋转角度计算与左手臂骨骼同理，此处不再赘述。

[0048] 执行步骤S4，将手臂骨骼的旋转角度发送给机器人控制器，控制器控制机器人执行对应动作。

[0049] 相应地，本发明还公开一种基于3D视觉传感器的双臂机器人控制系统，包括以下模块：

[0050] 3D视觉传感器，用于获取手臂骨骼点的图像；

[0051] 图像分析模块，用于所述图像进行分析，得到手臂骨骼点的位置信息，以及根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度。具体地，图像分析模块用于通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。图像分析模块还用于根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度，以及根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。

[0052] 机器人控制器，用于接收所述手臂骨骼的旋转角度信息，执行与所述手臂所对应的动作。

[0053] 相应地，本发明还对应公开一种基于3D视觉传感器的双臂机器人，包括前述的3D视觉传感器的双臂机器人控制系统。

[0054] 本发明通过提供一种基于3D视觉传感器的双臂机器人控制方法，利用3D视觉传感器获取人体手臂骨骼点，在通过骨骼点的位置变化来实现对双臂机器人的控制，从而达到了有效的解决了现有通过鼠标和键盘、示教盒或穿戴设备等控制方式中存在的各种问题的有益效果。

[0055] 以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

标题	发布/更新时间	阅读量
基于视频的行为分析方法、装置、设备、系统及存储介质	2020-05-13	77
类骨骼肌直线网状阵列式人工肌肉设计及类神经控制方法	2020-05-14	216
基于骨骼时空特征及长短时记忆网络的人体动作识别方法	2020-05-15	156
一种基于关键骨骼点轨迹分析的摔倒动作检测方法	2020-05-12	30
动漫角色骨骼关节生理约束的生成系统及方法	2020-05-14	145
通过使用深度学习来分析骨骼创伤	2020-05-11	415
一种行人行为检测方法和系统	2020-05-15	467
一种基于红外扫描的人体骨骼运动分析方法	2020-05-11	188
移动式可穿戴下肢外骨骼康复机器人	2020-05-15	473
一种人体骨骼的行为分析系统	2020-05-11	483

基于3D视觉传感器的双臂机器人控制方法及系统

基于3D视觉传感器的双臂机器人控制方法及系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：