首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 基于物体图像特征点像素空间位置组合控制方法

基于物体图像特征点像素空间位置组合控制方法

阅读:783发布:2020-05-18

专利汇可以提供基于物体图像特征点像素空间位置组合控制方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了基于物体图像特征点 像素 空间 位置 组合控制方法,该方法是安装2D视觉系统摄像头进行机械人末端轴抓取物体特征的 图像采集 ,然后采用ORB特征点检测法测出图像中特征点的坐标集,计算坐标集对应点之间的几何距离,将几何距离大于其均值的点剔除;然后以 机器人 空间运动 坐标系 计算物体 水 平方向的速度、图像坐标系下的特征点的速度和位移,采用Lk光流计算各个特征点光流的 角 误差,以机械人动作控制信息求解的特征点位移作为光流的理想特征值,将角误差较大的点剔除;最后计算出特征点在像素坐标系下的动作速度误差并作为控制量进行控制。本发明不仅能够抑制机械人动作误差,还能够提高控制信息 精度 。,下面是基于物体图像特征点像素空间位置组合控制方法专利的具体信息内容。

1.基于物体图像特征点像素空间位置组合控制方法,其特征在于,包括以下步骤:
a、安装2D视觉系统摄像头,使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合;
b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集,在T0时刻采集到的图像为I0,在Tn时刻采集到的图像为In;
c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0;
d、将I0、P0、In作为输入量,通过LK光流金字塔法得出I0中的特征点在In中的坐标集pIn;
e、将In、pIn、I0作为输入量,通过LK光流金字塔法得出特征点集Pn在图I中的坐标集pI0;
f、计算pI0和pIn对应点之间的几何距离d0,然后求d0的均值,将几何距离d0大于d0的均值的点剔除;
g、将机器人空间运动坐标系定义为x、y、z、b坐标系,计算物体平方向的速度,得A速度;
h、使用A速度计算图像坐标系下的特征点速度,得B速度;
i、使用B速度计算图像坐标系下的特征点位移;
j、采用Lk光流计算公式计算各个特征点光流的误差,其中的n0个特征点光流的理想特征值,第ni个特征点使用LK金字塔光流算法所估计的光流变化值,k为两幅图像之间相隔的数;以机械人动作控制信息求解的特征点位移作为光流的理想特征值,将角误差较大的点剔除;
k、选取机械人动作控制系统的数学平台误差[σn、σe、σd],三个方向速度误差[φVn、φVe、φVd],xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量,X=[σnσeσdφVnφVeφVdσxσYσZbwx bwy bwz]T;
系统的噪声矩阵W设置为,
其中, 为机械人伺服电机反馈编码的测量的白噪声, 为
运动加速度测量的白噪声;
计算特征点在像素坐标系下的动作速度误差,将特征点在像素坐标系下的动作速度误差作为控制量;通过DSP控制系统根据控制量进行控制。
2.根据权利要求1所述的基于物体图像特征点像素空间位置组合控制方法,其特征在于:所述步骤g中的物体水平方向的速度为, 其中,[vbx,vby]T为
机械人末端轴在空间坐标系下水平方向速度的真实值,[δvbx,δvby]T为速度动作误差。
3.根据权利要求2所述的基于物体图像特征点像素空间位置组合控制方法,其特征在于:所述步骤h中的图像坐标系下的特征点速度为,
其中,f为2D视觉系统摄像头的焦距对焦值,Z为2D
视觉系统摄像头离地面的高度值。
4.根据权利要求3所述的基于物体图像特征点像素空间位置组合控制方法,其特征在于:所述步骤i中的特征点位移为
5.根据权利要求4所述的基于物体图像特征点像素空间位置组合控制方法,其特征在于:所述步骤k中的特征点在像素坐标系下的动作速度误差为

说明书全文

基于物体图像特征点像素空间位置组合控制方法

技术领域

[0001] 本发明涉及一种7轴串联机械人(6轴机械人+滑轨(龙))位置控制方法,特别是一种基于物体图像特征点像素空间位置组合控制方法。

背景技术

[0002] 现有的7轴串联机械人,一般由6轴机械人和滑轨(龙门)构成;其中的6轴机械人自带控制,6轴机械人的控制在与滑轨(龙门)动作电机控制配合时会出现精度及回程误差情况,而且该误差会随着时间和往返累积加大,导致动作误差发散严重,进而导致控制信息精度较低。因此,现有的7轴串联机械人控制时存在着动作误差发散严重和控制信息精度较低的问题。

发明内容

[0003] 本发明的目的在于,提供一种基于物体图像特征点像素空间位置组合控制方法。本发明不仅能够抑制机械人动作误差,还能够提高控制信息精度。
[0004] 本发明的技术方案:基于物体图像特征点像素空间位置组合控制方法,其特征在于,包括以下步骤:
[0005] a、安装2D视觉系统摄像头,使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合;
[0006] b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集,在T0时刻采集到的图像为I0,在Tn时刻采集到的图像为In;
[0007] c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0;
[0008] d、将I0、P0、In作为输入量,通过LK光流金字塔法得出I0中的特征点在In中的坐标集[0009] e、将In、 I0作为输入量,通过LK光流金字塔法得出特征点集Pn在图I中的坐标集
[0010] f、计算 和 对应点之间的几何距离d0,然后求d0的均值,将几何距离d0大于d0的均值的点剔除;
[0011] g、将机器人空间运动坐标系(即机械人机体系)定义为x、y、z、b坐标系,计算物体平方向的速度,得A速度;
[0012] h、使用A速度计算图像坐标系下的特征点速度,得B速度;
[0013] i、使用B速度计算图像坐标系下的特征点位移;
[0014] j、采用Lk光流计算公式计算各个特征点光流的误差,其中的n0个特征点光流的理想特征值,第ni个特征点使用LK金字塔光流算法所估计的光流变化值,k为两幅图像之间相隔的数;以机械人动作控制信息求解的特征点位移作为光流的理想特征值,将角误差较大的点剔除;
[0015] k、选取机械人动作控制系统的数学平台误差[σn、σe、σd],三个方向速度误差xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量,
[0016]
[0017] 系统的噪声矩阵W设置为,
[0018]
[0019] 其中, 为机械人伺服电机反馈编码的测量的白噪声,为运动加速度测量的白噪声;
[0020] 计算特征点在像素坐标系下的动作速度误差,将特征点在像素坐标系下的动作速度误差作为控制量;通过DSP控制系统根据控制量进行控制。
[0021] 前述的基于物体图像特征点像素空间位置组合控制方法中,所述步骤g中的物体水平方向的速度为, 其中,[vbx,vby]T为机械人末端轴在空间坐T
标系下水平方向速度的真实值,[δvbx,δvby]为速度动作误差。
[0022] 前述的基于物体图像特征点像素空间位置组合控制方法中,所述步骤h中的图像坐标系下的特征点速度为, 其中,f为2D视觉系统摄像头的焦距对焦值,Z为2D视觉系统摄像头离地面的高度值。
[0023] 前述的基于物体图像特征点像素空间位置组合控制方法中,所述步骤i中的特征点位移为
[0024]
[0025] 前述的基于物体图像特征点像素空间位置组合控制方法中,所述步骤k中的特征点在像素坐标系下的动作速度误差为
[0026]
[0027] 与现有技术相比,本发明使用2D视觉系统摄像头将机械人动作控制的速度信息转换到图像坐标系下,采用ORB特征点检测法将图像特征点的像素速度作为量测量对光流和DSP的信息进行深度融合,从而利用光流的信息对机械人动作控制的误差进行修正,同时通过计算特征点光流的角误差,利用机械人动作控制的信息提升光流的可靠性;最后计算特征点在像素坐标系下的动作速度误差,以该动作速度误差作为控制量,输出给7轴串联机械人进行空间位置补偿调整;利用光流算法的速度信息来抑制机械人动作控制信息的发散,同时也可以利用机械人动作控制输出的信息来提升光流信息求解的精度,从而能够抑制机械人动作误差,还能够提高控制信息精度。本发明采用计算特征点作为 与 之间距离d0的方式来剔除光流算法跟踪出错的点,能够有效的提升光流算法的准确性;同时,利用推出的特征点像素速度来修正光流速度信息,有效的增强光流算法抵抗图像局部干扰的能;从而最大程度地提高了控制信息精度,提高了7轴串联机械人在无人控制情况下的自主补偿调整能力和补偿调节精度。因此,本发明不仅能够抑制机械人动作误差,还能够提高控制信息精度,提高7轴串联机械人在无人控制情况下的自主补偿调整能力和补偿调节精度。附图说明
[0028] 图1是本发明的结构示意图;
[0029] 图2是ORB特征点光流检测流程图

具体实施方式

[0030] 下面结合实施例对本发明作进一步的说明,但并不作为对本发明限制的依据。
[0031] 实施例一。基于物体图像特征点像素空间位置组合控制方法,如图1所示,包括以下步骤:
[0032] a、安装2D视觉系统摄像头,使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合;
[0033] b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集,在T0时刻采集到的图像为I0,在Tn时刻采集到的图像为In;
[0034] c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0;
[0035] d、将I0、P0、In作为输入量,通过LK光流金字塔法得出I0中的特征点在In中的坐标集[0036] e、将In、 I0作为输入量,通过LK光流金字塔法得出特征点集Pn在图I中的坐标集
[0037] f、计算 和 对应点之间的几何距离d0,然后求d0的均值,将几何距离d0大于d0的均值的点剔除;
[0038] g、将机器人空间运动坐标系定义为x、y、z、b坐标系,计算物体水平方向的速度,得A速度;
[0039] h、使用A速度计算图像坐标系下的特征点速度,得B速度;
[0040] i、使用B速度计算图像坐标系下的特征点位移;
[0041] j、采用Lk光流计算公式计算各个特征点光流的角误差,其中的n0个特征点光流的理想特征值,第ni个特征点使用LK金字塔光流算法所估计的光流变化值,k为两幅图像之间相隔的帧数;以机械人动作控制信息求解的特征点位移作为光流的理想特征值,将角误差较大的点剔除;
[0042] k、选取机械人动作控制系统的数学平台误差[σn、σe、σd],三个方向速度误差xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量,
[0043]
[0044] 系统的噪声矩阵W设置为,
[0045]
[0046] 其中, 为机械人伺服电机反馈编码的测量的白噪声,为运动加速度测量的白噪声;
[0047] 计算特征点在像素坐标系下的动作速度误差,将特征点在像素坐标系下的动作速度误差作为控制量;通过DSP控制系统根据控制量进行控制。
[0048] 所述步骤g中的物体水平方向的速度为, 其中,[vbx,T T
vby] 为机械人末端轴在空间坐标系下水平方向速度的真实值,[δvbx,δvby]为速度动作误差。所述步骤h中的图像坐标系下的特征点速度为, 其
中,f为2D视觉系统摄像头的焦距对焦值,Z为2D视觉系统摄像头离地面的高度值。所述步骤i中的步骤i中的特征点位移为
[0049]
[0050] 所述步骤k中的特征点在像素坐标系下的动作速度误差为
[0051]
[0052] 实施例二。基于物体图像特征点像素空间位置组合控制方法,如图1所示,包括以下步骤:
[0053] a、安装2D视觉系统摄像头,使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合;
[0054] b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集,在T0时刻采集到的图像为I0,在Tn时刻采集到的图像为In;
[0055] c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0;
[0056] d、将I0、P0、In作为输入量,通过LK光流金字塔法得出I0中的特征点在In中的坐标集[0057] e、将In、 I0作为输入量,通过LK光流金字塔法得出特征点集Pn在图I中的坐标集
[0058] f、计算 和 对应点之间的几何距离d0,然后求d0的均值,将几何距离d0大于d0的均值的点剔除;
[0059] g、将机器人空间运动坐标系定义为x、y、z、b坐标系,计算物体水平方向的速度为[0060]
[0061] 其中,[vbx,vby]T为机械人末端轴在空间坐标系下水平方向速度的真实值,[δvbx,δvby]T为速度动作误差;得A速度;
[0062] h、使用A速度计算图像坐标系下的特征点速度为
[0063]
[0064] 其中,f为2D视觉系统摄像头的焦距对焦值,Z为2D视觉系统摄像头离地面的高度值;得B速度;
[0065] i、使用B速度计算图像坐标系下的特征点位移为
[0066]
[0067] j、采用Lk光流计算公式(Lk光流算法的光流特征及角误差计算,在百度文库中有详细论述,本发明直接套用其Lk光流计算公式:LK=Lucaskanade,翻译为:卢卡斯-卡纳德算法)计算各个特征点光流的角误差,其中的n0个特征点光流的理想特征值,第ni个特征点使用LK金字塔光流算法所估计的光流变化值,k为两幅图像之间相隔的帧数;以机械人动作控制信息求解的特征点位移作为光流的理想特征值,将角误差较大的点剔除;由于2D视觉系统摄像头两帧之间的间隔很短,机械人动作控制信息的误差较小,以机械人动作控制信息求解的特征点位移作为光流的理想特征值,将角误差较大的点剔除,可以有效的降低图像出现局部干扰造成的光流估算误差。
[0068] k、选取机械人动作控制系统的数学平台误差[σn、σe、σd],三个方向速度误差xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量,
[0069]
[0070] 系统的噪声矩阵W设置为,
[0071]
[0072] 其中, 为机械人伺服电机反馈编码的测量的白噪声,为运动加速度测量的白噪声;
[0073] 计算特征点在像素坐标系下的动作速度误差,将特征点在像素坐标系下的动作速度误差作为控制量;通过DSP控制系统根据控制量进行控制。
[0074] 其中ORB特征点光流算法流程的主要步骤为(如图2所示):
[0075] 1、2D视觉系统摄像头在t0时刻图像It0,并将其进行灰度变换得到灰度图[0076] 2、利用ORB特征点检测算法,获取 的局部特征点坐标
[0077] 3、采集ti时刻图像 进行灰度转换后得到灰度图
[0078] 4、将 作为输入,采用金字塔LK光流算法估算 图像上特征点坐标[0079] 5、将 作为输入,利用(4)中步骤,计算出Gt图像特征点坐标
[0080] 6、计算 与 之间的距离d并对其求均值,将大于均值的点认为是跟踪误差较大的点,进行剔除;
[0081] 7、求解准确光流。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈