技术领域
[0001] 本
发明涉及
机器人视觉领域，具体地，涉及一种基于差分
进化算法的手眼标定参数辨识方法、系统及介质。
背景技术
[0002]
机器人视觉系统是机器人控制领域中常见的控制系统之一。视觉系统能够为机器人提供丰富地环境信息，指导机器人进行正确的决策，完成预定的动作。为了在统一的坐标
框架下对视觉系统捕捉的图像数据和机器人
工作空间中的三维运动数据进行分析，需要对机器人视觉系统进行手眼标定，以获得视觉
传感器坐标系和机器人末端坐标系之间的变换关系。
[0003] 机器人视觉系统的手眼标定有许多方法，较常用的有凸优化方法，其将手眼标定求解问题转化为L∞范数上的凸优化问题进行求解，有效地避免了局部最优问题。如
专利文献CN 104842371A公开的一种基于非最小化最
优化算法的
机器人手眼标定方法。但是这种方法在使用时所得的标定矩阵可能不落在特殊欧氏群SE(3)上，标定结果在使用前需要经过
正交化进行处理，且无法严格证明处理后的标定矩阵仍是全局最优的。基于上述考虑，本研究提出基于差分进化算法的手眼标定参数辨识方法，在考虑特殊欧氏群SE(3)约束的前提下，能够保证所得标定结果的全局最优性，改善了手眼标定的
精度，具有重要的理论和现实意义。
发明内容
[0004] 针对
现有技术中的
缺陷，本发明的目的是提供一种基于差分进化算法的手眼标定参数辨识方法、系统及介质。
[0005] 根据本发明提供的一种基于差分进化算法的手眼标定参数辨识方法，包括：
[0006]
数据采集步骤：将机器人视觉系统的机器人末端移动到不同
位姿处，采集
机器人关节数据和相机图像数据；
[0007] 矩阵计算步骤：根据采集到的机器人关节数据和相机图像数据，分别计算机器人末端相对于机器人
基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵；
[0008] 优化确定步骤：根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵，定义旋转分量标定误差函数和平移分量标定误差函数，确定手眼标定问题多目标优化函数；
[0009] 求解步骤：利用差分进化算法求解手眼标定问题，获取最优手眼标定参数；
[0010] 验证步骤：分别计算机器人视觉系统的旋转部分和平移部分的标定误差，验证最优手眼标定参数的准确性；
[0011] 标定步骤：采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
[0012] 优选地，所述数据采集步骤中，是在保证相机能够观察到标定板的前提下，将机器人末端移动到不同位姿处，采集机器人关节数据和相机图像数据。
[0013] 优选地，所述矩阵计算步骤中，机器人末端相对于机器人基座坐标系的位姿矩阵由正运动学进行求取，标定板相对于相机坐标系的位姿矩阵 由
立体视觉或张正友标定法进行求取。
[0014] 优选地，所述优化确定步骤中，
[0015]
移动机器人末端到两个不同
位置采集数据，推导得到的手眼标定系统模型为AX＝XB (13)
[0016] 其中，对于眼在手机器人视觉系统， 式中 和 分别表示第i个位置处i＝1,2，机器人末端相对于基座坐标系的位姿矩阵和标定板相对于相机坐标系C的位姿矩阵， 表示第1个位置处相机相对于机器人末端坐标系E的位姿矩阵；
[0017] 对于眼到手机器人视觉系统， 式中和 分别表示第i个位置处i＝1,2，基座相对于机器人末端坐标系E的位姿矩阵和相机C相对于标定板坐标系O的位姿矩阵， 表示相机相对于基座坐标系B的位姿矩阵；
[0018] 在手眼标定时，若标定过程共采集了n组标定数据Ai和Bi，其中i＝1,2...,n，则旋转分量上的误差函数Er定义为：
[0019]
[0020] 式中 分别为Ai和Bi的旋转矩阵所对应的李代数，RX∈SO(3)为齐次变换矩阵X对应的旋转矩阵，||·||2表示二范数算子，对于平移分量的误差函数Et定义为：
[0021]
[0022] 式中， 表示齐次变换矩阵Ai对应的旋转矩阵， 分别表示齐次变换矩阵Ai,Bi和X对应的平移向量，记三维向量γ为旋转矩阵RX对应的李代数，定义决策向量 为：
[0023]
[0024] 定义手眼标定问题对应的标定误差函数为：
[0025] f(x)＝Er(x)+λEt(x) (17)
[0026] 式中，λ为权重系数，则手眼标定问题的数学模型表示为：
[0027]
[0028] 优选地，所述求解步骤包括：
[0029] 生成初代种群：在6维空间中，设定各个维度的上界和下界，随机产生M个符合约束条件的6维向量xi(i＝1,2...,M)；
[0030] 变异操作：设当前种群处于第t代，对于下一代的变异个体hi(t+1)，其产生的方式为：
[0031] hi(t+1)＝xp(t)+F(xq(t)-xk(t)) (19)
[0032] 式中，xp(t)，xq(t)和xk(t)均为第t代个体，且p≠q≠k≠i，F为变异因子；若hi(t+1)的第j个分量hij(t+1)，j＝1,2...,6，不满足约束条件，则需要对其进行圆整；
[0033] 交叉操作：对变异个体hi(t+1)进行交叉，生成新的待选个体vi(t+1)，具体的操作为：
[0034]
[0035] 式中，vij(t+1)和xij(t)分别为vi(t+1)和xi(t)的第j个分量，j＝1,2...,6，r为区间[0,1]内的随机数，CR∈[0,1]为交叉因子；
[0036] 选择操作：通过评价函数确定种群进化方向，生成第t+1代个体：
[0037]
[0038] 定义第t代种群中对应评价函数值最小的个体为第t代的最优个体，在产生新一代种群后，若算法
迭代次数达到最大迭代次数，则停止迭代，否则重新执行变异操作到选择操作，迭代结束后，得到手眼标定问题的最优解。
[0039] 优选地，所述验证步骤包括：
[0040] 针对求解步骤获得的矩阵X，采集m组矩阵As和Bs，s＝1,2...,m，进行标定误差校验，定义变换矩阵As的估计值为：
[0041]
[0042] 相应地，定义估计As时的平移误差et和旋转误差eR为：
[0043]
[0044]
[0045] 式中，和ts分别为 和As对应的平移向量， 和Rs分别为 和As对应的旋转矩阵，计算估计过程中的平均平移估计误差和平均旋转估计误差，并与预先设定的误差限进行比较，若平均平移估计误差或平均旋转估计误差大于误差限，则调整权重系数λ的值重新计算，直至平均平移估计误差和平均旋转估计误差都小于误差限为止。
[0046] 根据本发明提供的一种基于差分进化算法的手眼标定参数辨识系统，包括：
[0047] 数据采集模
块：将机器人视觉系统的机器人末端移动到不同位姿处，采集机器人关节数据和相机图像数据；
[0048] 矩阵计算模块：根据采集到的机器人关节数据和相机图像数据，分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵；
[0049] 优化确定模块：根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵，定义旋转分量标定误差函数和平移分量标定误差函数，确定手眼标定问题多目标优化函数；
[0050] 求解模块：利用差分进化算法求解手眼标定问题，获取最优手眼标定参数；
[0051] 验证模块：分别计算机器人视觉系统的旋转部分和平移部分的标定误差，验证最优手眼标定参数的准确性；
[0052] 标定模块：采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
[0053] 优选地，所述数据采集模块中，是在保证相机能够观察到标定板的前提下，将机器人末端移动到不同位姿处，采集机器人关节数据和相机图像数据。
[0054] 优选地，所述矩阵计算模块中，机器人末端相对于机器人基座坐标系的位姿矩阵由正运动学进行求取，标定板相对于相机坐标系的位姿矩阵 由立体视觉或张正友标定法进行求取。
[0055] 根据本发明提供的一种存储有
计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于差分进化算法的手眼标定参数辨识方法的步骤。
[0056] 与现有技术相比，本发明具有如下的有益效果：
[0057] 与传统的手眼标定方法相比，能够保证获得的标定结果的全局最优性，与现有的凸优化手眼标定法相比，本方法能够保证获得的标定结果落在特殊欧氏群SE(3)上，避免了对标定所得旋转矩阵正交化所额外引入的计算。
附图说明
[0058] 通过阅读参照以下附图对非限制性
实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0059] 图1为眼在手机器人视觉系统示意图。
[0060] 图2为眼到手机器人视觉系统示意图。
[0061] 图3为测试样本的平移估计误差示意图。
[0062] 图4为测试样本的旋转估计误差示意图。
具体实施方式
[0063] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0064] 根据本发明提供的基于差分进化算法的手眼标定参数辨识方法，包括如下步骤：
[0065] 步骤1：以一个机器人视觉系统为试验对象，将机器人末端移动到不同位姿处，采集机器人关节数据和对应的相机图像数据；
[0066] 步骤2：通过正运动学计算机器人末端位姿矩阵，通过立体视觉或张正友标定法计算目标相对于相机坐标系的位姿矩阵；
[0067] 步骤3：基于李群李代数理论，定义旋转分量标定误差函数和平移分量标定误差函数，确定标定问题的目标函数；
[0068] 步骤4：利用差分进化算法求解优化问题，获取最优手眼标定参数；
[0069] 步骤5：分别计算旋转部分和平移部分的标定误差，验证标定误差是否满足预先设定的误差限。
[0070] 步骤6：采用符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
[0071] 所述步骤1，具体为：
[0072] 按照图1和图2所示机器人视觉系统示意图，对于图1所示的眼在手系统，其相机固定于机器人末端，采集数据时将标定板固定于世界坐标系，在确保相机可观察到标定板的条件下，移动机器人末端至若干个位置，分别记录各个位置处机器人的各个
关节角度和各个相机的图像数据；对于图2所示的眼到手系统，其相机固定于世界坐标系，采集数据时将标定板固定于机器人末端，移动机器人末端至若干个位置，分别记录各个位置处机器人的各个关节角度和各个相机的图像数据。其中，B为机器人基座坐标系，E为机器人末端坐标系，O为标定板坐标系，C为相机坐标系。
[0073] 所述步骤2，具体为：
[0074] 假设标定过程共采集了n个机器人末端位置的数据，记机器人基座坐标系为{B}，目标物体坐标系为{O}，第i个位置处机器人末端坐标系为{Ei}，第i个位置处相机坐标系为{Ci}，其中i＝1,2...,n。机器人末端相对于机器人基座的位姿矩阵 为第i个位置处机器人关节向量qi的函数，可通过机器人正运动学求取。记目标相对于相机坐标系的位姿矩阵为 当系统为多相机系统时，位姿矩阵 可通过立体视觉与多目图像特征匹配方法求得；当系统为单相机系统时，可以使用张正友标定法对单目相机进行标定，再利用标定得到的结果计算位姿矩阵
[0075] 所述步骤3，具体为：
[0076] 对于图1所示的眼在手机器人视觉系统，依次移动机器人末端到两个不同位置采集数据，由坐标变换关系可以推导得：
[0077]
[0078] 其中， 表示第i个位置处(i＝1,2)相机相对于机器人末端坐标系的位姿矩阵。对公式(25)进行变换，得到如下等式：
[0079]
[0080] 由于机器人末端移动时，相机始终固连在机器人末端，相机相对于机器人末端坐标系的位姿始终不变，可得到如下等式：
[0081]
[0082] 令 则公式(26)可变换为：
[0083] AX＝XB (28)
[0084] 对于图2所示的眼到手机器人视觉系统，依次移动机器人末端到两个不同位置采集数据，由于在机器人末端运动过程中，目标物体始终固连在机器人末端，可以得到如下等式：
[0085]
[0086] 其中， 表示第i个位置处(i＝1,2)目标物体相对于机器人末端坐标系的位姿矩阵，通过坐标变换关系可以推导得
[0087]
[0088] 其中， 和 分别表示第i个位置处(i＝1,2)机器人基座相对于末端坐标系的位姿矩阵和目标物体相对于相机坐标系的位姿矩阵， 表示相机相对于机器人基座坐标系的位姿矩阵。对公式(30)进行变换，得到如下等式：
[0089]
[0090] 令 则公式(31)可变换为公式(28)。即两类机器人视觉系统的手眼标定求解都可以转换为公式(28)所示的方程求解问题。将公式(28)中的矩阵展开，可得如下等式：
[0091]
[0092] 其中，RA,RB,RX∈SO(3)表示旋转矩阵， 表示平移向量。分析公式(32)可知，求解公式(32)等价于求解RX和bX，使其满足以下方程：
[0093] RARX＝RXRB (33)
[0094] RAbX+bA＝RXbB+bX (34)
[0095] 根据李群李代数理论，公式(33)可改写为
[0096] α＝RXβ (35)
[0097] 式中 分别为旋转矩阵RA和RB对应的李代数。若手眼标定过程共采集了n组标定数据Ai和Bi，其中i＝1,2...,n。则旋转分量上的误差函数Er可以定义为[0098]
[0099] 式中αi和βi分别为Ai和Bi的旋转矩阵所对应的李代数，||·||2表示二范数算子。对于公式(34)所示的平移分量，其误差函数可以定义为
[0100]
[0101] 式中， 表示齐次变换矩阵Ai对应的旋转矩阵， 分别表示齐次变换矩阵Ai和Bi对应的平移向量。记三维向量γ为旋转矩阵RX对应的李代数，定义决策向量 为
[0102]
[0103] 对于每一个x，在SE(3)上都有唯一的齐次变换矩阵X与之对应。为了使手眼标定的平移误差和旋转误差都达到最小，定义手眼标定问题对应的目标函数为
[0104] f(x)＝Er(x)+λEt(x) (39)
[0105] 式中，λ为权重系数。则手眼标定问题的数学模型可以表示为
[0106]
[0107] 所述步骤4，具体为：
[0108] 为了求解式(40)所示的优化问题，采用差分进化算法进行计算，算法实现包含如下步骤：
[0109] (1)生成初代种群。在6维空间中，设定各个维度的上界和下界，随机产生M个符合约束条件的6维向量xi(i＝1,2...,M)。
[0110] (2)变异操作。设当前种群处于第t代，对于下一代的变异个体hi(t+1)，其产生的方式为
[0111] hi(t+1)＝xp(t)+F(xq(t)-xk(t)) (41)
[0112] 式中，xp(t)，xq(t)和xk(t)均为第t代个体，且p≠q≠k≠i，F为变异因子。若hi(t+1)的第j个分量hij(t+1)(j＝1,2...,6)不满足约束条件，则需要对其进行圆整。
[0113] (3)交叉操作。对变异个体hi(t+1)进行交叉，生成新的待选个体vi(t+1)，具体的操作为
[0114]
[0115] 式中，vij(t+1)和xij(t)分别为vi(t+1)和xi(t)的第j个分量(j＝1,2...,6)，r为区间[0,1]内的随机数，CR∈[0,1]为交叉因子。
[0116] (4)选择操作。通过评价函数确定差分进化方向，生成第t+1代个体：
[0117]
[0118] 定义第t代种群中对应评价函数值最小的个体为第t代的最优个体。在产生新一代种群后，若算法迭代次数达到最大迭代次数，则停止迭代，否则重新执行(2)到(4)。迭代结束后，末代最优个体即为优化问题的最优解。
[0119] 步骤5：针对步骤4获得的齐次变换矩阵X，采集m组齐次变换矩阵As和Bs(s＝1,2...,m)进行标定误差校验。定义变换矩阵As的估计值为
[0120]
[0121] 相应地，定义估计As时的平移误差et和旋转误差eR为
[0122]
[0123]
[0124] 式中，和ts分别为 和As对应的平移向量， 和Rs分别为 和As对应的旋转矩阵。计算估计过程中的平均平移估计误差和平均旋转估计误差，并与预先设定的误差限进行比较。若平均平移估计误差或平均旋转估计误差大于误差限，则调整权重系数λ的值重新计算，直至平均平移估计误差和平均旋转估计误差都小于误差限为止。
[0125] 更为具体地，下面结合具体手眼标定任务实例说明本发明的具体实施方案，实验采用眼在手机器人视觉系统，相机通过连接件固定于机器人
末端执行器，标定板固定于桌面上，标定过程中保持标定板不动，机器人移动相机到各个位姿处对标定板进行拍摄。其中使用的机器人为UR10六
自由度工业机器人，使用的相机为大恒MER-131-75GM/C单目工业相机。机器人基座与世界坐标系固连，相机通过连接件固定于机器人末端，标定板固定于桌面，与世界坐标系固连。在手眼标定过程中，移动机器人末端至17处不同的位姿，并通过工业相机捕捉不同位置处观察到的标定板图片，记录相机图像数据和对应的机器人关节数据。根据所得数据，可以获得16组齐次变换矩阵Ai和Bi，使用其中的前9组进行手眼标定，后7组用于手眼标定结果的准确性验证。在构造手眼标定优化问题的目标函数时，设定权重系数λ＝0.2。在使用差分进化算法获取优化问题最优解时，设定种群个体数量M＝30，变异因子F＝1.2，交叉因子CR＝0.9，最大迭代次数为1000。根据先验知识，设定种群的上界向量下界向量
[0126] 将已知参数代入发明内容中的步骤1-步骤5，针对各个测试样本，得到的平移分量和旋转分量上的估计误差如图3和图4所示。
[0127] 图3中，各式所表示的含义如下：s表示测试样本的编号，et表示获得的手眼标定结果在平移分量上对测试样本的估计误差。图中“CO”表示文献1中正交矩阵形式的凸优化方法的标定结果对应的平移分量估计误差，由虚线和圆形标记描述；“DE”表示本方法的标定结果对应的平移分量估计误差，由实线和正方形标记描述。
[0128] 图4中，各式所表示的含义如下：s表示测试样本的编号，eR表示获得的手眼标定结果在旋转分量上对测试样本的估计误差。图中“CO”表示文献1中正交矩阵形式的凸优化方法的标定结果对应的旋转分量估计误差，由虚线和圆形标记描述；“DE”表示本方法的标定结果对应的旋转分量估计误差，由实线和正方形标记描述。
[0129] 在实验过程中，采用正交矩阵形式的凸优化方法与本方法进行对比，该方法引自文献1ZHAO Zijian.,2011，Hand-Eye Calibration Using Convex Optimization.IEEE International Conference on Robotics and Automation.从图3和图4分析可知，本方法在考虑了特殊欧氏群SE(3)约束的前提下，获得的标定结果在验证过程中拥有较小的平移估计误差和旋转估计误差。进一步分析可知，本方法的平均平移估计误差为0.0033m，平均旋转估计误差为0.0034，而凸优化方法的平均平移估计误差为0.0053m，平均旋转估计误差为0.0049。该数据进一步说明了本方法的可行性和有效性。
[0130] 在上述一种基于差分进化算法的手眼标定参数辨识方法的
基础上，本发明还提供一种基于差分进化算法的手眼标定参数辨识系统，包括：
[0131] 数据采集模块：将机器人视觉系统的机器人末端移动到不同位姿处，采集机器人关节数据和相机图像数据；
[0132] 矩阵计算模块：根据采集到的机器人关节数据和相机图像数据，分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵；
[0133] 优化确定模块：根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵，定义旋转分量标定误差函数和平移分量标定误差函数，确定手眼标定问题多目标优化函数；
[0134] 求解模块：利用差分进化算法求解手眼标定问题，获取最优手眼标定参数；
[0135] 验证模块：分别计算机器人视觉系统的旋转部分和平移部分的标定误差，验证最优手眼标定参数的准确性；
[0136] 标定模块：采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
[0137] 本发明可应用于计算机可读存储介质中，在计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于差分进化算法的手眼标定参数辨识方法的步骤。
[0138] 本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以
逻辑门、
开关、专用集成
电路、可编程逻辑
控制器以及嵌入式
微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种
硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的
软件模块又可以是硬件部件内的结构。
[0139] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在
权利要求的范围内做出各种变化或
修改，这并不影响本发明的实质内容。在不冲突的情况下，本
申请的实施例和实施例中的特征可以任意相互组合。
