一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法和设备

申请号 CN202210380962.9 申请日 2022-04-12 公开(公告)号 CN114908670B 公开(公告)日 2023-05-16
申请人 哈尔滨工程大学; 哈尔滨哈船减摇自动化设备有限公司; 发明人 宋吉广; 史洪宇; 张松涛; 梁利华; 吉明; 王经甫; 杨生;
摘要 本 发明 提出一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法和设备。本发明所述方法是在伸缩桥靠近顶端的 位置 安装 双目视觉 相机,融合视觉相机和运动参考单元对栈桥顶端的 姿态 信息,使栈桥顶端位置测量更加准确,对 船舶 运动的补偿更加精确。同时应用基于视觉的目标检测与 跟踪 技术,实现栈桥至 风 电桩爬梯的一键搭接,减少对栈桥操作人员的技术要求。
权利要求

1.一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法,其特征在于,所述方法具体包括以下步骤:
步骤1、安装在伸缩桥顶端的双目相机以电桩桩上的标记点为基准,通过特征点的提v
取测量出伸缩桥顶端的运动,并转换为相对大地坐标系的坐标x;
步骤2、通过安装在栈桥回转轴俯仰轴和伸缩轴的传感器获得栈桥的位姿和转换矩阵参数;
步骤3、提供过安装在栈桥底座的运动参考单元测量船舶的运动,并通过转换矩阵转换m
为伸缩桥顶端相对大地坐标系的坐标x;
v m
步骤4、通过x和x的融合获得更准确的伸缩桥顶端坐标x;
步骤5、当栈桥控制手柄无动作时,保持伸缩桥顶端当前坐标x(k)始终跟踪初始坐标x(0),此时设定目标坐标xr(k)=x(0),k表示时间序列;
步骤6、当按下“建立通道”键时,视觉相机以最大补偿量为目标,确定最优的插入梯蹬,并以此梯蹬中心点作为最终目标位置xe,以x(0)为起始点,以xe为终止点进行路径规划;
步骤7、通过实时改变xr(k)值的方式进行路径跟踪,直至桥顶端坐标x(k)到达目标位置xe,此时插入板已经插入梯蹬,完成通道的建立;
步骤8、退出路径跟踪模式,转入伸缩补偿模式,此时栈桥回转自由度和俯仰自由度进入自由状态,视觉相机测量伸缩桥顶端与风电桩的距离,通过控制伸缩液压缸,将此距离保持不变;
步骤9、当伸缩桥顶端与风电桩的距离大于设定阈值时,此时伸缩自由度超过补偿范围,发出报警,回转自由度和俯仰自由度恢复到位置伺服状态,栈桥收回到安全位置。
2.根据权利要求1所述的方法,其特征在于,在步骤1中,利用双目视觉相机采集风电桩、靠船柱和爬梯的图像进行特征点提取与匹配,为了加快图像处理速度,使用描述子BRIEF对特征点进行描述,并使用监测子FAST对特征点进行获取,即利用定向FAST和旋转BRIEF算法进行特征点的提取。
3.根据权利要求2所述的方法,其特征在于,在步骤1中,以开始主动运动补偿开始时刻的图像作为初始帧F0,通过当前帧Fk与初始帧F0基于特征点法计算栈桥顶端的坐标变化式中, 分别为栈桥顶端在大地坐标系O‑XYZ中X,Y,Z三个坐标轴的坐
标,此坐标变化值即为栈桥顶端相对大地坐标系的偏离值。
4.根据权利要求3所述的方法,其特征在于,在步骤3中,以开始主动运动补偿开始时刻,运动参考单元测量值作为初始值M0,通过当前时刻运动参考单元测量值Mk与初始值M0,计算运维船在首摇、纵摇和垂荡三个方向的变化量ψm,θm,zm,则经过运动参考单元获得栈桥顶端的坐标变化:
式中,L1为栈桥底座和支座高度之和,L2为俯仰桥的长度,L3为伸缩桥伸出的长度,ψg表示栈桥的回转量,θg表示栈桥的俯仰量, 分别为经过运动参考单元获得的栈桥顶端在大地坐标系O‑XYZ中X,Y,Z三个坐标轴的坐标。
5.根据权利要求4所述的方法,其特征在于,在步骤4中,通过无迹Kalman滤波器,融合通过视觉相机测量的栈桥顶端坐标变化 和通过运动参考单元测量的栈桥顶端坐标变化 获得融合后的栈桥顶端坐标相对初始坐标x(0)变化量x(k),T
为简便起见设x(0)=[0,0,0],则变化量x(k)即为栈桥顶端坐标值。
6.根据权利要求5所述的方法,其特征在于,在步骤5中,为了补偿该变化量x(k),通过反解矩阵计算栈桥在回转,俯仰和伸缩三个自由度的姿态值ψ(k),p(k),e(k),通过液压缸运动,驱动栈桥到达该姿态值,使栈桥顶端坐标变化量x(k)趋近于0,即x(k)跟踪xr(k)=x(0)。
7.根据权利要求6所述的方法,其特征在于,在步骤6中,通过帧Fj与Fj‑1(j=1,…,k)基于特征点法计算俯仰桥处于平位置时,栈桥顶端水平投影对风电桩基础爬梯梯蹬的变化量,以变换量的均值所对应的梯蹬作为栈桥搭接的目标梯蹬xe,以x(0)为起始点,以xe为终止点进行路径规划。
8.根据权利要求7所述的方法,其特征在于,在步骤7中,当按下“建立通道”键时,以栈桥回转,俯仰和伸缩液压缸的运动速度为约束,更改xr(k)为规划路径上的点,此时,栈桥顶端将跟踪变化的xr(k)。
9.根据权利要求8所述的方法,其特征在于,在步骤8中,直至桥顶端坐标x与目标位置xe之间的距离小于设定值,此时插入板已经插入梯蹬,完成通道的建立;转入伸缩补偿模式,此时栈桥回转自由度和俯仰自由度进入自由状态,视觉相机实时测量伸缩桥顶端与风电桩的距离,通过控制伸缩液压缸,将此距离保持不变。

说明书全文

一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法

和设备

技术领域

[0001] 本发明属于主动式海浪补偿功能的海上平台搭接栈桥技术领域,特别是涉及一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法和设备。实现栈桥在高海况下对电桩等海上平台自动的搭接,完成人员通道的建立。

背景技术

[0002] 随着海上能源的开采和利用,需要在工作母船和海上平台之间完成人员和物资的转运,然而由于海流和海浪的影响,会使工作母船产生六个自由度的摇荡,严重降低了人员和物资转运的效率和安全性。
[0003] 风能是一种清洁的可再生能源,相比陆上风电,离岸风电具有强劲和不占用耕地等优点。我国在沿海具有丰富的风能,而沿海地区正是我国经济发达,对电力需要较高的区域,可以减小电力传输成本。大力发展离岸风电,对转变能源构成和实现中和具有重要意义!
[0004] 然而,离岸风电的巡检和运维成本要远远高于陆地风电。为了适应潮汐的变化和不同甲板高度的风电运维船,我国的离岸风电桩很多被设计成在基础平台下具有很高基础爬梯。目前的登乘方式大都采用顶靠或侧靠的方式,使运维船靠在风电桩上,运维人员携带备件和工具直接从船舶甲板迈向风电桩的基础爬梯。强劲海风造成的风浪,使运维船舶产生剧烈的摇晃,风浪和海流的影响,使运维船甲板与基础爬梯之间的距离和相对高度处于时刻变化中,对人员和物资的安全性和可达性产生非常不利的影响。
[0005] 具有主动运动补偿(Active Motion Compensation,AMC)的栈桥能够消除或减小船舶运动对栈桥的影响,建立相对安全的通道。针对不同的结构形式的风电桩,运动补偿栈桥被设计成不同的形式,以与风电桩相适应。如图1所示,常采用的一种栈桥方式为安装在运维船的前甲板的三自由度栈桥,采用顶靠的方式使船头靠近靠船柱。栈桥结构如图1所示。主要由底座(B1)、支座(B2)、俯仰桥(B3)、伸缩桥(B4)、伸缩桥顶端的插入板(B5)和斜梯(B6)、运动参考单元(S1)和两个视觉相机(S2)组成。栈桥具有回转、俯仰和伸缩三个自由度,可以补偿运维船纵荡、横荡、垂荡、首摇、纵摇五个自由度的运动,使栈桥顶端位置相对大地坐标系(或风电桩)保持基本不变。因此构建从运维船到爬梯的安全通道。
[0006] 运动参考单元可以测量出运维船在六个自由度的运动,控制器通过回转液压缸、俯仰液压缸和伸缩液压缸的运动进行补偿。然而,运动参考单元基于惯性器件来获得运维船在六个自由度方向上的运动,误差会随着时间增大。尤其在垂荡方向上的实时测量精度一直是运动参考单元研究的难点。同时,栈桥机械间隙等影响了对栈桥顶端的控制效果。
[0007] 运维船大幅度的摇荡,尤其是纵摇和垂荡过程中的时变加速度,会造成人员晕船并降低工作效率。此时通过操纵手柄来操作栈桥,使栈桥顶端的插入板插入离岸风电桩基础爬梯的梯蹬变得困难。

发明内容

[0008] 本发明目的是为了解决现有技术中的问题,提出了一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法和设备。
[0009] 本发明是通过以下技术方案实现的,本发明提出一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法,所述方法具体包括以下步骤:
[0010] 步骤1、安装在伸缩桥顶端的双目相机以风电桩桩上的标记点为基准,通过特征点v的提取测量出伸缩桥顶端的运动,并转换为相对大地坐标系的坐标x;
[0011] 步骤2、通过安装在栈桥回转轴、俯仰轴和伸缩轴的传感器获得栈桥的位姿和转换矩阵参数;
[0012] 步骤3、提供过安装在栈桥底座的运动参考单元测量船舶的运动,并通过转换矩阵m转换为伸缩桥顶端相对大地坐标系的坐标x;
[0013] 步骤4、通过xv和xm的融合获得更准确的伸缩桥顶端坐标x;
[0014] 步骤5、当栈桥控制手柄无动作时,保持伸缩桥顶端当前坐标x(k)始终跟踪初始坐标x(0),此时设定目标坐标xr(k)=x(0),k表示时间序列;
[0015] 步骤6、当按下“建立通道”键时,视觉相机以最大补偿量为目标,确定最优的插入梯蹬,并以此梯蹬中心点作为最终目标位置,以为起始点,以为终止点进行路径规划;
[0016] 步骤7、通过实时改变值的方式进行路径跟踪,直至桥顶端坐标到达目标位置,此时插入板已经插入梯蹬,完成通道的建立;
[0017] 步骤8、退出路径跟踪模式,转入伸缩补偿模式,此时栈桥回转自由度和俯仰自由度进入自由状态,视觉相机测量伸缩桥顶端与风电桩的距离,通过控制伸缩液压缸,将此距离保持不变;
[0018] 步骤9、当伸缩桥顶端与风电桩的距离大于设定阈值时,此时伸缩自由度超过补偿范围,发出报警,回转自由度和俯仰自由度恢复到位置伺服状态,栈桥收回到安全位置。
[0019] 进一步地,在步骤1中,利用双目视觉相机采集风电桩、靠船柱和爬梯的图像进行特征点提取与匹配,为了加快图像处理速度,使用描述子BRIEF对特征点进行描述,并使用监测子FAST对特征点进行获取,即利用定向FAST和旋转BRIEF算法进行特征点的提取。
[0020] 进一步地,在步骤1中,以开始主动运动补偿开始时刻的图像作为初始帧F0,通过当前帧Fk与初始帧F0基于特征点法计算栈桥顶端的坐标变化 式中,分别为栈桥顶端在大地坐标系O‑XYZ中X,Y,Z三个坐标轴的坐标,此坐标变化值即为栈桥顶端相对大地坐标系的偏离值。
[0021] 进一步地,在步骤3中,以开始主动运动补偿开始时刻,运动参考单元测量值作为初始值M0,通过当前时刻运动参考单元测量值Mk与初始值M0,计算运维船在首摇、纵摇和垂荡三个方向的变化量ψm,θm,zm,则经过运动参考单元获得栈桥顶端的坐标变化:
[0022]
[0023] 式中,L1为栈桥底座和支座高度之和,L2为俯仰桥的长度,L3为伸缩桥伸出的长度,ψg表示栈桥的回转量,θg表示栈桥的俯仰量, 分别为经过运动参考单元获得的栈桥顶端在大地坐标系O‑XYZ中X,Y,Z三个坐标轴的坐标。
[0024] 进一步地,在步骤4中,通过无迹Kalman滤波器,融合通过视觉相机测量的栈桥顶端坐标变化 和通过运动参考单元测量的栈桥顶端坐标变化获得融合后的栈桥顶端坐标相对初始坐标x(0)变化量x(k),为简便起见设x(0)=[0,0,0T
],则变化量x(k)即为栈桥顶端坐标值。
[0025] 进一步地,在步骤5中,为了补偿该变化量x(k),通过反解矩阵计算栈桥在回转,俯仰和伸缩三个自由度的姿态值ψ(k),p(k),e(k),通过液压缸运动,驱动栈桥到达该姿态值,使栈桥顶端坐标变化量x(k)趋近于0,即x(k)跟踪xr(k)=x(0)。
[0026] 进一步地,在步骤6中,通过帧Fj与Fj‑1(j=1,…,k)基于特征点法计算俯仰桥处于平位置时,栈桥顶端水平投影对风电桩基础爬梯梯蹬的变化量,以变换量的均值所对应的梯蹬作为栈桥搭接的目标梯蹬xe,以x(0)为起始点,以xe为终止点进行路径规划。
[0027] 进一步地,在步骤7中,当按下“建立通道”键时,以栈桥回转,俯仰和伸缩液压缸的运动速度为约束,更改xr(k)为规划路径上的点,此时,栈桥顶端将跟踪变化的xr(k)。
[0028] 进一步地,在步骤8中,直至桥顶端坐标x与目标位置xe之间的距离小于设定值,此时插入板已经插入梯蹬,完成通道的建立;转入伸缩补偿模式,此时栈桥回转自由度和俯仰自由度进入自由状态,视觉相机实时测量伸缩桥顶端与风电桩的距离,通过控制伸缩液压缸,将此距离保持不变。
[0029] 本发明提出一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法的步骤。
[0030] 本发明的有益效果为:
[0031] (1)应用双目视觉相机测量栈桥顶端的运动,并与运动参考单元测量的船舶运动相融合,克服了桥体机械传动误差和惯性器件的累积误差,提高了运动补偿精度。
[0032] (2)通过视觉相机直接导引栈桥插入板插入风电桩爬梯,完成通道建立,降低了对操作人员的技术要求。附图说明
[0033] 图1为栈桥组成示意图;其中B1底座;B2支座;B3俯仰桥;B4伸缩桥;B5插入板;B6斜梯;Y1回转液压缸;Y2俯仰液压缸;Y3伸缩液压缸;S1运动参考单元;S2视觉相机;
[0034] 图2为栈桥搭接风电桩示意图;其中B4伸缩桥;B5插入板;C1爬梯;S2视觉相机;
[0035] 图3为栈桥自动搭接流程图

具体实施方式

[0036] 下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0037] 本发明的目的是在伸缩桥靠近顶端的位置(如图1)安装双目视觉相机,融合视觉相机和运动参考单元对栈桥顶端的姿态信息,使栈桥顶端位置测量更加准确,对船舶运动的补偿更加精确。同时应用基于视觉的目标检测与跟踪技术,实现栈桥至风电桩爬梯的一键搭接,减少对栈桥操作人员的技术要求。
[0038] 结合图1‑图3,本发明提出一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法,所述方法具体包括以下步骤:
[0039] 步骤1、安装在伸缩桥顶端的双目相机以风电桩桩上的标记点为基准,通过特征点v的提取测量出伸缩桥顶端的运动,并转换为相对大地坐标系的坐标x;
[0040] 步骤2、通过安装在栈桥回转轴、俯仰轴和伸缩轴的传感器获得栈桥的位姿和转换矩阵参数;
[0041] 步骤3、提供过安装在栈桥底座的运动参考单元测量船舶的运动,并通过转换矩阵m转换为伸缩桥顶端相对大地坐标系的坐标x;
[0042] 步骤4、通过xv和xm的融合获得更准确的伸缩桥顶端坐标x;
[0043] 步骤5、当栈桥控制手柄无动作时,保持伸缩桥顶端当前坐标x(k)始终跟踪初始坐标x(0),此时设定目标坐标xr(k)=x(0),k表示时间序列;
[0044] 步骤6、当按下“建立通道”键时,视觉相机以最大补偿量为目标,确定最优的插入梯蹬,并以此梯蹬中心点作为最终目标位置xe,以x(0)为起始点,以xe为终止点进行路径规划;
[0045] 步骤7、通过实时改变xr(k)值的方式进行路径跟踪,直至桥顶端坐标x(k)到达目标位置xe,此时插入板已经插入梯蹬,完成通道的建立;
[0046] 步骤8、退出路径跟踪模式,转入伸缩补偿模式,此时栈桥回转自由度和俯仰自由度进入自由状态,视觉相机测量伸缩桥顶端与风电桩的距离,通过控制伸缩液压缸,将此距离保持不变;以防止插入板受船舶运动影响脱出爬梯的梯蹬。
[0047] 步骤9、当伸缩桥顶端与风电桩的距离大于设定阈值时,此时伸缩自由度超过补偿范围,发出报警,回转自由度和俯仰自由度恢复到位置伺服状态,栈桥收回到安全位置。
[0048] 在步骤1中,利用双目视觉相机采集风电桩、靠船柱和爬梯的图像进行特征点提取与匹配,为了加快图像处理速度,使用描述子BRIEF对特征点进行描述,并使用监测子FAST对特征点进行获取,即利用定向FAST和旋转BRIEF算法(Oriented FAST and Rotated BRIEF)进行特征点的提取。
[0049] 在步骤1中,以开始主动运动补偿开始时刻的图像帧作为初始帧F0,通过当前帧Fk与初始帧F0基于特征点法计算栈桥顶端的坐标变化 式中, 分别为栈桥顶端在大地坐标系O‑XYZ中X,Y,Z三个坐标轴的坐标,此坐标变化值即为栈桥顶端相对大地坐标系的偏离值。在此过程中通过关键特征点建造的稀疏地图和回环检测方法,提高视觉定位的精度。
[0050] 在步骤3中,以开始主动运动补偿开始时刻,运动参考单元测量值作为初始值M0,通过当前时刻运动参考单元测量值Mk与初始值M0,计算运维船在首摇、纵摇和垂荡三个方向的变化量ψm,θm,zm,则经过运动参考单元获得栈桥顶端的坐标变化:
[0051]
[0052] 式中,L1为栈桥底座和支座高度之和,L2为俯仰桥的长度,L3为伸缩桥伸出的长度,ψg表示栈桥的回转量,θg表示栈桥的俯仰量, 分别为经过运动参考单元获得的栈桥顶端在大地坐标系O‑XYZ中X,Y,Z三个坐标轴的坐标。
[0053] 在步骤4中,通过无迹Kalman滤波器,融合通过视觉相机测量的栈桥顶端坐标变化和通过运动参考单元测量的栈桥顶端坐标变化 获得融合T
后的栈桥顶端坐标相对初始坐标x(0)变化量x(k),为简便起见设x(0)=[0,0,0] ,则变化量x(k)即为栈桥顶端坐标值。
[0054] 在步骤5中,为了补偿该变化量x(k),通过反解矩阵计算栈桥在回转,俯仰和伸缩三个自由度的姿态值ψ(k),p(k),e(k),通过液压缸运动,驱动栈桥到达该姿态值,使栈桥顶端坐标变化量x(k)趋近于0,即x(k)跟踪xr(k)=x(0)。
[0055] 在步骤6中,通过帧Fj与Fj‑1(j=1,…,k)基于特征点法计算俯仰桥处于水平位置时,栈桥顶端水平投影对风电桩基础爬梯梯蹬的变化量,以变换量的均值所对应的梯蹬作为栈桥搭接的目标梯蹬xe,以x(0)为起始点,以xe为终止点进行路径规划。
[0056] 在步骤7中,当按下“建立通道”键时,以栈桥回转,俯仰和伸缩液压缸的运动速度为约束,更改xr(k)为规划路径上的点,此时,栈桥顶端将跟踪变化的xr(k)。
[0057] 在步骤8中,直至桥顶端坐标x与目标位置xe之间的距离小于设定值,此时插入板已经插入梯蹬,完成通道的建立;转入伸缩补偿模式,此时栈桥回转自由度和俯仰自由度进入自由状态,视觉相机实时测量伸缩桥顶端与风电桩的距离,通过控制伸缩液压缸,将此距离保持不变。
[0058] 本发明提出一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法的步骤。
[0059] 以上对本发明所提出的一种基于视觉和运动参考单元融合的栈桥自动搭接控制方法和设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
QQ群二维码
意见反馈