首页 / 专利库 / 数学与统计 / 超平面 / 一种基于误差补偿的船槽定位方法

一种基于误差补偿的船槽定位方法

阅读:1026发布:2020-05-28

专利汇可以提供一种基于误差补偿的船槽定位方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于误差补偿的船槽 定位 方法,包括 集装箱船 舱位划分、船舱局部 边缘检测 、船槽导头定位、船槽误差补偿定位;本发明的有益效果为:用于船槽的定位,改善传统以人工引导为主的集装箱装卸工作模式,提升了 船舶 集装箱装卸数字化和智能化 水 平,是一项改善生产和工作环境的多赢工程,对提高作业效率、降低成本非常有利。,下面是一种基于误差补偿的船槽定位方法专利的具体信息内容。

1.一种基于误差补偿的船槽定位方法,包括集装箱船舱位划分、船舱局部边缘检测、船槽导头定位、船槽误差补偿定位;其特征在于:
所述的集装箱船舱位划分在进行集装箱装卸工作前,预先通过双目视觉系统扫描获取当前工作岸桥下对应的船舱位图像,并利用数学形态学完成船舱位边缘直线检测,进一步得到船舱位矩形区域的四坐标点,最后根据国标集装箱船导轨架安装工艺将矩形船舱位Eq划分为船槽矩形区域Ei并计算其对应的四角坐标,如式(1)和(2)所示;进一步,根据双目视觉技术计算得到每个船槽相对于海岸侧的静止岸桥吊具的位置矩阵M,如式(3)所示:
其中,P1,P2分别为矩形船舱位Eq下边两个角的坐标,P3,P4分别为矩形船舱位Eq上边两个角的坐标,P1和P3位于右边,P2和P4位于左边,船舱位从右往左开始划分,E1为第1个独立矩形区域, P1,P3为第1个独立矩形区域E1的四个角的坐标, P2,P4为第n个独立矩形区域En的四个角的坐标, 为第i个独立矩形区域Ei的四个角的坐标,i=1、
2…n;Dix,Diy和αi分别表示每个船槽相对于海岸侧的静止岸桥吊具在X方向和Y方向的位置偏移量以及偏转角。
2.如权利要求1所述的基于误差补偿的船槽定位方法,其特征在于:
所述船舱局部边缘检测、船槽导头定位与船槽误差补偿定位的具体步骤为:
步骤1:首先吊具从集卡上抓取到集装箱,控制系统根据之前预知的船槽位置矩阵M发出命令并向船舶方向进行平移动,将船舶方向记为Y方向;
步骤2:当吊具移动至预知的船槽位置的正上方时,同时打开以由四台工业相机构成的视觉系统,再根据岸桥轨上起升高度Hu控制吊具下放距离;
步骤3:当吊具离船舶舱口平面距离小于或者等于Hc时,相机实时连续捕获3张局部船舱图像,并采用Hough直线检测分别检测船舱的两条边缘线进行边界判定,计算两条边缘线中点坐标并取均值得到点Pc1和Pc2;
步骤4:与船槽矩形区域Ei两端的中心点Pi1、Pi2比较计算其在X轴方向上的偏移误差修正量Δex,其定义为:
其中, 表示P2点的横坐标和纵坐标,其余坐标含义以此类推;θ为当前检测位置与船槽矩形区域Ei在X方向的偏转角;
步骤5:采用词袋模型和SURF特征提取定位导轨架的导头,然后计算Y方向的误差修正量,具体为:
步骤5.1:将船槽导轨架的导头按其形状分为两类,一类为左视型,另一类为右视型,并分别对这两类图像提取SURF特征,将得到的每一个关键特征点定义为一个patch;
步骤5.2:将所有patch利用K-means算法进行聚类,构建成一个大小为100的词袋词典表,其每个聚类后得到的质心即为词典里的100个特征词;
步骤5.3:利用词典表中的词汇表示图像,即统计每幅图像的patch到每一个聚类质心的欧氏距离,若与某一个质心距离更近,则在对应的数值向量上加1,最后每幅图像都用一个100维的数值向量来表示;
步骤5.4:将所有通过上述步骤完成了词袋模型特征表示的两类船槽导轨架的导头图像作为正样本,其它背景图像作为负样本,利用SVM分类器进行训练,得到用于区分新对象分类的最佳超平面
步骤5.5:重新获取已完成了X方向误差修正的船舱局部图像,并进行船槽导头识别,具体为:将图像的底部区域分为左中右三部分,并且仅在左右两部分图像区域中采用滑动窗口完成导头的粗定位,采用的滑动窗口定位策略为:设定宽高比为固定值的矩形窗口,按照一定的步长滑动遍历目标图像,将在滑动窗口中采集到的子图作为SVM分类对象;当待检图像尺寸为Wid×Hei,滑动窗口大小为Swid×Shei,水平、竖直遍历步长为Step_X、Step_Y时,采集得到的对象数量则为:
步骤5.6:利用数学形态学方法检测识别到的导头的边缘直线,根据导头Y方向上的边缘直线与船舱边缘线的交点Pc3和Pc4与预知船槽矩形区域Ei两端的中心点Pi1、Pi2比较计算对Y轴方向上的偏移误差修正量Δey,其定义为:
其中 分别为点Pc3、Pc4、Pi1、Pi2在Y轴方向上的坐标;
步骤6:修正后船槽中心点坐标与吊具当前需移动的位移D′x、D′y以及方向偏转角α′为:
A=x1+x2+Δex+2x0            (10)
B=y1+y2+Δey+2y0            (11)
其中,x1和x2分别为XPc1和XPc2经过三维重建后在由四台工业相机构成的视觉系统物理坐标系下的横坐标;y1和y2分别为YPc1和YPc2经过三维重建后在由四台工业相机构成的视觉系统物理坐标系下的纵坐标;β为视觉系统相对于吊具系统在水平面的偏转角;(x0,y0)为视觉系统坐标系的原点在吊具系统坐标系下的坐标;
步骤7:从误差补偿起始高度Hc开始,直到吊具下降高度大于岸桥轨上起升高度Hu为止,视觉系统根据步骤1~步骤6不断更新偏移量D′x、D′y以及偏转角α′,控制系统根据这三个参数不断调整吊具位置和姿态,以确保能准确将集装箱装载到船槽。

说明书全文

一种基于误差补偿的船槽定位方法

技术领域

[0001] 本发明属于计算机视觉技术和图像处理技术领域,具体涉及用于船舶集装箱装卸的一种基于误差补偿的船槽定位方法。

背景技术

[0002] 随着国际贸易的迅速发展,航运逐渐成为促进外贸经济发展最重要的工具,其中集装箱运输是航运的核心,提高集装箱装卸效率直接影响到了港口装卸的市场竞争。港口集装箱的装卸主要体现在岸桥起重机上,从而提高岸桥起重机的装卸自动化能力是改善码头集装箱装卸的最有效的途径,其核心部分就是对船舶集装箱导轨定位(船槽)和箱体定位,进而引导起重机吊具的抓取、装卸等后续作业。
[0003] 为了实现集装箱运输的自动化,提高码头集装箱装卸效率以及安全性,该领域的相关国内外研究者对此都有研究,其中与本发明最接近的技术方案包括:发明专利(申请号:DE10107048,名称:一种集装箱起重机装卸的方法)中提出一种方便起重机驾驶员进行集装箱装卸的方法,驾驶员可通过观察监视器操作触摸屏,使起重机达到预先设定的目标位置,该方法虽然便利了操作,但在装卸集装箱时依赖于工作人员操作熟练程度;Wei L(Real-Time Container Shape and Range Recognition for Implementation of Container Auto-Landing System[J].Journal of Korea Multimedia Society,2009)与周崎(双小车岸边集装箱起重机自动装卸集装箱的关键技术[J].起重运输机械,2016)就双小车岸桥自动装载集装箱进行研究,利用摄像头采集集装箱图像并检查其位置,以此完成集装箱的抓取,以上方法只针对有集装箱在视觉范围内的情况,当空船需要进行装载集装箱时就会失效;张森(基于视频的集装箱检测与跟踪技术研究[D].中国海洋大学,2008)利用计算机视觉技术和视频目标跟踪技术完成对集装箱进行识别定位,以此完成岸桥的装卸作业,该方法同样是需要有集装箱在视觉范围内在可以实现集装箱的装卸。
[0004] 综上所述,在实现船舶集装箱的装卸时,现有的方法无法完全脱离集装箱本身进行操作,并且过多依赖于操作人员的经验,特别是在船舶为空船时,没有集装箱作为参考目标时,怎样精确地将集装箱放置在指定的船槽位置,这对于整个集装箱装卸是一个至关重要的工作,本发明针对这一不足提出了一种基于误差补偿的船槽定位方法。

发明内容

[0005] 本发明的目的在于解决上述问题,提供了一种基于误差补偿的船槽定位方法,解决在空船中无集装箱作为目标参照物时无法进行集装箱装卸的问题,极大地提高了岸桥起重机的装卸效率,并且提高集装箱装卸工作的安全性。
[0006] 本发明的具体技术方案如下:
[0007] 一种基于误差补偿的船槽定位方法,包括集装箱船舱位划分、船舱局部边缘检测、船槽导头定位、船槽误差补偿定位;
[0008] 所述的集装箱船船舱位划分在进行集装箱装卸工作前,预先通过双目视觉系统扫描获取当前工作岸桥下对应的船舱位图像,并利用数学形态学完成船舱位边缘直线检测,进一步得到船舱位矩形区域的四坐标点,最后根据国标集装箱船导轨架安装工艺将矩形船舱位Eq划分为船槽矩形区域Ei并计算其对应的四角坐标,如式(1)和(2)所示;进一步,根据双目视觉技术计算得到每个船槽相对于海岸侧的静止岸桥吊具的位置矩阵,如式(3)所示:
[0009]
[0010]
[0011]
[0012] 其中,P1,P2分别为矩形船舱Eq下边两个角的坐标,P3,P4分别为矩形船舱Eq上边两个角的坐标,P1和P3位于右边,P2和P4位于左边,船舱从右往左开始划分,E1为第一个独立矩形区域, P1,P3为第1个独立矩形区域E1的四个角的坐标, P2,P4为第n个独立矩形区域En的四个角的坐标, 为第i个独立矩形区域En的四个角的坐标;Dix,Diy和αi分别表示每个船槽相对于海一侧的静止岸桥吊具在X方向和Y方向的位置偏移量以及偏转角;
[0013] 所述船舱局部边缘检测、船槽导头定位与船槽误差补偿定位的具体步骤为:
[0014] 步骤1:首先吊具从集卡上抓取到集装箱,控制系统根据之前预知的船槽位置矩阵M发出命令并向船舶方向进行平移动,将船舶方向记为Y方向;
[0015] 步骤2:当吊具移动至预知的船槽位置的正上方时,同时打开以由四台工业相机构成的视觉系统,再根据岸桥轨上起升高度Hu控制吊具下放距离;
[0016] 步骤3:当吊具离船舶舱口平面距离小于等于Hc时,相机实时连续捕获3张局部船舱图像,并采用Hough直线检测分别检测船舱的两条边缘线进行边界判定,计算两条边缘线中点坐标并取均值得到点Pc1和Pc2;
[0017] 步骤4:与船槽矩形区域Ei两端的中心点Pi1、Pi2比较计算其在X轴方向上的偏移误差修正量Δex,其定义为:
[0018]
[0019]
[0020]
[0021]
[0022] 其中, 表示P2点的横坐标和纵坐标,其余坐标含义以此类推;θ为当前检测位置与船槽矩形区域Ei在X方向的偏转角;
[0023] 步骤5:采用词袋模型和SURF特征提取定位导轨架的导头,然后计算Y方向的误差修正量,具体为:
[0024] 步骤5.1:将船槽导轨架的导头按其形状分为两类,一类为左视型,另一类为右视型,并分别对这两类图像提取SURF特征,将得到的每一个关键特征点定义为一个patch;
[0025] 步骤5.2:将所有patch利用K-means算法进行聚类,构建成一个大小为100的词袋词典表,其每个聚类后得到的质心即为词典里的100个特征词;
[0026] 步骤5.3:利用词典表中的词汇表示图像,即统计每幅图像的patch到每一个聚类质心的欧氏距离,若与某一个质心距离更近,则在对应的数值向量上加1,最后每幅图像都用一个100维的数值向量来表示;
[0027] 步骤5.4:将所有通过上述步骤完成了词袋模型特征表示的两类船槽导轨架的导头图像作为正样本,其它背景图像作为负样本,利用SVM分类器进行训练,得到用于区分新对象分类的最佳超平面
[0028] 步骤5.5:重新获取已完成了X方向误差修正的船舱局部图像,并进行船槽导头识别,具体为:将图像的底部区域分为左中右三部分,并且仅在左右两部分图像区域中采用滑动窗口完成导头的粗定位,采用的滑动窗口定位策略为:设定宽高比为固定值的矩形窗口,按照一定的步长滑动遍历目标图像,将在滑动窗口中采集到的子图作为SVM分类对象;当待检图像尺寸为Wid×Hei,滑动窗口大小为Swid×Shei,水平、竖直遍历步长为Step_X、Step_Y时,采集得到的对象数量则为:
[0029] 步骤5.6:利用数学形态学方法检测识别到的导头的边缘直线,根据导头Y方向上的边缘直线与船舱边缘线的交点Pc3和Pc4与预知船槽Ei两端的中心点Pi1、Pi2比较计算对Y轴方向上的偏移误差修正量Δey,其定义为:
[0030]
[0031] 步骤6:修正后船槽中心点坐标与吊具当前需移动的位移D′x、D′y以及方向偏转角α′为:
[0032]
[0033] A=x1+x2+Δex+2x0   (10)
[0034] B=y1+y2+Δey+2y0   (11)
[0035] 其中,x1和x2分别为XPc1和XPc2经过三维重建后在由四台工业相机构成的视觉系统物理坐标系下的横坐标;y1和y2分别为YPc1和YPc2经过三维重建后在由四台工业相机构成的视觉系统物理坐标系下的纵坐标;β为视觉系统相对于吊具系统在水平面的偏转角;(x0,y0)为视觉系统坐标系的原点在吊具系统坐标系下的坐标;
[0036] 步骤7:从误差补偿起始高度Hc开始,直到吊具下降高度大于岸桥Hu为止,视觉系统根据步骤1~步骤6不断更新偏移量D′x、D′y以及偏转角α′,控制系统根据这三个参数不断调整吊具位置和姿态,以确保能准确将集装箱装载到船槽。
[0037] 本发明的有益效果为:用于船槽的定位,改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,是一项改善生产和工作环境的多赢工程,对提高作业效率、降低成本非常有利。附图说明
[0038] 图1为误差补偿的船槽定位方法流程图
[0039] 图2为实施例中岸桥吊具位移坐标示意图;
[0040] 图3为实施例中船槽X和Y方向误差补偿示意图;
[0041] 图4为实施例中船槽导头定位示意图;
[0042] 图5为实施例中船槽导头检测结果示意图。

具体实施方式

[0043] 下面结合附图对本发明进行进一步的说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
[0044] 图1是根据本发明的实施例的船槽定位方法整体流程图。
[0045] 如图1所示,根据本发明实施例的流程图,包括集装箱船舱位划分、船舱局部边缘检测、船槽导头定位、船槽误差补偿定位;
[0046] 本发明的一种基于误差补偿的船槽定位方法具体实施如下:
[0047] 一种基于误差补偿的船槽定位方法,包括集装箱船舱位划分、船舱局部边缘检测、船槽导头定位、船槽误差补偿定位;
[0048] 所述的集装箱船船舱位划分在进行集装箱装卸工作前,预先通过双目视觉系统扫描获取当前工作岸桥下对应的船舱位图像,并利用数学形态学完成船舱位边缘直线检测,进一步得到船舱位矩形区域的四角坐标点,最后根据国标集装箱船导轨架安装工艺将矩形船舱位Eq划分为船槽矩形区域Ei并计算其对应的四角坐标,如式(1)和(2)所示;进一步,根据双目视觉技术计算得到每个船槽相对于海岸侧的静止岸桥吊具的位置矩阵,如式(3)所示:
[0049]
[0050]
[0051]
[0052] 其中,P1,P2分别为矩形船舱Eq下边两个角的坐标,P3,P4分别为矩形船舱Eq上边两个角的坐标,P1和P3位于右边,P2和P4位于左边,船舱从右往左开始划分,E1为第一个独立矩形区域, P1,P3为第1个独立矩形区域E1的四个角的坐标, P2,P4为第n个独立矩形区域En的四个角的坐标, 为第i个独立矩形区域En的四个角的坐标;Dix,Diy和αi分别表示每个船槽相对于海一侧的静止岸桥吊具在X方向和Y方向的位置偏移量以及偏转角;
[0053] 所述船舱局部边缘检测、船槽导头定位与船槽误差补偿定位的具体步骤为:
[0054] 步骤1:首先吊具从集卡上抓取到集装箱,控制系统根据之前预知的船槽位置矩阵M发出命令并向船舶方向进行水平移动,将船舶方向记为Y方向,如图2所示;
[0055] 步骤2:当吊具移动至预知的船槽位置的正上方时,同时打开以由四台工业相机构成的视觉系统,再根据岸桥轨上起升高度Hu控制吊具下放距离;
[0056] 步骤3:当吊具离船舶舱口平面距离小于等于Hc时,相机实时连续捕获3张局部船舱图像,并采用Hough直线检测分别检测船舱的两条边缘线进行边界判定,计算两条边缘线中点坐标并取均值得到点Pc1和Pc2;
[0057] 步骤4:与船槽矩形区域Ei两端的中心点Pi1、Pi2比较计算其在X轴方向上的偏移误差修正量Δex,如图3所示,其定义为:
[0058]
[0059]
[0060]
[0061]
[0062] 其中, 表示P2点的横坐标和纵坐标,其余坐标含义以此类推;θ为当前检测位置与船槽矩形区域Ei在X方向的偏转角;
[0063] 步骤5:采用词袋模型和SURF特征提取定位导轨架的导头,然后计算Y方向的误差修正量,具体为:
[0064] 步骤5.1:将船槽导轨架的导头按其形状分为两类,一类为左视型,另一类为右视型,并分别对这两类图像提取SURF特征,将得到的每一个关键特征点定义为一个patch;
[0065] 步骤5.2:将所有patch利用K-means算法进行聚类,构建成一个大小为100的词袋词典表,其每个聚类后得到的质心即为词典里的100个特征词;
[0066] 步骤5.3:利用词典表中的词汇表示图像,即统计每幅图像的patch到每一个聚类质心的欧氏距离,若与某一个质心距离更近,则在对应的数值向量上加1,最后每幅图像都用一个100维的数值向量来表示;
[0067] 步骤5.4:将所有通过上述步骤完成了词袋模型特征表示的两类船槽导轨架的导头图像作为正样本,其它背景图像作为负样本,利用SVM分类器进行训练,得到用于区分新对象分类的最佳超平面;
[0068] 步骤5.5:重新获取已完成了X方向误差修正的船舱局部图像,并进行船槽导头识别,具体为:将图像的底部区域分为左中右三部分,并且仅在左右两部分图像区域中采用滑动窗口完成导头的粗定位,采用的滑动窗口定位策略为:设定宽高比为固定值的矩形窗口,按照一定的步长滑动遍历目标图像,将在滑动窗口中采集到的子图作为SVM分类对象;当待检图像尺寸为Wid×Hei,滑动窗口大小为Swid×Shei,水平、竖直遍历步长为Step_X、Step_Y时,采集得到的对象数量则为: 其检测结果如图4和图5所示;
[0069] 步骤5.6:利用数学形态学方法检测识别到的导头的边缘直线,根据导头Y方向上的边缘直线与船舱边缘线的交点Pc3和Pc4与预知船槽Ei两端的中心点Pi1、Pi2比较计算对Y轴方向上的偏移误差修正量Δey,如图3所示,其定义为:
[0070]
[0071] 步骤6:修正后船槽中心点坐标与吊具当前需移动的位移D′x、D′y以及方向偏转角α′为:
[0072]
[0073] A=x1+x2+Δex+2x0   (10)
[0074] B=y1+y2+Δey+2y0   (11)
[0075] 其中,x1和x2分别为XPc1和XPc2经过三维重建后在由四台工业相机构成的视觉系统物理坐标系下的横坐标;y1和y2分别为YPc1和YPc2经过三维重建后在由四台工业相机构成的视觉系统物理坐标系下的纵坐标;β为视觉系统相对于吊具系统在水平面的偏转角;(x0,y0)为视觉系统坐标系的原点在吊具系统坐标系下的坐标;
[0076] 步骤7:从误差补偿起始高度Hc开始,直到吊具下降高度大于岸桥Hu为止,视觉系统根据步骤1~步骤6不断更新偏移量D′x、D′y以及偏转角α′,控制系统根据这三个参数不断调整吊具位置和姿态,以确保能准确将集装箱装载到船槽。
[0077] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈