首页 / 专利库 / 钓鱼与渔业 / 收线 / 一种基于线结构光的仓库车辆位置检测系统及方法

一种基于线结构光的仓库车辆位置检测系统及方法

阅读:1发布:2020-11-12

专利汇可以提供一种基于线结构光的仓库车辆位置检测系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种基于线结构光的仓库车辆 位置 检测系统及方法,能够提高仓库车辆位置信息的检测准确度。所述系统,包括:设于停车区域尾部正上方的相机安装 支架 、设于相机安装支架上的相机、与相机相连的拍照 开关 和 光源 控制器 、N套线结构光安装支架,设于N套线结构光安装支架上的N个线结构光、信息处理 服务器 和显示器;所述相机,用于在运输车辆停在停车区域后,根据拍照开关发出的拍照 信号 ,通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器;所述信息处理服务器,用于对接收到的图像进行处理,得到运输车辆位置信息并显示在显示器上。本发明涉及智能仓储物流领域。,下面是一种基于线结构光的仓库车辆位置检测系统及方法专利的具体信息内容。

1.一种基于线结构光的仓库车辆位置检测系统,其特征在于,包括:设于停车区域尾部正上方的相机安装支架、设于相机安装支架上的相机、与相机相连的拍照开关光源控制器、N套线结构光安装支架,设于N套线结构光安装支架上的N个线结构光、信息处理服务器和显示器;
所述相机,用于在运输车辆停在停车区域后,根据拍照开关发出的拍照信号,通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器;
所述信息处理服务器,用于对接收到的图像进行处理,得到运输车辆位置信息并显示在显示器上,其中,所述位置信息包括:运输车辆两侧和尾部的位置,以及运输车辆的停放度、车辆高度信息。
2.根据权利要求1所述的基于线结构光的仓库车辆位置检测系统,其特征在于,所述系统还包括:设于相机安装支架上的冷装置;
所述风冷装置,用于对相机进行降温处理。
3.根据权利要求2所述的基于线结构光的仓库车辆位置检测系统,其特征在于,所述系统还包括:冷装置;
相机的电源线和信号线、线结构光的电源线、光源控制器的电源线,以及风冷装置的电源线都包裹在水冷装置的送水管道和回水管道之间。
4.一种基于线结构光的仓库车辆位置检测方法,其特征在于,包括:
通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程;
当运输车辆停在停车区域后,根据拍照开关发出的拍照信号,标定好的相机通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器,信息处理服务器对接收到图像进行处理,确定运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息。
5.根据权利要求4所述的基于线结构光的仓库车辆位置检测方法,其特征在于,所述通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程包括:
将标定板位于地面、标定板X轴方向与车辆长度方向平行的标定图像作为基准标定平面,标定出相机内参Min及地平面外参Mex0,其中,地平面外参对应的坐标系为基准世界坐标系;
对标定板上只有第i条线结构光光条的图像进行采集,得到ni张标定图像,基于采集的标定图像,标定含有第i条线结构光光条的标定板平面对应的外参 并确定在局部世界坐标系下第i条线结构光光条与标定板的交点坐标,其中,i=1,2...N;j=1,2,3…ni,j表示标定图像的编号;
将确定的局部世界坐标系下第i条线结构光光条与标定板的交点坐标转换到基准世界坐标系中;
根据转换得到的第i条线结构光光条与标定板的交点在基准世界坐标系下的坐标,确定第i条线结构光光平面在基准世界坐标系下的方程。
6.根据权利要求5所述的基于线结构光的仓库车辆位置检测方法,其特征在于,所述对标定板上只有第i条线结构光光条的图像进行采集,得到ni张标定图像,基于采集的标定图像,标定含有第i条线结构光光条的标定板平面对应的外参 并确定在局部世界坐标系下第i条线结构光光条与标定板的交点坐标包括:
B1,获取ni张只有第i条线结构光光条的标定图像,其中,图像编号j=1,2…ni;标定板第H行的第1列、W-1列和第W列的标定圆圆心分别为点A、B、C,H、W分别为标定板短边圆点数、长边圆点数;标定板第(H+1)/2行的第1列、W-1列和第W列的标定圆圆心分别为点D、E、F;标定板第1行的第1列、W-1列和第W列的标定圆圆心分别为点G、H、I;第i条线结构光光条与线段AB、DE、GH分别内交于点
B2,获取j=1的标定图像的旋转外参ωij、δij、θij和平移外参Tixj、Tiyj、Tizj,得到旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij,根据得到的旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij,确定j=1的标定图像对应的外参
B3,根据交比不变定理、图像中不同点之间的像素距离、实际距离,计算
三个交点在当前标定板位置
下的局部世界坐标系下的坐标:
其中,D为标定板中相邻圆点中心之间的距离ABp,ACp,CL1p,BL1p,DEp,DFp,FL2p,EL2p,GHp,GIp,IL3p,HL3p为相应点之间在图像坐标系中的像素距离;AB,BC,AC,CI为相应点在标定板上的实际距离;
B4,重复步骤B2—步骤B3,确定局部世界坐标系下编号j=2,3…ni对应图像中线结构光光条与标定板的交点坐标。
7.根据权利要求6所述的基于线结构光的仓库车辆位置检测方法,其特征在于,所述将确定的局部世界坐标系下第i条线结构光光条与标定板的交点坐标转换到基准世界坐标系中包括:
将局部世界坐标系下第i条线结构光光条与标定板的交点坐标 统一转
i i i
换到基准世界坐标系中,得到坐标(Xwm,Ywm,Zwm):
其中,k=1,2,3,用于表示每张标定图像中第i条线结构光光条与标定板的三个交点;m=1,2,...,j*k,m表示第i条线结构光光条与标定板的交点个数;Mex0表示地平面外参;
所述根据转换得到的第i条线结构光光条与标定板的交点在基准世界坐标系下的坐标,确定第i条线结构光光平面在基准世界坐标系下的方程包括:
利用得到的坐标(Xiwm,Yiwm,Ziwm)拟合第i条线结构光在基准世界坐标系下的平面方程:
AiX+BiY+CiZ=1,其中,Ai,Bi,Ci为第i条线结构光光平面在基准世界坐标系下的方程系数;
X、Y、Z表示第i条线结构光光条与标定板的交点在基准世界坐标系中的坐标。
8.根据权利要求7所述的基于线结构光的仓库车辆位置检测方法,其特征在于,所述信息处理服务器对接收到图像进行处理,确定运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息包括:
提取图像中第i条线结构光光条中心线,确定第i条线结构光光条中心线上点的像素坐标;
根据标定出的相机内参Min、地平面外参Mex0及第i条线结构光光平面在基准世界坐标系下的方程,将确定的第i条线结构光光条中心线上点的像素坐标转换到基准世界坐标系下,通过对坐标高度的判断,获取车辆上线结构光的特征点在基准世界坐标系下的坐标;
根据得到的车辆上线结构光的特征点在基准世界坐标系下的坐标,确定车辆两侧和车辆尾部的位置、车辆停放角度以及车辆高度信息。
9.根据权利要求8所述的基于线结构光的仓库车辆位置检测方法,其特征在于,N=4;
所述将确定的第i条线结构光光条中心线上点的像素坐标转换到基准世界坐标系下,通过对坐标高度的判断,获取车辆上线结构光的特征点在基准世界坐标系下的坐标包括:
将第i条线结构光光条轮廓的点的像素坐标(u,v)i转换至基准世界坐标系下,得到坐标值(Xw,Yw,Zw)i;
提取(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i;
当i=1时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(Xw,min(Yw),Zw)i,记录为特征点1:(X1,Y1,Z1),并提取Yw最大值对应的点(Xw,max(Yw),Zw)i,记录为特征点6:(X6,Y6,Z6);
当i=2时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(Xw,min(Yw),Zw)i,记录为特征点2:(X2,Y2,Z2),并提前Yw最大值对应的点(Xw,max(Yw),Zw)i,记录为特征点5:(X5,Y5,Z5);
当i=3时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Xw最小值对应的点(min(Xw),Yw,Zw)i,记录为特征点3:(X3,Y3,Z3);
当i=4时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(min(Xw),Yw,Zw)i,记录为特征点4:(X4,Y4,Z4)。
10.根据权利要求9所述的基于线结构光的仓库车辆位置检测方法,其特征在于,所述根据得到的车辆上线结构光的特征点在基准世界坐标系下的坐标,确定车辆两侧和车辆尾部的位置、车辆停放角度以及车辆高度信息包括:
确定车辆的高度Hch:
其中,Zp为特征点1、2、3、4、5、6对应的Z坐标;
确定车辆尾部坐标Wch:
其中,X3、X4分别为特征点3、特征点4对应的X坐标;
确定车辆两侧坐标Wch1和Wch2:
其中,Y1、Y2、Y5、Y6分别为特征点1、特征点2、特征点5和特征点6对应的Y坐标;
确定车辆向左偏的角度αch:
其中,X1、X2、X5、X6分别为特征点1、特征点2、特征点5和特征点6对应的X坐标。

说明书全文

一种基于线结构光的仓库车辆位置检测系统及方法

技术领域

[0001] 本发明涉及智能仓储物流领域,特别是指一种基于线结构光的仓库车辆位置检测系统及方法。

背景技术

[0002] 在智能仓库物料装卸过程中,准确获取车辆的位置信息是实现自动装卸的重要前提之一。如果不能获取或无法准确获取车辆的位置信息,天车设备就无法将物吊运至运输车辆上。为了能够准确获取车辆的位置信息,首先要完成的就是对车辆重要位置信息的检测,目前车辆位置信息的获取主要依靠激光扫描技术来定位车辆,但是由于激光扫描设备价格昂亏,对于尺寸大的目标物体,扫描用时长,效率较低,这些问题限制了激光扫描技术在工厂中的广泛应用。
[0003] 随着机器视觉技术的飞速发展,使得可以通过二维图像来获取目标物体的三维信息。因此,采用计算机视觉的手段获取车辆的位置信息是可行的。
[0004] 现有技术一、中国专利CN201910510863.6公开了一种基于三维场景图像确定车辆当前位置信息的方法和系统,其通过采集车辆周围的场景图像,再通过图像预处理、图像优化以及实时制图等途径得到车辆以外的三维场景图像,而后通过图像匹配技术得到车辆的位置信息,但是不能得到车辆较为准确的车辆姿态信息。
[0005] 现有技术二、中国专利CN201910208210.2公开了一种基于PTZ台相机的车辆目标三维信息获取方法,其通过深度学习的方法对车辆目标进行识别,获取车辆目标的三维包络基准点在图像坐标系中的坐标,根据坐标信息结合地平线的约束绘制出最贴合车辆目标的三维包络框,再利用标定的结果计算出车辆目标的三维信息,但并不能的车辆具体的细节信息,并不适合于仓库内车辆定位系统。

发明内容

[0006] 本发明要解决的技术问题是提供一种基于线结构光的仓库车辆位置检测系统及方法,以解决现有技术所存在的无法获取车辆的准确位置信息的问题。
[0007] 为解决上述技术问题,本发明实施例提供一种基于线结构光的仓库车辆位置检测系统,包括:设于停车区域尾部正上方的相机安装支架、设于相机安装支架上的相机、与相机相连的拍照开关光源控制器、N套线结构光安装支架,设于N套线结构光安装支架上的N个线结构光、信息处理服务器和显示器;
[0008] 所述相机,用于在运输车辆停在停车区域后,根据拍照开关发出的拍照信号,通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器;
[0009] 所述信息处理服务器,用于对接收到的图像进行处理,得到运输车辆位置信息并显示在显示器上,其中,所述位置信息包括:运输车辆两侧和尾部的位置,以及运输车辆的停放度、车辆高度信息。
[0010] 进一步地,所述系统还包括:设于相机安装支架上的冷装置;
[0011] 所述风冷装置,用于对相机进行降温处理。
[0012] 进一步地,所述系统还包括:冷装置;
[0013] 相机的电源线和信号线、线结构光的电源线、光源控制器的电源线,以及风冷装置的电源线都包裹在水冷装置的送水管道和回水管道之间。
[0014] 本发明实施例还提供一种基于线结构光的仓库车辆位置检测方法,包括:
[0015] 通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程;
[0016] 当运输车辆停在停车区域后,根据拍照开关发出的拍照信号,标定好的相机通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器,信息处理服务器对接收到图像进行处理,确定运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息。
[0017] 进一步地,所述通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程包括:
[0018] 将标定板位于地面、标定板X轴方向与车辆长度方向平行的标定图像作为基准标定平面,标定出相机内参Min及地平面外参Mex0,其中,地平面外参对应的坐标系为基准世界坐标系;
[0019] 对标定板上只有第i条线结构光光条的图像进行采集,得到ni张标定图像,基于采集的标定图像,标定含有第i条线结构光光条的标定板平面对应的外参 并确定在局部世界坐标系下第i条线结构光光条与标定板的交点坐标,其中,i=1,2...N;j=1,2,3…ni,j表示标定图像的编号;
[0020] 将确定的局部世界坐标系下第i条线结构光光条与标定板的交点坐标转换到基准世界坐标系中;
[0021] 根据转换得到的第i条线结构光光条与标定板的交点在基准世界坐标系下的坐标,确定第i条线结构光光平面在基准世界坐标系下的方程。
[0022] 进一步地,所述对标定板上只有第i条线结构光光条的图像进行采集,得到ni张标定图像,基于采集的标定图像,标定含有第i条线结构光光条的标定板平面对应的外参并确定在局部世界坐标系下第i条线结构光光条与标定板的交点坐标包括:
[0023] B1,获取ni张只有第i条线结构光光条的标定图像,其中,图像编号j=1,2…ni;标定板第H行的第1列、W-1列和第W列的标定圆圆心分别为点A、B、C,H、W分别为标定板短边圆点数、长边圆点数;标定板第(H+1)/2行的第1列、W-1列和第W列的标定圆圆心分别为点D、E、F;标定板第1行的第1列、W-1列和第W列的标定圆圆心分别为点G、H、I;第i条线结构光光条与线段AB、DE、GH分别内交于点
[0024] B2,获取j=1的标定图像的旋转外参ωij、δij、θij和平移外参Tixj、Tiyj、Tizj,得到旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij,根据得到的旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij,确定j=1的标定图像对应的外参
[0025] B3,根据交比不变定理、图像中不同点之间的像素距离、实际距离,计算三个交点在当前标定板位置下的局部世界坐标系下的坐标:
[0026]
[0027]
[0028]
[0029]
[0030]
[0031]
[0032] 其中,D为标定板中相邻圆点中心之间的距离ABp,ACp,CL1p,BL1p,DEp,DFp,FL2p,EL2p,GHp,GIp,IL3p,HL3p为相应点之间在图像坐标系中的像素距离;AB,BC,AC,CI为相应点在标定板上的实际距离;
[0033] B4,重复步骤B2—步骤B3,确定局部世界坐标系下编号j=2,3…ni对应图像中线结构光光条与标定板的交点坐标。
[0034] 进一步地,所述将确定的局部世界坐标系下第i条线结构光光条与标定板的交点坐标转换到基准世界坐标系中包括:
[0035] 将局部世界坐标系下第i条线结构光光条与标定板的交点坐标 统一转换到基准世界坐标系中,得到坐标(Xiwm,Yiwm,Ziwm):
[0036]
[0037] 其中,k=1,2,3,用于表示每张标定图像中第i条线结构光光条与标定板的三个交点;m=1,2,...,j*k,m表示第i条线结构光光条与标定板的交点个数;Mex0表示地平面外参;
[0038] 所述根据转换得到的第i条线结构光光条与标定板的交点在基准世界坐标系下的坐标,确定第i条线结构光光平面在基准世界坐标系下的方程包括:
[0039] 利用得到的坐标(Xiwm,Yiwm,Ziwm)拟合第i条线结构光在基准世界坐标系下的平面方程:AiX+BiY+CiZ=1,其中,Ai,Bi,Ci为第i条线结构光光平面在基准世界坐标系下的方程系数;X、Y、Z表示第i条线结构光光条与标定板的交点在基准世界坐标系中的坐标。
[0040] 进一步地,所述信息处理服务器对接收到图像进行处理,确定运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息包括:
[0041] 提取图像中第i条线结构光光条中心线,确定第i条线结构光光条中心线上点的像素坐标;
[0042] 根据标定出的相机内参Min、地平面外参Mex0及第i条线结构光光平面在基准世界坐标系下的方程,将确定的第i条线结构光光条中心线上点的像素坐标转换到基准世界坐标系下,通过对坐标高度的判断,获取车辆上线结构光的特征点在基准世界坐标系下的坐标;
[0043] 根据得到的车辆上线结构光的特征点在基准世界坐标系下的坐标,确定车辆两侧和车辆尾部的位置、车辆停放角度以及车辆高度信息。
[0044] 进一步地,N=4;
[0045] 所述将确定的第i条线结构光光条中心线上点的像素坐标转换到基准世界坐标系下,通过对坐标高度的判断,获取车辆上线结构光的特征点在基准世界坐标系下的坐标包括:
[0046] 将第i条线结构光光条轮廓的点的像素坐标(u,v)i转换至基准世界坐标系下,得到坐标值(Xw,Yw,Zw)i;
[0047] 提取(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i;
[0048] 当i=1时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(Xw,min(Yw),Zw)i,记录为特征点1:(X1,Y1,Z1),并提取Yw最大值对应的点(Xw,max(Yw),Zw)i,记录为特征点6:(X6,Y6,Z6);
[0049] 当i=2时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(Xw,min(Yw),Zw)i,记录为特征点2:(X2,Y2,Z2),并提前Yw最大值对应的点(Xw,max(Yw),Zw)i,记录为特征点5:(X5,Y5,Z5);
[0050] 当i=3时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Xw最小值对应的点(min(Xw),Yw,Zw)i,记录为特征点3:(X3,Y3,Z3);
[0051] 当i=4时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(min(Xw),Yw,Zw)i,记录为特征点4:(X4,Y4,Z4)。
[0052] 进一步地,所述根据得到的车辆上线结构光的特征点在基准世界坐标系下的坐标,确定车辆两侧和车辆尾部的位置、车辆停放角度以及车辆高度信息包括:
[0053] 确定车辆的高度Hch:
[0054]
[0055] 其中,Zp为特征点1、2、3、4、5、6对应的Z坐标;
[0056] 确定车辆尾部坐标Wch:
[0057]
[0058] 其中,X3、X4分别为特征点3、特征点4对应的X坐标;
[0059] 确定车辆两侧坐标Wch1和Wch2:
[0060]
[0061]
[0062] 其中,Y1、Y2、Y5、Y6分别为特征点1、特征点2、特征点5和特征点6对应的Y坐标;
[0063] 确定车辆向左偏的角度αch:
[0064]
[0065] 其中,X1、X2、X5、X6分别为特征点1、特征点2、特征点5和特征点6对应的X坐标。
[0066] 本发明的上述技术方案的有益效果如下:
[0067] 上述方案中,通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程;当运输车辆停在停车区域后,根据拍照开关发出的拍照信号,标定好的相机通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器,信息处理服务器对接收到图像进行处理,能够快速、准确地提取运输车辆的位置信息,这样,将所述仓库车辆位置检测系统及方法与天车自动控制系统配合,可以完成仓库货物的自动装卸工作,适用于工作量较为繁重的物资运转仓库,且所述仓库车辆位置检测系统结构简单明了,易于安装和维护,成本较低。附图说明
[0068] 图1为本发明实施例提供的基于线结构光的仓库车辆位置检测系统的结构示意图;
[0069] 图2为本发明实施例提供的相机安装支架的结构示意图;
[0070] 图3为本发明实施例提供的线结构光安装支架的结构示意图;
[0071] 图4为本发明实施例提供的基于线结构光的仓库车辆位置检测方法的流程示意图;
[0072] 图5(a)-(d)为本发明实施例提供的相机内参标定的部分图像示意图;
[0073] 图6为本发明实施例提供的光平面拟合效果示意图。

具体实施方式

[0074] 为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
[0075] 本发明针对现有的无法获取车辆的准确位置信息的问题,提供一种基于线结构光的仓库车辆位置检测系统及方法。
[0076] 实施例一
[0077] 如图1所示,本发明实施例提供的基于线结构光的仓库车辆位置检测系统,包括:设于停车区域尾部正上方的相机安装支架11、设于相机安装支架上的相机6、与相机6相连的拍照开关2和光源控制器3、N套线结构光安装支架12,设于N套线结构光安装支架12上的N个线结构光4(其中,线结构光为线结构光光源的简称)、信息处理服务器9和显示器10;
[0078] 所述相机6,用于在运输车辆停在停车区域后,根据拍照开关2发出的拍照信号,通过控制光源控制器3控制N个线结构光4逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器9;
[0079] 所述信息处理服务器9,用于对接收到的图像进行处理,得到运输车辆位置信息并显示在显示器10上,其中,所述位置信息包括:运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息。
[0080] 本发明实施例所述的基于线结构光的仓库车辆位置检测系统,在运输车辆停在停车区域后,标定好的相机根据拍照开关发出的拍照信号,通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器;信息处理服务器对接收到的图像进行处理,能够快速、准确地提取运输车辆的位置信息并显示在显示器上,将所述仓库车辆位置检测系统与天车自动控制系统配合,可以完成仓库货物的自动装卸工作,适用于工作量较为繁重的物资运转仓库,且所述仓库车辆位置检测系统结构简单明了,易于安装和维护,成本较低。
[0081] 本实施例中,假设,相机采用的是CMOS相机。
[0082] 如图1所示,优选地,N=4,所述系统可以包括:一个拍照开关2、两个光源控制器3、四个线结构光光源4、一台信息处理服务器9、一台显示器10、一套相机安装支架11、四套线结构光安装支架12、一台CMOS相机6,其中,所述CMOS相机6包括:相机镜头7;CMOS相机6安装在相机安装支架11上,竖直向下拍摄图像,并将拍摄的图像通过千兆以太网传递给信息处理服务器9;显示器10与信息处理服务器9连接,向用户显示运输车辆位置信息;拍照开关2是触碰开关,与CMOS相机6通过信号线连接;光源控制器3与CMOS相机6通过信号线连接;光源控制器3的输入端连接220V交流电源,输出端连接线结构光4,并可以控制线结构光4;CMOS相机6收到拍照开关2发出的拍照信号后,通过控制光源控制器3来控制四个线结构光逐个亮起并拍照。
[0083] 本实施例中,对于物流较为频繁的仓库,当运输车辆停止在停车区域后,按下拍照开关2,CMOS相机6通过信号线按照指定顺序依次控制4个线结构光4逐个亮起,同时控制上一个线结构光关闭,当线结构光亮起时,照射在车辆尾部,利用标定好的CMOS相机6获取运输车辆尾部的图像,对每辆车采集4张包含线结构光光条的图像,图像采集完毕后,CMOS相机6通过千兆以太网将图像传送给信息处理服务器9,信息处理服务器9对接收到的图像进行处理,将运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息显示在显示器10上。
[0084] 本实施例中,相机安装支架11为悬臂结构,如图2所示,相机安装支架11由‘L’型支架(11.1)、连接杆(11.2)、支撑杆(11.3)、滑轨(11.4)、相机连接板(11.5)组成;‘L’型支架(11.1)、连接杆(11.2)与支撑杆(11.3)由工业型材制作完成,通过螺栓连接;‘L’型支架(11.1)短边通过螺栓固定在停车位尾部上方;‘L’型支架(11.1)长边头部连接着滑轨(11.4);滑轨(11.4)与相机连接板(11.5)连接;相机连接板(11.5)可以在滑轨上移动和旋转,并可以用螺栓来定位;CMOS相机6通过螺栓连接在相机连接板(11.5)上。
[0085] 本实施例中,线结构光安装支架12为悬臂结构,如图3所示,线结构光安装支架12由‘L’型支架(12.1)、连接杆(12.2)、支撑杆(12.3)、第一线结构光连接板(12.4)、第二线结构光连接板(12.5)、滑轨(12.6)组成;‘L’型支架(12.1)、连接杆(12.2)、支撑杆(12.3)由工业铝型材制作完成,通过螺栓连接;‘L’型支架(12.1)短边通过螺栓固定在停车位尾部一侧的立柱上;‘L’型支架(12.1)长边头部与滑轨(12.6)连接;第一线结构光连接板(12.4)套接在滑轨(12.6)上,用螺栓固定,第一线结构光连接板(12.4)可以绕滑轨(12.6)旋转;第二线结构光连接板(12.5)与第一线结构光连接板(12.4)通过螺栓连接,第二线结构光连接板(12.5)可以绕该螺栓旋转;线结构光4通过螺栓与第二线结构光连接板(12.5)连接。
[0086] 在前述基于线结构光的仓库车辆位置检测系统的具体实施方式中,进一步地,所述系统还包括:设于相机安装支架上的风冷装置;
[0087] 所述风冷装置,用于对相机进行降温处理。
[0088] 本实施例中,为了减少因长时间工作造成相机过热的影响,如图1所示,在检测系统中加入风冷装置,一方面对相机进行降温处理,另一方面排除温度过低时相机表面的凝露。
[0089] 在前述基于线结构光的仓库车辆位置检测系统的具体实施方式中,进一步地,如图1所示,所述系统还包括:水冷装置;
[0090] 相机的电源线和信号线、线结构光的电源线、光源控制器的电源线,以及风冷装置的电源线沿着相机安装支架11或线结构光安装支架12进行布置,且所有信号线和电源线都包裹在水冷装置的送水管道和回水管道之间,防止温度过高。
[0091] 本实施例中,如图1所示,所述系统还包括一个急停开关1、急停开关1通过信号线与CMOS相机6连接,而后通过千兆以太网将急停信号传递给信息处理服务器9,以便信息处理服务器停止仓库车辆位置检测工作。
[0092] 实施例二
[0093] 如图4所示,本发明实施例还提供一种基于线结构光的仓库车辆位置检测方法,包括:
[0094] S1,通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程;
[0095] S2,当运输车辆停在停车区域后,根据拍照开关发出的拍照信号,标定好的相机通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器,信息处理服务器对接收到图像进行处理,确定运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息。
[0096] 本发明实施例所述的基于线结构光的仓库车辆位置检测方法,通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程;当运输车辆停在停车区域后,根据拍照开关发出的拍照信号,标定好的相机通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器,信息处理服务器对接收到图像进行处理,能够快速、准确地提取运输车辆的位置信息,这样,将所述仓库车辆位置检测方法与天车自动控制系统配合,可以完成仓库货物的自动装卸工作,适用于工作量较为繁重的物资运转仓库,且所述仓库车辆位置检测系统结构简单明了,易于安装和维护,成本较低。
[0097] 本发明实施例提供的基于线结构光的仓库车辆位置检测方法,计算精度较高、计算量小、计算速度快,鲁棒性强,在几秒内便可完成车辆位置信息的准确提取,提取的车辆位置信息的精度符合大多数仓库对运输车辆的定位要求,非常适用于工作量较为繁重的物资运转仓库,从而大幅增加了物流效率。
[0098] 在前述基于线结构光的仓库车辆位置检测方法的具体实施方式中,进一步地,所述通过相机标定获取相机的内参和外参,以及N个线结构光光平面在基准世界坐标系下的方程包括:
[0099] S11,将标定板位于地面、标定板X轴方向与车辆长度方向平行的标定图像作为基准标定平面,标定出相机内参Min及地平面外参Mex0,其中,地平面外参对应的坐标系为基准世界坐标系,具体可以包括以下步骤:
[0100] S111,根据标定距离使用合适大小的标定板,使得标定板上圆点在相机图像中显示的像素大于15个像素,以确保标定的精度;标定板对应的圆点数为H×W,其中,H、W分别为标定板短边圆点数、长边圆点数,且都为奇数;
[0101] 本实施例中,使用的是5x7的标定板,标定板中相邻圆点中心之间的距离D是135mm。
[0102] S112,将标定板放置于车辆水平高度±2m范围内,采集9-16张可以布满整个视野的图像;并选取一张标定板位于地面、标定板X轴方向与车辆长度方向平行的标定图像作为基准标定平面,标定出相机内参Min及地平面外参Mex0。
[0103] 本实施例中,相机内参Min表示为:
[0104]
[0105] 其中,f表示相机的焦距;1/dx,1/dy分别表示x、y方向上每个像素的物理尺寸;gamma表示x、y不垂直时的扭曲系数,一般设为0;(u0,v0)表示图像坐标系中光轴投影坐标,即主点坐标;1/dx,1/dy,f的单位为mm;
[0106] 本实施例中,地平面外参Mex0表示为:
[0107] Mex0=T0·Rz0·Ry0·Rx0
[0108]
[0109]
[0110] 其中,T0表示平移矩阵,Rz0、Ry0、Rx0都表示旋转矩阵,ω0、δ0、θ0表示局部世界坐标系分别绕其x、y、z轴旋转的角度,是旋转外参;Tx0、Ty0、Tz0分别局部世界坐标系分别沿着其x、y、z轴平移的距离,是平移外参。
[0111] 在本实例中,采集照片16张用来标定相机的内参和地平面外参Mex0,部分图片如图5(a)-(d)所示,所得内参矩阵Min、地平面外参Mex0分别为:
[0112]
[0113]
[0114] S12,对标定板上只有第i条线结构光光条的图像进行采集,得到ni张标定图像,基于采集的标定图像,标定含有第i条线结构光光条的标定板平面对应的外参 并确定在局部世界坐标系下第i条线结构光光条与标定板的交点坐标,其中,i=1,2...N;j=1,2,3…ni,j表示标定图像的编号,具体可以包括以下步骤:
[0115] S121,获取ni张只有第i条线结构光光条的标定图像,其中,图像编号j=1,2…ni;标定板第H行的第1列、W-1列和第W列的标定圆圆心分别为点A、B、C,H、W分别为标定板短边圆点数、长边圆点数;标定板第(H+1)/2行的第1列、W-1列和第W列的标定圆圆心分别为点D、E、F;标定板第1行的第1列、W-1列和第W列的标定圆圆心分别为点G、H、I;第i条线结构光光条 与 线段 AB 、D E 、G H 分 别 内 交 于 点
[0116] S122,获取j=1的标定图像的旋转外参ωij、δij、θij和平移外参Tixj、Tiyj、Tizj,得到旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij,根据得到的旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij,确定j=1的标定图像对应的外参
[0117] 旋转矩阵Rzij、Ryij、Rxij和平移矩阵Tij以及 分别表示为:
[0118]
[0119]
[0120]
[0121]
[0122]
[0123] 其中,Tixj、Tiyj、Tizj单位为mm。
[0124] S123,根据交比不变定理图像中不同点之间的像素距离、实际距离,计算三个交点在当前标定板位置下的局部世界坐标系下的坐标:
[0125]
[0126]
[0127]
[0128]
[0129]
[0130]
[0131] 其中,D为标定板中相邻圆点中心之间的距离ABp,ACp,CL1p,BL1p,DEp,DFp,FL2p,EL2p,GHp,GIp,IL3p,HL3p为相应点之间在图像坐标系中的像素距离;AB,BC,AC,CI为相应点在标定板上的实际距离,单位mm;
[0132] S124,重复S122-S123,确定局部世界坐标系下编号j=2,3…ni对应图像中线结构光光条与标定板的交点坐标。
[0133] S13,通过坐标转换,将确定的局部世界坐标系下第i条线结构光光条与标定板的交点坐标转换到基准世界坐标系中;
[0134] 本实施例中,将S12得到的各自局部世界坐标系下第i条线结构光光条与标定板的i i i交点坐标 统一转换到基准世界坐标系中,得到坐标(Xwm,Ywm,Zwm):
[0135]
[0136] 其中,k=1,2,3,用于表示每张标定图像中第i条线结构光光条与标定板的三个交点;m=1,2,...,j*k,m表示第i条线结构光光条与标定板的交点个数。
[0137] S14,根据转换得到的第i条线结构光光条与标定板的交点在基准世界坐标系下的坐标,确定第i条线结构光光平面在基准世界坐标系下的方程。
[0138] 本实施例中,可以采用最小二乘法将步骤S13得到的三维点(Xiwm,Yiwm,Ziwm),拟合第i条线结构光光平面在基准坐标系下的平面方程AiX+BiY+CiZ=1,其中,i=1,2...N;Ai,Bi,Ci为第i条线结构光光平面在基准世界坐标系下的方程系数;X、Y、Z表示第i条线结构光光条与标定板的交点在基准世界坐标系中的坐标。
[0139] 本实施例中,其中一条光平面的方程为:0.722X+17.409Y-11.402Z=10000,拟合平面效果如图6所示。
[0140] 本实施例中,通过S11-S14标定出相机内参Min、地平面外参Mex0以及标定板平面对应的外参 进而确定N个线结构光光平面在基准世界坐标系下的方程,方便灵活,可靠性高,降低了对操作人员的要求。
[0141] 在前述基于线结构光的仓库车辆位置检测方法的具体实施方式中,进一步地,所述信息处理服务器对接收到图像进行处理,确定运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息包括:
[0142] S21,提取图像中第i条线结构光光条中心线,确定第i条线结构光光条中心线上点的像素坐标;
[0143] 本实施例中,当运输车辆停在停车区域后,根据拍照开关发出的拍照信号,标定好的相机通过控制光源控制器控制N个线结构光逐个亮起并采集包含线结构光光条的运输车辆尾部图像,将采集的图像上传至信息处理服务器,信息处理服务器可以利用CANNY算子提取图像中第i条线结构光光条中心线,确定第i条线结构光光条中心线上点的像素坐标。
[0144] S22,根据标定出的相机内参Min、地平面外参Mex0及第i条线结构光光平面在基准世界坐标系下的方程,将确定的第i条线结构光光条中心线上点的像素坐标转换到基准世界坐标系下,通过对坐标高度的判断,获取车辆上线结构光的特征点在基准世界坐标系下的坐标,具体可以包括以下步骤:
[0145] S221,将第i条线结构光光条中心线上点的像素坐标(u,v)i转换至基准世界坐标系下,得到坐标值(Xw,Yw,Zw)i:
[0146]
[0147]
[0148]
[0149]
[0150] a=m11-um31
[0151] b=m12-um32
[0152] c=m21-vm31
[0153] d=m22-vm32
[0154] e=um34-m14
[0155] f=m13-um33
[0156] g=vm34-m24
[0157] h=m23-vm33
[0158]
[0159]
[0160] 其中,s表示深度系数;(Xw,Yw,Zw)i表示第i条线结构光光条轮廓的点的像素坐标在基准世界坐标系下的坐标值,单位mm;Ai,Bi,Ci表示第i条线结构光光平面在基准世界坐标系下的方程系数;i=1,2...N;
[0161] 本实施例中,为了验证该检测系统的精度,使用长度995mm的长杆,各自对横向、纵向线结构光中的其中一条进行了验证,结果如表1所示。
[0162] 表1精度验证
[0163]
[0164] 表1中,△dis1表示检测系统横向线结构光测量结果与长杆实际长度的差;△dis1表示检测系统纵向线结构光测量结果与长杆实际长度的差,从表2中的结果来看,误差在±10mm以内。
[0165] S222,提取(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i,其中,优选地,高度阈值为500mm;当i=1时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(Xw,min(Yw),Zw)i,记录为特征点1:(X1,Y1,Z1),并提取Yw最大值对应的点(Xw,max(Yw),Zw)i,记录为特征点6:(X6,Y6,Z6);
[0166] S223,当i=2时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(Xw,min(Yw),Zw)i,记录为特征点2:(X2,Y2,Z2),并提前Yw最大值对应的点(Xw,max(Yw),Zw)i,记录为特征点5:(X5,Y5,Z5);
[0167] S224,当i=3时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Xw最小值对应的点(min(Xw),Yw,Zw)i,记录为特征点3:(X3,Y3,Z3);
[0168] S225,当i=4时,从提取的(-Zw)≥高度阈值的坐标值(Xw,Yw,Zw)i中,提取Yw最小值对应的点(min(Xw),Yw,Zw)i,记录为特征点4:(X4,Y4,Z4)。
[0169] 本实施例中,6个特征点计算结果如表2所示。
[0170] 表2特征点坐标
[0171]
[0172] S23,根据得到的车辆上线结构光的特征点在基准世界坐标系下的坐标,确定车辆两侧和车辆尾部的位置、车辆停放角度以及车辆高度信息,并显示在显示器上,具体的:
[0173] S231,计算车辆的高度Hch:
[0174]
[0175] 其中,Zp为特征点1、2、3、4、5、6对应的Z坐标;
[0176] 本实施例中,Hch=1389.3mm;
[0177] S232,计算车辆尾部坐标Wch:
[0178]
[0179] 其中,X3、X4分别为特征点3、特征点4对应的X坐标;
[0180] 本实施例中,Wch=-1848.40mm;
[0181] S233,计算车辆两侧坐标Wch1和Wch2:
[0182]
[0183]
[0184] 其中,Y1、Y2、Y5、Y6分别为特征点1、特征点2、特征点5和特征点6对应的Y坐标;
[0185] 本实施例中,Wch1=-1284.53mm,Wch2=877.59mm;
[0186] S234,计算车辆向左偏的角度αch:
[0187]
[0188] 其中,X1、X2、X5、X6分别为特征点1、特征点2、特征点5和特征点6对应的X坐标。
[0189] 本实施例中,αch=1.41°。
[0190] 本实施例中,当检测系统安装完成,并调整好CMOS相机6以及四个线结构光4的位置之后,执行S1确定相机内参Min、地平面外参Mex0以及四个线结构光光平面方程AiX+BiY+CiZ=1,其中,i=1,2,3,4。在S1执行后,检测车辆的位置信息只需要执行S2。一旦CMOS相机6或线结构光4的位置、姿态调整后,需要重新执行S1并记录相关参数。
[0191] 本发明实施例提供的基于线结构光的仓库车辆位置检测方法得到的位置信息(运输车辆两侧和尾部的位置,以及运输车辆的停放角度、车辆高度信息)与人工测量得到的位置信息相比,误差较小,因此说明:本发明实施例提供的基于线结构光的仓库车辆位置检测系统及方法的位置检测精确度较高。
[0192] 以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈