首页 / 专利库 / 心理学与精神病学 / 感知 / 用于农机无人驾驶的农田环境感知方法

用于农机无人驾驶的农田环境感知方法

阅读:318发布:2021-06-14

专利汇可以提供用于农机无人驾驶的农田环境感知方法专利检索,专利查询,专利分析的服务。并且本 发明 提供了控制技术领域内的一种用于农机无人驾驶的农田环境 感知 方法,具体包括以下步骤,步骤1:对摄像机标定,得到世界坐标到图形 像素 坐标的投影矩阵,将雷达坐标转换成图像像素坐标,使雷达与摄像机在空间上同步;步骤2:工控机算接收到的毫米波雷达数据,确定有效目标,选出农机作业前方雷达感兴趣的区域,确定最危险目标,同步采集摄像机图像;步骤3:根据雷达的信息判断出最危险目标的运动状态,按照雷达与相机采集到的最危险目标的图像数据,判断最危险目标的类型,工控机将动作指令传输给导航箱,导航箱控制农机做相应的动作;其中,农机作业时,农机的行驶速度匀速;本发明识别农机前方障碍物的准确度高,提高无人驾驶的可靠性。,下面是用于农机无人驾驶的农田环境感知方法专利的具体信息内容。

1.一种用于农机无人驾驶的农田环境感知方法,其特征在于,具体包括以下步骤,步骤1:对摄像机进行标定,得到世界坐标到图形像素坐标的投影矩阵,建立雷达坐标系与世界坐标系之间的相互关系,将雷达坐标转换成图像像素坐标,使雷达与摄像机在空间上同步;
步骤2:工控机解算接收到的毫米波雷达数据,确定有效目标,选出农机作业前方雷达感兴趣的区域,确定有效目标中的最危险目标,同步进行摄像机图像的采集;
步骤3:根据雷达的信息判断出最危险目标的运动状态,根据雷达与相机采集到的最危险目标的图像数据,判断出最危险目标的类型,工控机根据雷达数据和相机的图像数据解算出农机的动作指令并将其传输给导航箱,导航箱控制农机做相应的动作;
判断最危险目标的动静状态具体包括以下步骤,
步骤3.1:根据步骤2.5中确定的最危险目标,不断更新最危险目标的相对速度和相对距离信息,判断最危险目标与雷达的距离是否在停车安全距离范围内,即zwd>zmin(3-1),zwd为毫米波雷达探测到的雷达与最危险目标的相对距离,zmin为设定的停车安全距离阈值,最危险目标满足公式(3-1)时,农机继续行驶,否则导航箱调整农机的动作;
步骤3.2:根据相对速度大小判定最危险目标的动静状态,具体如下,v≠v车(3-2)在连续的至少两个扫描周期内,(3-2)式始终成立时,判定目标的状态为动态;否则,农机继续行驶,并返回至步骤3.1循环执行;其中,v为雷达相对目标的速度大小,v车为农机的行驶速度,
根据雷达与相机采集到的最危险目标的图像数据,判断出最危险目标的类型具体包括以下步骤,
步骤3.1a:若最危险目标始终为静态,则导航箱控制农机做停车等待处理;否则,摄像机对最危险目标进行识别;
步骤3.2a:摄像机获取最危险目标的图像,将图像与训练好的人体样本训练库进行匹配比较,输出目标识别结果;
步骤3.3a:导航箱根据输出的目标识别结果控制农机动作,若为非人体,则导航箱发出声光报警,并控制农机做停车等待处理;若目标识别结果为人体,则导航箱发出声光报警,判断人体是否偏离农机行驶车道或者人体向远离农机方向运动,用以下公式判断,zwn+1>zwn  (3-3)
di>ds  (3-4)
若雷达探测到的人体目标满足(3-3)或(3-4),则农机继续向前行驶,否则导航箱控制农机做停车等待处理;zwn为第n探测扫描周期雷达相对最危险目标的距离,zw(n+1)为下一个扫描周期雷达相对最危险目标的距离;
其中,在步骤3之前,农机作业时,农机的行驶速度匀速。
2.根据权利要求1所述的用于农机无人驾驶的农田环境感知方法,其特征在于,所述步骤1中的将雷达坐标转换成图形像素坐标具体包括以下步骤,
步骤1.1:农机作业前,地面默认为平,将毫米波雷达固定安装在农机的前侧且位于车中纵向中轴,雷达发射面向外,使雷达发射面与地面垂直;将用于标定的棋盘与雷达反射面在同一平面,且位于雷达正上方与地平面垂直,棋盘的左上点与雷达反射面中心点连线垂直于地面,确定棋盘左上角点距离雷达安装位置的高度为y0,高度单位为mm;安装摄像机时使摄像机的光轴与地面平行;
步骤1.2:以雷达的中心为原点建立雷达坐标系00-X0Y0Z0,毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直,Z0轴与地面平行;建立摄像机坐标系Oc-XcYcZc,以摄像机的中心为原点Oc,平面XcOcYc平行于摄像机的成像平面,Zc轴是摄像机的取景光轴且垂直于成像平面;建立世界坐标系Ow-XwYwZw,Ow为农机的重心与水平面的交点,Xw轴水平向右并垂直于农机的纵向中轴线,Yw水平向前垂直于农机的纵向中轴线,Zw垂直于水平面向上,雷达坐标系的X0O0Z0平面与世界坐标系的XwOwZw平面平行;
T
步骤1.3:对于空间中任意一点P(x,y,z,),P点与雷达之间的相对距离为r,单位为m,相对角度为α,单位为度,世界坐标系的X0Z平面平行于雷达坐标系的X0O0Z0平面,将障碍物P的雷达坐标转换成三维世界坐标,具体的转换关系如下,
 (1-1);
步骤1.4:光轴与成像平面相交的点是图像主点O’,世界坐标通过旋转矩阵R和平移向T T
量s转换后得到摄像机坐标(xc,yc,zc,1),任意点P的世界坐标为(xw,yw,zw,1),将世界坐标转换为摄像机坐标,具体的转换关系如下,
   (1-2)
式(1-2)中,R为一个三行三列的正交单位矩阵, s为世界坐标系到摄像机坐标系的1*3平移矩阵;
步骤1.5:将摄像机坐标(xc,yc,zc,1)T转换到图像物理坐标(x1,y1)T,具体的转换关系如下,
(1-3)
式(1-3)中,f为摄像机的焦距,焦距单位为mm;
步骤1.6:将图像物理坐标(x1,y1)T转换到图像像素坐标(u,v),具体的转换关系如下:
 (1-4)
其中,dx,dy分别表示每个像素在横轴和纵轴上单位大小,u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标,坐标单位为pixel;
步骤1.7:根据以上公式(1-1)~(1-4)得到世界坐标与图像像素坐标的转换关系,具体的为,
  (1-5)。
3.根据权利要求2所述的用于农机无人驾驶的农田环境感知方法,其特征在于,所述步骤2中的解算雷达数据确定有效目标,具体包括以下步骤,
步骤2.1:对雷达接收到的数据按照毫米波雷达协议进行解算,得到前方物体相对雷达的角度α、距离r、相对速度v、前方物体的反射强度并为每个目标分配唯一一个ID;
步骤2.2:对随机噪声信号进行滤波,保证雷达数据的连续有效性,具体的为,定义z=[r, θ,v]T为雷达的测量值,z(k)为毫米波雷达第k次输出的测量值,
  (2-1)
过滤掉不符合式(2-1)的数据信号;其中,d为相邻量测向量z(k)、z(k-1)之间的加权欧氏距离,S为加权矩阵,rs为设定的阈值;
步骤2.3:判定目标是否在农机行驶的车道内,当雷达前方物体满足di≤ds时,目标在农机行驶车道内,否则,目标不在农机行驶车道内,农机行驶车道内的目标初选为有效目标,并对其按照由近及远的准则进行排序编号;在农机行驶车道外的目标为非危险目标,将其排除;其中,ds为安全距离阈值,ds=L/2+ks,di为i采样点下测得的目标与Z0轴之间的距离, L为农机上悬挂的具宽度,ks为设定的安全余量,L大于农机车身宽度;
步骤2.4:对初选的有效目标进行有效性检验,最终确定有效目标;
步骤2.5:根据确定好的有效目标,通过毫米波雷达获取的最近距离障碍物确定为候选的最危险目标,若dj≤dmin,dj为毫米波雷达获取的农机与ID是j的有效目标之间的距离,dmin为在毫米波雷达一个扫描周期内所获取的农机与最近有效目标的距离,此时,ID是j的有效目标为最危险目标。
4.根据权利要求3所述的用于农机无人驾驶的农田环境感知方法,其特征在于,所述步骤2.4中对初选的有效目标进行有效性检验具体包括以下步骤,
步骤2.4.1:对初选的有效目标进行预测,选取状态Sn=[dn,vn,an],初选有效目标的状态预测方程为,
  (2-2)
其中, 是上一个扫描周期预测的有效障碍物目标的状态信息,
分别表示毫米波雷达第n探测周期内测得的有效障碍物目标的相对距离、相对速
度、相对加速度,t是毫米波雷达的扫描周期;
步骤2.4.2:通过比较预测的第n+1周期有效目标的状态信息和雷达实际测得的第n+1周期有效目标的状态信息,具体如下,
  (2-3)
其中, d0、v0、a0是设定的有效障碍物目标测量值与预测值之间的误差阈值;
步骤2.4.3:有效障碍物目标在雷达的扫描周期中被连续探测到m次以上,同时,满足步骤2.4.2中公式(2-3)的有效目标与初选有效目标一致,则更新目标的相对距离、相对速度、相对角度、编号信息;否则,初选的有效目标不处于毫米波雷达探测目标中,使用有效目标预测信息对初选的有效目标进行跟踪,若初选的有效目标在雷达的下一个扫描周期中仍然没有被探测到,则停止使用对应的初选有效目标信息,更新有效目标信息,并返回步骤
2.4.1循环执行。

说明书全文

用于农机无人驾驶的农田环境感知方法

技术领域

[0001] 本发明涉及一种环境感知方法,特别涉及一种用于农机无人驾驶的农田环境感知方法。

背景技术

[0002] 精准农业技术被认为是21世纪农业科技发展的前沿,是科技含最高、集成综合性最强的现代农业生产管理技术之一。精准农业技术根据空间变异,定位、定时、定量的实施一套现代化农事操作技术与管理的系统,是信息技术与农业生产全面结合的一种新型农业技术。
[0003] 精准农业的应用于快速发展,能够充分挖掘农田最大的生产潜、合理利用肥资源、减少环境污染,大幅度提高农产品产量和品质。
[0004] 发展精准农业技术是解决我国农业由传统农业向现代化农业发展过程中所面临的确保农产品总量、调整农业产业结构、改善农产品品质和质量、资源严重不足且利用率低、环境污染等问题的有效解决方式,也是中国农业现代化发展与转型升级的必经之路。
[0005] 卫星导航技术是精准农业技术的基本组成之一,使农机实现自动行驶,农机作业前只需要设定好参数后,导航系统便引导农机进入自动作业模式,开始进行直线耕作。在农机自动导航的过程中,农田的环境恶劣且复杂,大型的农田里可能会存在电线杆、田埂、土丘、牲畜以及随时出现的劳作人员等,这些因素都为无人驾驶农机的实现提出了新的挑战。现有技术中,使用卫星导航技术可以实现农机在农田里自动行走,但是农机无法准确识别农机前方的障碍物,即农机无法感应农田环境,更不用说根据感知到的农田环境自动做停车等待还是继续行驶等处理,农机作业时必须得有驾驶员辅助操控农机的动作,一不注意,农机就会与前方障碍物碰撞,因此迫切需要研究出一套农田环境感知方法使无人驾驶的农机具备对周环境进行感知的能力,一旦遇到上述农田中存在电线杆、田埂、土丘、牲畜以及随时出现的劳作人员等情况,能够及时采取停车等待等应急处理。

发明内容

[0006] 针对现有技术中的缺陷,本发明的目的在于克服上述现有技术中的不足之处,解决现有技术中无人驾驶的农机无法感知农田环境的技术问题,提供一种用于农机无人驾驶的农田环境感知方法,本发明实现了农田环境的感知,识别农机前方障碍物的准确度高,提高农机无人驾驶时的可靠性。
[0007] 本发明的目的是这样实现的:一种用于农机无人驾驶的农田环境感知方法,具体包括以下步骤,
[0008] 步骤1:对摄像机进行标定,得到世界坐标到图形像素坐标的投影矩阵,建立雷达坐标系与世界坐标系之间的相互关系,将雷达坐标转换成图像像素坐标,使雷达与摄像机在空间上同步;
[0009] 步骤2:工控机解算接收到的毫米波雷达数据,确定有效目标,选出农机作业前方雷达感兴趣的区域,确定有效目标中的最危险目标,同步进行摄像机图像的采集;
[0010] 步骤3:根据雷达的信息判断出最危险目标的运动状态,根据雷达与相机采集到的最危险目标的图像数据,判断出最危险目标的类型,工控机根据雷达数据和相机的图像数据解算出农机的动作指令并将其传输给导航箱,导航箱控制农机做相应的动作;
[0011] 其中,在步骤3之前,农机作业时,农机的行驶速度匀速。
[0012] 为了实现摄像机和毫米波雷达在空间上的同步,所述步骤1中的将雷达坐标转换成图形像素坐标具体包括以下步骤,
[0013] 步骤1.1:农机作业前,地面默认为水平,将毫米波雷达固定安装在农机的前侧且位于车中纵向中轴,雷达发射面向外,使雷达发射面与地面垂直;将用于标定的棋盘与雷达反射面在同一平面,且位于雷达正上方与地平面垂直,棋盘的左上点与雷达反射面中心点连线垂直于地面,确定棋盘左上角点距离雷达安装位置的高度为y0,高度单位为mm;安装摄像机时使摄像机的光轴与地面平行;
[0014] 步骤1.2:以雷达的中心为原点建立雷达坐标系00-X0Y0Z0,毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直,Z0轴与地面平行;建立摄像机坐标系Oc-XcYcZc,以摄像机的中心为原点Oc,平面XcOcYc平行于摄像机的成像平面,Zc轴是摄像机的取景光轴且垂直于成像平面;建立世界坐标系Ow-XwYwZw,Ow为农机的重心与水平面的交点,Xw轴水平向右并垂直于农机的纵向中轴线,Yw水平向前垂直于农机的纵向中轴线,Zw垂直于水平面向上,雷达坐标系的X0O0Z0平面与世界坐标系的XwOwZw平面平行;
[0015] 步骤1.3:对于空间中任意一点P(x,y,z,)T,P点与雷达之间的相对距离为r,单位为m,相对角度为α,单位为度,世界坐标系的X0Z平面平行于雷达坐标系的X0O0Z0平面,将障碍物P的雷达坐标转换成三维世界坐标,具体的转换关系如下,
[0016]
[0017] 步骤1.4:光轴与成像平面相交的点是图像主点O’,世界坐标通过旋转矩阵R和平移向量s转换后得到摄像机坐标(xc,yc,zc,1)T,任意点P的世界坐标为(xw,yw,zw,1)T,将世界坐标转换为摄像机坐标,具体的转换关系如下,
[0018]
[0019] 式(1-2)中,R为一个三行三列的正交单位矩阵,s为世界坐标系到摄像机坐标系的1*3平移矩阵;
[0020] 步骤1.5:将摄像机坐标(xc,yc,zc,1)T转换到图像物理坐标(x1,y1)T,具体的转换关系如下,
[0021]
[0022] 式(1-3)中,f为摄像机的焦距,焦距单位为mm;
[0023] 步骤1.6:将图像物理坐标(x1,y1)T转换到图像像素坐标(u,v),具体的转换关系如下:
[0024]
[0025] 其中,dx,dy分别表示每个像素在横轴和纵轴上单位大小,u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标,坐标单位为pixel;
[0026] 步骤1.7:根据以上公式(1-1)~(1-4)得到世界坐标与图像像素坐标的转换关系,具体的为,
[0027]
[0028] 为了进一步提高解算雷达数据的准确性,所述步骤2中的解算雷达数据排除虚假目标确定有效目标,具体包括以下步骤,
[0029] 所述步骤2中的解算雷达数据确定有效目标,具体包括以下步骤,
[0030] 步骤2.1:对雷达接收到的数据按照毫米波雷达协议进行解算,得到前方物体相对雷达的角度α、距离r、相对速度v、前方物体的反射强度并为每个目标分配唯一一个ID;
[0031] 步骤2.2:对随机噪声信号进行滤波,保证雷达数据的连续有效性,具体的为,定义z=[r,θ,v]T为雷达的测量值,z(k)为毫米波雷达第k次输出的测量值,
[0032] d2=S(z(k)-z(k-1))(z(k)-z(k-1))T<rs2  (2-1)
[0033] 过滤掉不符合式(2-1)的数据信号;其中,d为相邻量测向量z(k)、z(k-1)之间的加权欧氏距离,S为加权矩阵,rs为设定的阈值
[0034] 步骤2.3:判定目标是否与在农机行驶的车道内,当雷达前方物体满足di≤ds时,目标在农机行驶车道内,否则,目标不在农机行驶车道内,农机行驶车道内的目标初选为有效目标,并对其按照由近及远的准则进行排序编号;在农机行驶车道外的目标为非危险目标,将其排除;其中,ds为安全距离阈值,ds=L/2+ks,di为i采样点下测得的目标与Z0轴之间的距离,L为农机上悬挂的具宽度,ks为设定的安全余量;
[0035] 步骤2.4:对初选的有效目标进行有效性检验,最终确定有效目标;
[0036] 步骤2.5:根据确定好的有效目标,通过毫米波雷达获取的最近距离障碍物确定为候选的最危险目标,若dj≤dmin,dj为毫米波雷达获取的农机与ID是j的有效目标之间的距离,dmin为在毫米波雷达一个扫描周期内所获取的农机与最近有效目标的距离,此时,ID是j的有效目标为最危险目标;
[0037] 此设计中,先对干扰和噪声信号产生的随机噪声信号进行滤除,提高雷达数据解算的准确性;通过对农机行驶车道的判别,排除农机行驶车道外的障碍物目标,初步选定同车道内的障碍物为有效目标,对初选有效目标进行检验以进一步确定有效目标,提高有效目标识别的精确度;对有效目标按照距离由近到远的顺序为规则,确定最危险目标。
[0038] 为了进一步提高有效目标确定的精确度,所述步骤2.4中对初选的有效目标进行有效性检验具体包括以下步骤,
[0039] 步骤2.4.1:对初选的有效目标进行预测,选取状态Sn=[dn,vn,an],初选有效目标的状态预测方程为,
[0040]
[0041] 其中,d(n+1,n)、v(n+1,n)、a(n+1,n)是上一个扫描周期预测的有效障碍物目标的状态信息,dn,vn,an分别表示毫米波雷达第n探测周期内测得的有效障碍物目标的相对距离、相对速度、相对加速度,t是毫米波雷达的扫描周期;
[0042] 步骤2.4.2:通过比较预测的第n+1周期有效目标的状态信息和雷达实际测得的第n+1周期有效目标的状态信息,具体如下,
[0043]
[0044] 其中,d0、v0、a0是设定的有效障碍物目标测量值与预测值之间的误差阈值;
[0045] 步骤2.4.3:有效障碍物目标在雷达的扫描周期中被连续探测到m次以上,同时,满足步骤2.4.2中公式(2-3)的有效目标与初选有效目标一致,则更新目标的相对距离、相对速度、相对角度、编号信息;否则,初选的有效目标不处于毫米波雷达探测目标中,使用有效目标预测信息对初选的有效目标进行跟踪,若初选的有效目标在雷达的下一个扫描周期中仍然没有被探测到,则停止使用对应的初选有效目标信息,更新有效目标信息,并返回步骤2.4.1循环执行;
[0046] 此设计中,通过上一个扫描预测的有效目标的状态信息与测试出来的进行对比,判断有效目标信息是否一致,以此来进一步排除虚假目标,使有效目标的确定得到进一步保障。
[0047] 作为本发明的进一步改进,所述步骤3中判断最危险目标的动静状态具体包括以下步骤,
[0048] 步骤3.1:根据步骤2.5中确定的最危险目标,不断更新最危险目标的相对速度和相对距离信息,判断最危险目标与雷达的距离是否在停车安全距离范围内,即zwd>zmin(3-1),zwd为毫米波雷达探测到的雷达与最危险目标的相对距离,zmin为设定的停车安全距离阈值,最危险目标满足公式(3-1)时,农机继续行驶,否则导航箱调整农机的动作;
[0049] 步骤3.2:根据相对速度大小判定最危险目标的动静状态,具体如下,
[0050] v≠v车  (3-2)
[0051] 在连续的至少两个扫描周期内,(3-2)式始终成立时,判定目标的状态为动态;否则,农机继续行驶,并返回至步骤3.1循环执行;其中,v为雷达相对目标的速度大小,v车为农机的行驶速度;
[0052] 此设计中,判定最危险目标的动静态原理简单,提高响应速度。
[0053] 作为本发明的进一步改进,所述步骤3中根据雷达与相机采集到的最危险目标的图像数据,判断出最危险目标的类型具体包括以下步骤,
[0054] 步骤3.1a:若最危险目标始终为静态,则导航箱控制农机做停车等待处理;否则,摄像机对最危险目标进行识别;
[0055] 步骤3.2a:摄像机获取最危险目标的图像,将图像与训练好的人体样本训练库进行匹配比较,输出目标识别结果;
[0056] 步骤3.3:导航箱根据输出的目标识别结果控制农机动作,若为非人体,则导航箱发出声光报警,并控制农机做停车等待处理;若目标识别结果为人体,则导航箱发出声光报警,判断人体是否偏离农机行驶车道或者人体向远离农机方向运动,用以下公式判断,[0057] zwn+1>zwn   (3-3)
[0058] di>ds   (3-4)
[0059] 若雷达探测到的人体目标满足(3-3)或(3-4),则农机继续向前行驶,否则导航箱控制农机做停车等待处理;zwn为第n探测扫描周期雷达相对最危险目标的距离,zw(n+1)为下一个扫描周期雷达相对最危险目标的距离;
[0060] 此设计中,先判断最危险目标的动静状态,若最危险目标始终为静态,则认为最危险目标为电线杆、树木等非生命体,否则,认为最危险目标为农作人员或者牲畜,通过摄像机采集最危险目标的图像并识别出最危险目标是否为人体,输出目标识别结果,若为人体,则导航箱发出声光报警,因为劳作人员自身有避险意识,劳作人员在听到农机的报警声后可能会走出农机行驶车道或者往远离农机运动方向行走,利用劳作人员的习惯性反应设置判断程序,适应性好,避免农机与电线杆、牲畜等非人体的碰撞的同时提醒农机前方的农作人员自觉避让,并根据农作人员的行为做继续行驶或停车等待处理。
[0061] 本发明与现有技术相比,本发明将毫米波雷达和相机结合起来感知农田环境,通过世界坐标系与图像像素坐标系的转换使摄像机和毫米波雷达在空间上实现同步,对噪声和干扰信号产生的随机噪声信号进行滤除,提高雷达探测信号的准确性;根据设定好的农机航向确定为农机行驶车道,将农机行驶车道内的障碍物目标初选为有效目标,再对初选的有效目标进行进一步检验,以进一步确定有效目标,提高雷达感知同车道内障碍物目标的有效性和准确性;选取最危险目标并跟踪最危险目标,摄像机以最危险目标的动静态为基础进行目标识别,若最危险目标为动态,只需要识别出动态物是否为人体即可,不需要识别出具体类型,减小运算量,提高响应速度,导航箱根据图像识别结果控制农机动作,避免农机在无人驾驶时与障碍物碰撞;若识别结果为人体时,导航箱声光报警提醒劳作人员避开农机,利用人的习惯思维这一特性,不断检测人体是否偏离农机行驶车道或者人体向远离农机方向运动,导航箱根据检测结果控制农机是否做停车等待处理,适应性好。附图说明
[0062] 下面结合附图说明和具体实施方式对本发明作进一步说明:
[0063] 图1为本发明基于毫米波雷达和摄像机的感知农田环境方法的流程图
[0064] 图2为本发明中雷达坐标系和世界坐标系的关系示意图。
[0065] 图3为本发明中摄像机坐标系和世界坐标系的关系示意图。
[0066] 图4为本发明中摄像机坐标系与图像物理坐标系转换的关系示意图。
[0067] 图5为本发明中图像物理坐标系与图像像素坐标系的关系示意图。
[0068] 图6为本发明中农机行驶过程中农田环境示意图。
[0069] 图7为本发明中农机行驶过程中车道判别示意图。
[0070] 图8为本发明中对初选有效目标进行检验以进一步确定有效目标的流程图。

具体实施方式

[0071] 下面结合附图对本发明作进一步的说明。
[0072] 如图1~8所示的一种用于农机无人驾驶的农田环境感知方法,具体包括以下步骤:
[0073] 具体包括以下步骤,
[0074] 步骤1:对摄像机进行标定,得到世界坐标到图形像素坐标的投影矩阵,建立雷达坐标系与世界坐标系之间的相互关系,将雷达坐标转换成图像像素坐标,使雷达与摄像机在空间上同步;
[0075] 步骤2:工控机解算接收到的毫米波雷达数据,确定有效目标,选出农机作业前方雷达感兴趣的区域,确定有效目标中的最危险目标,同步进行摄像机图像的采集;
[0076] 步骤3:根据雷达的信息判断出最危险目标的运动状态,根据雷达与相机采集到的最危险目标的图像数据,判断出最危险目标的类型,工控机根据雷达数据和相机的图像数据解算出农机的动作指令并将其传输给导航箱,导航箱控制农机做相应的动作;
[0077] 其中,在步骤3之前,农机作业时,农机的行驶速度匀速。
[0078] 为了实现摄像机和毫米波雷达在空间上的同步,如图2~5所示,所述步骤1中的将雷达坐标转换成图形像素坐标具体包括以下步骤,
[0079] 步骤1.1:农机作业前,地面默认为水平,将毫米波雷达固定安装在农机的前侧且位于车中纵向中轴,雷达发射面向外,使雷达发射面与地面垂直;将用于标定的棋盘与雷达反射面在同一平面,且位于雷达正上方与地平面垂直,棋盘的左上角点与雷达反射面中心点连线垂直于地面,确定棋盘左上角点距离雷达安装位置的高度为y0,高度单位为mm;安装摄像机时使摄像机的光轴与地面平行;
[0080] 步骤1.2:以雷达的中心为原点建立雷达坐标系00-X0Y0Z0,毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直,Z0轴与地面平行;建立摄像机坐标系Oc-XcYcZc,以摄像机的中心为原点Oc,平面XcOcYc平行于摄像机的成像平面,Zc轴是摄像机的取景光轴且垂直于成像平面(X1O1Y1);建立世界坐标系Ow-XwYwZw,Ow为农机的重心与水平面的交点,Xw轴水平向右并垂直于农机的纵向中轴线,Yw水平向前垂直于农机的纵向中轴线,Zw垂直于水平面向上,雷达坐标系的X0O0Z0平面与世界坐标系的XwOwZw平面平行;
[0081] 步骤1.3:对于空间中任意一点P(x,y,z,)T,P点与雷达之间的相对距离为r,PO0=r,单位为m,相对角度为α,;∠PO0Z=α,单位为度,世界坐标系的X0Z平面平行于雷达坐标系的X0O0Z0平面,将障碍物P的雷达坐标转换成三维世界坐标(如图2所示),具体的转换关系如下,
[0082]
[0083] 步骤1.4:光轴与成像平面相交的点是图像主点O’,世界坐标通过旋转矩阵R和平移向量s转换后得到摄像机坐标(xc,yc,zc,1)T,任意点P的世界坐标为(xw,yw,zw,1)T,将世界坐标转换为摄像机坐标,具体的转换关系如下(如图3所示),
[0084]
[0085] 式(1-2)中,R为一个三行三列的正交单位矩阵,s为世界坐标系到摄像机坐标系的1*3平移矩阵;
[0086] 步骤1.5:将摄像机坐标(xc,yc,zc,1)T转换到图像物理坐标(x1,y1)T,具体的转换关系如下,
[0087]
[0088] 如图4所示,平面X1O1Y1为成像平面,O’X’Y’为虚拟成像平面,两平面关于Oc点对称,O1Oc两点之间的距离为摄像机的镜头焦距f,那么摄像机坐标系中的PC(xc,yc,zc)在成像平面中的坐标即在图像物理坐标系中的坐标为P1(x1,y1),而P’点则是与点P1关于Oc点对称,根据几何关系得到如式(1-3)所示的转换公式,f为摄像机的焦距,焦距单位为mm;
[0089] 步骤1.6:将图像物理坐标(x1,y1)T转换到图像像素坐标(u,v),具体的转换关系如下:
[0090]
[0091] 图像是以像素为单位,区别于图像物理坐标系的单位,如图5所示,建立图像像素坐标系UOV,图像像素坐标系的圆点在图像的左上角,U表示图像的横轴,V表示图像的纵轴,O1(u0,v0)点是摄像机光轴Zc与成像平面X1O1Y1的交点,得到如式(1-4)的图像物理坐标系和图像像素坐标系的转换公式;
[0092] 其中,dx,dy分别表示每个像素在横轴和纵轴上单位大小,u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标,坐标单位为pixel;
[0093] 步骤1.7:根据以上公式(1-1)~(1-4)得到世界坐标与图像像素坐标的转换关系,具体的为,
[0094]
[0095] 所述步骤2中的解算雷达数据确定有效目标,具体包括以下步骤,
[0096] 步骤2.1:对雷达接收到的数据按照毫米波雷达协议进行解算,得到前方物体相对雷达的角度α、距离r、相对速度v、前方物体的反射强度并为每个目标分配唯一一个ID;
[0097] 步骤2.2:对随机噪声信号进行滤波,保证雷达数据的连续有效性,具体的为,定义z=[r,θ,v]T为雷达的测量值,z(k)为毫米波雷达第k次输出的测量值,
[0098] d2=S(z(k)-z(k-1))(z(k)-z(k-1))T<rs2  (2-1)
[0099] 过滤掉不符合式(2-1)的数据信号;其中,d为相邻量测向量z(k)、z(k-1)之间的加权欧氏距离,S为加权矩阵,rs为设定的阈值;
[0100] 步骤2.3:判定目标是否与在农机行驶的车道内,当雷达前方物体满足di≤ds时,目标在农机行驶车道内,否则,目标不在农机行驶车道内,农机行驶车道内的目标初选为有效目标,在农机行驶车道外的目标为虚假目标;其中,ds为安全距离阈值,ds=L/2+ks,di为i采样点下测得的目标与Z0轴之间的距离,L为农机上悬挂的犁具宽度,ks为设定的安全余量;
[0101] 下面举例说明,从图6中可以看出,B、C这2个障碍物距离农机中心的纵向距离大于ds,在农机行驶车道外;A、D这2个障碍物距离农机中心的纵向距离小于ds,在农机行驶车道内,则A和D初选为有效目标;
[0102] 图7中为障碍物在行驶车道内时的显示,障碍物E距离农机中心O农机的距离小于L/2+ks,E在农机行驶车道内;
[0103] 步骤2.4:对初选的有效目标进行有效性检验,最终确定有效目标;
[0104] 步骤2.5:根据确定好的有效目标,通过毫米波雷达获取的最近距离障碍物确定为候选的最危险目标,若dj≤dmin,dj为毫米波雷达获取的农机与ID是j的有效目标之间的距离,dmin为在毫米波雷达一个扫描周期内所获取的农机与最近有效目标的距离,此时,ID是j的有效目标为最危险目标;
[0105] 为了进一步提高有效目标确定的精确度,所述步骤2.4中对初选的有效目标进行有效性检验具体包括以下步骤,
[0106] 步骤2.4.1:对初选的有效目标进行预测,选取状态Sn=[dn,vn,an],初选有效目标的状态预测方程为,
[0107]
[0108] 其中,d(n+1,n)、v(n+1,n)、a(n+1,n)是上一个扫描周期预测的有效障碍物目标的状态信息,dn,vn,an分别表示毫米波雷达第n探测周期内测得的有效障碍物目标的相对距离、相对速度、相对加速度,t是毫米波雷达的扫描周期;
[0109] 步骤2.4.2:通过比较预测的第n+1周期有效目标的状态信息和雷达实际测得的第n+1周期有效目标的状态信息,具体如下,
[0110]
[0111] 其中,d0、v0、a0是设定的有效障碍物目标测量值与预测值之间的误差阈值;
[0112] 步骤2.4.3:有效障碍物目标在雷达的扫描周期中被连续探测到m次以上,同时,满足步骤2.4.2中公式(2-3)的有效目标与初选有效目标一致,则更新目标的相对距离、相对速度、相对角度、编号信息;否则,初选的有效目标不处于毫米波雷达探测目标中,使用有效目标预测信息对初选的有效目标进行跟踪,若初选的有效目标在雷达的下一个扫描周期中仍然没有被探测到,则停止使用对应的初选有效目标信息,更新有效目标信息,并返回步骤2.4.1循环执行;
[0113] 所述步骤3中判断最危险目标的动静状态具体包括以下步骤,
[0114] 步骤3.1:根据步骤2.5中确定的最危险目标,不断更新最危险目标的相对速度和相对距离信息,判断最危险目标与雷达的距离是否在停车距离范围内,即zwd>zmin(3-1),zwd为毫米波雷达探测到的雷达与最危险目标的相对距离,zmin为设定的停车距离阈值,最危险目标满足公式(3-1)时,农机继续行驶;
[0115] 步骤3.2:根据相对速度大小判定最危险目标的运动状态,具体如下,
[0116] v≠v车  (3-2)
[0117] 在一个扫描周期内,(3-2)式始终成立时,判定目标的状态为动态;否则,农机继续行驶,并返回至步骤3.1循环执行;其中,v为雷达相对目标的速度大小,v车为农机的行驶速度;
[0118] 所述步骤3中根据雷达与相机采集到的最危险目标的图像数据,判断出最危险目标的类型具体包括以下步骤,
[0119] 步骤3.1a:若最危险目标始终为静态,则导航箱控制农机做停车等待处理;否则,摄像机对最危险目标进行识别;
[0120] 步骤3.2a:摄像机获取最危险目标的图像,将图像与训练好的人体样本训练库进行匹配比较,输出目标识别结果;
[0121] 步骤3.3a:导航箱根据输出的目标识别结果控制农机动作,若为非人体,则导航箱发出声光报警,并控制农机做停车等待处理;若目标识别结果为人体,则导航箱发出声光报警,判断人体是否偏离农机行驶车道或者人体向远离农机方向运动,用以下公式判断,[0122] zw(n+1)>zwn   (3-3)
[0123] di>ds   (3-4)
[0124] 若雷达探测到的人体目标满足(3-3)或(3-4),则农机继续向前行驶,否则导航箱控制农机做停车等待处理;其中,zwn为第n探测扫描周期雷达相对最危险目标的距离,zw(n+1)为下一个扫描周期雷达相对最危险目标的距离。
[0125] 本发明与现有技术相比,本发明将毫米波雷达和相机结合起来感知农田环境,通过世界坐标系与图像像素坐标系的转换使摄像机和毫米波雷达在空间上实现同步,对噪声和干扰信号产生的随机噪声信号进行滤除,提高雷达探测信号的准确性;根据设定好的农机航向确定为农机行驶车道,将农机行驶车道内的障碍物目标初选为有效目标,再对初选有效目标的有效性进行检验以进一步确定有效目标,提高雷达感知同车道内障碍物目标的有效性和准确性;选取最危险目标并跟踪最危险目标,摄像机以最危险目标的动静态为基础进行目标识别,若最危险目标为动态,只需要识别出动态物是否为人体即可,不需要识别出具体类型,减小运算量,提高响应速度,导航箱根据图像识别结果控制农机动作,避免农机在无人驾驶时与障碍物碰撞;若识别结果为人体时,导航箱声光报警提醒劳作人员避开农机,利用人的习惯思维这一特性,不断检测人体是否偏离农机行驶车道或者人体向远离农机方向运动,导航箱根据检测结果控制农机是否做停车等待处理,适应性好。
[0126] 本发明并不局限于上述实施例,在本发明公开的技术方案的基础上,本领域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形,这些替换和变形均在本发明保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈