首页 / 专利库 / 飞机类型 / 自主无人机 / 一种天地一体化柑橘采摘方法

一种天地一体化柑橘采摘方法

阅读:1036发布:2020-08-18

专利汇可以提供一种天地一体化柑橘采摘方法专利检索,专利查询,专利分析的服务。并且一种柑橘自动采摘的方法,该方法将采摘分空中和地面两步进行:采用高 精度 卫星 定位 装置确定无人机准确 位置 ,利用无人机上携带的 双目视觉 定位装置对种植区域内的每棵柑橘树进行信息采集,再用 图像处理 方法获得每棵柑橘树树干和成熟柑橘的空间三维坐标,在短时间内即能收集到种植区域内全部柑橘树和成熟柑橘信息并初步定位。采摘前,将初步定位坐标导入并存储到地面采摘系统中,地面采摘系统沿果树行间间隔运动并在每棵柑橘树前停留,驱动 采摘机 械手运动到成熟柑橘空间三维坐标0.2米空间范围内,启动机械手上携带的和无人机相同的双目视觉定位装置,只需要在存储的成熟柑橘空间三维坐标周围很小范围(±0.25m)内搜索,即可寻获成熟柑橘并确认,再进一步精确定位并自动采摘,知道全部成熟柑橘采摘完成。,下面是一种天地一体化柑橘采摘方法专利的具体信息内容。

1.一种天地一体化柑橘采摘方法,其特征在于包括以下步骤:
步骤S1、使用配备差分卫星定位装置和双目视觉定位装置的无人机,选择不影响无人机稳定飞行和光线适合双目视觉定位装置拍摄的天气,在种植区域内沿柑橘树行列间间隙以某一高度巡航,在每棵柑橘树前自主定高悬停,并利用双目视觉定位装置连续拍照,快速遍历整个种植区域,获取种植区域内柑橘树的图像信息,通过计算机图像处理技术,分割出成熟柑橘,并结合无人机拍摄时的空间三维坐标,初步确定成熟柑橘的空间坐标;
步骤S2、将成熟柑橘的空间坐标导入并存储到携带差分卫星定位装置的地面采摘系统中,地面采摘系统在种植区域内沿柑橘树行列间间隙运动,并在果树前停留,驱动采摘机械手上携带的视觉定位装置,运动到某个成熟柑橘附近,只需要在存储的成熟柑橘空间坐标周围很小范围内搜索,即可寻获成熟柑橘并确认,再进一步精确定位并驱动机械手自动采摘。
2.根据权利要求1所述一种天地一体化柑橘采摘方法,其特征在于:所述步骤S1,具体包括以下步骤:
步骤S1.1、操作携带差分卫星定位装置和双目视觉定位装置的无人机,在合适天气条件下,遥控无人机沿柑橘树行列间间隙,在柑橘树树冠高度以上和树冠高度以下分次飞行,并利用双目视觉定位装置连续拍照,快速获取果园种植区域内柑橘树的图像信息,拍照同时保存差分卫星定位装置确定的无人机当前空间三维坐标;
步骤S1.2、通过计算机,运用图像和信息处理技术,结合差分卫星定位装置确定的无人机自身空间三维坐标和用双目视觉定位装置拍摄的图片信息,确定果园内柑橘树的分布信息,每棵柑橘树树冠形心的空间三维坐标,树冠最大直径和树冠顶点高度信息;
步骤S1.3、根据树冠形心的空间三维坐标、树冠最大直径和树冠顶点高度信息,确定无人机可穿越柑橘树树林的飞行通道,规划出无人机穿越柑橘园拍摄每棵柑橘树清晰图像的自主巡航路线;
步骤S1.4、待柑橘树柑橘成熟需要采摘前,待柑橘树柑橘成熟需要采摘前,选择天晴,风速小于1km/h和光强20000-70000Lux的天气,使用无人机在步骤S1.3中所确定的高度和规划的路径上自主巡航飞行,根据步骤S1.3中确定的每棵柑橘树树冠形心的空间三维坐标,利用差分卫星定位装置和高度传感器,使无人机在每棵柑橘树树干中心线左侧,树干中心线位置,树干中心线右侧,按步骤S1.3中所确定的高度分别自主悬停并保持稳定,利用双目视觉定位装置自动拍摄多张每棵柑橘树柑橘分布情况的照片,利用无人机飞行速度快的优势,遍历整个果园种植区域,获取每棵柑橘树柑橘分布情况的多幅完整图片信息;
步骤S1.5、在上述基础上,通过计算机图像处理软件处理双目视觉定位装置拍摄的图片信息,分割出成熟柑橘,结合差分卫星定位装置,确定的无人机自身空间三维坐标,获得成熟柑橘形心位置的空间三维坐标作为成熟柑橘坐标空间,利用所有图片,获得果园内全部柑橘树上成熟柑橘位置的分布信息;
步骤S1.6、利用每棵树的图片,即可获得果园内全部柑橘树上成熟柑橘的空间三维坐标;
步骤S1.7、由于风力干扰,果实会摆动,加上测量存在误差,因此多次重复步骤S1.4-
1.6,使得获得的信息存在重复和冗余;
将多次定位的坐标予以平均,以平均值作为成熟柑橘位置的空间三维坐标,以提高定位精度
所述步骤S2,具体包括以下步骤:
步骤S2.1、在上述基础上,使用爬坡能力强的履带底盘,携带与无人机相同的差分卫星定位装置以及双目视觉定位装置,配备采摘机械手的地面采摘系统,在天晴,风速小于1km/h条件下进行采摘;
在采摘前,将步骤S1.7所获得的成熟柑橘空间三维坐标信息导入地面采摘系统中;
步骤S2.2、地面采摘系统沿果树行间间隙中间,顺地面行驶,并停留在某棵柑橘树树干前;
步骤S2.3、由于采摘气象条件下,柑橘随风摆动幅度加上系统误差在0.15m范围内,地面采摘系统驱动采摘机械手运动到某个成熟柑橘空间三维坐标外0.2m范围左右停止;
步骤S2.4、采摘机械手上携带的与无人机相同的双目视觉定位装置,启动双目视觉定位装置,在以给定成熟柑橘位置为中心的±0.25m内搜索,对成熟柑橘进行寻获和确认,并进一步精确定位后,驱动机械手执行自动采摘;
步骤S2.5、重复步骤S2.3-步骤S2.4,直至采完整棵果树上的柑橘;
步骤S2.6、重复步骤S2.2-步骤S2.5,直至完成给定种植区域内全部柑橘树上的成熟柑橘采摘。

说明书全文

一种天地一体化柑橘采摘方法

技术领域

[0001] 本发明涉及一种柑橘自动化采摘方法,具体是一种天地一体化柑橘采摘方法。

背景技术

[0002] 人工采摘柑橘这类果树的果实时,由于自然条件下生长的果树形态各异、枝干发达、树冠超过人体高度,果实不均匀的生长在树枝之间和前后背,若完全依靠人工采集,不仅效率低,而且有一定危险性,自动化采摘替代人工采摘是大势所趋。地面自动化采摘需要采用机器视觉定位,机器视觉受自然光线的影响严重,持续作业时日光度和光线强度不断变化,机器视觉受背景光线干扰,常常无法识别柑橘并定位,使采摘作业无法顺利进行。利用无人机采摘柑橘,空中采摘由于飞机受影响产生漂移,无法准确抓取柑橘,且无人机滞空时间短,无法长时间持续作业。因此需要一种准确,可持续作业的柑橘自动化采摘方法。

发明内容

[0003] 为解决地面采摘系统的视觉定位装置受日光角度和强度不断变化影响,在大范围内搜索时,难以快速准确识别出成熟柑橘并定位采摘的缺陷。本发明提供一种天地一体化柑橘采摘方法,应用配备差分卫星定位装置和双目视觉定位装置小型无人机在柑橘成熟期间快速采集果园内柑橘的图片信息,利用图像处理技术识别成熟柑橘并初步定位(误差较大);定位信息在采摘前传送给地面采摘系统,地面采摘系统的采摘机械手上携带的视觉定位装置运动到成熟柑橘坐标附近,只需要在很小范围内搜索即可寻获成熟柑橘,再进一步精确定位(误差很小),并执行采摘的柑橘自动化采摘。
[0004] 本发明采取的技术方案为:
[0005] 一种天地一体化柑橘采摘方法,包括以下步骤:
[0006] 步骤S1、使用配备差分卫星定位装置和双目视觉定位装置的无人机,选择风力不影响无人机稳定飞行和光线适合双目视觉定位装置拍摄的天气,在种植区域沿柑橘树行列间间隙以某一高度巡航,在每棵柑橘树前自主定高悬停,并利用双目视觉定位装置连续拍照,快速遍历整个种植区域,获取种植区域内柑橘树的图像信息,通过计算机图像处理技术,分割出成熟柑橘,并结合无人机拍摄时的空间三维坐标,初步确定成熟柑橘的空间坐标[0007] 步骤S2、将成熟柑橘的空间坐标导入并存储到携带差分卫星定位装置的地面采摘系统中,地面采摘系统驱动采摘机械手上携带的视觉定位装置,运动到某个成熟柑橘附近,只需要在存储的成熟柑橘空间坐标周围很小范围内搜索,即可寻获成熟柑橘并确认,再进一步精确定位并由机械手执行自动采摘。
[0008] 所述步骤S1,具体包括以下步骤:
[0009] 步骤S1.1、操作携带差分卫星定位装置和双目视觉定位装置的无人机,在合适天气条件下,遥控无人机沿柑橘树行列间间隙,在柑橘树树冠高度以上和树冠高度以下分次飞行,并利用双目视觉定位装置连续拍照,快速获取果园种植区域内柑橘树的图像信息,拍照同时保存差分卫星定位装置确定的无人机当前空间三维坐标;
[0010] 步骤S1.2、通过计算机,运用图像和信息处理技术,结合差分卫星定位装置确定的无人机自身空间三维坐标和用双目视觉定位装置拍摄的图片信息,确定果园内柑橘树的分布信息,每棵柑橘树树冠形心的空间三维坐标,树冠最大直径和树冠顶点高度信息;
[0011] 步骤S1.3、根据树冠形心的空间三维坐标、树冠最大直径和树冠顶点高度信息,确定无人机可穿越柑橘树树林的飞行通道,规划出无人机穿越柑橘园拍摄每棵柑橘树清晰图像的自主巡航路线。
[0012] 步骤S1.4、待柑橘树柑橘成熟需要采摘前,选择风力不影响无人机稳定飞行和光线适合双目视觉定位的天气,使用无人机在步骤S1.3中所确定的高度和规划的路径上自主巡航飞行,根据步骤S1.3中确定的每棵柑橘树树冠形心的空间三维坐标,利用差分卫星定位装置和高度传感器,使无人机在每棵柑橘树树干中心线左侧,树干中心线位置,树干中心线右侧,按步骤S1.3中所确定的高度分别自主悬停并保持稳定,利用双目视觉定位装置自动拍摄多张每棵柑橘树柑橘分布情况的照片,利用无人机飞行速度快的优势,遍历整个果园种植区域,获取每棵柑橘树柑橘分布情况的多幅完整图片信息;
[0013] 步骤S1.5、在上述基础上,通过计算机图像处理软件处理双目视觉定位装置拍摄的图片信息,分割出成熟柑橘,结合差分卫星定位装置,确定的无人机自身空间三维坐标,获得成熟柑橘形心位置的空间三维坐标作为成熟柑橘坐标空间,利用所有图片,获得果园内全部柑橘树上成熟柑橘位置的分布信息;
[0014] 步骤S1.6、利用每棵树的图片,即可获得果园内全部柑橘树上成熟柑橘的空间三维坐标。
[0015] 步骤S1.7、由于风力干扰,果实会摆动,加上测量存在误差,因此多次重复步骤S1.4-1.6,使得获得的信息存在重复和冗余。将多次定位的坐标予以平均,以平均值作为成熟柑橘位置的空间三维坐标,以提高定位精度
[0016] 所述步骤S2,具体包括以下步骤:
[0017] 步骤S2.1、在上述基础上,使用爬坡能力强的履带底盘,携带与无人机相同的差分卫星定位装置以及双目视觉定位装置,配备采摘机械手的地面采摘系统,在天晴,风速小于1km/h条件下进行采摘。在采摘前,将步骤S1.7所获得的成熟柑橘空间三维坐标信息导入地面采摘系统中。
[0018] 步骤S2.2、地面采摘系统沿果树行间间隙中间,顺地面行驶,并停留在某棵柑橘树树干前。
[0019] 步骤S2.3、由于采摘气象条件下,柑橘随风摆动幅度加上系统误差在0.15m范围内,地面采摘系统驱动采摘机械手运动到某个成熟柑橘空间三维坐标外0.2m范围左右停止。
[0020] 步骤S2.4、采摘机械手上携带的与无人机相同的双目视觉定位装置,启动双目视觉定位装置,在以给定成熟柑橘位置为中心的±0.25m内搜索,对成熟柑橘进行寻获和确认,并进一步精确定位后,驱动机械手执行自动采摘。
[0021] 步骤S2.5、重复步骤S2.3-步骤S2.4,直至采完整棵果树上的成熟柑橘;
[0022] 步骤S2.6、重复步骤S2.2-步骤S2.5,直至完成给定种植区域内全部柑橘树上的成熟柑橘采摘。
[0023] 本发明一种天地一体化柑橘采摘方法,优点在于:
[0024] 1、用无人机可低空快速飞行的优势遍历整个种植区域,通过低空巡航并在每棵柑橘树前某一高度下自主定高悬停,对柑橘树的图像信息进行自动采集,再通过计算机处理图片信息,结合无人机自身位置,初步确定树上成熟柑橘的空间三维坐标,将位置数据导入并存储到地面采摘系统中,地面采摘系统驱动机械手上携带的视觉定位装置在小范围内搜索即可寻获成熟柑橘并进一步精确定位后进行自动采摘。本发明方法可以推广到其它果树果实的自动采摘中去。
[0025] 2、本发明方法避免了单纯依靠地面采摘系统的机器视觉装置需要在整棵果树上搜寻成熟柑橘,运算量大,耗时长的缺陷,且避免了由于一天内日光强度和角度变化大,机器视觉装置无法准确识别并定位成熟柑橘的缺陷,即使有风的条件下,只要柑橘摆动幅度不大,地面采摘系统的机器视觉装置也能依据导入的定位坐标,快速识别出成熟柑橘并精确定位,天上无人机和地面采摘系统结合可以使自动化采集更加准确、迅速。附图说明
[0026] 下面结合附图和实施例对本发明作进一步说明:
[0027] 图1为本发明的方法流程图
[0028] 图2为柑橘偏树干中心左侧采集图。
[0029] 图3为柑橘正中采集图。
[0030] 图4为柑橘偏树干右侧采集图。
[0031] 图5为图像处理软件处理获得的图片信息,分割出成熟柑橘图。

具体实施方式

[0032] 一种天地一体化柑橘采摘方法,包括以下步骤:
[0033] 步骤S1、使用配备差分卫星定位装置和双目视觉定位装置的无人机,选择风力不影响无人机稳定飞行和光线适合双目视觉定位装置拍摄的天气,在种植区域沿柑橘树行列间间隙以某一高度巡航,在每棵柑橘树前自主定高悬停,并利用双目视觉定位装置连续拍照,快速遍历整个种植区域,获取种植区域内柑橘树的图像信息,通过计算机图像处理技术,分割出成熟柑橘,并结合无人机拍摄时的空间三维坐标,初步确定成熟柑橘的空间坐标;步骤S2、将成熟柑橘的空间坐标导入并存储到携带差分卫星定位装置的地面采摘系统中,地面采摘系统驱动采摘机械手上携带的视觉定位装置,运动到某个成熟柑橘附近,只需要在存储的成熟柑橘空间坐标周围很小范围内搜索,即可寻获成熟柑橘并确认,再进一步精确定位并由机械手执行自动采摘。
[0034] 所述步骤S1,具体包括以下步骤:
[0035] 步骤S1.1、操作携带差分卫星定位装置和双目视觉定位装置的无人机,[0036] 差分卫星定位装置采用中海达新V9GNSS RTK系统,垂直固定安装在无人机中心坐标上方,具体坐标为(0m,0m,0.6m)处。
[0037] 双目视觉定位装置采用MYNT EYE S小觅双目摄像头,垂直固定平行于无人机X轴安装在无人机中心线左侧,双目镜头中心点位置在无人机上为(0m,0.2m,0.1m)。
[0038] 无人机采用极多轴飞无人机P20。
[0039] 在天晴,风速小于1km/h条件下,遥控无人机沿柑橘树行列间间隙,在柑橘树树冠高度以上和树冠高度以下分次飞行,并利用双目视觉定位装置连续拍照,快速获取果园种植区域内柑橘树的图像信息,拍照同时保存差分卫星定位装置确定的无人机当前空间坐标。如差分卫星定位装置显示坐标为N 30.47646146251638度;S 114.35943557225039度,H 23.838m,转换为北京2000坐标系为X=16316.04m,Y=406.78m,Z=23.84m,则机体中心在北京2000坐标系下空间坐标为X=16316.04m,Y=406.78m,Z=23.838-0.6=22.24m。
[0040] 步骤S1.2、通过计算机,运用图像和信息处理技术,结合差分卫星定位装置确定的无人机自身空间三维坐标、和用双目视觉定位装置拍摄的图片信息,确定果园内柑橘树的分布信息,每棵柑橘树树冠形心的空间三维坐标,树冠最大直径和树冠顶点高度信息;如下表1所示:
[0041] 表1:每棵柑橘树树冠形心的空间三维坐标,树冠最大直径和树冠高度信息[0042]  果树1 果树2 果树3
树冠形心X坐标(m) 16318.42 16320.89 16323.92
树冠形心Y坐标(m) 409.86 412.81 414.63
树冠最大直径(m) 2.01 1.97 1.83
树冠顶点Z坐标(m) 26.90 26.53 27.03
[0043] 步骤S1.3、根据树冠形心的空间三维坐标、树冠最大直径和树冠顶点高度信息,确定无人机可穿越柑橘树树林的飞行通道,规划出无人机穿越柑橘园拍摄每棵柑橘树清晰图像的自主巡航路线。如柑橘树一般高约3m,株距2.9m左右,树冠间隙1.2m左右,无人机向自主巡航路径为以距地面2m高度沿柑橘树行间间隙的中心线飞行,逐行巡航,遍历整个果园。
[0044] 步骤S1.4、待柑橘树柑橘成熟需要采摘前,选择天晴,风速小于1km/h和光强20000-70000Lux的天气,使用无人机在步骤S1.3中所确定的高度和规划的路径上自主巡航飞行,根据步骤S1.3中确定的每棵柑橘树树冠形心的空间三维坐标,利用差分卫星定位装置和高度传感器(高度传感器采用MS5611-01BA03气压高度计)。使无人机在每棵柑橘树树干中心线左侧,树干中心线位置,树干中心线右侧,按步骤S1.3中所确定的高度自主悬停并保持稳定,利用双目视觉定位装置在果树树干中心线偏左侧,正中和偏右侧自动拍摄每棵柑橘树柑橘分布情况的照片,利用无人机飞行速度快的优势,遍历整个果园种植区域,获取每棵柑橘树柑橘分布情况的多幅图片。如图2、图3、图4所示。
[0045] 步骤S1.5、在上述基础上,通过Matlab或者OpenCV等图像处理软件处理获得的图片信息,分割出成熟柑橘,如图5所示。根据分割出来的成熟柑橘图像信息,通过Matlab或者OpenCV等图像处理软件获得柑橘果实形心三维重构坐标,结合差分卫星定位装置确定无人机机体空间三维坐标,以及相机在无人机机体上的安装位置三维坐标,三者坐标叠加,即可橘树上成熟柑橘形心位置的空间三维坐标作为成熟柑橘的空间坐标。
[0046] 如图5中柑橘树上成熟果实1通过图像处理获得的果实1形心三维重构坐标在相机坐标系下坐标为X=1.20m,Y=1.50m,Z=-1.02m,由于相机安装在机体上坐标为(0m,0.2m,0.1m),因此果实1在无人机机体下坐标为二者叠加,X=1.20+0=1.20m,Y=1.50+0.20=
1.70m,Z=-0.92m。拍照时差分装置显示当前无人机机体坐标与北京2000坐标系X轴夹角为
30度,则机体坐标转换到北京2000坐标系下为X=1.20*cos(30°)+1.70*sin(30°)=1.89m,Y=1.70*cos(30°)-1.20*sin(30°)=0.87m,Z=-0.92m。当前机体中心在北京2000坐标系下空间坐标如前述为X=16316.04m,Y=406.777m,Z=22.238m处,则果实1的形心坐标在北京2000坐标系下空间坐标为X=16316.04+0.87=16316.91m,Y=406.78+0.87=707.65m,Z=22.24-0.92=21.32m。
[0047] 步骤S1.6、利用每棵树的图片,即可获得果园内全部柑橘树上成熟柑橘的空间三维坐标。
[0048] 步骤S1.7、由于风力干扰,果实会摆动,加上测量存在误差,因此多次重复步骤S1.4-1.6,使得获得的信息存在重复和冗余。将多次定位的坐标予以平均,以平均值作为成熟柑橘位置的空间三维坐标,以提高定位精度;比如图5中柑橘树上果实1位置测试五次,将五次的X,Y,Z坐标值相加,取平均值作为果实1的初步定位坐标。
[0049] 如图5中柑橘树上成熟果实1先后5次测得在北京2000坐标系下坐标表2所示:
[0050] 表2:多次测量果实1位置的结果
[0051]  X(m) Y(m) Z(m)
第一次 16316.91 707.65 21.32
第二次 16316.99 707.67 21.30
第三次 16316.96 707.74 21.29
第四次 16316.83 707.71 21.35
第五次 16316.87 707.56 21.38
平均 16316.91 707.68 21.33
[0052] 则图5中柑橘树上成熟果实1在北京2000坐标系下初步定位坐标为(16316.91m,707.68m,21.33m)。
[0053] 所述步骤S2,具体包括以下步骤:
[0054] 步骤S2.1、在上述基础上,使用爬坡能力强的履带底盘,携带与无人机相同的差分卫星定位装置以及双目视觉定位装置,配备采摘机械手的地面采摘系统,在天晴,风速小于1km/h条件下进行采摘。在采摘前,将步骤S1.7所获得的成熟柑橘空间三维坐标信息导入地面采摘系统中。
[0055] 步骤S2.2、地面采摘系统沿果树行间间隙中间,顺地面行驶,并停留在某棵柑橘树树干前。
[0056] 步骤S2.3、由于采摘气象条件下,柑橘随风摆动幅度加上系统误差在0.15m范围内,地面采摘系统驱动采摘机械手运动到某个成熟柑橘空间三维坐标外0.2m范围左右停止。
[0057] 步骤S2.4、采摘机械手上携带的与无人机相同的双目视觉定位装置,启动双目视觉定位装置,在以给定成熟柑橘位置为中心的±0.25m内搜索,对成熟柑橘进行寻获和确认,并进一步精确定位后,驱动机械手执行自动采摘。
[0058] 如图5中柑橘树上成熟果实1在北京2000坐标系下初步定位坐标为(16316.91m,707.68m,21.33m),则机械手上双目视觉定位装置搜索空间范围为(16316.91±0.25m,
707.68m±0.25m,21.33±0.25m)。
[0059] 步骤S2.5、重复步骤S2.3-步骤S2.4,直至采完整棵果树上的成熟柑橘;
[0060] 步骤S2.6、重复步骤S2.2-步骤S2.5,直至完成给定种植区域内全部柑橘树上的成熟柑橘采摘。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈