首页 / 专利库 / 电脑编程 / 算法 / 基于无人机多视点摄影的浅水河流水深测绘方法及系统

基于无人机多视点摄影的浅河流水深测绘方法及系统

阅读:259发布:2022-10-02

专利汇可以提供基于无人机多视点摄影的浅河流水深测绘方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了基于无人机多视点摄影的浅 水 河流水深测绘系统与方法,包括步骤S1:确定调查时间、调查区域和调查 精度 ;S2:在调查区域架设地面控制点GCPs,应用 定位 仪器对控制点进行定位;S3:规划无人机的飞行航线并按预定航线飞行航拍;S4:运用无人机 图像分析 软件 对步骤S3中多视 角 摄影的影像进行处理,调查区域的正射影像和数字表面高程模型,应用光学模型水深反演程序进行折射校正并反演浅水河流的水深值。相对于传统的GPS测量,全站仪测量和回声测深法,本发明省时省 力 省钱,不会对 水体 和河床造成破坏,具有较高的执行效率;把水深测绘从点测量扩展到面测量,提供较高的空间 分辨率 ,同时还提高了水深测量精度和空间分辨率。,下面是基于无人机多视点摄影的浅河流水深测绘方法及系统专利的具体信息内容。

1.基于无人机多视点摄影的浅河流水深测绘方法,其特征在于,包括以下步骤:
S1、确定调查时间、调查区域和调查精度:根据河流的水文周期特征确定调查时间,选择流量和含沙量较小的枯水期和平水期开展调查;调查区域只针对干净清澈见底的浅水河流;所述调查精度根据具体调查任务要求而定;
S2、在步骤S1中确定的调查区域架设地面控制点GCPs,应用带有VRS-GNSS系统的RTK-GPS测量仪器对地面控制点进行定位,地面控制点的架设原则是尽可能的覆盖整个调查区域;
S3、规划无人机的飞行航线并按预定航线获取影像:对调查区域选择至少3种飞行高度设置航拍航线,无人机根据规划的调查航线自动飞行,无人机搭载的一台多镜头倾斜摄影相机在无人机飞行过程中,自动连续拍摄影像,拍摄的影像中自带相机坐标位置及相机方位
S4、运用无人机图像分析软件对步骤S3中多视角摄影的影像进行处理,软件基于多幅重叠图像特征匹配,应用SfM(即Structure from Motion)算法对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像,并构建代表水底影像的数字表面高程模型和代表水面的水面高程网格;
导出无人机图像分析软件中所有SfM算法重建的影像点及每个影像点附带的坐标及方位角信息,应用基于光学模型的水深反演程序进行折射校正并反演浅水河流的水深;其中SfM算法重建的影像点包括数字表面高程模型和水面高程网格上的影像点。
2.根据权利要求1所述的基于无人机多视点摄影的浅水河流水深测绘方法,其特征在于,步骤S4中,无人机图像分析软件对多视角摄影的影像进行处理的具体方法为:
(4-1)首先,将无人机拍摄的影像集导入到无人机图像分析软件中,根据多幅重叠图像的匹配特征及影像附带的坐标及方位角信息,进行“对齐”和地理参考程序优化,然后计算相机摄像头所有瞬时视场角IFOV的近似地面坐标,在IFOV内的点被认为是摄像机可见的;
对于可见点,导入各影像点的相机坐标位置和其方位角(即俯仰角、翻滚角、偏航角)信息,并建立各个影像点的稀疏点模型;
(4-2)观察所有影像点的稀疏点云模型,确定密集点云的构建区域,删除明显错误定位的点;校对后的数据,以相同的点间距进行重采样,然后用最小高程作为滤波条件来降低数据密度和表面噪声的影响,并对数据点进行“高质量”的密集重建,得到密集点云,即数字表面高程模型,数字表面高程模型为SfM方法计算影像点A(Xa,Ya,Za)的集合;其中,影像点A(Xa,Ya,Za)为SfM方法重建调查区域中水底影像的任意一个影像点;
(4-3)在密集点云中添加了两个新的标量场,即表观深度ha和局部水面高程WSz,利用局部水面高程WSz和数字化的水面边缘点来构建代表水面的水面高程网格;其中,每个点的局部水面高程WSz为当地水文站获取的密集点云所在河段对应的水位值,点到水面高程网格的距离被用来计算表观深度ha,每个点表观深度ha为每个点的水面高程WSz减去SfM方法计算该点的高程Za;
(4-4)导出无人机图像分析软件中所有SfM算法重建影像点,即数字表面高程模型和水面高程网格上的影像点的相关信息,待后续进行折射校准和水深反演处理。
3.根据权利要求1或2所述的基于无人机多视点摄影的浅水河流水深测绘方法,其特征在于,每次航行无人机机载的多镜头相机都从不同的角度来观察河流,依据折射定律将产生不同的入射角r、折射角i、以及不同的表观深度ha;表观深度ha为点到水面高程网格的距离;不同表观深度ha会生成一个宽范围的高程序列,从而生成一个非常嘈杂的点云数据;对于点云数据集中的每个点,通过多视角摄影获得多组有关这个点的照片集,然后基于光学模型公式进行折射校正的迭代运算,最终反演出各点的实际水深h;
应用光学模型对无人机图像分析软件中所有SfM算法重建影像点进行折射校正的具体方法:
对于点云数据集中的每个点,从某一个视角(入射角r)观察河流的这个点时,令相机位置为(Xc,Yc,Zc),点云位置为(Xa,Ya,Za),
入射角
其中,D为相机和目标点的几何距离, dH为相机和目
标点的高度差,dH=Zc-Za;
折射角
其中,n1为水的折射率,n2为空气的折射率;
表观深度ha=WSz-Za    (3);
其中,WSz为局部水面高程,即从当地水文站获取的水位值;
水/空气界面到点的距离x=ha·tan r    (4);
实际水深
根据公式(1)-(5)对多视角摄影获得多组有关每个点的数据进行折射校正,反演获得这个点多个视角对应的实际水深h,将h的平均值作为这一点的校正水深值。
4.根据权利要求1所述的基于无人机多视点摄影的浅水河流水深测绘方法,其特征在于,步骤S3中,针对同一调查区域,分高、中、低三个或多个飞行高度设计航线,每个航线需要覆盖整个研究河段包括河漫滩的全部区域,航线主要设定原则为针对同一调查区域,保持飞行器与河流垂直固定距离飞行。
5.根据权利要求1所述的基于无人机多视点摄影的浅水河流水深测绘方法,其特征在于,步骤S2中,所述地面控制点预先通过高精度的GPS仪器定位坐标,在无人机拍摄的影像中找到地面控制点,并标注其预先测量的实际地理位置信息,从而校正拍摄影像。
6.基于无人机多视点摄影的浅水河流水深测绘系统,其特征在于,包括飞行拍摄系统(1)、地面控制站(2)、地面控制点(3)、及图像处理分析系统(4);
所述飞行拍摄系统(1)包括无人机(11)、第一无线通讯系统(12)、卫星导航系统(13)和多镜头倾斜摄影相机(14);所述第一无线通讯系统(12)、卫星导航系统(13)集成于无人机(11)上,所述多镜头倾斜摄影相机(14)通过云台(15)搭载在无人机(11)上;所述第一无线通讯系统(12)、卫星导航系统(13)和多镜头倾斜摄影相机(14)均与无人机(11)的控制板电连接;
所述地面控制站(2)包括姿态控制装置(21)和第二无线通讯系统(22),第二无线通讯系统(22)集成在姿态控制装置(21)上,所述第二无线通讯系统(22)与第一无线通讯系统(12)通讯连接;
所述地面控制点(3),通过高精度的GPS仪器确定其地理位置信息,然后在无人机拍摄的影像中找到地面控制点,并标注其实际测量的地理位置信息,用于校正拍摄影像;
所述图像处理分析系统(4),包括无人机图像分析软件(41)以及光学模型水深反演程序(42);所述无人机图像分析软件(41)基于地面控制点(3)的位置、以及多镜头倾斜摄影相机(14)多视角拍摄的多幅重叠图像的匹配特征,对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像并构建数字表面高程和水面高程网格;所述光学模型水深反演程序(42)对无人机图像分析软件(41)获得的数字表面高程模型和水面高程网格的影像点、以及影像点附带的相机坐标位置和方位角信息,基于光学模型进行表观深度的折射校正和迭代计算,反演获得实际水深。
7.根据权利要求6所述的基于无人机多视点摄影的浅水河流水深测绘系统,其特征在于,所述姿态控制装置(21)设有显示屏,显示屏内置航线设计软件,或者姿态控制装置(21)连接电脑,电脑内置航线设计软件;所述姿态控制装置(21)通过航线设计软件设计的航线信息控制无人机(11)运动姿态。

说明书全文

基于无人机多视点摄影的浅河流水深测绘方法及系统

技术领域

[0001] 本发明涉及河流测深领域,具体的说是涉及一种基于无人机多视点摄影的浅水河流水深测绘方法及系统。

背景技术

[0002] 在大型河流中,可以采用声纳(单波束或多波束)、测深机载激光雷达(光探测和测距)或声学多普勒等仪器测量水深。然而,在水深小于2m的浅水河流或小溪流中,由于旁侧干扰进行高分辨率水深测量是比较困难的。而浅水河流是各种各样的水生、陆生生物的重要栖息地,河流中的浅水区在生态学与地貌学中有着重要的意义。但是相比于传统的深水测量,浅水河流测量的设备与方法十分有限。受空间分辨率和精度的限制,许多水深测量方法并不适用于浅水河流。因此,利用高精度高科技手段研究河流的浅水区对深入了解河流整体的生态构型过程至关重要。
[0003] 目前,河流浅水区域常采用的测量建模方法有:GPS测量,全站仪测量;回声测量法。RKT-GPS(实时动态差分-卫星定位系统)和全站仪可以提供高精度的测量数据,但是它们常常需要在空间范围与空间分辨率之间进行权衡,这可能导致绘制的河床地形图不连续而且可能对河流侵蚀以及底部沉积等现象做出不准确的分析,另外,这些技术需要与河床有一定的物理接触,这就使得它们的应用被限制在一些安全可靠的区域,无法对一些危险区域进行测量,这种物理接触也有可能损坏河床原有的地形地貌以及生物的栖息地,比如鱼类的产卵区。回声测深是一种主动式遥感测深法:它向河流底部发射声波脉冲,利用声波在水中传播的时间以及水中的声速计算出相应的水深,但是要求水深大于0.8米。安装了回声测深仪的多普勒流速仪(ADCP) 在遥控系统的操作下可以适用于浅水区域的水深测量,但是浅水区域的测深(深度小于0.2m)必须考虑旁瓣干扰对测深的影响,且由于不具备侧扫描的功能,ADCP测深是基于点测量的方法,其空间分辨率并不高,会直接受到测量时间和选定插值方法的影响。
[0004] 为了提高测绘效果,海洋机载水深激光扫描仪(ALB)也被应用于河流测深领域中,这是一种利用绿光和红外线测深的激光主动式遥感系统,近年来主要是以试验机载雷达(EAARL)的方式对河流的整个流网进行绘制可以对水深变化幅度大(水深在0~44m之间)的大型清水区域(几十千米)进行快速测量。但是由于多种原因,测深雷达目前还未在水深测绘方面得到广泛应用,其一,测深雷达本身价格昂贵,一台大概需要百万以上,要求在水域上空运行,并且需要直升机或者专业的大型无人机携载,显然这会产生高昂的费用并对测量的时间和频率有所限制;其二,复杂的环境因素如水的澄澈度,植被覆盖,以及水体表面的水波,都会影响激光的透射,从而影响反射波的波长及脉形;其三,浅水区域的测量不易实施,这主要是因为难以对水表、水体、水底的反射进行区分。
[0005] 在无人机上装载摄影测量校准传感器,使其测深可行性大大提高,而多方位立体摄影测量手段则提高了未经校准的传感器的精度,具体表现在动态高程结构摄影测量技术(Structure from Motion,SfM) 的应用,这使摄影测深法得到进一步普及。相对来说,SfM法成本较为低廉,相较于以上几种测深法具有较高的空间分辨率,它主要依赖于可见光波运行,是一种被动型遥感测深法。航空摄影测量的分辨率在理论上取决于陆面图像的像素分辨率,而像素的分辨率又取决于无人机飞行的高度以及无人机传感器上的电器耦合器件数组,这就使得测量的分辨率得到了人为的控制。这种方法和其他方法一样存在着对空间分辨率与空间范围的权衡,但是相比其他方法,它更可能在大范围区域内实现高精度的测量。

发明内容

[0006] 为解决上述背景技术中提出的问题,本发明的目的在于提供一种基于无人机多视点摄影的浅水河流水深测绘方法及系统。
[0007] 为实现上述目的,本发明采取的技术方案为:
[0008] 本发明提供了一种基于无人机多视点摄影的浅水河流水深测绘方法,包括以下步骤:
[0009] S1、确定调查时间、调查区域和调查精度:根据河流的水文周期特征确定调查时间,选择流量和含沙量较小的枯水期和平水期开展调查;调查区域只针对干净清澈见底的浅水河流;所述调查精度根据具体调查任务要求而定;
[0010] S2、在步骤S1中确定的调查区域架设地面控制点(ground control points,GCPs),应用带有VRS-GNSS(Virtual reference station global navigation satellite system)系统的RTK-GPS仪器对地面控制点进行定位,地面控制点的架设原则是尽可能的覆盖整个调查区域;
[0011] S3、规划无人机的飞行航线并按预定航线自动监测:对调查区域选择至少3种飞行高度设置航拍航线,无人机根据规划的调查航线自动飞行,无人机搭载的多镜头倾斜摄影相机在无人机飞行过程中,自动连续拍摄影像,拍摄的影像中自带相机坐标位置及相机方位
[0012] S4、运用无人机图像分析软件对步骤S3中多视角摄影的影像进行处理,软件基于多视角摄影获取的多幅重叠图像的匹配特征,应用SfM算法对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像,并构建代表水底影像的数字表面高程模型和代表水面的水面高程网格;
[0013] 导出无人机图像分析软件中所有SfM算法重建影像点及每个影像点附带的坐标及方位角信息,应用基于光学模型的水深反演程序进行折射校正并反演浅水河流的水深;其中SfM算法重建影像点包括数字表面高程模型和水面高程网格上的影像点。
[0014] 上述技术方案中,步骤S4中,无人机图像分析软件对多视角摄影的影像进行处理的具体方法为:
[0015] (4-1)首先,将无人机拍摄的影像集导入到无人机图像分析软件中,根据多幅重叠图像的匹配特征及影像附带的坐标及方位角信息,进行“对齐”和地理参考程序优化,然后计算相机摄像头所有的瞬时视场角IFOV的近似地面坐标,在IFOV内的点被认为是摄像机可见的;对于可见点,导入各影像点的相机坐标位置(X、Y、Z)和其方位角(俯仰角、翻滚角、偏航角)信息,并建立各个影像点的稀疏点模型。
[0016] (4-2)观察所有影像点的稀疏点云模型,确定密集点云的构建区域,删除该区域内明显错误定位的点;校对后的数据,以相同的点间距进行重采样,然后用最小高程作为滤波条件来降低数据密度和表面噪声的影响,并对数据点进行“高质量”的密集重建,得到密集点云,即数字表面高程模型,数字表面高程模型为SfM方法计算影像点A (Xa,Ya,Za)的集合;其中,影像点A(Xa,Ya,Za)为SfM方法重建调查区域中水底影像的任意一个影像点;
[0017] (4-3)在密集点云中添加了两个新的标量场,即表观深度ha和局部水面高程WSz,利用实测的每个点的局部水面高程WSz和数字化的水面边缘点来构建代表水面的水面高程网格;
[0018] 其中,每个点的局部水面高程WSz为当地水文站获取的密集点云对应的水位值,局部水面高程WSz为当地水文站获取的密集点云所在河段对应的水位值;点到水面高程网格的距离被用来计算表观深度ha,每个点表观深度ha为每个点的水面高程WSz减去SfM方法计算该点的高程Za;
[0019] (4-4)导出无人机图像分析软件中所有SfM算法重建影像点,即数字表面高程模型和水面高程网格上的影像点的相关信息,待后续进行折射校准和水深反演处理。
[0020] 上述技术方案中,每次航行无人机机载的多镜头相机都从不同的角度来观察河流,依据折射定律将产生不同的入射角r、折射角i、以及不同的表观深度ha;表观深度ha为点到水面高程网格的距离;不同表观深度ha会生成一个宽范围的高程序列,从而生成一个非常嘈杂的点云数据;对于点云数据集中的每个点,通过多视角摄影获得多组有关这个点的照片集,然后基于光学模型公式进行折射校正的迭代运算,最终反演出各点的实际水深h;
[0021] 应用光学模型对无人机图像分析软件中所有SfM算法重建影像点进行折射校正的具体方法:
[0022] 对于点云数据集中的每个点,从某一个视角(入射角r)观察河流的这个点时,令相机位置为(Xc,Yc,Zc),点云位置为(Xa,Ya, Za),
[0023] 入射角
[0024] 其中,D为相机和目标点的几何距离, dH为相机和目标点的高度差, dH=Zc-Za;
[0025] 折射角
[0026] 其中,n1为水的折射率,n2为空气的折射率;
[0027] 表观深度ha=WSz-Za    (3);
[0028] 其中,WSz为局部水面高程,即从当地水文站获取的水位值;
[0029] 水/空气界面到点的距离x=ha·tanr    (4);
[0030] 实际水深
[0031] 根据公式(1)-(5)对多视角摄影获得多组有关每个点的数据进行折射校正,反演获得这个点多个视角对应的实际水深h,将h的平均值作为这一点的校正水深值。
[0032] 上述技术方案中,根据权利要求1所述的基于无人机多视点摄影的浅水河流水深测绘方法,其特征在于,步骤S3中,针对同一调查区域,分高、中、低三个或多个飞行高度设计航线,每个航线需要覆盖整个研究河段包括河漫滩的全部区域,航线主要设定原则为针对同一调查区域,保持飞行器与河流垂直固定距离飞行。
[0033] 上述技术方案中,步骤S2中,所述地面控制点预先通过高精度的GPS仪器定位坐标,在无人机拍摄的影像中找到地面控制点,并标注其预先测量的实际测量的地理位置信息,从而校正拍摄影像的地理位置。
[0034] 本发明还提供了一种基于无人机多视点摄影的浅水河流水深测绘系统,包括飞行拍摄系统、地面控制站、地面控制点、及图像处理分析系统;
[0035] 所述飞行拍摄系统包括无人机、第一无线通讯系统、卫星导航系统和多镜头倾斜摄影相机;所述第一无线通讯系统、卫星导航系统集成于无人机上,所述多镜头倾斜摄影相机通过云台搭载在无人机上;所述第一无线通讯系统、卫星导航系统和多镜头倾斜摄影相机均与无人机的控制板电连接;
[0036] 所述地面控制站包括姿态控制装置和第二无线通讯系统,所述第二无线通讯系统集成在姿态控制装置上,所述第二无线通讯系统与第一无线通讯系统通讯连接;
[0037] 所述地面控制点,通过高精度的GPS仪器确定其地理位置信息,然后在无人机拍摄的影像中找到地面控制点,并标注其实际测量的地理位置信息,用于校正拍摄影像的地理位置;
[0038] 所述图像处理分析系统,包括无人机图像分析软件以及光学模型水深反演程序;所述无人机图像分析软件基于地面控制点的位置、以及多镜头倾斜摄影相机多视角拍摄的多幅重叠图像的匹配特征,对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像、并构建数字表面高程模型和水面高程网格;所述光学模型水深反演程序对无人机图像分析软件获得的数字表面高程模型和水面高程网格的影像点、及影像点附带的相机坐标位置(X、Y、Z)和方位角信息,基于光学模型进行表观深度的折射校正和迭代计算,反演获得实际水深。
[0039] 上述技术方案中,所述姿态控制装置设有显示屏,显示屏内置航线设计软件,或者姿态控制装置连接电脑,电脑内置航线设计软件;所述姿态控制装置通过航线设计软件设计的航线信息控制无人机运动姿态。
[0040] 与现有技术相比,本发明的有益效果是:
[0041] 1、本发明提供的方法省时省,无需调查监测人员在河岸边徒步或河流中涉水进行测量,能够减少河流野外调查工作中的人身危险;可达性好,不受人工调查中的实际线路限制,调查结果代表性更好;调查结果采用SfM摄影图像分析技术处理和应用光学模型进行迭代计算求得研究区域的水深值,把传统的回声探测仪的点测量扩展为面测量,浅水河流水深测量精度和分辨率更高,定位更为准确。
[0042] 2、本发明通过无人机飞行中采用多镜头倾斜摄影相机都从不同的角度来观察河流,通过无人机图像分析软件对相机影像进行SfM 重建后,基于光学模型对SfM重建后的影像点进行折射校正和迭代计算的方法,得到实际水深的二维模型(河流横向和纵向水深),相较于传统人工测量或单点测量的m级间距,本发明浅水河流水深测量间距的精度达到cm级(相机的分辨率),且提高了空间分辨率。附图说明
[0043] 图1为本发明中基于无人机多视点摄影的浅水河流水深测绘系统的结构示意图;
[0044] 图2为本发明中基于无人机多视点摄影的浅水河流水深测绘方法的具体实施示意图;
[0045] 图3为本发明涉及的光学模型原理的公式方程参数示意图;
[0046] 图4为本发明涉及的折射校对原理中四种不同角度/位置的折射角和表观深度位置示意图;
[0047] 附图标记说明:
[0048] 1、飞行拍摄系统;11、无人机;12、第一无线通讯系统;13、卫星导航系统;14、多镜头倾斜摄影相机;15、云台;16、存储卡; 2、地面控制站;21、姿态控制装置;22、第二无线通讯系统;3、地面控制点;4、图像处理分析系统;41、无人机图像分析软件;42、光学模型水深反演程序。

具体实施方式

[0049] 为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合附图和具体实施方式,进一步阐述本发明是如何实施的。
[0050] 本发明提供了一种基于无人机多视点摄影的浅水河流水深测绘方法,包括以下步骤:
[0051] S1、确定调查时间、调查区域和调查精度:
[0052] 根据河流的水文周期特征确定调查时间,选择流量及含沙量较小的枯水期和平水期开展调查,避开丰水期和封期;调查区域只针对干净清澈见底的浅水河流;
[0053] 调查方式主要分为程控作业方式;
[0054] 所述调查精度根据具体调查任务要求而定;对于浅水河流水深的调查,一般要求多镜头倾斜摄影相机(如大势智慧倾斜摄影双鱼相机 5.0)拍摄影像中心像元的空间分辨率不小于0.1米。根据调查任务精度要求以及多镜头倾斜摄影相机具体性能参数,确定调查任务中飞行器与河流的垂向距离。
[0055] S2、在步骤S1中确定的调查区域布设地面控制点GCPs,应用带有VRS-GNSS系统的RTK-GPS仪器对地面控制点进行定位;
[0056] 控制点布设数量:根据监测河段的范围和地形地貌的复杂程度布设。若1:500的测图可以每隔100米河段布设两个控制点,若1: 500以下的测图,可根据实际情况抽稀。后期数据处理需要的话,每架次至少4个控制点,分别分布在四个角。
[0057] 控制点布设原则:控制点布设应均匀分布,不可布设成直线,并且区域四周及中间都要有。控制点应选在清晰、明显、空旷的地方,不存在树木或者建筑物的遮挡,控制点所处水面尽量为静水区或缓流区,且用铅垂或者锚等固定标识物;
[0058] 所述地面控制点预先通过高精度的GPS仪器定位坐标,在无人机拍摄的影像中找到地面控制点,并标注其预先测量的实际测量的地理位置信息,从而校正拍摄影像的地理位置;
[0059] S3、规划无人机的飞行航线并按预定航线自动监测:
[0060] 在地面控制站的电脑上采用航线设计软件(如大疆公司开发的 DJI GS Pro,或者Altizure app,或者Pix4Dmapper等)规划无人机的飞行航线;
[0061] 航线设计原则:针对同一调查区域,分高、中、低三个或多个飞行高度设计航线,每个航线需要覆盖整个研究河段包括河漫滩的全部区域,航线主要设定原则为针对同一调查区域,保持飞行器与河流垂直固定距离飞行。
[0062] 通过地面控制站的姿态控制装置启动并控制无人机的飞行状态,无人机根据规划的调查航线自动飞行,无人机搭载的多镜头倾斜摄影相机在无人机飞行过程中,自动连续拍摄影像(在每次航线飞行过程中,搭载的多镜头倾斜摄影相机从不同角度进行摄影(多镜头相机中的每个镜头的摄影角度根据相机自带软件分析得到的最佳摄影角度),拍摄的影像自动存储在无人机内的存储卡16(SD卡)中,存储卡16与无人机的控制板电连接,存储的拍摄影像中自带相机坐标位置(无人机搭载的卫星导航系统给出的定位信息)及相机方位角(相机自动旋转方位,包括俯仰角、翻滚角、偏航角);同时,通过将影像无线传输到地面控制站的姿态控制装置中,用于监测无人机的飞行状态;
[0063] S4、运用无人机图像分析软件对步骤S3中无人机内的存储卡16 存储的多视角摄影的影像进行处理,软件基于多视角摄影获取的多幅重叠图像的匹配特征,应用SfM(Structure from Motion)算法对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像(正射影像是无人机拍摄形成的)、并构建代表水底影像的数字表面高程模型和代表水面的水面高程网格;
[0064] 导出无人机图像分析软件中所有SfM算法重建影像点及每个影像点附带的相机坐标及方位角的相关信息,应用基于光学模型的水深反演程序进行折射校正并反演浅水河流的水深;其中SfM算法重建影像点信息包括数字表面高程和水面高程网格上的影像点坐标和高程信息。
[0065] 步骤S4中,无人机图像分析软件对多视角摄影的影像进行处理的具体方法为:
[0066] (4-1)首先,将无人机拍摄的影像集导入到无人机图像分析软件中,根据多幅重叠图像的匹配特征及影像附带的坐标及方位角信息,进行“对齐”和地理参考程序优化,然后计算相机摄像头所有的瞬时视场角IFOV的近似地面坐标,在IFOV内的点被认为是摄像机可见的;对于可见点,导入各影像点的坐标相机位置(坐标(X、Y、 Z),通过卫星导航系统13导航定位)和其方位角(相机自动旋转方位,包括俯仰角、翻滚角、偏航角)信息,并建立各个影像点的稀疏点云模型;
[0067] (4-2)观察所有影像点的稀疏点云模型,确定密集点云的构建区域(构建区域是所要研究的河道内部区域中水深大于0的区域),删除明显错误定位的点;校对后的数据,以相同的点间距进行重采样,然后用最小高程作为滤波条件来降低数据密度和表面噪声的影响,并对数据点进行“高质量”的密集重建,得到密集点云,即数字表面高程模型,数字表面高程模型为SfM方法计算影像点A(Xa,Ya,Za) 的集合;其中,影像点A(Xa,Ya,Za)为SfM方法重建调查区域水底影像模型中的任意一点;
[0068] (4-3)在密集点云中添加了两个新的标量场,即表观深度ha和局部水面高程WSz,利用实测的每个点的局部水面高程WSz和数字化的水面边缘点来构建代表水面的水面高程网格;
[0069] 其中,每个点的局部水面高程WSz为当地水文站获取的密集点云所在河段对应的水位值,点到水面高程网格的距离被用来计算表观深度ha,每个点表观深度ha为每个点的水面高程WSz减去SfM方法计算该点的高程Za;
[0070] (4-4)导出无人机图像分析软件中所有SfM算法重建影像点,即数字表面高程模型和水面高程网格上的影像点及其对应的相机位置和方位角的相关信息,待后续进行折射校准和水深反演处理。
[0071] 本发明中,每次航行无人机机载的多镜头相机都从不同的角度来观察河流,依据折射定律将产生不同的入射角r、折射角i、以及不同的表观深度ha,如图3所示;表观深度ha为点到水面高程网格的距离;不同表观深度ha会生成一个宽范围的高程序列,从而生成一个非常嘈杂的点云数据;对于点云数据集中的每个点,通过多视角摄影获得多组有关这个点的照片集,然后基于光学模型公式进行折射校正的迭代运算,最终反演出各点的实际水深h;
[0072] 应用光学模型对无人机图像分析软件中所有SfM算法重建影像点进行折射校正的具体方法:
[0073] 对于点云数据集中的每个点,从某一个视角(入射角r)观察河流的这个点时,如图3所示,令相机位置为(Xc,Yc,Zc),点云位置为(Xa,Ya,Za),
[0074] 入射角
[0075] 其中,D为相机和目标点的几何距离, dH为相机和目标点的高度差, dH=Zc-Za;
[0076] 折射角
[0077] 其中,n1为水的折射率,n1=1.33,n2为空气的折射率,n2=1.0;
[0078] 表观深度ha=WSz-Za    (3);
[0079] 其中,WSz为局部水面高程,即从当地水文站获取水位值;
[0080] 水/空气界面到点的距离x=ha·tanr    (4);
[0081] 实际水深
[0082] 根据公式(1)-(5)对多视角摄影获得多组有关每个点的数据进行折射校正,反演获得这个点多个视角对应的实际水深h,将h的平均值作为这一点的校正水深值。
[0083] 如图1所示,本发明还提供了一种基于无人机多视点摄影的浅水河流水深测绘系统,包括飞行拍摄系统1、地面控制站2、地面控制点3、及图像处理分析系统4;
[0084] 所述飞行拍摄系统1包括无人机11、第一无线通讯系统12、卫星导航系统13(如具有高灵敏度GNSS系统的RTK模)和多镜头倾斜摄影相机14(如大势智慧倾斜摄影双鱼相机5.0);无人机11可采用固定翼、多旋翼或直升机多种类型,优选多旋翼飞行器,如大疆公司的精灵Phantom 4RTK;
[0085] 所述第一无线通讯系统12、卫星导航系统13集成于无人机11 上,所述多镜头倾斜摄影相机14(方位角)通过云台15搭载在无人机11上,云台可实现供所搭载多镜头倾斜摄影相机14在无人机飞行过程中保持同一拍摄标准,多镜头倾斜摄影相机14可进行水平向 360°旋转探测(同一标准);所述第一无线通讯系统12、卫星导航系统13和多镜头倾斜摄影相机14均与无人机11的控制板电连接,无人机11的控制板还与存储卡16连接,存储卡16用于存储多镜头倾斜摄影相机14拍摄的影像;
[0086] 所述地面控制站2包括姿态控制装置21和第二无线通讯系统22,第二无线通讯系统22集成在姿态控制装置24上,所述第二无线通讯系统22与第一无线通讯系统12通过无线网卡或WiFi热点与NTRIP (通过互联网进行RTCM网络传输的协议)通讯连接;
[0087] 所述姿态控制装置21设有显示屏,显示屏内置航线设计软件,如内置GS RTKApp的带屏遥控器;或者姿态控制装置21连接电脑 (如便携式笔记本电脑或ipad),电脑内置航线设计软件;所述姿态控制装置21通过航线设计软件设计的航线信息控制无人机11运动姿态。
[0088] 所述地面控制点3用于校正拍摄影像的地理位置;在浅水河流调查区域选取可到达的地点,地面控制点可以通过选取地表固有特征点 (如道路交叉口、井盖、地标建筑等)或者架设标识板方法来布设。原则是尽可能的覆盖整个调查区域。应用带有Virtual reference station global navigation satellite system(VRS-GNSS)系统的RTK-GPS测量仪器(例如中海达V30 Plus GNSS RTK测量系统)对控制点进行精确定位,然后在无人机拍摄的影像中找到地面控制点,并标注其实际测量的地理位置信息,用于校正拍摄影像的地理位置。
[0089] 所述图像处理分析系统4,包括无人机图像分析软件41以及光学模型水深反演程序42;图像处理分析系统4可设置在地面控制站的电脑内,也可以设置在其它室内电脑内。其作用是为了实现多视点影像集的几何校正、空间拼接、点云重建、SfM分析、水深反演等功能。
[0090] 所述无人机图像分析软件41基于地面控制点3的位置、以及多镜头倾斜摄影相机14多视角拍摄的多幅重叠图像的匹配特征,对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像,并构建代表水底影像的数字表面高程模型和代表水面的水面高程网格;所述光学模型水深反演程序42对无人机图像分析软件41 获得的数字表面高程模型和水面高程网格的影像点、及影像点附带的相机位置(X、Y、Z)和方位角信息,基于光学模型进行表观深度的折射校正和迭代计算,反演获得实际水深h。
[0091] 本系统的工作原理:
[0092] 姿态控制装置21通过第一无线通讯系统12和第二无线通讯系统通讯22,按照航线设计软件设计的航线信息控制无人机21运动姿态,同时无人机根据搭载的卫星导航系统13对无人机飞行位置进行定位飞行;
[0093] 无人机在规定航线上飞行同时,无人机搭载的单台多镜头倾斜摄影相机在无人机飞行过程中,从不同角度自动连续拍摄影像,拍摄的影像自动存储在无人机搭载的存储卡16(SD卡)中,其中存储卡16 存储的拍摄影像中自带相机坐标位置(无人机搭载的卫星导航系统给出的定位信息)及相机方位角(相机自动旋转方位,包括俯仰角、翻滚角、偏航角);
[0094] 将存储卡16存储的相机影像通过图像处理分析系统4进行处理,所述无人机图像分析软件41基于地面控制点3的位置、以及多镜头倾斜摄影相机14多视角拍摄的多幅重叠图像的匹配特征,在影像中找出控制点像元位置,并标定控制点实测的地理坐标,对每副影像进行空间校正处理,实现图像的空间拼接,建立调查区域的正射影像和数字表面高程;所述光学模型水深反演程序42对无人机图像分析软件41获得的表观深度进行折射校正,反演获得实际水深。
[0095] 具体实施例
[0096] 本实施例以一条300m长,最大水深小于2m的清澈见底溪流河段为例,说明具体实施过程。基于无人机多视点摄影的浅水河流水深测绘方法包括以下步骤:
[0097] (1)确定调查时间、调查方式和调查精度。
[0098] 选择天气晴朗,无云的枯水期或者平水期进行实施测量,调查方式选择无人机程控作业方式,调查精度为拍摄影像中心像元的分辨率不小于0.1m。
[0099] (2)地面控制点的布设。
[0100] 依据本次溪流河段调查区域的面积大小,需要布设9个控制点,分别分布在上游和下游的四个角和河段中游区域清晰、明显、空旷的地方,采用反光材料的标识板,用并铅垂固定标识板,见图2。
[0101] (3)规划航线并按预定航线自动监测。
[0102] 通过无线通讯装置连接飞行拍摄系统与地面工作站中的航线设计软件。本例子采用航线设计软件DJI GS Pro规划航线,导入飞行区域的矢量文件或者在地图中直接绘制飞行区域,然后选择测绘航拍区域模式。针对同一研究区域,分70m、50m、30m三个飞行高度设计航线,航线为保持飞行器与河流垂直固定距离针对同一区域飞行。根据实际情况选择云台型号,测区环境,需要达到的原片分辨率,测区内建筑物高度,飞行高度及相机连续拍摄影像的间隔时间等,软件会根据提供的需求,计算出航线长度、航点数、主航线条数、飞行区域面积、预计飞行时间、预计拍照数量、所需电池数、拍照间隔距离、相机设定等航线规划参数。
[0103] 多镜头倾斜摄影相机保持水平姿态拍摄影像,所拍摄图像中相邻图像保持80%以上的重叠度。无人机根据规划的调查航线自动飞行,无人机搭载的多镜头倾斜摄影相机在无人机飞行过程中,自动连续拍摄影像。拍摄的影像会自动存储在无人机内置的存储卡中,同时通过无线通讯装置传输影像至地面控制站的电脑中。完成规划航线飞行任务后,无人机回到出发点,结束程控作业。然后调整飞行高度,再次针对同一飞行区域进行程控作业,至少需要获取同一研究区域不同飞行高度3组以上的影像集。
[0104] (4)室内无人机监测数据图像处理分析与光学模型水深反演。
[0105] 首先,将相机拍摄的影像集导入到无人机图像分析软件(即遥感图像处理软件Agisoft Photoscan Pro(版本v1.4.4))中,根据多幅重叠图像的匹配特征及影像附带的坐标及方位角信息,进行“对齐”和地理参考程序优化,然后计算相机摄像头所有瞬时视场角IFOV的近似地面坐标,在IFOV内的点被认为是摄像机可见的。对于可见点 (其中任一点信息参数,如图3所示),导入各影像点的相机坐标位置C(Xc、Yc、Zc)和其方位角(俯仰角、翻滚角、偏航角)信息,并建立各个影像点的稀疏点云模型。
[0106] 其次,观察所有影像点的稀疏点云模型,确定密集点云建立区域,删除明显错误定位的点;校对后的数据,以相同的点间距进行重采样,然后用最小高程作为滤波条件来降低数据密度和表面噪声的影响,并对数据点进行“高质量”的密集重建,得到密集点云,即数字表面高程模型,数字表面高程模型为SfM方法计算影像点A(Xa, Ya,Za)的集合;
[0107] 接着,在密集点云中添加了两个新的标量场,即表观深度ha和局部水面高程WSz,利用实测每个点的局部水面高程WSz和数字化的水面边缘点来构建代表水面的水面高程网格;
[0108] 其中,每个点的局部水面高程WSz为当地水文站获取的密集点云所在河段对应的水位值,点到水面高程网格的距离被用来计算表观深度ha,每个点表观深度ha为每个点的水面高程WSz减去SfM方法计算该点的高程Za,并且将表观深度ha符号倒置,所以ha是正值。
[0109] 最后,导出无人机图像分析软件中所有SfM算法重建影像点(即数字表面高程模型和水面高程网格上的影像点,且影像点均附带有相机坐标及方位角)的相关信息为ASCII逗号分隔的文件,待后续进行折射校准和水深反演处理。
[0110] 利用python软件依据公式(1)~(5)的光学模型算式编写程序,进行折射校正与水深反演。把点云、相机位置/方位角和相机传感器参数(焦距、传感器大小)加载到python脚本,该脚本计算每个影像集的IFOV、点可见性以及所有点/相机组合的折射校正方程,最后将折射校正的点导出为新的csv文件,即为研究区域的水深值反演结果(实际水深h,P(Xp,Yp,Zp)点的集合),该值可以导入到ArcGIS 软件中进行水深的空间分布展示。
[0111] 最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围中。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈