基于运动与结构重建的无人机测绘方法
阅读：866发布：2020-05-11
专利汇可以提供基于运动与结构重建的无人机测绘方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于运动与结构重建的无人机测绘方法，具体涉及极端地形的测绘和重建领域。该测绘方法执行了三个方面的测绘： 水 平方向相机拍摄、45度倾斜的相机拍摄和前面两者的组合。为了生成点 云 和正射影像，通过合并的图像集合得到最终的摄影测量结果。另外，开发一个绘制等高线和垂直截面的 软件 程序，以表示测绘地形的几何特征。结果表明，所提方法的 地貌 形态表征方面更准确高效。测试飞行高度在100米左右，X、Y和Z方向的标准误差(RMSE)分别为0.055m、0.071m和0.062m，且测量项目实施的难度明显高于同类方法。，下面是基于运动与结构重建的无人机测绘方法专利的具体信息内容。
1.基于运动与结构重建的无人机测绘方法，其特征在于，包括以下步骤：
步骤1，采用无人机进行图像采集，将飞行计划加载到无人机中，无人机执行两次摄像轴不同的飞行，飞行的摄像轴分别为水平方向和轴下倾斜45度；
步骤2，对采集的图像进行图像处理，具体处理过程如下：
2.1，计算初步的3D模型，其结果包括初始相机标定参数，对应每幅图像的相机相对位置和朝向，以及稀疏点云的3D相对坐标；
2.2，实现点云的致密化，并得到比2.1更详细的3D模型，利用测得的地面控制点和控制点坐标作为点云的地理坐标参考；
2.3，以特定网格大小生成网格DSM，并以预先选择的分辨率输出正射影像；
步骤3，从垂直平面和与目标区域任意点的拟合平面相垂直的平面所生成的原始点云中生成等高线和横断面；
步骤4，对控制点坐标进行评价。
2.如权利要求1所述的基于运动与结构重建的无人机测绘方法，其特征在于，步骤1中，水平摄影轴的飞行包括不同高度处的4次长度为150m的飞行，图像之间的重叠率分别为
90％和60％；轴下倾斜45度的飞行中包括2次长度为150m的飞行，图像分辨率为调整为4240×2832像素，地面采样间距为1.86cm。
3.如权利要求1所述的基于运动与结构重建的无人机测绘方法，其特征在于，步骤2.1中计算的初步的3D模型，包括初始相机标定参数，对应每幅图像的相机相对位置和朝向，以及稀疏点云的3D相对坐标。
4.如权利要求1所述的基于运动与结构重建的无人机测绘方法，其特征在于，步骤2.3中，使用5个测量点作为地面控制点，其他18个点作为控制点。
5.如权利要求1所述的基于运动与结构重建的无人机测绘方法，其特征在于，步骤2中，设定了三个不同的摄影测量计划：
使用水平轴方向拍摄的72幅图像；
使用45°倾斜轴拍摄的36幅图像；
合并所有水平和倾斜轴的108幅图像；
将平面调整到边坡表面并用于投影，以建立正射影像，通过对步骤2得到的地形点云进行拟合，以确定该平面。
6.如权利要求1所述的基于运动与结构重建的无人机测绘方法，其特征在于，步骤4中，对于每个控制点，将摄影测量过程生成的密集点云的四个最近点的内插点坐标与控制点测量坐标相比较，对东、北和高三个方向进行精度评价，分别得到RMSEX、RMSEY和RMSEZ精度度量：RMSEX如式(1)，RMSEY如式(2)，RMSEZ如式(3)，
其中，n表示控制点数量，Xsi、Ysi和Zsi分别表示全站仪测量的第i个控制点的X、Y和Z坐标，Xci、Yci和Zci分别表示来自点云的内插点的X、Y和Z坐标。
基于运动与结构重建的无人机测绘方法
技术领域
[0001] 本发明涉及极端地形的测绘和重建领域，具体涉及一种基于运动与结构重建的无人机测 绘方法。
背景技术
[0002] 近几年，数字高程建模相关技术得到迅速发展。对于大部分地貌应用，地形测量主要是 通过机器人全站仪或差分全球导航卫星系统(GNSS)来完成。地面激光扫描(TLS)和航空激 光扫描(ALS)等新技术明显提高了数字高程模型(DEM)的精度，但这些新技术通常耗时较 久且成本较高，且不适用于一些极端复杂或动态的地形。
[0003] 为克服技术的局限性，研究人员结合计算机视觉和图像分析，提出了运动与结构重建 (SfM)技术，该技术能够自动解决场景几何形状和相机位置与朝向的问题。而使用将UAV成 像和SfM技术用于地貌和地形测绘，则效果更佳。与传统的载人飞机和卫星相比，UAV成本 低、操作灵活、空间和时间分辨率更高，优势明显，在危险地域勘探方面具有重大意义。目 前已有一些研究成果，如比较了不同的SfM衍生地形数据集，这些数据集来自相同观测，大 多数情况下的测量精度均为厘米级，这表明基于SfM算法的UAV地形重建具有可再现性。利 用50m的飞行高度和10个地面控制点，通过UAV摄影测量得到DSM和正射影像，分析了飞行 高度、地面控制点数量以及地貌形态等因素对DSM和正射影像的影响。
发明内容
[0004] 本发明的目的是提出一种基于运动与结构重建的无人机测绘方法。该方法执行了三个方 面的测绘：水平方向相机拍摄、45度倾斜的相机拍摄和前面两者的组合，为了生成点云和正 射影像，通过合并的图像集合得到最终的摄影测量结果。
[0005] 本发明具体采用如下技术方案：
[0006] 基于运动与结构重建的无人机测绘方法，其特征在于，包括以下步骤：
[0008] 步骤2，对采集的图像进行图像处理，具体处理过程如下：
[0009] 2.1，计算初步的3D模型，其结果包括初始相机标定参数，对应每幅图像的相机相对位 置和朝向，以及稀疏点云的3D相对坐标；
[0010] 2.2，实现点云的致密化，并得到比2.1更详细的3D模型，利用测得的地面控制点和控 制点坐标作为点云的地理坐标参考；
[0011] 2.3，以特定网格大小生成网格DSM，并以预先选择的分辨率输出正射影像；
[0012] 步骤3，从垂直平面和与目标区域任意点的拟合平面相垂直的平面所生成的原始点云中 生成等高线和横断面；
[0013] 步骤4，对控制点坐标进行评价。
[0014] 优选地，步骤1中，水平摄影轴的飞行包括不同高度处的4次长度为150m的飞行，图 像之间的重叠率分别为90％和60％；轴下倾斜45度的飞行中包括2次长度为150m的飞行， 图像分辨率为调整为4240×2832像素，地面采样间距为1.86cm。
[0015] 优选地，步骤2.1中计算的初步的3D模型，包括初始相机标定参数，对应每幅图像的相 机相对位置和朝向，以及稀疏点云的3D相对坐标。
[0016] 优选地，步骤2.3中，使用5个测量点作为地面控制点，其他18个点作为控制点。
[0017] 优选地，步骤2中，设定了三个不同的摄影测量计划：
[0018] 使用水平轴方向拍摄的72幅图像；
[0019] 使用45°倾斜轴拍摄的36幅图像；
[0020] 合并所有水平和倾斜轴的108幅图像；
[0021] 将平面调整到边坡表面并用于投影，以建立正射影像，通过对步骤2得到的地形点云进 行拟合，以确定该平面。
[0022] 优选地，步骤4中，对于每个控制点，将摄影测量过程生成的密集点云的四个最近点的 内插点坐标与控制点测量坐标相比较，对东、北和高三个方向进行精度评价，分别得到RMSEX、 RMSEY和RMSEZ精度度量：RMSEX如式(1)，RMSEY如式(2)，RMSEZ如式(3)，[0023]
[0024]
[0025]
[0026] 其中，n表示控制点数量，Xsi、Ysi和Zsi分别表示全站仪测量的第i个控制点的X、Y和Z 坐标，Xci、Yci和Zci分别表示来自点云的内插点的X、Y和Z坐标。
[0027] 本发明具有如下有益效果：
[0028] 该测绘方法执行了三个方面的测绘：水平方向相机拍摄、45度倾斜的相机拍摄和前面两 者的组合。为了生成点云和正射影像，通过合并的图像集合得到最终的摄影测量结果。另外， 开发一个绘制等高线和垂直截面的软件程序，以表示测绘地形的几何特征。结果表明，所提 方法的地貌形态表征方面更准确高效。测试飞行高度在100米左右，X、Y和Z方向的标准误 差(RMSE)分别为0.055m、0.071m和0.062m，且测量项目实施的难度明显高于同类方法。附图说明
[0029] 图1为基于运动与结构重建的无人机测绘方法流程图；
[0030] 图2为研究区域的三维框图；
[0031] 图3为通过剖面定义的水平截面和垂直截面图；
[0032] 图4a为水平轴测量项目的误差图；
[0033] 图4b为倾斜轴测量项目的误差图；
[0034] 图4c为两测量项目合并的误差图；
[0035] 图5a为CS1横断面的结果图；
[0036] 图5b为CS2横断面的结果图。
具体实施方式
[0037] 下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
[0038] 基于运动与结构重建的无人机测绘方法，其特征在于，包括以下步骤：
[0039] 步骤1，采用无人机(UAV)进行图像采集，采用MikroKopter-Tool软件将飞行计划加 载到无人机中，无人机执行两次摄像轴不同的飞行，飞行的摄像轴分别为水平方向和轴下倾 斜45度；在飞行过程中，UAV保持在距离目标表面约50米的垂直平面上，水平摄影轴的飞 行包括不同高度处((20m、50m、80m和100m))的4次长度为150m的飞行，共计选出72幅 图像以进行摄影测量处理，图像之间的重叠率分别为90％和60％；轴下倾斜45度的飞行中包 括高度为50m和100m，长度为150m的飞行，图像分辨率为调整为4240×2832像素，地 面采样间距为1.86cm，共计选出36幅图像以进行摄影测量处理。利用无反射棱镜全站仪测 量了分布在目标表面的26个点的三维坐标。
[0040] 该方法中，利用全站仪测量位于路堑斜坡上的18个点的坐标。斜坡上的点非常难以定位， 但可以在照片上识别出来并作为点云的地理参考。这些点的高度不能超过路面水平35m，否 则会使得全站仪望远镜的角度非常高，无法通过望远镜进行观察。
[0041] 步骤2，采用Pix4Dmapper Pro(版本3.1)对采集的图像进行图像处理，具体处理过程 如下：
[0042] 2.1，计算初步的3D模型，其结果包括初始相机标定参数，对应每幅图像的相机相对位 置和朝向，以及稀疏点云的3D相对坐标；计算的初步的3D模型，包括初始相机标定参数， 对应每幅图像的相机相对位置和朝向，以及稀疏点云的3D相对坐标。
[0043] 2.2，实现点云的致密化，并得到比2.1更详细的3D模型，利用测得的地面控制点和控 制点坐标作为点云的地理坐标参考；
[0044] 2.3，以特定网格大小生成网格DSM，并以预先选择的分辨率输出正射影像，最好使用3 个以上的地面控制点以得到最佳精度，该方法使用5个测量点作为地面控制点，其他18个点 作为控制点。
[0045] 设定了三个不同的摄影测量计划：
[0046] (1)使用水平轴方向拍摄的72幅图像；
[0047] (2)使用45°倾斜轴拍摄的36幅图像；
[0048] (3)合并所有水平和倾斜轴的108幅图像；
[0049] 将平面调整到边坡表面并用于投影，以建立正射影像，通过对步骤2得到的地形点云进 行拟合，以确定该平面。
[0050] 由于目标表面是近乎垂直的，投影到水平面时得到的正射影像不会提供有价值的信息， 甚至会提供混淆信息，因为在某些区域中，对于给定的X和Y坐标，会存在2个或多个Z坐 标。为了避免这种情况，本文将平面调整到边坡表面并用于投影，以建立正射影像。通过对 步骤2得到的地形点云进行拟合，以确定该平面。在该任务中，仅考虑位于感兴趣区域的点， 这与地面摄影测量或近景摄影测量的研究方法类似
[0051] 步骤3，从垂直平面和与目标区域任意点的拟合平面相垂直的平面所生成的原始点云中 生成等高线和横断面；从点云生成的DSM标准程序仅为每个地物点(X,Y)提供1个Z坐标。 因此无法准确表征复杂地形。此外，当前商用软件包无法通过点击正射影像中的某个点来生 成相应的等高线和横断面。因此，为了最大限度获取点云中的信息，本文将代码移植到嵌入 式开发板中，采用TI开发板，采用C++与matlab混合编程，提高运行速度。从垂直平面和 与目标区域任意点的拟合平面相垂直的平面所生成的原始点云中生成等高线和横断面。此类 表征可以生成非常真实的表面形状，对于复杂地形上的规划研究具有重大意义。提出的软件 程序包含两个主要部分：
[0052] 从点云中提取出等高线和横断面。首先，摄影测量项目包含在(XMAX,YMAX,ZMAX)和(XMIN,YMIN, ZMIN)所定义的三维框中，该项目生成的原始点云表现为(Xmax,Ymax,Zmax,)和(Xmin,Ymin,Zmin)所 定义的以目标地点为中心的较小的三维框，。然后，生成等高线和横断面。ω表示拟合到点 云的拟合平面， 为通用水平剖面，从中生成等高线；πi为通用垂直剖面，从中生成横断面。 此外，可对垂直剖面πi和水平剖面 的宽度进行调整，从而在相应截面中纳入足够多的点。 这一调整非常重要，因为界面精度取决于该数值。若该数值过低，则提取出的点数量非常少， 导致不能很好地定义截面。另一方面，若该数值过大，提取出的点数量过多，将产生混淆结 果。因此，为得到最优数值，本文开发了软件程序来比较这些结果，考虑了多个剖面宽度值
[0053] 步骤4，对控制点坐标进行评价。
[0054] 对于每个控制点，将摄影测量过程生成的密集点云的四个最近点的内插点坐标与控制点 测量坐标相比较，对东(X)、北(Y)和高(Z)三个方向进行精度评价，分别得到RMSEX、RMSEY和RMSEZ精度度量：RMSEX如式(1)，RMSEY如式(2)，RMSEZ如式(3)，
[0055]
[0056]
[0057]
[0058] 其中，n表示控制点数量，Xsi、Ysi和Zsi分别表示全站仪测量的第i个控制点的X、Y和Z 坐标，Xci、Yci和Zci分别表示来自点云的内插点的X、Y和Z坐标。
[0059] 对上述测绘方法获取的测绘结果进行误差分析：
[0060] 包含原始点云的边界坐标为(540117，4074712，0)和(540453，4074967，143)，对应的 尺寸为336×255×143m。由于感兴趣区域的面积小于总覆盖面积，使用所提方法(图2和 图3)缩小该区域。目标区域的边界坐标为(Xmin＝540220，Ymin＝4074750，Zmin＝20)和 (Xmax＝540350，Ymax＝4074800，Zmax＝90)，对应的大小为130×50×70m。考虑缩小后的三 维框，则对于水平轴项目、45°倾斜轴项目和合并项目，生成点云中点的数量分别为2640231、 220192和2933590。由此降低了要处理点的数量，缩短了点云任务的执行时间。
[0061] 由图4a-4c和表1可以看出对于每个摄影测量项目(水平轴、倾斜轴和前两者合并)的 每个控制点的X、Y和Z坐标的误差，考虑到前文描述的点云的测量坐标和估计坐标、误差变 化范围(最大误差减去最小误差)、平均误差，以及X、Y和Z方向的RMSE。对于这三个分量， 组合项目中的误差变化范围最小，而倾斜项目中的误差变化范围最大。如果单独分析上述项 目，则三个坐标的误差变化范围较为相似。对于合并项目，X、Y和Z方向的RMSE分别为0.055m、 0.071m和0.062m；对于水平摄影轴项目，X、Y和Z方向的RMSE分别为0.075m、0.090m和 0.079m；而对于倾斜摄影轴项目，X、Y和Z方向的RMSE分别为0.093m、0.097m和0.101m。 因此，包含了水平和倾斜图像的合并项目获得了最佳精度。
[0062] 表1
[0063]
[0064] 基于该测绘方法的软件界面包括3个图形窗口。其中，主窗口为正射影像，投影到拟合 平面上；第二个窗口为等高线，在正射影像窗口之上；第三个窗口为横断面。当在边坡图像 上进行点击时，点击位置上会出现一个十字，并直接在各自窗口中绘制出等高线和横断面。 并给出每个窗口的边界坐标和等高线高程。此外，当光标在正射影像上时，地形坐标会在底 部显示。
[0065] 如点云管理部分所述，本文开发的软件程序中关键的调整是选择剖切面宽度以生成横断 面。如前文所述，以0.5cm、1cm、2cm和5cm的宽度提取。
[0066] 点云和剖切面之间的交点。图5a、5b给出了2个不同横断面的结果(CS1和CS2)。轴上 未做刻度，因为该图旨在对同一截面纳入不同数量的点进行比较。每个截面底部的数字表示 从点云中提取出的点的数量。当选择0.5cm的宽度时，由于提取出的点间隙过大，横断面的 表示未到达足够精度(CS1和CS2分别为103和129个点)。当选择5cm的宽度时，利用提取 出的大量的点(CS1和CS2分别为1140和1232个点)构建出有代表性的截面，但截面未得 到明确定义。
[0067] 此外，使用1cm宽度(CS1和CS2分别为219和259个点)和2cm宽度(CS1和CS2分别 为434和501个点)的截面之间的差异并不显著，且两者均得到了定义良好的代表性截面。 因此在本文分析中，选择1cm的宽度以生成等高线和横断面。
[0068] 将该测绘方法与类似方法比较发现，在精度最高的合并项目中，X、Y和Z方向的RMSE 分别为0.055m、0.071m和0.062m。与合并项目相比，仅使用水平轴或仅使用倾斜轴图像的 摄影测量项目的精度较差。因此，通过误差范围和RMSE值的比较可知：1)对于复杂地形， 需要以不同轴方向拍摄图像；2)通过合并摄影测量项目得到的结果，能够满足技术项目的地 图信息要求。
[0069] 所提方法得到的RMSE值接近或优于其他方法在相似条件下得到的结果。综合比较如表2 所示，飞行高度为地平面上50m，在平面测量和Z分量中分别实现了0.060m和0.064m的几 何精度。研究了数字表面模型的精度，通过UAV摄影测量推导出不同形态的地形的正射影像， 并比较了不同飞行高度下以及不同数量的地面控制点的结果。在50m的飞行高度下使用5个 地面控制点，其X、Y和Z分量的RMSE值在0.050m和0.060m之间。但使用了散布在整个目 标表面的地面控制点，任务难度明显低于本文。
[0070] 虽然散布在整个表面的大量地面控制点有助于实现更高的精度，但对于极度复杂地形来 说无法得到足够多的地面控制点(即时使用无反射镜全站仪)，因为图像中可能无法识别出有 代表性的点。而所提方法能够在复杂地形中实现较高精度，足以满足边坡修复规划的需求。
[0071] 表2
[0072]
[0073] 关于本文方法的图像采集方法，其优势主要体现在充分利用了不同的分行高度和不同的 飞行角度及组合。飞行高度包括20m、50m、80m和100m。在垂直飞行方向和水平飞行方向 中，图像之间的重叠率分别为90％和60％。三种拍摄组合：1)水平方向相机拍摄；2)45度 倾斜的相机拍摄；3)前面两者的组合。因此在图像采集方法比较多样化，整体较为全面。而 文献多采用单一的图像采集方法，最多两种组合。飞行高度固定，而且飞行高度最高仅
50m。
50m。
[0074] 本文提出的方法论能够有效完成极端复杂地形(例如岩石峭壁)的重建，为工程师、地 质学家或其他技术人员提供复杂地形表面的有价值信息。摄影测量项目中处理的图像通过两 种飞行得到：1)摄影轴与目标表面垂直；2)摄影轴与目标表面倾斜45度，得出的点云和正 射影像的精度优于仅考虑单个轴方向。对于合并项目，X、Y和Z方向得到的RMSE分别为 0.055m、0.071m和0.062m，达到了其他方法在类似条件下所能实现的最高精度。此外，使用 标准软件从点云中推导出的DSM可能无法可靠地表征某些非常复杂的地形表面，有必要直接 从点云中生成有用信息。未来本文将通过分析地面控制点的数量和分布，图像分辨率等来改 进所提方法。
[0075] 当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的 技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护 范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种机载红外热像仪的定位方法及系统 | 2020-05-08 | 505 |
| 一种基于地面设备机器视觉的无人驾驶指挥调度系统 | 2020-05-13 | 386 |
| 一种基于北斗短消息的无人机控制方法 | 2020-05-13 | 742 |
| 一种无人机遥感信息监测方法 | 2020-05-11 | 754 |
| 一种智能搬运式夹芯墙板生产系统及方法 | 2020-05-08 | 887 |
| 车辆、车机设备及其在线式地图智能构造方法、云服务器 | 2020-05-14 | 218 |
| 基于经验移植的无人机集群穿越迷障决策方法 | 2020-05-12 | 226 |
| 一种中继通信部署用的无人机平台 | 2020-05-08 | 182 |
| 一种车载式水泥地面刮平机 | 2020-05-08 | 314 |
| 一种标准化地面无人平台 | 2020-05-14 | 546 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈