一种基于图像中边沿点信息的单目视觉测程方法
专利汇可以提供一种基于图像中边沿点信息的单目视觉测程方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于图像中边沿点信息的无人机单目视觉测程的方法，属于无人机导航 定位 技术领域，该方法包括：从与无人机固连的下视单目相机捕获的 图像序列 中选择两 帧 构建初始地图和初始 深度图 ，将第一帧取作地图中的第一个关键帧，并将第一帧对应的相机 坐标系 取为世界坐标系，完成初始化；再并行进行 运动估计 、地图构建和深度图估计三个线程：运动估计线程利用已知的地图和深度图信息，与当前帧进行对齐得到测程结果，并根据测程结果对已有的地图信息进行优化，地图构建和深度图估计线程同时运行以维护地图和深度图信息。本发明充分利用现代处理器的多核架构，能有效地利用图像中的边沿点信息，结合 角 点信息，提高了 算法 效率，具有更强的适应性。，下面是一种基于图像中边沿点信息的单目视觉测程方法专利的具体信息内容。
1.一种基于图像中边沿点信息的无人机单目视觉测程的方法，其特征在于，该方法包括初始化以及并行处理的运动估计、地图构建和深度图估计；具体包括以下步骤：
1)初始化：从与无人机固连的下视单目相机捕获的图像序列中选择两帧构建初始地图和初始深度图，地图用一组关键帧集合{rm}和一组三维特征点集合{pi}表示，其中rm表示第m个关键帧，m为正整数，pi表示第i个三维特征点，i为正整数，三维特征点与图像中的二维角点特征一一对应，二维角点集合记为 其中 表示第i个角点，i为正整数；深度图由边沿点坐标、边沿点深度值及深度倒数的不确定度构成，深度图与关键帧一一对应，深度图用 表示，其中Dm表示第m个关键帧对应的深度图， 表示第i个边沿点，
表示第i个边沿点的深度值， 表示第i个边沿点深度倒数的不确定度；
其中，将第一帧取作地图中的第一个关键帧，并将所述第一帧对应的相机坐标系取为世界坐标系，完成初始化；
2)初始化地图和深度图信息后，并行进行运动估计、地图构建和深度图估计三个线程：
其中，运动估计线程利用已知的地图和深度图信息，与相机新获取的当前帧进行对齐得到测程结果，并根据测程结果对已有的地图信息进行优化，地图构建和深度图估计线程同时运行以维护地图和深度图信息。
2.如权利要求1所述方法，其特征在于，所述步骤2)并行进行运动估计、地图构建和深度图估计三个线程中的运动估计线程具体步骤如下：
对相机新获取的当前帧图像，利用当前关键帧中的边沿点深度信息，进行基于运动模型的图像对齐，得到当前帧Ik在世界坐标系中的位姿Tk，w的初始估计 其中Ik表示相机获取的第k帧图像，即当前帧，k为正整数，Tk，w表示当前帧在世界坐标系中的位姿， 中的上标-表示初始估计，利用初始估计，将地图中已有的三维特征点投射在当前图像中得到能被当前帧观测到的三维特征点集合{pi}，并通过块匹配得到与{pi}对应的二维角点集合以 为观测值， 为初值，先后对当前帧在世界坐标系w中的位姿Tk，w和地图中相关的三维特征点位置进行优化；
S11：记当前帧图像为Ik，首先将无人机当前位姿初始化为前一时刻的位姿，即以当前关键帧rm作为参考帧，用高斯-牛顿迭代算法最小化Ik和rm之间的加权灰度残差如式(1-1)：
得到当前帧Ik相对于参考帧rm的位姿Tk，m，其中 表示参考帧rm中深度倒数不确定度小于设定的不确定度阈值、并且在当前帧可见的边沿点集合， 表示第i个可见边沿点，表示 的权值，取为 表示第i个边沿点的深度倒数的不确定度，边沿点
的灰度残差 为式(1-2)：
-1
其中π为投影函数，将相机坐标系中的三维点投影到二维图像坐标系中，π 为逆投影函数， 和 分别表示像素点*在帧Ik和帧rm中的灰度值，结合参考帧rm相对于世界坐标系的位姿Tm，w，则可计算当前帧位姿的初始估计 为式(1-3)：
若参与加权的边沿点数量小于设定的边沿点阈值，转步骤S12，否则直接进入步骤S13；
S12：以步骤S11中得到的位姿估计为初值，将前一帧Ik-1作为当前帧的参考帧进行图像对齐，用高斯-牛顿迭代优化算法最小化Ik和Ik-1之间的灰度残差得到当前帧相对于前一帧的位姿Tk，k-1，如式(1-4)：
其中 表示帧k-1中深度已知，并且在当前帧可见的角点集合， 表示 中第i个点；结合前一帧相对于世界坐标系的位姿Tk-1，w，则计算当前帧位姿的初始估计 为式(1-5)：
此时，将当前帧Ik选为新的关键帧作为后续一段图像的参考帧；同时作为地图构建和深度图估计线程的输入信息；
S13：根据初始估计 判断地图中能被当前帧观测到的三维特征点集合{pi}，得到其在参考帧rm中对应的角点坐标估计 以 为初值，用图像跟踪算法KLT计算{pi}在当前帧的真实成像位置，以此更新二维角点集合
其中，Ai表示将参考图块变换到当前图像的变换矩阵； 表示参考图块和当前图像中的匹配图块的平均灰度差，用于消除光照影响；
S14：经步骤S13得到的二维坐标与当前帧的初始位姿估计 不再满足式(1-7)：
以 为初值，通过最小化重投影误差对Tk，w进行更新得到的当前帧位姿Tk，w即是运动估计的最终结果，如式(1-8)：
Tk，w即为测程得到的最终结果；之后转步骤S15，同时将步骤S14得到的当前帧位姿Tk，w作为地图构建线程和深度图估计线程的输入信息计算角点深度值和计算边沿点深度值；
S15：利用步骤S14得到的当前帧位姿Tk，w，对当前帧能够观测到的地图中的每一个三维特征点分别进行优化，使该三维特征点在所有能观测到它的关键帧中的投影和真实成像位置的误差平方和最小即如式(1-9)：
上式中，上标j表示能观测到三维特征点pi的第j个关键帧。
3.如权利要求2所述方法，其特征在于，所述步骤2)并行进行运动估计、地图构建和深度图估计三个线程中的地图构建线程具体步骤如下：
所述地图构建线程分两种情况处理：若新获取的图像在运动估计线程步骤S12被选为新的关键帧，执行步骤S21，否则利用运动估计线程步骤S14得到的当前帧的位姿，执行步骤S22-S24；具体步骤如下：
S21：当一帧图像被选定为关键帧时，使用FAST算法提取该关键帧角点特征；先用等间距的网格将图像均匀划分，每个网格中只提取一个角点，使角点均匀地分布在图像中，总数不超过网格数；为每一个新的角点 创建一个概率深度滤波器，并将其深度的倒数 和有效观测的出现概率ρi的联合后验分布定义如式(2-1)：
其中：Beta和N分别表示Beta分布和正态分布，下标n表示对当前概率深度滤波器已经进行了n次参数更新，n为正整数，参数an和bn是递推更新过程中有效观测和无效观测分别发生的次数，μn和 则是深度倒数高斯分布的均值和方差；对式(2-1)中的参数进行初始化时，将an和bn的初值置为10，μn初始化为所在图像的平均深度的倒数， 初始化为最大值；
S22：使用步骤S14得到的相机位姿已知的图像Ik，对角点特征的深度估计进行更新；记被更新的角点 所在的关键帧为rc，根据当前帧Ik和rc的相对位姿，在Ik中确定一条直线，并保证Ik中与 对应的像素点 出现在这条直线上；在这条直线上进行极线搜索，经亚像素精度的块匹配得到 的坐标后，用三角测量计算出所述角点 的深度
S23：将步骤S22得到的深度 取倒数为 其中，上标n表示这是对当前角点深度滤波器的第n次观测更新，对深度的倒数 的概率分布建模如式(2-2)：
上式的含义为：关键帧rc中第i个角点经图像Ik的三角测量，如果为有效测量，那么测量结果的倒数 满足正态分布 其中 为图像平面一个像素误差引起的深度倒数计算方差，如果为无效测量，则 满足均匀分布 其中 为根据当前场
景的先验信息设定的深度倒数的最小值和最大值；经过 的观测更新，深度倒数 的后验概率分布如式(2-3)：
其中，C为保证概率分布归一化的常数，通过矩匹配方法，计算出an，bn，μn，S24：剔除有效测量概率 小于0.1的角点，将不确定度σn满足要求的点添加到地图中。
4.如权利要求3所述方法，其特征在于，所述步骤2)并行进行运动估计、地图构建和深度图估计三个线程的深度图估计线程具体步骤如下：
若新获取的图像在运动估计线程步骤S12被选为新的关键帧，从新加入的关键帧中提取出边沿点，执行步骤S31～S33；否则利用运动估计线程步骤S14得到的当前帧的位姿，执行步骤S34～S36，用新图像信息更新边沿点的概率深度滤波器，并剔除有效观测概率过低的边沿点；具体步骤如下：
S31：在新加入的关键帧中，提取边沿点，即利用Sobel算子计算图像横向和纵向的灰度梯度Gx和Gy，灰度梯度图用 近似；从图像中选出灰度梯度最大的2500到4000个像素点，当梯度显著的像素点数目小于2500时，将梯度阈值450减小为原来的0.95倍，当数目大于4000时，增大阈值为原来的1.05倍；
S32：记新的关键帧为rv，前一关键帧为rv-1，将帧rv-1的深度图Dv-1传播到新的关键帧深度图Dv；rv-1中，边沿点 的深度倒数的均值为 深度倒数的方差为 其中；rv-1到rv的相对位姿为Tv，v-1，边沿点 在帧rv中对应边沿点的位置 可由投影关系计算得到如式(3-
1)：
记 的深度倒数为 深度倒数的方差记为 则：
其中，tz表示相机在光轴上的平移；由此推导出 的深度倒数的方差 为：
其中 表示预测不确定性，将 绑定到rv中最近的整数像素点
S33：为步骤S31中提取的每一个边沿点创建概率深度滤波器，如果某一个边沿点附近
3x3像素范围内存在先验估计 则其深度 的均值 初始化如式(3-4)：
则边沿点的概率深度滤波器的参数深度倒数的不确定度 初始化为先验估计中最小不确定度；若不存在先验估计，则边沿点的概率深度滤波器初始化为平均深度和最大不确定度；取 则对于每一个边沿点按照式(2-1)构造边沿点的概率深度滤波器如式(3-5)：
其中，式(3-5)各参数定义与式(2-1)中相同，对应边沿点的概率深度滤波器的各个参数，an和bn的初值置为10，μn，σn初始化为 和
v
S34：将新的关键帧rv设为后续图像的参考帧，利用后续的图像对帧rv中的深度图D 进行观测更新；用图像Ik对Dv更新时，记被更新的边沿点为 根据Ik和rv的相对位姿，在Ik中确定一条直线，保证Ik中与 对应的像素点 出现在这条直线上；如果边沿点灰度梯度方向与所述直线方向夹角小于阈值，经亚像素精度的块匹配得到 的坐标后，用三角测量计算出所述边沿点的深度 执行步骤S35；如果所述夹角大于该阈值，则不做搜索，返回步骤S34检查下一个边沿点；
S35：将步骤S34得到的深度 取倒数为 对深度的倒数 的概率分布建模
如式(3-6)：
上式的含义为：关键帧rv中第i个边沿点经图像Ik的三角测量，如果为有效测量，那么测量结果的倒数 满足正态分布 如果为无效测量，则 满足均匀分布
其中 为根据当前场景的先验信息设定的深度倒数的最小值和最
大值；经过 的观测更新，深度倒数 的后验概率分布如式(2-3)：
通过矩匹配方法计算出an，bn，μn，
S36：剔除有效测量概率 小于0.1的边沿点。
一种基于图像中边沿点信息的单目视觉测程方法
技术领域
背景技术
发明内容
具体实施方式
大值；经过 的量测更新，深度倒数 的后验概率分布如式(3-6)：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种双路媒体流数据的播放方法及显示设备 | 2020-05-08 | 829 |
| 一种基于全景视频的播放及标注多点即时添加方法 | 2020-05-08 | 920 |
| 视频数据处理方法、装置、计算机设备和存储介质 | 2020-05-08 | 985 |
| 图像处理方法及装置、电子设备和计算机可读存储介质 | 2020-05-08 | 12 |
| 一种多路视频合成的方法及装置 | 2020-05-11 | 908 |
| 一种录像帧率的控制方法及相关装置 | 2020-05-11 | 453 |
| 在经许可的频谱和未经许可的频谱上的并发的无线通信 | 2020-05-08 | 729 |
| 图像预测方法及装置 | 2020-05-08 | 48 |
| 基于仿射预测模式的帧间预测的方法及相关装置 | 2020-05-08 | 243 |
| 图像处理方法、装置、设备及存储介质 | 2020-05-11 | 635 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
