一种基于高分辨序列图像的空间目标三维重构方法
阅读：933发布：2020-05-25
专利汇可以提供一种基于高分辨序列图像的空间目标三维重构方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于高分辨序列图像的空间目标三维重构方法，利用SIFT特征描述子依次提取序列图像精确稳健点特征，并通过哈希级联对相邻图像进行快速精准匹配；联合对应相机内参数矩阵，利用运动恢复结构，获取 图像序列 间相对 姿态 ，并得到空间目标稀疏点 云 模型；通过对序列图像进行匹配，扩散插值， 迭代 滤除，获得空间目标密集的三维点云模型；利用获取的密集点云模型进行表面重建，得到致密的空间目标 网格模型 ；利用获取的精准致密网格模型进行纹理贴图，最终得到 可视化 的空间目标三维模型。本发明可实现快速、精准图像匹配，修复重建表面高光空洞，获取精细、可视化空间目标三维模型。，下面是一种基于高分辨序列图像的空间目标三维重构方法专利的具体信息内容。
1.一种基于高分辨序列图像的空间目标三维重构方法，其特征在于步骤如下：
步骤1：利用SIFT特征描述子依次提取一组空间目标高分辨序列图像集I＝{I1,I2,…,In}的精确稳健点特征，并通过哈希级联对每一幅图像设定的N个近邻图像对进行快速精准匹配，得到图像Ii的N个近邻图像对匹配集为Mi＝{mi,i-N,mi,i-N+1,…mi,j…,mi,i+N-1,mi,i+N}；
所述精确稳健点特征的特征表现为尺度不变性、旋转不变性；
步骤2：利用RANSAC估计对经过特征匹配的图像对进行立体匹配，在每次RANSAC循环中，通过从近邻图像对匹配集Mi中选取特征匹配点最多的图像对作为初始匹配对，联合图像的相机内参数矩阵K，采用八点算法估算出基础矩阵F；对基础矩阵F进行归一化奇异值分解，得到图像对的相对旋转矩阵P与平移矩阵t；利用增量式运动恢复结构，获取空间目标捕获相机采集姿态，得到结构化图像集和空间目标稀疏点云模型；
步骤3：对结构化图像集和空间目标稀疏点云模型，通过对序列图像I＝{I1,I2,…,In}进行Harris或DoG角点精匹配，经过对稀疏特征点云模型进行双线性扩散插值，并利用光度一致性原则约束迭代滤除错落在实际表面外部及内部的错误点，扩散插值和滤波过程可迭代3次，获得空间目标密集的三维点云模型；
步骤4、对获取的空间目标密集的三维点云模型进行基于空间浮动尺度隐函数的表面重建：利用生成正则化八叉树体素定义的隐函数的零等值面{x|implictF(x)＝0}作为空间目标重构模型表面，得到初始致密的空间目标网格模型，网格呈三角面片式；
步骤5：对初始致密的空间目标网格模型进行冗余清除，设定几何置信度阈值进行由边缘向内部的包络去除，得到致密的空间目标网格模型；
步骤6：对致密的空间目标网格模型进行大尺度无缝拼接的纹理贴图，用成对马尔科夫随机场能量公式E(l)指定一个视图li作为网格表面Fi对应的纹理，相应的lj作为网格面片Fj对应的纹理，其中Fi,Fj表示空间目标网格模型三角面片，该过程最终得到精细可视化的空间目标三维模型，能量公式为：
Edate代表选取对应面片Fi∈Faces最佳视图的数据项约束，Esmooth则表征两个网格面片边界接缝处(Fi,Fj)∈Edges的平滑项约束；
步骤7：通过光度一致性检测消除梯度幅度的邻近视图遮挡，并进一步利用欧氏距离权重衰减进行近邻表面颜色调整，降低空间目标模型接缝可见性，获取精细可视化的空间目标三维模型。
2.根据权利要求1所述基于高分辨序列图像的空间目标三维重构方法，其特征在于：所述步骤2中利用增量式运动恢复结构，获取空间目标捕获相机采集姿态，得到结构化图像集和空间目标稀疏点云模型的方法为：从特征点中均匀随机抽取8个点；利用这8组对应点求基础矩阵F的最小配置解；用未抽到的每一组对应点来验证基础矩阵F，当距离满足阈值要求，认定对应是一致的；将每一幅图像经过立体匹配后放入轨迹中，获取一个多视点图像之间匹配特征点的联通集；通过依次添加一个相机的方式，将全部图像相机添加到轨迹中，最后通过集束调整对结果进行优化，获得空间目标捕获相机采集姿态，结构化图像集和空间目标稀疏点云模型。
3.根据权利要求1所述基于高分辨序列图像的空间目标三维重构方法，其特征在于：所述步骤7获得精细可视化的空间目标三维模型的方法如下：构建成对马尔科夫随机场能量公式来指定一个视图作为网格表面对应的纹理，能量公式E(l)包括数据项Edate和平滑项Esmooth；通过光度一致性检测消除梯度幅度的邻近视图遮挡，并进一步进行表面颜色调整；
通过设定角度、距离、颜色差异作为代价值w的代价函数 选择代价
值较小的视图集进行图像拼接。
4.根据权利要求3所述基于高分辨序列图像的空间目标三维重构方法，其特征在于：所述进行表面颜色调整的方法：利用Potts模型进行图像分割，沿相邻接缝边缘查询颜色不连续性，利用欧氏距离权重衰减降低面片间颜色差异，最后利用泊松编辑进行局部优化，降低空间目标模型接缝可见性。
一种基于高分辨序列图像的空间目标三维重构方法
技术领域
背景技术
[0002] 随着航天科学技术的成熟和发展以及外层空间的军事价值凸显，世界各国尤为重视天地基空间目标的监视和态势感知。我国在应对外来太空军事力量威胁的同时，需努力提升自身的太空军事能力，逐步满足自身在未来太空军事对抗中的需求。新型的空间目标监视系统和技术，特别是对于合作目标以及非合作目标的三维模型、目标姿态、行为信息的获取和估计显得越来越重要。我国虽然在航空航天和计算机科学领域已有长足进步且部分技术领先世界，但受限于某些技术难题尚未突破，我国尚未掌握空间重点目标的三维模型获取能力。如何充分运用我国航空航天技术优势，结合计算机视觉，计算机图形学等专业学科，快速掌握空间重点目标特别是非合作目标的三维模型获取能力，显得尤为紧迫。基于高分辨图像序列的空间目标三维重构技术，就是应用三维重构技术，重点突破基于高分辨图像序列的目标三维重构，三维模型获取难题。
[0003] 基于图像的三维重构是一种典型的计算机视觉问题，其核心的目标可以这样来描述，“给定一个物体或者场景的图像集，在已知材料、视点、光照条件的基础假设下，估计可以合理解释这些图像的最可能的三维形状”。这个定义强调了这个任务的困难，也就是假设的材料、视点、光照条件都是已知的。如果这些是未知的，那么一般问题是材料、视点、光照条件病态的组合会产生完全相同的图像。因此，如果没有较好的假设，没有一种方法可以仅仅依赖图像准确地恢复三维结构。三维重构最初的应用主要是结构化的图像集，图像的顺序受影响，比如说视频序列。一些MVS(Multi-View Stereo)应用也遵循这样的规律，比如谷歌街景和微软街景，但已经有MVS可以在不同的场合和硬件下处理无序的图像集，比如基于航拍图像的3D地图。快速和高质量的特征提取和描述已经促使SFM(Structure from Motion)可以处理无结构的数据集，高质量的描述使建筑物可以从不同的姿态和光照下的图像中得到更长更高的轨迹。
[0004] 目前，在基于高分辨率序列图像的三维重构领域，国内缺乏以空间环境目标作为研究对象，具有针对性、系统性的研究，现阶段所涉及的研究均处于前期研讨，方案分析，技术论证，或在有限模拟实验环境下的部分算法测试，尚未形成较为完备的理论框架。除此之外，目前国内尚未有实测图像作为依据，将面临一些可能超越三维重构理论体系之外的难点，针对该项目中太空目标的特点，必须首先解决三维重构非朗伯结构(主要针对空间重点目标高光、非均匀光照)带来的数据损伤的影响，这些数据损伤可能会对算法的鲁棒性带来不可预知的挑战，其次卫星目标存在比如帆板、天线等薄形、线形结构，这些都是三维重构领域现今存在的重大技术难题。
发明内容
[0005] 要解决的技术问题
[0006] 为了避免现有技术的不足之处，本发明提出一种基于高分辨序列图像的空间目标三维重构方法，能够实现空间目标三维重构，获取空间目标三维模型。
[0007] 技术方案
[0008] 一种基于高分辨序列图像的空间目标三维重构方法，其特征在于步骤如下：
[0009] 步骤1：利用SIFT特征描述子依次提取一组空间目标高分辨序列图像集I＝{I1,I2,…,In}的精确稳健点特征，并通过哈希级联对每一幅图像设定的N个近邻图像对进行快速精准匹配，得到图像Ii的N个近邻图像对匹配集为Mi＝{mi,i-N,mi,i-N+1,…mi,j…,mi,i+N-1,mi,i+N}；
[0010] 所述精确稳健点特征的特征表现为尺度不变性、旋转不变性；
[0011] 步骤2：利用RANSAC估计对经过特征匹配的图像对进行立体匹配，在每次RANSAC循环中，通过从近邻图像对匹配集Mi中选取特征匹配点最多的图像对作为初始匹配对，联合图像的相机内参数矩阵K，采用八点算法估算出基础矩阵F；对基础矩阵F进行归一化奇异值分解，得到图像对的相对旋转矩阵P与平移矩阵t；利用增量式运动恢复结构，获取空间目标捕获相机采集姿态，得到结构化图像集和空间目标稀疏点云模型；
[0012] 步骤3：对结构化图像集和空间目标稀疏点云模型，通过对序列图像I＝{I1,I2,…,In}进行Harris或DoG角点精匹配，经过对稀疏特征点云模型进行双线性扩散插值，并利用光度一致性原则约束迭代滤除错落在实际表面外部及内部的错误点，扩散插值和滤波过程可迭代3次，获得空间目标密集的三维点云模型；
[0013] 步骤4、对获取的空间目标密集的三维点云模型进行基于空间浮动尺度隐函数的表面重建：利用生成正则化八叉树体素定义的隐函数的零等值面{x|implictF(x)＝0}作为空间目标重构模型表面，得到初始致密的空间目标网格模型，网格呈三角面片式；
[0015] 步骤6：对致密的空间目标网格模型进行大尺度无缝拼接的纹理贴图，用成对马尔科夫随机场能量公式E(l)指定一个视图li作为网格表面Fi对应的纹理，相应的lj作为网格面片Fj对应的纹理，其中Fi,Fj表示空间目标网格模型三角面片，该过程最终得到精细可视化的空间目标三维模型，能量公式为：
[0016]
[0017] Edate代表选取对应面片Fi∈Faces最佳视图的数据项约束，Esmooth则表征两个网格面片边界接缝处(Fi,Fj)∈Edges的平滑项约束；
[0018] 步骤7：通过光度一致性检测消除梯度幅度的邻近视图遮挡，并进一步利用欧氏距离权重衰减进行近邻表面颜色调整，降低空间目标模型接缝可见性，获取精细可视化的空间目标三维模型。
[0019] 所述步骤2中利用增量式运动恢复结构，获取空间目标捕获相机采集姿态，得到结构化图像集和空间目标稀疏点云模型的方法为：从特征点中均匀随机抽取8个点；利用这8组对应点求基础矩阵F的最小配置解；用未抽到的每一组对应点来验证基础矩阵F，当距离满足阈值要求，认定对应是一致的；将每一幅图像经过立体匹配后放入轨迹中，获取一个多视点图像之间匹配特征点的联通集；通过依次添加一个相机的方式，将全部图像相机添加到轨迹中，最后通过集束调整对结果进行优化，获得空间目标捕获相机采集姿态，结构化图像集和空间目标稀疏点云模型。
[0020] 所述步骤7获得精细可视化的空间目标三维模型的方法如下：构建成对马尔科夫随机场能量公式来指定一个视图作为网格表面对应的纹理，能量公式E(l)包括数据项Edate和平滑项Esmooth；通过光度一致性检测消除梯度幅度的邻近视图遮挡，并进一步进行表面颜色调整；通过设定角度、距离、颜色差异作为代价值w的代价函数 选择代价值较小的视图集进行图像拼接。
[0021] 所述进行表面颜色调整的方法：利用Potts模型进行图像分割，沿相邻接缝边缘查询颜色不连续性，利用欧氏距离权重衰减降低面片间颜色差异，最后利用泊松编辑进行局部优化，降低空间目标模型接缝可见性。
[0022] 有益效果
[0023] 本发明提出的一种基于高分辨序列图像的空间目标三维重构方法，利用SIFT特征描述子依次提取序列图像精确稳健点特征，并通过哈希级联对相邻图像进行快速精准匹配；联合对应相机内参数矩阵，利用运动恢复结构，获取图像序列间相对姿态，并得到空间目标稀疏点云模型；通过对序列图像进行匹配，扩散插值，迭代滤除，获得空间目标密集的三维点云模型；利用获取的密集点云模型进行表面重建，得到致密的空间目标网格模型；利用获取的精准致密网格模型进行纹理贴图，最终得到可视化的空间目标三维模型。
[0024] 本发明中通过将高维特征进行局部敏感哈希编码，利用短码的多表散列进行粗搜索，将反馈的候选项进行高维汉明空间映射，建立的汉明距离哈希表可实现快速、精准图像匹配；通过利用隐函数法对密集点云模型进行表面重建，可以建立致密的网格模型，填充重构过程中由于空间目标特性数据产生的高光空洞；通过进行大尺度纹理贴图，依据边缘长度的权重进行衰减进行颜色调整，消除缝隙可见性，增强模型可视化效果。附图说明
[0025] 图1本发明系统具体实施方式总体设计
[0026] 图2本发明具体实施方式获取图像序列间相对姿态，并得到空间目标稀疏点云模型
[0027] 图3本发明具体实施方式八叉树生成策略
[0028] 图4本发明实例获得纹理贴图结果
具体实施方式
[0029] 现结合实施例、附图对本发明作进一步描述：
[0030] 本发明实施例采用的技术方案是：
[0031] 通过输入一组空间目标高分辨序列图像集I＝{I1,I2,…,In}，利用SIFT特征描述子提取每一幅图像精确稳健点特征，其特征表现为尺度不变性、旋转不变性，并通过哈希级联对每一幅图像设定的N个近邻图像对进行快速精准匹配，其中图像Ii的N个近邻图像对匹配集为Mi＝{mi,i-N,mi,i-N+1,…mi,j…,mi,i+N-1,mi,i+N}；
[0032] 对于相邻匹配的两幅图像之间的匹配点对X1和X2，它们必然满足对极几何约束X1TFX2＝0，其中F为基础矩阵，从近邻图像对匹配集Mi中选取特征匹配点最多的图像对作为初始匹配对，联合图像的相机内参数矩阵K，用8个对应关系即八点算法估算出基础矩阵F；对基础矩阵F进行归一化奇异值分解，得到图像对的相对旋转矩阵P与平移矩阵t；利用增量式运动恢复结构，即每一次添加一幅图像，直到获取空间目标捕获相机采集姿态，得到结构化图像集和空间目标稀疏点云模型；
[0033] 利用已得到的结构化图像集和空间目标稀疏点云模型，通过对序列图像I＝{I1,I2,…,In}进行Harris或DoG(Difference-of-Gaussian)角点精匹配，经过对稀疏特征点云模型进行双线性扩散插值，并利用可视化一致性原则约束迭代滤除错落在实际表面外部及内部的错误点，扩散插值和滤波过程可迭代3次，获得空间目标密集的三维点云模型；
[0034] 利用获取的空间目标密集的三维点云模型进行基于空间浮动尺度隐函数的表面重建，利用生成正则化八叉树体素定义的隐函数的零等值面{x|implictF(x)＝0}，作为空间目标重构模型表面，其中x作为所需重建的点位置，impictF(x)为定义的隐函数，零等值面提取可采用移动立方体算法，该过程最终得到初始致密的空间目标网格模型，网格呈三角面片式；
[0035] 利用获取的初始致密的空间目标网格模型进行冗余清除，可设定几何置信度阈值进行由边缘向内部的包络去除，得到致密的空间目标网格模型；
[0036] 利用获取的致密的空间目标网格模型进行大尺度无缝拼接的纹理贴图，用成对马尔科夫随机场能量公式E(l)来指定一个视图li作为网格面片Fi对应的纹理，相应的lj作为网格面片Fj对应的纹理，其中Fi,Fj表示空间目标网格模型三角面片，该过程最终得到精细可视化的空间目标三维模型，能量公式为：
[0037]
[0038] Edate代表选取对应面片Fi∈Faces最佳视图的数据项约束，Esmooth则表征两个网格面片边界接缝处(Fi,Fj)∈Edges的平滑项约束。
[0039] 最后，通过光度一致性检测消除梯度幅度的邻近视图遮挡，并进一步利用欧氏距离权重衰减进行近邻表面颜色调整，降低空间目标模型接缝可见性，获取精细可视化的空间目标三维模型。
[0040] 所述序列图像SIFT特征，具体方法如下：首先对图像计算相邻尺度图像差分，得到一系列图像并在该图像空间中求极值点；然后对极值点进行过滤，依次遍历高斯差分图像中的像素点，和其八邻域及其所在图像的上、下层的各九个邻近的像素点比较，计算极值点；找出稳定的特征点，并对这些极值点进行筛选，去除不稳定的点；根据关键点所在的尺度选择与该尺度最相近的高斯平滑图像；在关键点周围选取一个邻域，并对其中点的梯度进行高斯加权，每个子区域生成一个描述子；
[0041] 所述利用哈希级联进行快速精准匹配，具体方法如下：利用局部敏感哈希策略，使用内积相似判断哈希簇的哈希方程，从D维正态分布选择一个超平面r的随机向量，将128维特征描述子转化为二进制码；采用带有短码的多表散列查询进行粗搜索，将返回的候选项重新映射到更高维的汉明空间并计算汉明距离，建立汉明距离的哈希表作为精确查询的关键参考，最后利用级联哈希策略进行图像间精确快速匹配；
[0042] 所述利用八点算法计算基础矩阵，具体方法如下：数据集就是特征匹配输出的对应关系，而约束就是对极几何，用8个对应关系即可用八点算法估算出基础矩阵F；对于两幅图像之间的匹配点X1和X2，它们必然满足对极几何约束X1TFX2＝0，该方程是关于F的9个未知参数线性齐次方程，由于F在相差一个常数因子的意义下是唯一的，所以可以将一个非零参数归一化儿变为8个未知参数，因此如果能够得到8对匹配点，就可以线性确定基础矩阵F；由于基础矩阵包含两幅图像的内外参数信息，因此，联合相机内参数K可由基础矩阵得到本质矩阵E＝KTFK，再对本质矩阵进行奇异值分解就获得第二幅图像的外参数。
[0043] 所述利用RANSAC进行立体匹配，具体方法如下：从特征点中均匀随机抽取8个点；利用这8组对应点求基础矩阵F的最小配置解；用未抽到的每一组对应点来验证F，如果距离足够小，那么这个对应是一致的；反之则返回；
[0044] 所述获取图像序列间相对姿态，并得到空间目标稀疏点云模型，具体方法如下：通过增量式添加下一相机，通过三角形法获取空间三维点，对给定一个相机参数集{Pj}和轨迹集 Mj指代轨迹的三维坐标， 指代的是二维图像坐标投影在ith的相机，集束调整要求最小非线性误差E(P,M)最小：
[0045]
[0046] 所述获得空间目标密集的三维点云模型，具体方法如下：通过Harris和DoG(Difference-of-Gaussian)检测特征点，将这些特征点在多幅图像之间进行匹配，得到一系列稀疏面片；在每一幅图像中，取β2×β2像素的Cell(i,j)，其表示包含像元的矩形网格，并且返回反映角点和点的局部最大响应值的η，通过多幅图像中检测的特征点重建出一个稀疏的面片集，储存在覆盖图像的Cell(i,j)中。假定图像Ii，其对应的相机光学中心标记为O，对Ii中任意一个特征点f，在相邻匹配图像中搜索具有同样类型(Harris或DoG)特征点f′的候选集合，在对应极线2个像素之内，用点对(f,f′)三角化空间的3D点；
[0047] 给定这些初始匹配，接下来的两步被重复执行3遍；扩散初始匹配到临近像素，得到比较密集的面片；在这一步骤中，我们循环性添加新的邻域到已经存在的面片中，直到覆盖场景中可以观测到的表面，两个面片p和p′如果被储存在同一图像I的连续Cell(i,j)和Cell(i′,j′)中，并且其法平面接近，我们就认为p和p′为近邻；
[0048] 通过可视化约束用来去除那些在观察表面前、后的不正确匹配，第一步滤波集中消除错落在实际表面的面片，也就是说考虑一个面片p0和它遮挡的面片集U，当满足我们将p0消除；然后滤波集中针对错落在实际表面内部的离群点，利用相应图像的深度图来简单计算每一个面片p0的S(p0)和T(p0)，如果|T(p0)|＜γ便滤除p0，S(p0)表示应该可视的，T(p0)表示实际可视的，γ表示阈值， 表示映射归一化互相光均值；
[0049] 所述获得初始致密的空间目标网格模型，具体方法如下：所有的输入样本点都根据其尺度值插入到一个八叉树数据结构中，生成的八叉树具有层次结构，该结构给定了一种采样集，即将八叉树叶节点的顶点作为隐函数implictF(x)的采样点，其中x作为所需重建的点位置，即将八叉树初始化为没有任何节点的空八叉树，第一个样本点i插入到新创建的根节点中，根节点边长为si且以样本点位置Pi为中心；每个样本点i有一个尺度值si，样本的支持域半径为3si。令：
[0050]
[0051] 其中l为样本点将要插入的八叉树的层级，Sl为八叉树第l层节点的边长。
[0052] 然后在这些样本点位置估算隐函数的值，为了将这些点从输入样本点中区分开，将八叉树的节点分为两类：内部节点和叶节点，内部节点是指有八个子节点的节点，叶节点是指没有子节点的节点；在实际情况中生成的八叉树一般都有混合节点，即子节点数大于0小于8的节点；通过给混合节点分配子节点将其子节点补齐至8个来正则化八叉树，通过正则化消除了八叉树中的混合节点，增加了新的叶节点，称这些点为体素；为了计算x处的隐函数值，采用一种高效的搜寻方法，只选择八叉树中对x处的隐函数值有影响的样本；递归遍历八叉树，判断每个节点是否可能包含影响x处的隐函数值的样本点；由上式可知，节点N所包含的样本点的尺度值最大不超过2SN，其中SN为N的边长；
[0053] 如果某个节点与x满足关系式，则可以直接略过该节点而不用再进入其子节点进行搜寻；否则，判断该节点中的所有样本点i与x的间距是否小于3si。最后，使用所有搜寻到的对x有影响的样本点计算隐函数的值。
[0054] 八叉树确定了体素的位置，并在计算出了体素处的隐函数值后，此时就不再需要输入样本点，直接提取出八叉树体素定义的隐函数的零等值面即为最终的重构表面，在标准体素(所有体素大小一致)中提取等值面的常用算法为移动立方体算法，从八叉树中提取出隐函数的等值面作为重构表面：
[0055] {x|implictF(x)＝0}
[0056] 所述获得精准致密的空间目标网格模型，具体方法如下：通过对已获得的初始致密空间目标网格模型进行几何置信度设定，由模型边缘向内进行冗余清除，去除大面积表面包络；
[0057] 利用获取的致密的空间目标网格模型进行大尺度无缝拼接的纹理贴图，用成对马尔科夫随机场能量公式E(l)来用来指定一个视图li作为网格面片Fi对应的纹理，相应的lj作为网格面片Fj对应的纹理，其中Fi,Fj表示空间目标网格模型三角面片，该过程最终得到精细可视化的空间目标三维模型，能量公式为：
[0058]
[0059] Edate代表选取对应面片Fi∈Faces最佳视图的数据项约束，Esmooth则表征两个网格面片边界接缝处(Fi,Fj)∈Edges的平滑项约束。
[0060] 通过最小化方程得到标签后，面片的颜色通过如下调整：首先确保每个网格顶点恰好属于一个纹理面片，因此接缝上的每个顶点被复制到2个顶点，顶点vleft属于接缝左侧的面片，vright属于接缝右侧的面片；在颜色调整之前，每一个顶点有唯一的颜色fv，进而为每一个顶点计算添加一个矫正gv：
[0061]
[0062] 该式第一项确保接缝左右的颜色尽可能相似，第二项旨在同一纹理贴图面片的相邻两个顶点vi,vj差异较小，λ为调节因子；在每个顶点获得最佳gv之后，使用重心坐标从周围顶点的gv插值对纹理矫正。最后，将校正添加到输入图像，将纹理块打包到纹理图集中，并且将纹理坐标附加到顶点；
[0063] 对于视图的选择，使用图割和alpha拓展进行优化马尔科夫随机场能量公式，使用光度一致性检测原则代替原来的平滑项；对于数据项 通过使用Sobel检测器计算投影网格面片Fi的对应图像梯度幅度 并对所有网格面片Fi投影梯度幅度图像φ(Fi,li)像素求和；
[0064] 由能量方程，首先第一步为标记过程，表面F1,F2,...FK的网格，贴图片段V1,V2,...VN皆对应初始视图；这个给定一个标签向量M＝{m1,m2,...,mK}∈{0..N}K，规定从片段到表面Fi进行贴图；设定代价值 (所涉及到的因素可以是角度，距离，颜色差异)，代价值越小，表明贴图片段越适合对应表面，可表示为 接缝最小且贴图片段的质量最佳：E(M)＝EQ(M)+λES(M)，该方程首项为贴片质量 后一
项Es(M)为一系列相邻贴片间隙的可分辨性
Pi(x)为投影算子，d(·,·)为RGB空间的欧式距离；
项Es(M)为一系列相邻贴片间隙的可分辨性
Pi(x)为投影算子，d(·,·)为RGB空间的欧式距离；
[0065] 所述进行表面颜色调整，降低接缝可见性，具体方法如下：计算表面投影的平均颜色值，所有可以看见表面的视图为内层图，计算所有内图颜色均值的平均值和协方差，通过多元高斯函数评估视图可视化程度，设定阈值，迭代上述的步骤，以协方差或者内层图数目作为迭代终止条件；
[0066] 沿着边缘查询缓解颜色问题，依据边缘长度的权重进行衰减：顶点v1分别同v0,v2相邻，其颜色在v1v0，v1v2的样本上查找加权平均值，随着同v1距离的增长，权重由1衰减至0；
[0067] 全局优化不能消除所有的可见缝隙，需要增加泊松编辑来进行局部优化，将一个颜色的泊松编辑限制在20个像素之间的框内，我们将每个外边缘像素的值与分配给贴片的图像中的像素的颜色的平均值和分配给相邻贴片的图像的平均值进行比较，每个内边缘像素的值被固定为其当前颜色。如果贴片太小，我们省略内边缘。
[0068] 进行颜色调整后，对网格模型进行拼接贴图，最终获得精细、可视化空间目标三维模型。
[0069] 具体实施例：本实施方式选取硬件环境：2GHz 2*E5 CPU，128G内存，12G显存计算机；
[0071] 采用C++编译实现本方法；实施举例采用图像分辨率：2048*2048；
[0072] 本发明总体方案设计如图1所示，具体实施如下：
[0073] 步骤1、如图2所示，利用SIFT特征描述子依次提取序列图像精确稳健点特征，并通过哈希级联对相邻图像进行快速精准匹配；联合图像的相机内参数矩阵，计算图像序列的相对旋转矩阵与平移矩阵，利用运动恢复结构，获取图像序列间相对姿态，并得到空间目标稀疏点云模型；
[0074] 将选取图像集作为输入，首先计算相邻尺度图像差分，得到一系列图像并在该图像空间中求极值点；然后对极值点进行过滤，依次遍历高斯差分图像中的像素点，和其八邻域及其所在图像的上、下层的各九个邻近的像素点比较，计算极值点；找出稳定的特征点，并对这些极值点进行筛选，去除不稳定的点；根据关键点所在的尺度选择与该尺度最相近的高斯平滑图像；在关键点周围选取一个邻域，并对其中点的梯度进行高斯加权，每个子区域生成一个描述子；
[0075] 利用哈希级联进行快速精准匹配，具体方法如下：利用局部敏感哈希策略，使用内积相似判断哈希簇的哈希方程，从D维正态分布选择一个超平面r的随机向量，将128维特征描述子转化为二进制码；采用带有短码的多表散列查询进行粗搜索，将返回的候选项重新映射到更高维的汉明空间并计算汉明距离，建立汉明距离的哈希表作为精确查询的关键参考，最后利用级联哈希策略进行图像间精确快速匹配；
[0076] 利用八点算法计算基础矩阵，具体方法如下：数据集就是特征匹配输出的对应关系，而约束就是对极几何，用8个对应关系即可用八点算法估算出基础矩阵F；对于两幅图像之间的匹配点X1和X2，它们必然满足对极几何约束X1TFX2＝0，该方程是关于F的9个未知参数线性齐次方程，由于F在相差一个常数因子的意义下是唯一的，所以可以将一个非零参数归一化儿变为8个未知参数，因此如果能够得到8对匹配点，就可以线性确定基础矩阵F；
[0077] 利用RANSAC进行立体匹配，具体方法如下：从特征点中均匀随机抽取8个点；利用这8组对应点求基础矩阵F的最小配置解；用未抽到的每一组对应点来验证F，如果距离足够小，那么这个对应是一致的；反之则返回；
[0078] 通过数据优化，获取图像序列间相对姿态，并得到空间目标稀疏点云模型，具体方法如下：通过增量式添加下一相机，通过三角形法获取空间三维点，对给定一个相机参数集{Pj}和轨迹集 Mj指代轨迹的三维坐标， 指代的是二维图像坐标投影在ith的相机，集束调整要求最小非线性误差E(P,M)最小：
[0079]
[0080] 步骤2、将步骤1结果作为输入，获得空间目标密集的三维点云模型，具体方法如下：通过Harris和Difference-of-Gaussian检测特征点，这些特征点在多幅图像之间进行匹配，得到一系列稀疏面片；在每一幅图像中，取β2×β2像素的矩形网格，并且返回作为反映角点和点的局部最大值η；通过多幅图像中检测的特征点重建出一个稀疏的面片集，储存在覆盖图像cellC(i,j)的网格中：假定图像I，其对应的相机光学中心标记为O，对I中任意一个特征点f，在其他图像中搜索具有同样类型(Harris或DoG)特征点f′的集合F，在对应对极线2像素之内，用点对(f,f′)三角化空间的3D点；
[0081] 给定这些初始匹配，接下来的两步被重复执行3遍；扩散初始匹配到临近像素，得到比较密集的面片；在这一步骤中，我们循环性添加新的邻域到已经存在的面片中，直到覆盖场景中可以观测到的表面，两个面片p和p′如果被储存在同一图像I的连续cellC(i,j)和C(i′,j′)中，并且其法平面接近，我们就认为p和p′为近邻；
[0082] 通过可视化约束用来去除那些在观察表面前、后的不正确匹配，第一步滤波集中消除错落在实际表面的面片，也就是说考虑一个面片p0和它遮挡的面片集U，当满足我们将p0消除；然后滤波集中针对错落在实际表面内部的离群点，利用相应图像的深度图来简单计算每一个面片p0的S(p0)和T(p0)，如果|T(p0)|＜γ便滤除p0，S(p0)表示应该可视的，T(p0)表示实际可视的，γ表示阈值， 表示映射归一化互相光均值；
[0083] 步骤3、将步骤2结果作为输入，所述获得初始致密的空间目标网格模型，具体方法如下：所有的输入样本点都根据其尺度值插入到一个八叉树数据结构中，生成的八叉树具有层次结构，该结构给定了一种采样集，即将八叉树叶节点的顶点作为隐函数implictF(x)的采样点，其中x作为所需重建的点位置，即将八叉树叶节点的顶点作为隐函数的采样点，即将八叉树初始化为没有任何节点的空八叉树，第一个样本点i插入到新创建的根节点中，根节点边长为si且以样本点位置Pi为中心；
[0084] 每个样本点i有一个尺度值si，样本的支持域半径为3si。令：
[0085]
[0086] 其中l为样本点将要插入的八叉树的层级，Sl为八叉树第l层节点的边长。
[0087] 如图3所示，然后在这些样本点位置估算隐函数的值，为了将这些点从输入样本点中区分开，将八叉树的节点分为两类：内部节点和叶节点，内部节点是指有八个子节点的节点，叶节点是指没有子节点的节点；在实际情况中生成的八叉树一般都有混合节点，即子节点数大于0小于8的节点；通过给混合节点分配子节点将其子节点补齐至8个来正则化八叉树，通过正则化消除了八叉树中的混合节点，增加了新的叶节点，称这些点为体素；为了计算x处的隐函数值，采用一种高效的搜寻方法，只选择八叉树中对x处的隐函数值有影响的样本：递归遍历八叉树，判断每个节点是否可能包含影响x处的隐函数值的样本点；由上式可知，节点N所包含的样本点的尺度值最大不超过2SN，其中SN为N的边长；
[0088] 如果某个节点与x满足关系式，则可以直接略过该节点而不用再进入其子节点进行搜寻；否则，判断该节点中的所有样本点i与x的间距是否小于3si。最后，使用所有搜寻到的对x有影响的样本点根据关系式计算隐函数F(x)的值。
[0089] 八叉树并确定了体素的位置，在计算出了体素处的隐函数值后，此时就不再需要输入样本点，直接提取出八叉树体素定义的隐函数的零等值面即为最终的重构表面，在标准体素(所有体素大小一致)中提取等值面的常用算法为移动立方体算法，从八叉树中提取出隐函数的等值面作为重构表面；通过对已获得的初始致密空间目标网格模型进行几何置信度设定，由模型边缘向内进行冗余清除，去除大面积表面包络；
[0090] 步骤4、将步骤3的结果作为输入，获得精细可视化的空间目标三维模型，具体方法如下：初始步骤就是确定输入图像表面的可视性，使用成对马尔科夫随机场能量公式E来计算一个标签l，用来指定一个视图li作为网格面片Fi对应的纹理，相应的lj作为网格面片Fj对应的纹理，其中Fi,Fj表示空间目标网格模型三角面片：
[0091]
[0092] Edate代表选取对应面片Fi∈Faces最佳视图的数据项约束，Esmooth则表征两个网格面片边界接缝处(Fi,Fj)∈Edges的平滑项约束。
[0093] 通过最小化方程得到标签后，面片的颜色通过如下调整：首先确保每个网格顶点恰好属于一个纹理面片，因此接缝上的每个顶点被复制到2个顶点，顶点vleft属于接缝左侧的面片，vright属于接缝右侧的面片；在颜色调整之前，每一个顶点有唯一的颜色fv，进而为每一个顶点计算添加一个矫正gv：
[0094]
[0095] 该式第一项确保接缝左右的颜色尽可能相似，第二项旨在同一纹理贴图面片的相邻两个顶点vi,vj差异较小，λ为调节因子；在每个顶点获得最佳gv之后，使用重心坐标从周围顶点的gv插值对纹理矫正。最后，将校正添加到输入图像，将纹理块打包到纹理图集中，并且将纹理坐标附加到顶点；
[0096] 对于视图的选择，使用图割和alpha拓展进行优化马尔科夫随机场能量公式，使用光度一致性检测原则代替原来的平滑项；对于数据项 通过使用Sobel检测器计算投影网格面片Fi的对应图像梯度幅度 并对所有网格面片Fi投影梯度幅度图像φ(Fi,li)像素求和；
[0097] 由能量方程，首先第一步为标记过程，表面F1,F2,...FK的网格，贴图片段V1,V2,...VN皆对应初始视图；这个给定一个标签向量M＝{m1,m2,...,mK}∈{0..N}K，规定从片段到表面Fi进行贴图；设定代价值 (所涉及到的因素可以是角度，距离，颜色差异)，代价值越小，表明贴图片段越适合对应表面，可表示为 接缝最小且贴图片段的质量最佳：E(M)＝EQ(M)+λES(M)，该方程首项为贴片质量 后一项Es(M)为一系列相邻贴片间隙的可分辨性
Pi(x)为投影算子，d(·,·)为RGB空间的欧式距离；
Pi(x)为投影算子，d(·,·)为RGB空间的欧式距离；
[0098] 进行表面颜色调整，降低接缝可见性，具体方法如下：计算表面投影的平均颜色值，所有可以看见表面的视图为内层图，计算所有内图颜色均值的平均值和协方差，通过多元高斯函数评估视图可视化程度，设定阈值，迭代上述的步骤，以协方差或者内层图数目作为迭代终止条件；
[0099] 沿着边缘查询缓解颜色问题，依据边缘长度的权重进行衰减：顶点v1分别同v0,v2相邻，其颜色在v1v0，v1v2的样本上查找加权平均值，随着同v1距离的增长，权重由1衰减至0；
[0100] 全局优化不能消除所有的可见缝隙，需要增加泊松编辑来进行局部优化，将一个颜色的泊松编辑限制在20个像素之间的框内，我们将每个外边缘像素的值与分配给贴片的图像中的像素的颜色的平均值和分配给相邻贴片的图像的平均值进行比较，每个内边缘像素的值被固定为其当前颜色。如果贴片太小，我们省略内边缘；
[0101] 进行颜色调整后，对网格模型进行拼接贴图；
[0102] 经过上述重构步骤，最终得到精细、可视化空间目标三维模型。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于仿生视觉机理的水下偏振图像融合系统 | 2020-05-18 | 697 |
| 引水隧洞爆破开挖超欠挖控制施工方法 | 2020-05-29 | 491 |
| 一种利用视差空间集束调整的高精度实时立体视觉定位方法 | 2020-06-14 | 34 |
| 基于视觉SLAM的室内场景下单一目标物体字典模型改进方法 | 2020-05-23 | 766 |
| 用于在分立薄片上沉积多层涂层的装置 | 2020-06-23 | 359 |
| 导流设备 | 2020-06-24 | 585 |
| 一种基于边缘特征自约束的表面网格模型构建方法 | 2020-05-21 | 923 |
| 一种同时定位与稠密三维重建方法 | 2020-06-03 | 999 |
| 单目视觉和惯性传感器融合的远距离测距系统及方法 | 2020-05-13 | 111 |
| 简易环绕集束式冷却装置 | 2020-06-26 | 786 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈