专利汇可以提供基于视觉的无纹理场景的稠密重建方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于视觉的无纹理场景的稠密重建方法,主要解决现有用RGB相机采集数据对无纹理场景进行重建使用设备复杂,数据量大的问题,其方案为:在场景中布置光斑投射设备;使用已标定的相机在场景中不同 位置 拍摄不同光照环境下的多组照片;计算所有照片的特征点和描述子,并分别合并同一组的照片的特征点和描述子,得到该组的特征点和描述子;计算相机外参数和场景稀疏点 云 ;将每一组图片按权 叠加 并用叠加图片计算场景稠密点云;将稠密点云网格化;通过正常光照下的照片计算网格纹理贴图,完成场景的稠密重建。本发明使用设备简单,使用数据较少,在重建大的无纹理场景时消耗资源相对较少,可对无纹理或少纹理的真实场景进行 三维重建 。,下面是基于视觉的无纹理场景的稠密重建方法专利的具体信息内容。
1.基于视觉的无纹理场景的稠密重建方法,其特征在于:包括如下:
(1)在待重建的无纹理场景中布置好光斑投射设备,使光斑能覆盖到所有的弱纹理和无纹理区域,并固定其位置和朝向;利用室内灯光和这些布置好的设备作为光源,通过打开和关闭室内灯光分别显示该场景的“亮”与“暗”两个环境;
(2)使用已标定的相机在场景中的某一位置和角度对“亮”环境和“暗”环境进行拍摄,获得一组照片;移动并旋转相机继续对场景进行拍摄,获得场景的多组照片,构成场景的照片组集合I;
(3)提取所有照片的特征点,并计算每个特征点对应的特征描述子:
(3a)通过特征点提取算法计算出每张图片中的特征点,获得每张图片特征点集合Xik,其中k∈{L,D},k=L时代表该组的“亮”环境对应图片,k=D时代表该组的“暗”环境对应图片,i=1,2...|I|,|I|表示场景的照片组个数,Xik表示第i组图片的某个环境图片中的所有特征点的集合;
(3b)由特征描述子提取算法计算出第i组的某个环境图片中的第j个特征点 对应的特征描述子 将所有的 合并,得到特征描述子集合: 其中
|Xik|为第i组的某个环境的照片中特征点的数量;
(4)分别合并每一组图片的特征点与特征描述子,得到所有组的特征点集合和所有组的特征描述子集合:
(4a)将第i组图片的特征点合并,得到第i组的合并特征点集合:Xi=XiL∪XiD,根据Xi得到所有组的特征点集合,记为{Xi};
(4b)将第i组图片的特征描述子合并,在合并时维持特征点和特征描述子的对应关系不变,合并后得到第i组的合并特征描述子集合Ni=NiL∪NiD,根据Ni得到所有组的特征描述子集合,记为{Ni};
(5)将所有组的特征点集合{Xi}和所有组的特征描述子集合{Ni}作为Structure From Motion算法的输入,重建出场景的稀疏点云,并得到每组图片对应的相机外参数;
(6)将每组照片中的“亮”环境照片与“暗”环境照片逐像素按权叠加,得到每组的叠加图片;
(7)在每组的叠加图片之间利用光度一致性约束找到组与组的叠加图片之间的像素对应关系,并利用像素对应关系通过点云稠密化算法计算出场景的稠密点云;
(8)使用点云网格化算法将稠密点云网格化,得到场景网格;
(9)利用“亮”环境的照片作为计算网格贴图算法的输入,计算出场景网格的纹理贴图,完成对无纹理场景的稠密三维重建。
2.根据权利要求1所述的方法,其特征在于:(3a)中通过特征点提取算法计算出每张图片中的特征点,实现如下:
(3a1)构建图片的尺度空间,并在所有尺度空间中通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点;
(3a2)通过对每个潜在的兴趣点进行拟合,得到一个精细的函数模型来确定特征点的位置和尺度;
(3a3)基于图像局部的梯度方向,给每个特征点的位置分配一个或多个方向。
3.根据权利要求1所述的方法,其特征在于:(3b)中由特征描述子提取算法计算出第i组的某个环境图片中的第j个特征点 对应的特征描述子 是在特征点 所在图片的给定区域内计算出该图片的多方向局部梯度,并将这些梯度用向量 表示,该向量 即为特征点 对应的特征描述子。
4.根据权利要求1所述的方法,其特征在于:步骤(5)中得到每组图片对应的相机外参数,是拍摄该组照片时相机所在的位置和朝向,该相机拍摄时所在的位置使用一个三维向量c描述,相机拍摄时的朝向使用一个3*3矩阵R描述。
5.根据权利要求1所述的方法,其特征在于:步骤(6)中将每组照片中的“亮”环境照片与“暗”环境照片逐像素按权叠加,实现如下:
(6a)将第i组某个场景图片中位置为(x,y)处的第m个通道的像素值记为 其中其中k∈{L,D},m∈{1,2,3}为图片通道;
(6b)通过下式将第i组图片的“亮”环境与“暗”环境图片进行按权叠加,得到第i组的叠加图片在位置(x,y)处的第m个通道的像素值
其中 为第i组“暗”环境图片中位置为(x,y)处的第m个通道的像素值,
为第i组“亮”环境图片中位置为(x,y)处的第m个通道的像素值;
(6c)对所有组都利用(6a)和(6b)进行计算,得到每组的叠加图片。
6.根据权利要求1所述的方法,其特征在于:步骤(7)中利用像素对应关系通过点云稠密化算法计算出场景的稠密点云,实现如下:
(7a)通过光度一致性约束,对一张图片中的某个像素在另一张图片中找到与其光度最接近的像素;
(7b)利用这两个像素以及两张图片对应的相机内参数与外参数,通过三角化计算出这两个像素对应的3D空间点;
(7c)对所有的像素都利用(7a)与(7b)得到所有的3D空间点,并对得到的所有3D空间点进行融合滤波,最后得到场景的稠密点云。
7.根据权利要求1所述的方法,其特征在于:步骤(8)中使用点云网格化算法将稠密点云网格化,实现如下:
(8a)同时输入稠密点云、网络的形状因子和约束条件,生成边界节点并在点云内部插入内部节点;
(8b)对边界节点构成的边界多面体进行三角划分,生成仅包含边界节点和内部节点的初始网格;
(8c)采用德劳内优化平分方法在初始网格内部插入新的节点,生成新的密集网格;
(8d)根据网格的形状因子,调整插入的节点,以改变密集网格的形状,得到最终的高质量网格。
8.根据权利要求1所述的方法,其特征在于:步骤(9)中计算出场景网格的纹理贴图,实现如下:
(9a)将场景网格中构成三角面片的三个顶点称为一组顶点,利用相机内外参数将这一组顶点投影到照片中,得到三个投影顶点,用这三个投影顶点在照片中围成一个三角形,该三角形在图片中的纹理即为场景网格中对应该组顶点三角面片的纹理;
(9b)重复(9a),对场景网格的每组顶点都计算出对应三角面片的纹理,得到场景的纹理贴图。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
车载环视图像的特征点标定方法、装置和可读存储介质 | 2020-10-02 | 0 |
一种三维显示云渲染方法和系统 | 2021-03-01 | 1 |
一种基于驾驶员疲劳状态的主动限速方法 | 2021-04-04 | 0 |
一种水声定位与授时浮标及其工作方法 | 2021-10-15 | 2 |
一种基于RFID系统多项式估计的高速移动车辆速度预测方法 | 2022-04-11 | 0 |
六相逆变器供电的无轴承磁通切换电机驱动方法及系统 | 2020-10-03 | 0 |
一种跟踪路由处理方法和装置 | 2022-10-18 | 1 |
一种S=8编码方式的低功耗蓝牙维特比联合解调解码算法 | 2020-05-20 | 3 |
空调控制方法、装置和车辆 | 2022-01-11 | 2 |
数据拆分方法、装置、电子设备、及存储介质 | 2020-09-01 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。