基于变分机制的室内环境三维重建方法
专利汇可以提供基于变分机制的室内环境三维重建方法专利检索，专利查询，专利分析的服务。并且本 发明 属于 计算机视觉 与智能 机器人 的交叉领域，公开了一种基于变分机制的大范围室内场景的重建方法，包括：步骤一，获取相机的标定参数，并建立畸变矫正模型；步骤二，建立相机 位姿 描述与相机投影模型；步骤三，利用基于SFM的单目SLAM 算法 实现相机位姿估计；步骤四，建立基于变分机制的 深度图 估计模型，并求解该模型；步骤五，建立关键 帧 选取机制，实现三维场景的更新。本发明采用RGB相机获取环境数据，针对利用高 精度 单目 定位 算法，提出了一种基于变分机制的深度图生成方法，实现了大范围的快速室内三维场景重建，有效地解决了 三维重建 算法成本与实时性问题。，下面是基于变分机制的室内环境三维重建方法专利的具体信息内容。
1.一种基于变分机制的室内环境三维重建的方法，其特征在于包括以下步骤：
步骤一，获取相机的标定参数，并建立畸变矫正模型；
相机标定的具体过程为：
(1)打印一张棋盘模板；
(2)从多个角度拍摄棋盘，应尽量让棋盘占满屏幕，并保证棋盘的每一个角都在屏幕中，一共拍摄6张模板图片；
(3)检测出图像中的特征点，即棋盘的每一个黑色交叉点；
(4)求取的内部参数，方法如下：
RGB相机标定参数主要为相机内参，相机的内参矩阵K为：
式中，u、v为相机平面坐标轴，(u0,v0)是相机像平面中心坐标，(fu,fv)是相机的焦距；
根据标定参数，RGB图像中点与三维空间点的映射关系如下：RGB图像中点p＝(u,v)在相机坐标系下的坐标P3D＝(x,y,z)表示为：
式中，d表示深度图像中点p的深度值；
相机坐标系向下为y轴正方向，向前为z轴正方向，向右为x正方向；将相机的起始点位置设定为世界坐标系原点，世界坐标系的X、Y、Z方向与相机的定义相同；
FOV相机矫正模型为：
式中，xu为z＝1面的像素坐标，ud为原始图像中像素坐标，ω为FOV相机畸变系数；
步骤二，建立相机位姿描述与相机投影模型，方向如下：
在已建立的世界坐标系下，相机位姿可以表示为如下矩阵：
式中，cw表示从世界坐标系到当前相机坐标系，Tcw∈SE(3)，SE(3)为刚体的旋转平移变换空间；Tcw可由如下六元组μ＝(μ1,μ2,μ3,μ4,μ5,μ6)表示，即：
式中，μ1,μ2,μ3分别为Kinect在全局坐标系下的平移量，μ4,μ5,μ6表示局部坐标系下坐标轴的旋转量；
相机的位姿Tcw建立了当前坐标系下空间点云坐标pc到世界坐标pw的变换关系，即：
pc＝Tcwpw
在当前标系下，三维空间点云到z＝1平面上投影定义为：
T
π(p)＝(x/z,y/z)
3
式中，p∈R为三维空间点，x，y，z为该点的坐标值；根据当前坐标点深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系可表示为：
-1 -1
π (u,d)＝dK u
步骤三，利用基于SFM的单目SLAM算法实现相机位姿估计；
步骤四，建立基于变分机制的深度图估计模型，并求解该模型；
步骤五，建立关键帧选取机制，实现三维场景的更新，方法如下：
在关键帧处实现对三维场景的估计，并更新和维护所生成的三维场景；当新增一帧KeyFrame数据后，根据式 将当前新增KeyFrame数据转换到世界坐标系中，完成场景数据的更新；
利用步骤四建立的深度估计模型中的数据惩罚项，建立当前帧与关键帧间的信息重合程度评估函数，即：
式中， 为常数；
若此时N小于图像大小的0.7时，即确定当前帧为新关键帧。
2.根据权利要求1所述的一种基于变分机制的室内环境三维重建的方法，其特征在于，步骤三利用基于SFM的单目SLAM算法实现相机位姿估计的方法还包括以下步骤：
(1)稀疏地图的初始化
PTAM算法利用标准立体相机算法模型建立当前环境初始化地图，并在此基础上结合新增加关键帧不断更新三维地图；在地图的初始化过程中，通过人为选择两个独立关键帧，利用图像中FAST角点匹配关系，采用基于随机采样一致性的五点法实现上述关键帧间的重要矩阵F的估计，并计算当前特征点处的三维坐标，同时，结合RANSAC算法选取适当空间点建立当前一致性平面，以确定全局世界坐标系，实现地图的初始化；
(2)相机位姿估计
系统利用相机获取当前环境纹理信息，并构建四层高斯图像金字塔，运用FAST-10角点检测算法提取当前图像中特征信息，采用块匹配的方式建立角点特征间的数据关联；在此基础上，根据当前投影误差，建立位姿估计模型，其数学描述如下：
式中，ej是投影误差，ΣObj(·,σT)为Tukey双权目标函数函数，σT为特征点的匹配标准差的无偏估计值，ξ为当前位姿6元组表示，为由ξ组成的反对称矩阵；
根据上述位姿估计模型，选取位于图像金字塔顶层的50个特征匹配点，实现对相机的初始化位姿估计；更进一步，该算法结合相机初始位姿，采用极线收索的方式，建立图像金字塔中角点特征亚像素精度匹配关系，并将上述匹配对带入位姿估计模型，实现相机的精确重定位；
(3)相机位姿优化
系统经初始化后，地图创建线程等待新的关键帧进入；若相机与当前关键帧间图像帧数超出阈值条件，且相机跟踪效果最佳时，将自动执行添加关键帧过程；此时，系统将会对新增加的关键帧中所有FAST角点进行Shi-Tomas评估，以获取当前具有显著特征的角点特征信息，并选取与之最近的关键帧利用极线收索与块匹配方法建立特征点映射关系，结合位姿估计模型实现相机精确重定位，同时将匹配点投影到空间，生成当前全局环境三维地图；
为了实现全局地图的维护，在地图创建线程等待新的关键帧进入的过程中，系统利用局部与全局的Levenberg-Marquardt集束调整算法实现当前地图的全局一致性优化；该集束调整算法的数学描述为：
式中，σji为在第i个关键帧中，FAST特征点的匹配标准差的无偏估计，ξi表示第i个关键帧位姿的6元组表示，pi为全局地图中的点。
3.根据权利要求1所述的一种基于变分机制的室内环境三维重建的方法，其特征在于，步骤四建立并求解基于变分机制的深度图估计模型的方法如下：
基于变分机制的深度图估计模型，在光照不变性假设的前提下建立数据惩罚项，并利用数据惩罚项保证当前深度图的平滑性，其数学模型如下：
Ed＝∫ Ω(Edata+λEreg)dx
式中，λ为数据惩罚项Edata与变分规则项Ereg间的权重系数， 为深度图取值范围；
通过选取当前关键帧为深度图估计算法的参考帧Ir，利用其相邻像序列I＝{I1,I2,...,In}，结合投影模型建立数据惩罚项Edata，其数学描述为：
式中，|I(r)|为当前图像序列中与参考帧具有重合信息的图像帧数量，x′为在当深度d下参考帧x处在Ii处的投影坐标，即：
在深度图平滑性假设前提下，为了确保在图像中边界处的不连续性，引入加权Huber算子构建变分规则项，其数学描述为：
Ereg＝g(u)||▽d(u)||α
式中，▽d为深度图的梯度，g(u)为像素梯度权重系数，g(u)＝exp(-a||▽Ir(u)||)Huber算子||x||α的数学描述为：
式中，α为常量；
根据Legendre-Fenchel变换，能量函数变换为：
式中，
鉴于上述数学模型求解复杂度高、计算量大，引入辅助变量建立凸优化模型，采用交替下降法实现对上述模型的优化，具体过程如下：
(1)固定h，求解：
式中，g为变分规则项中梯度权重系数，θ为二次项常系数；
根据拉格朗日极值法，上述能量函数达到极值的条件为：
式中，divq为q的散度；
结合偏导数离散化描述，上述极值条件可表示为：
采用原始对偶算法实现能量函数的迭代优化，即：
式中，εq、εd为常数，分别表示最大化与最小化梯度描述系数；
(2)固定d，求解：
在上述能量函数求解过程中，为了有效减少算法的复杂度，同时保证重建过程中的部分细节信息，将深度取值范围[dmin,dmax]划分为S个采样平面，采用穷举的方式获取当前能量函数的最优解；其中步长的选择为：
式中， 为k与k-1采样平面间隔。
基于变分机制的室内环境三维重建方法
技术领域
发明内容
具体实施方式
入。在深度估计算法执行过程中，令d＝h 且q ＝0，计算 以获取当前深度图的初始化输入，并迭代优化Ed,q与Eh直到收敛。同时，该在算法迭代过程中不断减小θ值，增加二次函数在算法执行过程中的权重，有效提高了算法收敛速度。最终实验结果如图3所示，实验表明该方法能有效实现环境的稠密三维重建，并进一步验证了该方法的可行性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于仿生视觉机理的水下偏振图像融合系统 | 2020-05-18 | 697 |
| 引水隧洞爆破开挖超欠挖控制施工方法 | 2020-05-29 | 491 |
| 一种利用视差空间集束调整的高精度实时立体视觉定位方法 | 2020-06-14 | 34 |
| 基于视觉SLAM的室内场景下单一目标物体字典模型改进方法 | 2020-05-23 | 766 |
| 用于在分立薄片上沉积多层涂层的装置 | 2020-06-23 | 359 |
| 导流设备 | 2020-06-24 | 585 |
| 一种基于边缘特征自约束的表面网格模型构建方法 | 2020-05-21 | 923 |
| 一种同时定位与稠密三维重建方法 | 2020-06-03 | 999 |
| 单目视觉和惯性传感器融合的远距离测距系统及方法 | 2020-05-13 | 111 |
| 简易环绕集束式冷却装置 | 2020-06-26 | 786 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
