一种基于多假设联合视图选择的稠密三维重建方法专利检索-深度相机视听技术与设备专利检索查询-专利查询网

一种基于多假设联合视图选择的稠密三维重建方法

阅读：440发布：2021-02-28

专利汇可以提供一种基于多假设联合视图选择的稠密三维重建方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于多假设联合视图选择的稠密三维重建方法，属于计算机视觉领域。本发明提出了一种基于非对称棋盘网格传播和多假设联合的视图选择的快速准确稠密重建方法，本发明方法中非对称棋盘网格传播基于邻域像素点的匹配代价，使代价更小的假设能优先传播到更远的区域，提升了算法的收敛速度；进一步地，多假设联合视图选择方法采用非对称棋盘网格传播优选的多个假设，在邻域视图中构造代价矩阵，从中挖掘合适的视图聚合集合，使得聚合代价的表示与最优假设的选择更加精确；本发明方法不仅能在充分利用并行计算能力的前提下使算法更快地收敛，而且能够获得更加精确鲁棒的稠密重建结果。，下面是一种基于多假设联合视图选择的稠密三维重建方法专利的具体信息内容。

权利要求

1.一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述方法包括：
(1)在校正的图像集中选定一幅图像作为参考图像，其他图像则作为源图像；对参考图像进行随机初始化；
(2)将当前参考图像的所有像素划分为红黑相间的棋盘网格模式，对于处于黑色格子中的像素X，以X为中心从红色格子中划定多块近距离邻域区域和多块远距离邻域区域；计算每个区域内所有像素的假设的初始聚合匹配代价，每个区域都选出初始聚合匹配代价最小的假设作为像素X的候选假设；
(3)为像素X构造匹配代价矩阵T：
其中，K表示候选假设的数量，N表示源图像的数量；mKN表示第K个候选假设相对于第N个源图像的匹配代价；
(4)在矩阵T中按列选取该列中所有匹配代价和匹配代价阈值对比，若该列中有n个小于匹配代价阈值的匹配代价，则矩阵T保留该列，否则矩阵T剔除该列；
(5)为矩阵T中每个列生成一个对应的权重，在矩阵T中按行选取该行的所有匹配代价，根据该行各个匹配代价所对应的权重计算该行的权重聚合匹配代价，对比矩阵T所有行的权重聚合匹配代价，选取最小的权重聚合匹配代价对应的假设作为像素X的假设；
(6)将棋盘网格模式中黑色和红色对换，重复步骤(2)～(5)，得到参考图像中所有像素的假设；
(7)重复迭代步骤(2)～(6)，使参考图像中所有像素的假设最终收敛，再由参考图像中所有像素的假设中的深度构建参考图像的深度图；
(8)从校正的图像集中选定另一幅图像，重复步骤(1)～(7)，直到得到所述图像集中所有图像的深度图；将所有深度图融合得到稠密三维模型。
2.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(1)中校正的图像集为待处理图像集，且图像集中所有图像的相机拍摄姿态已知。
3.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(1)中对参考图像进行随机初始化具体为：
当前参考图像中每个像素生成一个随机的深度和法向，该像素的深度和法向的组合即该像素的假设。
4.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(2)中多块近距离邻域区域在当前参考图像中以像素X为中心对称分布；多块远距离邻域区域在当前参考图像中以像素X为中心对称分布；近距离邻域区域和像素X之间的距离小于远距离邻域区域和像素X之间的距离。
5.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(2)中假设的初始聚合匹配代价具体为：
一个假设对应一幅源图像的匹配代价为mij，其中，i代表第i个假设，j代表第j幅源图像；对每个假设对应的匹配代价进行由大到小的排序，选取后一半匹配代价的均值作为该假设的初始聚合匹配代价。
6.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(4)中匹配代价阈值为：
其中，t为当前迭代次数，为初始匹配代价阈值，α为设定带宽，e为自然对数。
7.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(5)中权重聚合匹配代价的计算具体为：
先为矩阵T中每列生成相应的权重：
其中，式中，β为设定带宽；第i个假设对应第j幅源图像的匹配代价
为mij；
再计算矩阵T中每行的权重聚合匹配代价：
最后选择最小的权重聚合匹配代价对应的假设作为像素X的假设。
8.根据权利要求1所述的一种基于多假设联合视图选择的稠密三维重建方法，其特征在于，所述步骤(8)中将所有深度图融合得到稠密三维模型具体为：
依次将每幅深度图的深度投影到邻域图像中，法向旋转变换到相应的邻域图像中，若该深度图中一个像素在邻域图像投影的深度与邻域图像对应像素估计的深度差异不大于深度阈值τd，且旋转变换后的法向与邻域图像对应像素估计的法向夹角不大于角度阈值τn，则该深度图的深度与法向是一致的；若深度与法向一致的深度图数量大于2，则将深度与法向一致的深度图中对应像素的深度投影到公共坐标系下，得到各像素的空间三维点，并对所述空间三维点进行均值处理得到一个最终的空间三维点，对每幅深度图进行以上相同的处理生成最终的稠密三维模型。
9.根据权利要求1所述的一种多假设联合视图选择的稠密三维重建方法，其特征在于，采用GPU的并行计算对参考图像中所有像素同时执行步骤(2)～(5)。

说明书全文

一种基于多假设联合视图选择的稠密三维重建方法

技术领域

[0001] 本发明属于计算机视觉领域，更具体地，涉及一种基于多假设联合视图选择的稠密三维重建方法。

背景技术

[0002] 面片匹配的主要思想是随机地初始化一个对应场，然后迭代地将好的对应关系在邻域像素之间进行传播，为了得到更为丰富的传播假设，在传播之后会对现有假设进行随机扰动以增加假设的多样性。其首先被Bleyer等人引入到立体视觉中，并在随后得到了广泛的推广。基于面片匹配的稠密三维重建方法一般可以分为3个阶段：视图选择，传播方案和深度融合。

[0003] 在视图选择阶段，Kang等人采用启发式的视图选择方法，其从所有的匹配代价中选择最佳的50％的视图集合用来进行代价聚合；Galliani等人将其调整为选择固定的K幅视图集合用以代价聚合。然而无论怎样事先划定阈值都无法达到令人满意的结果。Goesele等人首先通过已知的稀疏三维点构造全局视图选择集合，然后在归一化交叉相关和对极几何的约束下，进一步选择有效的局部视图集合。该方法严重地依赖于已知的稀疏三维点，并且不适合于进行并行深度估计。Zheng等人通过构造概率图模型，采用变分推断来选择合适的视图，等人进一步引入法向估计和其他几何先验来约束概率图模型以此进行更精确的视图选择推断。然而其方法不适合大规模的GPU并行计算。

[0004] 在传播方案上，基于种子-扩展的方法通过扩展可靠的深度值估计到领域像素到其邻域上来产生新的生长种子。尽管该方法能够避免无纹理区域的深度估计而节省一些计算量，然而该扩展方案由于其现有种子的数量和位置是不规则的，所以其难以利用GPU的并行计算能力。在利用GPU的并行计算能力上，Bailer等人采用从左上向右下的传播方式，Bleyer等人采用依次向右的传播方案。为了满足概率图模型渐进推断的能力，Zheng等人和等人在奇数次执行向上/向下的传播，在偶数次进行向右/向左的传播，交替进行到一定次数，然而这些传播方案在本质上都是串行的。Galliani等人提出了对称式棋盘网格传播方式，将一幅图像的所有像素划分为类似于棋盘网格式红黑相间的模式。在一次迭代中先并行地利用红色区域的假设对黑色区域进行估计，再并行地利用黑色区域的假设对红色区域进行估计；按此模式迭代一定次数。尽管该方法能充分利用GPU的并行计算能力，然而由于其采用的对称式策略，使得有效的假设不能得到更为有效的传播。

[0005] 深度图融合将所有独自估计的深度图合并成一个点云模型，以此利用左右约束来减少错误的深度估计。Jancoseck和Pajdla通过平面扫描来计算各自参考图像的深度图，然后通过s-t图形式的能量函数来优化表面重建结果，实现最大程度无纹理区域的估计。然而其计算效率低，并且是面向最后的表面重建的，所以在模型精细上并不是很理想。Shen通过邻域深度图测试来进行深度图的融合。对于当前视图的每一个像素，将其反向投影到三维空间中，然后重投影到邻域视图的二维图像坐标系中，通过一致性校验来减少深度估计中的冗余性和野值。Galliani等人直接利用估计的深度与法向来融合深度值。等人提出基于图模型的深度与法向的过滤和融合。

发明内容

[0006] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多假设联合视图选择的稠密三维重建方法，其目的在于本发明方法基于非对称棋盘网格传播和多假设联合的视图选择的快速准确稠密重建方法，由此充分利用并行计算能力的前提下使算法更快地收敛，而且能够获得更加精确鲁棒的稠密重建结果。

[0007] 为实现上述目的，本发明提供了一种基于多假设联合视图选择的稠密三维重建方法，所述方法包括：

[0008] (1)在校正的图像集中选定一幅图像作为参考图像，其他图像则作为源图像；对参考图像进行随机初始化；

[0009] (2)将当前参考图像的所有像素划分为红黑相间的棋盘网格模式，对于处于黑色格子中的像素X，以X为中心从红色格子中划定多块近距离邻域区域和多块远距离邻域区域；计算每个区域内所有像素的假设的初始聚合匹配代价，每个区域都选出初始聚合匹配代价最小的假设作为像素X的候选假设；

[0010] (3)为像素X构造匹配代价矩阵T：

[0011]

[0012] 其中，K表示候选假设的数量，N表示源图像的数量；mKN表示第K个候选假设相对于第N个源图像的匹配代价；

[0013] (4)在矩阵T中按列选取该列中所有匹配代价和匹配代价阈值对比，若该列中有n个小于匹配代价阈值的匹配代价，则矩阵T保留该列，否则矩阵T剔除该列；其中，n的取值范围为2-3，优选取值为2；

[0014] (5)为矩阵T中每个列生成一个对应的权重，在矩阵T中按行选取该行的所有匹配代价，根据该行各个匹配代价所对应的权重计算该行的权重聚合匹配代价，对比矩阵T所有行的权重聚合匹配代价，选取最小的权重聚合匹配代价对应的假设作为像素X的假设；

[0015] (6)将棋盘网格模式中黑色和红色对换，重复步骤(2)～(5)，得到参考图像中所有像素的假设；

[0016] (7)重复迭代步骤(2)～(6)，使参考图像中所有像素的假设最终收敛，再由参考图像中所有像素的假设中的深度构建参考图像的深度图；

[0017] (8)从校正的图像集中选定另一幅图像，重复步骤(1)～(7)，直到得到所述图像集中所有图像的深度图；将所有深度图融合得到稠密三维模型。

[0018] 进一步地，所述步骤(1)中校正的图像集具体为待处理图像集，而且图像集中所有图像的相机拍摄姿态都已知。

[0019] 进一步地，所述步骤(1)中对参考图像进行随机初始化具体为：

[0020] 当前参考图像中每个像素生成一个随机的深度和法向，该像素的深度和法向的组合即该像素的假设。

[0021] 进一步地，所述步骤(2)中多块近距离邻域区域在当前参考图像中以像素X为中心对称分布；多块远距离邻域区域在当前参考图像中以像素X为中心对称分布；近距离邻域区域和像素X之间的距离小于远距离邻域区域和像素X之间的距离。

[0022] 进一步地，所述步骤(2)中假设的初始聚合匹配代价具体为：

[0023] 一个假设对应一幅源图像的匹配代价为mij，其中，i代表第i个假设，j代表第j幅源图像；对每个假设对应的匹配代价进行由大到小的排序，选取后一半匹配代价的均值作为该假设的初始聚合匹配代价。

[0024] 进一步地，所述步骤(4)中匹配代价阈值为：

[0025]

[0026] 其中，t为当前迭代次数，为初始匹配代价阈值，α为设定带宽，e为自然对数；其中，的取值范围为0.75-0.85，优选取值0.8。

[0027] 进一步地，所述步骤(5)中权重聚合匹配代价的计算具体为：

[0028] 先为矩阵T中每列生成相应的权重：

[0029]

[0030] 其中，式中，β为设定带宽；第i个假设对应第j幅源图像的匹配代价为mij；其中，β的取值范围为0.3-0.6，优选取值0.3；

[0031] 再计算矩阵T中每行的权重聚合匹配代价：

[0032]

[0033] 最后选择最小的权重聚合匹配代价对应的假设作为像素X的假设。

[0034] 进一步地，所述步骤(8)中将所有深度图融合得到稠密三维模型具体为：

[0035] 依次将每幅深度图的深度投影到邻域图像中，法向旋转变换到相应的邻域图像中，若该深度图中一个像素在邻域图像投影的深度与邻域图像对应像素估计的深度差异不大于深度阈值τd，且旋转变换后的法向与邻域图像对应像素估计的法向夹角不大于角度阈值τn，则该深度图的深度与法向是一致的；若深度与法向一致的深度图数量大于2，则将深度与法向一致的深度图中对应像素的深度投影到公共坐标系下，得到各像素的空间三维点，并对所述空间三维点进行均值处理得到一个最终的空间三维点，对每幅深度图进行以上相同的处理生成最终的稠密三维模型；其中深度阈值τd的取值范围为0.2-0.4，优选取值为0.3；角度阈值τn的取值范围为25-35，优选取值为30。

[0036] 进一步地，采用GPU的并行计算对参考图像中所有像素同时执行步骤(2)～(5)。

[0037] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

[0038] (1)本发明方法采用棋盘网格传播方式能最大程度地利用GPU的并行计算能力，然而其传播范围受限，因此本发明提出非对称棋盘网格传播方式来使潜在可能的正确的假设能得到更远有效的传播；

[0039] (2)本发明方法在非对称棋盘网格传播的基础上，提出通过多假设联合来构造聚合代价矩阵，以此对视图选择进行推断，生成深度图估计；通过以上两个策略，本发明能够快速准确地得到稠密三维重建结果。附图说明

[0040] 图1是本发明方法的总体流程图；

[0041] 图2是本发明方法所采用的棋盘网格模式；

[0042] 图3是本发明方法提出的非对称棋盘网格传播方式。

具体实施方式

[0043] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

[0044] 本算法最大的贡献在于突破了对称棋盘网格传播方式的传播受限问题，并进一步采用多假设联合的视图选择方法推断出较为准确的视图聚合集合。在图1中，核心创新包括两大部分：一是采用非对称棋盘网格传播方式；二是针对候选视图与候选假设构造代价矩阵，进行多假设联合的视图选择。最终得到的稠密三维模型可用于分类、基于图像的渲染与定位等。其具体实施方式如下：

[0045] 如图1所示本发明方法流程具体如下：

[0046] 随机初始化：在校正的图像集中选定一幅图像作为参考图像，其他图像则作为源图像。在参考图像上，为每个像素点生成一个随机的深度值和法向值，即假设。则每个像素的假设都在三维空间中对应一个倾斜平面结构，每个假设对应一幅源图像的匹配代价为mij(其中，i代表第i个假设，j代表第j幅源图像)，对每个像素的假设采用启发式视图选择方法选择前50％小的匹配代价，采用均值处理预先计算一个初始的聚合匹配代价。

[0047] 非对称棋盘网格传播方式：首先将当前参考图像的所有像素划分为红黑相间的棋盘网格模式，如图2所示。棋盘网格模式有利于GPU的大规模并行计算，可以同时对黑色格子或红色格子中的像素进行假设估计，而彼此之间又不互相干扰。然后，对于处于黑色格子中的每个像素，我们按照图3的方式从红色格子中划定其8个邻域，包括近距离邻域的4块暗色区域，远距离邻域的4块浅色区域。根据当前每个区域所计算出来的聚合匹配代价，我们从每个区域中选择聚合代价最小的那个假设作为候选的8个假设。传递到中心待估计的像素中。

[0048] 多假设联合视图选择：根据非对称棋盘网格中假设的传播，对于每个黑色格子的像素都有8个候选假设，需要为这些假设选择合适的视图进行匹配代价聚合以挑选出当前最优假设。我们首先为这些假设和所有的候选视图分别计算他们对应的匹配代价，构造代价矩阵如下：

[0049]

[0050] 其中，N为源图像数量。

[0051] 我们首先观察代价矩阵的每一列，也就是“视图”的视角。一般来说，对于一幅不合适的视图，其所对应的8个匹配代价一般都会比较高；而对于一幅较为合适的视图，其总会有一定数量的匹配代价相对较小。因此，我们定义匹配代价阈值如下：

[0052]

[0053] 其中，t为当前迭代次数，为初始匹配代价阈值，α为设定带宽，e为自然对数。上式表征由于随着迭代的进行，匹配代价值也会相应地收敛，因此匹配代价阈值也会相应地变得更为严苛。如果对于每一列中有2个匹配代价小于τmc(t)，则该视图就会被认为是合适的视图。否则剔除该源图像；

[0054] 其次，我们观察矩阵代价的每一行，也就是“假设”的视角。对于(3.1)选出来的视图集合，我们要根据每个假设在这些视图上的匹配代价来进行聚合匹配代价计算。然而，尽管我们在(3.1)中选择出来了聚合视图集合，然而每个视图这时的重要性是等同的，为了更明显地区分这些视图的重要性，我们要为每幅视图生成相应的置信度，对于一个匹配代价，其置信度为：

[0055]

[0056] 其中，β为设定带宽。则每幅视图的重要性衡量如下：

[0057]

[0058] 最后，根据每幅视图的重要性，我们对每个假设对应行的匹配代价进行代价聚合，计算如下：

[0059]

[0060] 根据上式，可分别为8个假设计算对应的聚合匹配代价，并从中选择最小匹配代价对应的假设作为所估计像素的深度与法向。

[0061] 在进行完黑色格子中像素的处理后，按照相同的原理对红色格子中的像素进行处理。也就是说，在对红色格子中的像素进行深度和法向估计时，从其黑色格子的8个邻域中挑选各自挑选一个匹配代价最小的假设传播到红色格子中，然后采用多假设联合推断的方法进行视图选择，并生成聚合匹配代价，选择当前最佳假设。

[0062] 迭代优化：对以上步骤迭代一定次数，使算法最终收敛，得到该参考图像的初步深度图估计。最后，对该估计得到的深度图采用中值滤波来滤除一定的错误深度估计。

[0063] 深度图融合：按照上述深度图的生成步骤依次处理剩下的图像，每幅图像依次作为参考图像进行深度估计得到其深度图。最后每幅图像都会得到相应的深度估计与法向估计，为了减少深度估计的冗余性并进一步抑制错误的估计，我们依次将每幅图像的深度值投影到邻域图像中，法向也经过旋转变换到相应的邻域图像中，对于一个像素估计的深度与法向，如果其在邻域图像投影的深度与邻域图像对应像素估计的深度差异不大于深度阈值τd，τd取值0.3，而且旋转变换后的法向与领域图像对应像素估计的法向夹角不大于角度阈值τn，τn取值30，则认为该深度与法向估计是一致的。当一致的图像个数大于2个，则对这些像素的深度进行均值处理得到最后的深度估计，融合成最终的稠密三维模型。以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
一种烟叶等级自动识别分拣方法	2020-05-11	550
一种基于视觉信息的环境语义感知方法	2020-05-08	818
一种玉米对靶变量施肥方法、装置及应用	2020-05-11	844
一种基于多传感器的多移动机器人调度系统设计方法	2020-05-08	740
基于深度卷积神经网络的水稻穗瘟检测方法及系统	2020-05-11	29
深度获取方法、深度获取装置及电子设备	2020-05-08	663
一种自动调节空调制冷量、制热量的方法及空调	2020-05-11	72
一种基于图像修复的三维目标检测方法和系统	2020-05-11	407
基于深度学习的无监督端到端的驾驶环境感知方法	2020-05-08	508
一种行李标签自动识别装置	2020-05-08	849

一种基于多假设联合视图选择的稠密三维重建方法

一种基于多假设联合视图选择的稠密三维重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：