技术领域
[0001] 本
发明涉及
计算机视觉的领域，尤其涉及一种使用多刻度密集连通卷积网络的相对深度序列估计方法。
背景技术
[0002] 图像中的两个对象(点)的深度序列信息是许多计算机视觉任务(如对象分类和语义分割)的重要视觉线索。目的是知道给定一对
像素，哪一个更接近或更接近(或在同一深度)到相机。传统的方法主要依赖于物体的边界和结特性，如T型结、凸性/凹性和夹杂等，但是这些方法的
精度是有限的。
发明内容
[0003] 本发明主要解决的技术问题是提供一种使用多刻度密集连通卷积网络的相对深度序列估计方法，通过对周围环境的有效探索和网络的深化，可以给出不同点的深度信息，解决二维信息到三维数据结构的转化，提高准确率，深化网络，提高性能。
[0004] 为解决上述技术问题，本发明采用的一个技术方案是：提供了一种使用多刻度密集连通卷积网络的相对深度序列估计方法，估计点对的深度序列是探索点之间的三维关系，通过以下过程实现相对深度序列估计：
[0005] 步骤一：通过
消融实验分析作品中使用的输入特征的有效性，检查每个上下文线索的性能在深度序列估计的上下文中的贡献，发现，点对周围的局部上下文贡献最大，全局场景上下文帮助不大；
[0006] 步骤二：使用多尺度密集连接的网络来解决任务，多尺度模型利用点周围的局部上下文信息，提取三个逐渐增加的
包围盒周围的包围盒，代替学习全局结构，通过学习从点对附近的多个大小区域回归来探索局部结构；
[0007] 步骤三：利用DenseNet
深度学习算法对多尺度模型进行改进，使用最近密集连接的网络，以鼓励大量的特征重用，实现深化密集连接网络；
[0008] 步骤四：对改进后的多尺度模型进一步输出重建
深度图，得到高
质量的相对深度序列估计。
[0009] 本发明的有益效果是：本发明的使用多刻度密集连通卷积网络的相对深度序列估计方法，通过对周围环境的有效探索和网络的深化，可以给出不同点的深度信息，解决二维信息到三维数据结构的转化，提高准确率，深化网络，提高性能。
具体实施方式
[0010] 下面将对本发明
实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0011] 本发明实施例包括：
[0012] 一种使用多刻度密集连通卷积网络的相对深度序列估计方法，估计点对的深度序列是探索点之间的三维关系，通过以下过程实现相对深度序列估计：
[0013] 步骤一：通过消融实验分析作品中使用的输入特征的有效性，检查每个上下文线索的性能在深度序列估计的上下文中的贡献，发现，点对周围的局部上下文贡献最大，全局场景上下文帮助不大；
[0014] 步骤二：使用多尺度密集连接的网络来解决任务，多尺度模型利用点周围的局部上下文信息，提取三个逐渐增加的包围盒周围的包围盒，代替学习全局结构，通过学习从点对附近的多个大小区域回归来探索局部结构；
[0015] 步骤三：利用DenseNet深度学习算法对多尺度模型进行改进，使用最近密集连接的网络，以鼓励大量的特征重用，实现深化密集连接网络；
[0016] 步骤四：对改进后的多尺度模型进一步输出重建深度图，得到高质量的相对深度序列估计。
[0017] 上述中，DenseNet深度学习算法，通过一个拼接使每一层网络的输入包括前面所有层网络的输出，从特征重用的
角度来提升网络性能。
[0018] 卷积网络(CNNs)，也称
卷积神经网络，在许多视觉任务如
物体识别和语义分割方面取得了显著的成功，由于具有强大的视觉表现和泛化能
力，最近的深度估计工作也使用CNNs来估计点对之间的顺序信息，并表现出优异的性能。
[0019] 在CNNs
基础上，提出了一个简单而有效的方法，并且使用多尺度模型和密集连接网络，使得学习变得更容易并且达到最先进的性能。
[0020] 解决约束二次优化问题，从序数估计中重建深度图，引入平滑项来改善结果。
[0021] 具体实施方法：
[0022] A、一种多尺度模型结合多尺度局部背景上下文的方法：
[0023] 增加两个较大的包围盒，包含原始包围盒周围所有的点对。具体操作为：
[0024] 首先在两个点周围提取一个矩形，作为刻度1包围盒。
[0025] 然后，通过刻度1的宽度和高度的1/4和1/2的长度来产生刻度2和3包围盒。
[0026] B、深化密集连接网络：
[0027] 在密集连接的网络中，密集连通性表示对于每一层，它与网络中的所有其他层连接，其中每一层仅与相邻的层相连。在密集连接的网络中，前层的特征映射被连接为后层的输入。对于第k层，它接收所有前层的特征映射，即，xk＝Hk([x0,x1,…,xk-1])。其中：Hk(.)指出一个非线性卷积变换，批量归一化和调整线性单元。由于连接的数量与深度成二次增长，提供两个解决方案来控制增长。
[0028] 一种是提出了一个超参数K作为网络的增长率。该生长速率K表示层中的输出的数目。例如，K＝12表示密集连接网络中的所有层具有12个输出特征映射。另一种是将整个网络分成几个
块。因此，密集连通性仅应用于块内。在块之间，使用平均池来对特征映射进行下
采样。
[0029] C、重建深度图：
[0030] 从估计中重建深度图是从点对的局部关系推断所选点的全局关系，使用每个选择点来表示其超像素。因为点之间的估计关系的相当一部分可以是矛盾的或模棱两可的。如何解决这个难题，是突破。
[0031] 目标如下：
[0032]
[0033] ubject to x＞L,x
[0035] E(x,∈)＝∑ij∑oωo,ijθ, o(xi,xj,∈)+LS(x)+R(∈) (2)
[0036] 其中，o∈{＝,＞,<}，x是所选像素的深度值，ωo,ij,是ij-th对的深度序数估计(该模型的输出是三种情况的概率)， 是ij-th对的标量松弛变量，θo(xi,xj,∈)是LS的距离，当它与所提出的模型的估计不一致时，作为惩罚深度估计，其中包括：
[0037] θ＝(xi,xj,∈)＝(|log xi-log xj|-∈＝,i,j)2
[0038] θ＞(xi,xj,∈)＝(log xi-log xj-∈＞,i,j)2
[0039] θ＜(xi,xj,∈)＝(log xj-log xi-∈＝,i,j)2. (3)
[0040] LS(x)是所提出的平滑度项的相邻超像素：
[0041] LS(x)＝∑ijωi,j(xi-xj)2 (4)
[0042] 它是由局部图像梯度和相邻像素的“相等”情况的估计加权的，即：
[0043]
[0044] 其中，ρ控制基于图像梯度的权重的灵敏度，k1和k2控制上述方程中的两个项的比例。
[0045] 设置k1＝k2＝0.5，只考虑相邻超像素，对于不相邻的邻居，ωi,j＝0.最后项R(∈)是约束∈的正则化项，即：
[0046]
[0047] 其中平均值μ＝,μ＞,μ＜，方差 它们由训练集的统计计算，分别对应于“相等”、“进一步”和“更接近”的情况。
[0048] 一种使用多刻度密集连通卷积网络的相对深度序列估计方法，与
现有技术相比具有如下优点：
[0049] (1)预测点对的深度序列是一项具有挑战性的任务，通过对周围环境的有效探索和网络的深化，可以给出不同点的深度信息，解决二维信息到三维数据结构的转化，提高准确率；
[0050] (2)通过学习从点对附近的多个大小区域回归来探索局部结构，使用最近密集连接的网络，以鼓励大量的特征重用，以及深化网络，以提高性能；
[0051] (3)实现了最先进的任务的几个数据集的优势，使用少得多的
训练数据得到好的效果。
[0052] 以上所述仅为本发明的实施例，并非因此限制本发明的
专利范围，凡是利用本发明
说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
