技术领域
[0001] 本
发明涉及
机器视觉和自动驾驶领域，具体涉及一种克服遮挡效应利用自监督
深度学习技术的驾驶场景双目深度估计方法。
背景技术
[0002] 随着
人工智能技术的进步，自动驾驶得到了学术界和工业界的广泛研究，双目深度估计作为自动驾驶技术中一个重要部分，一直是研究热点。双目深度估计基于双目相机，拍摄左右两幅视图，从左右两幅视图得到对应的
视差图，然后根据双目相机参数计算
深度图像。
[0003] 传统的双目深度估计采用立体匹配的方法，在左右两幅视图中寻找匹配的对应点。但是由于遮挡效应的存在，即左视图中出现的区域在右视图中被其它区域遮挡(或者右视图中出现的区域在左视图中被其它区域遮挡)，会导致左右视图中出现无对应匹配的区域，也就是遮挡区域。这些遮挡区域无法估计深度，导致对应的深度图像出现空洞。并且遮挡区域还会影响非遮挡区域的估计
精度。因此立体匹配的方法难以在驾驶场景下使用。
[0004] 近年来，
深度神经网络与立体匹配的结合使得双目深度估计的精度得到的极大提高。但是深度神经网络是一种有
监督学习技术，需要大量带有标注的数据训练网络。然而，获取大量真实场景下的深度信息是极为困难的，并且成本高昂。现阶段可以利用双目相机系统的几何约束，通过神经网络输入的左(右)视图和输出的右(左)视差图，重建右(左)视图，将输入的左(右)视图和重建的左(右)视图的差异作为自监督
信号，以此来训练网络模型。这种自监督训练机制虽然可以免去采集真实场景深度信息的麻烦，但是由于遮挡效应的存在，重建的视图是不可能和原始视图完全一致的，这会导致全局的精度下降。采取自监督方式训练的网络模型比有监督方式训练的网络模型精度会差很多。
发明内容
[0005] 为解决上述背景技术中存在的问题，本发明实例提出一种克服遮挡效应利用自监督深度学习技术的驾驶场景双目深度估计方法。该实例包含一种具有灵活的特征交互能
力的神经网络设计架构，和一种能克服遮挡效应的自监督神经网络训练机制。
[0006] 本发明在利用神经网络输入的左(右)视图和输出的右(左)视差图重建右(左)视图的同时，生成左(右)遮挡掩码图。遮挡掩码图每一点的取值为0或1，Mi,j∈{0,1}。若左(右)遮挡掩码图中，某一点Mi,j＝0，表示左(右)视图中(i,j)该点在右(左)视图中存在对应的匹配点；若左(右)遮挡掩码图中，某一点Mi,j≠0，表示左(右)视图中(i,j)该点在右(左)视图中不存在对应的匹配点。遮挡掩码图M中取值为0的部分即为被遮挡的区域，在训练网络优化损失函数时，去除遮挡区域的影响。
[0007] 本发明的技术方案包含以下步骤：
[0008] 步骤S1，构建图像数据集，所述数据集中的每一个样本包含一对，即左右2幅驾驶场景图像，不需要采集场景深度信息作为标注数据；
[0009] 步骤S2，构建神经网络模型，该模型包括特征提取模
块、代价创建模块、代价计算模块和视差回归模块；
[0010] 步骤S3，构建一种克服遮挡效应的自监督训练方法：使用S1构建的图像数据集对步骤S2构建的神经网络模型进行自监督训练，具体为：
[0011] 利用双目相机的左(右)片估计右(左)片视差图，并结合基线距离计算得到右片和左片视图，同时预测遮挡区域，利用原始的左片和右片图像作为真值，结合遮挡区域掩码图构建损失函数，对网络进行训练；
[0012] 步骤S4，利用步骤S3训练好的模型进行深度估计。
[0013] 进一步地，上述步骤S1所述数据集中的每一个样本包含一对(左右两幅)驾驶场景视图。构建图像数据集的步骤具体如下：
[0014] 步骤S1-1，将2台摄像机固定在车辆上方组成双目摄像系统，保证2台摄像机镜头处于同一平面
水平对齐，且镜头
光心基线距离为b，焦距为f。
[0015] 步骤S1-2，在车辆行驶时，使用步骤S1-1所述双目摄像系统以均匀时间间隔同时拍摄场景，在城市道路、乡村道路、居住区域、郊野区域等多种场景下拍摄，采集得到2M幅驾驶场景图像；
[0016] 步骤S1-3，通过S1-2采集得到M个图像对，每个图像对包含左视图和右视图2幅图像，将每对图像对的左视图和右视图校准，保证水平对齐，减少垂直方向偏差。
[0017] 步骤S1-4，经过上面三步的处理，得到M个数据样本，每个数据样本包含2幅图像(左视图和右视图)，本方法不需要额外采集深度信息作为标注；将M个数据样本作为图像数据集。
[0018] 进一步地，上述步骤S2所述神经网络模型包括特征提取模块、代价创建模块、代价计算模块和视差回归模块4个组成部分。本发明所设计的神经网络架构如图1所示。
[0019] 特征提取模块是2D全卷积网络，输入左右视图(H×W×3)，输出左右视图的特征图Fr1和Fl1
[0020] 代价创建模块将特征提取模块输出的左右视图的特征图 进行融合交互和升维扩展得到左右视图的特征体 具体过程如下。
[0021] 将左右特征图 沿特征维拼接(concatenate)，得到融合特征图
[0022] 将融合特征图 输入一个卷积层(卷积核大小为3×1，卷积核个数为 使用Relu激活)得到特征图A1 将特征图A1输入一个卷积层(卷积
核大小为3×1，卷积核个数为 使用Relu激活)得到特征图A2
[0023] 将融合特征图 输入一个卷积层(卷积核大小为5×1，卷积核个数为 使用Relu激活)得到特征图B1 将特征图A1输入一个卷积层(卷积核
大小为3×1，卷积核个数为 使用Relu激活)得到特征图B2
[0024] 将融合特征图 输入一个卷积层(卷积核大小为7×1，卷积核个数为 使用Relu激活)得到特征图C1 将特征图A1输入一个卷积层(卷积
核大小为3×1，卷积核个数为 使用Relu激活)得到特征图C2
[0025] 将融合特征图 输入一个卷积层(卷积核大小为9×1，卷积核个数为 使用Relu激活)得到特征图D1 将特征图A1输入一个卷积层(卷积
核大小为3×1，卷积核个数为 使用Relu激活)得到特征图D2
[0026] 将特征图A2 B2 C2 D2升维得到特征体A3 B3 C3
D3
[0027] 将左特征图Fl1 通过一个卷积层(卷积核大小为1×1，卷积核个数为 不使用激活函数)得到Fl2 将Fl2 扩展升维得到特征体Fl3 将Fl3、A3、B3、C3、D3拼接在一起得到左代价特征体Cost
Volume(left)
[0028] 将右特征图Fr1 通过一个卷积层(卷积核大小为1×1，卷积核个数为 不使用激活函数)得到Fr2 将Fr2 扩展升维得到特征体Fr3 将Fr3、A3、B3、C3、D3拼接在一起得到右代价特征体Cost
Volume(right)
[0029] 代价计算模块是多尺度3D全卷积网络，包括3D卷积层和3D反卷积层，它输入左右特征体Cost Volume 输出左右代价特征计算结果Cost Result(left)和Cost Result(right)(D×H×W×1)。
[0030] 视差回归模块输入左右代价特征计算结果Cost Result(D×H×W×1，
降维到D×H×W)，输出左右视图对应的视差图(H×W)。计算方式如下：
[0031]
[0032] 这里，σ(·)表示二维softmax函数，Cd表示三维特征体(D×H×W)上D维索引为d的二维数据(H×W)。
[0033] 进一步地，使用S1构建的图像数据集对步骤S2构建的神经网络模型进行自监督训练方法如下：如图2所示，神经网络模型输入左右两幅图像IL和IR，输出左右视差图DL和DR，使用DL和IR得到重建出的左视差图 和右视差图遮挡掩码图MR，使用DR和IL得到恢得到重建的
[0034]
[0035] 右视差图 和左视差图遮挡掩码图ML。得到重建视差图和视差遮挡掩码图
算法如下：
[0036] 使用IL、 ML和IR、 MR构造自监督信号，使用如下损失函数：
[0037] loss＝CL+CR
[0038]
[0039]
[0040] 其中，α表示平衡系数。
[0041] 上述步骤4通过步骤3获得的神经网络模型工作，输入左右视图，输出左右视差图，最终通过双目相机系统参数将左右视差图转换为左右深度图像。
[0042] 本发明还设计了一种
电子设备，其特殊之处在于，包括：
[0043] 一个或多个处理器；
[0044] 存储装置，用于存储一个或多个程序；
[0045] 当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的方法。
[0046] 基于同一个设计理念，本发明还设计了一种计算机可读介质，其上存储有
计算机程序，其特征在于：所述程序被处理器执行时实现上述任一所述的方法。
[0047] 本发明的优点：
[0048] 1.本发明设计了一种新型的端到端的神经网络模型，它由特征提取模块、代价创建模块、代价计算模块和视差回归模块组成。其中代价创建模块我们使用了多尺度n×1卷积，具有很强的水平方向先验性和灵活的自适应性，能更加准确的处理左右视图信息的融合交互。
[0049] 2.本发明创新地提出一种能有效克服遮挡效应的自监督神经网络训练机制。先前的自监督训练方法无法处理视图中出现的遮挡情况，导致估计的深度图像模糊不准。本实例所提出的自监督训练机制，无需人工标注场景深度信息，能有效处理遮挡效应，提高场景深度的估计精度。并且，利用所提出的训练方法，可以在线学习，增强网络在不同驾驶场景条件的鲁棒性。
附图说明
[0050] 图1是本发明实例的神经网络模型架构图。
[0051] 图2是本发明实例的自监督训练神经网络模型的示意图。
具体实施方式
[0053] 为使本发明实施方式的目的、技术方案和和特点说明更加清楚，下面结合本发明的附图，对本发明实施方式中的技术方案进行清晰、完整地描述。显然，所描述的实施方式是本发明实施方法中的一部分，而不是全部。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。因此，以下对在本发明附图中所提供的消息描述并非旨在限制要求本发明的保护范围，而是仅仅表示本发明的
选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。
[0054] 本发明提供的方法设计了一种新型的神经网络模型，并提出了一种克服遮挡效应的的自监督训练机制。神经网络模型总体架构参见图1，自监督训练方法参见图2。其具体实施流程图参见图3，包含以下步骤。
[0055] 步骤S1，构建图像数据集，所述数据集中的每一个样本包含一对(左右2幅)驾驶场景图像。具体实施过程说明如下。
[0056] 步骤S1-1，将2台摄像机固定在车辆上方组成双目摄像系统，保证2台摄像机镜头处于同一平面，且镜头光心基线距离为b，焦距为f。
[0057] 步骤S1-2，在车辆行驶时，使用步骤S1-1所述双目摄像系统以均匀时间间隔同时拍摄场景，在城市道路、乡村道路、居住区域、郊野区域等多种场景下拍摄，采集得到2M幅驾驶场景图像；
[0058] 步骤S1-3，通过S1-2采集得到M个图像对，每个图像对包含左视图和右视图2幅图像，将每对图像对的左视图和右视图校准，保证水平对齐，减少垂直方向偏差。
[0059] 步骤S1-4，经过上面三步的处理，得到M个数据样本，没个数据样本包含2幅图像(左视图和右视图)，本方法不需要额外采集深度信息作为标注；将M个数据样本作为图像数据集。
[0060] 优选地，取M＝50000，则每个样本为{IL,IR}，数据集为
[0061] 步骤S2，构建深度学习网络模型，如附图1。该模型包括特征提取模块、代价创建模块、代价计算模块和视差回归模块。具体实施过程说明如下。
[0062] S2-1，特征提取模块是2D全卷积网络，输入左右视图(H×W×3)，输出左右视图的特征图Fr1和Fl1
[0063] 特征提取模块具体结构为：第1层为卷积层，输入左右视图2幅图像(H×W×3)，卷积核大小为5×5，步长为2，卷积核个数是32；第2到17层为残差结构卷积块构成，每个残差块有2个卷积层，每层卷积核大小为3×3，步长为1，卷积核个数是32，每个残差块的输入经过跳层连接到残差块的输出，总共8个相同的残差块；第18层为卷积层，没有激活函数和Batch Norm，卷积核大小为3×3，步长为1，卷积核个数是32，得到左右视图对应的特征图Fr1和Fl1
[0064] S2-2，将上一步得到的左右视图的特征图Fr1和Fl1 输入代价创建模块，输出左右视图对应的代价特征体Cost Volume D表示支持的最大视差)。具体过程如下。
[0065] 将左右特征图 沿特征维拼接(concatenate)，得到融合特征图
[0066] 将融合特征图 输入一个卷积层(卷积核大小为3×1，卷积核个数为 使用Relu激活)得到特征图A1 将特征图A1输入一个卷积层(卷积
核大小为3×1，卷积核个数为 使用Relu激活)得到特征图A2
[0067] 将融合特征图 输入一个卷积层(卷积核大小为5×1，卷积核个数为 使用Relu激活)得到特征图B1 将特征图A1输入一个卷积层(卷积
核大小为3×1，卷积核个数为 使用Relu激活)得到特征图B2
[0068] 将融合特征图 输入一个卷积层(卷积核大小为7×1，卷积核个数为 使用Relu激活)得到特征图C1 将特征图A1输入一个卷积层(卷积
核大小为3×1，卷积核个数为 使用Relu激活)得到特征图C2
[0069] 将融合特征图 输入一个卷积层(卷积核大小为9×1，卷积核个数为 使用Relu激活)得到特征图D1 将特征图A1输入一个卷积层(卷积核
大小为3×1，卷积核个数为 使用Relu激活)得到特征图D2
[0070] 将特征图A2 B2 C2 D2升维得到特征体A3 B3 C3
D3
[0071] 将左特征图Fl1 通过一个卷积层(卷积核大小为1×1，卷积核个数为 不使用激活函数)得到Fl2 将Fl2 扩展升维得到特征体Fl3 将Fl3、A3、B3、C3、D3拼接在一起得到左代价特征体Cost
Volume(left)
[0072] 将右特征图Fr1 通过一个卷积层(卷积核大小为1×1，卷积核个数为 不使用激活函数)得到Fr2 将Fr2 扩展升维得到特征体Fr3 将Fr3、A3、B3、C3、D3拼接在一起得到右代价特征体Cost
Volume(right)
[0073] S2-3，将上一步得到的代价特征体Cost Volume 输入代价计算模块，代价计算模块为3D全卷积网络，包含3D卷积和3D反卷积，得到左右视图对应的代价特征计算结果Cost Result(D×H×W×1)；
[0074] 代价计算模块包含19层：第1层为3D卷积，输入代价特征体，卷积核大小为3×3×3，步长为1，卷积核个数为32；第2层为3D卷积层，输入第2层输出，卷积核大小为3×3×3，步长为1，卷积核个数为32；第3层为3D卷积层，输入代价特征体，卷积核大小为3×3×3，步长为2，卷积核个数为64；第4层为3D卷积层，输入第3层输出，卷积核大小为3×3×3，步长为1，卷积核个数为64；第5层为3D卷积层，输入第4层输出，卷积核个数为3×3×3，步长为1，卷积核个数为64；第6层为3D卷积层，输入为第3层输出，卷积核大小为3×3×3，步长为2，卷积核个数为64,；第7层为3D卷积层，输入为第6层输出，卷积核大小为3×3×3，步长为1，卷积核个数为64；第8层为3D卷积层，输入为第7层输出，卷积核大小为3×3×3，步长为1，卷积核个数为64,；第9层为3D卷积层，输入为第6层输出，卷积核大小为3×3×3，步长为2，卷积核个数为64；第10层为3D卷积层，输入为第9层输出，卷积核大小为3×3×3，步长为1，卷积核个数为64；第11层为3D卷积层，输入为第10层的输出，卷积核大小为3×3×3，步长为1，卷积核个数为64；第12层为3D卷积层，输入为第9层的输入，卷积核大小为3×3×3，步长为2，卷积核个数为128；第13层为3D卷积层，输入为第12层的输出，卷积核大小为3×3×3步长为1，卷积核个数为128；第14层为3D卷积层，输入为第13层的输出，卷积核大小为3×3×3，步长为
1，卷积核个数为128；第15层为3D反卷积层，输入为第14层的输出，卷积核大小为3×3×3，步长为2，卷积核个数为64；第16层为3D反卷积层，输入为第15层和第11层的输出的残差和，卷积核大小为3×3×3，步长为2，卷积核个数为64；第17层为3D反卷积，输入为第16层和第8层输出的残差和，卷积核大小为3×3×3，步长为2，卷积核个数为64；第18层为3D反卷积，输入为第17层和第5层输出的残差和，卷积核大小为3×3×3，步长为2，卷积核个数为32；第19层为3D反卷积层，输入为第18层和第2层输出的残差和，卷积核大小为3×3×3，步长为2，卷积核个数为1，输出左右视图对应的代价特征计算结果Cost Result(D×H×W×1)。
[0075] 优选地，代价计算模块第1层至第18层使用激活函数和Batch Norm，第19层不使用激活函数和Batch Norm。
[0076] S2-4，将上一步得到的左右视图对应的代价特征计算结果Cost Result(D×H×W×1，降维到D×H×W)输入视差回归模块，得到左右视图对应的视差图(H×W)。计算方式如下：
[0077]
[0078] 这里，σ(·)表示二维softmax函数，Cd表示三维特征体(D×H×W)上D维索引为d的二维数据(H×W)。
[0079] 步骤S3，所述使用S1构建的图像数据集对步骤S2构建的神经网络模型进行自监督训练方法，详细说明如下。
[0080] 神经网络模型输入左右两幅图像IL和IR，输出左右视差图DL和DR，使用DL和IR得到重建出的左视差图 和右视差图遮挡掩码图MR，使用DR和IL得到恢得到重建的右视差图和左视差图遮挡掩码图ML。得到重建视差图和视差遮挡掩码图算法如下：
[0081]
[0082] 使用IL、 ML和IR、 MR构造自监督信号，使用如下损失函数：
[0083] Loss＝CL+CR
[0084]
[0085]
[0086] 其中，α表示平衡系数。
[0087] 步骤S4，利用步骤S3训练好的深度学习模型，输入的左右两视图的驾驶场景图像，得到左右两视图对应的视差图。通过如下公式，可以得到左右视图
像素点到摄像机平面的距离z：
[0088]
[0089] 这里，b表示双目摄像系统的基线距离，f表示双目摄像系统的焦距。
[0090] 本发明还设计了一种电子设备，其特殊之处在于，包括：
[0091] 一个或多个处理器；
[0092] 存储装置，用于存储一个或多个程序；
[0093] 当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的方法。
[0094] 基于同一个设计理念，本发明还设计了一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现上述任一所述的方法。
[0095] 本发明的优点：
[0096] 1.本发明设计了一种新型的端到端的神经网络模型，它由特征提取模块、代价创建模块、代价计算模块和视差回归模块组成。其中代价创建模块我们使用了多尺度n×1卷积，具有很强的水平方向先验性和灵活的自适应性，能更加准确的处理左右视图信息的融合交互。
[0097] 2.本发明创新地提出一种能有效克服遮挡效应的自监督神经网络训练机制。先前的自监督训练方法无法处理视图中出现的遮挡情况，导致估计的深度图像模糊不准。本实例所提出的自监督训练机制，无需人工标注场景深度信息，能有效处理遮挡效应，提高场景深度的估计精度。并且，利用所提出的训练方法，可以在线学习，增强网络在不同驾驶场景条件的鲁棒性。
