基于深度学习的无监督端到端的驾驶环境感知方法
专利汇可以提供基于深度学习的无监督端到端的驾驶环境感知方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 深度学习 的无监督端到端的驾驶环境 感知 方法，包括：利用双目相机进行 图像采集 ，并通过预处理获得 训练数据 ；利用训练数据中两个连续的大小相同的立体图像对训练光流估计网络、 位姿 估计网络、深度估计网络以及运动分割；利用三个网络的输出结果进行刚性配准，来优化位姿估计网络的输出；利用深度估计网络的输出，以及优化后的位姿估计网络的输出计算由摄像机运动引起的刚性流，并与光流估计网络的输出进行流一致性检查，从而进行运动分割。上述方法采用无监督的端到端 框架 不需要真值深度、位姿和光流作为标签监督训练，并且能够获得具有绝对尺度的相机位姿和稠密的 深度图 估计，从而可以以较高的 精度 分割出动态物体。，下面是基于深度学习的无监督端到端的驾驶环境感知方法专利的具体信息内容。
1.一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，包括：
利用双目相机进行图像采集，并通过预处理获得训练数据；
利用训练数据中两个连续的大小相同的立体图像对训练光流估计网络、位姿估计网络、深度估计网络以及运动分割；
训练完毕后，对于新输入的两个连续的大小相同的立体图像对利用三个网络的输出结果进行刚性配准，来优化位姿估计网络的输出；利用深度估计网络的输出，以及优化后的位姿估计网络的输出计算由摄像机运动引起的刚性流，并与光流估计网络的输出进行流一致性检查，从而进行运动分割。
2.根据权利要求1所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，利用双目相机进行图像采集，并通过预处理获得训练数据包括：
首先，对双目相机采集到的原始图像进行缩放，并且相应的相机内参也同时进行缩放；
然后，通过数据增强方法，产生训练数据；
所述数据增强方法，包括使用如下一种或多种方式进行数据增强：
使用亮度因子γ对输入的单目图像进行随机校正；
按比例因子sx和sy沿X轴和Y轴对图像进行缩放，然后将图像随机裁剪为指定尺寸；
将图像随机旋转r度，并使用最近邻方法插值；
随机左右翻转以及随机时间顺序切换。
3.根据权利要求1所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，所述利用训练数据中两个连续的大小相同的立体图像训练光流估计网络、位姿估计网络、深度估计网络以及运动分割包括：
首先，利用训练数据中连续的大小相同的立体图像对训练光流估计网络，再同时训练位姿估计网络和深度估计网络；
然后，利用训练数据中连续的大小相同的立体图像对同时训练光流估计网络、位姿估计网络、深度估计网络以及运动分割。
4.根据权利要求3所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，
两个连续的大小相同的立体图像对记为L1、R1、L2与R2；其中，L1、R1对应的表示在t1时刻的左、右图像，L2、R2对应的表示t2时刻的左、右图像；
利用两个连续左图像L1与L2以及设计的光流损失函数 训练光流估计网络，光流估计网络的输出为两个连续的大小相同的左图像L1与L2之间的光流
同时训练训练位姿估计网络和深度估计网络：
利用两个连续左图像L1与L2以及设计的刚性流损失函数 训练位姿估计网络，位姿估计网络输出为两个连续左图像L1与L2以之间的相对相机位姿T12；利用两个连续的大小相同的立体图像对L1、R1、L2与R2以及立体损失 训练深度估计网络，深度估计网络的输出为立体图像对之间的视差d，利用立体相机基线B和水平焦距fx，通过视差d计算绝对尺度深度D＝Bfx/d，将计算出的绝对尺度深度记为D1，2。
5.根据权利要求4所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，
所述光流损失函数 包括：遮挡感知重建损失项 和平滑损失项
其中，ψ(.)表示遮挡感知重建损失函数，α表示调节系数，O1表示非遮挡区域，M1表示损失掩模，N为归一化系数； 表示根据L1、L2之间的光流 并结合L2重建的左图像，记为e表示自然对数，(i，j)表示像素位置， 指沿图像x或者y方向的求导操作，其平方表示求二阶导，a指图像的x或y方向，用于指示求导的方向，β为权重。
6.根据权利要求4所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，
所述刚性流损失 是在静态区域中应用于 和 的重建损失项：
其中，ψ(.)表示遮挡感知重建损失函数，O1表示非遮挡区域，M1表示损失掩模；
表示根据刚性流 并结合L2重建的两个左图像，记为 通过绝对尺度
深度D1，2与位姿T12计算得到， 通过绝对尺度深度D1，2与优化后的位姿计算得到。
7.根据权利要求3所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，所述利用训练数据中连续的大小相同的立体图像对同时训练光流估计网络、位姿估计网络、深度估计网络以及运动分割包括：
两个连续的大小相同的立体图像对记为L1、R1、L2与R2；其中，L1、R1对应的表示在t1时刻的左、右图像，L2、R2对应的表示t2时刻的左、右图像；
利用两个连续的大小相同的立体图像对L1、R1、L2与R2、光流损失 立体声损失 刚性流损失 以及流一致性损失 同时训练光流估计网络、位姿估计网络、深度估计网络、刚性配准模块和流一致性检查模块。
8.根据权利要求7所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，通过刚性配准模块，使用光流估计网络输出的光流 以及通过深度估计网络输出的视差d计算得到的绝对尺度深度D1，2，来优化位姿估计网络输出的位姿T12，得到优化后的位姿T′12；
在刚性配准期间，将2D图像空间中的点转换为3D点云，公式为：
Qk(i，j)＝Dk(i，j)K-1Pk(i，j)，k＝1，2
其中，Pk(i，j)是图像Lk的(i，j)位置处的像素的齐次坐标，K是相机内参，Dk(i，j)是图像Lk的(i，j)位置处的绝对尺度深度，Qk(i，j)是图像Lk的(i，j)位置处像素的对应3D坐标；
利用位姿T12将3D点云Q1转换为3D点云 并且，利用双线性采样方法，根据光流 将
3D点云Q2变形回到t1时刻来获得相应的3D点云 通过变形步骤建立对应，使得 对应于
其中，W、H分别表示图像的的宽、高； 分别表示光流 在x、y轴的分量；
通过最小化所选区域R中 和 之间的距离来估计改善姿势ΔT：
其中，区域R为 和 对应的非遮挡区域之间的最小距离排序的前R％；
从而通过下式得到优化后的位姿T′12：
T′12＝ΔT×T12。
9.根据权利要求7或8所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，计算由摄像机运动引起的刚性流的公式为：
其中，K是相机内参，P1表示L1中像素的齐次坐标；
通过下式估计损失掩模：
其中，O1表示非遮挡区域，δ为阈值。
10.根据权利要求7或8所述的一种基于深度学习的无监督端到端的驾驶环境感知方法，其特征在于，流一致性损失 表示为：
其中，SG表示停止梯度，(i，j)表示像素位置， 表示L1、L2之间的光流， 为由摄像机运动引起的刚性流，通过绝对尺度深度D1，2与优化后的位姿T′12计算得到，N为归一化系数。
基于深度学习的无监督端到端的驾驶环境感知方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种高效控制信令方法及系统 | 2020-05-08 | 741 |
| 亥姆霍兹共振器及基于其的低频宽带吸声降噪结构 | 2020-05-08 | 796 |
| 截头圆锥形止血密封元件 | 2020-05-08 | 469 |
| 耳罩结构 | 2020-05-08 | 212 |
| 一种新型车载手机固定支架 | 2020-05-08 | 220 |
| 表面应力传感器、中空构造元件以及它们的制造方法 | 2020-05-08 | 296 |
| 一种电气设备除湿装置 | 2020-05-08 | 848 |
| 框架馈入器 | 2020-05-08 | 806 |
| 学生安全意识评估系统及方法 | 2020-05-11 | 375 |
| 一种非接触模块封装智能卡及其制备方法 | 2020-05-11 | 149 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
