适用于嵌入式平台的快速单目深度估计方法
专利汇可以提供适用于嵌入式平台的快速单目深度估计方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种适用于嵌入式平台的快速单目深度估计方法，包括获取深度估计模型所需的 训练数据 ；对训练数据预处理、压缩并发送到距离嵌入式平台最近的边缘 服务器 ；边缘服务器对接收的数据训练深度估计模型得到训练好的深度估计模型；对深度估计模型进行转换、压缩并发送嵌入式平台；嵌入式平台接收数据并根据构建的深度估计模型结构对单目图像进行快速的深度估。本发明基于包括 编码器 和 解码器 组成的U型轻量级深度估计模型，参数少，计算量小，预测速度快，可从RGB图像中自动学习得到准确的 像素 级 深度图 ，适用于室内室外不同的场景，方便灵活；而且本发明方法的效率较高、可靠性好、成本低廉且适用于资源有限平台。，下面是适用于嵌入式平台的快速单目深度估计方法专利的具体信息内容。
1.一种适用于嵌入式平台的快速单目深度估计方法，包括如下步骤：
S1.获取深度估计模型所需的训练数据；
S2.将步骤S1获取的训练数据在嵌入式平台进行预处理；
S3.将步骤S2进行预处理过的数据发送到距离嵌入式平台最近的边缘服务器；
S4.边缘服务器采用接收到的数据训练构建的深度估计模型结构，从而得到训练好的深度估计模型；
S5.边缘服务器将步骤S4得到的训练好的深度估计模型进行模型转换；
S6.边缘服务器将步骤S5进行转换后的模型发送至嵌入式平台；
S7.嵌入式平台对接收到的深度估计模型进行转换，并加载到和步骤S4一样的深度估计模型结构中，对单目图像进行快速的深度估计。
2.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于还包括如下步骤：
S8.将步骤S7构建好的构建深度估计模型结构集成到嵌入式平台的操作系统。
3.根据权利要求2所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S8所述的将步骤S7构建好的构建深度估计模型结构集成到嵌入式平台的操作系统，具体为将构建的深度估计模型结构集成到机器人操作系统ROS中；利用深度估计模型结构在机器人操作系统ROS中，构建深度估计发布器，并构建RGBD-SLAM订阅器，深度估计发布器发布的深度图数据和RGB数据同步后供ROS主节点、RGBD-SLAM订阅器，和其他需要使用深度图数据的节点使用。
4.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S1所述的获取深度估计模型所需的训练数据，具体为使用深度相机采集RGB图像和深度图，或者采用互联网公开的由深度相机采集的RGB图像和深度图；然后将获取的深度图中深度值为0的像素值运用双线性插值方法填充，最后将RGB图像和填充后的深度图一起用作深度估计模型的训练数据。
5.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S2所述的将步骤S1获取的训练数据在嵌入式平台进行预处理，具体为将步骤S1获取的RGB图像和深度图在嵌入式平台上进行变化；所述的变化包括在水平或垂直方向上翻转RGB图像和深度图，以及旋转RGB图像和深度图；然后保留变换前的和变换后的RGB图像和深度图图像，最后裁剪RGB图像和深度图从而得到设定尺寸的RGB图像和深度图图像。
6.根据权利要求1～5之一所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S4所述的深度估计模型，具体包括编码器和解码器；编码器采用卷积神经网络，用于捕获RGB图像中的上下文，并实现自动提取特征；解码器利用深度可分离卷积和通道重排，在学习特征的同时提高分辨率；同时解码器融合相同级别的编码器的特征映射，组成U型结构，并借助于编码器产生的中间特征和解码器自身学习到的特征来提高深度图预测的准确性。
7.根据权利要求6所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S4所述的深度估计模型包括的编码器和解码器为：编码器的第一个模块a由二维卷积层、批量归一化层BN和激活函数层ReLU组成：其中二维卷积层的卷积核尺寸为7×7，用于提取特征；批量归一化层BN用于减小内部协方差平移，从而提高学习率；激活函数层ReLU在神经网络中加入非线性因素，从而提升深度估计准确性，并加快网络训练速度；编码器的第二个模块包括最大池化层和模块b：最大池化层用于对领域内的特征点取最大操作，使得神经网络能够专注于最重要的元素；模块b包含二维卷积层，批量归一化层BN、激活函数层ReLU、二维卷积层和批量归一化层：二维卷积层的卷积核尺寸均为3×3；编码器的第三个模块c为残差结构：包括一个卷积核尺寸为3×3的二维卷积层、批量归一化层BN和激活函数层ReLU，卷积核尺寸为3×3的二维卷积层和批量归一化层BN，融合该卷积核尺寸为3×3的二维卷积层和批量归一化层BN的输出结果与卷积核尺寸为1×1的二维卷积层和批量归一化层BN的输出结果得到残差结构，然后连接模块c和模块b构成编码器的第四个模块；再次连接模块c和模块b构成编码器的第五个模块；最后用一卷积核尺寸为1×1的二维卷积层再次对特征进行提取并连接解码器；解码器由5个模块构成：每个模块均包括像素重排层和深度可分离卷积层；像素重排层使多通道的特征变成新的特征的高度和宽度，达到特征图通道数减少，高度和宽度增加的目的，避免信息的损失；深度可分离卷积层包括depthwise卷积层，批量归一化层BN、激活函数层ReLU、二维卷积层、批量归一化层BN和激活函数层ReLU；其中depthwise卷积层卷积核尺寸为3×3，二维卷积层卷积核尺寸为1×1。
8.根据权利要求7所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S5所述的边缘服务器将步骤S4得到的训练好的深度估计模型进行模型转换，具体为边缘服务器将得到的训练好的深度估计模型转换成开放神经网络交换ONNX格式的模型。
9.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S7所述的嵌入式平台对接收到的深度估计模型进行解压和转换，并加载到和步骤S4一样的深度估计模型结构中，对单目图像进行快速的深度估计，具体为在嵌入式平台上构建和步骤S4一样的深度估计模型结构，然后将接收到的模型文件解压缩，并采用开放神经网络交换ONNX将解压缩后的模型转换为嵌入式平台深度学习框架下对应的深度估计模型，深度估计模型结构加载ONNX转换后的深度估计模型文件，对获取的RGB图像进行快速地深度估计。
10.根据权利要求9所述的适用于嵌入式平台的快速单目深度估计方法，其特征在于步骤S7所述的嵌入式平台对接收到的深度估计模型进行解压和转换，并加载到和步骤S4一样的深度估计模型结构中，对单目图像进行快速的深度估计，具体为将接收到的模型文件解压缩，解压缩后加载到步骤S4一样的U型深度估计模型结构，将单目相机产生的RGB图像或其他数据集的RGB图像进行裁剪，四周数据裁掉，中心数据保留，以得到224*224尺寸的RGB图像，最后利用加载深度估计模型文件后的U型深度估计模型结构对224*224尺寸的RGB图像进行快速地深度估计。
适用于嵌入式平台的快速单目深度估计方法
技术领域
背景技术
发明内容
具体实施方式
模块b包含二维卷积层，批量归一化层BN、激活函数层ReLU、二维卷积层和批量归一化层：二维卷积层的卷积核尺寸均为3×3；编码器的第三个模块c为残差结构：残差结构包括一个卷积核尺寸为3×3的二维卷积层、批量归一化层BN和激活函数层ReLU，卷积核尺寸为3×3的二维卷积层和批量归一化层BN，然后融合卷积核尺寸为3×3的二维卷积层和批量归一化层BN的输出结果与卷积核尺寸为1×1的二维卷积层和批量归一化层BN的输出结果得到残差结构，之后连接模块c和模块b构成编码器的第四个模块；再次连接模块c和模块b构成编码器的第五个模块；最后用一卷积核尺寸为1×1的二维卷积层对特征进行提取并连接解码器；解码器由5个模块构成：每个模块均包括像素重排层和深度可分离卷积层；像素重排层使多通道的特征变成新特征的高度和宽度，达到特征图通道数减少，高度和宽度增加的目的，避免信息的损失；深度可分离卷积层包括depthwise卷积层，批量归一化层BN、激活函数层ReLU、二维卷积层、批量归一化层BN和激活函数层ReLU；其中depthwise卷积层卷积核尺寸为3×3，二维卷积层卷积核尺寸为1×1；
64×H/4×W/4特征图，然后和对应编码器的同样维度64×H/4×W/4的特征图融合得到维度为128×H/4×W/4的特征图；经过解码器的5个模块中的第四个模块i后，特征图的通道数降为原来的1/4，高H和宽W均降为原来的1/2，得到32×H/2×W/2特征图，然后和对应编码器的维度为64×H/2×W/2的特征图融合得到维度为96×H/2×W/2的特征图；经过解码器的5个模块中的第五个模块j的像素重排层时，得到维度24×H×W的深度图，j的深度可分离卷积层的最后一个卷积核尺寸为1×1的二维卷积层输出通道设为1，则经过j的深度可分离卷积层最后可得到图片维度为1×H×W的深度图；
7
1.1×10 31ms
0.719 0.208
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于自适应深度学习的新能源锂电池表面缺陷检测方法 | 2020-05-08 | 358 |
| 一种生成带深度信息的全景图的方法、装置及存储介质 | 2020-05-08 | 174 |
| 基于深度神经网络的风力涡轮机齿轮箱故障诊断方法 | 2020-05-11 | 28 |
| 一种书法字体类型与文字内容同步识别方法 | 2020-05-08 | 727 |
| 一种基于知识注意力的细粒度图像分类方法 | 2020-05-08 | 939 |
| 一种基于卷积神经网络的管道缺陷深度的反演方法 | 2020-05-11 | 671 |
| 一种视频业务播放卡顿的识别方法和装置 | 2020-05-08 | 647 |
| 一种基于振动机理与深度学习技术的整周期无键相监测方法 | 2020-05-08 | 954 |
| 一种基于概率分布自适应的实体关系分类方法 | 2020-05-08 | 748 |
| 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法 | 2020-05-11 | 704 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
