首页 / 专利库 / 信号处理 / 信噪比 / 峰值信噪比 / 基于深度学习与传统算法结合的车辆环境识别方法和系统

基于深度学习与传统算法结合的车辆环境识别方法和系统

阅读:996发布:2020-05-11

专利汇可以提供基于深度学习与传统算法结合的车辆环境识别方法和系统专利检索,专利查询,专利分析的服务。并且本 发明 公开的一种基于 深度学习 与传统 算法 结合的车辆环境识别方法,其主要包括点 云 信息和视频信息采集步骤、视频信息 置信度 评估和点云信息置信度评估步骤、算法模 块 选择步骤、点云信息和视频信息整合步骤、目标识别及结果输出步骤。本发明能够有效提高雷达和视频信息处理的 精度 和可靠性,使车辆环境识别的性能得到有效改善。,下面是基于深度学习与传统算法结合的车辆环境识别方法和系统专利的具体信息内容。

1.一种基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,包括以下步骤:
信息和视频信息采集:通过雷达和摄像头分别采集车辆环境的点云信息和视频信息;
视频信息置信度评估:以视频信息中视频图像均方误差、峰值信噪比、偏色值、干扰度、清晰度、明暗度为参数设置视频信息的置信度函数进行量化评估,得到视频信息的置信度;
点云信息置信度评估:以点云信息中点云噪声点数量、点云噪声点最大偏离度、点云噪声点平均偏离度,以及点云空洞数量、点云空洞最大半径、点云空洞平均半径为参数设置点云信息的置信度函数进行量化评估,得到点云信息的置信度;
算法模选择:判断视频信息的置信度大于第一预定阈值或点云信息的置信度大于第二预定值,则将视频信息/点云信息送入传统算法模块进行处理,否则,送入深度学习模块进行处理;
点云信息和视频信息整合:对处理后视频信息和点云信息进行信息融合;
目标识别及结果输出:利用融合后的信息进行目标识别,并输出识别结果。
2.根据权利要求1所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,算法模块选择步骤中,对视频信息的置信度进行如下归一化:
其中,cp是视频信息归一化后的置信度评估值,c1是视频图像均方误差,c2是峰值信噪比,c3是偏色值,c4是干扰度,c5是清晰度,c6是明暗度,wc1,wc2,wc3,wc4,wc5,wc6为权重系数,且wc1+wc2+wc3+wc4+wc5+wc6=1。
3.根据权利要求2所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,算法模块选择步骤中,对点云信息的置信度进行如下归一化:
其中,sp是点云信息归一化后的置信度评估值,s1是点云噪声点数量,s2是点云噪声点最大偏离度,s3是点云噪声点平均偏离度,s4是点云空洞数量,s5是点云空洞最大半径,s6是点云空洞平均半径,ws1,ws2,ws3,ws4,ws5,ws6为权重系数,且ws1+ws2+ws3+ws4+ws5+ws6=1。
4.根据权利要求3所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,算法模块选择步骤中包括:
将送入深度学习模块的视频信息对应的归一化后的置信度评估值,与深度学习算法库中设定的视频信息归一化置信度调度阈值区间作比较,调度相应的深度学习算法作为本次视频信息处理的方法;
将送入深度学习模块的点云信息对应的归一化后的置信度评估值,与深度学习算法库中设定的点云信息归一化置信度调度阈值区间作比较,调度相应的深度学习算法作为本次点云信息处理的方法。
5.根据权利要求4所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,算法模块选择步骤中包括:
将送入传统算法模块的视频信息对应的归一化后的置信度评估值,与传统算法库中设定的视频信息归一化置信度调度阈值区间作比较,调度相应的传统算法作为本次视频信息处理的方法;
将送入传统算法模块的点云信息对应的归一化后的置信度评估值,与传统算法库中设定的点云信息归一化置信度调度阈值区间作比较,调度相应的传统算法作为本次点云信息处理的方法。
6.根据权利要求5所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,所述深度学习算法库中的深度学习算法包括SSD算法、VGG-16算法、Faster-RCNN算法、YOLO算法、Overfeat算法。
7.根据权利要求6所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,所述传统算法库中的传统算法包括固定阈值前景提取算法、自适应阈值前景提取算法、混合高斯背景建模算法、边缘检测算法、点检测算法、特征分类算法。
8.根据权利要求7所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,算法模块选择步骤中调度相应的深度学习算法的依据如下:
0≤T1<0.2时,调度SSD算法;0.2≤T1<0.4时,调度VGG-16算法;0.4≤T1<0.6时,调度Faster-RCNN算法;0.6≤T1<0.8时,调度YOLO算法;0.8≤T1<1时,调度Overfeat算法;T1为送入深度学习模块的视频信息对应的归一化后的置信度评估值cp,或送入深度学习模块的点云信息对应的归一化后的置信度评估值sp。
9.根据权利要求8所述的基于深度学习与传统算法结合的车辆环境识别方法,其特征在于,算法模块选择步骤中调度相应的传统算法的依据如下:
0≤T2<0.2时,调度固定阈值前景提取算法和边缘检测算法;0.2≤T2<0.4时,调度自适应阈值前景提取算法和边缘检测算法;0.4≤T2<0.6时,调度混合高斯背景建模算法和边缘检测算法;0.6≤T2<0.8时,调度混合高斯背景建模算法、角点检测算法和边缘检测算法;
0.8≤T2<1时,调度混合高斯背景建模算法和特征分类算法;T2为送入传统模块的视频信息对应的归一化后的置信度评估值cp,或为送入传统模块的点云信息对应的归一化后的置信度评估值sp。
10.一种基于深度学习与传统算法结合的车辆环境识别系统,其特征在于,包括环境感知模块和环境识别模块;其中,环境感知模块包括摄像头和雷达,分别用于采集车辆环境的点云信息和视频信息;
环境识别模块包括摄像头置信度评估单元、雷达置信度评估单元、算法选择单元、深度学习处理单元、传统算法处理单元、信息融合单元、目标识别及结果输出单元;
摄像头置信度评估单元:以视频信息中视频图像均方误差、峰值信噪比、偏色值、干扰度、清晰度、明暗度为参数设置视频信息的置信度函数进行量化评估,得到视频信息的置信度;
雷达置信度评估单元:以点云信息中点云噪声点数量、点云噪声点最大偏离度、点云噪声点平均偏离度,以及点云空洞数量、点云空洞最大半径、点云空洞平均半径为参数设置点云信息的置信度函数进行量化评估,得到点云信息的置信度;
算法选择单元:判断视频信息的置信度大于第一预定阈值或点云信息的置信度大于第二预定阀值,则将视频信息/点云信息送入传统算法处理单元进行处理,否则,送入深度学习处理单元进行处理;
深度学习处理单元:调度深度学习算法对送入其中的视频信息/点云信息进行处理;
传统算法处理单元:调度传统学习算法对送入其中的视频信息/点云信息进行处理;
信息融合单元:对处理后视频信息和点云信息进行信息融合;
目标识别及结果输出单元:利用融合后的信息进行目标识别,并输出识别结果。

说明书全文

基于深度学习与传统算法结合的车辆环境识别方法和系统

技术领域

[0001] 本发明涉及车辆主动安全领域,尤其涉及一种深度学习与传统算法相结合的车辆环境识别系统和方法。

背景技术

[0002] 车辆环境识别系统通常使用雷达及视频作为主要的感知传感器,进行车道检测、车辆行人目标识别等。其中,雷达的优点是探测目标数据准确度高以及能够获取目标物体速度信息,视频的优点是能够分辨和“看见”目标物体,通过将两者优势互补,可以提高车辆环境识别的精度和可靠性。
[0003] 传统算法中,雷达和视频信息的处理一般通过滤波、分割、特征提取、匹配、目标识别等步骤,实现雷达和视频数据的应用。但是,基于传统算法的数据处理技术的性能会因为车辆行驶环境变化有大幅度的波动,如阴雨天、逆光、积、路旁阴影等天气、照明和路况情况的变化,可能导致诸如:车道线误检、车辆行人误判、可行道路分割错误等情况,导致车辆环境识别的可靠性和可信度降低。
[0004] 近年来,深度学习在目标识别、车道检测、可行道路分割等车辆环境识别领域不断发展,并取得了较高的识别精度和可靠性。但是,深度学习的不足在于计算耗时较长,如果所有点数据和图像数据都采用深度学习技术进行处理,则较难满足实时环境识别的要求。
[0005] 因此,结合深度学习和传统算法处理雷达和视频数据,使其实现有效互补,满足车辆环境识别的精度和实时性需求,对于车辆环境识别的性能有重要的改进作用。从而,如何合并使用深度学习和传统算法处理雷达和视频数据就成为一个重要的技术环节。

发明内容

[0006] 本发明的目的是针对车辆环境识别系统中处理雷达和视频信息的传统算法的不足,公开一种基于深度学习与传统算法结合的车辆环境识别方法和系统,将深度学习技术引入车辆环境识别,对可信度不同的雷达和视频信息采取不同的深度学习或传统算法相结合的处理方式,以提高信息处理的精度和可靠性,使车辆环境识别的性能得到有效改善。
[0007] 本发明公开的一种基于深度学习与传统算法结合的车辆环境识别方法,包括以下步骤:
[0008] 点云信息和视频信息采集:通过雷达和摄像头分别采集车辆环境的点云信息和视频信息;
[0009] 视频信息置信度评估:以视频信息中视频图像均方误差、峰值信噪比、偏色值、干扰度、清晰度、明暗度为参数设置视频信息的置信度函数进行量化评估,得到视频信息的置信度;
[0010] 点云信息置信度评估:以点云信息中点云噪声点数量、点云噪声点最大偏离度、点云噪声点平均偏离度,以及点云空洞数量、点云空洞最大半径、点云空洞平均半径为参数设置点云信息的置信度函数进行量化评估,得到点云信息的置信度;
[0011] 算法模选择:判断视频信息/点云信息的置信度大于第一预定阈值/第二预定值,则将视频信息/点云信息送入传统算法模块进行处理,否则,送入深度学习模块进行处理;
[0012] 点云信息和视频信息整合:对处理后视频信息和点云信息进行信息融合;
[0013] 目标识别及结果输出:利用融合后的信息进行目标识别,并输出识别结果。
[0014] 进一步的,算法模块选择步骤中,对视频信息的置信度进行如下归一化:
[0015]
[0016] 其中,cp是视频信息归一化后的置信度评估值,c1是视频图像均方误差,c2是峰值信噪比,c3是偏色值,c4是干扰度,c5是清晰度,c6是明暗度,wc1,wc2,wc3,wc4,wc5,wc6为权重系数,且wc1+wc2+wc3+wc4+wc5+wc6=1。
[0017] 进一步的,算法模块选择步骤中,对点云信息的置信度进行如下归一化:
[0018]
[0019] 其中,sp是点云信息归一化后的置信度评估值,s1是点云噪声点数量,s2是点云噪声点最大偏离度,s3是点云噪声点平均偏离度,s4是点云空洞数量,s5是点云空洞最大半径,s6是点云空洞平均半径,ws1,ws2,ws3,ws4,ws5,ws6为权重系数,且ws1+ws2+ws3+ws4+ws5+ws6=1。
[0020] 进一步的,算法模块选择步骤中包括:
[0021] 将送入深度学习模块的视频信息对应的归一化后的置信度评估值,与深度学习算法库中设定的视频信息归一化置信度调度阈值区间作比较,调度相应的深度学习算法作为本次视频信息处理的方法;
[0022] 将送入深度学习模块的点云信息对应的归一化后的置信度评估值,与深度学习算法库中设定的点云信息归一化置信度调度阈值区间作比较,调度相应的深度学习算法作为本次点云信息处理的方法。
[0023] 进一步的,算法模块选择步骤中包括:
[0024] 将送入传统算法模块的视频信息对应的归一化后的置信度评估值,与传统算法库中设定的视频信息归一化置信度调度阈值区间作比较,调度相应的传统算法作为本次视频信息处理的方法;
[0025] 将送入传统算法模块的点云信息对应的归一化后的置信度评估值,与传统算法库中设定的点云信息归一化置信度调度阈值区间作比较,调度相应的传统算法作为本次点云信息处理的方法。
[0026] 进一步的,所述深度学习算法库中的深度学习算法包括SSD算法、VGG-16算法、Faster-RCNN算法、YOLO算法、Overfeat算法。
[0027] 进一步的,所述传统算法库中的传统算法包括固定阈值前景提取算法、自适应阈值前景提取算法、混合高斯背景建模算法、边缘检测算法、点检测算法、特征分类算法。
[0028] 进一步的,算法模块选择步骤中调度相应的深度学习算法的依据如下:
[0029] 0≤c<0.2时,调度SSD算法;0.2≤T1<0.4时,调度VGG-16算法;0.4≤T1<0.6时,调度Faster-RCNN算法;0.6≤T1<0.8时,调度YOLO算法;0.8≤T1<1时,调度Overfeat算法;T1为送入深度学习模块的视频信息/点云信息对应的归一化后的置信度评估值cp/sp。
[0030] 进一步的,算法模块选择步骤中调度相应的传统算法的依据如下:
[0031] 0≤T2<0.2时,调度固定阈值前景提取算法和边缘检测算法;0.2≤T2<0.4时,调度自适应阈值前景提取算法和边缘检测算法;0.4≤T2<0.6时,调度混合高斯背景建模算法和边缘检测算法;0.6≤T2<0.8时,调度混合高斯背景建模算法、角点检测算法和边缘检测算法;0.8≤T2<1时,调度混合高斯背景建模算法和特征分类算法;T2为送入传统模块的视频信息/点云信息对应的归一化后的置信度评估值cp/sp。
[0032] 本发明相应公开的一种基于深度学习与传统算法结合的车辆环境识别系统,包括环境感知模块和环境识别模块;其中,环境感知模块包括摄像头和雷达,分别用于采集车辆环境的点云信息和视频信息;
[0033] 环境识别模块包括摄像头置信度评估单元、雷达置信度评估单元、算法选择单元、深度学习处理单元、传统算法处理单元、信息融合单元、目标识别及结果输出单元;
[0034] 摄像头置信度评估单元:以视频信息中视频图像均方误差、峰值信噪比、偏色值、干扰度、清晰度、明暗度为参数设置视频信息的置信度函数进行量化评估,得到视频信息的置信度;
[0035] 雷达置信度评估单元:以点云信息中点云噪声点数量、点云噪声点最大偏离度、点云噪声点平均偏离度,以及点云空洞数量、点云空洞最大半径、点云空洞平均半径为参数设置点云信息的置信度函数进行量化评估,得到点云信息的置信度;
[0036] 算法选择单元:判断视频信息/点云信息的置信度大于第一预定阈值/第二预定阀值,则将视频信息/点云信息送入传统算法处理单元进行处理,否则,送入深度学习处理单元进行处理;
[0037] 深度学习处理单元:调度深度学习算对送入其中的视频信息/点云信息进行处理;
[0038] 传统算法处理单元:调度传统学习算对送入其中的视频信息/点云信息进行处理;
[0039] 信息融合单元:对处理后视频信息和点云信息进行信息融合;
[0040] 目标识别及结果输出单元:利用融合后的信息进行目标识别,并输出识别结果。
[0041] 本发明针对雷达和视频信号的置信度高低,采取不同的深度学习或传统算法,有效提高了雷达和视频信息处理的精度和可靠性,使车辆环境识别的性能得到有效改善。附图说明
[0042] 图1是实施例一公开的基于深度学习与传统算法结合的车辆环境识别方法流程示意图。
[0043] 图2是实施例一中的深度学习算法库及调度阈值示例。
[0044] 图3是实施例一中的传统学习算法库及调度阈值示例。
[0045] 图4是实施例二公开的基于深度学习与传统算法结合的车辆环境识别系统结构示意图。

具体实施方式

[0046] 为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
[0047] 实施例一
[0048] 请参阅图1,本实施例公开的一种基于深度学习与传统算法结合的车辆环境识别方法,包括步骤S101至S105:
[0049] 步骤S101,点云信息和视频信息采集。
[0050] 步骤S101中通过雷达和摄像头分别采集车辆环境的点云信息和视频信息。
[0051] 步骤S102,视频信息置信度评估和点云信息置信度评估。
[0052] 步骤S102中,视频信息置信度评估具体为:以视频信息中视频图像均方误差、峰值信噪比、偏色值、干扰度、清晰度、明暗度为参数设置视频信息的置信度函数进行量化评估,得到视频信息的置信度。
[0053] 步骤S102中,点云信息置信度评估具体为:以点云信息中点云噪声点数量、点云噪声点最大偏离度、点云噪声点平均偏离度,以及点云空洞数量、点云空洞最大半径、点云空洞平均半径为参数设置点云信息的置信度函数进行量化评估,得到点云信息的置信度;
[0054] 步骤S103,算法模块选择。
[0055] 步骤S103中,判断视频信息的置信度大于第一预定阈值,则将视频信息送入传统算法模块进行处理,否则,送入深度学习模块进行处理。类似的,判断点云信息的置信度大于第二预定阀值,则将点云信息送入传统算法模块进行处理,否则,送入深度学习模块进行处理。作为参考,第一预定阈值和第二预定阈值均可以是0.6。
[0056] 步骤S104,点云信息和视频信息整合。
[0057] 步骤S104中即对处理后视频信息和点云信息进行信息融合。
[0058] 步骤S105,目标识别及结果输出。
[0059] 步骤S105中即利用融合后的信息进行目标识别,并输出识别结果。
[0060] 进一步方案中,步骤S103(即算法模块选择步骤)中,对视频信息的置信度进行如下归一化:
[0061]
[0062] 其中,cp是视频信息归一化后的置信度评估值,c1是视频图像均方误差,c2是峰值信噪比,c3是偏色值,c4是干扰度,c5是清晰度,c6是明暗度,wc1,wc2,wc3,wc4,wc5,wc6为权重系数,且wc1+wc2+wc3+wc4+wc5+wc6=1。
[0063] 进一步方案中,步骤S103(即算法模块选择步骤)中,对点云信息的置信度进行如下归一化:
[0064]
[0065] 其中,sp是点云信息归一化后的置信度评估值,s1是点云噪声点数量,s2是点云噪声点最大偏离度,s3是点云噪声点平均偏离度,s4是点云空洞数量,s5是点云空洞最大半径,s6是点云空洞平均半径,ws1,ws2,ws3,ws4,ws5,ws6为权重系数,且ws1+ws2+ws3+ws4+ws5+ws6=1。
[0066] 进一步方案中,本实施例中设置有深度学习算法库和传统算法库。其中,深度学习算法库中的深度学习算法包括SSD算法、VGG-16算法、Faster-RCNN算法、YOLO算法、Overfeat算法;传统算法库中的传统算法包括固定阈值前景提取算法、自适应阈值前景提取算法、混合高斯背景建模算法、边缘检测算法、角点检测算法、特征分类算法。在其他实施例中,深度学习算法和传统算法可根据情况选用其他算法。
[0067] 从而,在进一步方案中,步骤S103(即算法模块选择步骤)中还包括:
[0068] 将送入深度学习模块的视频信息对应的归一化后的置信度评估值,与深度学习算法库中设定的视频信息归一化置信度调度阈值区间作比较,调度相应的深度学习算法作为本次视频信息处理的方法;
[0069] 将送入深度学习模块的点云信息对应的归一化后的置信度评估值,与深度学习算法库中设定的点云信息归一化置信度调度阈值区间作比较,调度相应的深度学习算法作为本次点云信息处理的方法。
[0070] 请参阅图2,调度相应的深度学习算法的依据优选如下:
[0071] 0≤c<0.2时,调度SSD算法;0.2≤T1<0.4时,调度VGG-16算法;0.4≤T1<0.6时,调度Faster-RCNN算法;0.6≤T1<0.8时,调度YOLO算法;0.8≤T1<1时,调度Overfeat算法;T1为送入深度学习模块的视频信息/点云信息对应的归一化后的置信度评估值cp/sp。
[0072] 相应的,在进一步方案中,步骤S103(即算法模块选择步骤)中还包括:
[0073] 将送入传统算法模块的视频信息对应的归一化后的置信度评估值,与传统算法库中设定的视频信息归一化置信度调度阈值区间作比较,调度相应的传统算法作为本次视频信息处理的方法;
[0074] 将送入传统算法模块的点云信息对应的归一化后的置信度评估值,与传统算法库中设定的点云信息归一化置信度调度阈值区间作比较,调度相应的传统算法作为本次点云信息处理的方法。
[0075] 请参阅图3,调度相应的传统算法的依据优选如下:
[0076] 0≤T2<0.2时,调度固定阈值前景提取算法和边缘检测算法;0.2≤T2<0.4时,调度自适应阈值前景提取算法和边缘检测算法;0.4≤T2<0.6时,调度混合高斯背景建模算法和边缘检测算法;0.6≤T2<0.8时,调度混合高斯背景建模算法、角点检测算法和边缘检测算法;0.8≤T2<1时,调度混合高斯背景建模算法和特征分类算法;T2为送入传统模块的视频信息/点云信息对应的归一化后的置信度评估值cp/sp。
[0077] 实施例二
[0078] 请参阅图4,实施例二公开的一种基于深度学习与传统算法结合的车辆环境识别系统,包括环境感知模块100和环境识别模块200;其中,环境感知模块100包括摄像头102和雷达104,分别用于采集车辆环境的点云信息和视频信息。
[0079] 环境识别模块200包括包括摄像头置信度评估单元202、雷达置信度评估单元204、算法选择单元206、深度学习处理单元208、传统算法处理单元210、信息融合单元212、目标识别及结果输出单元214。各单元执行的内容如下:
[0080] 摄像头置信度评估单元202:以视频信息中视频图像均方误差、峰值信噪比、偏色值、干扰度、清晰度、明暗度为参数设置视频信息的置信度函数进行量化评估,得到视频信息的置信度。
[0081] 雷达置信度评估单元204:以点云信息中点云噪声点数量、点云噪声点最大偏离度、点云噪声点平均偏离度,以及点云空洞数量、点云空洞最大半径、点云空洞平均半径为参数设置点云信息的置信度函数进行量化评估,得到点云信息的置信度。
[0082] 算法选择单元206:判断视频信息/点云信息的置信度大于第一预定阈值/第二预定阀值,则将视频信息/点云信息送入传统算法处理单元210进行处理,否则,送入深度学习处理单元208进行处理。
[0083] 深度学习处理单元208:调度深度学习算对送入其中的视频信息/点云信息进行处理。
[0084] 传统算法处理单元210:调度传统学习算对送入其中的视频信息/点云信息进行处理。
[0085] 信息融合单元212:对处理后视频信息和点云信息进行信息融合。
[0086] 目标识别及结果输出单元214:利用融合后的信息进行目标识别,并输出识别结果。
[0087] 实施例二的工作原理请参考实施例一,这里不再赘述。
[0088] 上述实施例一和实施例二针对雷达和视频信号的置信度高低,采取不同的深度学习或传统算法,有效提高了雷达和视频信息处理的精度和可靠性,使车辆环境识别的性能得到有效改善。
[0089] 应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈