基于路侧相机的车辆动态称重及多参量检测方法及系统

专利类型 发明公开 法律事件 实质审查; 授权;
专利有效性 有效专利 当前状态 授权
申请号 CN202410830753.9 申请日 2024-06-25
公开(公告)号 CN118857436A 公开(公告)日 2024-10-29
申请人 武汉泰沃滋信息技术有限公司; 申请人类型 企业
发明人 韩金波; 周鹏飞; 袁理; 王闵; 杨晓林; 刘羿; 何天才; 第一发明人 韩金波
权利人 武汉泰沃滋信息技术有限公司 权利人类型 企业
当前权利人 武汉泰沃滋信息技术有限公司 当前权利人类型 企业
省份 当前专利权人所在省份:湖北省 城市 当前专利权人所在城市:湖北省武汉市
具体地址 当前专利权人所在详细地址:湖北省武汉市经济技术开发区车城东路10号创思汇科技大厦11层1106室 邮编 当前专利权人邮编:430000
主IPC国际分类 G01G19/02 所有IPC国际分类 G01G19/02G08G1/017H04N21/2343H04N21/4402G01D21/02G06V20/54G06V10/80G06V10/82G06N3/0464G06V10/764
专利引用数量 5 专利被引用数量 0
专利权利要求数量 10 专利文献类型 A
专利代理机构 武汉红观专利代理事务所 专利代理人 徐萍;
摘要 本 发明 提出了一种基于路侧相机的车辆动态称重及多参量检测方法及系统,属于动态称重领域,包括S1、在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;S2、构建并训练 锁 定车辆稳定特征的交通检测网络;S3、获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络进行车辆特征锁定,得到车辆特征信息;S4、根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量。本 申请 结合车辆动态称重系统获取的参数和交通检测网络提取的车辆特征信息,获得更加全面和精准的车辆参量,实现车辆动态参量的实时监测和分析,提高了车辆状态评估的准确性和可靠性。
权利要求

1.一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,包括以下步骤:
S1、在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
S2、构建并训练定车辆稳定特征的交通检测网络;交通检测网络包括特征提取模、特征融合模块和特征锁定模块,其中特征锁定模块对融合特征进行检测和解析,并进行车辆特征锁定;
S3、获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络进行车辆特征锁定,得到车辆特征信息;
S4、根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量;所述车辆参量包括车型、车轴、车长、颜色特征、车辆重量数据。
2.如权利要求1所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述交通检测网络为:
特征提取模块包括第一卷积层、第一特征池化单元和四个特征提取单元,四个特征提取单元分别为第一特征提取单元、第二特征提取单元、第三特征提取单元和第四特征提取单元,其中四个特征提取单元的结构相同,通道数不同;
特征融合模块包括第二特征池化单元和四个特征融合单元,四个特征融合单元分别为第一特征融合单元、第二特征融合单元、第三特征融合单元和第四特征融合单元;
特征锁定模块包括检测单元、解析单元和锁定单元,对融合特征进行检测并判断是否满足解析要求,若满足解析要求则进行车辆特征锁定。
3.如权利要求2所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述特征提取单元包括五个卷积层和第一聚合层,五个卷积层分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层,其中第二卷积层包括尺寸为3×3、步长为2的卷积核、ReLU激活函数层和批归一化层,第四卷积层和第五卷积层的尺寸不同,第六卷积层和第三卷积层的结构相同。
4.如权利要求3所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述第一特征池化单元包括第七卷积层、2个最大池化层和第二聚合层,其中,第七卷积层的卷积核为1x1,步长为1,2个最大池化层包括第一最大池化层和第二最大池化层,第一最大池化层与第二聚合层之间跳跃连接,第一特征池化单元的池化操作为:
将特征提取单元的特征图输入至第七卷积层进行卷积操作,得到特征图y1;
将特征图y1输入至第一最大池化层进行第一次池化操作,得到特征图y2;
将特征图y2输入至第二最大池化层进行第二次池化操作,得到特征图y3;
将特征图y2和特征图y3输入至第二聚合层进行聚合,得到第一特征池化单元的特征图。
5.如权利要求4所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述第二特征池化单元包括第八卷积层、2个最大池化层和第四聚合层,其中,第八卷积层的卷积核为1x1,步长为1,2个最大池化层包括第三最大池化层和第四最大池化层,第八卷积层和第三聚合层之间跳跃连接,第三最大池化层与第四聚合层之间跳跃连接,第四最大池化层与第三聚合层之间跳跃连接,第二特征池化单元的池化操作为:
将第一特征池化单元的特征图输入至第八卷积层进行卷积操作,得到特征图x1;
将特征图x1输入至第三最大池化层进行第一次池化操作,得到特征图x2;
将特征图x2输入至第四最大池化层进行第二次池化操作,得到特征图x3;
将特征图x1、特征图x2和两个特征图x3输入至第四聚合层进行聚合,得到第二特征池化单元的特征图。
6.如权利要求2所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,训练过程包括:
S21、获取监测道路上路侧相机捕获的车辆行驶动态视频序列,将所述车辆行驶动态视频序列进行抽得到视频图像序列,将视频图像序列依次输入至交通检测网络;
S22、利用特征提取模块对视频图像序列分别进行特征提取,得到五个不同尺度的特征序列{Fi},i=1,2,3,4,5;
S23、利用特征融合模块对五个不同尺度的特征序列{Fi}分别进行特征融合,得到融合特征序列{Pj},j=1,2,3,4;
S24、利用特征锁定模块对融合特征序列{Pj}进行解析和检测,检测单元对融合特征序列{Pj}分别进行车辆特征检测,得到车辆特征序列,若车辆特征序列中的车辆特征满足解析模块的解析要求,则对车辆特征进行锁定,得到车辆特征信息。
7.如权利要求6所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,步骤S22具体包括:
S221、使用第一卷积层对视频图像序列中的任一视频图像进行处理,得到特征图F1;
S222、将特征图F1输入至第一特征提取单元进行第一次特征提取,得到特征图F2;
S223、将特征图F2输入至第二特征提取单元进行第二次特征提取,得到特征图F2’;
S224、将特征图F2’输入至第一特征池化单元进行池化,得到特征图F3;
S225、将特征图F3输入至第三特征提取单元进行第三次特征提取,得到特征图F4;
S226、将特征图F4输入至第四特征提取单元进行第四次特征提取,得到特征图F5;
S227、重复步骤S221‑S226直至视频图像序列中的所有视频图像均进行特征提取,得到五个不同尺度的特征序列{Fi}。
8.如权利要求7所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,步骤S23具体包括:
S231、将特征图序列{F5}中的任一特征图输入至第二特征池化单元进行池化操作,得到P
特征图F;
P
S232、将特征图F4与特征图F输入至第四特征融合单元进行第一次特征融合,得到特征图P1;
S233、将特征图P1与特征图F3输入至第三特征融合单元进行第二次特征融合,得到特征图P2;
S234、将特征图P2与特征图F2输入至第二特征融合单元进行第三次特征融合,得到特征图P3;
S235、将特征图P3与特征图F1输入至第一特征融合单元进行第四次特征融合,得到特征图P4;
S236、重复步骤S231‑S235直至特征图序列{F5}中的所有特征图均进行特征融合,得到融合特征序列{Pj}。
9.如权利要求1所述的一种基于路侧相机的车辆动态称重及多参量检测方法,其特征在于,所述训练还包括:
以LVFL函数作为分类损失函数,以LDFL函数作为回归损失函数,构建交通检测网络的联合损失函数,联合损失函数的计算公式如下:
Loss=α×LVFL+β×LDFL;
其中,α和β表示各损失函数的权重系数;
分类损失函数的计算公式如下:
其中,p表示预测概率,q表示真实类别标签, 是图像前景背景的损失权重,τ是各样本数据的权重;
回归损失函数的计算公式如下:
LDFL(Si,Si+1)=‑((gi+1‑g)log(Si)+(g‑gi)log(Si+1));
其中,Si表示类别的预测概率,g表示真实值,gi和gi+1是真实值g左右两个预测值,i表示边界框的索引。
10.一种基于路侧相机的车辆动态称重及多参量检测系统,其特征在于,采用如权利要求1‑9任一项所述的车辆动态称重及多参量检测方法,包括:
称重参数获取模块,其配置为在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
网络构建训练模块,其配置为构建并训练锁定车辆稳定特征的交通检测网络;
车辆特征获取模块,其配置为获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络锁定车辆特征,得到车辆特征信息;
多参数检测模块,其配置为根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量。

说明书全文

基于路侧相机的车辆动态称重及多参量检测方法及系统

技术领域

[0001] 本发明涉及动态称重技术领域,尤其涉及一种基于路侧相机的车辆动态称重及多参量检测方法及系统。

背景技术

[0002] 随着交通行业的蓬勃发展,交通流量不断攀升,伴随而来的是车辆超载和超限运输问题的日益突出。当车辆超出荷载限制时,会对路面铺装和桥梁结构造成严重伤害,导致这些基础设施的病害发生率显著增加,从而大幅缩短了它们的使用寿命。传统的交通视频监控系统在捕捉车辆的外观特征和运动学信息方面表现出色,能够识别车型尺寸、速度以及进行轨迹跟踪,但它们却无法直接测量车辆的重量,在路侧相机视下,车辆由远及近时局部特征变化剧烈,抓取的稳定特征容易丢失。
[0003] 在现有的FBG阵列的车辆动态称重系统中,无法在复杂交通场景下对于多辆车同时称重,由于车辆识别能不足,无法准确将车辆特征与车重信息进行准确匹配,导致无法全面监测道路交通,降低交通管理效率。
[0004] 因此,寻找一种既能够对多辆车同时进行称重,又能够提高车辆动态称重准确性的方法,是本领域技术人员亟待解决的技术问题。

发明内容

[0005] 有鉴于此,本发明提出了一种基于路侧相机的车辆动态称重及多参量检测方法及系统,其能够结合车辆动态称重系统获取的参数和交通检测网络提取的车辆特征信息,获得更加全面和精准的车辆参量,实现车辆动态参量的实时监测和分析,提高了车辆状态评估的准确性和可靠性。
[0006] 本发明的技术方案是这样实现的:
[0007] 一方面,本发明提供了一种基于路侧相机的车辆动态称重及多参量检测方法,包括以下步骤:
[0008] S1、在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
[0009] S2、构建并训练定车辆稳定特征的交通检测网络;交通检测网络包括特征提取模、特征融合模块和特征锁定模块,其中特征锁定模块对融合特征进行检测和解析,并进行车辆特征锁定;
[0010] S3、获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络进行车辆特征锁定,得到车辆特征信息;
[0011] S4、根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量;所述车辆参量包括车型、车轴、车长、颜色特征、车辆重量数据。
[0012] 在以上技术方案的基础上,优选的,所述交通检测网络为:
[0013] 特征提取模块包括第一卷积层、第一特征池化单元和四个特征提取单元,四个特征提取单元分别为第一特征提取单元、第二特征提取单元、第三特征提取单元和第四特征提取单元,其中四个特征提取单元的结构相同,通道数不同;
[0014] 特征融合模块包括第二特征池化单元和四个特征融合单元,四个特征融合单元分别为第一特征融合单元、第二特征融合单元、第三特征融合单元和第四特征融合单元;
[0015] 特征锁定模块包括检测单元、解析单元和锁定单元,对融合特征进行检测并判断是否满足解析要求,若满足解析要求则进行车辆特征锁定。
[0016] 在以上技术方案的基础上,优选的,所述特征提取单元包括五个卷积层和第一聚合层,五个卷积层分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层,其中第二卷积层包括尺寸为3×3、步长为2的卷积核、ReLU激活函数层和批归一化层,第四卷积层和第五卷积层的尺寸不同,第六卷积层和第三卷积层的结构相同。
[0017] 在以上技术方案的基础上,优选的,所述第一特征池化单元包括第七卷积层、2个最大池化层和第二聚合层,其中,第七卷积层的卷积核为1x1,步长为1,2个最大池化层包括第一最大池化层和第二最大池化层,第一最大池化层与第二聚合层之间跳跃连接,第一特征池化单元的池化操作为:
[0018] 将特征提取单元的特征图输入至第七卷积层进行卷积操作,得到特征图y1;
[0019] 将特征图y1输入至第一最大池化层进行第一次池化操作,得到特征图y2;
[0020] 将特征图y2输入至第二最大池化层进行第二次池化操作,得到特征图y3;
[0021] 将特征图y2和特征图y3输入至第二聚合层进行聚合,得到第一特征池化单元的特征图。
[0022] 在以上技术方案的基础上,优选的,所述第二特征池化单元包括第八卷积层、2个最大池化层和第四聚合层,其中,第八卷积层的卷积核为1x1,步长为1,2个最大池化层包括第三最大池化层和第四最大池化层,第八卷积层和第三聚合层之间跳跃连接,第三最大池化层与第四聚合层之间跳跃连接,第四最大池化层与第三聚合层之间跳跃连接,,第二特征池化单元的池化操作为:
[0023] 将第一特征池化单元的特征图输入至第八卷积层进行卷积操作,得到特征图x1;
[0024] 将特征图x1输入至第三最大池化层进行第一次池化操作,得到特征图x2;
[0025] 将特征图x2输入至第四最大池化层进行第二次池化操作,得到特征图x3;
[0026] 将特征图x1、特征图x2和两个特征图x3输入至第四聚合层进行聚合,得到第二特征池化单元的特征图。
[0027] 更进一步优选的,训练过程包括:
[0028] S21、获取监测道路上路侧相机捕获的车辆行驶动态视频序列,将所述车辆行驶动态视频序列进行抽得到视频图像序列,将视频图像序列依次输入至交通检测网络;
[0029] S22、利用特征提取模块对视频图像序列分别进行特征提取,得到五个不同尺度的特征序列{Fi},i=1,2,3,4,5;
[0030] S23、利用特征融合模块对五个不同尺度的特征序列{Fi}分别进行特征融合,得到融合特征序列{Pj},j=1,2,3,4;
[0031] S24、利用特征锁定模块对融合特征序列{Pj}进行解析和检测,检测单元对融合特征序列{Pj}分别进行车辆特征检测,得到车辆特征序列,若车辆特征序列中的车辆特征满足解析模块的解析要求,则对车辆特征进行锁定,得到车辆特征信息。
[0032] 在以上技术方案的基础上,优选的,步骤S22具体包括:
[0033] S221、使用第一卷积层对视频图像序列中的任一视频图像进行处理,得到特征图F1;
[0034] S222、将特征图F1输入至第一特征提取单元进行第一次特征提取,得到特征图F2;
[0035] S223、将特征图F2输入至第二特征提取单元进行第二次特征提取,得到特征图F2’;
[0036] S224、将特征图F2’输入至第一特征池化单元进行池化,得到特征图F3;
[0037] S225、将特征图F3输入至第三特征提取单元进行第三次特征提取,得到特征图F4;
[0038] S226、将特征图F4输入至第四特征提取单元进行第四次特征提取,得到特征图F5;
[0039] S227、重复步骤S221‑S226直至视频图像序列中的所有视频图像均进行特征提取,得到五个不同尺度的特征序列{Fi}。
[0040] 在以上技术方案的基础上,优选的,步骤S23具体包括:
[0041] S231、将特征图序列{F5}中的任一特征图输入至第二特征池化单元进行池化操P作,得到特征图F;
[0042] S232、将特征图F4与特征图FP输入至第四特征融合单元进行第一次特征融合,得到特征图P1;
[0043] S233、将特征图P1与特征图F3输入至第三特征融合单元进行第二次特征融合,得到特征图P2;
[0044] S234、将特征图P2与特征图F2输入至第二特征融合单元进行第三次特征融合,得到特征图P3;
[0045] S235、将特征图P3与特征图F1输入至第一特征融合单元进行第四次特征融合,得到特征图P4;
[0046] S236、重复步骤S231‑S235直至特征图序列{F5}中的所有特征图均进行特征融合,得到融合特征序列{Pj}。
[0047] 在以上技术方案的基础上,优选的,所述训练还包括:
[0048] 以LVFL函数作为分类损失函数,以LDFL函数作为回归损失函数,构建交通检测网络的联合损失函数,联合损失函数的计算公式如下:
[0049] Loss=α×LVFL+β×LDFL;
[0050] 其中,α和β表示各损失函数的权重系数;
[0051] 分类损失函数的计算公式如下:
[0052]
[0053] 其中,p表示预测概率,q表示真实类别标签, 是图像前景背景的损失权重,τ是各样本数据的权重;
[0054] 回归损失函数的计算公式如下:
[0055] LDFL(Si,Si+1)=‑((gi+1‑g)log(Si)+(g‑gi)log(Si+1));
[0056]
[0057] 其中,Si表示类别的预测概率,g表示真实值,gi和gi+1是真实值g左右两个预测值,i表示边界框的索引。
[0058] 另一方面,本发明提供了一种基于路侧相机的车辆动态称重及多参量检测系统,采用上述所述的车辆动态称重及多参量检测方法,包括:
[0059] 称重参数获取模块,其配置为在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
[0060] 网络构建训练模块,其配置为构建并训练锁定车辆稳定特征的交通检测网络;
[0061] 车辆特征获取模块,其配置为获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络锁定车辆特征,得到车辆特征信息;
[0062] 多参数检测模块,其配置为根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量。
[0063] 本发明的车辆动态称重及多参量检测方法相对于现有技术具有以下有益效果:
[0064] (1)通过将车辆行驶动态画面输入交通检测网络实现实时的车辆特征锁定和参量分析,得到车辆特征信息,结合车辆动态称重系统获取的参数和交通检测网络提取的车辆特征信息,获得更加全面和精准的车辆参量,实现了车辆动态参量的实时监测和分析,提高了车辆状态评估的准确性和可靠性;
[0065] (2)通过使用特征提取模块有效提取车辆图像的多维特征信息,同时4个不同通道的特征提取单元可以捕获车辆不同方面的特征,通过特征融合模块将特征提取模块输出的多维特征信息进行有效融合,利用特征锁定模块对融合后的车辆特征信息进行检测和判断,实现对车辆特征信息的有效锁定。附图说明
[0066] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0067] 图1为本发明的车辆动态称重及多参量检测方法的流程图
[0068] 图2为本发明的车辆动态称重及多参量检测方法的框图
[0069] 图3为本发明的车辆动态称重及多参量检测方法的特征提取单元的框图;
[0070] 图4为本发明的车辆动态称重及多参量检测方法的特征融合单元的框图;
[0071] 图5为本发明的车辆动态称重及多参量检测方法的第一特征池化单元的框图;
[0072] 图6为本发明的车辆动态称重及多参量检测方法的第二特征池化单元的框图。

具体实施方式

[0073] 下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
[0074] 如图1所示,本发明提供了一种基于路侧相机的车辆动态称重及多参量检测方法,包括以下步骤:
[0075] S1、在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数。
[0076] 具体的,步骤S1具体包括:
[0077] 在监测道路上安装FBG传感器
[0078] 通过解调设备读取每个FBG传感器的波长位移,利用相位解调进行动态感测和静态感测,计算得到车辆动态称重参数。
[0079] 可以理解的,当车辆驶过FBG传感器时,车辆轮胎会对FBG传感器施加压力,引起FBG传感器形变,进而导致光栅间距变化,则反射波长随之改变。
[0080] 通过FBG传感器实现无接触式、高精度的车辆称重测量,并通过对反射波长位移进行解调以获取车辆经过时的动态信息,利用相位解调精确测量车辆经过时的动态载荷信息,获取静态载荷数据,通过动态载荷信息和静态载荷数据计算出车辆的动态称重参数,如轴重、总重等。
[0081] S2、构建并训练锁定车辆稳定特征的交通检测网络;交通检测网络包括特征提取模块、特征融合模块和特征锁定模块,其中特征锁定模块对融合特征进行检测和解析,并进行车辆特征锁定。
[0082] 在本申请一实施例中,步骤S2具体包括:
[0083] S21、获取监测道路路侧相机视角下的车辆行驶动态画面,并对车辆行驶动态画面进行抽帧得到视频帧数据集图像;
[0084] S22、对视频帧数据集图像进行标定和数据划分,得到训练集数据、验证集数据和测试集数据,其中数据划分的比例是训练集数据:验证集数据:测试集数据=7:2:1;
[0085] S23、构建交通检测网络,使用训练集数据进行训练、使用验证集数据在训练过程中评估交通检测网络性能并调整超参数,以及使用测试集数据评估训练后的交通检测网络的泛化能力和性能;其中,在训练交通检测网络时根据各损失函数的权重构建联合损失函数,联合损失函数包括空间映射损失、分类损失和回归损失。
[0086] 可以理解的,采用路侧相机记录监测道路上车辆行驶动态画面,并对车辆行驶动态画面进行抽帧处理,作为后续车辆识别、分类以及车轴识别的数据集图片。
[0087] 在本申请一实施例中,按照0.5秒的时间间隔提取视频帧,即每秒可以获取2帧图像,能够捕捉到车辆运动过程中的细微变化,从而得到数据量更多、信息更丰富的数据集图片。
[0088] 在本申请一实施例中,将数据集图片导入Labelme工具,用矩形框标出货车,小车以及车轮(车轴)。每张图片在标注完成后都会生成一个json文件,然后使用Python语言编写程序来实现json文件批量转化为txt文件的功能。使用Python的random库中的shuffle函数将数据集图片和txt文件随机打乱,打乱后的数据集划分为训练集、验证集和测试集,其中训练集2800张,验证集800张,测试集400张,划分的比例为7:2:1。
[0089] 在本申请一实施例中,以LVFL函数作为分类损失函数,以LDFL函数作为回归损失函数,构建交通检测网络的联合损失函数,联合损失函数的计算公式如下:
[0090] Loss=α×LVFL+β×LDFL
[0091] 其中,α和β表示各损失函数的权重系数。
[0092] 进一步的,分类损失函数的计算公式如下:
[0093]
[0094] 其中,p表示预测概率,q表示真实类别标签,对于训练中的正样本,q是生成的预测框和真实框之间的交并比IoU,对于训练中的负样本,所有类别的训练目标q均为0, 是图像前景背景的损失权重,τ是各样本数据的权重。
[0095] 进一步的,回归损失函数的计算公式如下:
[0096] LDFL(Si,Si+1)=‑((gi+1‑g)log(Si)+(g‑gi)log(Si+1))
[0097]
[0098] 其中,Si表示类别的预测概率,g表示真实值,gi和gi+1是真实值g左右两个预测值,即gi
[0099] 通过不断优化网络参数,不断调整超参数对交通检测网络进行调优,使交通检测网络的预测值更加接近真实值,以达到交通检测网络的最佳效果。
[0100] 具体的,在本申请一实施例中,所述交通检测网络为:
[0101] 特征提取模块包括第一卷积层、第一特征池化单元和四个特征提取单元,四个特征提取单元分别为第一特征提取单元、第二特征提取单元、第三特征提取单元和第四特征提取单元,其中四个特征提取单元的结构相同,通道数不同;
[0102] 特征融合模块包括第二特征池化单元和四个特征融合单元,四个特征融合单元分别为第一特征融合单元、第二特征融合单元、第三特征融合单元和第四特征融合单元;
[0103] 特征锁定模块包括检测单元、解析单元和锁定单元,对融合特征进行检测并判断是否满足解析要求,若满足解析要求则进行车辆特征锁定。
[0104] 使用特征提取模块有效提取车辆图像的多维特征信息,同时4个不同通道的特征提取单元可以捕获车辆不同方面的特征,如外观、尺寸、轴数等,通过特征融合模块将特征提取模块输出的多维特征信息进行有效融合,利用特征锁定模块对融合后的车辆特征信息进行检测和判断,实现对车辆特征信息的有效锁定。
[0105] 在本申请一实施例中,第一卷积层包括尺寸为3×3、步长为2的卷积核、SiLU激活函数层和批归一化(BN)层。
[0106] 可以理解的,将初始图像输入至第一卷积层,初始图像大小、高和宽缩小一倍,第一卷积层的输出图像的通道数等于第一卷积层的通道数。
[0107] 在本申请一实施例中,输入图像的尺寸为高640,宽640,通道数为3,即640×640×3,第一卷积层的通道数为C0,则将输入图像经过第一卷积层处理后,输出图像为320×320×C0。
[0108] 在本申请一实施例中,输入图像为640×640×3,第一特征提取单元的通道数为C1,第二特征提取单元的通道数为C2,第三特征提取单元的通道数为C3,第四特征提取单元的通道数为C4,则四个特征提取单元输出的图像依次为160×160×C1,80×80×C2,40×40×C3,20×20×C4。
[0109] 进一步地,如图3所示,所述特征提取单元包括五个卷积层和第一聚合层,五个卷积层分别为第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层,其中第二卷积层包括尺寸为3×3、步长为2的卷积核、ReLU激活函数层和批归一化层,第四卷积层和第五卷积层的尺寸不同,第六卷积层和第三卷积层的结构相同。
[0110] 其中,第三卷积层、第四卷积层、第五卷积层和第六卷积层的结构可以根据实际使用需求进行设置,本申请并不对此做具体设置。
[0111] 通过5个卷积层的多层次卷积结构有效提取车辆图像的多尺度特征信息,并在在5个卷积层之后加入聚合层,对提取的特征信息进行有效聚合,增强特征的代表性,充分捕获车辆图像的丰富特征信息。
[0112] 进一步地,如图4所示,所述特征融合单元包括第三聚合层、上采样层和第三池化单元,其中第三池化单元的结构和池化操作与第一特征池化单元的结构和池化操作相同。
[0113] 具体的,以一具体实施例进行说明:
[0114] 将两个特征图输入至第三聚合层中进行聚合,将第三聚合层的结果输入至上采样层进行上采样处理,并将上采样层的结果输入至第三池化单元进行池化操作,得到融合特征。
[0115] 可以理解的,上采样层对特征图的尺度进行调整,将第三聚合层的特征图的高和宽增加一倍,为后续的特征处理提供合适的输入尺度。
[0116] 进一步地,如图5所示,所述第一特征池化单元包括第七卷积层、2个最大池化层和第二聚合层,其中,第七卷积层的卷积核为1x1,步长为1,2个最大池化层包括第一最大池化层和第二最大池化层,第一最大池化层与第二聚合层之间跳跃连接,第一特征池化单元的池化操作为:
[0117] 将特征提取单元的特征图输入至第七卷积层进行卷积操作,得到特征图y1;
[0118] 将特征图y1输入至第一最大池化层进行第一次池化操作,得到特征图y2;
[0119] 将特征图y2输入至第二最大池化层进行第二次池化操作,得到特征图y3;
[0120] 将特征图y2和特征图y3输入至第二聚合层进行聚合,得到第一特征池化单元的特征图。
[0121] 通过采用2个最大池化层进行连续池化操作,有效降低特征图的尺寸和信息量,并在池化操作前增加了一个1x1卷积层,可以对特征图进行通道数的调整和特征压缩,提高特征表示的质量,将两次池化操作后的特征图y2和y3进行聚合,结合了不同尺度的特征信息,可以获得更加丰富和有代表性的特征表示,实现高效地对输入的特征图进行多尺度特征提取和融合,有效降低特征图的维度和信息冗余,保留重要的车辆特征信息。
[0122] 在本申请一实施例中,第一特征池化单元中最大池化层的池化核大小为k=5,步长为1,填充为2。
[0123] 进一步地,如图6所示,所述第二特征池化单元包括第八卷积层、2个最大池化层和第四聚合层,其中,第八卷积层的卷积核为1x1,步长为1,2个最大池化层包括第三最大池化层和第四最大池化层,第八卷积层和第三聚合层之间跳跃连接,第三最大池化层与第四聚合层之间跳跃连接,第四最大池化层与第三聚合层之间跳跃连接,第二特征池化单元的池化操作为:
[0124] 将第一特征池化单元的特征图输入至第八卷积层进行卷积操作,得到特征图x1;
[0125] 将特征图x1输入至第三最大池化层进行第一次池化操作,得到特征图x2;
[0126] 将特征图x2输入至第四最大池化层进行第二次池化操作,得到特征图x3;
[0127] 将特征图x1、特征图x2和两个特征图x3输入至第四聚合层进行聚合,得到第二特征池化单元的特征图。
[0128] 通过将不同池化层输出的特征图x1、特征图x2和两个特征图x3进行聚合融合,结合了多个尺度的特征信息,进一步增强特征融合模块的能力。
[0129] 在本申请一实施例中,第二特征池化单元中最大池化层的池化核大小为k=5,步长为1,填充为2。
[0130] 在本申请一实施例中,训练过程包括:
[0131] S21、获取监测道路上路侧相机捕获的车辆行驶动态视频序列,将所述车辆行驶动态视频序列进行抽帧得到视频图像序列,将视频图像序列依次输入至交通检测网络;
[0132] S22、利用特征提取模块对视频图像序列分别进行特征提取,得到五个不同尺度的特征序列{Fi},i=1,2,3,4,5;
[0133] S23、利用特征融合模块对五个不同尺度的特征序列{Fi}分别进行特征融合,得到融合特征序列{Pj},j=1,2,3,4;
[0134] S24、利用特征锁定模块对融合特征序列{Pj}进行解析和检测,检测单元对融合特征序列{Pj}分别进行车辆特征检测,得到车辆特征序列,若车辆特征序列中的车辆特征满足解析模块的解析要求,则对车辆特征进行锁定,得到车辆特征信息。
[0135] 通过特征提取模块从视频图像中提取出5个不同尺度的特征,可以捕获到车辆不同层次的特征信息,利用特征融合模块对5个不同尺度的特征进行融合,整合不同尺度特征的优势,增强特征表示的能力,利用特征锁定模块对融合特征进行车辆特征检测和解析,准确锁定车辆的特征信息,提高车辆动态监测的准确性。
[0136] 进一步地,步骤S22具体包括:
[0137] S221、使用第一卷积层对视频图像序列中的任一视频图像进行处理,得到特征图F1;
[0138] S222、将特征图F1输入至第一特征提取单元进行第一次特征提取,得到特征图F2;
[0139] S223、将特征图F2输入至第二特征提取单元进行第二次特征提取,得到特征图F2’;
[0140] S224、将特征图F2’输入至第一特征池化单元进行池化,得到特征图F3;
[0141] S225、将特征图F3输入至第三特征提取单元进行第三次特征提取,得到特征图F4;
[0142] S226、将特征图F4输入至第四特征提取单元进行第四次特征提取,得到特征图F5;
[0143] S227、重复步骤S221‑S226直至视频图像序列中的所有视频图像均进行特征提取,得到五个不同尺度的特征序列{Fi}。
[0144] 通过多次特征提取从视频图像中逐层提取出不同语义层次的特征,利用池化操作缩小特征图的尺寸,提取更高阶的特征,同时降低计算复杂度,再将池化后的特征图进行特征提取,以便更好地捕捉车辆的动态信息和结构特征。
[0145] 进一步的,步骤S23具体包括:
[0146] S231、将特征图序列{F5}中的任一特征图输入至第二特征池化单元进行池化操P作,得到特征图F;
[0147] S232、将特征图F4与特征图FP输入至第四特征融合单元进行第一次特征融合,得到特征图P1;
[0148] S233、将特征图P1与特征图F3输入至第三特征融合单元进行第二次特征融合,得到特征图P2;
[0149] S234、将特征图P2与特征图F2输入至第二特征融合单元进行第三次特征融合,得到特征图P3;
[0150] S235、将特征图P3与特征图F1输入至第一特征融合单元进行第四次特征融合,得到特征图P4;
[0151] S236、重复步骤S231‑S235直至特征图序列{F5}中的所有特征图均进行特征融合,得到融合特征序列{Pj}。
[0152] 通过将不同层次的特征图利用4个特征融合单元进行逐步融合,融合过程从高阶特征到低阶特征,逐步整合不同语义层次的特征信息,充分利用各层次特征的优势,在每个特征融合单元中都将两个输入特征图进行融合,整合它们的通道信息,并通过逐步的特征融合特征图的语义信息逐渐增强,空间分辨率逐步降低,更好地捕捉不同尺度的视觉信息,提高检测和估计的准确性。
[0153] S3、获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络进行车辆特征锁定,得到车辆特征信息。
[0154] 在本申请一实施例中,车辆特征锁定具体包括:
[0155] 利用特征锁定模块的检测单元对融合特征Pj进行检测,得到车辆特征序列R,其中R={r1,r2,……,rn},车辆特征包括但不限于车型、车轴、车长、颜色、车速等;
[0156] 使用解析单元对车辆特征序列R进行解析,根据车辆特征序列R的元素创建具体对应的特征子序列R1,R2,……,Rn;
[0157] 若特征子序列在M帧画面内稳定,则使用锁定单元锁定车辆特征,得到车辆特征信息。
[0158] 具体的,若特征子序列R1在M帧画面内稳定时,锁定车型特征;
[0159] 若如果车型特征锁定为小车,车轴特征子序列R2在M1帧画面内稳定时,锁定车轴特征;如果车型特征锁定为客车,车轴特征子序列R2在M2帧画面内稳定时,锁定车轴特征;如果车型特征锁定为货车,车轴特征子序列R2在M3帧画面内稳定时,锁定车轴特征;
[0160] 如果车型特征锁定为小车,车长特征子序列R3在M4帧画面内稳定时,锁定车长特征;如果车型特征锁定为客车,车长特征子序列R3在M5帧画面内稳定时,锁定车长特征;如果车型特征锁定为货车,车长特征子序列R3在M6帧画面内稳定时,锁定车长特征;
[0161] 如果车型特征锁定为小车,颜色特征子序列R4在M7帧画面内稳定时,锁定颜色特征;如果车型特征锁定为客车,颜色特征子序列R4在M8帧画面内稳定时,锁定颜色特征;如果车型特征锁定为货车,颜色特征子序列R4在M9帧画面内稳定时,锁定颜色特征,其中,M、M1~M9为自然数。
[0162] S4、根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量;所述车辆参量包括车型、车轴、车长、颜色特征、车辆重量数据。
[0163] 具体的,将车辆动态称重参数根据时间形成序列Q,Q={Q1,Q2,……,Qm},其中Q1,Q2,……,Qm表示不同车的动态称重参数随时间的记录,根据时间将车辆特征信息与车辆动态称重参数进行融合,得到车辆参量。
[0164] 本申请获取路侧相机实时捕获的车辆行驶动态画面,将车辆行驶动态画面输入交通检测网络实现实时的车辆特征锁定和参量分析,得到车辆特征信息,结合车辆动态称重系统获取的参数和交通检测网络提取的车辆特征信息,获得更加全面和精准的车辆参量,实现了车辆动态参量的实时监测和分析,提高了车辆状态评估的准确性和可靠性。
[0165] 本发明提供了一种基于路侧相机的车辆动态称重及多参量检测系统,采用上述所述的车辆动态称重及多参量检测方法,包括:
[0166] 称重参数获取模块,其配置为在监测道路安装车辆动态称重系统,根据车辆动态称重系统获取车辆动态称重参数;
[0167] 网络构建训练模块,其配置为构建并训练锁定车辆稳定特征的交通检测网络;
[0168] 车辆特征获取模块,其配置为获取监测道路上路侧相机捕获的车辆行驶实时动态画面,将车辆行驶实时动态画面输入至交通检测网络锁定车辆特征,得到车辆特征信息;
[0169] 多参数检测模块,其配置为根据车辆特征信息与车辆动态称重参数进行融合,得到车辆参量。
[0170] 以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
QQ群二维码
意见反馈