基于多尺度注意力卷积神经网络的驾驶员行为识别方法
专利汇可以提供基于多尺度注意力卷积神经网络的驾驶员行为识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于多尺度注意 力 卷积神经网络 的驾驶员行为识别方法，包括如下步骤：(1)拍摄驾驶员行为识别的图像数据集；(2)对拍摄得到的驾驶员行为数据集做数据增强并将增强得到的样本同时纳入 训练数据 中；(3)构建神经网络模型，包括三个模 块 ，分别为：多尺度卷积模块、注意力模块和分类模块；(4)训练多尺度注意力卷积神经网络；使用Pytorch开源工具搭建网络模型，使用随机梯度下降方法优化网络参数；(5)对多列卷积神经网络进行测试。本发明将多尺度模型和注意力机制引入到驾驶员行为识别任务中用于提取具有区分度的行为细粒度特征表示，可进一步提高驾驶员行为识别准确率。，下面是基于多尺度注意力卷积神经网络的驾驶员行为识别方法专利的具体信息内容。
1.一种基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，包括如下步骤：
(1)拍摄驾驶员行为识别的图像数据集；
(2)对拍摄得到的驾驶员行为数据集做数据增强并将增强得到的样本同时纳入训练数据中；
(3)构建神经网络模型，包括三个模块，分别为：多尺度卷积模块、注意力模块和分类模块；
(4)训练多尺度注意力卷积神经网络；使用Pytorch开源工具搭建网络模型，使用随机梯度下降方法优化网络参数；
(5)对多列卷积神经网络进行测试。
2.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(1)中，驾驶员行为涵盖6种不同的驾驶行为，包括C0：安全驾驶；C1:脱离方向盘驾驶；C2：打电话驾驶；C3:低头看手机；C4：抽烟驾驶；C5：与乘客交谈。
3.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(2)中，对拍摄得到的驾驶员行为数据集做数据增强并将增强得到的样本同时纳入训练数据中具体包括如下步骤：
(21)采用随机裁剪的数据增强方法，将输入的图像归一化为256×256，随机选取224×
224的图像块作为训练样本；
(22)采用基于图像内容变换的数据增强方法，包含小角度旋转、镜像、加噪和高斯平滑；
(23)若训练集中包含K个训练样本，则记为X＝{χ1,χ2,...χN}，而对于训练集中的第n个样本表示为χk＝{Ik,lk}，其中Ik表示第k个三通到图像，尺寸为为224×224×3，lk表示其对应的类别标签。
4.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(3)中，多尺度卷积模块以原始图像为输入，采用不同尺度的卷积核对图像进行逐层滤波，最大值选择单元作为每个多尺度卷积块的激励函数，以自适应的融合逐层的多尺度信息已初步提取行为特征；注意力模块对行为特征进行细化，该模块通过学习像素级权重矩阵和通道级权重矩阵获取行为特征的像素级显著性和通道级显著性，并使用软注意的策略对行为特征进行细化；分类模块通过全连接层和softmax层对驾驶员行为进行分类。
5.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(3)中，构建神经网络模型具体包括如下步骤：
(31)设计的网络框架以224×224×3的原始图像作为输入，第一层为基础卷积层，用64个7×7×3的卷积核对原始图像进行滤波，最大值池化层将输入降维成56×56×64的特征图，其具体表示如下：
xbc＝σ(I*W+b) (1)
Fbc＝down(xbc) (2)
其中*表示卷积操作，θbc＝{W,b}表示基础卷积层权值和阈值参数，σ(·)表示ReLU激励函数，down(·)表示最大值池化操作，Fbc表示基础卷积层的输出特征图；
剩余的卷积层由8个多尺度卷积块堆叠而成，多尺度卷积块由4种不同尺度(1×1，3×
3，5×5，7×7)的滤波核并行组合而成，每个多尺度卷积块通过最大值选择单元实现自适应的多尺度信息融合，使用残差学习方法抑制梯度爆炸和梯度弥散现象；
第l个多尺度卷积块对上一个块输出的特征图进行卷积，表示为：
x(l)＝F(l-1)*W(l)+b(l),l＝{1,2,...,8} (3)
其中 表示第l个多尺度卷积块的权值和阈值参数，F(l-1)表示上一次多
尺度卷积块的输出，x(l)表示第l个块的多尺度卷积特征图，第一个多尺度卷积块的输入为基础卷积的输出特征图；
对于给定的批样本，第l个块的卷积图输出记为 批数据的期望和方差
记为：
其中K表示批样本的数量， 表示第k个样本第l个块上的多尺度卷积输出，E(·)和Var(·)分别表示批样本的期望和方差；
批规范化后的特征表示为：
其中ε取近似于0的正常数以提高特征规范化的泛化能力，α和β表示尺度和偏移变换参数， 表示规范化后的特征；
最大值选择单元用来自适应的融合多尺度卷积特征图，第l个块的规范化特征值表示为 其中(c,i,j)表示规范化特征的通道和坐标，scale记录了对应的卷积核尺寸(1×1，3×3，5×5，7×7)，最大值选择单元的输出表示为：
其中最大值选择单元的输出y(l)在(c,i,j)的值为不同尺度特征图在(c,i,j)位置上的最大值；
多尺度卷积块的输出表示为：
F(l)＝σ(F(l-1)+y(l)) (8)
其中F(l-1)和F(l)分别表示上一个块的输出和第l个块的输出，σ(·)表示ReLU激励函数；
通过8个多尺度卷积块，多尺度卷积模块的输出记为F(8)，特征图的尺寸为7×7×512；
(8)
(32)注意力模块以最后一个多尺度卷积块的特征图F 作为输入，注意力机制引导网络关注到显著性表征以实现特征细化；
像素级注意机制和通道级注意机制在模型中被使用，其中像素注意力层以卷积特征图作为输入，通过学习一个像素权重矩阵权衡特征图中每一个像素点的重要性，表示为：
αp＝tanh(WpaU+bpa) (9)
其中 为输入特征图的二维矩阵化形式，θpa＝{Wpa,bpa}表示权重和阈值参数，tanh(·)表示双曲正切函数， 表示计算得到的像素级权重矩阵，该矩阵用来反映每个像素点对于行为识别的重要程度；
最终输出的像素注意力特征图即输入的卷积特征图和像素级权重的矩阵相乘，具体表示为：
其中 表示矩阵乘法，PA(·|)表示一个从输入特征图到输出注意力特征图的映射，最后输出的像素注意力特征图即为
通道注意力层以卷积特征图作为输入，通过学习一个通道权重矩阵学习特征图中每一个通道对行为分类的贡献值，表示为：
αc＝tanh(WcaV+bca) (12)
其中 为输入特征图的二维矩阵化形式，θca＝{Wca,bca}表示权重和阈值参数，tanh(·)表示双曲正切函数， 表示计算得到的通道级权重矩阵，该矩阵用来反映特征图每个通道对于行为识别的重要程度；
最终输出的通道注意力特征图即输入的卷积特征图和通道级权重的矩阵相乘，具体表示为：
其中 表示矩阵乘法，CA(·|)表示一个从输入特征图到输出注意力特征图的映射，最后输出的通道注意力特征图即为
使用并行连接的方式对卷积特征图进行像素注意和通道注意，最后输出的注意力特征图即为二者的相加融合，表示为：
Fatt＝PA(F(8))+CA(F(8)) (15)
其中F(8)表示输入的最后一个多尺度卷积块的特征图，PA(·)和CA(·)分别表示像素和通道注意，Fatt表示最后输出的注意力特征图；
(33)分别模块由一个全连接层和一个softmax层组合而成，该模块以注意力特征图Fatt作为输入，最后的输出为不同驾驶行为类别的概率；
全连接层将尺寸为7×7×512注意力特征图降维成1000维特征向量，具体表示为：
f＝WfcFatt+bfc (16)
其中θfc＝{Wbc,bbc}表示全连接层的权值和阈值参数，f表示输出的1000维特征向量；
在softmax层中，输出单元个数与行为类别个数相同，其输出值为softmax分类器计算得到的不同类别的概率，具体表示为：
其中P(j)表示特征f属于第j类的后验概率，θcls＝{Wcls,bcls}的权值和阈值参数，score＝{s1,s2,...,sn}表示softmax层输出的不同行为类别的概率分布。
6.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(4)中，训练多尺度注意力卷积神经网络；使用Pytorch开源工具搭建网络模型，使用随机梯度下降方法优化网络参数，使用交叉损失熵函数衡量真实标签和预测结果之间的距离，具体表示为：
其中l表示类别真实值标签，P(j)即softmax层的输出，表示属于第j类别的后验概率；
对于批数据，整个网络的参数通过softmax损失作为监督进行优化，其具体表示为：
其中||θ||表示损失函数的正则化项，用来减轻网络训练过程中可能出现的过拟合。
7.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(5)中，对多列卷积神经网络进行测试具体为：给定一张驾驶员识别图像，将测试图像归一化为224×224的尺寸作为多列融合卷积神经网络的输入，通过多列融合网络的前向传播获得测试图像的行为识别结果。
基于多尺度注意力卷积神经网络的驾驶员行为识别方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种引入对抗训练的基于内容的实例检索方法 | 2021-01-08 | 2 |
| 一种基于人工智能的消化内镜检查质量自动评估方法和系统 | 2021-04-02 | 2 |
| 一种面向嵌入式应用的深度对抗网络优化方法 | 2022-12-14 | 1 |
| 一种基于改进卷积神经网络的焊缝缺陷识别方法 | 2022-09-21 | 1 |
| 卷积神经网络压缩方法及人脸检测方法 | 2022-10-24 | 0 |
| 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 | 2020-09-04 | 0 |
| 一种实现神经网络模型的装置及方法 | 2023-06-24 | 0 |
| 神经网络分类 | 2020-09-03 | 1 |
| 一种无切分的脱机手写汉字文本识别方法 | 2023-07-25 | 0 |
| 关键点检测、图像处理方法、装置、电子设备及存储介质 | 2020-05-27 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
