技术领域
[0001] 本
发明属于
计算机视觉技术领域和智能驾驶辅助领域，具体涉及一种基于深度学习的道路环境障碍物检测系统及方法。
背景技术
[0002] 随着我国经济的迅速发展，
汽车保有量急速增加，在给人们生活带来便利的同时，也产生了一系列安全问题，其中道路交通事故发生比例的逐年增加是最为严重的问题。据统计，中国汽车保有量占世界汽车总量的8％，道路交通事故占比却高达20％，每年因交通事故造成的经济损失约占国民经济生产总值的2％-3％。其中，交通事故的主要原因是驾驶员的违章行驶行为，但事故起因也不乏车辆自身因素对驾驶员判断的影响，如由于
车身结构、道路因素、行驶状态等特点造成的视觉盲区，虽然车辆上安装有
后视镜及一些补盲视镜，使得驾驶员可以通过这些视镜观察盲区内的路况，但由于视镜受其安装
位置等限制，在一些行驶状态时，仍然存在视觉盲区，另一方面由于驾驶员的驾驶经验或侥幸心理等因素，使得其忽略部分视镜所呈现的信息，从而导致交通事故的发生。因此，有必要采用更加科学的技术手段来辅助驾驶员做出更安全的判断，要实现车辆对道路环境的实时
感知，良好的目标检测是解决问题的技术手段之一。
[0003] 基于
机器学习的目标检测方法主要涉及特征提取与分类器选择两个方面。特征提取用于描述检测目标的外观信息，使用恰当的特征可以得到目标区别于其他类型物体的特有外观信息。目前常用的特征多为人工设计，主要有HOG特征、LBP特征、SIFT特征、Gabor特征、Haar-like特征等。而分类器的作用是判断目标区域与背景区域，并进行分类，同时也可以实现检测目标的类型判断。为得到准确的分类输出结果，在保证训练样本的特征集最具代表性的前提下，还应当输入充足的样本进行训练。分类器的训练过程通常分为离线训练和在线训练两类。目前常用的分类器主要有SVM分类器、Adaboost分类器、KNN分类器、Softmax分类器等。HediHarazllah等人首先介绍了一种利用滑动窗口依次遍历待检测图像，提取HOG和SIFT特征，利用SVM分类器完成候选验证及车辆检测的方法，但滑动窗口遍历图像的计算量较大，会降低检测的时效性。
申请号201710278795.6的
专利《一种基于
机器视觉和机器学习的运动车辆检测
算法》中选用Haar-like边缘特征作为分类器的
特征向量，采用监督型机器学习算法Adaboost离线训练分类器，该方法需要提取大量的Haar-like特征来进行离线训练，以满足分类器的准确判断，计算量大。申请公布号为CN103544487A的专利《基于单目视觉的前车识别方法》中公布了一种通过Canny边缘提取方法提取
前方车辆感兴趣区域，根据车底阴影的几何形状判断出车辆区域，最后将车辆特征
降维送入
支持向量机(SVM)中进行分类，判断是否为车辆区域的方法，该方法基于车辆的先验知识，如车底阴影、车
尾灯、车体
水平(竖边缘、车体
角点信息)及车体对称性等简单的车辆图像特征对车辆感兴趣区域进行确定，但该方法对图像光照情况要求较高，没有很好的鲁棒性，在光照微弱时，车辆灰度与道路灰度接近时则无法适用。申请号201510054968.7的专利《一种基于目标一致性的车载相机快速行人车辆检测方法》通过双目相机获取当前
帧图像，建立道路场景柱状模型，利用Hough变换提取感兴趣区域，再提取
颜色特征与SIFT特征结合的特征向量进行离线训练，训练结果再对左右两幅图像中的行人和车辆进行检测，根据双目一致性特征优化最终的检测结果，该方法虽然对环境适应性好，检测
精度较高，但对
硬件要求高，成本较高，且人工标记特征的方法耗时费
力，占用内存较高，不适用于嵌入式环境。
[0004] 基于机器学习的目标检测方法往往存在着计算量较大，不能满足道路场景下实时检测要求的问题。近年来，伴随着新的智能算法——深度学习理论
基础的突破，传统的人工定义的特征也被
深度神经网络取代。深度学习在目标检测算法上的应用方式大多通过基于图像底层信息的区域生成加上基于
卷积神经网络的类别判断来实现。卷积神经网络即CNN，是深度学习算法的一种，蔡英凤等人基于CNN算法，在生成候选区域阶段采用了基于视觉显著性的方法，并将候选区域输入CNN进行特征提取和候选验证完成车辆检测。CNN在训练模型时不需要人为参与特征的选取过程，可以自动地学习大量数据集中的目标特征。具有良好的容错能力，对几何变换、形变、光照具有一定程度的不变性。这些优点使得CNN在处理环境多变，先验知识不明确等情况下的问题时具有较大优势，但是单纯采用CNN方案无法摆脱运算量大、耗时长的特点。
[0005] 因此，设计一种基于深度学习的障碍物检测方法，在保证目标检测准确率的前提下，能够提高检测的实时性和环境适应性。
发明内容
[0006] 本发明的目的是提供一种基于深度学习的道路环境障碍物检测系统及方法，在保证目标检测准确率的前提下，提高检测的实时性和环境适应性。同时，基于嵌入式的障碍物检测方法及系统，能够降低算法对硬件的要求，从而减少系统搭建的成本。
[0007] 本发明系统的技术方案为一种基于深度学习的道路环境障碍物检测系统，系统包括：车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模
块；
[0008] 所述车前摄像头与所述第一智能处理单元通过
导线连接；所述车尾摄像头与所述第二智能处理单元通过导线连接；所述左后视镜摄像头与所述第三智能处理单元通过导线连接；所述右后视镜摄像头与所述第四智能处理单元通过导线连接；所述第一智能处理单元与所述交换机通过网线连接；所述第二智能处理单元与所述交换机通过网线连接；所述第三智能处理单元与所述交换机通过网线连接；所述第四智能处理单元与所述交换机通过网线连接；所述交换机与所述主控单页通过导线连接；所述主控单页与所述显示屏通过导线连接；所述主控单页与所述蜂鸣器通过导线连接；所述电源模块分别与所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器通过导线依次连接。
[0009] 作为优选，所述车前摄像头安装在
卡车车头标志处，采集车前5*10m2矩形范围内的图像，并将图像传输给所述第一智能处理单元；
[0010] 作为优选，所述车尾摄像头安装在拖车尾部中心处，采集车后4*8m2矩形范围内的图像，并将图像传输给所述第二智能处理单元；
[0011] 作为优选，所述左后视镜摄像头安装在卡车左后视镜下方，采集车身左侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第三智能处理单元；
[0012] 作为优选，所述右后视镜摄像头安装在卡车右后视镜下方，采集车身右侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第四智能处理单元。
[0013] 作为优选，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元对图像进行处理，并完成图像中的障碍物检测，将处理后的图像传递给所述交换机；
[0014] 作为优选，所述交换机将处理后的图像数据高速传递给所述主控单页；
[0015] 作为优选，所述主控单页对传输来的图像进行解码、拼接，同时根据所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中障碍物检测的输出结果，将上述信息整合传输给所述显示屏；
[0016] 作为优选，所述显示屏均匀分屏为四块区域，分别实时显示所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头采集的图像；若所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元检测到障碍物存在，则所述显示屏显示带框的检测目标且所述主控单页控制所述蜂鸣器报警；
[0017] 作为优选，所述电源模块用于给所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器供电。
[0018] 本发明方法的技术方案为一种基于深度学习的道路环境障碍物检测方法，该方法包括下述步骤：
[0019] 步骤1：通过车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头实时采集车辆四周视频序列，获取车辆四周视频序列中的图像，并将图像传输给对应的智能处理单元；
[0020] 步骤2：从车辆四周视频序列中的图像中获取感兴趣区域图像；
[0021] 步骤3：对感兴趣区域图像网格化分块为L个图像，并采用
无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇；
[0022] 步骤4：创建道路障碍物数据集，离线训练YOLO神经网络，并将训练完成的YOLO网络模型在所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中用于分类；
[0023] 步骤5：所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元将分类为非路面簇的图像作为验证集，输入到训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别；
[0024] 作为优选，步骤1中所述车辆四周视频序列中的图像为：
[0025] Pi,j(m,n)(i∈[1,M],j∈[1,4],m∈[1,N],n∈[1,N])
[0026] 其中，所述车辆四周图像P为N行N列的彩色图像，M为采集图像的数量，Pi,j(m,n)为编号为j的摄像头采集第i幅图像中第m行第n列的
像素，i为采集图像的编号，j为采集图像的摄像头编号，j＝1代表采集图像的摄像头为车前摄像头，j＝2代表采集图像的摄像头为车尾摄像头，j＝3代表采集图像的摄像头为左后视镜摄像头，j＝4代表采集图像的摄像头为右后视镜摄像头；
[0027] 作为优选，步骤2中所述感兴趣区域图像为：
[0028] Pi,j′(a,n)(a∈[1,k*N],k∈(0,1),n∈[1,N])
[0029] 其中，感兴趣区域图像Pi,j′(a,n)为k*N行N列的彩色图像，所述k为图像的行裁剪系数，k∈(0,1)；
[0030] 作为优选，步骤3中所述网格化分块为L个图像：
[0031] Pi,j″(c,d)(c∈[1,k1*N],d∈[1,k1*N])
[0032] 其中，所述L个分块图像Pi,j″(c,d)为k1*N行k1*N列的彩色图像，所述k1为图像的分块系数；
[0033] 相应的，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元分别创建L个线程，每个线程处理一个图像块Pi,j″(c,d)，将这些图像块作为训练集In；
[0034] 步骤3中所述采用
无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇为：
[0035] 首先采用无监督学习算法K-Means聚类对训练集In进行训练，聚类后再通过人工标记，标记出路面簇C0和非路面簇C1，得到路面—非路面模型，这样就将复杂的道路场景划分为两类简单的场景；
[0036] 进一步的，采用无监督学习算法K-Means聚类对训练集In进行训练具体为以下步骤：
[0037] 步骤3.1，输入待聚类的训练集In＝{x1,x2,...,xl}和欲聚类的簇数K，其中，所述xl(1≤l≤L)为L个图像块Pi,j″(c,d)各个像素点的像素值集合，从In中随机选择K个像素值集合{μ1,μ2,...,μk}作为初始簇中心，令 Ck为训练集的簇划分集合；
[0038] 步骤3.2，计算样本xl与各个初始簇中心μk(1≤k≤K)的距离：
[0039] dlk＝||xl-μk||2
[0040] 根据距离最近的均值向量确定xl的簇标记：
[0041] λl＝arg mink∈{1,2,...K}dlk
[0042] 将训练样本xl划入相应的簇：
[0043]
[0044] 即计算每个点到初始簇中心的距离，将每个点聚类到离簇中心最近的簇中去；
[0045] 步骤3.3，计算每个簇中所有点的均值：
[0046]
[0047] 如果μk′≠μk，则将当前均值μk更新为μk′；
[0048] 步骤3.4，重复执行步骤3.2、3.3，直到最后一次
迭代产生的结果与前一次迭代相同，则得到最终的簇划分：
[0049] C＝{C1,C2,...,CK}
[0050] 步骤3.5，对聚类输出的簇C进行人工标记，得到路面簇C0和非路面簇C1；
[0051] 作为优选，步骤4中所述离线训练YOLO神经网络为：
[0052] YOLO检测网络包括24个卷积层和2个全连接层；
[0053] 步骤4.1，创建道路障碍物数据集：
[0054] 从ImageNet
数据库上随机筛选出Q张包含道路障碍物的图像，所述道路障碍物为道路场景下的行人或车辆，将上述图像作为训练集Itr，将训练集Itr图片中出现的各个障碍物目标的中心点坐标 (e代表图片中目标的类别)及长、宽 进行人工标记；
[0055] 步骤4.2，网络模型预训练：
[0056] 通过步骤4.1所述训练集Itr对分类网络进行预训练，采用小批量
梯度下降法和冲量更新权重参数，减小损失函数值直至收敛，更新规则如下：
[0057]
[0058] ω(l)(t)＝ω(l)(t)-Mω(l)
[0059] 式中，Mω(l)(t)表示在第t次迭代时，第l层的参数ω(l)的冲量；μ表示冲量系数；α表示学习率；λ表示权重衰减系数；前一次迭代的冲量被用于计算当前迭代的冲量，通过该方法能够避免陷入局部最小值且
加速收敛；
[0060] 结合训练集训练φ轮后，得到预训练参数：冲量系数μ、权重衰减系数λ、迭代次数t、学习率α；
[0061] 作为优选，步骤5中所述输入到步骤4中训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别具体为以下步骤：
[0062] 步骤5.1，候选图像预处理：
[0063] 将步骤3中分类为非路面簇C1的图片作为候选图像输入YOLO网络中，YOLO网络会将输入图片分割成SxS的网格，即得到β个网格
图像序列：
[0064] Cβ(mβ,nβ){mβ∈[1,S],nβ∈[1,S]}
[0065] 其中，Cβ表示第β个S行S列网格图像，(mβ,nβ)表示第β个图像中第m行第n列的像素；
[0066] 分割方法的目的是增强对小目标的检测能力，将网格图片Cβ输入到YOLO神经网络的卷积层进行预测，每个网格预测是否有检测目标的中心落入其内部。若某个网格预测为真，则该网格就负责这个目标的信息预测，该网格再预测出B个检测边界框(bounding box)以及B个检测边界框的
置信度(confidence)；
[0067] 步骤5.2，如步骤5.1所述，每个边界框信息包含5个预测量，分别是x,y,w,h和confidence(置信度)，(x,y)为边界框中心点相对于对应网格的偏移量比例，它们的取值范围为(0，1)；(w,h)为边界框的宽度和高度相对于分割前整张图片尺寸的比例，它们的取值范围为(0，1)；置信度反映预测的边界框是否包含目标以及边界框的准确性，置信度的计算公式为
[0068]
[0069] confidence＝Pr(Object)×IOU
[0070] 式中，area()表示面积，BBgt为训练的参考标准框，BBdt为检测边界框，Pr(Object)为边界框包含物体的概率。若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为预测边界框与物体真实区域的面积交并比，最大IOU值对应的物体即为当前检测边界框负责预测的物体；
[0071] 每个网格还会预测C个条件类别概率，定义为：Pr(Classi|Object)，表示网格在包含一个检测目标的前提下，该目标类别的概率分布。YOLO为每个网格预测一组类别概率，而不考虑框B的数量，则
输出层输出S*S*(5*B+C)维张量；
[0072] 步骤5.3，整合输出层的输出数据，由于每个网格都预测出B个边界框，但是其对应的类别只有一个，因此设置
阈值过滤掉置信度得分低的边界框，最后对保留的边界框进行非极大值抑制处理，去掉重复框，选取目标类别出现概率最高的边界框，并输出其具体坐标(x,y,w,h)及目标类别Class。
[0073] 与
现有技术相比，本发明的有益效果是：
[0074] 提供一种基于嵌入式深度学习技术的道路环境障碍物检测方法及系统，充分考虑了车辆行驶过程中场景的多样性，以及道路环境障碍物种类的多样性，通过构建路面-非路面识别模型，减少复杂的图像预处理过程，能够快速区分图像背景及前景中的检测目标；采用YOLO网络
框架进行障碍物的检测，通过损失函数提高检测的鲁棒性，YOLO网络将整张图片分割成若干网格，然后对每个单独的网格直接预测障碍物所在位置的边界框和物体的概率。因此，YOLO网络具有较快的识别速率和对多目标较高的识别率。同时，基于嵌入式的障碍物检测方法及系统，能够降低算法对硬件的要求，从而减少系统搭建的成本。
附图说明
[0077] 图3：为YOLO检测网络结构图；
[0078] 图4：为YOLO检测示意图。
具体实施方式
[0079] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0080] 如图1所示，为本发明的系统框图，一种基于深度学习的道路环境障碍物检测系统，系统包括车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块；
[0081] 所述车前摄像头与所述第一智能处理单元通过导线连接；所述车尾摄像头与所述第二智能处理单元通过导线连接；所述左后视镜摄像头与所述第三智能处理单元通过导线连接；所述右后视镜摄像头与所述第四智能处理单元通过导线连接；所述第一智能处理单元与所述交换机通过网线连接；所述第二智能处理单元与所述交换机通过网线连接；所述第三智能处理单元与所述交换机通过网线连接；所述第四智能处理单元与所述交换机通过网线连接；所述交换机与所述主控单页通过导线连接；所述主控单页与所述显示屏通过导线连接；所述主控单页与所述蜂鸣器通过导线连接；所述电源模块分别与所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器通过导线依次连接。
[0082] 所述车前摄像头安装在卡车车头标志处，采集车前5*10m2矩形范围内的图像，并将图像传输给所述第一智能处理单元；
[0083] 所述车尾摄像头安装在拖车尾部中心处，采集车后4*8m2矩形范围内的图像，并将图像传输给所述第二智能处理单元；
[0084] 所述左后视镜摄像头安装在卡车左后视镜下方，采集车身左侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第三智能处理单元；
[0085] 所述右后视镜摄像头安装在卡车右后视镜下方，采集车身右侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第四智能处理单元。
[0086] 所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元对图像进行处理，并完成图像中的障碍物检测，将处理后的图像传递给所述交换机；
[0087] 所述交换机将处理后的图像数据高速传递给所述主控单页；
[0088] 所述主控单页对传输来的图像进行解码、拼接，同时根据所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中障碍物检测的输出结果，将上述信息整合传输给所述显示屏；
[0089] 所述显示屏均匀分屏为四块区域，分别实时显示所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头采集的图像；若所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元检测到障碍物存在，则所述显示屏显示带框的检测目标且所述主控单页控制所述蜂鸣器报警；
[0090] 所述电源模块用于给所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器供电。
[0091] 所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头选型一致，型号为WaveShare鱼眼摄像头，其主要参数为80万像素，170°视场角，外形尺寸为32mm*32mm，
接口类型为CSI接口，该款摄像头具有视场大、传输速度快等特点，能够较大程度实时
覆盖卡车
视野盲区；
[0092] 所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、主控单页选型一致，型号为树莓派3B+嵌入式开发板，其主要参数为1.4GHz64位4核ARM Cortex-A53CPU，1GB内存，支持SD卡扩存，支持CSI接口相机，支持千兆以太网，电源输入为5V，功耗0.5～1W，总体尺寸为85mm*56mm*17mm；
[0093] 所述交换机选型为TP-LINK SG1005+，具备5个RJ45端口，每个端口支持10/100/1000Mbps速率自适应、双工模式自协商，外形尺寸为150mm*100mm*28mm；
[0094] 所述显示屏选型为YOELBEAR 7寸
液晶屏，
分辨率为1024*800，工作
电压12V，电源功率为5W，接口选择为AV/HDMI，外形尺寸173mm*113mm*28mm；
[0095] 所述蜂鸣器选型为Risym S8050，工作电压3.3V-5V，I/O口输入高电平时，蜂鸣器鸣响；
[0096] 所述电源模块选型为RYDBATT的12V锂
电池和TELESKY电压转换模组，12V锂电池容量为7800mAh，TELESKY电压转换模组可将6V-12V输入电压转换为3.3V,5V,12V
输出电压。
[0097] 下面结合图1至图4介绍本发明的具体实施方式为一种基于深度学习技术的道路环境障碍物检测方法，具体包括下述步骤：
[0098] 步骤1：通过车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头实时采集车辆四周视频序列，获取车辆四周视频序列中的图像，并将图像传输给对应的智能处理单元；
[0099] 步骤1中所述车辆四周视频序列中的图像为：
[0100] Pi,j(m,n)(i∈[1,M],j∈[1,4],m∈[1,N],n∈[1,N])
[0101] 其中，所述车辆四周图像P为N行N列的彩色图像，M为采集图像的数量，Pi,j(m,n)为编号为j的摄像头采集第i幅图像中第m行第n列的像素，i为采集图像的编号，j为采集图像的摄像头编号，j＝1代表采集图像的摄像头为车前摄像头，j＝2代表采集图像的摄像头为车尾摄像头，j＝3代表采集图像的摄像头为左后视镜摄像头，j＝4代表采集图像的摄像头为右后视镜摄像头；
[0102] 步骤2：从车辆四周视频序列中的图像中获取感兴趣区域图像；
[0103] 步骤2中所述感兴趣区域图像为：
[0104] Pi,j′(a,n)(a∈[1,k*N],k∈(0,1),n∈[1,N])
[0105] 其中，感兴趣区域图像Pi,j′(a,n)为k*N行N列的彩色图像，所述k为图像的行裁剪系数，k∈(0,1)；
[0106] 步骤3：对感兴趣区域图像网格化分块为L个图像，并采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇；
[0107] 步骤3中所述网格化分块为L个图像：
[0108] Pi,j″(c,d)(c∈[1,k1*N],d∈[1,k1*N])
[0109] 其中，所述L个分块图像Pi,j″(c,d)为k1*N行k1*N列的彩色图像，所述k1为图像的分块系数；
[0110] 相应的，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元分别创建L个线程，每个线程处理一个图像块Pi,j″(c,d)，将这些图像块作为训练集In；
[0111] 步骤3中所述采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇为：
[0112] 首先采用无监督学习算法K-Means聚类对训练集In进行训练，聚类后再通过人工标记，标记出路面簇C0和非路面簇C1，得到路面—非路面模型，这样就将复杂的道路场景划分为两类简单的场景；
[0113] 进一步的，采用无监督学习算法K-Means聚类对训练集In进行训练具体为以下步骤：
[0114] 步骤3.1，输入待聚类的训练集In＝{x1,x2,...,xl}和欲聚类的簇数K，其中，所述xl(1≤l≤L)为L个图像块Pi,j″(c,d)各个像素点的像素值集合，从In中随机选择K个像素值集合{μ1,μ2,...,μk}作为初始簇中心，令 Ck为训练集的簇划分集合；
[0115] 步骤3.2，计算样本xl与各个初始簇中心μk(1≤k≤K)的距离：
[0116] dlk＝||xl-μk||2
[0117] 根据距离最近的均值向量确定xl的簇标记：
[0118] λl＝arg mink∈{1,2,...K}dlk
[0119] 将训练样本xl划入相应的簇：
[0120]
[0121] 即计算每个点到初始簇中心的距离，将每个点聚类到离簇中心最近的簇中去；
[0122] 步骤3.3，计算每个簇中所有点的均值：
[0123]
[0124] 如果μk′≠μk，则将当前均值μk更新为μk′；
[0125] 步骤3.4，重复执行步骤3.2、3.3，直到最后一次迭代产生的结果与前一次迭代相同，则得到最终的簇划分：
[0126] C＝{C1,C2,...,CK}
[0127] 步骤3.5，对聚类输出的簇C进行人工标记，得到路面簇C0和非路面簇C1；
[0128] 步骤4：创建道路障碍物数据集，离线训练YOLO神经网络，并将训练完成的YOLO网络模型在所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中用于分类；
[0129] 步骤4中所述离线训练YOLO神经网络为：
[0130] YOLO检测网络包括24个卷积层和2个全连接层，如图3所示；
[0131] 步骤4.1，创建道路障碍物数据集：
[0132] 从ImageNet数据库上随机筛选出Q张包含道路障碍物的图像，所述道路障碍物为道路场景下的行人或车辆，将上述图像作为训练集Itr，将训练集Itr图片中出现的各个障碍物目标的中心点坐标 (e代表图片中目标的类别)及长、宽 进行人工标记；
[0133] 步骤4.2，网络模型预训练：
[0134] 通过步骤4.1所述训练集Itr对分类网络进行预训练，采用小批量梯度下降法和冲量更新权重参数，减小损失函数值直至收敛，更新规则如下：
[0135]
[0136] ω(l)(t)＝ω(l)(t)-Mω(l)
[0137] 式中，Mω(l)(t)表示在第t次迭代时，第l层的参数ω(l)的冲量；μ＝0.9表示冲量系数；α＝0.001表示学习率；λ＝0.0005表示权重衰减系数；前一次迭代的冲量被用于计算当前迭代的冲量，通过该方法能够避免陷入局部最小值且加速收敛；
[0138] 结合训练集训练φ轮后，得到预训练参数：冲量系数μ、权重衰减系数λ、迭代次数t、学习率α；
[0139] 步骤5：所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元将分类为非路面簇的图像作为验证集，输入到训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别；
[0140] 步骤5中所述输入到步骤4中训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别具体为以下步骤：
[0141] 步骤5.1，候选图像预处理：
[0142] 将步骤3中分类为非路面簇C1的图片作为候选图像输入YOLO网络中，YOLO网络会将输入图片分割成SxS的网格，即得到β个网格图像序列：
[0143] Cβ(mβ,nβ){mβ∈[1,S],nβ∈[1,S]}
[0144] 其中，Cβ表示第β个S行S列网格图像，(mβ,nβ)表示第β个图像中第m行第n列的像素，如图4所示。
[0145] 分割方法的目的是增强对小目标的检测能力，将网格图片Cβ输入到YOLO神经网络的卷积层进行预测，每个网格预测是否有检测目标的中心落入其内部。若某个网格预测为真，则该网格就负责这个目标的信息预测，该网格再预测出B个检测边界框(bounding box)以及B个检测边界框的置信度(confidence)；
[0146] 步骤5.2，如步骤5.1所述，每个边界框信息包含5个预测量，分别是x,y,w,h和confidence(置信度)，(x,y)为边界框中心点相对于对应网格的偏移量比例，它们的取值范围为(0，1)；(w,h)为边界框的宽度和高度相对于分割前整张图片尺寸的比例，它们的取值范围为(0，1)；置信度反映预测的边界框是否包含目标以及边界框的准确性，置信度的计算公式为
[0147]
[0148] confidence＝Pr(Object)×IOU
[0149] 式中，area()表示面积，BBgt为训练的参考标准框，BBdt为检测边界框，Pr(Object)为边界框包含物体的概率。若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为预测边界框与物体真实区域的面积交并比，最大IOU值对应的物体即为当前检测边界框负责预测的物体；
[0150] 每个网格还会预测C个条件类别概率，定义为：Pr(Classi|Object)，表示网格在包含一个检测目标的前提下，该目标类别的概率分布。YOLO为每个网格预测一组类别概率，而不考虑框B的数量，则输出层输出S*S*(5*B+C)维张量；
[0151] 步骤5.3，整合输出层的输出数据，由于每个网格都预测出B个边界框，但是其对应的类别只有一个，因此设置阈值过滤掉置信度得分低的边界框，最后对保留的边界框进行非极大值抑制处理，去掉重复框，选取目标类别出现概率最高的边界框，并输出其具体坐标(x,y,w,h)及目标类别Class。
[0152] 尽管本文较多地使用了车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。
[0153] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明
权利要求所保护的范围情况下，还可以做出替换或
变形，均落入本发明的保护范围之内，本发明的
请求保护范围应以所附权利要求为准。
