技术领域
[0001] 本
发明涉及交通标志的识别方法，特别是一种基于分块识别的道路警告标志检测与识别方法。
背景技术
[0002] 道路上的交通标志是一种有着显著色彩和形状特征的公共标志，用于管理交通、指示行车方向以及保证道路畅通与行车安全的设施。交通标志是交通信息的重要载体，可以给车辆、行人准确的交通引导，因此及时准确地识别交通标志信息对于交通安全至关重要。我国的道路交通标志可分为禁令标志、警告标志和指示标志三类，其中禁令标志40种，白底红框，多为圆形；警告标志45种，黄底黑框，多为三
角形；指示标志29种，蓝底白框，多为圆形。因此，通过对
颜色和形状特征的检测，很容易将三种标志予以划分。
[0003] 道路交通标志的识别过程可归纳为交通标志检测和分类识别等两步。
[0004] 交通标志的检测
算法多种多样，主要分为以下四种：基于颜色特征的检测、基于形状特征的检测、基于模板匹配的检测以及基于颜色几何融合特征的检测等，基于颜色特征的检测方法处理速度最快，因此应用最为广泛。在基于颜色特征的检测方法中，首先对图像进行色彩空间的分割，然后将分割得到的二值图像矢量化，最后筛选出交通标志所在的区域。在色彩空间的选择中，最常见的是RGB彩色空间和HIS彩色空间。前者在交通标志的检测过程中不需要进行色彩空间变换，实时性好，但缺点是不能很好地模拟人类对颜色的视觉
感知，且易受到光照的影响。后者需要先将RGB图像经过色彩空间变换转化到HIS(Hue:
色调，Intensity:
亮度，Saturation:
饱和度)颜色模型下，然后进行颜色分割。HIS颜色模型对颜色的描述更符合人类对颜色的视觉理解，且三个分量各不相关，因此更有利于
图像处理，同时也能很好的削弱光照对交通标志成像的影响。但由于从RGB到HIS色彩空间的变换属于非线性变换，涉及到反三角计算，耗时较长，阻碍了交通标志的实时检测。另外，在RGB空间的
信号发生微小的变化时，转换到HIS空间时色调信号也会有较大的变化，即呈现出不稳定的性质。
[0005] 交通标志的分类识别是交通标志识别问题的最终目标。目前，已有较多的交通标志分类算法，大致可分为统计分类算法、神经网络分类算法、句法分类和集成分类方法等。在分类的过程中，所采用的特征多为颜色或形状不变矩等，总体来说现阶段的交通标志识别方法存在识别准确率不高、运行时间长、不能满足车载实时性的需求等缺点。
发明内容
[0006] 为了解决上述技术问题，本发明提供了一种基于分块识别的道路警告标志检测与识别方法。
[0007] 本发明所采用的技术方案是：一种基于分块识别的道路警告标志检测与识别方法，其特征在于，包括以下步骤：
[0008] 1.一种基于分块识别的道路警告标志检测与识别方法，其特征在于，包括以下步骤：
[0009] 步骤1：获取车载视频数据，将其拆解成按时间先后顺序排列的影像，调取出对应曝光时刻车辆的GPS、IMU数据以获取车辆的车速和
姿态；
[0010] 步骤2：将车载视频分解为
帧图像，并对各帧进行预处理；所述预处理包括滤波、去雾、去霾、色彩平衡；
[0011] 步骤3：将步骤2中处理后的帧图像由RGB色彩空间转换到HSV色彩空间，以得到与人眼视觉系统最为符合的颜色空间；
[0012] 步骤4：采用优化后的HSV
阈值分割方法对步骤3中转换的HSV空间的帧图像进行颜色分割，并对分割结果进行二值化处理，得到二值图像；
[0013] 步骤5：对二值图像进行形态学开运算和闭运算以去除孤立点，并通过边缘提取算法获取连通区域的轮廓信息，在此
基础上根据轮廓的几何参数判定连通区域的形状，从而检测出图像中的三角形区域，获取三角形标志大致所在的区域即粗糙感兴趣区域Rough_ROI；
[0014] 步骤6：根据三角形的几何特征对粗糙感兴趣区域Rough_ROI进行交通标志的轮廓拟合，并对其进行尺度归一化和几何纠正处理，得到精确感兴趣区域Exact_ROI；
[0015] 步骤7：提取精确感兴趣区域Exact_ROI的分块特征；
[0016] 步骤8：提取精确感兴趣区域Exact_ROI的HOG特征；
[0017] 步骤9：结合分块特征和HOG特征，以标志库为样本，采用SVM方法对检测出的标志进行分类识别。
[0018] 作为优选，步骤4中所述采用优化后的HSV阈值分割方法对步骤3中转换的帧图像基于HSV颜色空间做颜色分割，其具体实现过程包括以下子步骤：
[0019] 步骤4.1：针对由
RGB颜色空间向HSV颜色空间转换后的帧图像，计算帧图像中每个
像素的黄色程度，得到表征黄色程度的灰度图像；
[0020] 步骤4.2：对于黄色程度的灰度图像，用正方形窗口对其进行均值滤波，去除噪声；
[0021] 步骤4.3：采用OTSU自动阈值法提取出黄色程度灰度图像的黄色位图，采用正方形窗口对其进行均值滤波，得到每个正方形窗口内黄色点个数所占总像素的比例；
[0022] 步骤4.4：设定双阈值，得到优化后的图像黄色位图。
[0023] 作为优选，步骤6的具体实现包括以下子步骤：
[0024] 步骤6.1：对步骤5中提取出的粗糙感兴趣区域Rough_ROI，按逆
时针方向将粗糙感兴趣区域Rough_ROI的轮廓转点进行编号，记为P1、P2、P3、…、Pn，n≥3，并将拟合出的轮廓线段分别记作L1、L2、L3、…、Ln；
[0025] 步骤6.2：取L1、L2、L3、…、Ln序列中长度排前三的线段作为待拟合三角形标志的三边，将三条边根据角度关系、相对
位置关系确定三边关系，分别记为L左、L右和L底；
[0026] 步骤6.3：分别在L左、L右和L底所在直线方向，同时对三条线段进行延长，最终得到两两相交的三边；记L左、L右的延长线交于P顶；L右、L底延长线相交于点P右；L左、L底延长交于P左；
[0027] 步骤6.4：P左、P顶、P右即检测出的三角形的三个
顶点，两两连接P左、P顶、P右三点，所组成的三角形区域即为分割出的交通标志精确感兴趣区域Exact_ROI；
[0028] 步骤6.5：采用双线性差值算法将所有精确感兴趣区域Exact_ROI尺寸归一化到40*40像素；
[0029] 步骤6.6：采用仿射变换对精确感兴趣区域Exact_ROI进行几何纠正，使其于标志库中的正三角形状相同。
[0030] 作为优选，步骤7的具体实现包括以下子步骤：
[0031] 步骤7.1：将三角形分为14块，相互不重叠且互为领域分开，每个块大小为10×10像素，第1号块左上起点坐标为(30，35)，依次划分为14小块，第14号小块在所有分块的最右下方，14块小块全部位图三角形黑色外框内部；
[0032] 步骤7.2：利用OTSU二值化方法，对灰度影像进行处理，得到二值
内核图案；
[0033] 步骤7.3：以每一小块内提取的内核二值图案所有前景色像素的总数占分块窗口大小的比值作为特征值，其中前景色像素值为1，背景为0，窗口面积大小为10×10；并将这14个小块的特征值合并成一个向量，由此得到每个交通标志精确感兴趣区域Exact_ROI的1×14维
特征向量，作为其分块特征。
[0034] 作为优选，步骤8的具体过程为：将角度空间平均划分为8个通道，并以每个像素在8个方向的梯度幅度为权值，采用三线性差值方法对各个通道进行加权投票。
[0035] 作为优选，步骤9的具体实现包括以下子步骤：
[0036] 步骤9.1：采用HOG特征对图像粗分类，得到标志大类；
[0037] 步骤9.2：根据具体大类，利用HOG融合分块特征，采用SVM对标志进行精分类。
[0038] 相对于
现有技术，本发明的有益效果是：
[0039] 1)提出了基于暗通道假设法的图像复原技术，能明显提高雾霾天气下交通标志的饱和度，提高检测效果。
[0040] 2)对HSV空间下的
门限法分割进行了优化，能更清晰地分割出交通标志。
[0041] 3)针对分割标志不完整的问题，提出了精确拟合分割图斑轮廓的方法，能对存在遮挡、分割不全情况下的交通标志进行完整提取。
[0042] 4)融合HOG特征和分块特征，并构建适用于SVM的由粗到精的分层分类
框架，大大地提高了标志分类的
精度。
附图说明
[0044] 图2为本发明实施例的传统门限值阈值分割方法与优化后阈值分割方法的效果对比图，其中第一列为彩色原影像，第二列为传统分割结果，第三列为优化分割结果；
[0045] 图3为本发明实施例的分块特征提取方法中分块示意图；
[0046] 图4为本发明实施例的45种参考警告标志的分块特征之间的互相关系数图，图中的相关系数值由0到1，值越大表示相关程度越来大，反之则越不相关；
[0047] 图5为本发明实施例的交通标志分层分类算法流程图。
具体实施方式
[0048] 为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0049] 请见图1，本发明提供的一种基于分块识别的道路警告标志检测与识别方法，包括以下步骤：
[0050] 步骤1：获取车载视频，将其拆解成按时间先后顺序排列的影像，调取出对应曝光时刻车辆的GPS、IMU数据；
[0051] 步骤2：将车载视频
采样以及预处理，预处理的具体方式如下：
[0052] 首先，在Visual Studio 2010平台下，利用GDAL、OpenCV等支持库，通过卷积运算等操作完成视频数据的滤波。
[0053] 其次，由于阴雨雾霾等不良天气状况会对车载视频成像过程产生影响，导致交通标志模糊，因此需要对视频图像进行去雾处理以增强图像信息，此处采用暗通道假设算法进行去雾增强处理。所谓暗通道假设算法，是指在晴朗无雾霾的自然场景下的图像，在大部分非天空的局部范围内，某一些像素会有至少一个颜色通道具有很低的值，即该区域光强度的最小值是一个很小的值，对于任何这样的图像J，可以式(1)表达图像暗通道。
[0054]
[0055] 其中Ω(x)是以x为中心的邻域，通常定义为以x为中心的一个窗口，Jdark(x)称为图像的暗通道，c表示RGB空间中的每种颜色，JC为彩色图像的各个通道。
[0056] 步骤3：对步骤2中处理后的帧图像进行RGB色彩空间到HSV色彩空间变换，以得到与人眼视觉系统最为符合的颜色空间；
[0057] HSV(Hue-Saturation-Value，
色度-饱和度-亮度)颜色空间是由A.R.Smith在1978年所创建，也可称为六角椎
体模型。色度(H)是色彩的属性值，取值范围为0°-360°，其中0°为红色，240°为蓝色，每一种颜色和它的补色相差180°。饱和度(S)为颜色的纯度，S越大颜色越纯，S越小颜色越淡，逐渐近似晦涩，取值范围为0.0-1.0，在模型中坐标为由圆心向圆周过度。明度(V)为色彩的亮度值，取值范围为0-255，其中0为黑色，255为白色。由RGB空间向HSV空间转换的如式(2)。
[0058]
[0059]
[0060] V＝max(R,G,B)
[0061] 其中，max＝max(R,G,B),min＝min(R,G,B)
[0062] 步骤4：采用优化后的HSV阈值分割方法对步骤3中转换得到的HSV空间的帧图像做颜色分割，并对分割结果进行二值化处理，得到二值帧图像；
[0063] 由于HSV色彩空间中三个分量两两相互独立，即色调H不受亮度值的影响，但常规的HSV色彩空间分割方法容易产生许多“假”的黄色像素，本发明对传统的HSV色彩空间分割方法作出了优化，具体思想为三角形警告交通标志内核的黄色即使在这种摄像头偏色、逆光拍摄、环境光偏暗或顺光拍摄等极端下，其颜色值仍然比周围环境显得更加偏黄，优化分割步骤如下：
[0064] 1)针对由RGB颜色空间向HSV颜色空间转换后的HSV空间的帧图像，计算HSV空间的帧图像中每个像素的黄色程度，得到表征黄色程度的灰度图像fR(c)，计算公式如式(3)。
[0065]
[0066] 其中，c表示每种颜色；
[0067] 2)对于黄色程度的灰度图像fR(c)，用半径为r1的正方形窗口进行均值滤波，去除不必要的噪声，得到图像f‘R (c)。
[0068] 3)对于经过OTSU自动阈值法提取出黄色位图R(x)，并用半径为r2的正方形窗口进行均值滤波，得到图像 其意义可理解为每个r2大小窗口内黄色点个数占r2*r2的比例。
[0069] 4)计算优化后的图像黄色位图 计算规则如式(4)。
[0070]
[0071] 图2为传统门限值阈值分割方法与优化后阈值分割方法的效果对比，其中第一列为彩色原影像，第二列为传统分割结果，第三列为优化分割结果。
[0072] 步骤5：对二值图像进行形态学开运算和闭运算以去除孤立点，并通过边缘提取算法获取连通区域的轮廓信息，在此基础上根据轮廓的几何参数判定连通区域的形状，从而检测出图像中的三角形区域，获取三角形标志大致所在的区域即粗略的感兴趣区域Rough_ROI；
[0073] 形状特征包括：轮廓面积S轮、轮廓周长C轮、轮廓最小外接圆面积S圆、轮廓最小外接圆周长C圆、轮廓最小外接矩形面积S矩、轮廓最小外接矩形周长C矩、轮廓宽度W轮、轮廓高度H轮和轮廓半径R轮。标准三角形的几何性质及本发明形状检测阈值表1。
[0074] 表1标准三角形性质及本发明形状检测阈值
[0075]
[0076] 基于轮廓的几何形状提取方法的步骤如下：
[0077] 1)对分割后得到的二值影像进行边缘提取，并获取各连通区域的轮廓；
[0078] 2)遍历所有的轮廓，进行凸面检测，去除凹面轮廓而非封闭轮廓(三角形交通标志外形是凸面几何形状)；
[0079] 3)提取轮廓的面积、周长、最小外接圆面积、最小外接圆周长、最小外接矩形面积、最小外接矩形周长、宽度、高度等信息，过滤掉非目标图斑。
[0080] 步骤6：根据三角形的几何特征对粗糙感兴趣区域进行交通标志的轮廓拟合，并对其进行尺度归一化和几何纠正处理，得到精确感兴趣区域Exact_ROI；
[0081] 由于自然场景中
气候条件复杂、成像角度倾斜、遮挡等原因，经过颜色分割和形状检测得到的交通标志目标区域并不完整，不能得到准确的轮廓信息，因此需要补全轮廓。轮廓拟合的具体步骤如下：
[0082] 步骤6.1：对步骤5中提取出的粗糙感兴趣区域Rough_ROI，按逆时针方向将粗糙感兴趣区域Rough_ROI的轮廓转点进行编号，记为P1、P2、P3、…、Pn，n≥3，并将拟合出的轮廓线段分别记作L1、L2、L3、…、Ln；
[0083] 步骤6.2：取L1、L2、L3、…、Ln序列中长度排前三的线段作为待拟合三角形标志的三边，将三条边根据角度关系、相对位置关系确定三边关系，分别记为L左、L右和L底；
[0084] 步骤6.3：分别在L左、L右和L底所在直线方向，同时对三条线段进行延长，最终得到两两相交的三边；记L左、L右的延长线交于P顶；L右、L底延长线相交于点P右；L左、L底延长交于P左；
[0085] 步骤6.4：P左、P顶、P右即检测出的三角形的三个顶点，两两连接P左、P顶、P右三点，所组成的三角形区域即为分割出的交通标志精确感兴趣区域Exact_ROI；
[0086] 步骤6.5：采用双线性差值算法将所有精确感兴趣区域Exact_ROI尺寸归一化到40*40像素；
[0087] 步骤6.6：采用仿射变换对精确感兴趣区域Exact_ROI进行几何纠正，使其于标志库中的正三角形状相同。
[0088] 由于成像角度、天气光照、遮挡等影响造成交通标志
图像分割出的结果不能很好的被识别出来。虽然在交通标志检测步骤中得到了感兴趣区域ROI，但是在特征提取操作之前，为了提高特征的鲁棒性，同时为了满足训练器输入输出格式要求，有必要对ROI进行尺度归一化，使得最终的特征维数、维度处于同一范围、空间中。
[0089] 1)尺度归一化
[0090] 交通标志的大小各异，但由于特征不具备尺度鲁棒性，若交通标志的尺寸大小不同则很难进行分类识别，因此需要将这些不同尺寸的标志进行尺度归一化，本发明中采用双线性插值算法将所有图像检测出的ROI尺寸归一化到40*40像素。
[0091] 2)几何纠正
[0092] 由于交通标志在拍摄的过程中存在角度的偏差，通常不是正三角形状，但标志库中的标志均为正三角形，因此需要将获取的ROI进行几何纠正，使其与标志库中的形状一致，以减小匹配误差。本发明中采用仿射变换进行几何形状的校正，公式如式(5)。
[0093]
[0094] 式中[X1,X2,X3]T为纠正前图像上的任意一点，[X1’,X2’,X3’]T为几何校正后影像上所对应的同名点，H矩阵是3×3的变换矩阵。在交通标志检测与识别中，由于实际场景中的三角形交通标志牌和车载相机的距离远大于相机
传感器的成像平面的尺寸，故成像平面可以近似认为一个点，即几何纠正不必采用透视彷射变换，采用彷射变换公式即可，如式(6)。
[0095]
[0096] 从上式中可得出变换矩阵H共有六个未知数，因此，如能得到3对坐标即可建立6个方程求解变换矩阵H。这样，方程问题就转换成获取原图上的三角形的三个点的坐标，和纠正后标准三角形的三个点的坐标。
[0097] 步骤7：提取Exact_ROI的分块特征；
[0098] 分块特征的基本思想是把三角形警告标志图像的内核(除去标志黑色边框部分)区域分成不同的小块，然后分别将这些小块区域的特征进行提取，最后将所有小块的特征连接构成一个特征向量，以此作为标志图像的最终特征进行识别分类。
[0099] 结合三角形本身对称、内核图案主要集中在黄色区域中心部位等特点，本发明设计了一种类似于金字塔对称结构的分块特征提取方法，分块的区域范围基本涵盖内核图案，并且可以很好的描述45种不同三角形警告交通标志的内核图案。如图3所示将三角形被分为14块，相互不重叠且互为领域分开，每个块大小为10*10像素，第1号块左上起点坐标为(30,35)，依次划分为14小块，第14号小块在所有分块的最右下方，14块小块全部位图三角形黑色外框内部。由于内核图案由灰度图像所构成，而通常三角形内核图案只有两种颜色，因而再次进行OTSU二值化灰度影像得到二值内核图案。因此分块提取的特征为二值图案，在每一小块内提取内核二值图案所有前景色像素的总数占分块窗口大小的比值作为特征值，(前景色像素值为1，背景为0，窗口面积大小为10*10)，即求取每个分块的特征为块内前景色总和比上块内所有像素数。同理，计算每一分块获得一个值作为小块特征值，最后将14个小块的特征值连接成大的特征，得到每个三角形标志有一个1*14维的特征向量，作为三角警告标志分类的特征。
[0100] 图4给出了45种参考警告标志的分块特征之间的互相关系数，图中的相关系数值由0到1，值越大表示相关程度越来大，反之则越不相关。相关系数值以颜色方式表达，越偏向红色则表示相关程度越高，颜
色偏向蓝则表示互相关系数越接近0即越容易将两者区分开来。从图4中可以发现在这种分块特征下，绝大部分的交通标志两两之间的互关系数值大多在0.15以下，故我们可以直接忽略他们的相关程度，认为大部分的警告标志可以很好区分的。
[0101] 步骤8：提取Exact_ROI的HOG特征；
[0102] 从图4可以看出，少部分警告标志的分块特征之间的相关系数是比较大的，很难通过分类的方法将其区分，此时就需要引入更高维的特征辅助分类。本发明采用的高维特征是HOG特征，提取步骤如下：
[0103] 1)计算图像梯度
[0104] 利用[-1,0,1]梯度算子对原图进行卷积运算，得到
水平方向的分量gradscalx，然后用[-1,0,1]T梯度算子对原图再做卷积操作，得到竖直方向上的梯度分量gradscaly。然后利用式(7)计算该点的梯度大小、方向值。
[0105]
[0106]
[0107] 2)单元内构建梯度方向直方图
[0108] 将0～360度(有向)或0～180度(无向)角度空间平均划分为N个通道，然后将单元中每个像素向其梯度方向α所在的通道加权投票，权值为梯度幅度G(x,y)。为了提高HOG特征的旋转不变性，通道个数N通常取很小值。为了使投票结果对空间及角度平滑过渡，在本发明采用三线性插值法进行投票，每个像素向其临近的4个单元，每个单元中临近的2个角度，一共8个通道投票累加。
[0109] 3)单元合成块，块内归一化
[0110] 由于受
辐射差异影响，使得梯度幅值的
波动很大，因此有必要对所求得的梯度强度值进行归一化处理，提高对光照变化和
对比度变化的鲁棒性。
[0111] 将各个单元组合成大的、空间上连续的区块，将一个区块内所有单元的特征连接起来即可得到区块的总特征。由于区块划分时有重叠，每个单元的特征经过归一化操作后，会以不同值多次出现在最后的总特征中，由此得到HOG描述符。
[0112] 4)搜集HOG特征
[0113] 类同与第3)步操作，将块内的特征集合纳入窗口中，在检测窗口中将其所包含的块内特征相连，得到最终用于分类的HOG特征。
[0114] 步骤9：结合分块特征和HOG特征，以标志库为样本，采用SVM方法对检测出的标志进行分类识别。
[0115] 本发明采用一种由粗到精的分层分类算法，其流程框如图5所示。分类的过程分为两步。首先利用HOG特征对图像粗分类，得到标志大类；然后根据具体大类再利用HOG融合分块特征及SVM对图像细分类，得到最终结果。由于在细分前要进行几何纠正，经过几何纠正后的ROI可以很好的消除视角倾斜造成的影响，从而使得分类器能更好的找到标志间的细微差异，提高分类效果。
[0116] 本发明分析统计最终三角形标志的检测与识别结果。统计检测识别正确率等常见评价指标。
[0117] 结合步骤1中获取的GPS、IMU数据以及提取出的ROI区域的面积，估算出识别得到的交通标志的GPS坐标，以实现交通标志的
定位。
[0118] 应当理解的是，本
说明书未详细阐述的部分均属于现有技术。
[0119] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明
专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明
权利要求所保护的范围情况下，还可以做出替换或
变形，均落入本发明的保护范围之内，本发明的
请求保护范围应以所附权利要求为准。
