交通标志图像处理方法及装置
阅读：879发布：2020-05-08
专利汇可以提供交通标志图像处理方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种交通标志 图像处理 方法及装置，其方法包括：获取采集得到的街景图像；生成图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断生成的候选窗口内是否存在交通标志以及交通标志的类型。本发明能够快速地在复杂场景对应的图像中检测识别出交通标志，避免了耗时的滑窗，提高了交通标志识别的效率，同时也降低了人 力 资源和时间成本。，下面是交通标志图像处理方法及装置专利的具体信息内容。
1.一种交通标志图像处理方法，其特征在于，包括：
获取采集得到的街景图像；
生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口，其中，对于非蓝色交通标志，利用非蓝色交通标志多重轮廓的特点，去除掉部分非交通标志候选窗口，对于蓝色交通标志，使用颜色阈值及联通区域特征，排除部分非交通标志候选区域，得到剩下的候选区域；
在所述得到剩下的候选区域后，采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型；
其中，所述生成图像的非蓝色交通标志的候选窗口的步骤包括：
在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的红色和黑色，得到颜色过滤后的具有红色或黑色特征的图像，所述颜色过滤后的具有红色或黑色特征的图像中的交通标志具有内外两层轮廓；
采用预设的轮廓检测方法，获取所述颜色过滤后的具有红色或黑色特征的图像中的所有轮廓，过滤掉所有外层轮廓区域，保留所有内层轮廓区域，所述预设的轮廓检测方法为OpenCV给出的轮廓检测方法findContour；
获取每一所述内层轮廓区域的包围盒；
获取每一包围盒内部图像内容的连通区域数目；
对所有包围盒，将内部图像内容的连通区域数目在预设阈值范围内的包围盒作为所述非蓝色交通标志的候选窗口；
其中，所述生成图像的蓝色交通标志的候选窗口的步骤包括：
在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的蓝色，得到颜色过滤后的具有蓝色特征的图像；
获取所述颜色过滤后的具有蓝色特征的图像的所有包围盒；
获取每一包围盒内部图像内容的连通区域的大小，根据每一包围盒内部图像内容的连通区域的大小获取蓝色交通标志的候选窗口。
2.根据权利要求1所述的方法，其特征在于，所述获取每一包围盒内部图像内容的连通区域的大小，根据每一包围盒内部图像内容的连通区域的大小获取蓝色交通标志的候选窗口的步骤包括：
获取每一包围盒内部图像内容的连通区域的大小；
若所述连通区域的长宽尺寸符合交通标志尺寸，则以所述连通区域对应的包围盒作为所述蓝色交通标志的候选窗口；
若所述连通区域的长宽尺寸小于交通标志尺寸，则排除所述连通区域对应的包围盒；
若所述连通区域的长宽尺寸大于交通标志尺寸，则在所述连通区域内，采用滑窗法生成候选窗口，作为所述蓝色交通标志的候选窗口。
3.根据权利要求1或2所述的方法，其特征在于，所述采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型的步骤包括：
对每一候选窗口，提取其图像块的方向梯度直方图HOG特征；
将提取的HOG特征输入预先训练的SVM模型进行分类识别，得到分类识别结果，所述分类识别结果包括：识别出所述候选窗口内图像内容为交通标志或非交通标志，对于交通标志，还包括识别出该交通标志的类型。
4.根据权利要求3所述的方法，其特征在于，所述采用设定的分类器，对生成的候选窗口进行分类的步骤之前还包括：
生成所述分类器；具体包括：
收集多个交通标志的图像块作为正例集，以及多个不包含交通标志的图像块作为负例集；
提取每一图像块的HOG特征，采用SVM模型训练出所述分类器，其中，每种交通标志为一个类别，非交通标志整体作为一个类别。
5.一种交通标志图像处理装置，其特征在于，包括：
获取模块，用于获取采集得到的街景图像；
窗口生成模块，用于生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口，其中，对于非蓝色交通标志，利用非蓝色交通标志多重轮廓的特点，去除掉部分非交通标志候选窗口，对于蓝色交通标志，使用颜色阈值及联通区域特征，排除部分非交通标志候选区域，得到剩下的候选区域；
分类识别模块，用于在所述得到剩下的候选区域后，采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型；
所述窗口生成模块，还用于在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的红色和黑色，得到颜色过滤后的具有红色或黑色特征的图像，所述颜色过滤后的具有红色或黑色特征的图像中的交通标志具有内外两层轮廓；采用预设的轮廓检测方法，获取所述颜色过滤后的具有红色或黑色特征的图像中的所有轮廓，过滤掉所有外层轮廓区域，保留所有内层轮廓区域，所述预设的轮廓检测方法为OpenCV给出的轮廓检测方法findContour；获取每一所述内层轮廓区域的包围盒；获取每一包围盒内部图像内容的连通区域数目；对所有包围盒，将内部图像内容的连通区域数目在预设阈值范围内的包围盒作为所述非蓝色交通标志的候选窗口；
所述窗口生成模块，还用于在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的蓝色，得到颜色过滤后的具有蓝色特征的图像；获取所述颜色过滤后的具有蓝色特征的图像的所有包围盒；获取每一包围盒内部图像内容的连通区域的大小，根据每一包围盒内部图像内容的连通区域的大小获取蓝色交通标志的候选窗口。
6.根据权利要求5所述的装置，其特征在于，
所述窗口生成模块，还用于获取每一包围盒内部图像内容的连通区域的大小；若所述连通区域的长宽尺寸符合交通标志尺寸，则以所述连通区域对应的包围盒作为所述蓝色交通标志的候选窗口；若所述连通区域的长宽尺寸小于交通标志尺寸，则排除所述连通区域对应的包围盒；若所述连通区域的长宽尺寸大于交通标志尺寸，则在所述连通区域内，采用滑窗法生成候选窗口，作为所述蓝色交通标志的候选窗口。
7.根据权利要求5或6所述的装置，其特征在于，
所述分类识别模块，还用于对每一候选窗口，提取其图像块的HOG特征；将提取的HOG特征输入预先训练的SVM模型进行分类识别，得到分类识别结果，所述分类识别结果包括：识别出所述候选窗口内图像内容为交通标志或非交通标志，对于交通标志，还包括识别出该交通标志的类型。
8.根据权利要求7所述的装置，其特征在于，还包括：
分类器生成模块，用于生成所述分类器；具体用于收集多个交通标志的图像块作为正例集，以及多个不包含交通标志的图像块作为负例集；提取每一图像块的HOG特征，采用SVM模型训练出所述分类器，其中，每种交通标志为一个类别，非交通标志整体作为一个类别。
9.一种终端设备，其特征在于，包括存储器与处理器；
所述存储器用于存储交通标志图像处理程序；
所述处理器用于调用所述存储器中存储的所述交通标志图像处理程序，以执行如权利要求1～4任一项所述的交通标志图像处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令用于使终端设备执行如权利要求1～4任一项所述的交通标志图像处理方法。
交通标志图像处理方法及装置
技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及一种交通标志图像处理方法及装置。
背景技术
[0002] 目前，随着科技的发展和人们生活水平的不断提高，公路上各种车辆的数量与日俱增，这给人们的生活带来了极大的便利，同时交通事故问题也越来越严重。引发交通事故的因素为驾驶员错误操作、路况不好、天气影响等。据统计80％的交通事故归咎于驾驶员误操作。为了降低交通事故率，道路交通标志识别系统TSR(Traffic Signs Recognition)应运而生。道路交通标志识别系统识别交通标志并反馈给驾驶员，可以使驾驶员提前了解路况及其变化并及时做出正确的反应措施，从而尽量减少交通事故的发生。在道路交通标志中，常见的是警告、指示和禁令交通标志，每类交通标志都由特定颜色和形状的图案、文字构成。
[0003] 目前，基于街景全景图的交通标志的检测与识别中，大多通过人工对交通标志进行识别，需要耗费极大的人力资源和时间成本。已有的自动识别交通标志的方法大多基于颜色来进行区域筛选，通过滑窗法来对区域图像进行交通标志识别与分类，对于高分辨图像候选窗口数目会非常多，耗时很长。
[0004] 另外，拍摄点到交通标志距离的不确定性导致了交通标志大小的不确定性，这使得需要尝试更多不同大小的窗口，由此庞大的窗口数目导致识别一张图像里的交通标志非常耗时。
发明内容
[0005] 本发明实施例提供一种交通标志图像处理方法及装置，旨在提高交通标志识别的效率，降低成本。
[0006] 本发明实施例提出了一种交通标志图像处理方法，包括：
[0007] 获取采集得到的街景图像；
[0008] 生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；
[0009] 采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型。
[0010] 本发明实施例还提出一种交通标志图像处理装置，包括：
[0011] 获取模块，用于获取采集得到的街景图像；
[0012] 窗口生成模块，用于生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；
[0013] 分类识别模块，用于采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型。
[0014] 本发明实施例提出的一种交通标志图像处理方法及装置，通过获取采集得到的街景图像；生成图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断生成的候选窗口内是否存在交通标志以及交通标志的类型，本发明能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了非蓝色交通标志的候选窗口和蓝色交通标志的候选窗口对候选区域进行严密的多重过滤，能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗，提高了交通标志识别的效率。此外，采用设定的分类器对候选区域进行快速分类，进一步提高了交通标志识别的效率，同时也降低了人力资源和时间成本。附图说明
[0016] 图2是本发明交通标志图像处理方法第一实施例的流程示意图；
[0017] 图3是本发明交通标志图像处理方法第二实施例的流程示意图；
[0018] 图4是本发明交通标志图像处理装置第一实施例的功能模块示意图；
[0019] 图5是本发明交通标志图像处理装置第二实施例的功能模块示意图。
[0020] 为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。
具体实施方式
[0021] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0022] 本发明实施例方案的主要思路是：利用交通标志的轮廓特征、形状特征和颜色特征对候选区域进行筛选，能够快速地排除图像中非交通标志区域，然后再进一步利用HOG(Histogram of Gradient，方向梯度直方图)特征分类器判别交通标志的指示内容，实现对各种类型交通标志的自动识别。
[0023] 在从图像中识别出交通标志时，通常包括两个过程，第一个过程是筛选出交通标志大概存在的位置，第二个过程是识别相应的图像块是否是一个交通标志以及交通标志的具体内容。
[0024] 对于第二个过程，目前使用的方法主要基于机器学习。机器学习的主要思想是预先定义一些图像的特征，然后利用这些特征来训练分类模型(不同的学习方法所使用的模型大相径庭)，相同类别的图像在模型中得到相同的分类结果。在新的测试图像到来时，对新图像也提取出相应特征，通过训练好的模型判别出新图像属于哪个类别。这些方法使用的正例样本都必须是只包含交通标志的小图像块，并不关心交通标志的定位问题。
[0025] 对于第一个过程，目前的方案主要基于交通标志的颜色特征。利用颜色特征排除掉不可能的区域后，采取滑窗法(不同大小和方向的窗口)去遍历整个图像。每个窗口位置都对应一个候选窗口。对每个候选窗口，都需要判断一次当前窗口对应的图像块是否属于某个交通标志(过程二)。高分辨率图像得到的候选窗口数目会非常多。另外，拍摄点到交通标志距离的不确定性导致了交通标志大小的不确定性，这使得需要尝试更多不同大小的窗口。而庞大的窗口数目导致识别一张图像里的交通标志非常耗时。
[0026] 针对现有的缺陷，本发明设计了一种识别交通标志的交通标志图像处理方法，能够快速地在复杂场景对应的图像中检测识别出交通标志，采用严密的多重过滤，剩下的候选区域非常少，并且能够直接定位大部分具有外环描边的交通标志，避免耗时的滑窗。在得到少量比较精准的候选区域后，利用训练好的HOG特征分类器对候选区域进行快速分类，提高了交通标志识别的效率，同时也降低了人力资源和时间成本。
[0027] 具体地，本实施例方案涉及的硬件运行环境包括一交通标志图像处理装置以及分类器，该分类器具体可以采用HOG特征分类器。上述交通标志图像处理装置可以承载于PC端，也可以承载于手机、平板电脑等处理图像的各种移动终端，该移动终端上可以安装街景应用软件。上述交通标志图像处理装置所承载的终端结构可以如图1所示。
[0028] 参照图1，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现该终端中各组成部件之间的连接通信。用户接口1003可以包括显示屏(Display)、键盘(Keyboard)、鼠标等组件，用于接收用户输入的信息，并将接收的信息发送至处理器1005进行处理。显示屏可以为LCD显示屏、LED显示屏，也可以为触摸屏。可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置，该终端还可以具有摄像装置，用于获取全景街景图像。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及交通标志图像处理程序。
[0029] 在图1所示的交通标志图像处理装置中，网络接口1004主要用于网络平台，与网络平台进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信，接收客户端输入的信息和指令；而处理器1001可以用于调用存储器1005中存储的交通标志图像处理程序，并执行以下操作：
[0030] 获取采集得到的街景图像；
[0031] 生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；
[0032] 采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型。
[0033] 进一步地，在一个实施例中，处理器1001调用存储器1005中存储的数据交通标志图像处理程序，还可以执行以下操作：
[0034] 在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的红色和黑色，得到颜色过滤后的具有红色或黑色特征的图像，所述颜色过滤后的图像中的交通标志具有内外两层轮廓；
[0035] 采用预设的轮廓检测方法，获取所述颜色过滤后的图像中的所有轮廓，过滤掉所有外层轮廓区域，保留所有内层轮廓区域；
[0036] 获取每一所述内层轮廓区域的包围盒；
[0037] 获取每一包围盒内部图像内容的连通区域数目；
[0038] 对所有包围盒，将内部图像内容的连通区域数目在预设阈值范围内的包围盒作为所述非蓝色交通标志的候选窗口。
[0039] 进一步地，在一个实施例中，处理器1001调用存储器1005中存储的数据交通标志图像处理程序，还可以执行以下操作：
[0041] 获取所述颜色过滤后的图像的所有包围盒；
[0042] 获取每一包围盒内部图像内容的连通区域的大小，根据每一包围盒内部图像内容的连通区域的大小获取蓝色交通标志的候选窗口。
[0043] 进一步地，在一个实施例中，处理器1001调用存储器1005中存储的数据交通标志图像处理程序，还可以执行以下操作：
[0044] 对每一候选窗口，提取其图像块的HOG特征；
[0045] 将提取的HOG特征输入预先训练的SVM(support vector machine，支持向量机)模型进行分类识别，得到分类识别结果，所述分类识别结果包括：识别出所述候选窗口内图像内容为交通标志或非交通标志，对于交通标志，还包括识别出该交通标志的类型。
[0046] 进一步地，在一个实施例中，处理器1001调用存储器1005中存储的数据交通标志图像处理程序，还可以执行以下操作：
[0047] 生成所述分类器；具体包括：
[0048] 收集多个交通标志的图像块作为正例集，以及多个不包含交通标志的图像块作为负例集；
[0049] 提取每一图像块的HOG特征，采用SVM模型训练出所述分类器，其中，每种交通标志为一个类别，非交通标志整体作为一个类别。
[0050] 本实施例通过上述方案，通过获取采集得到的街景图像；生成图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断生成的候选窗口内是否存在交通标志以及交通标志的类型，本发明能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了严密的多重过滤，剩下的候选区域非常少，并且能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗。在得到少量比较精准的候选区域后，利用训练好的HOG特征分类器对候选区域进行快速分类，提高了交通标志识别的效率，同时也降低了人力资源和时间成本。
[0051] 基于上述硬件架构，提出本发明交通标志图像处理方法实施例。
[0052] 如图2所示，本发明第一实施例提出一种交通标志图像处理方法，包括：
[0053] 步骤S101，获取采集得到的街景图像；
[0054] 以手机为例，可以在手机上安装街景应用软件，通过手机的摄像功能结合街景应用软件采集街景图像，该街景图像可以为全景图，也可以为普通的图像，其地理位置可以根据需要选择。
[0055] 街景应用软件可以通过街景地图采集街景图像(比如SOSO街景地图)。街景地图是一种实景地图服务。为用户提供城市、街道或其他环境的360度全景图像，用户可以通过该服务获得如临其境的地图浏览体验。通过街景，只要坐在电脑前就可以真实的看到街道上的高清景象，为用户提供更加真实准确、更富画面细节的地图服务。
[0056] 采集得到的街景图像中存在着大量的交通标志，本实施例方案可以从该街景图像中快速识别并获取其中的交通标志。
[0057] 步骤S102，生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；
[0058] 在获取到街景图像之后，筛选出该图像中的交通标志候选窗口，即交通标志候选区域，主要分为非蓝色交通标志的候选窗口和蓝色交通标志的候选窗口。对于非蓝色交通标志，利用非蓝色交通标志多重轮廓的特点，能够去除掉绝大多数的非交通标志候选窗口，同时也有很高的召回率。对于蓝色交通标志，使用颜色阈值以及连通区域特征，可以排除大部分非交通标志候选区域，有效地提高检测识别效率。
[0059] 因此，本实施例可以利用交通标志的轮廓特征、形状特征和颜色特征对图像候选区域进行筛选，能够快速地排除图像中非交通标志区域，得到交通标志所在位置。
[0060] 具体地，首先，生成非蓝色交通标志的候选窗口和蓝色交通标志的候选窗口。
[0061] 其中，生成图像的非蓝色交通标志的候选窗口的步骤可以包括：
[0062] (1)、在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的红色和黑色，得到颜色过滤后的具有红色或黑色特征的图像，所述颜色过滤后的图像中的交通标志具有内外两层轮廓；
[0063] 由于绝大部分的非蓝色交通标志都会有一层外轮廓描边，例如限速标志外圈的红色，黄色警告标志的黑色描边。经过颜色过滤后的图像中，交通标志都会拥有内外两层轮廓。以限速标志为例，限速标志外圈为红色，红色外圈与背景色(比如蓝色)之间的轮廓为外轮廓，红色外圈与内部颜色(比如白色)之间的轮廓为内轮廓。
[0064] (2、)采用预设的轮廓检测方法，获取所述颜色过滤后的图像中的所有轮廓，过滤掉所有外层轮廓区域，保留所有内层轮廓区域；
[0065] 用OpenCV给出的轮廓检测方法findContour找到所有的轮廓，过滤掉所有外层轮廓，保留内层轮廓。需要说明的是，这里所指的内层轮廓不仅仅是第二层轮廓，有可能是被嵌套包围的更深层的轮廓。不具有多层轮廓的区域都不能出现交通标志。
[0066] (3)、获取每一所述内层轮廓区域的包围盒；
[0068] 由于求的是内层轮廓的包围盒，这里将包围盒扩大20％以完全包含整个交通标志。
[0069] (4)、获取每一包围盒内部图像内容的连通区域数目；对所有包围盒，将内部图像内容的连通区域数目在预设阈值范围内的包围盒作为所述非蓝色交通标志的候选窗口。
[0070] 其中，包围盒内部图像内容的连通区域是指相邻的同一颜色像素构成的区域，比如对于红色限速标志而言，内容是黑色的限速数值，其中黑色像素构成的区域为红色限速标志内容的连通区域，对于黄色警告牌而言，内容是黑色的警示图案，其中黑色像素构成的区域为黄色警告牌标志内容的连通区域，对于过滤后的黑色特征的图像，每一包围盒内部图像内容的连通区域是指相邻的黑色颜色像素构成的区域。
[0071] 如前所述，包围盒可以是一个矩形窗口，通过矩形窗口框住同一连通区域的像素。
[0072] 对于每个包围盒，如果其内部图像内容的连通区域数目过少或者过多，它的内容就不可能是交通标志，通常，交通标志的连通区域在3～10个左右，当然，连通区域数目的阈值范围还可以根据实际情况调整，对于连通区域数目处于阈值范围之外的包围盒给予排除，余下的处于阈值范围之内的包围盒作为候选窗口。
[0073] 其中，生成图像的蓝色交通标志的候选窗口的步骤可以包括：
[0074] (1)、在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的蓝色，得到颜色过滤后的具有蓝色特征的图像；
[0075] 由于蓝色交通标志不具有外层轮廓，因此，这里可以采用传统的颜色过滤方法来生成候选窗口。在HSV颜色空间，用阈值法过滤出图像中接近交通标志所使用的蓝色。
[0076] (2)、获取所述颜色过滤后的图像的所有包围盒，求每一包围盒的连通区域；
[0077] 作为一种实施方式，获取每一包围盒内部图像内容的连通区域的大小，根据每一包围盒内部图像内容的连通区域的大小获取蓝色交通标志的候选窗口。
[0078] 具体地，获取每一包围盒内部图像内容的连通区域的大小；若所述连通区域的长宽尺寸符合交通标志尺寸，则以所述连通区域对应的包围盒作为所述蓝色交通标志的候选窗口；若所述连通区域的长宽尺寸小于交通标志尺寸，则排除所述连通区域对应的包围盒；若所述连通区域的长宽尺寸大于交通标志尺寸，则在所述连通区域内，采用滑窗法生成候选窗口，作为所述蓝色交通标志的候选窗口。
[0079] 步骤S103，采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型。
[0080] 该分类器具体可以使用HOG特征分类器。
[0081] HOG特征分类器在训练时，通过人工标注出一系列只包含交通标志的图像块作为正例，一系列不包含交通标志的图像块作为负例。然后提取图像块的HOG(Histogram of Gradient，方向梯度直方图)特征，利用SVM模型训练出一个多分类器。其中，每种交通标志都是一个类别，非交通标志也整体作为一个类别。
[0082] 在使用HOG特征分类器对生成的候选窗口进行分类、识别时，具体采用如下方案：
[0083] 对每一需要判别的候选窗口，提取其图像块的HOG特征；将提取的HOG特征输入预先训练的SVM模型进行分类识别，得到分类识别结果。
[0084] 分类识别结果会说明某个候选窗口的内容是什么样的交通标志或者不是交通标志。也就是说，分类识别结果包括：识别出所述候选窗口内图像内容为交通标志或非交通标志，对于交通标志，还包括识别出该交通标志的类型。
[0085] 本发明的HOG特征分类器训练过程很简明，所使用的SVM模型简单高效。测试表明，训练一个80多类交通标志的分类器只需要几分钟。另外本发明利用了非蓝色交通标志多重轮廓的特点，能够去除掉绝大多数的非交通标志候选窗口，同时也有很高的召回率。对于蓝色交通标志，使用颜色阈值以及连通区域特征也排除了大部分非交通标志候选区域，有效地提高了检测识别效率。使用本发明的方法，若只检测非蓝色交通标志，能够在6秒内处理一张街景全景图，若检测所有类型的交通标志，能够在20秒内处理一张街景全景图。在测试集合中，整体的召回率达到90％，准确率达到97％。
[0086] 相比现有技术，本实施例方案能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了严密的多重过滤，剩下的候选区域非常少，并且能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗。在得到少量比较精准的候选区域后，本发明利用训练好的HOG特征分类器对候选区域进行快速分类，能够达到90％以上的准确率和97％以上的召回率。
[0087] 本实施例通过上述方案，通过获取采集得到的街景图像；生成图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断生成的候选窗口内是否存在交通标志以及交通标志的类型，本发明能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了非蓝色交通标志的候选窗口和蓝色交通标志的候选窗口对候选区域进行严密的多重过滤，能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗，提高了交通标志识别的效率。此外，采用设定的分类器对候选区域进行快速分类，进一步提高了交通标志识别的效率，同时也降低了人力资源和时间成本。
[0088] 如图3所示，本发明第二实施例提出一种交通标志图像处理方法，基于上述图2所示的实施例，在上述步骤S103之前还包括：
[0089] 步骤S100，生成所述分类器；具体包括：
[0090] 收集多个交通标志的图像块作为正例集，以及多个不包含交通标志的图像块作为负例集；
[0091] 提取每一图像块的HOG特征，采用SVM模型训练出所述分类器，其中，每种交通标志为一个类别，非交通标志整体作为一个类别。
[0092] 相比上述实施例，本实施例还包括生成分类器的方案。
[0093] 该分类器具体可以使用HOG特征分类器。
[0094] HOG特征分类器在训练时，通过人工标注出一系列只包含交通标志的图像块作为正例，一系列不包含交通标志的图像块作为负例。然后提取图像块的HOG(Histogram of Gradient，方向梯度直方图)特征，利用SVM模型训练出一个多分类器。其中，每种交通标志都是一个类别，非交通标志也整体作为一个类别。
[0095] 本发明实施例的HOG特征分类器训练过程很简明，所使用的SVM模型简单高效。测试表明，训练一个80多类交通标志的分类器只需要几分钟。
[0096] 本实施例通过获取采集得到的街景图像；生成图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断生成的候选窗口内是否存在交通标志以及交通标志的类型，本发明能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了严密的多重过滤，剩下的候选区域非常少，并且能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗。在得到少量比较精准的候选区域后，利用训练好的HOG特征分类器对候选区域进行快速分类，提高了交通标志识别的效率，同时也降低了人力资源和时间成本。
[0097] 如图4所示，本发明第一实施例提出一种交通标志图像处理装置，包括：获取模块201、窗口生成模块202以及分类识别模块203，其中：
[0098] 获取模块201，用于获取采集得到的街景图像；
[0099] 窗口生成模块202，用于生成所述图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；
[0100] 分类识别模块203，用于采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型。
[0101] 具体地，以手机为例，可以在手机上安装街景应用软件，通过手机的摄像功能结合街景应用软件采集街景图像，该街景图像可以为全景图，也可以为普通的图像，其地理位置可以根据需要选择。
[0102] 采集得到的街景图像中存在着大量的交通标志，本实施例方案可以从该街景图像中快速识别并获取其中的交通标志。
[0103] 在获取到街景图像之后，筛选出该图像中的交通标志候选窗口，即交通标志候选区域，主要分为非蓝色交通标志的候选窗口和蓝色交通标志的候选窗口。对于非蓝色交通标志，利用非蓝色交通标志多重轮廓的特点，能够去除掉绝大多数的非交通标志候选窗口，同时也有很高的召回率。对于蓝色交通标志，使用颜色阈值以及连通区域特征，可以排除大部分非交通标志候选区域，有效地提高检测识别效率。
[0104] 因此，本实施例可以利用交通标志的轮廓特征、形状特征和颜色特征对图像候选区域进行筛选，能够快速地排除图像中非交通标志区域，得到交通标志所在位置。
[0105] 具体地，首先，生成非蓝色交通标志的候选窗口和蓝色交通标志的候选窗口。
[0106] 其中，生成图像的非蓝色交通标志的候选窗口的步骤可以包括：
[0107] (1)、在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的红色和黑色，得到颜色过滤后的具有红色或黑色特征的图像，所述颜色过滤后的图像中的交通标志具有内外两层轮廓；
[0108] 由于绝大部分的非蓝色交通标志都会有一层外轮廓描边，例如限速标志外圈的红色，黄色警告标志的黑色描边。经过颜色过滤后的图像中，交通标志都会拥有内外两层轮廓。以限速标志为例，限速标志外圈为红色，红色外圈与背景色(比如蓝色)之间的轮廓为外轮廓，红色外圈与内部颜色(比如白色)之间的轮廓为内轮廓。
[0109] (2、)采用预设的轮廓检测方法，获取所述颜色过滤后的图像中的所有轮廓，过滤掉所有外层轮廓区域，保留所有内层轮廓区域；
[0110] 用OpenCV给出的轮廓检测方法findContour找到所有的轮廓，过滤掉所有外层轮廓，保留内层轮廓。需要说明的是，这里所指的内层轮廓不仅仅是第二层轮廓，有可能是被嵌套包围的更深层的轮廓。不具有多层轮廓的区域都不能出现交通标志。
[0111] (3)、获取每一所述内层轮廓区域的包围盒；
[0112] 求每个内层轮廓的包围盒。包围盒可以是一个矩形窗口，通过矩形窗口框住同一内层轮廓内的像素区域。
[0113] 由于求的是内层轮廓的包围盒，这里将包围盒扩大20％以完全包含整个交通标志。
[0114] (4)、获取每一包围盒内部图像内容的连通区域数目；对所有包围盒，将内部图像内容的连通区域数目在预设阈值范围内的包围盒作为所述非蓝色交通标志的候选窗口。
[0115] 其中，包围盒内部图像内容的连通区域是指相邻的同一颜色像素构成的区域，比如对于红色限速标志而言，内容是黑色的限速数值，其中黑色像素构成的区域为红色限速标志内容的连通区域，对于黄色警告牌而言，内容是黑色的警示图案，其中黑色像素构成的区域为黄色警告牌标志内容的连通区域，对于过滤后的黑色特征的图像，每一包围盒内部图像内容的连通区域是指相邻的黑色颜色像素构成的区域。
[0116] 如前所述，包围盒可以是一个矩形窗口，通过矩形窗口框住同一连通区域的像素。
[0117] 对于每个包围盒，如果其内部图像内容的连通区域数目过少或者过多，它的内容就不可能是交通标志，通常，交通标志的连通区域在3～10个左右，当然，连通区域数目的阈值范围还可以根据实际情况调整，对于连通区域数目处于阈值范围之外的包围盒给予排除，余下的处于阈值范围之内的包围盒作为候选窗口。
[0118] 其中，生成图像的蓝色交通标志的候选窗口的步骤可以包括：
[0119] (1)、在HSV颜色空间，采用阈值法过滤出所述图像中接近交通标志所使用的蓝色，得到颜色过滤后的具有蓝色特征的图像；
[0120] 由于蓝色交通标志不具有外层轮廓，因此，这里可以采用传统的颜色过滤方法来生成候选窗口。在HSV颜色空间，用阈值法过滤出图像中接近交通标志所使用的蓝色。
[0121] (2)、获取所述颜色过滤后的图像的所有包围盒，求每一包围盒的连通区域；
[0122] 作为一种实施方式，获取每一包围盒内部图像内容的连通区域的大小，根据每一包围盒内部图像内容的连通区域的大小获取蓝色交通标志的候选窗口。
[0123] 具体地，获取每一包围盒内部图像内容的连通区域的大小；若所述连通区域的长宽尺寸符合交通标志尺寸，则以所述连通区域对应的包围盒作为所述蓝色交通标志的候选窗口；若所述连通区域的长宽尺寸小于交通标志尺寸，则排除所述连通区域对应的包围盒；若所述连通区域的长宽尺寸大于交通标志尺寸，则在所述连通区域内，采用滑窗法生成候选窗口，作为所述蓝色交通标志的候选窗口。
[0124] 之后，采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断所述生成的候选窗口内是否存在交通标志以及交通标志的类型。
[0125] 该分类器具体可以使用HOG特征分类器。
[0126] HOG特征分类器在训练时，通过人工标注出一系列只包含交通标志的图像块作为正例，一系列不包含交通标志的图像块作为负例。然后提取图像块的HOG(Histogram of Gradient，方向梯度直方图)特征，利用SVM模型训练出一个多分类器。其中，每种交通标志都是一个类别，非交通标志也整体作为一个类别。
[0127] 在使用HOG特征分类器对生成的候选窗口进行分类、识别时，具体采用如下方案：
[0128] 对每一需要判别的候选窗口，提取其图像块的HOG特征；将提取的HOG特征输入预先训练的SVM模型进行分类识别，得到分类识别结果。
[0129] 分类识别结果会说明某个候选窗口的内容是什么样的交通标志或者不是交通标志。也就是说，分类识别结果包括：识别出所述候选窗口内图像内容为交通标志或非交通标志，对于交通标志，还包括识别出该交通标志的类型。
[0130] 本发明的HOG特征分类器训练过程很简明，所使用的SVM模型简单高效。测试表明，训练一个80多类交通标志的分类器只需要几分钟。另外本发明利用了非蓝色交通标志多重轮廓的特点，能够去除掉绝大多数的非交通标志候选窗口，同时也有很高的召回率。对于蓝色交通标志，使用颜色阈值以及连通区域特征也排除了大部分非交通标志候选区域，有效地提高了检测识别效率。使用本发明的方法，若只检测非蓝色交通标志，能够在6秒内处理一张街景全景图，若检测所有类型的交通标志，能够在20秒内处理一张街景全景图。在测试集合中，整体的召回率达到90％，准确率达到97％。
[0131] 相比现有技术，本实施例方案能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了严密的多重过滤，剩下的候选区域非常少，并且能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗。在得到少量比较精准的候选区域后，本发明利用训练好的HOG特征分类器对候选区域进行快速分类，能够达到90％以上的准确率和97％以上的召回率。
[0132] 如图5所示，本发明第二实施例提出一种交通标志图像处理装置，基于上述图4所示的实施例，还包括：
[0133] 分类器生成模块200，用于生成所述分类器；具体用于收集多个交通标志的图像块作为正例集，以及多个不包含交通标志的图像块作为负例集；提取每一图像块的HOG特征，采用SVM模型训练出所述分类器，其中，每种交通标志为一个类别，非交通标志整体作为一个类别。
[0134] 相比上述实施例，本实施例还包括生成分类器的方案。
[0135] 该分类器具体可以使用HOG特征分类器。
[0136] HOG特征分类器在训练时，通过人工标注出一系列只包含交通标志的图像块作为正例，一系列不包含交通标志的图像块作为负例。然后提取图像块的HOG(Histogram of Gradient，方向梯度直方图)特征，利用SVM模型训练出一个多分类器。其中，每种交通标志都是一个类别，非交通标志也整体作为一个类别。
[0137] 本发明实施例的HOG特征分类器训练过程很简明，所使用的SVM模型简单高效。测试表明，训练一个80多类交通标志的分类器只需要几分钟。
[0138] 本实施例通过获取采集得到的街景图像；生成图像的非蓝色交通标志的候选窗口以及蓝色交通标志的候选窗口；采用设定的分类器，对生成的候选窗口进行分类识别，根据分类识别结果判断生成的候选窗口内是否存在交通标志以及交通标志的类型，本发明能够快速地在复杂场景对应的图像中检测识别出交通标志，由于采用了严密的多重过滤，剩下的候选区域非常少，并且能够直接定位大部分具有外环描边的交通标志，避免了耗时的滑窗。在得到少量比较精准的候选区域后，利用训练好的HOG特征分类器对候选区域进行快速分类，提高了交通标志识别的效率，同时也降低了人力资源和时间成本。
[0139] 还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0140] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0141] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种FPGA故障自恢复的电路及方法 | 2020-05-08 | 906 |
| 一种应急救援的智能头盔 | 2020-05-08 | 596 |
| 神经网络处理方法、计算机系统及存储介质 | 2020-05-08 | 367 |
| 一种热轧板坯堆放自动控制方法 | 2020-05-11 | 374 |
| 访问内存的方法、存储级内存及计算机系统 | 2020-05-11 | 337 |
| 一种实现全景影像单屏环视窗显示计算机系统 | 2020-05-08 | 611 |
| 数据索引方法及装置 | 2020-05-08 | 172 |
| 交通标志图像处理方法及装置 | 2020-05-08 | 879 |
| 项目加速的自动评估 | 2020-05-08 | 628 |
| 步兵战车驾驶训练模拟系统 | 2020-05-08 | 31 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
计算机系统热门专利
QQ群二维码
意见反馈
意见反馈