首页 / 专利库 / 图形技术 / 图像对比度 / 基于计算机视觉的交叉口标志标线与信号灯智能感知方法

基于计算机视觉的交叉口标志标线与信号灯智能感知方法

阅读:1039发布:2020-06-28

专利汇可以提供基于计算机视觉的交叉口标志标线与信号灯智能感知方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 计算机视觉 的交叉口标志标线与 信号 灯智能 感知 方法,车载摄像头拍摄路况信息视频;分 帧 处理拍摄到的视频;对分帧图片预处理,排除非感兴趣区域;使用 颜色 特征和形状特征 定位 分割交通标志牌,并基于改进的SIFT 算法 检测并识别;基于圆形度和背景板信息提取交通信号灯;根据倒计时器与信号灯 位置 关系和其背景板特征分离信号灯倒计时器,使用SVM分类器识别倒计时器上的数字和箭头信号灯信息;用颜色直方图对 色调 H进行分布统计,识别交通信号灯颜色;提取车辆前方车道线,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,模板匹配方法识别车道线类型;根据信号灯的安装方法,结合车道线标志牌底色和形状分离车道线标志牌,并基于改进的SIFT算法检测并识别。,下面是基于计算机视觉的交叉口标志标线与信号灯智能感知方法专利的具体信息内容。

1.一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法,其特征在于包括以下步骤:
步骤1、结合电子地图信息,开启车载摄像机采集路口视频,并实时检测交通信息;
步骤2、将交叉口视频转换为路口图像
步骤3、对路口图像进行预处理;首先增强路口图像对比度,并转换为二值图像,然后应用形态学滤波过滤图像中不符合形态学准则的小区域:
步骤4:使用颜色特征和形状特征定位分割交通标志牌,并基于改进的SIFT算法进行检测和识别;
步骤5:应用圆形度方法和背板颜色信息检测,排除非交通信号灯的小区域,分离提取并识别圆形交通信号灯;
步骤6:根据信号灯的安装方法,分离箭头信号灯和数字倒计时器,训练SVM分类器识别箭头信号和倒计时器数值;
步骤7、将提取的信号灯和倒计时器图像从RGB空间转换到HSV空间,进而用颜色直方图对色调H进行分布统计,根据其分布特征来识别交通信号灯的类型;
步骤8:提取车辆前方车道线,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,采用模板匹配方法识别车道线类型;
步骤9:根据信号灯的安装方法,结合车道线标志牌蓝色底色和矩形形状分离车道线标志牌,并基于改进的SIFT算法进行检测和识别;
如果检测出信号灯、标志牌、车道线中的任意一种,进行语音播报并屏幕显示,返回步骤1;
如果未检测出信号灯、标志牌、车道线中的任意一种,则直接返回步骤1。
2.根据权利要求1所述的交叉口标志标线与信号灯智能感知方法,其特征在于:所述步骤1中,每隔1S-2S检测一次直至完全驶过交叉口,利用车载摄像头采集交叉口信号灯的视频信息。
3.根据权利要求1所述的交叉口标志标线与信号灯智能感知方法,其特征在于:所述步骤3的具体实现如下:
步骤3.1,使用tophat算法增强图片对比度,使图片的亮暗分明;
步骤3.2,使用迭代法寻找最优阈值,进行图像二值化处理;
步骤3.3,使用形态学中的膨胀、腐蚀、开算子和闭算子对图片处理,过滤有干扰的小区域或者有较大空洞的区域。
4.根据权利要求1所述的交叉口标志标线与信号灯智能感知方法,其特征在于:步骤4所述使用颜色特征和形状特征定位分割交通标志牌,并基于改进的SIFT算法检测并识别的具体步骤如下:
步骤4.1,在图像预处理的基础上,将图片转化为HSV空间,利用交通标志牌的红色、黄色和蓝色为基本特征,基于HSV颜色空间的H通道和S通道定位感兴趣区域;
步骤4.2,用canny算子检测预处理过后的图像边缘,采用计算圆形度、三形度综合面积特征来判别交通标志几何形状,并用面积特征排除其他干扰;
步骤4.3,采用改进的SIFT算法检测路口图片并识别交通标志牌,首先构建DoG尺度空间并检测尺度空间极值点,通过高斯微分函数来识别潜在的对于尺度和旋转不变的关键点;
步骤4.4,通过拟和三维二次函数确定关键点的位置和尺度,由此确定一个SIFT特征区域;
步骤4.5,通过构建特征点邻域梯度的模型,计算特征描述子,得到64个特征向量作为描述子并进行归一化处理。
5.根据权利要求1所述的基于计算机视觉的交叉口标志标线与信号灯智能感知方法,其特征在于:步骤5所述应用圆形度方法和背板颜色信息检测,排除非交通信号灯的小区域,分离提取并识别圆形交通信号灯的具体过程如下:
步骤5.1,标记剩下的区域,并统计小区域像素个数作为区域近似面积,小区域边界上的像素个数作为近似区域周长,计算各个区域圆形度,将圆形度在[0.9,1.0]之间的小区域作为候选区域;
步骤5.2,利用交通信号灯背景板信息验证候选区域是否为信号灯;在圆形区域外接矩形,再在该外接矩形上下左右四个方向取四个与该矩形相等的邻接矩形,当这四个邻接矩形满足某个矩形为黑色区域,则认为找到感兴趣区域,并从原图中截取该区域的彩色图像,识别信号灯颜色。
6.根据权利要求1所述的基于计算机视觉的交叉口标志标线与信号灯智能感知方法,其特征在于:步骤6所述的分离箭头信号灯和数字倒计时器,训练SVM分类器识别箭头信号和倒计时器数值的具体步骤如下:
步骤6.1,根据信号灯的安装方法,倒计时器与信号灯之间存在位置关系,依据此信息定位信号灯,结合主动发光特质和矩形黑色背景板提取分离箭头信号灯和倒计时器;
步骤6.2,使用支持向量机SVM识别箭头交通标志,事先通过大量箭头信号正样本和负样本训练分类器识别箭头方向,并用0至9这十个七段数码管数字训练;
步骤6.3,将倒计时器图像分为2个数字图像,对得到的数字图像归一化处理后,利用已经训练过的10个数字样本识别倒计时器内容。
7.根据权利要求1所述的基于计算机视觉的交叉口标志标线与信号灯智能感知方法,其特征在于:步骤7所述的把提取的信号灯和倒计时器图像从RGB空间转换到HSV空间,进而用颜色直方图对色调H进行分布统计,根据其分布特征来识别交通信号灯的类型的具体步骤如下:
步骤7.1,将从原路口图像中截取的交通信号灯区域图像从RGB空间转换到HSV空间,进而使用颜色直方图的统计量信息,对交通信号灯的类型进行识别,并写入文本文件中,以供其它程序调用;
步骤7.2,HSV色彩空间中,颜色信息由色调H区分,用颜色直方图对色调H进行统计,分开红、黄、绿颜色;三种颜色交通信号灯的色调H范围如下:
红色交通信号灯区域: ;
黄色交通信号灯区域: ;
绿色交通信号灯区域: 。
8.根据权利要求1所述的基于计算机视觉的交叉口标志标线与信号灯智能感知方法,其特征在于:步骤8所述的提取车辆前方车道线,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,模板匹配方法识别车道线类型的具体步骤如下:
步骤8.1,提取原图像中下方作为车道线感兴趣区域,采取降噪、消除颜色分量进行预处理;
步骤8.2,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,二值化预处理之后的图像,采用模板匹配方法识别车道线类型。

说明书全文

基于计算机视觉的交叉口标志标线与信号灯智能感知方法

[0001]

技术领域

[0002] 本发明属于智慧交通安全预警技术领域,具体是一种基于计算机视觉的对交叉口标志标线与信号灯智能感知的方法。

背景技术

[0003] 科技迅速发展,人们对无人驾驶技术的呼声日益增大。无人驾驶汽车是通过车载传感系统感知道路环境,而无人驾驶的一项关键技术就在于对道路信号灯与标志牌的正确快速识别,自动规划行车路线并控制车辆到达预定目标的智能汽车,即道路状况的检测至关重要。
[0004] 同时加强道路的安全预警与事故防范是我们交通人的一项研究重点,机器视觉不仅仅是人眼的延伸,更通过实际检测和控制反馈,具备人脑判断安全的功能。提前预报车辆前方道路交通信号灯状态、标志牌与道路方向,有利于驾驶员做出正确及时的驾驶判断,利于安全、更加智能驾驶。

发明内容

[0005] 本发明的目的在于提供一种基于计算机视觉的交叉口标志标线与信号灯智能感知的方法,可辅助驾驶者识别交通标志牌及道路走向、交通信号、数字倒计时牌等目所能及且又十分重要的交通信息。
[0006] 实现本发明目的的技术解决方案为:一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法,其实现包括以下步骤:步骤1、结合电子地图信息,开启车载摄像机采集路口视频,并实时检测交通信息;
步骤2、把交叉口视频转换为路口图像
步骤3、对路口图像进行预处理。首先增强路口图像对比度,并转换为二值图像,然后应用形态学滤波,过滤图像中不符合形态学准则的小区域:
步骤4:使用颜色特征和形状特征定位分割交通标志牌,并基于改进的SIFT算法检测并识别。
步骤5:应用圆形度方法和背板颜色信息检测,排除非交通信号等的小区域,分离提取并识别圆形交通信号灯;
步骤6:根据信号灯的安装方法,分离箭头信号灯和数字倒计时器,训练SVM分类器识别箭头信号和倒计时器数值;
步骤7、把提取的信号灯和倒计时器图像从RGB空间转换到HSV空间,进而用颜色直方图对色调H进行分布统计,根据其分布特征来识别交通信号灯的类型;
步骤8:提取车辆前方车道线,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,模板匹配方法识别车道线类型;
步骤9:根据信号灯的安装方法,结合车道线标志牌蓝色底色和矩形形状分离车道线标志牌,并基于改进的SIFT算法检测并识别。
[0007] 如果检测出信号灯、标志牌、车道线中的任意一种,进行语音播报并屏幕显示,并返回步骤1;如果检测完毕未检测出信号灯、标志牌、车道线中的任意一种,则直接返回步骤1。
[0008] 本发明与现有技术相比,其显著优点:1、系统完备:该方法包含对各种交通标志信息的识别,包括信号灯、倒计时器、标志牌和标志线的识别,多重信息检测结果通过语音提醒和显示屏显示,可以实现交叉口对驾驶员的有效安全预警,保证驾驶员安全驾驶。2、使用范围广:该识别方法适应各地交通信号,无论是哪个地区的驾驶员,都能一边开车一边实时地检测各种交叉路口交通信息。
[0009] 3、便利灵活:该方法不需要对现有交通设施大量改动,在现有基础上通过交通标志检测,可用于便携式车载设备的研发。附图说明
[0010] 图1为本发明基于计算机视觉的交叉口标志标线与信号灯智能感知方法的流程示意图。

具体实施方式

[0011] 本发明基于计算机视觉的交叉口标志标线与信号灯智能感知方法,包括以下步骤:车载摄像头拍摄路况信息视频;分帧处理拍摄到的视频;对分帧图片预处理,排除非感兴趣区域;使用颜色特征和形状特征定位分割交通标志牌,并基于改进的SIFT算法检测并识别;基于圆形度和背景板信息提取交通信号灯;根据倒计时器与信号灯位置关系和其背景板特征分离信号灯倒计时器,使用SVM分类器识别倒计时器上的数字和箭头信号灯信息;用颜色直方图对色调H进行分布统计,识别交通信号灯颜色;提取车辆前方车道线,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,模板匹配方法识别车道线类型;根据信号灯的安装方法,结合车道线标志牌底色和形状分离车道线标志牌,并基于改进的SIFT算法检测并识别。最后将上述识别结果以语音播放和图像显示两种方式实时输出交叉口交通信号情况,提醒驾驶员交叉口通行规则,辅助驾驶员安全驾驶。
[0012] 下面结合附图对本发明作进一步说明。
[0013] 如附图所示,一种基于计算机视觉的交叉口标志标线与信号灯智能感知技术,其实现包括以下步骤:第1步,开启车载摄像机采集路口视频,并实时检测交通信息,具体如下:
每隔一定时间(1S-2S)检测一次直至完全驶过交叉口,利用车载摄像头采集交叉口信号灯的视频信息;
第2步,把交叉口视频转换为路口图像帧,帧率为25帧/s:
第3步,对图像进行增强对比度,转换为二值图像,然后应用形态学滤波,过滤图像中不符合形态学准则的小区域,具体步骤如下:
步骤3.1,使用tophat算法增强图片对比度,使图片的亮暗分明,利于信号灯与复杂背景分离;
步骤3.2,用迭代法寻找最优最优阈值,进行图像二值化处理;
步骤3.3,使用形态学中的膨胀、腐蚀、开算子和闭算子对图片处理,过滤有干扰的小区域或者有较大空洞的区域。
[0014] 第4步,使用颜色特征和形状特征定位分割交通标志牌,并基于改进的SIFT算法检测并识别,具体步骤如下:步骤4.1,在图像预处理的基础上,将图片转化为HSV空间,利用交通标志牌的红色、黄色和蓝色为基本特征,基于HSV颜色空间的H通道和S通道定位感兴趣区域;
步骤4.2,用canny算子检测预处理过后的图像边缘,采用计算圆形度、三形度综合面积特征来判别交通标志几何形状,并用面积特征排除其他干扰;
步骤4.3,采用改进的SIFT算法检测路口图片并识别交通标志牌,首先构建DoG尺度空间并检测尺度空间极值点,通过高斯微分函数来识别潜在的对于尺度和旋转不变的关键点;
步骤4.4,通过拟和三维二次函数以精确确定关键点的位置和尺度,由此确定一个SIFT特征区域。
[0015] 步骤4.5,通过构建特征点邻域梯度的模型,计算特征描述子,得到64个特征向量作为描述子并进行归一化处理,从而减少其他外界环境的影响。
[0016] 第5步,应用圆形度方法和背板颜色信息检测,排除非交通信号等的小区域,分离提取并识别圆形交通信号灯,具体步骤如下:步骤5.1,经过步骤三的预处理已经排除一些不符合形态学滤波的小区域,标记剩下的区域,并统计小区域像素个数作为区域近似面积,小区域边界上的像素个数作为近似区域周长,计算各个区域圆形度,将圆形度在[0.9,1.0]之间的小区域作为候选区域;
步骤5.2,判断小区域的圆形度后,需要利用交通信号灯背景板信息验证候选区域是否为信号灯。在圆形区域外接矩形,再在该外接矩形上下左右四个方向取四个与该矩形相等的邻接矩形,当这四个邻接矩形满足某个矩形为黑色区域,则认为找到感兴趣区域,并从原图中截取该区域的彩色图像,识别信号灯颜色。
[0017] 第6步,分离箭头信号灯和数字倒计时器,训练SVM分类器识别箭头信号和倒计时器数值,具体步骤如下:步骤6.1,根据信号灯的安装方法,倒计时器与信号灯之间存在一定的位置关系,依据此信息定位信号灯,结合主动发光特质和矩形黑色背景板提取分离箭头信号灯和倒计时器;
步骤6.2,使用支持向量机SVM识别箭头交通标志,事先通过大量箭头信号正样本和负样本训练分类器识别箭头方向,并用0至9这十个七段数码管数字训练;
步骤6.3,将倒计时器图像分为2个数字图像,对得到的数字图像归一化处理后,利用已经训练过的10个数字样本识别倒计时器内容。
[0018] 第7步,把提取的信号灯和倒计时器图像从RGB空间转换到HSV空间,进而用颜色直方图对色调H进行分布统计,根据其分布特征来识别交通信号灯的类型,具体步骤如下:步骤7.1,把从原路口图像中截取的交通信号灯区域图像从RGB空间转换到HSV空间,进而使用颜色直方图的统计量信息,对交通信号灯的类型进行识别,并写入文本文件中,以供其它程序调用;
步骤7.2,HSV色彩空间中,颜色信息主要由色调H区分,用颜色直方图对色调H进行统计,基本可以分开红、黄、绿颜色。三种颜色交通信号灯的色调H范围如下:
红色交通信号灯区域: ;
黄色交通信号灯区域: ;
绿色交通信号灯区域:。
[0019] 第8步,提取车辆前方车道线,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,模板匹配方法识别车道线类型的具体步骤如下:步骤8.1,提取原图像中下方作为车道线感兴趣区域,采取降噪、消除颜色分量等预处理;
步骤8.2,采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响,二值化预处理之后的图像,采用模板匹配方法识别车道线类型。
[0020] 第9步,基于改进的SIFT算法检测并识别车道线标志牌的具体如下:根据信号灯的安装方法,车道线标志牌安装与信号灯有一定位置关系,其为一种特殊标志牌,拥有特定底色和形状,结合车道线标志牌蓝色底色和矩形形状分离车道线标志牌,采取基于改进的SIFT算法检测并识别车道线标志牌。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈