首页 / 专利库 / 显示技术 / 边缘图像 / 基于全景视觉辅助系统的自动泊车停车位检测与识别系统

基于全景视觉辅助系统的自动泊车停车位检测与识别系统

阅读:173发布:2020-05-12

专利汇可以提供基于全景视觉辅助系统的自动泊车停车位检测与识别系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于全景视觉辅助系统的自动泊车 停车位 检测与识别系统,主要解决 现有技术 因停车位标记线不完全,内部存在阴影或障碍物而导致停车位检测与识别不准确的问题。其包括摄像头检测模 块 和识别模块,摄像头安装在车辆周围,拼接成能反映车辆周围信息的无缝全景图像;检测模块完成停车位标记线的检测并通过标记线周长完成在停车位标记线不完整下的停车位检测;识别模块通过计算停车位内部灰度变化差异值和障碍物高度完成在停车位内存在阴影或障碍物下的停车位识别,该检测和识别结果通过车载中控大屏显示。本发明实现了高效、准确的停车位检测与识别,为后续自动泊车中路径规划和路径 跟踪 控制提供了有效依据,可用于驾驶员寻找停车 位置 。,下面是基于全景视觉辅助系统的自动泊车停车位检测与识别系统专利的具体信息内容。

1.一种基于全景视觉辅助系统的自动泊车停车位检测与识别系统,包括:
全景拍摄单元,用于采集车身周围图像,并通过摄像机标定、畸变矫正、俯视图变换和图像拼接生成无缝拼接的360°俯视图,传送至嵌入式单元;
嵌入式单元,用于对全景拍摄模采集的全景图像进行处理,完成停车位的检测并判定停车位是否被占用,并将检测结果发送至车载电子控制单元ECU和车载中控显示屏;
车载中控显示屏,用于显示嵌入式模块所传送的停车位检测结果;
其特征在于:所述嵌入式单元包括:
接口模块,用于将嵌入式模块检测结果发送至车载电子控制单元ECU;
图像处理模块,其包括检测子模块和识别子模块,
该检测子模块,对无缝拼接的360°俯视图先进行图像预处理,再运用线段检测算法提取出俯视图中的停车位标记线,其实现如下:
1)计算图像中每个像素点的梯度值和梯度方向,并生成直线支撑区域;
2)对直线支撑区域进行矩形近似,计算矩形的中心点,方向的度,长度和宽度,并利用矩形表示线段;
3)基于亥姆霍兹原理,通过区域内总像素点数目n以及与矩形区域方向一致的像素点数目k计算出错误报警数NFA,当NFA小于完美噪声图像平均值ε,判定该直线支撑域矩形是否有意义,即为所检测到的直线;
4)在步骤3)所检测到的所有直线中,根据国标GB50067-2014,查找具有物理距离约0.2米的一条平行线段对;
5)在步骤4)所检测到的所有具有固定距离的平行线段对中,根据国标GB50067-2014,查找两条平行线段对之间的物理距离约为2.5米或5.5米的两条平行线段对,即为停车位的标记线;
并计算停车位标记线的周长,根据周长判定停车位标记线是否完整:如不完整则运用图像分割算法将停车位标记线补全,再判定是否为可选停车位;
该识别子模块,对检测子模块检测出的目标停车位,通过计算停车位内部灰度变化差异值,判定可选停车位内部是否存在阴影或障碍物,如存在障碍物再计算障碍物高度,从而判定可选停车位是否被占用;
图像显示子模块,用于将嵌入式单元可选停车位检测结果在车载中控显示屏中显示。
2.如权利要求1中所述的系统,其特征在于:全景拍摄单元包括4个摄像头,这些摄像头分别安装在车辆四周,即前置摄像头安装在车辆进气格栅车标下方,两侧摄像头安装车辆B柱上方,后摄像头安装在牌照架上方,分别采集车辆周围前后左右地面的实时图像。
3.如权利要求1中所述的系统,其特征在于:嵌入式单元检测子模块对无缝拼接的360°俯视图首先进行图像预处理,是将全景拍摄单元采集的彩色图像转化为灰度图像,再利用Canny边缘检测算法生成边缘图像,以提高图像处理效率。
4.如权利要求1中所述的系统,其特征在于:嵌入式单元检测子模块针对停车线标记,是利用全景拍摄单元中摄像头内外参数及停车标记线在图像坐标系和世界坐标系的映射关系,计算出停车位标记线各线段所围成的周长P1。
5.如权利要求1中所述的系统,其特征在于:嵌入式单元检测子模块对于停车位存在标记线不全情况下的车位准确检测,是先设置停车线周长的两个阈值,即高阈值Ph和平均阈值Pm,再将停车位标记线各线段所围成的周长P1与高阈值Ph和平均阈值Pm进行比较:
若停车线周长P1>Ph,则判定为停车位标记线完全;
若停车线周长Ph>P1>Pm,则判定为停车位标记线不完全,并利用图像分割技术将缺失的停车线补全,形成闭合矩形、完成车位检测。
6.如权利要求1中所述的系统,其特征在于:嵌入式单元识别子模块针对停车位存在阴影或障碍物场景下,识别停车位是否被占用,其实现如下:
首先,对检测子模块检测出的停车位利用停车位区域内部灰度直方图,计算出灰度变化差异值T1;
然后,设置车位未被占用时灰度变化差异平均阈值T,将停车位区域内部灰度变化差异值T1与车位未被占用时灰度变化差异平均阈值T进行比较:
若灰度变化差异值T1<T时,则停车位区域内无阴影或障碍物,判定为可选停车位;
若灰度变化差异值T1>T时,则停车位区域内有阴影或障碍物,需进行障碍物高度检测;
最后,利用图像分割算法对停车位区域内障碍物进行提取,并利用立体视觉算法计算出障碍物高度H1,并将计算出的障碍物高度H1与车辆平均最小离地间隙为H进行比较:
若障碍物高度H1<H时,则判定为车位未被占用;
若障碍物高度H1>H时,则判定为车位被占用。

说明书全文

基于全景视觉辅助系统的自动泊车停车位检测与识别系统

技术领域

[0001] 本发明属于计算机视觉处理技术领域,具体涉及一种自动泊车停车位检测与识别系统,可用于驾驶员寻找泊车位置

背景技术

[0002] 随着汽车保有量的快速上升,在城市场景中“停车难”的问题表现的越来越突出。驾驶员在泊车时,由于受到视野和车位狭小等客观条件的限制,以及技术和心理上的影响,极易发生擦碰事故,带来不必要的损失。一个有效的停车辅助系统,能帮助驾驶员快速、安全的完成泊车操作,自动泊车系统能够不借助驾驶员的操控自动完成安全、准确的泊车入位。
[0003] 目前,市场上常用的自动泊车停车位检测与识别方法是基于声波雷达的方法。然而,基于超声波雷达的方法要求目标停车位前后均停有车辆方可实现车位检测,且超声波雷达检测方法有着检测范围小、存在盲区等的缺点。针对这一问题,将超声波与机器视觉相结合的基于视觉的泊车辅助系统无疑是未来泊车辅助系统的发展方向。但是当前基于视觉的停车位检测与识别方法只针对普通场景下地面停车位标记线的检测,而忽略了目标停车位存在障碍物、阴影、标记线不全等复杂情况下的停车位检测问题,所以如何在较为复杂的场景下能更为准确、可靠地检测停车位是解决当前交通管理的急需问题。

发明内容

[0004] 本发明的目的在于针对上述现有技术的不足,提出基于全景视觉辅助系统的自动泊车停车位检测与识别系统,以提高驾驶员在复杂的场景下检测泊车位置的准确性和可靠性。
[0005] 实现本发明目的的技术思路是:通过安装在车身周围的四个广摄像头,生成车辆周围环境全景图像,再结合计算机视觉算法对车身周围停车位进行检测与识别,以识别存在障碍物、阴影、标记线不全这些特殊情况下,实现高效、准确的停车位检测与识别。
[0006] 根据上述思路,本发明基于全景视觉辅助系统的自动泊车停车位检测与识别系统,包括:
[0007] 全景拍摄单元,用于采集车身周围图像,并通过摄像机标定、畸变矫正、俯视图变换和图像拼接生成无缝拼接的360°俯视图,传送至嵌入式单元;
[0008] 嵌入式单元,用于对全景拍摄模采集的俯视图进行处理,完成停车位的检测并判定停车位是否被占用,并将检测结果发送至车载电子控制单元ECU和车载中控显示屏;
[0009] 车载中控显示屏,用于显示嵌入式单元所传送的停车位检测结果;
[0010] 其特征在于:所述嵌入式单元包括:
[0011] 接口模块,用于将嵌入式单元检测结果发送至车载电子控制单元ECU;
[0012] 图像处理模块,其包括检测子模块和识别子模块,
[0013] 该检测子模块,对无缝拼接的360°俯视图先进行图像预处理,再运用线段检测算法提取出俯视图中的停车位标记线,并计算停车位标记线的周长,根据周长判定停车位标记线是否完整:如不完整则运用图像分割算法将停车位标记线补全,再判定是否为可选停车位;
[0014] 该识别子模块,对检测子模块检测出的目标停车位,通过计算停车位内部灰度变化差异值,判定可选停车位内部是否存在阴影或障碍物,如存在障碍物再计算障碍物高度,从而判定可选停车位是否被占用;
[0015] 图像显示子模块,用于将嵌入式单元可选停车位检测结果在车载中控显示屏中显示。
[0016] 本发明具有如下优点或有益效果:
[0017] 本发明由于检测过程不依赖相邻汽车的停放姿势而仅依赖于车位停车线,在全景视觉辅助系统中,先利用LSD线段检测算法提取出俯视图中的停车位标记线,再通过计算停车位标记线各线段所围成的周长,提高了在停车位标记线不全的情况下停车位的检测准确度;此外由于本发明通过计算图像灰度差异值信息,先判定是否存在阴影或障碍物,如存在障碍物再判定障碍物高度,从而确定可选停车位是否被占用,有效解决了停车位存在障碍物、阴影情况下的停车位检测问题,实现了高效、准确的停车位检测与识别功能,为后续自动泊车中路径规划和路径跟踪控制提供了精度稳定性的保障。
[0018] 以下结合附图本发明更加充分的描述本发明的实施例。然而,所附附图仅用于说明和阐述,并不构成对本发明范围的限制。

附图说明

[0019] 图1为本发明中自动泊车停车位检测与识别系统的结构示意图;
[0020] 图2为本发明中检测子模块进行停车位检测的过程图;
[0021] 图3为本发明中识别子模块进行停车位识别的过程图。

具体实施方式

[0022] 一、技术原理
[0023] 本发明包括自动泊车停车位的检测和自动泊车停车位的识别,其中:
[0024] (一)自动泊车停车位的检测
[0025] 自动泊车停车位的检测包括图像预处理、停车标记线检测、停车标记线周长计算三个部分。
[0026] 所述图像预处理,包括图像灰度化和图像边缘检测,图像灰度化是指将摄像头采集的彩色图像转化为灰度图像,边缘检测是指检测识别出图像中亮度变化剧烈的像素点构成的集合,图像预处理过程主要用于减少图像中的噪声和外界的干扰,以简化后续处理过程。
[0027] 所述停车标记线检测,是在前期边缘检测基础上,运用LSD线段检测算法对停车位中的停车标记线进行提取,该算法通过对图像局部分析,得出直线的像素点集,再通过假设参数进行验证求解,将像素点集与误差控制集合合并,进行自适应控制误检的数量,进而提高检测的准确性,是一种可以在线性时间内提取出亚像素级别图像直线特征的算法,与传统的Hough变换进行直线检测的方法比较LSD算法在检测直线段方面,检测精度与计算效率得到了一个很好的平衡。
[0028] 根据国标GB50067-2014,在实际场景中,停车位的宽度约为2.5米,停车位标记线的宽度约为10厘米。将平行线之间的物理距离设置为w1,范围为0.1米至0.15厘米,两个平行线段对之间的物理距离设置为w2,范围为2.3至2.8米。在边缘图像中检测出满足平行线之间的物理距离为w1且两个平行线段对之间的物理距离为w2的两个平行线段对,完成停车标记线检测。
[0029] 所述停车标记线周长计算,是针对目标停车位存在标记线不全情况下的停车位准确检测,需利用全景拍摄单元中摄像机标定所得到的摄像机内外参数及图像坐标系与世界坐标系之间的映射关系,计算出停车标记线周长,通过设置停车线周长高阈值和平均阈值,将计算出的停车标记线周长和设置的阈值进行比较,来判定停车位标记是否完全:若判定停车标记线不完全,则利用图像分割技术将缺失的停车线补全,形成闭合矩形,完成车位检测。
[0030] (二)自动泊车停车位的识别
[0031] 自动泊车停车位的识别,包括停车标记线内部区域灰度差异值计算和停车标记线内部障碍物高度计算两部分。
[0032] 所述停车标记线内部区域灰度差异值计算,是由于停车位被占用时和未被占用时,停车标记线内部区域灰度值变化差异具有明显不同,需先计算出停车位标记线内部灰度变化差异值,再通过设置车位未被占用时灰度变化差异平均阈值,将停车位区域内部灰度变化差异值与车位未被占用时灰度变化差异平均阈值进行比较,以初步判定停车位内部是否被占用。
[0033] 所述停车标记线内部障碍物高度计算,是在初步判定停车位内部区域存在障碍物情况下,需进一步判断障碍物高度,来最终判定停车位是否被占用:
[0034] 首先,利用图像分割算法对停车位区域内障碍物进行提取,用最小外接矩形将障碍物在二维图像中显示出来,障碍物的顶点就是二维图像中最小外接矩形与障碍物之间的切点;
[0035] 然后,利用单目立体视觉算法计算出障碍物的顶点的三维坐标,从而计算出障碍物高度,通过设置车辆平均最小离地间隙阈值,将计算出障碍物高度与车辆平均最小离地间隙阈值进行比较,最终判定停车位是否被占用。
[0036] 二、系统结构
[0037] 以下结合附图1,对本项发明的实例进行阐述,但本发明的保护范围并不仅限于此。
[0038] 参照图1,本发明基于全景视觉辅助系统的自动泊车停车位检测与识别系统,包括全景拍摄单元、车载中控大屏、嵌入式处理单元和电源单元。所述嵌入式处理单元连接全景拍摄单元并与车载中控大屏双向链接,电源单元连接嵌入式处理单元、全景拍摄单元,全景拍摄单元连接嵌入式处理单元。其中:
[0039] 全景拍摄单元,包括4个170°广角摄像头,前摄像头安装在车辆进气格栅车标下方,两侧摄像头安装车辆B柱上方,后摄像头安装在牌照架上方,将拍摄到车辆前后左右四副广角图像处理生成显示车辆周围场景的360°无缝拼接的俯视图,并发送至嵌入式处理单元;
[0040] 嵌入式单元,主要负责完成对无缝拼接的俯视图的停车位检测与识别,并将检测结果发送至车载电子控制单元ECU,为后续自动泊车中路径规划和路径跟踪控制提供依据,同时,将检测结果通过图像显示模块发送至车载中控显示屏,其包括接口模块、图像显示模块、图像处理模块;
[0041] 接口模块,用于分别与全景拍摄单元、车载电子控制单元ECU、车载中控大屏、电源单元进行连接;
[0042] 图像处理模块,用于完成停车位的检测与识别功能,包括检测子模块和识别子模块。
[0043] 图像显示模块,用于将图像处理模块检测的结果发送至车载中控显示屏,为驾驶员显示出检测结果,以挑选目标停车位。
[0044] 参照图2,所述图像处理模块中的检测子模块,包括图像预处理、停车标记线检测、停车标记线周长计算三个部分。其中:
[0045] 图像预处理,包括图像灰度化和图像边缘检测,即先将彩色图像转化为灰度图像使图像灰度化,再采用Canny算子完成边缘检测,该Canny算子能够满足低错误率、高定位性、最小响应三个最优边缘检测评价标准;
[0046] 停车标记线线段提取,是在图像预处理的基础上,运用LSD线段检测算法对边缘图像中的线段进行提取,在提取出的线段中,根据国标GB50067-2014,检测出满足平行线之间的物理距离为w1且两个平行线段对之间的物理距离为w2的两个平行线段对,完成停车标记线检测。
[0047] 停车位标记线周长计算,是对于目标停车位存在标记线不全情况下的车位准确检测,利用全景拍摄单元中摄像头内外参数及停车标记线在图像坐标系和世界坐标系的映射关系,先计算出停车位标记线各线段所围成的周长P1,再设置停车线周长两个阈值,高阈值Ph和平均阈值Pm,将计算出停车位标记线各线段所围成的周长P1与设置的停车线周长两个阈值进行比较:
[0048] 若停车线周长P1>Ph,则判定为停车位标记线完全。
[0049] 若停车线周长Ph>P1>Pm,则判定为停车位标记线不完全;
[0050] 当判定为停车位标记线不完全时,利用图像分割技术将缺失的停车线补全,形成闭合矩形、完成车位检测。
[0051] 参照图3,所述图像处理模块中识别子模块,包括停车标记线内部区域灰度差异值和障碍物高度计算两个部分。其中:
[0052] 停车标记线内部区域灰度差异值计算,是根据停车标记线内部的灰度直方图,计算出停车标记线内部区域灰度差异值,即先设置车位未被占用时灰度变化差异平均阈值T,再将计算出的灰度差异值T1与未被占用时灰度变化差异平均阈值T进行比较:
[0053] 若灰度变化差异值T1>T,则判定为停车预期内无障碍物;
[0054] 若灰度变化差异值T1<T,则判定为停车预期内有障碍物;
[0055] 停车位标记线内部障碍物高度计算,是先当判定为停车预期内有障碍物时,对停车位内部利用图像分割算法标记出障碍物轮廓,利用车辆位移产生的视觉差,利用立体视觉算法计算出障碍物高度H1,通过设置车辆最小离地间隙再将计算出的障碍物高度H1与车辆离地最小间隙平均阈值H进行比较:
[0056] 若障碍物高度H1<H,则判定为车位未被占用,
[0057] 若障碍物高度H1>H,则判定为车位被占用。
[0058] 当系统识别为车位未被占用时,将识别结果通过嵌入式单元接口模块发送至车载电子控制单元ECU,以完成后续的自动泊车中路径规划和路径跟踪控制,同时,将识别结果通过嵌入式单元图像显示模块发送至车载中控大屏,为驾驶员显示出检测结果,以挑选目标停车位。
[0059] 当系统识别为车位被占用时,将识别结果发送至嵌入式单元图像处理模块检测子模块,重新进行新一轮的停车位检测。
[0060] 以上描述仅是本发明的一个具体事例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权要求保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈