首页 / 专利库 / 医疗设备 / 伽马相机 / 一种夜间车辆检测和跟踪的方法

一种夜间车辆检测和跟踪的方法

阅读:502发布:2020-05-25

专利汇可以提供一种夜间车辆检测和跟踪的方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种夜间车辆检测和 跟踪 的方法,包括如下步骤:(1)利用相机获取夜间前方灰度图像I,并对图像I作伽 马 校正处理;(2)进行sobel梯度变换得到梯度图像,并结合伽马校正后图像和梯度图像进行二值化分割;(3)对二值化分割后的图像进行处理得到疑似车灯目标;(4)计算疑似车灯区域的长度与宽度,并筛选出满足规则的车灯作为候选车灯;(5)对候选车灯进行两两 配对 ,得到车灯组;(6)对车灯组进行连续 帧 跟踪验证,保留验证成功的车灯组;(7)对车灯组进行矩形区域扩展,扩展后的矩形区域为车辆区域,完成车辆的检测与跟踪。本方法能在低 质量 的夜间图像中检测到 前方车辆 ,对获取的图像的 颜色 不受限制,并且能较稳定的跟踪到前车。,下面是一种夜间车辆检测和跟踪的方法专利的具体信息内容。

1.一种夜间车辆检测和跟踪的方法,其特征在于包括如下步骤:
(1)利用相机获取夜间前方灰度图像I,并对图像I作伽校正处理;
(2)对伽马校正后的图像进行sobel梯度变换得到梯度图像,并结合伽马校正后图像和梯度图像进行二值化分割;
(3)对二值化分割后的图像进行孔洞填充、形态学滤波与连通域搜索,得到疑似车灯目标;
(4)计算疑似车灯区域的长度与宽度,并根据筛选规则从疑似车灯中选出满足规则的车灯作为候选车灯;
(5)依次遍历候选车灯,对候选车灯进行两两配对,得到车灯组;
(6)对得到的车灯组进行连续跟踪验证,保留验证成功的车灯组;
(7)对步骤(6)所得的车灯组进行矩形区域扩展,扩展后的矩形区域为车辆区域,完成车辆的检测与跟踪。
2.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(1)对图像I作伽马校正处理将图像的高灰度区域对比度增强,方法如下:
将图像I归一化得到I归一化,设置伽马系数γ>1,伽马校正后的图像Igamma灰度值与I归一化的变换公式为:
γ
Igamma=255*(I归一化) ,r>1。
3.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(2)的二值化分割包括以下两步:
1)通过设定灰度阈值T1将灰度图像中亮度高的目标分割出来;
2)通过设定梯度阈值T2将梯度图像中梯度边缘值大的目标边缘分割出来。
4.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(4)计算疑似车灯区域的长度与宽度的方法如下:预先设定图像上路面P点的世界坐标(X,Y,
0),当车灯Q点离路面P点的高度为H(单位为米)时,Q点坐标(XH,YH,H)的计算公式为:
XH=(1-H/(l*sin(pitch)))*X
YH=(1-H/(l*sin(pitch)))*Y
其中,L为像平面到路面坐标的距离,单位为米,pitch是相机坐标的俯仰,车灯高度H取值为H∈[0.5,1],单位为米;当获得车灯矩形区域左上点世界坐标(LEFT,TOP,0),右下点世界坐标(RIGHT,BOTTOM,0),则车灯区域的真实长度=RIGHTH-LEFTH,真实宽度=BOTTOMH-TOPH。
5.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(4)的筛选条件如下:
(i)像素面积S∈[S1,S2],S1≤S2;
(ii)车灯区域的真实长度、真实宽度在[TH1,TH2]范围内,TH1≤TH2;
(iii)像素长宽比在[rate1,rate2]范围,其中rate1≤rate2;
(iv)像素面积与连通域外接矩形面积比>=rate3;
(v)不是车灯倒影。
6.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(5)对候选车灯进行两两配对,配对的规则如下:
(A)两个候选车灯位置垂直方向距离差(B)设置最小横向距离阈值TH4和最大横向距离阈值TH5范围,两个车灯之间的横向距离lhor满足lhor∈[TH4,TH5],TH4(C)要求相邻帧轨迹相似度>0.5,候选车灯Tail1、Tail2相邻帧轨迹
7.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(6)连续帧跟踪验证的步骤如下:
(a)将车灯组中左、右灯分别与全局新检的候选灯进行匹配计算,相互匹配则跟踪成功,标示为1,否则跟踪失败,标示为0,根据车灯组的左、右灯跟踪情况分为“11”、“10”、“01”、“00”;
(b)视车灯组跟踪的各种情况进行分别处理。
8.根据权利要求7所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述的视车灯组跟踪的各种情况进行分别处理,具体如下:
(I)“11”情况:车灯组跟踪成功;
(II)“10”情况:右灯没有跟踪到,根据左灯位置设置右框位置启动重检过程;重检成功跟踪成功,否则标记为“00”;
(III)“01”情况:左灯没有跟踪到,根据右灯位置设置左框位置启动重检过程;重检成功跟踪成功,否则标记为“00”;
(IV)“00”情况:将车灯组kalman预测区域的图像和前一帧车灯组区域图像进行模板匹配,匹配成功认为车灯组跟踪成功,否则跟踪失败。
9.根据权利要求1所述的一种夜间车辆检测和跟踪的方法,其特征在于:所述步骤(7)矩形区域扩展的方法为根据车灯组位置TailRect(xt,yt,wt,ht),构建正方形区域CarRect(xt,yt-wt/2,wt,wt)。

说明书全文

一种夜间车辆检测和跟踪的方法

技术领域

[0001] 本发明涉及图像处理领域,尤其涉及一种夜间车辆检测和跟踪的方法。

背景技术

[0002] 目前驾驶辅助系统的研究越来越多,白天的车辆检测研究日趋成熟,夜间车辆检测是新的热点,但是夜间由于照明不均匀,车身大部分信息模糊,只有车灯比较明显,所以大部分夜间车辆检测算法都是基于车灯的检测。
[0003] 专利[201310030701]是基于彩色HSV图像进行车灯检测,根据尾灯模型筛选。专利[200910244106]则通过相邻的图像差分来获得感兴趣区域,通过预设一个车辆检测区域与感兴趣区域对比来检测车辆。专利[201210523623]利用彩色图像中尾灯颜色和对称性确定感兴趣区域,然后采用adaboost算法进行分类。
[0004] 夜间车辆检测率低,主要是由于夜间车辆特征减少、形状特征不明显。对于普通非夜视摄像头,在夜间采集的前方道路图像存在曝光过度情况,而且颜色特征不准确,所以车辆的检测只能根据车灯特征来确定。

发明内容

[0005] 本发明为克服上述的不足之处,目的在于提供一种夜间车辆检测和跟踪的方法,通过对夜间图像进行伽校正和梯度变换处理,对处理后图像进行二值化分割,对分割结果处理得到疑似车灯目标,进而得到车灯组,最后对车灯组进行连续帧跟踪验证并进行矩形区域扩展,得到车辆区域。本方法能在低质量的夜间图像中检测到前方车辆,对获取的图像时彩色还是黑白图像不受限制,并且能较稳定的跟踪到前车。
[0006] 本发明是通过以下技术方案达到上述目的:一种夜间车辆检测和跟踪的方法,包括如下步骤:
[0007] (1)利用相机获取夜间前方灰度图像I,并对图像I作伽马校正处理;
[0008] (2)对伽马校正后的图像进行sobel梯度变换得到梯度图像,并结合伽马校正后图像和梯度图像进行二值化分割;
[0009] (3)对二值化分割后的图像进行孔洞填充、形态学滤波与连通域搜索,得到疑似车灯目标;
[0010] (4)计算疑似车灯区域的长度与宽度,并根据筛选规则从疑似车灯中选出满足规则的车灯作为候选车灯;
[0011] (5)依次遍历候选车灯,对候选车灯进行两两配对,得到车灯组;
[0012] (6)对得到的车灯组进行连续帧跟踪验证,保留验证成功的车灯组;
[0013] (7)对步骤(6)所得的车灯组进行矩形区域扩展,扩展后的矩形区域为车辆区域,完成车辆的检测与跟踪。
[0014] 作为优选,所述步骤(1)对图像I作伽马校正处理将图像的高灰度区域对比度增强,方法如下:
[0015] 将图像I归一化得到I归一化,设置伽马系数γ>1,伽马校正后的图像Igamma灰度值与I归一化的变换公式为:
[0016] Igamma=255*(I归一化)γ,r>1。
[0017] 作为优选,所述步骤(2)的二值化分割包括以下两步:
[0018] 1)通过设定灰度阈值T1将灰度图像中亮度高的目标分割出来;
[0019] 2)通过设定梯度阈值T2将梯度图像中梯度边缘值大的目标边缘分割出来。
[0020] 作为优选,所述步骤(4)计算疑似车灯区域的长度与宽度的方法如下:
[0021] 预先设定图像上路面P点的世界坐标(X,Y,0),当车灯Q点离路面P点的高度为H(单位为米)时,Q点坐标(XH,YH,H)的计算公式为:
[0022] XH=(1-H/(l*sin(pitch)))*X
[0023] YH=(1-H/(l*sin(pitch)))*Y
[0024] 其中,L为像平面到路面坐标的距离,单位为米,pitch是相机坐标的俯仰,车灯高度H取值为H∈[0.5,1],单位为米;当获得车灯矩形区域左上点世界坐标(LEFT,TOP,0),右下点世界坐标(RIGHT,BOTTOM,0),则车灯区域的真实长度=RIGHTH-LEFTH,真实宽度=BOTTOMH-TOPH。
[0025] 作为优选,所述步骤(4)的筛选条件如下:
[0026] (i)像素面积S∈[S1,S2],S1≤S2;
[0027] (ii)车灯区域的真实长度、真实宽度在[TH1,TH2]范围内,TH1≤TH2;
[0028] (iii)像素长宽比在[rate1,rate2]范围,其中rate1≤rate2;
[0029] (iv)像素面积与连通域外接矩形面积比>=rate3;
[0030] (v)不是车灯倒影。
[0031] 作为优选,所述步骤(5)对候选车灯进行两两配对,配对的规则如下:
[0032] (A)两个候选车灯位置垂直方向距离差
[0033] (B)设置最小横向距离阈值TH4和最大横向距离阈值TH5范围,两个车灯之间的横向距离lhor满足lhor∈[TH4,TH5],TH4
[0034] (C)要求相邻帧轨迹相似度>0.5,候选车灯Tail1、Tail2相邻帧轨迹 的[0035] 作为优选,所述步骤(6)连续帧跟踪验证的步骤如下:
[0036] (a)将车灯组中左、右灯分别与全局新检的候选灯进行匹配计算,相互匹配则跟踪成功,标示为1,否则跟踪失败,标示为0,根据车灯组的左、右灯跟踪情况分为“11”、“10”、“01”、“00”;
[0037] (b)视车灯组跟踪的各种情况进行分别处理。
[0038] 作为优选,所述的视车灯组跟踪的各种情况进行分别处理,具体如下:
[0039] (I)“11”情况:车灯组跟踪成功;
[0040] (II)“10”情况:右灯没有跟踪到,根据左灯位置设置右框位置启动重检过程;重检成功跟踪成功,否则标记为“00”;
[0041] (III)“01”情况:左灯没有跟踪到,根据右灯位置设置左框位置启动重检过程;重检成功跟踪成功,否则标记为“00”;
[0042] (IV)“00”情况:将车灯组kalman预测区域的图像和前一帧车灯组区域图像进行模板匹配,匹配成功认为车灯组跟踪成功,否则跟踪失败。
[0043] 作为优选,所述步骤(7)矩形区域扩展的方法为根据车灯组位置TailRect(xt,yt,wt,ht),构建正方形区域CarRect(xt,yt-wt/2,wt,wt)。
[0044] 本发明的有益效果在于:本方法能在低质量的夜间图像中检测到前方车辆,对获取的图像时彩色还是黑白图像不受限制,并且能较稳定的跟踪到前车。附图说明
[0045] 图1是本发明方法的步骤流程示意图。

具体实施方式

[0046] 下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此:
[0047] 实施例:如图1所示,一种夜间车辆检测和跟踪的方法,包括如下步骤:
[0048] (1)利用相机获取夜间前方灰度图像I,将图像进行伽马校正,使图像的高灰度区域对比度得到增强;
[0049] 将原灰度图像I归一化得到I归一化,设置伽马系数γ>1,伽马校正后的图像Igamma灰度值与I归一化的变换公式为:
[0050] Igamma=255*(I归一化)γ,r>1 (1)
[0051] (2)对伽马校正后的图像进行sobel梯度变换得到梯度图像,结合伽马校正后图像和梯度图像,通过设定灰度阈值T1可以将伽马校正后的图像中亮度高的目标分割出来;通过设定梯度阈值T2可以将梯度图像中梯度边缘值大的目标边缘分割出来,从而完成二值化分割。
[0052] (3)对二值化图像进行孔洞填充和形态学腐蚀,并对图像进行连通域搜索,得到N个疑似车灯目标{L1,...,LN},车灯区域表示为Li=(x,y,w,h),i={1,...,N}。
[0053] (4)首先设置疑似车灯离路面高度,计算车灯区域的长度、宽度,然后筛选疑似车灯;已知路面坐标系中路面上P点的世界坐标(X,Y,0),离路面P点高度H(单位为米)的Q点坐标(XH,YH,H)的计算公式为:
[0054] XH=(1-H/(l*sin(pitch)))*X (2)
[0055] YH=(1-H/(l*sin(pitch)))*Y (3)
[0056] 其中,l为像平面到路面坐标的距离,单位为米,pitch是相机坐标的俯仰角。设置车灯高度H∈[0.5,1](单位为米),根据公式(2)计算车灯区域的长度,根据公式(3)计算车灯区域的宽度。
[0057] 所述的筛选的条件为:
[0058] 1)像素面积S∈[S1,S2],S1≤S2;
[0059] 2)车灯区域的真实长、宽在[TH1,TH2]范围内,TH1≤TH2;
[0060] 3)像素长宽比在[rate1,rate2]范围,其中rate1≤rate2;
[0061] 4)像素面积与连通域外接矩形面积比>=rate3;
[0062] 5)不是较明显的车灯倒影。判断车灯倒影的具体过程为:对竖直型疑似灯光的矩形区域LampRect(x0,y0,w,h),向上设置upRect(x0,y0-2*h,w,2*h),对upRect做平投影,截取投影序列连续段,计算连续段的累加和WhiteSum,得到rate4=WhiteSum/像素面积,若rate4>0.8表示LampRect是灯光倒影而非车灯。
[0063] (5)依次遍历候选车灯目标,每个车灯都与其他车灯仅配对比较一次,配对成功的构成车灯组。
[0064] 所述的配对规则如下:
[0065] (A)两候选车灯位置垂直方向距离差
[0066] (B)根据标定设置最小横向距离阈值TH4和最大横向距离阈值TH5范围,两车灯之间横向距离lhor满足lhor∈[TH4,TH5],TH4
[0067] (C)要求轨迹相似度>0.5,相邻帧轨迹即相邻帧移动的像素距离,候选车灯Tail1、Tail2相邻帧轨迹 的
[0068] (6)对得到的车灯组进行连续帧跟踪验证,保留验证成功的车灯组,具体如下:
[0069] 1)在下一帧图像中,车灯组中左、右灯,分别与全局新检的候选灯进行匹配计算,相互匹配则跟踪成功,标示为1,否则跟踪失败,标示为0,根据车灯组的左、右灯跟踪情况分为“11”、“10”、“01”、“00”;
[0070] 2)车灯组跟踪各种情况分别处理:
[0071] i)“11”情况:车灯组跟踪成功;
[0072] ii)“10”情况:右灯没有跟踪到,根据左灯位置设置右框位置,然后启动重检过程。重检成功跟踪成功,否则标记为“00”。
[0073] iii)“01”情况:左灯没有跟踪到,根据右灯位置设置左框位置,然后启动重检过程。重检成功跟踪成功,否则标记为“00”。
[0074] iv)“00”情况:将车灯组kalman预测区域的图像和前一帧车灯组区域图像进行模板匹配,匹配成功认为车灯组跟踪成功,否则跟踪失败。
[0075] (7)对于连续n帧跟踪成功的车灯组,认为是正确的车辆尾灯,并根据车灯组位置TailRect(xt,yt,wt,ht),构建正方形区域CarRect(xt,yt-wt/2,wt,wt),作为车辆区域;完成车辆的检测与跟踪。
[0076] 以上的所述乃是本发明的具体实施例及所运用的技术原理,若依本发明的构想所作的改变,其所产生的功能作用仍未超出说明书及附图所涵盖的精神时,仍应属本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈