影像动态融合方法与装置

申请号 CN201310314054.0 申请日 2013-07-24 公开(公告)号 CN104166973B 公开(公告)日 2017-04-12
申请人 财团法人工业技术研究院; 发明人 林哲聪; 林昱成;
摘要 本 发明 公开一种影像动态融合方法与装置。该影像动态融合方法包括:接收一车辆的周围车辆的广播信息;根据该广播信息判断该车辆的周围车辆中是否有一邻近车辆与该车辆位于同一车道;判断该邻近车辆是否过近且遮蔽该车辆的视线,如果是,则在影像中将该邻近车辆进行透明化或半透明化处理。
权利要求

1.一种影像动态融合方法,包括:
接收一车辆的周围车辆的广播信息;
根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆;
判断该邻近车辆中是否有遮蔽该车辆视线的一前方车辆;以及
当该前方车辆与该车辆距离相近时,则将该前方车辆进行透明化处理,
其中该透明化处理包括:
由该前方车辆与该车辆所提取到的影像中的特征点,来求取各自的共轭点与描述两共轭点附近像素比例关系的比例因子;
在该前方车辆的影像的共轭点附近提取影像,并以该比例因子将提取后的影像缩小;
将缩小后的影像与后方影像中共轭点附近,至一边界内的像素作融合。
2.如权利要求1所述的影像动态融合方法,还包括:
应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系,该两对应点的关系为;对应点于前方画面中的坐标为p,在后方画面上的坐标为p’,F为基本矩阵(Fundamental Matrix)。
3.如权利要求2所述的影像动态融合方法,其中该算法为一尺度不变特征转换算法或一加速强健特征算法。
4.如权利要求1所述的影像动态融合方法,还包括:
求解一基本矩阵以及该前方车辆与该车辆影像中各自的共轭点;
以及两共轭点附近的像素间的比例关系;
以该比例关系由该前方车辆影像提取像素并与该车辆影像中构成该前方车辆车身的像素,以该共轭点为中心相融合,该融合的边界来自一车辆检测算法。
5.如权利要求1所述的影像动态融合方法,其中该前方车辆与该车辆的影像还可由多个影像传感器所提取的影像所构成。
6.如权利要求5所述的影像动态融合方法,还包括:
由多个影像上共同的特征取得这些影像间彼此的几何关系;
由该几何关系组合或迭加这些影像,以构成该前方车辆与该车辆的影像。
7.如权利要求5所述的影像动态融合方法,其中这些影像传感器中的一个为一红外线影像提取装置、一光电耦合元件或一互补式金属化物半导体光学感测元件或其任意组合。
8.如权利要求5所述的影像动态融合方法,其中若这些影像传感器安置于该前方车辆与该车辆上,则这些影像通过一无线通信彼此间进行互相传递。
9.如权利要求8所述的影像动态融合方法,其中该广播信息或这些影像由该无线通信进行传输,该无线通信包括车间专用短程通信系统WAVE/DSRC、Wi-Fi、WiMax、LTE。
10.如权利要求4所述的影像动态融合方法,其中该比例关系由一线性或非线性方程式近似。
11.如权利要求4所述的影像动态融合方法,其中该比例关系的坐标系可由该车辆影像的共轭点作为坐标中心或该后方影像中的任一坐标点。
12.如权利要求1所述的影像动态融合方法,其中该广播信息包括该周围车辆的影像与定位信息。
13.如权利要求1所述的影像动态融合方法,其中该透明化程度可为完全透明、半透明或介于完全透明与完全不透明之间。
14.一种影像动态融合装置,包括:
一提取单元,提取一车辆的周围影像;
一接收单元,接收该车辆的周围车辆的广播信息及提取单元提取该车辆的周围影像;
一处理单元,耦接该接收单元与该提取单元,该处理单元根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆,且判断该邻近车辆中是否有遮蔽该车辆的视线以及当一前方车辆与该车辆距离相近时,则将该前方车辆进行透明化处理,
其中该处理单元进行该透明化处理还包括:
由该前方车辆与该车辆所提取到的影像中的特征点,来求取各自的共轭点与描述两共轭点附近像素比例关系的比例因子;
在该前方车辆的影像的共轭点附近提取影像,并以该比例因子将提取后的影像缩小;
将缩小后的影像与后方影像中共轭点附近,至一边界内的像素作融合。
15.如权利要求14所述的影像动态融合装置,该处理单元还应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系。
16.如权利要求14所述的影像动态融合装置,该处理单元还包括:
求解一基本矩阵以及该前方车辆与该车辆影像中各自的共轭点;
以及两共轭点附近的像素间的比例关系;
以该比例关系由该前方车辆影像提取像素并与该车辆影像中构成该前方车辆车身的像素,以该共轭点为中心相融合,该融合的边界来自一车辆检测算法。
17.如权利要求16所述的影像动态融合装置,其中该前方车辆与该车辆的影像还可由该提取单元所提取的影像所构成。
18.如权利要求16所述的影像动态融合装置,其中该处理单元还包括:
由多个影像上共同的特征取得这些影像间彼此的几何关系;
由该几何关系组合或迭加这些影像,以构成该前方车辆与该车辆的影像。
19.如权利要求14所述的影像动态融合装置,还包括:
一显示装置,耦接该处理单元,用以显示已执行透明化处理的该前方车辆。
20.如权利要求19所述的影像动态融合装置,其中该显示装置包括抬头显示器、屏幕或其他显像装置。
21.如权利要求14所述的影像动态融合装置,其中该提取单元为一影像感测装置,该影像感测装置包括摄影机、照相机或其他摄像装置。
22.如权利要求21所述的影像动态融合装置,其中该影像感测装置为一红外线影像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件或其任意组合。
23.如权利要求14所述的影像动态融合装置,其中本车接收单元接收提取单元提取前方车辆1的影像,及前方车辆1提取前方车辆2的影像,该影像经由无线通信传输至本车接收单元。
24.如权利要求14所述的影像动态融合装置,其中本车接收单元接收前方车辆2煞车或前方车辆1与前方车辆2发生碰撞的警示作用,该警示作用是经由无线通信传输至本车的接收单元。

说明书全文

影像动态融合方法与装置

技术领域

[0001] 本公开涉及影像动态融合方法与装置。

背景技术

[0002] 在行车过程中,即便同一车道内的车辆皆装载摄影机且两车辆皆通过车间通信装置彼此分享各自车辆所提取的影像,后方车辆的驾驶者在与前方车辆过近因而造成视觉上的盲点时,该驾驶者既使观看前方车辆所提取的影像亦无助于提升安全性,因而容易产生连环追撞,其原因在于后方车辆驾驶者的视线被前车所阻档,一旦前方车辆因为突发状况而紧急煞车,驾驶者往往因为反应不及而造成与前方车辆的追撞。追根究底,这种意外产生的原因在于后方车辆驾驶者的视野受限,一旦有突发状况,往往会因为来不及反应,而与前车产生碰撞意外。
[0003] 在主动安全系统的协同安全应用中,现虽有一技术提出,以车间通信的方式接收它车的全球卫星定位系统(Global Positioning System,GPS)的定位结果以避免碰撞的可能,但是一旦可能造成本车危害的它车位于本车的盲点,驾驶者将难以理解此系统所产生的警示是否具有立即性的危害。在另一使用车间通信的车辆追撞警告系统中,一旦某前车紧急煞车,该信息将一路传递给后方车辆,以避免连环追撞,然而,如果发送紧急煞车信号的前车无法为本车所直接观看到,本车驾驶者将难以做出适当的紧急反应。更有另一技术提出在监控系统当中,通过拼接多个摄影机所提取的多张影像,所产生的一全域的影像以方便监控人员在单一影像中监控超出单一摄影机所能拍摄到的范围。然而,该拼接技术并无法在前后车辆各自具备摄影机与车间通信装置的情境下,消除后方驾驶者视觉上的盲点。
[0004] 故而,本公开提出的影像动态融合方法与装置,其利用同轴几何分析技术,达成动态影像融合的功效,也就是利用不具视线上盲点的影像消除具视线上盲点的影像中的盲点像素。在行车安全警示系统的应用中,其可将前车所提取的影像与本车所提取的影像予以融合,使得造成本车盲点的前车于影像中变成(半)透明,本车驾驶者由于可直接观看前方路况,不仅行车过程更为轻松与自在,安全性也可大幅提升。附图说明
[0005] 为了可详细地了解到本发明上述的参考特性的手段,以至于本发明一更特别的描述,即上述简短地摘要,系可参考实施例来获得,其某些实施例绘示在附加的附图中。然而,所注意的是,附加的附图仅绘示本发明典型的实施例,且因此其并不会限制其范围,本发明可容许其他等效的实施例。
[0006] 图1是显示根据本公开的一实施例的一影像动态融合方法。
[0007] 图2是显示根据本公开的一实施例的一影像动态融合装置。
[0008] 图3、图4显示应用本公开的实际例子。
[0009] 【符号说明】
[0010] 21 接收单元
[0011] 22 提取单元
[0012] 23 处理单元
[0013] 24 显示单元
[0014] s101~s104 步骤

具体实施方式

[0015] 图1是显示根据本公开的一实施例的一影像动态融合方法,该方法包括:接收一车辆的周围车辆的广播信息(步骤s101);根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆(步骤s102);判断该邻近车辆中是否有遮蔽该车辆视线的一前方车辆(步骤s103);以及当该第一前方车辆与该车辆距离相近时,则将该前方车辆进行透明化处理(步骤s104)。前述的该广播信息包括该周围车辆的影像与定位信息,且前述的透明化程度可为完全透明、半透明或介于完全透明与完全不透明之间。
[0016] 前述透明化处理的方法还包括:由该前方车辆与该车辆所提取到的影像中的特征点,来计算一描述两影像间像素关系的基本矩阵,以取得各自的共轭点与描述两共轭点附近像素比例关系的比例因子;于该前方车辆影像的共轭点附近提取影像,并以该比例因子将提取后的影像缩小;将缩小后的影像以该车辆影像的共轭点为中心至一车辆算法所检测出该前方车辆的边界内像素作融合。该透明化处理方法还包括:应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系,且该算法为一尺度不变特征转换算法或一加速强健特征算法。
[0017] 前述的前方车辆与该车辆的影像更可由多个影像传感器所提取的影像所构成,且这些影像传感器中的一个为一红外线影像提取装置、一光电耦合元件或一互补式金属化物半导体光学感测元件或其任意组合。如果这些影像传感器安置于该前方车辆与该车辆上,则这些影像通过一无线通信彼此间进行互相传递。该广播信息或这些影像由该无线通信进行传输,该无线通信包括车间专用短程通信系统(WAVE/DSRC)、Wi-Fi、WiMax、LTE。
[0018] 该影像动态融合方法可由多个影像上共同的特征取得这些影像间彼此的几何关系以及由该几何关系组合或迭加这些影像,以构成该车辆影像中的透明化该前方车辆。前述的比例关系由一线性或非线性方程式近似,且该比例关系的坐标系可由该车辆影像的共轭点或该后方影像中的任一像素作为坐标中心。
[0019] 图2是显示根据本公开的一实施例的一影像动态融合装置,该影像动态融合装置包括:一提取单元22,提取该车辆的周围影像,且该提取单元可为影像感测装置,该影像感测装置包括摄影机、照相机或其他摄像装置;一接收单元21,接收一车辆的周围车辆的广播信息及提取单元22提取该车辆的周围影像;一处理单元23,耦接该接收单元与该提取单元,该处理单元根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离
相近的邻近车辆,且判断该邻近车辆中是否有遮蔽该车辆视线的一前方车辆以及当该第一前方车辆与该车辆距离相近时,则将该前方车辆进行透明化处理;以及一显示单元24,耦接该处理单元23,用以显示已执行透明化处理的该前方车辆,且该显示单元可为抬头显示器、屏幕或其他显像装置。前述的该广播信息包括该周围车辆的影像与定位信息,且前述的透明化程度可为完全透明、半透明或介于完全透明与完全不透明之间。前述的影像感测装置可为一红外线影像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件或其任意组合。
[0020] 前述透明化处理的方法还包括:由该前方车辆与该车辆所提取到的影像中的特征点,来取得各自的共轭点与描述两共轭点附近像素比例关系的比例因子;于该前方车辆影像的共轭点附近提取影像,并以该比例因子将提取后的影像缩小;将缩小后的影像以该车辆影像的共轭点为中心至一车辆算法所检测出该前方车辆的边界内像素作融合。该透明化处理方法还包括:应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系,且该算法为一尺度不变特征转换算法或加速强健特征(Speeded Up Robost Features,SURF)算法。
[0021] 本公开是利用影像分析算法来推断两摄影机的相对姿态、辨识前方车辆在后方车辆所提取的影像中的位置并将前方车辆所提取的影像经过适当的大小比例调整以抺除后方车辆所提取影像中,前方车辆所造成的盲点,使得后方车辆的驾驶者得以在屏幕看到透明或半透明的前方车辆。
[0022] 图3与图4显示应用本公开的实际例子,在图3所示,本车、前方车辆1与前方车辆2皆设置有本公开的影像融合装置,本车提取单元22提取前方车辆1的影像,及前方车辆1提取前方车辆2的影像,经由无线通信传输至本车的接收单元21,如前方车辆2煞车或前方车辆1与前方车辆2发生碰撞,前方车辆1或前方车辆2亦会将警示作用经由无线通信传输至本车的接收单元21,且图3与图4的具体的流程为先使用尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)算法或加速强健特征(Speeded Up Robost Features,SURF)算法或任何可以求取两影像间对应点的算法,来找出后方车辆所提取画面中的多个特征点与前方车辆所提取画面中的多个像素特征点(以进行特征点匹配),以及此两张画面中的对应点(Correspondence),接着,通过对应点,两画面间彼此的关系可由旋转(Rotation)矩阵与平移(Translation)矩阵彼此描述,假设同一个对应点在前方画面中的坐标为p,在后方画面上的坐标为p’,则此两点的关系为
[0023] p′tFp=0……………………………………………………………(1)
[0024] 也就是描述每对对应点间的关系为基本矩阵(Fundamental Matrix,F),求解F的方法可为Calibrated Five Point Algorithm,其细节可参考下列论文D.Nister.An Efficient Solution to the Five-Point Relative Pose Problem.IEEE Trans.Pattern Analy.Machine Intell.,pages756–770,2004.或是Normalized Eight Point Algorithm,其细节可参考下列论文R.I.Hartley.In Defense of the Eight-Point Algorithm.IEEE Trans.Pattern Analy.Machine Intell.,19,1997.即可求出两画面上像素间彼此关系的F。
[0025] 然而以上两算法其代表最低只需五组对应点或八组对应点即可求解F,
[0026] 但在实际应用中,很有可能因为随机选择的五组点或八组点恰好为噪声所干扰却又被视为对应点,因此,欲加强F估算的正确性与强健性,我们使用随机抽样一致算法(Random Sample Consensus,RANSAC)来找出基于统计的观点,更为适当的F,其运作的方式为假定重复随机选取的五组或八组的对应点中,至少有一组其不为噪声所污染,因此重复的选取五组或八组点以求解F,每得到一次F,即将每组对应点代入P′tFp,并以平均值或中间值来代表该次所有点代入P′tFp后的结果,而对应最小平均值或中间值的F,即为随机抽样一致算法所估计的最佳F。最后,使用奇异值分解(Singular Value Decomposition),即可从F解出e′(后方影像的共轭点)与e(前方影像的共轭点)。
[0027] 接着,如图3与4所示,相同的背景,对于前方车辆1的(前方)摄影机与本车(后方)摄影机来说,后方摄影机理论上所提取到的物件影像相较于该前方车辆1的摄影机来说应该会较小,此大小比例的估算也可由前后影像间的对应点来求得,例如,可使用线性回归来求取此比例因子。此外,由于前方车辆共轭点附近的像素,将与本车(后方)影像共轭点附近的像素混合以去除本车(后方)影像中前方车辆1所造成的盲点,因此,此比例因子将以共轭点为中心,并以极坐标来模型化回归的方程式,也就是在此需要分别估算距离与度。然而,由于对应点有可能为噪声所干扰,因此,我们亦使用随机抽样一致算法,搭配最小平方法,即可找出描述两影像各自的像素相对于共轭点的比例关系,其实现方法为,假设共有m组对应点,其中后方影像内的对应点的坐标为Xi′,其相对于共轭点的向量Xi′-e′可以极坐标(ρ′i,θ′i)予以表示,同样的,前方影像内的对应点的坐标Xi,其相对于共轭点的向量Xi-e,也可以(ρi,θi)予以表示,接着,重复k次最小平方法,每次皆随机选取n组对应点,其中2
[0028] 而描述前后两影像极坐标角度变化关系的一组最佳斜率Aj与最佳截距Bj,也可使用同样方法来求得,也就是此笔斜率与截距将使得 最小。
[0029] 由于车辆检测结果为已知,所以前方车辆1于本车(后方)车辆所提取的影像中所造成的盲点的范围亦为已知,接着,位于该范围内的像素,通过求取其以共轭点为中心的极坐标位置(ρ′,θ′)输入
[0030] ρ=(ρ′+b)/a……………………………………………………………(2)
[0031] θ=(θ′+B)/A………………………………………………………………(3)
[0032] 即可获得每个位于后方车辆所提取的影像中,前方车辆所占据的位置内,相对于e′(共轭点),位于(ρ′,θ′)的像素,该以前方车辆所提取的影像中,相对于e(共轭点)位于极坐标(ρ,θ)的那一个像素来予以填补。
[0033] 值得一提的是,为了避免前方车辆完全变成隐形,本实施例,使用一透明度来给予每一用于填补的像素的权重α(ρ′)(介于0与1之间),也就是后方车辆所提取的影像I′(ρ′,θ′)其通过此权重来决定后方车辆所提取的影像中,每一前方车辆占据像素与其对应用于透明化前方车辆的像素为
[0034] I′(ρ′,θ′)=(1-α(ρ′))I(ρ(ρ′),θ(θ′))+α(ρ′)I′(ρ′,θ′)…………………………(4)
[0035] 其中α(ρ′)∈[0,1]且ρ′∝α(ρ′),也就是说ρ′愈小,则α(ρ′)也愈小,ρ′愈大,则α(ρ′)也愈大,因此,融合后的影像是在本车(后车)所提取的影像中,将前方车辆1所占据的像素依(6)式来从前方车辆1提取的影像中提取像素,并以α(ρ′)此权重予以融合,后车所提取的影像中,愈接近e′的像素,也就是ρ′愈小,则愈使用前方车辆1所提取的影像,愈离开e′,也就是ρ′愈大,则愈使用后车所提取的影像。
[0036] 在本申请实施例中,前方车辆广播影像的装置,以及后车接受广播信号,除了可使用WAVE/DSRC,这类车间通信的装置外,亦有可能使用Wi-Fi、WiMAX、LTE或是任何能实现车间通信的传输装置,广播的信号除了影像外,还必须有前车的GPS定位信息,原因在于,只有在确定前车与本车位于同一车道,具距离过近时,此透视系统才有启动的必要。
[0037] 在实际应用上,除了可输出融合过的半透明前车的影像于屏幕上,供驾驶者观看外,也可使用抬头显示器,将前车的影像投影至档玻璃上,供驾驶者直接观看融合后,也就是(半)透明的前车。
[0038] 此外,本实施例可安装于任何有运算能的装置,其可为嵌入式系统,如智能手机、车用电脑,其运算内核可为单核或多核,且能够执行一至多种程序指令。
[0039] 本实施例具有下列优点:
[0040] 一、本实施例可去除遮蔽本车驾驶者视野的前车盲点,以避免一旦远方产生事故,但本车与前车间的距离过近因而反应不及,产生的追撞事故。
[0041] 二、本公开由于使得前车变得(半)透明,相较于直接观看前车所提取的影像,本车的驾驶者,较易于理解前方路况,使得驾驶过程较为轻松,并可维持与前车较为近的相对距离。
[0042] 综合上述,本实施例中,具有在前车与本车位于同一车道,且间距过近使得该前车的车身造成本车驾驶者视觉上的盲点时,通过车间通信接收前车所分享的影像,在本车所提取的影像中,以适当的影像处理技术,(半)透明化前车,使得本车驾驶者可充份掌握前方路况,避免产生任何追撞的可能,因而提升行车的安全性。
[0043] 本影像动态融合方法与装置的实施例可利用如处理单元、数字信号处理单元、数字视频处理单元实施,或是以可编程的集成电路如微控制器、元件可编程逻辑阵列(FPGA,Field Programmable Gate Array)之类的电路来实现,其中例如以硬件描述(HDL,Hardware description language)来设计。
[0044] 或者,影像动态融合方法与装置的实施例也可以软件程序来实现,比如,用以实施本申请实施例的程序代码可记录在一存储器介质之中,如存储器、ROM、RAM及之类的介质、或光学或磁性或其他记录介质,或是实现为固件(firmware)。当运算装置的处理单元,从存储器介质读取并执行本申请实施例的程序代码,以实现本影像动态融合方法与装置的实施例。再者,本影像动态融合方法与装置的实施例可以软硬件结合的方式实现。
[0045] 本公开实施例有关于一种应用影像动态融合方法与装置的前车盲点消除,前车通过WAVE/DSRC广播其提取的影像,后方车辆在接受到该影像后可通过车辆检测算法判断前车于画面中的位置,并由前后两车的摄影机所共同观看到的背景影像来估算两摄影机的共轭点以及比例因子,因而得以在后方车辆所提取的影像当中,将前方车辆所提供的影像用于消除前车所造成的视线盲点。而上述的WAVE/DSRC(Wireless Access in Vehicular Environments,车用环境无线接入;Dedicated Short-Range Communications,专用短程通信)为智能运输系统(Intelligent transportation Systems,ITS)所倚重的核心技术,基于IEEE802.11p及IEEE1609标准,车辆在高速移动状态下,车上设备(OBU)与路侧设备(RSU)通过5.9GHz(5.85-5.925GHz)微波频段传输数据,建立车间通信V2V(Vehicle to Vehicle)以及车外通信V2I(Vehicle to Infrastructure)的短程通信。相较于GSM、GPRS、W-CDMA、HSDPA或WiMAX等无线通信技术必须辗转经由基站建立连结,WAVE/DSRC为专属行车系统的独立频道,车辆与其他车辆及路侧设备可直接连结,即时完成信息传播。
[0046] 根据本公开的一示范性实施例,包括:接收前方车辆所提取的影像与位置信息,确认该车是否与本车位于同一车道内;车辆检测算法确认其于影像中的位置与占据的像素;利用两摄影机所看到的共同背景影像中的特征点来求取两摄影机的各自共轭点(epi-
pole)以及比例因子;从前方影像中的共轭点附近剪取影像,并以该比例因子将其缩小;将缩小后的影像与后方影像中共轭点附近的像素混合,而后方影像中融合的界限来自于车辆检测算法。
[0047] 虽然本发明以相关的优选实施例进行解释,但是这并不构成对本发明的限制。应说明的是,本领域的技术人员根据本发明的思想能够构造出很多其他类似实施例,这些均在本发明的保护范围之中。
QQ群二维码
意见反馈