光学フロー分析を利用した車両衝突警報禁止方法

本発明は、光学フロー分析を利用して車両衝突警報信号を禁止する方法に関し、より詳細には、車両からブレーキ信号を受けなくても、光学フロー分析を利用してブレーキ操作の有無を判断し、判断結果に応じて衝突警報を抑制する光学フロー分析を利用した車両衝突警報禁止方法に関する。

一般的に、車両衝突警報装置は、超音波センサ、レーザセンサ、または映像認識装置を用いて前方車両との相対距離を演算し、前方車両が衝突の恐れがある距離内に存在する場合、聴覚的および視覚的信号として警報する装置である。運転者は警報信号を認知して急制動を行うことにより、前方車両の急停車といった突発的な状況に対処し、車両の衝突事故およびこれに係わる多重衝突事故を未然に防止することができる。

最近までの車両衝突警報装置は、前方車両の加速度をリアルタイムに補償し相対距離の演算正確度を高めたり、前前方車両の挙動までモニタリングして警報を行ったり、センシング信号の正確度を高めるなどに発展している。すなわち、多様な危険状況について認識し警報発動確率を高めることで安全性を高めるのに焦点が合わせられている。

例えば、大韓民国特許登録第10−1407520号は、自車両と前方車両との間の相対距離だけでなく、自車両と前前方車両との間の相対距離を算出して前前方車両の挙動までモニタリングすることで衝突事故の発生確率をより低下させた車両衝突警報システムを提案している。大韓民国特許登録第10−0507090号は、ミリ波レーダを用いる車両衝突警報システムの実現により先行車両に対する衝突危険の発生時に警報の信頼性を高めている。

しかし、車両衝突警報装置による頻繁な衝突警報はむしろ運転者の覚醒効果を低下させる原因となり得る。仮に、運転者の衝突回避の意志が確固たる場合にも警報を発生させれば、警報音やナビゲーション装置の画面に出力される視覚的な警報措置は運転者の注意を分散させて、衝突回避運転に邪魔となり得る。

運転者の衝突回避の意志を最も確実に認識できるのは運転者のブレーキ操作である。車両の製造過程で車両衝突警報装置を設ける場合、ECUまたはブレーキ油圧装置からブレーキ信号を受けるように設計できるが、アフターマーケット(After Market)で提供される車両衝突警報装置を後で車両に設ける場合には、多様な車種が存在し、車種ごとにブレーキ信号が異なるので、車両からブレーキ信号を受けることが困難である。

大韓民国特許登録第10−1407520号

大韓民国特許登録第10−0507090号

本発明は、車両からブレーキ信号を受けなくても、前方映像の光学フロー分析を利用して運転者のブレーキ操作を認識し衝突警報を抑制することにより、運転者の衝突回避の意志が存在する場合には、警報信号発動による注意分散を防止し、衝突警報の覚醒効果を極大化できる光学フロー分析を利用した車両衝突警報禁止方法を提供することを目的とする。

本発明の一実施形態に係る光学フロー分析を利用した車両衝突警報禁止方法は、(a)車両に装着される映像認識モジュールから車両の前方映像および映像認識情報を抽出して、前記前方映像のフレームごとの前記映像認識情報に含まれた前方物体の大きさ変化率を検出する光学フロー変化率検出ステップと、(b)現在時点を基準として所定フレーム区間の前記光学フロー変化率の平均値を演算する平均光学フロー変化率演算ステップと、(c)現在の光学フロー変化率から前記平均光学フロー変化率を減算した値が予め定められた閾値未満であるかを判断するステップと、(d)前記ステップ(c)で閾値未満と判断されると、ブレーキ操作信号と決定するステップと、(e)前記ステップ(d)の後、所定時間内に衝突警報信号が発生するかを判断するステップと、(f)前記ステップ(e)で衝突警報信号が発生すると、当該衝突警報信号の出力を禁止させるステップとを含む。

好ましくは、前記現在の光学フロー変化率は、下記数式(1)により算出され、前記平均光学フロー変化率は、下記数式(2)により算出される。

好ましくは、前記ステップ(c)の後に、(c−1)加速度センサから車両の進行方向の加速度信号を受信するステップと、(c−2)受信された加速度信号を積分して積分加速度を演算するステップと、(c−3)前記ステップ(c−2)で演算された前記積分加速度が予め定められた閾値未満であるかを判断するステップとをさらに含み、前記ステップ(d)は、前記ステップ(c−3)で前記積分加速度が前記閾値未満と判断される場合、ブレーキ操作信号と決定する。

好ましくは、前記ステップ(c−1)の後に、低周波通過フィルタ(Low Pass Filter)を用いて、受信された加速度信号のノイズを除去するノイズ除去ステップをさらに含む。

好ましくは、前記ノイズ除去ステップは、下記数式(3)によりノイズを除去する。

好ましくは、前記ステップ(c−2)の積分加速度の演算は、下記数式(4)により行われる。

本発明の光学フロー分析を利用した車両衝突警報禁止方法によれば、アフターマーケットの形態で適用される車両搭載装置のように、車両からブレーキ信号を受けられない場合でも、光学フロー分析結果から運転者のブレーキ操作を認識することができ、運転者の衝突回避の意志が明確な場合、衝突警報信号を禁止させることで頻繁な警報発動による運転者の注意分散を防止できる効果がある。

本発明が適用される車両搭載装置を例示したブロック図である。

本発明に係る車両衝突警報禁止方法を例示したフローチャートである。

本発明における光学フロー変化率の検出過程を例示した図である。

本発明における光学フロー変化率の検出過程を例示した図である。

本発明における光学フロー変化率の検出過程を例示した図である。

本発明における光学フロー変化率の値を例示した図である。

本発明における車両の進行方向の加速度信号を得る過程を例示した図である。

低周波通過フィルタ適用前の加速度信号の波形を示した波形図である。

低周波通過フィルタ適用後の加速度信号の波形を示した波形図である。

以下、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。まず、各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に限っては、たとえ他の図面上に表示されても、できるだけ同一の符号で表していることに留意しなければならない。また、下記の説明では、多くの特定事項が示されているが、これは、本発明のより全般的な理解のために提供されたものであって、これらの特定事項なしにも本発明が実施可能であることは、当該技術分野における通常の知識を有する者にとっては自明である。そして、本発明を説明するにあたり、かかる公知の機能あるいは構成に対する具体的な説明が本発明の要旨をあいまいにする可能性があると判断された場合、その詳細な説明を省略する。

図1は、本発明が適用される車両搭載装置を例示したブロック図である。

ここで言及される車両搭載装置とは、車両衝突警報装置または機能を含むASV(Advaced Safety Vehicle)装置を意味する。図1を参照すれば、車両搭載装置は、カメラモジュール210と、映像認識モジュール220と、車両衝突警報装置230と、アラーム処理部240と、ディスプレイ手段250と、スピーカ260とを含む。

カメラモジュール210は、車両の前方映像を撮影する手段であり、図示しないが、前方物体との距離測定のために、超音波センサまたはレーダセンサのような距離測定手段がさらに設けられる。

映像認識モジュール220は、カメラモジュール210で撮影した映像から先行車両や前方の障害物を認識し、認識された前方の物体に対して自車との相対距離を演算する。前方映像は、フレーム単位で図示しないメモリ手段に格納され、前方映像から先行車両や障害物などのような前方の物体を認識した映像認識情報も、前方映像とともにメモリ手段に格納される。

車両衝突警報装置230は、前方の物体が衝突の恐れがある距離内に存在する場合、衝突警報信号を発生させる。アラーム処理部240は、衝突警報信号が発生すると、ディスプレイ手段250で視覚的警報信号を出力し、スピーカ260で聴覚的警報信号を出力して、衝突危険を運転者に知らせる。車両衝突警報装置230で先行車両との相対距離に応じて衝突警報信号を発生させ、ディスプレイ手段250およびスピーカ260を通して警報信号を出力する過程は、通常知られたFCWS(Front Collision Warning System)と同一であるので、以下、詳細な説明は省略する。

ここで、本発明が適用される車両搭載装置は、図1に示しているように、光学フロー変化率検出部110と、加速度センサ120と、低周波通過フィルタ(LPF:Low Pass Filter)130と、積分加速度演算部140と、警報抑制部150とをさらに含む。

光学フロー変化率検出部110は、映像認識モジュール220から車両の前方映像と前方映像に対する映像認識情報を抽出する。映像認識情報は、車両前方の先行車両または障害物などの前方物体に関連する情報を含む。光学フロー変化率検出部110は、前方映像のフレームごとの前方物体の大きさ変化率を検出し、検出結果に基づいて現在時点を基準とする現在の光学フロー変化率(OFCR:Optical Flow Change Rate)と、所定フレーム区間の光学フロー変化率の平均値に相当する平均光学フロー変化率とを演算する。

加速度センサ120は、車両に搭載され、少なくとも車両の進行方向の加速度を含む加速度を検出する。低周波通過フィルタ130は、加速度センサ120から出力される信号中の低周波成分をフィルタリングして出力する。積分加速度演算部140は、フィルタリングされた加速度値を積分して積分加速度を演算する。

警報抑制部150は、光学フロー変化率検出部110の演算結果と積分加速度演算部140の演算結果を、それぞれ別途に定められた閾値と比較して、ブレーキ操作の有無を判断する。警報抑制部150は、ブレーキ操作と判断した場合、警報抑制信号を出力する。警報抑制部150から警報抑制信号が出力される場合、警報抑制信号の出力後、所定時間内に発生する衝突警報信号は出力が遮断され、警報発生を禁止させる。

図2は、本発明に係る車両衝突警報禁止方法を例示したフローチャートである。以下、これを参照して、本発明に係る警報禁止過程をより具体的に説明する。

まず、車両の前方映像のフレームごとの光学フロー変化率を検出する(ST110)。

図3〜図5は、本発明における光学フロー変化率の検出過程を例示した図である。

図3を参照すれば、車両の前方映像から、映像認識モジュール220は、先行車両の外郭地点を認識し、外郭地点に関する情報を生成する。光学フロー変化率検出部110は、図3の映像フレームから先行車両の大きさ情報(例えば、図3における四角形ボックスで示された部分の大きさ)を抽出することができる。仮に、図3の映像フレームが最初の映像フレームであれば、次の映像フレームから光学フロー変化率を検出することができる。

図4を参照すれば、図3における先行車両が次第に近づく場合、車両の大きさが拡大されながら、映像フレーム上で四角形ボックスの大きさが大きくなる。この時、四角形ボックスの周りの矢印の大きさが光学フロー変化率を示す。光学フロー変化率が次第に大きくなると、先行車両が次第に近づいていることを意味するので、衝突警報が発生するはずである。

図5では、映像フレームがさらに経過したにもかかわらず、図4に比べて先行車両の大きさの変化がわずかであり、矢印の大きさも変化があまりない。すなわち、図5のように光学フロー変化率がわずかな場合、運転者がブレーキを操作したり減速して先行車両との距離を維持しているか遠くなると判断することができる。この場合、衝突警報の発生を禁止させる必要がある。

すなわち、図3〜図5のような映像フレームから、前フレームと対比して光学フロー変化率を検出することができる。

次のステップで、所定フレーム区間の平均光学フロー変化率を算出する(ST120)。

図6は、本発明における光学フロー変化率の値を例示した図である。図6を参照すれば、各ブロックは、前方物体の大きさ情報を含む光学フロー(Optical Flow)値を示し、最も右側のブロックは現在フレームの光学フロー値を、最も左側のブロックはnフレーム前の光学フロー値を示す。図6のデータブロックから、現在の光学フロー変化率(Current OFCR)は、下記数式(1)により算出され、平均光学フロー変化率(Average OFCR)は、下記数式(2)により算出される。

再び図2を参照すれば、次のステップで、現在の光学フロー変化率から平均光学フロー変化率を減算した値が予め定められた閾値未満であるかを判断する(ST130)。例えば、閾値は、「0(zero)」であるか負数であるとよい。仮に、減算した値が閾値を超えると、これは前方の物体がますますより接近する状態を示すので、警報発生は正常に行われなければならない。減算した値が閾値を超えると、ステップST120に戻る。

仮に、減算した値が閾値未満であれば、前方の物体と距離を維持する状態を示すことができ、この場合、本発明の趣旨によって警報を禁止させる必要がある。減算した値が閾値未満の場合、ステップST140に進んで、加速度センサ110から車両の進行方向の加速度信号を受信する(ST140)。

図7は、本発明における車両の進行方向の加速度信号を得る過程を例示した図である。

図7を参照すれば、車両200に搭載される加速度センサ120は、2軸センサの場合、車両200の進行方向であるX方向の加速度データと、地面300に対して垂直であるZ方向の加速度データを出力する。本発明では、ブレーキ操作の有無を判断するために、X方向の加速度データを受信する。ここで、車両200が上り坂や下り坂を走る場合でも、地面300に対しては車両の進行方向が常に水平状態であるので、車両200が上り坂を走ったり下り坂を走る場合に対してX方向の加速度データを補正する必要はない。

次に、低周波通過フィルタ130を用いて、受信された加速度信号のノイズを除去する(ST150)。ノイズ除去ステップST150は、下記数式(3)により行われる。

図8は、低周波通過フィルタ適用前の加速度信号の波形を示した波形図であり、図9は、低周波通過フィルタ適用後の加速度信号の波形を示した波形図である。

図示のように、X方向の加速度信号に対して、図8におけるノイズ成分が図9のように除去され、これによって、加速度信号を用いた運転者の停止意思の検出正確度が高くなる。

次に、ノイズフィルタリングされた加速度信号を積分して積分加速度を演算する(ST160)。積分加速度の演算は、下記数式(4)により行われる。

次に、積分加速度を予め定められた閾値と比較し、積分加速度が閾値未満であるかを判断する(ST170)。閾値は、繰り返される模擬車両実験を通して得ることができる。

仮に、ステップST170で積分加速度が閾値以上と判断されると、運転者のブレーキ操作でない状態を示すので、警報発生を正常に行う必要がある。

仮に、ステップST170で積分加速度が閾値未満と判断されると、ブレーキ操作信号と決定する(ST180)。そして、所定時間内に衝突警報信号が発生するか否かを判断する(ST190)。

仮に、所定時間内に衝突警報信号が発生しなければ、ステップST110に戻って、ブレーキ操作有無の検出フローを再開する。

仮に、ステップST190で衝突警報信号が発生したと判断されると、当該衝突警報信号の出力を抑制する(ST200)。すなわち、運転者のブレーキ操作と判断して衝突警報アラームを禁止させることにより、運転者が警報信号によって注意が分散しない状態で衝突回避運転に集中できるようにする。

このように、本発明の詳細な説明では、具体的な実施形態に関して説明したが、本発明の範疇を逸脱しない限度内で様々な変形が可能であることはもちろんである。そのため、本発明の範囲は、説明された実施形態に限って定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって定められなければならない。

100:衝突警報抑制装置 110:光学フロー変化率検出部 120:加速度センサ 130:低周波通過フィルタ 140:積分加速度演算部 150:警報抑制部 200:車両 210:カメラモジュール 220:映像認識モジュール 230:車両衝突警報装置 240:アラーム処理部 250:ディスプレイ手段 260:スピーカ 300:地面