Object detection device, object detection system and object detection method |
|||||||
申请号 | JP2013012786 | 申请日 | 2013-01-28 | 公开(公告)号 | JP2014146083A | 公开(公告)日 | 2014-08-14 |
申请人 | Fujitsu Ten Ltd; 富士通テン株式会社; | 发明人 | YAMAMOTO TETSUO; | ||||
摘要 | PROBLEM TO BE SOLVED: To realize a detection of an object in a wide steering angle.SOLUTION: An object detection circuit 13a of an object detection system 10 detects an object by a frame correlation system using a plurality of temporally continuous photographic images. A state determination unit 11a nullifies a detection function of the object detection circuit 13a when a steering angle of a self-vehicle 9 is not included in a prescribed range of steering angle. Then, a condition change unit 11b changes the range of steering angle as a condition of the steering angle according to the speed of the self-vehicle 9. Accordingly, the condition can be alleviated for validating the detection function according to the speed of the self-vehicle 9 within the range of securing the detection accuracy. Thereby, the detection accuracy is secured while allowing for detection of an object in a comparatively wide steering angle. | ||||||
权利要求 | 車両の周辺を移動する物体を検出する物体検出装置であって、 前記車両の周辺をカメラで撮影して時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式で物体を検出する検出機能を有する検出手段と、 前記車両の速度を取得する第1取得手段と、 前記車両の舵角を取得する第2取得手段と、 前記舵角が所定の舵角範囲に含まれない場合は、前記検出手段の前記検出機能を無効化する制御手段と、 前記速度に応じて前記舵角範囲を変更する変更手段と、 を備えることを特徴とする物体検出装置。 請求項1に記載の物体検出装置において、 前記変更手段は、前記速度が小さいほど前記舵角範囲を大きくすることを特徴とする物体検出装置。 請求項2に記載の物体検出装置において、 前記変更手段は、前記速度に基いて前記車両が走行状態か停止状態かを判定し、前記停止状態の場合は前記走行状態の場合よりも前記舵角範囲を大きくすることを特徴とする物体検出装置。 物体検出システムであって、 請求項1ないし3のいずれかに記載の物体検出装置と、 前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、 を備えることを特徴とする物体検出システム。 車両の周辺を移動する物体を検出する物体検出方法であって、 (a)前記車両の周辺をカメラで撮影して時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式で物体を検出する工程と、 (b)前記車両の速度を取得する工程と、 (c)前記車両の舵角を取得する工程と、 (d)前記舵角が所定の舵角範囲に含まれない場合は、前記工程(a)の検出機能を無効化する工程と、 (e)前記速度に応じて前記舵角範囲を変更する工程と、 を備えることを特徴とする物体検出方法。 |
||||||
说明书全文 | 本発明は、車両の周辺を移動する物体を検出する技術に関する。 従来より、車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する物体検出システムが提案されている。 物体検出システムは、例えば、フロントカメラで得られた撮影画像に基づいて物体を検出し、その検出結果を示す指標などを表示装置に表示する。 このような物体検出システムを利用することにより、ユーザ(主にドライバ)は、見通しの悪い交差点や駐車場などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に把握できる。 このような物体検出システムにおける物体の検出方式として、時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式が知られている(例えば、特許文献1,2参照。)。 例えば、フレーム相関方式の一つであるオプティカルフロー方式は、複数の撮影画像(フレーム)のそれぞれから特徴点を抽出し、複数の撮影画像間での特徴点の動きを示すオプティカルフローの向きに基づいて物体を検出する。 ところで、上記のフレーム相関方式は、車両が旋回する場合において、物体を正しく検出することが難しいといった特性がある。 このため、従来の物体検出システムにおいては、車両の舵角が所定角度を超える場合に、物体を検出する検出機能を無効化して検出精度を確保するようにしていた。 しかしながら、このように舵角が所定角度を超える場合に一律に検出機能を無効化すると、物体の検出を必要とする状況において物体を検出できない場面が生じ得る。 このため、検出精度を確保しつつ、より広い舵角の範囲で物体を検出できる技術が望まれていた。 本発明は、上記課題に鑑みてなされたものであり、広い舵角の範囲で物体を検出できる技術を提供することを目的とする。 上記課題を解決するため、請求項1の発明は、車両の周辺を移動する物体を検出する物体検出装置であって、前記車両の周辺をカメラで撮影して時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式で物体を検出する検出機能を有する検出手段と、前記車両の速度を取得する第1取得手段と、前記車両の舵角を取得する第2取得手段と、前記舵角が所定の舵角範囲に含まれない場合は、前記検出手段の前記検出機能を無効化する制御手段と、前記速度に応じて前記舵角範囲を変更する変更手段と、を備えている。 また、請求項2の発明は、請求項1に記載の物体検出装置において、前記変更手段は、前記速度が小さいほど前記舵角範囲を大きくする。 また、請求項3の発明は、請求項2に記載の物体検出装置において、前記変更手段は、前記速度に基いて前記車両が走行状態か停止状態かを判定し、前記停止状態の場合は前記走行状態の場合よりも前記舵角範囲を大きくする。 また、請求項4の発明は、物体検出システムであって、請求項1ないし3のいずれかに記載の物体検出装置と、前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、を備えている。 また、請求項5の発明は、車両の周辺を移動する物体を検出する物体検出方法であって、(a)前記車両の周辺をカメラで撮影して時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式で物体を検出する工程と、(b)前記車両の速度を取得する工程と、(c)前記車両の舵角を取得する工程と、(d)前記舵角が所定の舵角範囲に含まれない場合は、前記工程(a)の検出機能を無効化する工程と、(e)前記速度に応じて前記舵角範囲を変更する工程と、を備えている。 請求項1ないし5の発明によれば、舵角の条件となる舵角範囲を速度に応じて変更することで、検出機能を有効化する条件を緩和できる。 このため、検出精度を確保しつつ、広い舵角の範囲で物体を検出できる。 また、特に請求項2の発明によれば、車両の速度が小さい場合は、広い舵角の範囲で物体を検出できる。 また、特に請求項3の発明によれば、車両の停止状態において、広い舵角の範囲で物体を検出できる。 以下、図面を参照しつつ本発明の実施の形態について説明する。 <1. 第1の実施の形態> 物体検出システム10は、撮影画像を表示する表示装置3と、音を発生するスピーカ4とを備えている。 表示装置3は、自車両の車室内におけるユーザ(主にドライバ)が視認可能な位置に配置され、各種の情報をユーザに報知する。 表示装置3は、目的地までのルートを案内するナビゲーション機能や、ユーザの操作を受け付けるタッチパネル機能を備えていてもよい。 また、スピーカ4は、自車両の車室内に配置され、音により情報をユーザに報知する。 また、物体検出システム10は、自車両の周辺を撮影して撮影画像を得る複数のカメラ2を備えている。 複数のカメラ2はそれぞれ、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。 各カメラ2は、所定の周期(例えば、1/30秒周期)で繰り返し撮影画像を取得する。 複数のカメラ2は、フロントカメラ2Fとバックカメラ2Bとを含んでいる。 図2は、2つのカメラ2F,2Bがそれぞれ撮影する方向を示す図である。 図に示すように、フロントカメラ2Fは、自車両9の前端のバンパーに設けられ、その光軸21Fは自車両9の前後方向に沿って前方に向けられる。 したがって、フロントカメラ2Fは、自車両9の前方を撮影して、自車両9の前方の様子を示す撮影画像を取得する。 また、バックカメラ2Bは、自車両9の後端の背面ドア92に設けられ、その光軸21Bは自車両9の前後方向に沿って後方に向けられる。 したがって、バックカメラ2Bは、自車両9の後方を撮影して、自車両9の後方の様子を示す撮影画像を取得する。 これらのカメラ2のレンズには魚眼レンズが採用され、各カメラ2は180度以上の画角θを有している。 このため、フロントカメラ2Fは、自車両9の前方に広がる左右方向に180度以上の領域を撮影することが可能であり、バックカメラ2Bは、自車両9の後方に広がる左右方向に180度以上の領域を撮影することが可能である。 物体検出システム10は、これらのカメラ2のいずれかで得られた撮影画像を表示装置3において表示する。 これにより、ユーザは、自車両9の周辺の様子を略リアルタイムに把握できる。 これとともに、物体検出システム10は、これらのカメラ2のいずれかで得られた撮影画像に基いて自車両9に接近する物体を検出する。 そして、物体検出システム10は、物体を検出した場合は、表示装置3及びスピーカ4を介して、検出結果をユーザに報知する。 これにより、ユーザは、見通しの悪い交差点や駐車場などにおいて、ユーザの死角となる位置から接近する物体を容易に把握できるようになっている。 図3は、物体検出システム10が利用される場面の一例を示す図である。 図3においては、自車両9が見通しの悪い交差点に差し掛かった場面を示している。 前述のように、フロントカメラ2Fは180度以上の画角θを有している。 このため、図3に示すように、自車両9の前端のみが交差点に進入した状態において、フロントカメラ2Fは、交差点内の領域を撮影することが可能である。 したがって、物体検出システム10は、自車両9が存在する道路と略直交する他方の道路を移動する他の車両8や歩行者などの像を含む撮影画像を取得して、表示装置3に表示することができる。 そして、物体検出システム10は、この撮影画像を用いて他方の道路を移動して左側又は右側から自車両9に接近する物体(他の車両8や歩行者など)を検出し、その検出結果をユーザに報知することができる。 このため、ユーザは、自車両9の全体を交差点に侵入させる前に、自車両9に接近する物体を容易に把握できることになる。 図1に戻り、物体検出システム10は、カメラ2で取得された撮影画像に基づいて自車両9に接近する物体を検出するための物体検出装置1を備えている。 物体検出装置1は、画像取得部12、画像処理回路13、及び、画像出力部14を備えている。 画像取得部12は、カメラ2からアナログの撮影画像を所定の周期(例えば、1/30秒周期)で時間的に連続して取得し、取得した撮影画像をデジタルの撮影画像に変換(A/D変換)する。 画像取得部12が処理した一の撮影画像は、映像信号の一のフレームとなる。 画像処理回路13は、画像取得部12が取得する撮影画像に対して所定の処理を実行するASICやFPGAなどのハードウェア回路である。 画像処理回路13は、物体を検出する検出機能を有する物体検出回路13aを備えている。 物体検出回路13aは、時間的に連続して得られた複数の撮影画像(フレーム)を用いて物体を検出するフレーム相関方式の物体検出処理を実行する。 物体検出回路13aは、物体検出処理で物体を検出した場合は、その検出結果を出力する。 画像出力部23は、撮影画像とともに各種情報を含む表示画像を生成し、NTSCなどの所定形式の映像信号に変換して表示装置3に出力する。 これにより、撮影画像を含む表示画像が表示装置3において表示される。 また、物体検出装置1は、操作スイッチ15と、信号受信部16と、音声出力部17と、制御部11とを備えている。 操作スイッチ15は、自車両9の車室内に設けられるスイッチである。 操作スイッチ15は、ユーザの操作を受け付け、操作内容を示す信号を制御部11に入力する。 また、信号受信部16は、自車両9に設けられる車載ネットワーク91を介して、他の装置からの信号を受信して、自車両9の車両状態を取得する。 信号受信部16は、受信した車両状態を示す信号を制御部11に入力する。 信号受信部16は、シフトセンサ61、速度センサ62及び舵角センサ63が送出する信号を受信する。 シフトセンサ61は、自車両9の変速装置のシフトレバーの位置であるシフトポジションを検出し、自車両9のシフトポジションを示す信号を送出する。 速度センサ62は、自車両9の車輪軸の回転に基いて速度を検出し、自車両9の速度を示す信号を送出する。 舵角センサ63は、自車両9のステアリングホイールの中立位置からの回転角度である舵角(操舵角)を検出し、自車両9の舵角を示す信号を送出する。 これにより、信号受信部16は、シフトポジション、速度及び舵角を、自車両9の車両状態として取得する。 音声出力部17は、制御部11からの信号に基いて音声信号を生成して、スピーカ4に出力する。 これにより、スピーカ4が、警告音などの音を発生させる。 制御部11は、例えば、CPU、RAM及びROMなどを備えたマイクロコンピュータであり、画像処理回路13を含む物体検出装置1の各部を制御する。 制御部11の各種の機能は、ソフトウェアで実現される。 すなわち、制御部11の機能は、ROMなどに記憶されたプログラムに従ったCPUの演算処理(プログラムの実行)によって実現される。 図中の状態判定部11a、条件変更部11b、結果報知部11c及びモード変更部11dは、プログラムの実行により実現される機能の一部である。 状態判定部11aは、物体検出回路13aの検出機能の有効化の可否を判定する。 より具体的には、状態判定部11aは、物体検出回路13aの検出機能を有効化しても、その検出精度を確保できるか否かを判定する。 状態判定部11aは、検出機能の検出精度を確保できる場合は検出機能の有効化が可能(有効化すべき)と判定し、検出機能の検出精度を確保できない場合は検出機能の有効化が不可(無効化すべき)と判定する。 状態判定部11aは、信号受信部16が取得した自車両9の車両状態(速度及び舵角)に基いて、このような物体検出回路13aの検出機能の有効化の可否を判定する。 そして、状態判定部11aは、検出機能の有効化が可能と判定した場合は物体検出回路13aの検出機能を有効化し、検出機能の有効化が不可と判定した場合は物体検出回路13aの検出機能を無効化する。 状態判定部11aは、このように検出機能の有効/無効を切り替える場合は、検出機能に関するパラメータを変更する。 これにより、状態判定部11aは、物体検出回路13aの動作を継続させたまま、物体検出回路13aの検出機能の有効/無効を切り替える。 条件変更部11bは、状態判定部11aが検出機能の有効化の可否の判定に用いる判定条件を変更する。 この判定条件には、自車両9の舵角に関する条件である舵角範囲が含まれる。 条件変更部11bは、この舵角範囲を自車両9の速度に応じて変更する。 結果報知部11cは、物体検出回路13aが実行する物体検出処理の検出結果をユーザに報知するための制御を行う。 結果報知部11cは、物体検出回路13aが出力する検出結果を受け取る。 そして、結果報知部11cは、画像出力部14に信号を送出して、検出結果を示す表示画像を画像出力部14に生成させる。 これにより、検出結果を示す表示画像が表示装置3において表示される。 また、結果報知部11cは、音声出力部17に信号を送出して、検出結果に応じた音声信号を音声出力部17に生成させる。 これにより、検出結果に応じた警告音がスピーカ4から発生される。 図4は、表示装置3に表示される表示画像31の一例を示す図である。 表示画像31は、カメラ2で取得された撮影画像SGとともに、物体検出処理の検出結果を示す指標となる2つの警告部AFを含んでいる。 この2つの警告部AFは、上下に延びる矩形の領域であり、撮影画像SGの左右にそれぞれ配置される。 自車両9の左側から接近する物体が存在する場合は、図4に示すように左側の警告部AFが所定の色(例えば、黄色)で点滅する。 逆に、自車両9の右側から接近する物体が存在する場合は、右側の警告部AFが所定の色で点滅する。 また、このように自車両9に接近する物体が存在する場合は、所定の警告音がスピーカ4から発生される。 これにより、ユーザは、自車両9に接近する物体が存在することとともに、その物体が存在する方向を容易に把握できることになる。 また、表示画像31は、アイコンCを含んでいる。 アイコンCは、物体検出回路13aの検出機能が有効であるか否かを示す指標となる。 例えば、物体検出回路13aの検出機能が有効である場合は、アイコンCは所定の有彩色(例えば、緑色)で表示され、物体検出回路13aの検出機能が無効の場合は、アイコンCは無彩色(例えば、灰色)で表示される。 物体検出処理の検出結果は、物体検出回路13aの検出機能が有効の場合にのみユーザに報知され、物体検出回路13aの検出機能が無効の場合はユーザに報知されない。 図1に戻り、モード変更部11dは、物体検出システム10の動作モードを変更する。 物体検出システム10は、通常モード、フロントモード及びバックモードの3つの動作モードを有している。 モード変更部11dは、操作スイッチ15へのユーザの操作やシフトポジションに応じて動作モードを変更する。 図5は、このような物体検出システム10の動作モードの遷移を示す図である。 通常モードM1は、カメラ2で得られた撮影画像を表示装置3において表示しない動作モードである。 表示装置3がナビゲーション機能などの機能を有している場合は、通常モードM1において、表示装置3が有する機能に基づく画像(例えば、ルート案内用の地図画像)が表示装置3に表示される。 これに対して、フロントモードM2及びバックモードM3は、自車両9の周辺の様子を示す撮影画像を表示装置3に表示する動作モードである。 フロントモードM2は、フロントカメラ2Fで得られた撮影画像を表示する動作モードである。 また、バックモードM3は、バックカメラ2Bで得られた撮影画像を表示する動作モードである。 これらのフロントモードM2及びバックモードM3では、所定の条件を満足する場合に物体検出回路13aの検出機能が有効化され、表示する撮影画像に基いて物体検出処理がなされる。 そして、その物体検出処理の検出結果がユーザに報知される。 現在の動作モードが、フロントモードM2とバックモードM3とのいずれであるかは、アイコンC(図4参照。)によって示される。 動作モードが通常モードM1の場合において、ユーザが操作スイッチ15を操作した場合は、モード変更部11dは動作モードをフロントモードM2に切り替える。 したがって、ユーザは、操作スイッチ15を操作することで、自車両9の前方の様子や自車両9の前方に接近する物体を所望のタイミングで確認することができる。 一方で、動作モードがフロントモードM2の場合において、ユーザが操作スイッチ15を操作した場合は、モード変更部11dは動作モードを通常モードM1に切り替える。 また、動作モードが通常モードM1またはフロントモードM2の場合において、シフトポジションが「R(後退)」となったときは、モード変更部11dは動作モードをバックモードM3に切り替える。 これにより、ユーザは、自車両9を後退させる場合に、自車両9の後方の様子や自車両9の後方に接近する物体を確認することができる。 一方で、動作モードがバックモードM3の場合において、シフトポジションが「R(後退)」以外となった場合は、モード変更部11dは動作モードを通常モードM1に切り替える。 <1−2. 物体検出処理の概要> 図6、図7及び図8は、フロントカメラ2Fで時系列的に取得された複数の撮影画像SGの例を示している。 図6の撮影画像SGが最も古く、図8の撮影画像SGが最も新しい。 図6から図8の撮影画像SGそれぞれには、自車両9に接近する同一の物体の像Tが含まれている。 物体検出回路13aは、オプティカルフロー方式の物体検出処理を行なって、このような時間的に連続して得られた複数の撮影画像SGに基づいて自車両9に接近する物体を検出する。 図9は、オプティカルフロー方式の概要を説明する図である。 図9は、撮影画像SG中の物体の像Tが含まれる一部の領域を示している。 物体検出回路13aは、互いに異なる時点に取得された複数の撮影画像(フレーム)のそれぞれから特徴点FPを抽出し、複数の撮影画像間での特徴点FPの動きを示すオプティカルフローに基づいて物体を検出する。 まず、物体検出回路13aは、ハリスオペレータなどの周知の手法により、直近に得られた撮影画像SGにおける特徴点(際立って検出できる点)FPを抽出する(ステップST1)。 これにより、物体検出回路13aは、物体の像Tのコーナー(エッジの交点)などを含む複数の点を特徴点FPとして抽出する。 次に、物体検出回路13aは、このように直近の撮影画像SGから抽出した特徴点(以下、「直近特徴点」という。)と、過去の撮影画像SGから抽出した特徴点(以下、「過去特徴点」という。)とを対応付ける。 過去特徴点は、例えば、物体検出回路13a内のメモリに記憶されている。 そして、物体検出回路13aは、対応付けた直近特徴点と過去特徴点とのそれぞれの位置に基づいて、特徴点FPの動きを示すベクトルであるオプティカルフローを導出する(ステップST2)。 物体検出回路13aは、直近特徴点と過去特徴点とを対応付ける際には、直近特徴点の位置から例えば「7ピクセル」の範囲内に存在する過去特徴点のうちから、当該直近特徴点に対応付けるべき過去特徴点を選択する。 したがって、物体検出回路13aが導出するオプティカルフローの長さが取り得る値の最小値は「1ピクセル」であり、最大値は「7ピクセル」となる。 一般に、自ら移動する物体のオプティカルフローは比較的長くなり、背景などの自ら移動しない物体のオプティカルフローは比較的短くなる。 また、オプティカルフローには、右向きのオプティカルフローOP1と、左向きのオプティカルフローOP2とが存在する。 一般に、自車両9に接近する物体の像Tは内向き(撮影画像SGの左右端部から中央側への向き)に移動する。 このため、物体検出回路13aは、予め定められた抽出閾値を超える長さを有し、かつ、内向きのオプティカルフローのみを抽出する(ステップST3)。 抽出閾値は、物体検出回路13aの検出機能に関するパラメータの一つであり、その通常値は例えば「1ピクセル」となっている。 これにより、物体検出回路13aは、2ピクセルから7ピクセルまでの長さのオプティカルフローのみを抽出し、背景などのオプティカルフローを排除する。 また、物体検出回路13aは、撮影画像SGの左右中央より左側の領域では右向きのオプティカルフローOP1のみを抽出し、撮影画像SGの左右中央より右側の領域では左向きのオプティカルフローOP2のみを抽出する。 これにより、物体検出回路13aは、自車両9から離れる方向に移動する物体のオプティカルフローを排除する。 図9の領域は撮影画像SGの左右中央より左側の領域であるため、図9では右向きのオプティカルフローOP1のみが抽出されている。 そして、物体検出回路13aは、抽出したオプティカルフローOP1のうち近接するもの同士をグループ化し、このようなグループのそれぞれを物体として検出する。 物体検出回路13aは、このようにして物体を検出した場合は、その物体の位置を検出結果として制御部11に出力する。 このようなオプティカルフロー方式などのフレーム相関方式は、画像の走査が不要であるため比較的少ない演算量で物体を検出できるといった特徴がある。 しかしながら一方で、オプティカルフロー方式などのフレーム相関方式は、その検出精度が自車両9の速度及び舵角の影響を受けやすく、自車両9の速度や舵角が大きくなるほど物体を正しく検出することが難しいといった特性がある。 すなわち、自車両9の速度が大きくなるほど、また、自車両9の舵角が大きくなるほど、フレーム相関方式による検出精度(物体検出回路13aの検出精度)は悪化する。 図10は、自車両9が直進している場合の物体検出回路13aの検出精度を説明するための図である。 図10は、自車両9と、自車両9の周辺を自ら移動する物体81,82とを示している。 2つの物体81,82は、自車両9に接近しており、同一の速度で図中右向きに移動している。 前述のように、物体検出回路13aは、自車両9に接近する物体を検出するために、内向きのオプティカルフローのみを抽出する。 ある物体に係るオプティカルフローが内向きとなるのは、当該物体の自車両9に対する相対的な速度ベクトルが、カメラ2の光軸21と交わる場合である。 まず、自車両9が停止している場合を想定する。 この場合は、物体81,82の自車両9に対する相対的な速度ベクトルは、物体81,82自体の速度ベクトルT2となる。 これら速度ベクトルT2はカメラ2の光軸21と交わることから、物体81,82に係るオプティカルフローは内向きとなる。 このため、物体検出回路13aは、これらの2つの物体81,82を双方ともに検出することができる。 次に、自車両9がある速度で直進している場合を想定する。 この場合は、自車両9の速度ベクトルは、光軸21に沿った速度ベクトルT1となる。 物体81,82の自車両9に対する相対的な速度ベクトルは、物体81,82自体の速度ベクトルT2と、自車両9の速度ベクトルT1の逆ベクトルT3との合成ベクトルT4となる。 図中の上側の物体81の合成ベクトルT4はカメラ2の光軸21と交わることから、物体検出回路13aは、この物体81については検出できる。 しかしながら、図中の下側の物体82の合成ベクトルT4はカメラ2の光軸21と交わらないため、物体検出回路13aは、この物体82については検出できなくなる。 このように物体検出回路13aは、自車両9が走行している場合は、本来検出すべき物体を検出できなくなる場合がある。 そして、自車両9の速度が大きくなるほど、合成ベクトルT4の向きが図中の下側へ向くことになるため、物体検出回路13aは物体を正しく検出することがより難しくなる。 このような原理により、物体検出回路13aの検出精度は、自車両9の速度が大きくなるほど悪化することになる。 図11は、自車両9が旋回している場合の物体検出回路13aの検出精度を説明するための図である。 図11は、自車両9と、自車両9の周辺に存在する自ら移動しない物体83とを示している。 まず、自車両9が停止している場合を想定する。 この場合は、物体83の自車両9に対する相対的な速度ベクトルは生じない。 このため、物体検出回路13aは、この物体83を検出することはない。 次に、自車両9がある舵角で旋回している場合を想定する。 この場合は、自車両9の速度ベクトルは、光軸21に対して所定の角度Φをなす速度ベクトルT5となる。 物体83の自車両9に対する相対的な速度ベクトルは、自車両9の速度ベクトルT5の逆ベクトルT6となる。 この速度ベクトルT6はカメラ2の光軸21と交わることから、物体検出回路13aは、自車両9に接近する物体としてこの物体83を誤検出してしまう。 このように物体検出回路13aは、自車両9が旋回している場合は、本来検出すべきでない物体を誤検出する場合がある。 そして、自車両9の舵角が大きくなるほど、速度ベクトルT6の向きが図中の上側へ向くことになるため、物体検出回路13aは物体を正しく検出することがより難しくなる。 このような原理により、物体検出回路13aの検出精度は、自車両9の舵角が大きくなるほど悪化することになる。 このような物体検出回路13aの検出精度を確保するため、状態判定部11aは、自車両9の速度及び舵角が所定の判定条件を満足する場合にのみ、物体検出回路13aの検出機能を有効化する。 図12は、状態判定部11aが用いる、検出機能の有効化の可否の判定条件を示す図である。 図中の横軸は舵角(度)、縦軸は速度(km/h)を示している。 舵角は、ステアリングホイールを中立位置から左側に回転すると正の値、右側に回転すると負の値で示される。 図12のグラフ中に自車両9の速度及び舵角をプロットした場合において、そのプロットした点がグラフ中の第1領域A1及び第2領域A2のいずれかに含まれる場合は、状態判定部11aは検出機能の有効化が可能(有効化すべき)と判定する。 逆に、プロットした点が第1領域A1及び第2領域A2のいずれにも含まれない場合は、状態判定部11aは検出機能の有効化が不可(無効化すべき)と判定する。 第1領域A1は、速度が0以上V1未満、かつ、舵角の絶対値がR2未満となる領域である。 また、第2領域A2は、速度がV1以上V2未満、かつ、舵角の絶対値がR1(R1<R2)未満となる領域である。 例えば、V1は0.1km/h、V2は3.0km/h、R1は270度、R2は540度とされる。 物体検出回路13aの検出精度は、自車両9の速度が小さいほど自車両9の舵角の影響を受けにくくくなる。 したがって、自車両9の速度が十分に小さい場合は、自車両9の舵角をある程度大きくしても物体検出回路13aの検出精度を確保することができる。 このため、速度が比較的小さい場合の第1領域A1は、速度が比較的大きい場合の第2領域A2と比較して、舵角の条件となる舵角範囲(図12中の横方向の範囲)は大きくなっている。 また、自車両9の速度が0以上V1未満の場合とは、自車両9の停止状態に相当する。 このように自車両9の停止状態では、物体検出回路13aの検出精度は、自車両9の舵角の影響を受けない。 このため、このように自車両9の停止状態における舵角の条件となる舵角範囲を規定するR2は舵角の最大値としてもよい。 検出機能の有効化の可否の判定条件として、第1領域A1と第2領域A2とのいずれを用いるかは条件変更部11bが設定する。 条件変更部11bは、自車両9の速度が0以上V1未満の場合は第1領域A1を判定条件として設定し、自車両9の速度がV1以上V2未満の場合は第2領域A2を判定条件として設定する。 また、自車両9の速度がV2以上の場合はいずれの領域も判定条件に設定しない。 これにより、条件変更部11bは、自車両9の速度が小さいほど、舵角の条件となる舵角範囲を大きくすることになる。 前述のように、自車両9の速度が0以上V1未満の場合とは、自車両9の停止状態に相当する。 このため、条件変更部11bは実質的に、自車両9の速度に基いて自車両9が走行状態か停止状態かを判定し、自車両9が停止状態の場合は走行状態の場合よりも舵角の条件となる舵角範囲を大きくすることになる。 このように条件変更部11bは、舵角の条件となる舵角範囲を、自車両9の速度に応じて変更する。 これにより、検出精度を確保できる範囲で、自車両9の速度に応じて検出機能を有効化する条件を緩和できる。 このため、物体検出システム10では、検出精度を確保しつつ、比較的広い舵角の範囲で物体を検出することができる。 <1−3. 検出機能の有効/無効の切り替え> 状態判定部11aは、検出機能に関するパラメータの一つである抽出閾値を変更することで、物体検出回路13aの検出機能の有効/無効を切り替える。 これにより、状態判定部11aは、物体検出回路13aの検出機能を無効化する場合においても、物体検出回路13aの動作を停止させずに継続させる。 物体検出回路13aが物体検出処理を実行するが検出結果を出力しない状態となることで、実質的に物体検出回路13aの検出機能が無効化される。 前述のように、物体検出回路13aは、物体検出処理の実行中において、抽出閾値を超える長さを有するオプティカルフローのみを抽出して物体を検出する。 また、物体検出回路13aが導出する導出値となるオプティカルフローの長さが取り得る値の最大値は「7ピクセル」である。 状態判定部11aは、物体検出回路13aの検出機能を無効化する場合には、抽出閾値を通常値の「1ピクセル」から、オプティカルフローの長さが取り得る値の最大値である「7ピクセル」に変更する。 「7ピクセル」を超える長さを有するオプティカルフローは存在しない。 このため、抽出閾値を「7ピクセル」に変更することにより、物体検出回路13aは、物体検出処理を実行したとしても物体を検出することはなく、検出結果を出力しない状態となる。 その結果、物体検出回路13aの動作が継続したまま、その検出機能が無効化されることになる。 なお、物体検出回路13aの検出機能を無効化する場合、抽出閾値を最大値にすることが最も望ましいが、通常値より大きい値であれば最大値でなくてもよい。 また、状態判定部11aは、物体検出回路13aの検出機能を有効化する場合には、抽出閾値を「7ピクセル」から通常値の「1ピクセル」に変更する。 これにより、物体検出回路13aは、「2ピクセル」を超える長さを有するオプティカルフローを抽出することになり、物体を検出した場合は検出結果を出力する状態になる。 検出機能が無効化された場合においても、物体検出回路13aの動作は停止されずに継続している。 このため、このように物体検出回路13aの検出機能を有効化する場合において、一定の時間(約1秒)が必要となる物体検出回路13aの再起動を行う必要はない。 したがって、検出機能を有効化する場合において、物体検出回路13aの検出結果を迅速に得ることができる。 なお、状態判定部11aが検出機能の有効化が不可と判定した場合において、物体検出回路13aの検出機能を無効化せずに、結果報知部11cが物体検出回路13aの検出結果をユーザに報知しないという態様も考えられる。 しかしながら、仮に、この態様を採用した場合は、物体検出回路13aが検出結果を出力するごとに制御部11の処理に割り込みが発生するため、制御部11の処理の負荷が増大する。 このため、上記のように物体検出回路13aの検出機能を無効化して、物体検出回路13aが検出結果を出力しないようにすることが望ましい。 <1−4. 動作の流れ> まず、信号受信部16が、自車両9の車両状態を取得する(ステップS11)。 信号受信部16は、速度センサ62及び舵角センサ63から送出される信号を受信して、自車両9の速度及び舵角を取得する。 次に、条件変更部11bが、検出機能の有効化の可否の判定条件を設定する(ステップS12)。 前述のように、自車両9の速度が0以上V1未満の場合は第1領域A1を判定条件として設定し、自車両9の速度がV1以上V2未満の場合は第2領域A2を判定条件として設定する。 また、自車両9の速度がV2以上の場合はいずれの領域も判定条件に設定しない。 これにより、条件変更部11bは、自車両9の速度に応じて舵角の条件となる舵角範囲を変更する。 次に、状態判定部11aが、条件変更部11bに設定された判定条件を用いて、物体検出回路13aの検出機能の有効化の可否を判定する(ステップS13)。 状態判定部11aは、信号受信部16が取得した自車両9の車両状態が判定条件を満足する場合は、検出機能の有効化が可能と判定する。 一方、状態判定部11aは、自車両9の車両状態が判定条件を満足しない場合は検出機能の有効化が不可と判定する。 状態判定部11aは、検出機能の有効化が可能と判定した場合は(ステップS14にてYes)、物体検出回路13aに信号を送出して、物体検出回路13aの検出機能に関するパラメータの一つである抽出閾値を、通常値である「1ピクセル」に設定する(ステップS15)。 これにより、物体検出回路13aの検出機能が有効化される。 物体検出回路13aは、その検出機能が有効化された状態で物体検出処理を実行する(ステップS16)。 したがって、物体検出回路13aは、物体を検出した場合は検出結果を制御部11に出力する。 物体検出回路13aが検出結果を出力した場合は、制御部11の結果報知部11cがその検出結果を受け取る(ステップS17)。 そして、結果報知部11cは、検出結果を示す表示画像を表示装置3において表示させるとともに、検出結果に応じた警告音をスピーカ4から発生させる。 これにより、検出結果がユーザに報知される(ステップS18)。 一方、状態判定部11aは、検出機能の有効化が不可と判定した場合は(ステップS14にてNo)、物体検出回路13aに信号を送出して、オプティカルフローの長さが取り得る値の最大値である「7ピクセル」に抽出閾値を設定する(ステップS19)。 これにより、物体検出回路13aの検出機能が無効化される。 この場合においても、物体検出回路13aの動作は継続され、物体検出回路13aはその検出機能が無効化された状態で物体検出処理を実行する(ステップS20)。 この場合は、物体検出回路13aは物体を検出せず、検出結果を出力することはない。 なお、この図13に示す処理においては、ステップS15またはステップS19のいずれかにおいて抽出閾値を必ず設定しているが、物体検出回路13aの検出機能の有効/無効を切り替える場合にのみ抽出閾値を設定してもよい。 以上のように、本実施の形態の物体検出システム10では、物体検出回路13aは、時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式で物体を検出する。 状態判定部11aは、検出機能に関するパラメータを変更することで、物体検出回路13aの動作を継続させたまま、物体検出回路13aの検出機能の有効/無効を切り替える。 このため、物体検出回路13aの検出機能を無効化した場合であっても、物体検出回路13aの動作が停止されない。 したがって、検出機能を有効化する場合に物体検出回路13aの再起動を行う必要はないことから、物体検出回路13aの検出結果を迅速に得ることができる。 また、状態判定部11aは、検出機能に関するパラメータの一つである抽出閾値を、オプティカルフローの長さが取り得る値の最大値に変更することで、物体検出回路13aの検出機能を無効化する。 このため、状態判定部11aは、抽出閾値を変更するのみで、物体検出回路13aの動作を継続させたまま、物体検出回路13aの検出機能を容易に無効化できる。 また、状態判定部11aは、自車両9の舵角が所定の舵角範囲に含まれない場合は物体検出回路13aの検出機能を無効化する。 そして、条件変更部11bは、このような舵角の条件となる舵角範囲を、自車両9の速度に応じて変更する。 したがって、検出精度を確保できる範囲で、自車両9の速度に応じて検出機能を有効化する条件を緩和できる。 このため、検出精度を確保しつつ、比較的広い舵角の範囲で物体を検出することができる。 <2. 第2の実施の形態> 図14は、第2の実施の形態の物体検出システム10の構成を示す図である。 図に示すように、第2の実施の形態の信号受信部16は、車載ネットワーク91を介して、自車両9に設けられたアンチロック・ブレーキ・システム(以下、「ABS」と略称する。)64からの信号を受信可能となっている。 その他の構成は、図1に示す第1の実施の形態と同じである。 ABS64は、車輪がロックして自車両9がスリップする可能性がある場合に、車輪のロックを抑制する装置である。 信号受信部16は、ABS64から信号を受信して、ABS64が動作中か否かの動作状態を自車両9の車両状態として取得する。 ABS64が動作中の場合は、車輪がロックする可能性がある場合であるため、速度センサ62が検出する速度(車輪軸の回転に基づく速度)の精度が低くなる。 例えば、実際には自車両9は走行状態であるのに、速度センサ62が検出する速度が0(km/h)となる場合がある。 したがって、ABS64が動作中の場合に、物体検出回路13aの検出機能を有効化したとしても、物体検出回路13aが自車両9に接近する物体を正しく検出できない可能性がある。 このような場合に、物体検出回路13aの検出結果をユーザに報知すると、実際には自車両9に接近する物体が存在する場合に、ユーザはそのような物体は存在しないと誤認識する可能性がある。 このため、第2の実施の形態の状態判定部11aは、図13のステップS13において、信号受信部16が取得した信号に基づいてABS64が動作中か否かを判定する。 そして、状態判定部11aは、ABS64が動作中である場合は、物体検出回路13aの検出機能の有効化は不可であると判定して、検出機能を無効化する。 一方で、状態判定部11aは、ABS64が非動作中である場合は、第1の実施の形態と同様に、自車両9の速度及び舵角に基づいて物体検出回路13aの検出機能の有効化の可否を判定する。 このように第2の実施の形態の物体検出システム10においては、ABS64が動作中の場合は状態判定部11aが物体検出回路13aの検出機能を無効化する。 これにより、物体検出回路13aの検出精度を確保することができる。 <3. 第3の実施の形態> 図15は、第3の実施の形態の物体検出システム10の構成を示す図である。 図に示すように、第3の実施の形態の信号受信部16は、車載ネットワーク91を介して、背面ドア92に設けられたカーテシスイッチ65からの信号を受信可能となっている。 その他の構成は、図1に示す第1の実施の形態と同じである。 カーテシスイッチ65は、背面ドア92が開いているか否かの開閉状態を検出する装置である。 信号受信部16は、カーテシスイッチ65から信号を受信して、背面ドア92の開閉状態を自車両9の車両状態として取得する。 図16に示すように、例えば、自車両9の背面ドア92は跳ね上げ式となっており、ユーザは必要に応じて背面ドア92を上側に向けて開けることができる。 前述のように、バックカメラ2Bは自車両9の後端の背面ドア92に設けられている。 図16の上部に示すように、背面ドア92が閉じている状態では、バックカメラ2Bの光軸21Bは路面に向かい、バックカメラ2Bは自車両9の後方の領域を正しく撮影することが可能である。 しかしながら、図16の下部に示すように、背面ドア92が開いている状態ではバックカメラ2Bの光軸21Bは路面に向かわず、バックカメラ2Bは自車両9の後方の領域を正しく撮影することができない。 したがって、背面ドア92が開いている場合に、物体検出回路13aの検出機能を有効化したとしても、物体検出回路13aが自車両9に接近する物体を正しく検出できない可能性がある。 このような場合に、物体検出回路13aの検出結果をユーザに報知すると、実際には自車両9に接近する物体が存在する場合に、ユーザはそのような物体は存在しないと誤認識する可能性がある。 このため、本実施の形態の状態判定部11aは、バックモードM3においては、図13のステップS13において、信号受信部16が取得した信号に基づいて背面ドア92が開いているか否かを判定する。 そして、状態判定部11aは、背面ドア92が開いている場合は、物体検出回路13aの検出機能の有効化は不可であると判定して、検出機能を無効化する。 一方で、状態判定部11aは、背面ドア92が閉じている場合は、第1の実施の形態と同様に、自車両9の速度及び舵角に基づいて物体検出回路13aの検出機能の有効化の可否を判定する。 このように第3の実施の形態の物体検出システム10においては、背面ドア92が開いている場合は状態判定部11aが物体検出回路13aの検出機能を無効化する。 これにより、物体検出回路13aの検出精度を確保することができる。 なお、本実施の形態においても、第2の実施の形態と同様に、状態判定部11aが、自車両9のABS64の動作状態をさらに考慮して、物体検出回路13aの検出機能の有効化の可否を判定してもよい。 また、背面ドア92は、跳ね上げ式であるとしたが、横開き式であってもよい。 <4. 第4の実施の形態> 図17は、第4の実施の形態の物体検出システム10の構成を示す図である。 図に示すように、第4の実施の形態の物体検出システム10は、4つのカメラ2を備えている。 4つのカメラ2は、フロントカメラ2F及びバックカメラ2Bの他に、左サイドカメラ2L及び右サイドカメラ2Rを含む。 図18は、4つのカメラ2F,2B,2L,2Rがそれぞれ撮影する方向を示す図である。 第1の実施の形態と同様に、フロントカメラ2Fは自車両9の前端に設けられ、バックカメラ2Bは自車両9の後端に設けられている。 また、左サイドカメラ2Lは左側の左サイドミラー93Lに設けられ、その光軸21Lは自車両9の左右方向に沿って左側方に向けられる。 また、右サイドカメラ2Rは右側の右サイドミラー93Rに設けられ、その光軸21Rは自車両9の左右方向に沿って右側方に向けられる。 各カメラ2は180度以上の画角θを有しているため、4つのカメラ2F,2B,2L,2Rを利用することで、自車両9の全周囲を撮影することが可能である。 図17に戻り、第4の実施の形態の画像処理回路13は、物体検出回路13aの他に、合成画像を生成する機能を有する画像合成回路13bを備えている。 画像合成回路13bは、4つのカメラ2で取得された4つの撮影画像を合成して、仮想視点からみた自車両9の周辺を示す合成画像を生成する。 図19は、画像合成回路13bが合成画像を生成する手法を説明する図である。 フロントカメラ2F、バックカメラ2B、左サイドカメラ2L、及び、右サイドカメラ2Rのそれぞれで撮影が行われると、自車両9の前方、後方、左側方及び右側方をそれぞれ示す4つの撮影画像SF,SB,SL,SRが取得される。 これら4つの撮影画像SF,SB,SL,SRには、自車両9の全周囲のデータが含まれている。 画像合成回路13bは、まず、4つの撮影画像SF,SB,SL,SRに含まれるデータ(画素の値)を、仮想的な三次元空間における立体曲面TSに投影する。 立体曲面TSは、自車両9の周辺の領域に相当する仮想の投影面である。 立体曲面TSは、例えば、略半球状(お椀形状)をしており、その中心領域(お椀の底部分)は自車両9の位置となる車両領域R0として定められている。 画像合成回路13bは、立体曲面TSのうち車両領域(自車両9の位置)R0には撮影画像のデータを投影せず、車両領域R0の外側の領域である投影領域R1に撮影画像のデータを投影する。 投影領域の各位置は、4つの撮影画像SF,SB,SL,SRのいずれかのデータと対応付けられる。 画像合成回路13bは、4つの撮影画像SF,SB,SL,SRのデータをそれぞれ投影領域R1の対応する位置に投影する。 画像合成回路13bは、投影領域R1において自車両9の前方に相当する部分PFに、フロントカメラ2Fの撮影画像SFのデータを投影する。 また、画像合成回路13bは、投影領域R1において自車両9の後方に相当する部分PBに、バックカメラ2Bの撮影画像SBのデータを投影する。 さらに、画像合成回路13bは、投影領域R1において自車両9の左側方に相当する部分PLに左サイドカメラ2Lの撮影画像SLのデータを投影し、投影領域R1において自車両9の右側方に相当する部分PRに右サイドカメラ2Rの撮影画像SRのデータを投影する。 このように立体曲面TSの投影領域R1に撮影画像のデータを投影すると、次に、画像合成回路13bは、自車両9の三次元形状を示すポリゴンのモデルを仮想的に構成する。 この自車両9のモデルは、立体曲面TSが設定される三次元空間における自車両9の位置である車両領域R0に配置される。 次に、画像合成回路13bは、三次元空間に対して仮想視点VPを設定する。 この仮想視点VPは、視点位置と視線方向とで規定される。 画像合成回路13bは、任意の視点位置、かつ、任意の視線方向の仮想視点VPを三次元空間に設定できる。 次に、画像合成回路13bは、立体曲面TSのうち、設定した仮想視点VPからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。 また、画像合成回路13bは、設定した仮想視点VPに応じて自車両9のモデルに関してレンダリングを行い、その結果となる二次元の車両像90を、切り出した画像に対して重畳する。 これにより、画像合成回路13bは、仮想視点VPからみた自車両9及び自車両9の周辺の領域を示す合成画像CPを生成する。 例えば図に示すように、視点位置を自車両9の直上、視線方向を直下とした仮想視点VPaを設定した場合には、画像合成回路13bは、自車両9及び自車両9の周辺を俯瞰する合成画像CPaを生成できる。 また、視点位置を自車両9の左後方、視線方向を自車両9の前方とした仮想視点VPbを設定した場合には、画像合成回路13bは、自車両9の左後方からみた自車両9及び自車両9の周辺を示す合成画像CPbを生成できる。 第4の実施の形態の画像出力部14は、撮影画像SGとともに、このように画像合成回路13bが生成した合成画像CPを含む表示画像を生成して、表示装置3に出力する。 これにより、図20に示すように、撮影画像SGと合成画像CPとを含む表示画像32が表示装置3において表示される。 この表示画像32に含まれる合成画像CPは、例えば、自車両9及び自車両9の周辺を俯瞰するものとなっている。 また、表示画像32は、第1の実施の形態と同様の2つの警告部AF及びアイコンCを含んでいる。 ユーザは、このような表示画像32を視認することで、自車両9に接近する物体が存在する方向を容易に把握できるとともに、自車両9の周囲全体の様子も同時に把握することができる。 なお、表示装置3に表示する表示画像の態様を、図20に示す態様と図4に示す態様とのいずれかに、ユーザが所定の操作を行うことで任意に変更できるようになっていてもよい。 また、左サイドカメラ2Lまたは右サイドカメラ2Rの撮影画像を用いて、自車両9に接近する物体を検出する動作モードがあってもよい。 <5. 変形例> 上記実施の形態の物体検出回路13aは、自車両9に接近する物体を検出するものであったが、自車両9から離れる方向に移動する物体を検出するものであってもよい。 また、上記実施の形態では、物体検出処理の検出結果を示す指標として矩形の警告部AFを表示していたが、矢印などの他の態様の指標を表示するようにしてもよい。 また、撮影画像中に含まれる検出した物体の像を強調枠などで強調することで、物体検出処理の検出結果をユーザに報知するようにしてもよい。 また、上記実施の形態では、状態判定部11aは、抽出閾値を変更することで物体検出回路13aの検出機能の有効/無効を切り替えていた。 これに対して、状態判定部11aは、検出機能に関する他のパラメータを変更して物体検出回路13aの検出機能の有効/無効を切り替えてもよい。 例えば、物体検出回路の検出結果の出力のオン/オフを指定するフラグを状態判定部11aが変更するようにしてもよい。 また、状態判定部11aは、検出機能の有効化の可否の判定条件として、上述した判定条件とは異なる判定条件を用いてもよい。 図21は、検出機能の有効化の可否の判定条件の他の一例を示す図である。 図21のグラフ中には、上記実施の形態と同様の第1領域A1及び第2領域A2に加えて、第3領域A3が存在している。 第3領域A3は、速度がV2以上V3未満、かつ、舵角の絶対値がR0(R0<R1)未満となる領域である。 例えばV3は5.0km/h、R0は120度とされる。 条件変更部11bは、自車両9の速度がV2以上V3未満の場合は第3領域A3を判定条件として設定する。 したがってこの場合も、条件変更部11bは、舵角の条件となる舵角範囲を自車両9の速度に応じて変更し、自車両9の速度が小さいほど舵角範囲を大きくすることになる。 また、上記実施の形態においては、物体検出回路13aは、オプティカルフロー方式で物体を検出していた。 これに対して、物体検出回路13aは、フレーム間差分法などの他のフレーム相関方式で物体を検出するものであってもよい。 フレーム間差分法は、互いに異なる時点に取得された2つの撮影画像の画素値の差をとり、画素値の差が生じる領域に基づいて物体を検出する手法である。 また、物体検出回路13aは、テンプレートマッチング方式などのパターン認識方式で物体を検出するものであってもよい。 テンプレートマッチング方式は、検出対象となる物体の外観を示すテンプレート画像をパターンとして予め用意しておき、一つの撮影画像からテンプレート画像に近似する領域を探索することで物体を検出する手法である。 また、上記実施の形態では、プログラムの実行によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。 また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。 1 物体検出装置 2 カメラ 3 表示装置 9 自車両 10 物体検出システム 11 制御部 11a 状態判定部 11b 条件変更部 13a 物体検出回路 |