画像処理装置、警報装置、および画像処理方法

関連出願へのクロスリファレンス

本出願は、日本国特許出願2013−266025号(2013年12月24日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取込む。

本発明は、画像上の被写体の認識性を向上する画像処理装置、警報装置、および画像処理方法に関する。

従来、自動車などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示するアラウンドビューモニタシステムが知られている。このようなシステムにおいて、各撮像画像間のつなぎ目に視覚的な連続性を持たせる技術が知られている(例えば、特許文献1)。

特開2010−166196号公報

画像の視認性確保のため、例えばガンマ補正、ホワイトバランス、および露出制御などにより、各カメラにおいて画像の色および明るさをそれぞれ調整することが一般的である。このため、例えば夜間や屋内において、移動体周囲の一部領域を照射する移動体の照明又は周囲の光源などの影響により、あるカメラで明るく撮像される障害物などの被写体が、他のカメラで暗く撮像されることがあった。このように、移動体周囲の多様な光源によって、結合画像上で視認性の低い被写体の存在を認識できない場合があった。

かかる事情に鑑みてなされた本発明の目的は、結合画像上で視認性が低い被写体の存在を認識可能な画像処理装置、警報装置、および画像処理方法を提供することにある。

上記課題を解決するために本発明に係る画像処理装置は、 第1の領域を含む移動体の周辺領域を撮像した第1の画像と、前記第1の領域に隣接する第2の領域を含む前記移動体の周辺領域を撮像した第2の画像と、を取得する画像取得部と、 前記第1および第2の画像に対して輪郭検出を行う輪郭検出部と、 前記第1および第2の画像を用いて生成する結合画像において、前記第1の画像上で検出された第1の輪郭が前記第2の画像との境界まで延びる場合、前記第1の輪郭の延長線上に第2の輪郭が前記第2の画像上で検出されるか否かを判別する判別部と、を備える ことを特徴とする。

また、本発明に係る画像処理装置は、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、前記第2の画像のコントラストを増大する調整を行う調整部を更に備える ことが好ましい。

また、本発明に係る画像処理装置において、 前記調整は、前記第2の画像の明るさ補正、色補正、輪郭補正、撮像の際の露出制御、および撮像の際の利得制御のうち少なくとも1つにより行われる ことが好ましい。

また、本発明に係る画像処理装置において、 前記画像取得部は、前記第1の画像を撮像する第1の撮像部に設定された第1の利得を示す情報を取得し、前記第2の画像を撮像する第2の撮像部に設定された第2の利得を示す情報を取得し、 前記調整部は、前記第1の利得と前記第2の利得との差が閾値以上である場合、運転者に対して警告すること、および、前記第1の利得に合わせるように変更した前記第2の利得を前記第2の撮像部に設定することの少なくとも一方を行う ことが好ましい。

また、本発明に係る画像処理装置は、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、前記第1の輪郭の延長線上に相当する前記第2の画像上の位置に重畳線を描画する描画部を更に備える ことが好ましい。

また、本発明に係る画像処理装置は、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、前記第1の輪郭の延長線上に相当する前記第2の画像上の位置を境界線として定め、該境界線により区画される前記第2の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳する描画部を更に備える ことが好ましい。

また、本発明に係る警報装置は、 第1の領域を含む移動体の周辺領域を撮像した第1の画像と、前記第1の領域に隣接する第2の領域を含む前記移動体の周辺領域を撮像した第2の画像と、を取得する画像取得部と、前記第1および第2の画像に対して輪郭検出を行う輪郭検出部と、前記第1および第2の画像を用いて生成する結合画像において、前記第1の画像上で検出された第1の輪郭が前記第2の画像との境界まで延びる場合、前記第1の輪郭の延長線上に第2の輪郭が前記第2の画像上で検出されるか否かを判別する判別部と、を備える画像処理装置と、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、障害物が存在することを示す警報を発する警報発生部と、を備える ことを特徴とする。

また、本発明に係る警報装置は、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、前記第2の画像のコントラストを増大する調整を行う調整部を更に備える ことが好ましい。

また、本発明に係る警報装置において、 前記調整は、前記第2の画像の明るさ補正、色補正、輪郭補正、撮像の際の露出制御、および撮像の際の利得制御のうち少なくとも1つにより行われる ことが好ましい。

また、本発明に係る警報装置において、 前記画像取得部は、前記第1の画像を撮像する第1の撮像部に設定された第1の利得を示す情報を取得し、前記第2の画像を撮像する第2の撮像部に設定された第2の利得を示す情報を取得し、 前記調整部は、前記第1の利得と前記第2の利得との差が閾値以上である場合、運転者に対して警告すること、および、前記第1の利得に合わせるように変更した前記第2の利得を前記第2の撮像部に設定することの少なくとも一方を行う ことが好ましい。

また、本発明に係る警報装置は、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、前記第1の輪郭の延長線上に相当する前記第2の画像上の位置に重畳線を描画する描画部を更に備える ことが好ましい。

また、本発明に係る警報装置は、 前記判別部により前記第2の輪郭が前記第2の画像上で検出されないと判別された場合、前記第1の輪郭の延長線上に相当する前記第2の画像上の位置を境界線として定め、該境界線により区画される前記第2の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳する描画部を更に備える ことが好ましい。

また、本発明に係る画像処理方法は、 第1の領域を含む移動体の周辺領域を撮像した第1の画像と、前記第1の領域に隣接する第2の領域を含む前記移動体の周辺領域を撮像した第2の画像と、を取得するステップと、 前記第1および第2の画像に対して輪郭検出を行うステップと、 前記第1および第2の画像を用いて生成する結合画像において、前記第1の画像上で検出された第1の輪郭が前記第2の画像との境界まで延びる場合、前記第1の輪郭の延長線上に第2の輪郭が前記第2の画像上で検出されるか否かを判別するステップと、を含む ことを特徴とする。

本発明に係る画像処理装置、警報装置、および画像処理方法によれば、視認性を改善して撮像できるので、結合画像上で視認性の低い被写体の存在を認識可能である。

本発明の第1の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。

図1の撮像装置の撮像範囲を示す概略図である。

図1の画像処理装置の動作を説明するフローチャートである。

移動体周辺の状況を示す図である。

図4における撮像画像の例を示す図である。

図5の撮像画像の輝度を示す図である。

図1のカメラシステムによる移動体周辺の俯瞰画像の例を示す図である。

本発明の第2の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。

図8の画像処理装置の動作を説明するフローチャートである。

図8のカメラシステムによる移動体周辺の俯瞰画像の例を示す図である。

図8のカメラシステムによる移動体周辺の俯瞰画像の例を示す図である。

本発明の第3の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。

図12の画像処理装置の動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

(第1の実施形態) はじめに、本発明の第1の実施形態に係る画像処理装置を含むカメラシステムについて説明する。図1は、本発明の第1の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。

図1に示すように、カメラシステム100は、撮像装置10と、画像結合装置11と、表示装置12と、画像処理装置13と、を備える。撮像装置10、画像結合装置11、表示装置12、および画像処理装置13は、例えば車載ネットワーク200により互いに通信可能である。撮像装置10は、複数の撮像部、本実施形態においては、例えば、フロントカメラ14、リアカメラ15、サイドカメラ(左サイドカメラ16L,右サイドカメラ16R)を有する。

フロントカメラ14は、例えば魚眼レンズなどの画角の広いレンズを備え、広角撮影可能である。フロントカメラ14は、移動体17の前方領域FA(図2参照)を含む周辺領域を撮像可能となるように、移動体17に配置される。また、フロントカメラ14は、前方領域FA中央の測光領域FPにおいて測光し、露出制御および利得(ゲイン)制御を行う。また、フロントカメラ14は、周期的に、例えば30fpsで被写体像を撮像し、撮像画像を生成する。また、フロントカメラ14は、撮像画像にホワイトバランスおよびガンマ補正などの一般的な画像処理を施す。フロントカメラ14の動作は、撮像に関する設定に基づいて制御される。撮像に関する設定には、例えば、露出制御における光学系の絞り値およびシャッタ速度の設定、並びに利得制御、ガンマ補正、およびホワイトバランスにおいて画像信号に乗じる利得の設定などが含まれる。また、フロントカメラ14は、撮像画像に対して画像変換処理を施し、移動体17の前方領域FAにおける俯瞰画像に変換する。即ち、画像変換によって、広角撮影により生成し、一般的に画像周辺部が歪んだ撮像画像が、前方領域FAを移動体17の上方から鉛直下向きに見た俯瞰画像に変換される。

リアカメラ15、左サイドカメラ16L、および右サイドカメラ16Rは(図1参照)、フロントカメラ14と同様に構成される。

例えば、リアカメラ15は、移動体17の後方領域ReA(図2参照)を含む周辺領域を撮像可能となるように、移動体17に配置される。また、リアカメラ15は、後方領域ReA中央の測光領域RePにおいて測光して露出制御および利得制御を行い、撮像画像を生成する。また、リアカメラ15は、撮像画像に対して一般的な画像処理を施し、また画像変換により撮像画像を後方領域ReAにおける俯瞰画像に変換する。

また、例えば左サイドカメラ16Lは、移動体17の左側方領域LAを含む周辺領域を撮像可能となるように、移動体17の左側のドアミラーにおいて鉛直下向きに配置される。また、左サイドカメラ16Lは、左側方領域LA中央の測光領域LPにおいて測光して露出制御および利得制御を行い、撮像画像を生成する。また、左サイドカメラ16Lは、撮像画像に対して一般的な画像処理を施し、また画像変換により撮像画像を左側方領域LAにおける俯瞰画像に変換する。

また、例えば右サイドカメラ16Rは、移動体17の右側方領域RAを含む周辺領域を撮像可能となるように、移動体17の右側のドアミラーにおいて鉛直下向きに配置される。また、右サイドカメラ16Rは、右側方領域RA中央の測光領域RPにおいて測光して露出制御および利得制御を行い、撮像画像を生成する。また、右サイドカメラ16Rは、撮像画像に対して一般的な画像処理を施し、また画像変換により撮像画像を右側方領域RAにおける俯瞰画像に変換する。

上述の領域FA,ReA,LA,RAは、互いに環状に隣接する。例えば、前方領域FAは、左側方領域LAおよび右側方領域RAに隣接する。

画像結合装置11は(図1参照)、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rがそれぞれ生成する複数の俯瞰画像、又は後述する画像処理装置13が生成する複数の俯瞰画像を結合して、結合画像を生成する。結合画像は、例えば移動体17の全周囲の俯瞰画像である。結合画像において、前方領域FAにはフロントカメラ14の画像、後方領域ReAにはリアカメラ15の画像、左側方領域LAには左サイドカメラ16Lの画像、および右側方領域RAには右サイドカメラ16Rの画像が用いられる(図2参照)。

表示装置12は、例えばLCDであり、リアルタイムの動画像を表示可能である。表示装置12は、画像結合装置11が生成する結合画像を取得して表示する。表示装置12は、例えばタッチパネルで構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。

画像処理装置13は、画像取得部18と、輪郭検出部19と、判別部20と、調整部21と、を有する。

画像取得部18は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rが生成する各画像を画像信号としてそれぞれ取得する。画像信号には、輝度信号および色信号が含まれる。本実施形態において、画像取得部18は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rが生成する俯瞰画像を取得するが、画像変換処理を施す前の撮像画像を取得してもよい。

輪郭検出部19は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rから取得した複数の画像に対して、輪郭検出の処理を行う。即ち、輪郭検出によって、画像上の被写体の輪郭(輪郭線)が検出される。本実施形態の輪郭検出処理において、連続する複数の画素における画像信号強度の差(コントラスト)が所定値th以上である箇所が輪郭として検出される。所定値thは、運転者による画像上の輪郭の視認容易性の基準を示すコントラストの値であって、例えば実験又はシミュレーションにより決定可能である。所定値th以上のコントラストを有する輪郭は、運転者による視認が容易である。一方、所定値th未満のコントラストを有する輪郭は、運転者による視認が容易でない。輪郭検出部19は、所定値th未満の任意のしきい値を基準として輪郭を検出してもよい。

判別部20は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rから取得した複数の画像のうち1つの画像(第1の画像)上で検出され、所定値th以上のコントラストを有する第1の輪郭が、結合画像において第1の画像に隣接する他の画像(第2の画像)との境界まで延びているか否かを判別する。また、判別部20は、第1の輪郭が境界まで延びている場合、第1の輪郭の延長線に相当し所定値th以上のコントラストを有する第2の輪郭が、第2の画像上で検出されるか否かを判別する。判別部20の具体的な動作については後述する。

調整部21は、所定値th以上のコントラストを有する第2の輪郭が検出されない場合、第2の画像のコントラストを増大する調整を行う。コントラストを増大する調整は、例えば画像の明るさ補正、色補正、輪郭補正、ガンマ補正、撮像の際の露出制御、および撮像の際の利得制御などにより行い得る。詳細には、調整部21は、取得した第2の画像に対して明るさ補正、色補正、および輪郭補正などの画像処理を施し、画像結合装置11に出力する。或いは、調整部21は、次のフレーム以降に第2の画像を撮像する際に撮像部(14,15,16L,16R)が行う露出制御、利得制御および画像処理の動作を制御する。好適には、調整部21は、第1の輪郭の延長線上に相当する第2の画像上の位置におけるコントラストが所定値th以上となるまで、第2の画像のコントラストを増大する上述の処理を繰返し実行する。例えば、調整部21が第2の画像に対して施す画像処理、および輪郭検出部19が当該画像処理を施した第2の画像に対して施す輪郭検出処理が、判別部20が所定値th以上のコントラストを有する第2の輪郭を検出するまで繰返し実行される。

次に、第1の実施形態に係る画像処理装置13が実行する動作について、図3のフローチャートを用いて説明する。

はじめに、画像取得部18は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rから画像(俯瞰画像)をそれぞれ取得する(ステップS100)。

次に、輪郭検出部19は、ステップS100で取得した各画像について輪郭検出を行う(ステップS101)。

次に、判別部20は、ステップS101で輪郭検出を行った複数の画像のうち、第1の画像上で検出された第1の輪郭が、隣接する第2の画像との境界まで延びているか否かを判別する(ステップS102)。第1の輪郭が境界まで延びていない場合(ステップS102−No)、処理を終了する。

一方、ステップS102において第1の輪郭が境界まで延びている場合(ステップS102−Yes)、判別部20は、第1の輪郭の延長線に相当し所定値th以上のコントラストを有する第2の輪郭が第2の画像上で検出されたか否かを判別する(ステップS103)。第2の輪郭が検出されている場合(ステップS103−No)、処理を終了する。

一方、ステップS103において第2の輪郭が検出されていない場合(ステップS103−Yes)、調整部21は、第2の画像のコントラストを増大する調整を行う(ステップS104)。

上述のステップS102乃至ステップS104は、第1および第2の画像として採用し得る全ての画像の組合せについて行われる。詳細には、フロントカメラ14の画像、リアカメラ15の画像、左サイドカメラ16Lの画像、又は右サイドカメラ16Rの画像を第1の画像と定めたそれぞれの場合につき、第1の画像に隣接する2つの画像のそれぞれを第2の画像と定めて上述の処理が実行される。

このように、第1の実施形態の画像処理装置13は、第1の輪郭の延長線に相当し所定値th以上のコントラストを有する第2の輪郭が第2の画像上で検出されるか否かを判別する。このため、以下に示すように、結合画像上の被写体の存在を認識可能となる。

以下、第1の実施形態の画像処理装置13の具体的な動作について説明する。図4に示すように、路面上の移動体17の周辺領域において移動体17よりも左側が日陰であり、移動体17と離間して移動体17の前後方向と平行に延設される側溝(被写体)が存在する場合に関し、フロントカメラ14および左サイドカメラ16Lについて例示的に説明する。側溝と路面との境界Aは、移動体17の左側方領域LA(第1の領域)および左側方領域LAに隣接する前方領域FA(第2の領域)にわたって連続する。

カメラの通常の露出制御において、カメラの測光領域内の被写体からカメラに入射される光強度が小さい場合に画像の明るさを増加させ、光強度が大きい場合に画像の明るさを低減させるように露出を制御することが一般的である。例えば、図5に示すように、左サイドカメラ16Lは、日陰の領域において測光するため、画像全体が適切な明るさに調整される。一方、フロントカメラ14は、日向の領域において測光するため、画像上において移動体17よりも左側の日陰の領域全体が暗くなる。

ここで、フロントカメラ14および左サイドカメラ16Lの各画像の輝度は、側溝と路面との境界Aを境に異なり得る。図6は、両画像の結合境界(図5の線分B−C参照)に沿った方向における両画像の輝度を示す。図6に示すように、左サイドカメラ16Lの画像は、側溝と路面との境界Aにおけるコントラストが大きく(例えば、所定値th以上)、画像上の側溝の視認性が高い。一方、フロントカメラ14の画像は、境界Aにおけるコントラストが小さく(例えば、所定値th未満)、画像上の側溝の視認性が低い。

本実施形態の画像処理装置13は、左側方領域LA(第1の領域)を撮像する左サイドカメラ16Lの画像(第1の画像)上で、路面と側溝との境界Aを第1の輪郭として検出する。一方、前方領域FA(第2の領域)を撮像するフロントカメラ14の画像(第2の画像)上で、第1の輪郭の延長線上に、即ち側溝と路面との境界A上に所定値th以上のコントラストを有する第2の輪郭は検出されない。この場合、第1の画像上において第1の輪郭が第2の画像との結合境界(図5の線分B−C参照)まで延びているため、側溝と路面との境界Aが第1の領域から第2の領域に延びて存在する蓋然性が高いと考えられる。このため、画像処理装置13は、第2の領域において側溝が存在すると判定可能である。

また、本実施形態の画像処理装置13は、所定値th以上のコントラストを有する第2の輪郭が検出されない場合、第2の画像のコントラストが増大されるため、表示装置12に表示される結合画像上で被写体の視認性を向上可能である。例えば、図4に示すように移動体17の周辺に側溝および日陰の領域が存在する場合、フロントカメラ14(およびリアカメラ15)の画像上の側溝と路面との境界Aにおけるコントラストが増大するため、画像上の前方領域FA(および後方領域ReA)における側溝の視認性が向上する(図7参照)。

(第1の実施形態の変形例) 上述の第1の実施形態において、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rは、撮像に関する設定を示す情報を、例えば車載ネットワーク200を介してそれぞれ出力可能であってもよい。また、画像処理装置13は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rからそれぞれ取得した情報に基づいて、運転者に対して警告すること、および、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rの撮像に関する設定を変更することの少なくとも一方を行ってもよい。以下、具体的に説明する。

フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rは、撮像に関する設定を示す情報として、例えば利得制御において画像信号に乗じる利得を示す情報を出力する。

画像取得部18は、フロントカメラ14、リアカメラ15、およびサイドカメラ16L,16Rが出力した利得を示す情報をそれぞれ取得する。

調整部21は、第1の画像を撮像する撮像部(14,15,16L,16R)に設定された第1の利得と、第2の画像を撮像する撮像部(14,15,16L,16R)に設定された第2の利得とを比較する。好適には、調整部21は、第2の画像との境界まで延びている第1の輪郭が検出された第1の画像を撮像する撮像部(14,15,16L,16R)に設定された第1の利得と、第2の画像を撮像する撮像部(14,15,16L,16R)に設定された第2の利得とを比較する。

続いて、調整部21は、第1の利得と第2の利得との差が所定の閾値以上である場合、運転者に対して警告を行う。警告は、例えば表示装置12を介して表示により行うがこれに限られず、音声又は振動等の任意の手段により行ってもよい。警告を表示により行う場合、表示装置12に表示される結合画像上の対象領域を通常とは異なる態様で表示させてもよい。対象領域は、例えば、結合画像上で第1の画像および第2の画像が用いられている領域の少なくとも一部の領域、又は、結合画像上の第1の画像と第2の画像との境界線を示す領域などであってもよい。また、通常とは異なる態様による表示は、例えば明滅表示やマークの重畳表示等の強調表示であってもよい。警告を音声により行う場合、移動体17から見た対象領域の方向を示す音声により警告を行ってもよい。両情報に係る利得の差が大きい場合、一方の撮像部(14,15,16L,16R)による画像上で障害物を認識できない蓋然性が高いため、警告により運転者に対して注意喚起を行うことができる。

続いて、調整部21は、第1の利得と第2の利得との差が所定の閾値以上である場合、第1の利得に合わせるように、第2の利得を変更する。このようにして、例えば、変更された第2の利得の値は、第1の利得の値に略一致する。好適には、調整部21は、所定値th以上のコントラストを有する第2の輪郭が検出されず、かつ第1の利得と第2の利得との差が所定の閾値以上である場合、第1の利得に合わせるように、第2の利得を変更する。

そして、調整部21は、変更された第2の利得を、第2の画像を撮像する撮像部(14,15,16L,16R)に設定する。このようにして、第2の画像を撮像する撮像部(14,15,16L,16R)の利得の設定は、第1の画像を撮像する撮像部(14,15,16L,16R)の利得の設定と略一致する。

第1の画像を撮像する撮像部(14,15,16L,16R)の利得と、第2の画像を撮像する撮像部(14,15,16L,16R)の利得との差が所定の閾値以上であるなど、両撮像部(14,15,16L,16R)の撮像に関する設定が大きく異なる場合、一方の撮像部(14,15,16L,16R)による画像上で障害物などの被写体を認識できない蓋然性が高い。かかる場合、第1の実施形態の変形例によれば、警告により運転者に対して注意喚起を行うことができる。また、第1の画像を撮像する撮像部(14,15,16L,16R)の撮像に関する設定に合わせるように第2の画像を撮像する撮像部(14,15,16L,16R)の撮像に関する設定を変更するので、第1の画像および第2の画像において共通に撮像された障害物などの被写体の視認性が向上する。

上記の変形例において、調整部21が撮像に関する設定として利得の設定を調整する例について説明したが、例えば調整部21が露出制御における光学系の絞り値およびシャッタ速度の設定を調整する構成であってもよい。

(第2の実施形態) 次に、本発明の第2の実施形態について説明する。第2の実施形態に係るカメラシステム101の構成は第1の実施形態と同様であるが、画像処理装置の構成が異なる。

図8に示すように、本実施形態の画像処理装置130は、画像取得部18と、輪郭検出部19と、判別部20と、描画部220と、を有する。画像取得部18、輪郭検出部19、および判別部20は、第1の実施形態と同様である。

描画部220は、所定値th以上のコントラストを有する第2の輪郭が第2の画像上で検出されない場合、第2の画像において被写体の視認性を向上する表示を描画する。例えば、描画部220は、第1の輪郭の延長線上に相当する第2の画像上の位置に重畳線を描画する。或いは、描画部220は、第1の輪郭の延長線上に相当する第2の画像上の位置を境界として、第2の画像上で移動体17から遠い領域に、該領域の色とは異なる色を重畳して描画する。

次に、第2の実施形態に係る画像処理装置130が実行する動作について、図9のフローチャートを用いて説明する。

ステップS200乃至ステップS203では、第1の実施形態におけるステップS1000乃至ステップS103(図3参照)と同様の処理が行われる。

ステップS203(図9参照)において第2の輪郭が検出されていない場合(ステップS203−Yes)、描画部220は、第2の画像において被写体の視認性を向上する表示を描画する(ステップS204)。

ステップS202乃至ステップS204は、第1および第2の画像として採用し得る全ての画像の組合せについて行われる。

このように、第2の実施形態の画像処理装置130は、第2の画像において被写体の視認性を向上する表示を描画するため、以下に示すように、表示装置12に表示される結合画像上で被写体の視認性を向上可能である。

例えば、図4に示すように、移動体17の周辺領域において、側溝と路面との境界Aが、左側方領域LA(第1の領域)および左側方領域LAに隣接する前方領域FA(第2の領域)にわたって連続する場合に関し、フロントカメラ14、リアカメラ15、および左サイドカメラ16Lについて例示的に説明する。

画像処理装置130は、図10に示すように、左サイドカメラ16Lの画像(第1の画像)上で検出される第1の輪郭の延長線上に相当するフロントカメラ14(およびリアカメラ15)の画像(第2の画像)上の位置に、重畳線Dを描画する。或いは、画像処理装置130は、図11に示すように、第1の輪郭の延長線上に相当する第2の画像上の位置を境界線として定め、第2の画像上で移動体17から遠い領域Eに、該領域の色とは異なる色を重畳して描画する。このようにして、結合画像上で被写体(側溝と路面との境界A)の視認性が向上される。

(第3の実施形態) 次に、本発明の第3の実施形態について説明する。図12に示すように、第3の実施形態に係るカメラシステム102は、フロントカメラ14と、リアカメラ15と、左サイドカメラ16Lと、右サイドカメラ16Rと、画像結合装置11と、表示装置12と、警報装置231と、を備える。フロントカメラ14、リアカメラ15、左サイドカメラ16L、右サイドカメラ16R、画像結合装置11、および表示装置12は、第1の実施形態と同様である。

警報装置231は、画像取得部18、輪郭検出部19、および判別部20を有する画像処理装置131と、警報発生部241と、を備える。画像取得部18、輪郭検出部19、および判別部20は、第1の実施形態と同様である。

警報発生部241は、所定値th以上のコントラストを有する第2の輪郭が第2の画像上で検出されない場合、結合画像上において視認性の低い被写体(障害物)の存在を示す警報を発する。警報は、例えば音により行う。好適には、警報は、移動体17の周辺における第2の領域内に被写体が存在すること示す。

次に、第3の実施形態に係る警報装置231が実行する動作について、図13のフローチャートを用いて説明する。

ステップS300乃至ステップS303では、第1の実施形態におけるステップS1000乃至ステップS103(図3参照)と同様の処理が行われる。

ステップS303(図13参照)において第2の輪郭が検出されていない場合(ステップS203−Yes)、警報発生部241は、画像上において視認性の低い被写体の存在を示す警報を発する(ステップS304)。

ステップS202乃至ステップS204は、第1および第2の画像として採用し得る全ての画像の組合せについて行われる。

このように、第3の実施形態の警報装置231は、画像上において視認性の低い被写体(障害物)の存在を示す警報を発する。例えば、図4に示すように移動体17の周辺に側溝が存在する場合、警報装置231は、移動体17の周辺における障害物の存在を示す警報を発する。好適には、警報装置231は、第2の領域、即ち移動体17の前方領域FAおよび後方領域ReAにおいて障害物が存在することを示す警報を発する。このため、移動体17の運転者は、表示装置12に表示される結合画像上で視認性の低い被写体の存在を認識可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上述の実施形態において、撮像装置10は、フロントカメラ14、リアカメラ15、左サイドカメラ16L、および右サイドカメラ16Rを備えるが、更に多くのカメラを備えてもよい。例えば、移動体17の全周囲を撮像可能な遠景カメラを更に備える構成であってもよい。

また、上述の実施形態のカメラシステム100,101,102の各機能および各構成要素は、分割および再配置可能である。例えば、画像処理装置13,130,131を、フロントカメラ14などに備えるように構成してもよい。また、例えばナビゲーションシステムを更に備え、画像処理装置13,130,131をナビゲーションシステムに備えるように構成してもよい。

また、上述の第2の実施形態において、画像処理装置130が色を重畳して描画する領域は、境界線から移動体17に近い領域であってもよい。即ち、画像処理装置130は、第2の画像上において境界線により区画される第2の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳して描画してもよい。

また、上述の実施形態は、互いに組み合わせて実施可能である。例えば、画像処理装置13,130,131は、調整部21および描画部220を同時に有する構成であってもよい。また、警報装置231が備える画像処理装置131が、調整部21および描画部220を有する構成であってもよい。

また、上述の実施形態に係るカメラシステム100,101,102の構成要素の一部は、移動体17の外部に設けられてもよい。例えば、画像処理装置13,130,131および画像結合装置11等は、携帯電話又は外部サーバ等の通信機器として実現され、カメラシステム100,101,102の他の構成要素と有線又は無線により接続されてもよい。

10 撮像装置 11 画像結合装置 12 表示装置 13,130,131 画像処理装置 14 フロントカメラ 15 リアカメラ 16L 左サイドカメラ 16R 右サイドカメラ 17 移動体 18 画像取得部 19 輪郭検出部 20 判別部 21 調整部 100,101,102 カメラシステム 200 車載ネットワーク 220 描画部 231 警報装置 241 警報発生部