本発明は、システム、情報処理装置、情報処理方法、および情報処理プログラムに関する。

従来、屋外に設置されたカメラ装置によって走行中の車両のナンバープレートを撮像し、ナンバープレートが写った画像データの文字認識処理によって、車両のナンバーを読み取るシステムがある。関連する先行技術として、例えば、対象物を撮像した画像に映る像のエッジ強度をエッジの方向に基づいて補正し、補正後の強度を画像のぼけの程度を表すぼけ評価値として検出し、被写体を撮像する際の焦点位置の設定を、ぼけ評価値に基づき調整するものがある。また、複数のエリアの1エリア分の輪郭信号および画像信号から、該当のエリアの合焦状態を表すフォーカス評価値と履歴との比較結果から該当のエリアが合焦しているか否かを判断し、合焦を検出したエリアと合焦していないエリアを区別して表示する技術がある。(例えば、下記特許文献1、2を参照。)

特開2012−073679号公報

特開2004−309915号公報

しかしながら、従来技術では、カメラ装置の部品が周辺温度変化に応じて膨張、収縮して焦点距離が変動し、車両等の移動対象物に焦点が合っていない状態で撮像された画像データに対して文字認識が行われて、移動対象物の誤認識が発生してしまう場合がある。

1つの側面では、本発明は、移動対象物の誤認識の発生を抑制できるシステム、情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

1つの態様では、カメラ装置と、カメラ装置が撮像した画像データの文字認識処理の認識結果を取得可能な情報処理装置と、を有するシステムであって、情報処理装置は、画角が同一であり、焦点距離が同一である状態で、同一の移動対象物をカメラ装置が撮像した複数の画像データの各々の画像データの合焦度合いを示す値と、各々の画像データの文字認識処理により得られた移動対象物の認識結果とに基づいて、カメラ装置が撮像した画像データの合焦度合いに関する閾値を決定し、カメラ装置が撮像した画像データの合焦度合いを示す値と、決定した閾値との比較結果に基づいて、前述の画像データを文字認識処理の対象とするか否かを判断するシステム、情報処理装置、情報処理方法、および情報処理プログラムが提案される。

1つの側面では、移動対象物の誤認識の発生を抑制できるという効果を奏する。

図1は、本実施の形態にかかるシステムの動作例を示す説明図である。

図2は、車番認識システムの接続例を示す説明図である。

図3は、車番認識装置のハードウェア構成例を示すブロック図である。

図4は、焦点距離に応じた合焦範囲の変化の一例を示す説明図である。

図5は、車番認識装置の機能構成例を示すブロック図である。

図6は、個別フォーカス限界値の決定例を示す説明図である。

図7は、全体フォーカス限界値の決定例を示す説明図(その1)である。

図8は、全体フォーカス限界値の決定例を示す説明図(その2)である。

図9は、初期状態とフォーカスシフトが起きた状態とにおけるフォーカス評価値の一例を示す説明図である。

図10は、全体フォーカス限界値決定処理手順の一例を示すフローチャートである。

図11は、個別フォーカス限界値決定処理手順の一例を示すフローチャートである。

図12は、ナンバープレート認識処理手順の一例を示すフローチャートである。

以下に図面を参照して、開示のシステム、情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。

図1は、本実施の形態にかかるシステムの動作例を示す説明図である。本実施の形態にかかるシステム100は、カメラ装置102が撮像した画像データの文字認識処理の認識結果を取得可能な情報処理装置101と、カメラ装置102とを有する。システム100は、カメラ装置102が撮像した移動対象物に描かれた文字を認識し、システム100の利用者に提供する。

移動対象物は、移動する物体であればどのようなものでもよい。例えば、移動対象物は、走行中の車両のナンバープレートであり、移動対象物に描かれた文字は、ナンバープレート内の文字である。以下、移動対象物を、ナンバープレートとして説明する。

情報処理装置101は、カメラ装置102が撮像した画像データの文字認識処理の認識結果を取得可能なコンピュータである。文字認識処理について、情報処理装置101が文字認識処理を実行してもよいし、情報処理装置101以外の装置が文字認識処理を実行してもよい。以下の例では、情報処理装置101が文字認識処理を実行するものとする。

カメラ装置102は、ナンバープレートを撮像する装置である。カメラ装置102は、撮像結果を、画像データとして情報処理装置101に送信する。撮像結果は、一連の動画像データでもよいし、複数の静止画像データでもよい。また、カメラ装置102は、屋外に設置されると、設置された周辺の温度変化によってカメラ装置102の構成部品の熱膨張や収縮が起こり、カメラ装置102のレンズ駆動系を動作させていないにも関わらず、焦点距離が移動する場合がある。このような、レンズ駆動系を動作させていないにも関わらず焦点距離が移動することを、「フォーカスシフト」と称する。

フォーカスシフトが発生した場合、カメラ装置102は、レンズ駆動系を動作させないままナンバープレートを撮影すると、ナンバープレートに合焦していない状態で撮像してしまう場合がある。ナンバープレートに合焦していない状態で撮像した画像データには、ナンバープレートがピンボケした状態で写ることになる。ナンバープレートがピンボケした状態で写った画像データに対して文字認識処理を行うと、類似した文字と間違うといった誤読が発生して、文字認識処理の精度が劣化する場合がある。例えば、ピンボケした「め」の画像データに対して文字認識処理を行うとする。この時、文字認識処理を行う装置は、文字認識処理で用いる辞書画像の「め」の形状および「ぬ」の形状を、ピンボケした「め」の形状と比較した結果、「ぬ」と比較した方が形状がより近いという評価値を求めてしまう場合がある。

さらに、より正確な認識結果を得るために、カメラ装置102による監視範囲を1つのナンバープレートが通過する間に撮像して得られた複数の画像データを用いて認識処理を行い、文字照合時における評価値が最良となる認識結果を通知する技術がある。しかしながら、フォーカスシフトが発生し、合焦していないナンバープレートを認識し、認識結果が誤りであっても、文字照合時における評価値が、合焦したナンバープレートを認識した場合と比べて、大きい値となることがある。この時、文字認識処理を行う装置は、正しい認識結果が選択できず、誤読通知となってしまう。

また、フォーカスシフトが発生した場合に、自動で焦点距離を調整する、いわゆるオートフォーカスにより焦点距離を調整することも考えられる。しかしながら、オートフォーカスを行うと、フォーカスシフトが発生する度にレンズ駆動系を動作させることになるため、カメラ装置102の故障までの期間が短くなってしまう。また、移動するナンバープレートに対してオートフォーカスの設定が間に合わないと、ナンバープレートに焦点が合っていない画像データに対して文字認識を行ってしまうことになる。

そこで、本実施の形態にかかる情報処理装置101は、走行中の車両のナンバープレートが写る複数の画像のフォーカス評価値と文字認識結果から決めた閾値を用いて、以降撮像される画像を認識するか判断する。これにより、情報処理装置101は、フォーカスシフトによるぼけ画像を認識対象から除きナンバーの誤認識の発生を防ぐことができる。

具体的には、まず、カメラ装置102は、画角が同一であり、焦点距離が同一である状態で、同一のナンバープレートを複数回撮像する。次に、情報処理装置101は、複数の画像データの各々の画像データの合焦度合いを示す値と各々の画像データの文字認識処理により得られたナンバープレートの認識結果とに基づいて、カメラ装置102が撮像した画像データの合焦度合いに関する閾値を決定する。そして、情報処理装置101は、カメラ装置102が撮像した画像データの合焦度合いを示す値と、決定した閾値との比較結果に基づいて、前述の画像データを文字認識処理の対象とするか否かを判断する。

以下、合焦度合いを示す値を、「フォーカス評価値」と呼称する。フォーカス評価値は、合焦度合いが高い程大きな値でもよいし、合焦度合いが低い程大きな値でもよい。以下に示すフォーカス評価値は、合焦度合いが高い程大きな値であるとする。フォーカス評価値は、エッジの強度に基づいて算出される。例えば、情報処理装置101は、画像データの輝度の傾き具合の平均値、最大値、累計等を、ソーベルフィルタによりフィルタリングして得た値をフォーカス評価値とする。

また、カメラ装置102が撮像した画像データの合焦度合いに関する閾値を、「フォーカス限界値」と呼称する。フォーカス限界値は、画像データが合焦したか否かを判断する際に基準となる閾値となる。

図1の(A)では、フォーカス限界値を決定する処理の一例を示す。図1の(A)では、フォーカスシフトが発生していないものとする。フォーカスシフトが発生していない状態におけるカメラ装置102が撮影する撮影範囲に対して、合焦する合焦範囲は、撮影範囲のほぼ中央に位置するものとする。

図1の(A)において、カメラ装置102は、走行中の車両c1のナンバープレートn1を、時刻t1、t2、t3という3つの時刻で撮像する。ここで、時刻t1では、ナンバープレートn1が合焦範囲に入っておらず、時刻t2、t3では、ナンバープレートn1が合焦範囲に入っているものとする。撮像して得られた画像データを、それぞれ、画像データn1−p1〜n1−p3とする。画像データn1−p1は、ナンバープレートn1が合焦範囲に入っていない時点で撮像されたため、ぼけた画像となる。画像データn1−p2、n1−p3は、ナンバープレートn1が合焦範囲に入っている時点で撮像されたため、鮮明な画像となる。カメラ装置102は、画像データn1−p1〜n1−p3を情報処理装置101に送信する。

画像データn1−p1〜n1−p3を受け付けた情報処理装置101は、画像データn1−p1〜n1−p3のフォーカス評価値と、画像データn1−p1〜n1−p3の文字認識処理により得られたナンバープレートの認識結果とを求める。図1の(A)では、情報処理装置101は、画像データn1−p1〜n1−p3のフォーカス評価値を、それぞれ、700、800、780と算出する。また、情報処理装置101は、画像データn1−p1〜n1−p3に対して文字認識処理を実行し、それぞれ、“1382”、“1362”、“1362”という認識結果を得る。

続けて、情報処理装置101は、画像データn1−p1〜n1−p3のフォーカス評価値と、画像データn1−p1〜n1−p3の文字認識処理により得られた移動対象物の認識結果とに基づいて、フォーカス限界値を決定する。具体的なフォーカス限界値の決定例は、図5、図6で後述する。図1の(A)の例では、情報処理装置101は、画像データn1−p1〜n1−p3のうちの、フォーカス評価値が最大となる画像データn1−p2が正しく認識できたであろうと見做す。そして、情報処理装置101は、画像データn1−p2の認識結果“1362”と異なる文字認識結果である認識結果“1382”を得た画像データn1−p1のフォーカス評価値である700を、フォーカス限界値として決定する。

次に、図1の(B)では、検出したナンバープレートを認識するか否か判断する処理の一例を示す。図1の(B)では、日差しが強くなった結果、カメラ装置102が熱膨張を起こし、フォーカスシフトが発生したものとする。フォーカスシフトが発生した状態におけるカメラ装置102が撮影する撮影範囲に対して、合焦する合焦範囲は、カメラ装置102側に寄った位置にあるものとする。

図1の(B)において、カメラ装置102は、走行中の車両c2のナンバープレートn2を検出して、時刻t4、t5、t6という3つの時刻でナンバープレートn2を撮像する。ここで、時刻t4、t5では、ナンバープレートn2が合焦範囲に入っておらず、時刻t6では、ナンバープレートn2が合焦範囲に入っているものとする。

撮像して得られた画像データを、それぞれ、画像データn2−p4〜n2−p6とする。画像データn2−p4、n2−p5は、ナンバープレートn2が合焦範囲に入っていない時点で撮像されたため、ぼけた画像となる。画像データn2−p6は、ナンバープレートn2が合焦範囲に入っている時点で撮像されたため、鮮明な画像となる。カメラ装置102は、画像データn2−p4〜n2−p6を情報処理装置101に送信する。

画像データn2−p4〜n2−p6を受け付けた情報処理装置101は、画像データn2−p4〜n2−p6のフォーカス評価値を求める。図1の(B)では、情報処理装置101は、画像データn2−p4〜n2−p6のフォーカス評価値を、それぞれ、550、690、810と算出する。

そして、情報処理装置101は、画像データn2−p4〜n2−p6のフォーカス評価値と、フォーカス限界値700との比較結果とに基づいて、画像データn2−p4〜n2−p6を文字認識の対象とするか判断する。具体的な判断例は、図5で後述する。図1の(B)の例では、情報処理装置101は、フォーカス限界値700より大きいフォーカス評価値となる画像データn2−p6を文字認識の対象とする。一方で、情報処理装置101は、フォーカス限界値700以下のフォーカス評価値となる画像データn2−p4、n2−p5を文字認識の対象としない。このように、情報処理装置101は、ぼけた画像である画像データn2−p4、n2−p5を文字認識の対象としないため、フォーカスシフトが発生しても誤認識を防ぐことができる。次に、システム100を車番認識システムに適用した例を、図2に示す。

図2は、車番認識システムの接続例を示す説明図である。車番認識システム200は、車両のナンバープレートを認識するシステムである。車番認識システム200は、車番認識装置201と、カメラ装置202と、サーバ203と、を有する。車番認識装置201とサーバ203とは、ネットワーク204を介して接続する。車番認識装置201は、図1における情報処理装置101に相当する。また、カメラ装置202は、図1におけるカメラ装置102に相当する。

車番認識装置201は、カメラ装置202が撮像した画像データに対してナンバープレートが写る領域を検出し、検出した領域に対して文字認識処理を行うことにより、ナンバープレートの文字列を得る装置である。車番認識装置201のハードウェア構成は、図3で後述する。

カメラ装置202は、道路rの上空に設置されており、道路rを通過する車両のナンバープレートを撮影する装置である。図2の例では、カメラ装置202は、道路rを通過する車両c1のナンバープレートを撮影する。図2で示すように、カメラ装置202は、道路rを見下ろして撮影するため、撮像された画像データの縦方向の位置が、カメラ装置202からの距離に相当する。

また、カメラ装置202は、予め、道路rを通過する車両のナンバープレートで合焦するように焦点距離を固定しておく。焦点距離が固定される理由として、車両が高速で移動すると、フォーカス調整を行っても合焦する前に車両が通過してしまう場合があるためである。また、フォーカス調整を行うと、カメラ装置202のレンズ駆動系を機械的に動作させることになり、故障の原因となり、カメラ装置202の安定稼働を保証できる期間が短くなる。

カメラ装置202のハードウェア構成については特に図示しないが、カメラ装置202は、対象物の像を結像させるレンズと、レンズを駆動させるレンズ駆動系と、レンズが結像した像を撮像する撮像素子とを有する。また、フォーカスシフトを、カメラ装置202のハードウェア構成を用いて説明する。周辺の温度変化によりレンズと撮像素子とを支える筐体が熱膨張や収縮を起こし、結果、レンズと撮像素子との距離が変化するため、フォーカスシフトが発生する。

サーバ203は、車番認識装置201が認識したナンバープレートの文字列を受け付ける装置である。例えば、サーバ203は、認識したナンバープレートの文字列を蓄積して、車番認識装置201の利用者に、認識したナンバープレートの文字列を提供する。また、車番認識装置201が、カメラ装置202が画像データを撮像した時刻とナンバープレートの文字列とをサーバ203に送信し、サーバ203は、利用者に、ナンバープレートの文字列と、車両が通過した時刻として撮像した時刻とを提供してもよい。

図3は、車番認識装置のハードウェア構成例を示すブロック図である。図3において、車番認識装置201は、CPU(Central Processing Unit)301と、ROM(Read Only Memory)302と、RAM(Random Access Memory)303と、を含む。また、車番認識装置201は、ディスクドライブ304およびディスク305と、通信インターフェース306と、を含む。また、CPU301〜通信インターフェース306はバス307によってそれぞれ接続される。

CPU301は、車番認識装置201の全体の制御を司る演算処理装置である。ROM302は、ブートプログラムなどのプログラムを記憶する不揮発性メモリである。RAM303は、CPU301のワークエリアとして使用される揮発性メモリである。

ディスクドライブ304は、CPU301の制御に従ってディスク305に対するデータのリードおよびライトを制御する制御装置である。ディスクドライブ304には、例えば、磁気ディスクドライブ、ソリッドステートドライブなどを採用することができる。ディスク305は、ディスクドライブ304の制御で書き込まれたデータを記憶する不揮発性メモリである。例えばディスクドライブ304が磁気ディスクドライブである場合、ディスク305には、磁気ディスクを採用することができる。また、ディスクドライブ304がソリッドステートドライブである場合、ディスク305には、半導体素子によって形成された半導体メモリ、いわゆる半導体ディスクを採用することができる。

通信インターフェース306は、ネットワークと内部のインターフェースを司り、他の装置からのデータの入出力を制御する制御装置である。具体的に、通信インターフェース306は、通信回線を通じてネットワークを介して他の装置に接続される。通信インターフェース306には、例えば、モデムやLAN(Local Area Network)アダプタなどを採用することができる。

また、車番認識システム200の管理者が、車番認識装置201を直接操作する場合、車番認識装置201は、ディスプレイ、キーボード、マウスといったハードウェアを有してもよい。

また、図示しないが、サーバ203も、車番認識装置201と同様のハードウェア構成を有する。

図4は、焦点距離に応じた合焦範囲の変化の一例を示す説明図である。図4では、カメラ装置202が撮像する範囲である撮影範囲R0のうち、ピントが合う合焦範囲と、ピントが合わない合焦しない範囲とが、フォーカスシフトによって変化する様子を示す。図4では、合焦範囲を白抜きの線で示す。また、合焦しない範囲を、ハッチを付与した線で示す。

理想状態では、カメラ装置202は、撮影範囲R0全体が合焦範囲となる。理想状態とは、カメラ装置202を設置した後、ナンバープレートが写る位置にピントを合わせた状態である。

次に、フォーカスシフトが発生し、焦点距離が短くなったとする。この場合、撮影範囲R0のうちのカメラ装置202に近い領域が合焦範囲となり、カメラ装置202から遠い領域が合焦しない範囲となる。また、フォーカスシフトが発生し、焦点距離が長くなったとする。この場合、撮影範囲R0のうちのカメラ装置202に遠い領域が合焦範囲となり、カメラ装置202から近い領域が合焦しない範囲となる。また、レンズの絞り等により、被写界深度不足が発生したとする。この場合、撮影範囲R0のうちの中央の領域が合焦範囲となり、カメラ装置202に近い領域および遠い領域が合焦しない範囲となる。

合焦しない領域では、ナンバープレートの文字がぼけることになる。ぼけた文字を認識する際、誤った認識を行う可能性が高くなる。例えば、「め」という文字がぼけた結果、認識時には、「ぬ」としてしまう可能性が高くなる。本実施の形態では、合焦しない領域での認識結果を用いないことにより、誤読を抑制することができる。

(車番認識装置201の機能) 次に、車番認識装置201の機能について説明する。図5は、車番認識装置の機能構成例を示すブロック図である。車番認識装置201は、制御部500を有する。制御部500は、決定部501と、検出部502と、判断部503と、文字認識部504とを含む。制御部500は、記憶装置に記憶されたプログラムをCPU301が実行することにより、制御部500の機能を実現する。記憶装置とは、具体的には、例えば、図3に示したROM302、RAM303、ディスク305などである。また、制御部500内の各部の処理結果は、CPU301が有するレジスタや、RAM303等に記憶される。

画角が同一であり、焦点距離が同一である状態で、同一のナンバープレートをカメラ装置202が、複数の画像データを撮像したとする。このとき、決定部501は、各々の画像データのフォーカス評価値と、各々の画像データの文字認識処理により得られたナンバープレートの認識結果とに基づいて、カメラ装置202が撮像した画像データの合焦度合いに関するフォーカス限界値を決定する。

例えば、決定部501は、複数の画像データのうちのフォーカス評価値が最大となる画像データを特定する。そして、決定部501は、特定したフォーカス評価値が最大値の画像データの文字認識処理により得られたナンバープレートの認識結果とは異なる認識結果が得られた画像データのうちのフォーカス評価値が最大となる値を、フォーカス限界値として決定してもよい。また、決定部501は、特定したフォーカス評価値が最大となる画像データの文字認識処理により得られたナンバープレートの認識結果と同一の認識結果が得られた画像データのうちのフォーカス評価値が最小となる値を、フォーカス限界値として決定してもよい。また、決定部501は、フォーカス評価値が最大の画像データの認識結果とは異なる認識結果の画像データのうちのフォーカス評価値の最大値と、同一の認識結果の画像データのうちのフォーカス評価値の最小値との平均を、フォーカス限界値として決定してもよい。

検出部502は、カメラ装置202が撮像した画像データから、ナンバープレートの領域を検出する。具体的には、検出部502は、画像データ内に、ナンバープレートの形状と相似する矩形がある場合、該当の矩形をナンバープレートの領域として検出する。

判断部503は、カメラ装置202が撮像した画像データのフォーカス評価値と、決定部501が決定したフォーカス限界値との比較結果に基づいて、前述の画像データを文字認識処理の対象とするか否かを判断する。例えば、決定部501が、フォーカス評価値が最大となる画像データの文字認識処理により得られたナンバープレートの認識結果とは異なる認識結果が得られた画像データのうちのフォーカス評価値が最大となる値をフォーカス限界値としたとする。このとき、判断部503は、カメラ装置202が撮像した画像データのフォーカス評価値が、決定部501が決定したフォーカス限界値以下である場合、前述の画像データを文字認識処理の対象としないと判断する。

また、決定部501が、フォーカス評価値が最大となる画像データの文字認識処理により得られた移動対象物の認識結果と同一の認識結果が得られた画像データのうちのフォーカス評価値が最小となる値を、フォーカス限界値として決定したとする。このとき、判断部503は、カメラ装置202が撮像した画像データのフォーカス評価値が、決定部501が決定したフォーカス限界値より小さい場合、前述の画像データを文字認識処理の対象としないと判断する。

また、判断部503は、検出部502が検出した領域のフォーカス評価値と、決定部501が決定したフォーカス限界値との比較結果に基づいて、領域を文字認識処理の対象とするか否かを判断してもよい。

文字認識部504は、判断部503が画像データを文字認識処理の対象とすると判断した場合、画像データを文字認識する。また、文字認識部504は、決定部501がフォーカス限界値を決定する処理を実行する際に、画像データの文字認識を実行する。

図6は、個別フォーカス限界値の決定例を示す説明図である。車番認識装置201は、撮影範囲を通過中のナンバープレートを写した複数の画像について、フォーカス評価値とナンバープレートの認識結果を求める。次に、車番認識装置201は、フォーカス評価値が最大となる認識結果とは異なる認識結果となる画像データのうち、最大のフォーカス評価値を個別フォーカス限界値とする。個別フォーカス限界値は、ある一つのナンバープレートに対して、フォーカス評価値がこの値以下となった場合に認識対象としない値である。

続けて、車番認識装置201は、複数のナンバープレートについて、個別フォーカス限界値を求め、個別フォーカス限界値の累積分布に基づいて、全体フォーカス限界値を決定する。全体フォーカス限界値は、運用中に撮像したナンバープレートのフォーカス評価値がこの値以下となった場合に認識対象としない値である。

個別フォーカス限界値を求める際には、フォーカスシフトが発生しないことを前提として行う。具体的には、例えば、車番認識システム200の管理者は、気温が変化していないことを確認しながら、撮影範囲R0を通過するように車両を移動させる。

図6の例では、車両c1が撮影範囲R0を通過する間、カメラ装置202が撮影範囲R0を5回撮像し、車番認識装置201が、カメラ装置202が撮像した5つの画像データを取得したとする。そして、車両c1のナンバープレートが写った5つの画像データをそれぞれ、画像データIDとしてp1〜p5とする。車番認識装置201は、画像データp1〜p5に対して、画像データのフォーカス評価値と、画像データの認識結果とを求める。画像データp1〜p5に対する画像データのフォーカス評価値と、画像データの認識結果との結果を一覧としたものが、表601である。図6に示す表601は、レコード601−1〜5を有する。

表601は、画像データIDフィールドと、フォーカス評価値フィールドと、認識結果フィールドと、認識成否フィールドとを有する。画像データIDフィールドには、ナンバープレートが映った画像データのIDが格納される。フォーカス評価値フィールドには、該当の画像データのナンバープレートの部分に対するフォーカス評価値が格納される。認識結果フィールドには、ナンバープレートの文字列を認識した結果が格納される。認識成否フィールドには、フォーカス評価値が最大となる認識結果と同一の認識結果となった場合に、認識成功を示す“○”識別子が格納され、フォーカス評価値が最大となる認識結果と異なる認識結果となった場合に、認識失敗を示す“×”識別子が格納される。

図6の例では、画像データp3でフォーカス評価値が950となり、最大となる。従って、認識結果が“品川300ほ1234”となるレコード601−2〜5の認識成否フィールドには、“○”識別子が格納される。また、画像データp3の認識結果と異なる認識結果“品川300は1234”となったレコード601−1の認識成否フィールドには、“×”識別子が格納される。

そして、車番認識装置201は、個別フォーカス限界値を、レコード601−1のフォーカス評価値である850として決定する。次に、図7と図8とを用いて、全体フォーカス限界値の決定例について説明する。

図7は、全体フォーカス限界値の決定例を示す説明図(その1)である。車番認識装置201は、車両ごとに個別フォーカス限界値を算出する。算出した一覧が表701である。図7に示す表701は、レコード701−1〜4を有する。表701は、車両IDと、個別フォーカス限界値と、というフィールドを含む。車両IDフィールドには、車両を識別する情報が格納される。個別フォーカス限界値フィールドには、該当の車両のナンバープレートの個別フォーカス限界値が格納される。

例えば、レコード701−1は、車両c1の個別フォーカス限界値が850であることを示す。

グラフ702は、個別フォーカス限界値を超えるフォーカス評価値の累積分布を示すグラフである。具体的には、図7に示すグラフ702は、レコード701−1〜4で示す個別フォーカス限界値を超えるフォーカス評価値の累積分布を示すグラフである。グラフ702の横軸は、フォーカス評価値を示す。グラフ702の縦軸は、4つの個別フォーカス限界値のうち、個別フォーカス限界値を超える個数を示す。また、グラフ702内の黒丸は、黒丸がプロットされた位置の横成分が示すフォーカス評価値を超える個数が、黒丸がプロットされた位置の縦成分が示す個数であることを示す。また、グラフ702内の白丸は、白丸がプロットされた位置の横成分が示すフォーカス評価値を超える個数が、白丸がプロットされた位置の縦成分が示す個数ではないことを示す。

例えば、840より大きく850までのフォーカス評価値は、個別フォーカス限界値840より大きいため、個数は1となる。850より大きく860までのフォーカス評価値は、個別フォーカス限界値840と850とより大きいため、個数は2となる。以下、全ての個別フォーカス限界値に対して、個別フォーカス限界値を超える個数を求めたグラフを図8に示す。

図8は、全体フォーカス限界値の決定例を示す説明図(その2)である。図8に示すグラフ801は、全ての車両に対する個別フォーカス限界値を超えるフォーカス評価値の累積分布を示すグラフである。

グラフ801の横軸は、フォーカス評価値を示す。グラフ801の縦軸は、全ての個別フォーカス限界値の個数であるNmax個のうち、個別フォーカス限界値を超える割合を示す。車番認識装置201は、割合が所定の閾値以上となるフォーカス評価値を、全体フォーカス限界値Fallとして決定する。所定の閾値は、車番認識システム200の管理者が設定する値である。

図8の例では、所定の閾値が、99.8[%]であるとする。このとき、車番認識装置201は、99.8[%]以上となるフォーカス評価値を、全体フォーカス限界値Fallとして決定する。車番認識装置201は、フォーカス評価値が画像データ全体フォーカス限界値Fallより大きい画像データを文字認識処理の対象とする。

図9は、初期状態とフォーカスシフトが起きた状態とにおけるフォーカス評価値の一例を示す説明図である。具体的には、図9の(A)では、全体フォーカス限界値が決定された状態を初期状態として、初期状態のフォーカス評価値を示す。また、図9の(B)では、フォーカスシフトが起きた状態のフォーカス評価値を示す。

図9の(A)では、全体フォーカス限界値が決定された初期状態であり、例えば、午前9時の状態を示す。初期状態では、撮影範囲R0の全てが合焦範囲となる。初期状態において、カメラ装置202は、あるナンバープレートを検出し、4回撮像したとする。撮像により得られた画像データを、画像データpa−1〜4とする。初期状態におけるフォーカス評価値と、カメラ装置202からの距離との関係を、グラフ901aに示す。グラフ901aの横軸は、フォーカス評価値を示す。また、グラフ901aの縦軸は、カメラ装置202からの距離を示し、上方向に行くほど距離が遠いことを示す。

グラフ901aが示すように、画像データpa−1〜4のフォーカス評価値は、全て全体フォーカス限界値Fall以上である。従って、車番認識装置201は、画像データpa−1〜4を文字認識処理の対象とし、ナンバープレートの文字列の認識を行う。

図9の(B)では、フォーカスシフトが起きた状態である。フォーカスシフトが起きる例として、図9の(B)は、例えば、午後2時になり気温が上昇した結果、カメラ装置202が熱膨張により変形した状態である。

フォーカスシフトが起きた状態では、撮影範囲R0の一部が合焦範囲となる。フォーカスシフトが起きた状態において、カメラ装置202は、あるナンバープレートを検出し、4回撮像したとする。撮像により得られた画像データを、画像データpb−1〜4とする。フォーカスシフトが起きた状態におけるフォーカス評価値と、カメラ装置202からの距離との関係を、グラフ901bに示す。グラフ901bの横軸は、フォーカス評価値を示す。また、グラフ901bの縦軸は、カメラ装置202からの距離を示し、上方向に行くほど距離が遠いことを示す。

グラフ901bが示すように、画像データpb−3、4のフォーカス評価値は、全体フォーカス限界値Fall以上である。従って、車番認識装置201は、画像データpb−3、4を文字認識処理の対象とし、ナンバープレートの文字列の認識を行う。また、画像データpb−1、2のフォーカス評価値は、全体フォーカス限界値Fall未満である。従って、車番認識装置201は、画像データpb−1、2を文字認識処理の対象とはせずに破棄する。

次に、図10〜図12に示すフローチャートを用いて、車番認識装置201が実行する処理を示す。

図10は、全体フォーカス限界値決定処理手順の一例を示すフローチャートである。全体フォーカス限界値決定処理は、全体フォーカス限界値Fallを決定する処理である。

車番認識装置201は、Nを0に設定する(ステップS1001)。ここで、Nは、車両のインデックスとして用いる変数である。次に、車番認識装置201は、c[0〜imax]を{0}に設定する(ステップS1002)。ここで、c[0〜imax]は、フォーカス評価値が取り得る値ごとに、個別フォーカス限界値を超える個数を記憶する配列変数である。imaxは、フォーカス評価値が取り得る最大値である。

続けて、車番認識装置201は、N番目の車両における個別フォーカス限界値決定処理を実行する(ステップS1003)。個別フォーカス限界値決定処理の詳細は、図11で後述する。次に、車番認識装置201は、c[0〜imax]のうち、i>個別フォーカス限界値となるc[i]をインクリメントする(ステップS1004)。例えば、imaxが10であり、個別フォーカス限界値決定処理により、N番目の車両における個別フォーカス限界値が5であると決定されたとする。このとき、車番認識装置201は、i>5となる、c[i=6]からc[i=10]までの値をそれぞれインクリメントする。

続けて、車番認識装置201は、Nをインクリメントする(ステップS1005)。次に、車番認識装置201は、NがNmax以上か否かを判断する(ステップS1006)。NがNmax未満である場合(ステップS1006:No)、車番認識装置201は、ステップS1003の処理に移行する。NがNmax以上である場合(ステップS1006:Yes)、車番認識装置201は、c[i]/Nmaxが所定の閾値以上となるiの最小値を、全体フォーカス限界値Fallとして決定する(ステップS1007)。ステップS1007の処理終了後、車番認識装置201は、全体フォーカス限界値決定処理を終了する。全体フォーカス限界値決定処理を実行することにより、車番認識装置201は、全体フォーカス限界値Fallを得ることができる。

図11は、個別フォーカス限界値決定処理手順の一例を示すフローチャートである。個別フォーカス限界値決定処理は、個別フォーカス限界値を決定する処理である。車番認識装置201は、jを0に設定する(ステップS1101)。ここで、jは、ある車両を撮像した画像データのインデックスとして用いる変数である。また、ある車両を撮像した画像データは、jmax+1個あるとする。

次に、車番認識装置201は、j番目の画像データ内の、ナンバープレートが撮像された領域のフォーカス評価値を算出する(ステップS1102)。続けて、車番認識装置201は、j番目の画像データ内の、ナンバープレートが撮像された領域の文字認識処理の認識結果を取得する(ステップS1103)。次に、車番認識装置201は、jをインクリメントする(ステップS1104)。続けて、車番認識装置201は、jがjmax以上か否かを判断する(ステップS1105)。jがjmax未満である場合(ステップS1105:No)、車番認識装置201は、ステップS1102の処理に移行する。

jがjmax以上である場合(ステップS1105:Yes)、車番認識装置201は、0〜jmaxの画像データのうちの、フォーカス評価値が最大となる画像データを選択する(ステップS1106)。次に、車番認識装置201は、選択した画像データの認識結果と異なる画像データのうちの、最大のフォーカス評価値を、個別フォーカス限界値Fnとして決定する(ステップS1107)。ステップS1107の処理終了後、車番認識装置201は、個別フォーカス限界値決定処理を終了する。個別フォーカス限界値決定処理を実行することにより、車番認識装置201は、個別フォーカス限界値を得ることができる。

図12は、ナンバープレート認識処理手順の一例を示すフローチャートである。ナンバープレート認識処理は、道路を走行中の車両のナンバープレートを認識する処理である。ナンバープレート認識処理は、カメラ装置102が撮像した画像データを、車番認識装置201が得る度に行われる。車番認識装置201は、ナンバープレートの領域を検出する(ステップS1201)。具体的には、例えば、車番認識装置201は、画像データ内に、ナンバープレートの形状と相似する矩形がある場合、該当の矩形をナンバープレートの領域として検出する。

次に、車番認識装置201は、ナンバープレートの領域があったか否かを判断する(ステップS1202)。ナンバープレートの領域がない場合(ステップS1202:No)、車番認識装置201は、ナンバープレートの領域を検出しなかった旨の結果を出力する(ステップS1203)。ステップS1203の処理終了後、車番認識装置201は、ナンバープレート認識処理を終了する。

一方、ナンバープレートの領域があった場合(ステップS1202:Yes)、車番認識装置201は、ナンバープレートの領域のフォーカス評価値Fを算出する(ステップS1204)。次に、車番認識装置201は、フォーカス評価値Fが全体フォーカス限界値Fallより大きいか否かを判断する(ステップS1205)。フォーカス評価値Fが全体フォーカス限界値Fallより大きい場合(ステップS1205:Yes)、車番認識装置201は、ナンバープレートの領域を文字認識する(ステップS1206)。

ステップS1206の処理終了後、または、フォーカス評価値Fが全体フォーカス限界値Fall以下である場合(ステップS1205:No)、車番認識装置201は、ステップS1201の処理に移行する。ナンバープレート認識処理を実行することにより、車番認識装置201は、走行中の車両のナンバープレートを認識することができる。

以上説明したように、車番認識システム200によれば、走行中の車両のナンバープレートが写る複数の画像のフォーカス評価値と文字認識結果から決めた閾値を用いて、以降撮像される画像を認識するか判断する。これにより、車番認識システム200は、フォーカスシフトによるぼけ画像を認識対象から除きナンバーの誤認識の発生を防ぐことができる。

また、車番認識システム200によれば、フォーカス評価値が最大となる画像データの文字認識処理により得られたナンバープレートの認識結果とは異なる認識結果が得られた画像データのうちのフォーカス評価値が最大となる値をフォーカス限界値としてもよい。これにより、車番認識システム200は、文字認識が正しく行えないと判断した画像データを、文字認識処理の対象から外すことができる。また、フォーカス限界値より大きく、フォーカス評価値が最大となる画像データの認識結果と同一の認識結果が得られた画像データのうちのフォーカス評価値の最小値より小さいフォーカス評価値となる画像データは、文字認識が正しく行える可能性がある。車番認識システム200は、文字認識が正しく行える可能性がある画像データについて、文字認識処理の対象とすることができる。

また、車番認識システム200によれば、フォーカス評価値が最大となる画像データの文字認識処理により得られたナンバープレートの認識結果とは異なる認識結果が得られた画像データのうちのフォーカス評価値が最大となる値をフォーカス限界値としてもよい。これにより、車番認識システム200は、文字認識が正しく行えないと判断した画像データを、文字認識処理の対象から外すことができる。また、フォーカス限界値より小さく、フォーカス評価値が最大となる画像データの認識結果と異なる認識結果が得られた画像データのうちのフォーカス評価値の最大値より大きいフォーカス評価値となる画像データは、誤認識となる可能性がある。車番認識システム200は、誤認識となる可能性がある画像データについて、文字認識処理の対象から外すことができる。

また、車番認識システム200によれば、画像データから、ナンバープレートの領域を検出し、検出した領域のフォーカス評価値と、決定したフォーカス限界値との比較結果に基づいて、領域を文字認識処理の対象とするか否かを判断してもよい。これにより、車番認識システム200は、1つの画像データに撮像されたナンバープレートごとに、文字認識処理の対象とすることができる。例えば、カメラ装置202が、フォーカスシフトにより、合焦範囲に含まれるナンバープレートと、合焦範囲に含まれないナンバープレートと、いう2つのナンバープレートを撮像する可能性がある。このとき、車番認識装置201は、合焦範囲に含まれるナンバープレートのみを文字認識処理の対象にすることができる。

また、車番認識システム200は、フォーカスシフトが発生した場合でも、合焦領域にないナンバープレートを文字認識処理の対象としないことにより、誤認識の低下を抑えることができる。また、レンズを動作させるフォーカス調整を行わないため、カメラ装置202の故障までの期間を延ばすことができる。また、車番認識システム200は、撮影範囲内で異なる認識結果を得たとしても、最も鮮明に写った画像データの認識結果を採用するため、文字認識の信頼性を向上することができる。また、車番認識システム200は、合焦領域にないナンバープレートを文字認識処理の対象としないことにより、無駄な処理を省くことができ、処理効率を向上することができる。

また、本実施の形態にかかるシステム100を、認識したナンバープレートの文字列を提供する車番認識システム200に適用する例について説明したが、他のサービスを提供するシステムに適用してもよい。例えば、移動対象物を、マラソンランナーのゼッケンとして、マラソンに出場した利用者に対して、利用者が写った写真を提供するサービスを実現するシステムに適用してもよい。本実施の形態にかかるシステム100を前述のシステムに適用すれば、利用者が写っていないにも関わらず、フォーカスシフトによる誤認識により利用者とは関係のない写真を提供する可能性を低減することができる。

なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

(付記1)カメラ装置と、前記カメラ装置が撮像した画像データの文字認識処理の認識結果を取得可能な情報処理装置と、を有するシステムであって、 前記情報処理装置は、 画角が同一であり、焦点距離が同一である状態で、同一の移動対象物を前記カメラ装置が撮像した複数の画像データの各々の画像データの合焦度合いを示す値と、前記各々の画像データの文字認識処理により得られた前記移動対象物の認識結果とに基づいて、前記カメラ装置が撮像した画像データの合焦度合いに関する閾値を決定し、 前記カメラ装置が撮像した画像データの合焦度合いを示す値と、決定した前記閾値との比較結果に基づいて、前記画像データを文字認識処理の対象とするか否かを判断する、 ことを特徴とするシステム。

(付記2)前記情報処理装置は、 前記複数の画像データのうちの合焦度合いを示す値が最大となる画像データの文字認識処理により得られた前記移動対象物の認識結果とは異なる認識結果が得られた画像データのうちの合焦度合いを示す値が最大となる値を、前記閾値として決定し、 前記カメラ装置が撮像した画像データの合焦度合いを示す値が、決定した前記閾値以下である場合、前記画像データを文字認識処理の対象としないと判断することを特徴とする付記1に記載のシステム。

(付記3)前記情報処理装置は、 前記複数の画像データのうちの合焦度合いを示す値が最大となる画像データの文字認識処理により得られた前記移動対象物の認識結果と同一の認識結果が得られた画像データのうちの合焦度合いを示す値が最小となる値を、前記閾値として決定し、 前記カメラ装置が撮像した画像データの合焦度合いを示す値が、決定した前記閾値より小さい場合、前記画像データを文字認識処理の対象としないと判断することを特徴とする付記1に記載のシステム。

(付記4)前記移動対象物は、車両のナンバープレートであり、 前記情報処理装置は、 前記カメラ装置が撮像した画像データから、車両のナンバープレートの領域を検出し、 検出した前記領域の合焦度合いを示す値と、決定した前記閾値との比較結果に基づいて、前記領域を文字認識処理の対象とするか否かを判断することを特徴とする付記1〜3のいずれか一つに記載のシステム。

(付記5)カメラ装置が撮像した画像データの文字認識処理の認識結果を取得可能な情報処理装置であって、 画角が同一であり、焦点距離が同一である状態で、同一の移動対象物を前記カメラ装置が撮像した複数の画像データの各々の画像データの合焦度合いを示す値と、前記各々の画像データの文字認識処理により得られた前記移動対象物の認識結果とに基づいて、前記カメラ装置が撮像した画像データの合焦度合いに関する閾値を決定し、 前記カメラ装置が撮像した画像データの合焦度合いを示す値と、決定した前記閾値との比較結果に基づいて、前記画像データを文字認識処理の対象とするか否かを判断する、 制御部を有することを特徴とする情報処理装置。

(付記6)カメラ装置が撮像した画像データの文字認識処理の認識結果を取得可能なコンピュータが、 画角が同一であり、焦点距離が同一である状態で、同一の移動対象物を前記カメラ装置が撮像した複数の画像データの各々の画像データの合焦度合いを示す値と、前記各々の画像データの文字認識処理により得られた前記移動対象物の認識結果とに基づいて、前記カメラ装置が撮像した画像データの合焦度合いに関する閾値を決定し、 前記カメラ装置が撮像した画像データの合焦度合いを示す値と、決定した前記閾値との比較結果に基づいて、前記画像データを文字認識処理の対象とするか否かを判断する、 処理を実行することを特徴とする情報処理方法。

(付記7)カメラ装置が撮像した画像データの文字認識処理の認識結果を取得可能なコンピュータに、 画角が同一であり、焦点距離が同一である状態で、同一の移動対象物を前記カメラ装置が撮像した複数の画像データの各々の画像データの合焦度合いを示す値と、前記各々の画像データの文字認識処理により得られた前記移動対象物の認識結果とに基づいて、前記カメラ装置が撮像した画像データの合焦度合いに関する閾値を決定し、 前記カメラ装置が撮像した画像データの合焦度合いを示す値と、決定した前記閾値との比較結果に基づいて、前記画像データを文字認識処理の対象とするか否かを判断する、 処理を実行させることを特徴とする情報処理プログラム。

100 システム 101 情報処理装置 102 カメラ装置 200 車番認識システム 201 車番認識装置 202 カメラ装置 500 制御部 501 決定部 502 検出部 503 判断部 504 文字認識部