物体計数装置、物体計数方法、物体計数プログラム、および物体計数システム

本発明は、物体計数装置、物体計数方法、物体計数プログラム、および物体計数システムに関し、特に、画像の中に映る人物や物体を計数する物体計数装置、物体計数方法、物体計数プログラム、および物体計数システムに関する。

画像の中に映る人物や物体を計数する物体計数装置が、特許文献1に記載されている。特許文献1には、画像の中に映る人物を計数するために用いられる撮像装置および撮像装置の制御方法が記載されている。

特許文献1に記載されている撮像装置は、取得された画像に対して画像の中に存在する人物の顔を検出し、検出された顔を計数する。しかし、例えば混雑時、人物同士が重なりあって画像に映る場合が考えられる。特許文献1に記載されている撮像装置には、人物同士の重なり(物体同士の重なり)が見られる画像内の人物(物体)を、正しく計数することが難しいという問題がある。

上記の問題を解決する、局所的な画像領域で使用されることが想定された、人物同士の重なりが見られる画像を人数のラベルと共に学習し人数を推定する技術がある。この技術を用いて画像に映る人数を推定する場合、物体計数装置は、例えば、計数対象である頭部の画像中のサイズを基準とし、局所領域に対応する推定用窓(以下、推定窓という。)を画像内に複数設定する。物体計数装置は、設定された推定窓毎に上記技術を用いて人数を推定する。

図22は、推定窓を用いた画像に映る人物の計数方法の例を示す説明図である。物体計数装置が推定窓毎に推定された人数を合計することによって、画像全体に映る人物の数が推定される。

特開2010−028606号公報

特開2005−216217号公報

特開2009−223693号公報

上述した推定窓を用いて計数する技術の問題点は、推定窓の配置方法によっては画面全体に映る人物の数が誤推定される可能性があることである。

図22に示すように、各推定窓は、どの他の推定窓とも重ねられずに配置されている。図22に示す人物Cの頭部のサイズは、推定窓1に設定された学習対象の頭部のサイズに比べて十分に小さい。よって、物体計数装置は、推定窓1における計数処理で人物Cを計数できない。推定窓1における計数処理による推定人数は2人である。

さらに、図22に示す各推定窓は、どの他の推定窓とも重ねられずに配置されている。よって、物体計数装置は、推定窓1以外の他の推定窓における計数処理でも人物Cを計数できず、最終的な全体推定人数は2人になる。すなわち、図22に示す推定窓が使用された場合、人物Cは計数されない。

図23は、推定窓を用いた画像に映る人物の計数方法の他の例を示す説明図である。図23に示す人物Cの頭部のサイズは、推定窓2に設定された学習対象の頭部のサイズにほぼ等しい。よって、物体計数装置は、推定窓2における計数処理で人物Cを計数できる。推定窓2における計数処理による推定人数は1人であり、最終的な全体推定人数は3人になる。

上記のように、人物Cを計数するためには、図23に示す推定窓2のように、適切なサイズの推定窓を推定窓1に重ねて配置することが求められる。しかし、図23に示すように推定窓が重ねて配置された場合、別の問題が生じる可能性がある。

図24は、推定窓を用いた画像に映る人物の計数方法の他の例を示す説明図である。図24に示す推定窓は、特に何も考慮されずに、重ねて配置されている。図24に示す推定窓を使用する場合、物体計数装置は、推定窓3における計数処理と推定窓4における計数処理の両方の計数処理で人物Eを計数する、すなわち人物Eが二重に計数される。

図24に示す推定窓3における計数処理による推定人数、推定窓4における計数処理による推定人数はそれぞれ2人、1人である。最終的な全体推定人数は3人になり、人数が誤推定される。

上記の理由などにより、推定窓が適切に配置されないと、計数されない人物や二重に計数される人物などが生じるため、人数が誤推定される可能性がある。人数が誤推定されることを防ぐためには、推定窓を適切に配置することや、推定窓毎に計数された人数を適切に統合することが求められる。

特許文献2には、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数する、二重計数を防ぐ人物計数装置が記載されている。しかし、特許文献2に記載されている人物計数装置は、一人の人物が含まれる定義枠を設定し、設定された定義枠の数を画像に映る人物の数とする。すなわち、特許文献2に記載されている計数方法は、人物が多く映っている画像に対して、計数の効率が低い方法である。

また、特許文献2に記載されている人物計数装置の処理対象になる画像は、各人物の区別がつきやすいように設定された場所を示す画像に限られており、どのような種類の画像であっても処理できる人物計数装置が求められている。

また、特許文献3には、人体を表す画素の画像中の面積を算出し、算出された面積を予め設定された一人当たりの画素数で割ることによって、画像中の人数を算出する方法が記載されている。しかし、算出された面積に対応する領域が重複している箇所の人数の算出方法は特に考慮されておらず、推定窓同士が重なる場合であっても推定窓毎に推定された人数を適切に統合する装置が求められている。

そこで、本発明は、画像中の物体をより正確に計数できる物体計数装置、物体計数方法、物体計数プログラム、および物体計数システムを提供することを目的とする。

本発明による物体計数装置は、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得する取得手段と、取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定する設定手段とを備えることを特徴とする。

本発明による物体計数方法は、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得し、取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定することを特徴とする。

本発明による物体計数プログラムは、コンピュータに、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得する取得処理、および取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定する設定処理を実行させることを特徴とする。

本発明による物体計数装置は、画像内に設定されている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域に示されている計数対象の物体の数を、推定領域毎に推定する推定手段と、推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出する算出手段とを備えることを特徴とする。

本発明による物体計数方法は、画像内に設定されている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域に示されている計数対象の物体の数を、推定領域毎に推定し、推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出することを特徴とする。

本発明による物体計数プログラムは、コンピュータに、画像内に設定されている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域に示されている計数対象の物体の数を、推定領域毎に推定する推定処理、および推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出する算出処理を実行させることを特徴とする。

本発明による物体計数システムは、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得する取得手段と、取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定する設定手段と、画像内に設定されている推定領域に示されている計数対象の物体の数を、推定領域毎に推定する推定手段と、推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出する算出手段とを備えることを特徴とする。

本発明によれば、画像中の物体をより正確に計数できる。

本発明による物体計数システムの構成例を示すブロック図である。

推定窓配置装置200の構成例を示すブロック図である。

解像度マップ記憶手段211に記憶されている情報の関係性を示す説明図である。

推定窓情報記憶手段212に記憶されている情報の関係性を示す説明図である。

推定窓情報記憶手段212に記憶されている情報の他の関係性を示す説明図である。

カウント可能領域取得手段222による画像位置を基準とする推定が可能なカウント対象物のサイズの範囲の算出処理の例を示す説明図である。

カウント可能領域取得手段222による画像位置を基準とする推定窓を用いて物体数の推定が可能な領域の取得処理の例を示す説明図である。

推定窓配置手段223による推定窓の配置位置の仮取得処理の例を示す説明図である。

既に推定窓が配置され物体数の推定が可能な状態である領域が取り除かれたカウント可能領域を示す説明図である。

物体数統合装置300の構成例を示すブロック図である。

推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域と推定窓との関係を示す説明図である。

統合手段332による推定窓毎に推定された物体数の画素毎の密度への変換処理の例を示す説明図である。

統合手段332による物体数の推定が可能な状態である領域同士が重なる部分における画素毎の密度の算出処理の例を示す説明図である。

推定窓配置装置200による推定窓配置処理の動作を示すフローチャートである。

推定窓配置手段223による仮取得処理の動作を示すフローチャートである。

物体数統合装置300による物体計数処理の動作を示すフローチャートである。

本発明による推定窓配置装置のハードウェア構成例を示すブロック図である。

本発明による物体数統合装置のハードウェア構成例を示すブロック図である。

本発明による物体計数装置の概要を示すブロック図である。

本発明による物体計数装置の他の概要を示すブロック図である。

本発明による物体計数システムの概要を示すブロック図である。

推定窓を用いた画像に映る人物の計数方法の例を示す説明図である。

推定窓を用いた画像に映る人物の計数方法の他の例を示す説明図である。

推定窓を用いた画像に映る人物の計数方法の他の例を示す説明図である。

[構成の説明] 以下、本発明の実施形態を、図面を参照して説明する。図1は、本発明による物体計数システムの構成例を示すブロック図である。

図1に示すように、物体計数システム100は、推定窓配置装置200と、物体数統合装置300とを含む。推定窓配置装置200は、画像中の物体をより正確に計数するために最適な推定窓を生成し、対象の画像内に生成された推定窓を適切に配置する装置である。物体数統合装置300は、適切に配置された推定窓を用いて人数を推定し、推定窓毎に推定された人数を適切に統合することによって画像中の物体を計数する装置である。

なお、物体計数システム100は、推定窓配置装置200のみ、または物体数統合装置300のみを含んでいてもよい。また、推定窓配置装置200と物体数統合装置300は、それぞれ単体で使用可能な装置である。

図2は、推定窓配置装置200の構成例を示すブロック図である。図2に示すように、推定窓配置装置200は、記憶装置210と、データ処理装置220とを含む。記憶装置210は、最適な推定窓の生成に使用される情報を記憶する。データ処理装置220の動作は、例えば、CPU(Central Processing Unit)がプログラムを実行することによって制御される。

図2に示すように、記憶装置210は、解像度マップ記憶手段211と、推定窓情報記憶手段212とを有する。

解像度マップ記憶手段211は、画像中の画像位置に対するカウント対象物を示す矩形の解像度を、マップ化して記憶する機能を有する。本実施形態において、マップ化は、画像位置とカウント対象物を示す矩形の解像度とを対応付けることを意味する。

カウント対象物は、物体数統合装置300により計数される対象である、画像中の物体である。解像度は、例えば、幅ピクセルの値と高さピクセルの値で表される。

また、解像度マップ記憶手段211は、画像中の画像位置に対するカウント対象物を示す矩形の相対位置も、マップ化して記憶する機能を有する。相対位置は、カウント対象物を示す矩形を基準にした位置であり、画像位置に対応付けられる。相対位置は、画像位置に対して所定の相対的な関係を有する。

図3は、解像度マップ記憶手段211に記憶されている情報の関係性を示す説明図である。解像度マップ記憶手段211に記憶されている情報は、任意の画像位置におけるカウント対象物の表現の仕方を示す。すなわち、図3に示すように、解像度マップ記憶手段211に記憶されているマップ化された矩形の解像度を用いると、データ処理装置220は、画像位置が決定されれば、カウント対象物を示す矩形を画像中に描くことができる。

図3に示す例では、カウント対象物として人物の頭部が使用されている。カウント対象物は、人物全体、車、動物など、物体全体でも、物体の一部でもよい。カウント対象物は、計数可能な物体であればどのような物体でもよい。本実施形態では、カウント対象物として人物の頭部が使用される。

また、図3に示す例では、画像位置に対するカウント対象物を示す矩形の相対位置は、頭頂を表す矩形の上部中点である。なお、矩形の相対位置は、頭部中心を表す矩形の中心でもよい。矩形の相対位置は、画像位置に対して所定の相対的な関係を有する位置であればどのような位置でもよい。

また、図3に示す例では、解像度として矩形の解像度が使用されている。解像度マップ記憶手段211は、矩形の解像度の代わりに、任意の形状の解像度(大きさ)を記憶してもよい。

画像位置に対する矩形の解像度は、例えば、カウント対象物の実サイズと、カメラの姿勢や位置などを示すカメラパラメータから算出される。矩形の解像度がカメラパラメータから算出される場合、解像度マップ記憶手段211は、算出された解像度を記憶すればよい。また、画像位置に対する矩形の解像度は、画像位置が決定されてから逐次算出されてもよい。

なお、解像度マップ記憶手段211に記憶されている情報の一部が不足している場合、例えば、ユーザが表示部(図示せず)を用いてカウント対象物を画像内に表示させ、手動で矩形に関する情報を解像度マップ記憶手段211に入力してもよい。

また、ユーザが表示部(図示せず)を用いてカウント対象物を画像内に表示させ、手動で数点の画像位置における矩形に関する情報を解像度マップ記憶手段211に入力し、解像度マップ記憶手段211が入力された情報を用いて他の画像位置における矩形に関する情報を補間処理により導出してもよい。

上記の補間処理は、入力された画像位置における矩形の解像度を用いて、入力されていない画像位置における矩形の解像度を補間する処理である。例えば、画像の四隅の画像位置における矩形の解像度が手動で入力され、入力された情報に基づいて線形補間処理などが実施されれば、他の画像位置における矩形の解像度が補間される。なお、補間処理は、線形補間処理以外の処理でもよい。

推定窓情報記憶手段212は、物体数統合装置300が物体数を推定するために学習した推定器が使用する推定窓に関する情報を記憶する機能を有する。

推定窓情報記憶手段212は、推定窓のサイズと推定の基準になるカウント対象物の矩形サイズ(以下、基準矩形サイズという。)との比、および推定窓の幅と高さのアスペクト比を記憶している。

また、推定窓情報記憶手段212は、推定窓を用いて計数可能なカウント対象物のサイズと基準矩形サイズとの比の、カウント対象物のサイズの範囲に対応する範囲を記憶している。推定窓情報記憶手段212に記憶されている情報は、例えば、物体数統合装置300が推定器を学習する段階で決定される情報である。

図4は、推定窓情報記憶手段212に記憶されている情報の関係性を示す説明図である。図4に示す推定窓は、推定窓情報記憶手段212に記憶されている推定窓の幅と高さのアスペクト比、および推定窓のサイズと基準矩形サイズとの比を用いて描かれている。

例えば、図4に示すように、推定の基準になるカウント対象物の矩形サイズ、すなわち基準矩形サイズの高さはhであり、推定窓の高さはa×hである。すなわち、図4は、基準矩形サイズの高さがhであるカウント対象物を基準にする推定には、基準矩形サイズの高さのa倍の高さを持つ推定窓が求められることを示す。

具体的には、図4に示す例における基準矩形サイズに対する推定窓のサイズの比はaである。推定窓情報記憶手段212は、基準矩形サイズに対する推定窓のサイズの比を記憶している。

また、図4に示すように、推定窓の幅はwであり、推定窓の幅と高さのアスペクト比はw:a×hである。推定窓情報記憶手段212は、基準矩形サイズに対する推定窓の幅と高さのアスペクト比を記憶している。

図5は、推定窓情報記憶手段212に記憶されている情報の他の関係性を示す説明図である。図5は、推定窓を用いて計数可能なカウント対象物のサイズと基準矩形サイズとの関係を示す。

図5には、高さがhの基準矩形サイズと、高さがb1×hのカウント対象物を示す矩形と、高さがb2×hのカウント対象物を示す矩形とが示されている。高さがb1×hの矩形は、図5に示す推定窓を用いて計数可能な最小の矩形である。また、高さがb2×hの矩形は、図5に示す推定窓を用いて計数可能な最大の矩形である。

すなわち、図5に示す推定窓を用いれば、基準矩形サイズのb1倍〜b2倍のサイズの矩形が示すカウント対象物の数が推定される。推定窓情報記憶手段212は、比の範囲としてb1〜b2という情報を記憶している。推定窓情報記憶手段212に記憶されている比の範囲は、推定窓を用いて計数可能な矩形のサイズの範囲が、基準矩形サイズに対する比で表された範囲である。

上記のように、推定窓情報記憶手段212に記憶されている情報を用いれば、推定の基準になるカウント対象物の矩形に対応する推定窓のサイズ、および推定窓の形状が求められる。また、求められた推定窓を用いて計数可能なカウント対象物を示す矩形のサイズの範囲が求められる。

図2に示すように、データ処理装置220は、推定窓サイズ取得手段221と、カウント可能領域取得手段222と、推定窓配置手段223とを有する。

推定窓サイズ取得手段221は、与えられた画像中の画像位置に基づいて、画像位置に対して有効な推定窓のサイズ、および推定窓の形状を取得する機能を有する。推定窓サイズ取得手段221は、解像度マップ記憶手段211に記憶されている情報と、推定窓情報記憶手段212に記憶されている情報とを用いて、推定窓の情報を取得する。

具体的には、推定窓サイズ取得手段221は、与えられた画像中の画像位置に対応する、解像度マップ記憶手段211に記憶されている解像度マップ内の位置を参照して、画像位置に対するカウント対象物を示す矩形の解像度を取得する。推定窓サイズ取得手段221は、取得された解像度を基準矩形サイズにする。

次いで、推定窓サイズ取得手段221は、得られた基準矩形サイズに対応する、推定窓のサイズとカウント対象物の矩形サイズとの比を、推定窓情報記憶手段212から取得する。カウント対象物の矩形サイズは、基準矩形サイズに相当する。推定窓サイズ取得手段221は、取得された比を用いて推定窓のサイズを算出し、与えられた画像位置に対して有効な推定窓のサイズを取得する。

さらに、推定窓サイズ取得手段221は、算出された推定窓のサイズに対応する推定窓のアスペクト比を、推定窓情報記憶手段212から取得する。推定窓サイズ取得手段221は、算出された推定窓のサイズと取得されたアスペクト比とを用いて推定窓の形状を決定し、与えられた画像位置に対して有効な推定窓の形状を取得する。

カウント可能領域取得手段222は、与えられた画像中の画像位置を基準とする推定窓を用いてカウント対象物の数の推定が可能な領域を取得する機能を有する。カウント可能領域取得手段222は、解像度マップ記憶手段211に記憶されている情報と、推定窓情報記憶手段212に記憶されている情報とを用いて、カウント対象物の数の推定が可能な領域を取得する。

具体的には、カウント可能領域取得手段222は、与えられた画像中の画像位置に対応する、解像度マップ記憶手段211に記憶されている解像度マップ内の位置を参照して、画像位置に対するカウント対象物を示す矩形の解像度を取得する。

図6は、カウント可能領域取得手段222による画像位置を基準とする推定が可能なカウント対象物のサイズの範囲の算出処理の例を示す説明図である。図6(a)に示すように、カウント可能領域取得手段222は、取得された解像度を基準矩形サイズにする。

次いで、カウント可能領域取得手段222は、得られた基準矩形サイズに対応する、画像位置を基準とする推定窓を用いて計数可能な矩形のサイズの比の範囲を、推定窓情報記憶手段212から取得する。カウント可能領域取得手段222は、取得された比の範囲を用いて、画像位置を基準とする推定が可能なカウント対象物のサイズの範囲を算出する。

図6(b)には、画像位置を基準とする推定が可能なカウント対象物のサイズの範囲が、基準矩形サイズのb1倍のサイズから基準矩形サイズのb2倍のサイズまでであることが示されている。

図7は、カウント可能領域取得手段222による画像位置を基準とする推定窓を用いて物体数の推定が可能な領域の取得処理の例を示す説明図である。推定が可能なカウント対象物のサイズの範囲を算出した後、カウント可能領域取得手段222は、図7に示すように、与えられた画像位置に対応する画像内の条件を満たす画像位置と、条件を満たすカウント対象物を示す矩形を全て抽出する。カウント可能領域取得手段222は、抽出された画像位置および矩形を、画像中に示す。

カウント可能領域取得手段222が使用する条件は、カウント対象物を示す矩形のサイズが、算出されたカウント対象物のサイズの範囲内であるという条件である。カウント可能領域取得手段222は、解像度マップ記憶手段211に記憶されているマップ化された各矩形の解像度が、条件を満たすか否かをそれぞれ確認する。カウント可能領域取得手段222は、条件を満たす解像度に対応する矩形および画像位置を抽出する。

カウント可能領域取得手段222は、画像中に示された画像位置と矩形の集合が含まれる領域を、与えられた画像位置を基準とする推定窓を用いて物体数の推定が可能な領域(以下、カウント可能領域という。)として取得する。

推定窓配置手段223は、画像の全領域や部分領域において適切に数が推定されるように推定窓を配置する機能を有する。推定窓配置手段223は、各領域において適切に数が推定されるために、既に推定窓が配置され物体数の推定が可能な状態である領域が除かれたカウント可能領域を推定窓が大きく含むように、推定窓を配置する。

カウント可能領域を大きく含むように推定窓を配置する理由は、配置される推定窓をできるだけ少なくするためである。配置される推定窓が少ないほど、推定処理が高速に実施される。

推定窓配置手段223は、推定窓を配置する際、推定窓サイズ取得手段221から取得した画像位置に有効な推定窓を用いる。また、推定窓配置手段223は、推定窓を配置する際、カウント可能領域取得手段222から取得した画像位置を基準とするカウント可能領域と、既に推定窓が配置され物体数の推定が可能な状態である領域とを用いる。なお、既に推定窓が配置され物体数の推定が可能な状態である領域は、カウント対象物を示す矩形の集合で構成される。

図8は、推定窓配置手段223による推定窓の配置位置の仮取得処理の例を示す説明図である。具体的には、推定窓配置手段223は、図8に示すように、任意の画像位置に有効な推定窓のサイズと推定窓の形状を、推定窓サイズ取得手段221から取得する(ステップS1)。次いで、推定窓配置手段223は、ステップS1と同じ任意の画像位置を基準とするカウント可能領域を、カウント可能領域取得手段222から取得する(ステップS2)。

次いで、推定窓配置手段223は、二重計数を防ぐために、ステップS2で取得されたカウント可能領域から、既に推定窓が配置され物体数の推定が可能な状態である領域を取り除く(ステップS3)。以下、既に推定窓が配置され物体数の推定が可能な状態である領域が除かれた、残りのカウント可能領域を領域Aという。

図9は、既に推定窓が配置され物体数の推定が可能な状態である領域が除かれたカウント可能領域を示す説明図である。図9に示すように、既に推定窓が配置され物体数の推定が可能な状態である領域が除かれたカウント可能領域である領域Aは、矩形の集合で構成される。

領域Aを構成する矩形の集合は、カウント可能領域を構成する矩形の集合と既に推定窓が配置され物体数の推定が可能な状態である領域を構成する矩形の集合との両方の集合に含まれる矩形が取り除かれた、残りのカウント可能領域を構成する矩形の集合である。

次いで、推定窓配置手段223は、ステップS1で得られた推定窓を画面内で動かす(ステップS4)。ステップS4において、推定窓配置手段223は、推定窓が領域Aを大きく含むような推定窓の配置位置を探索する。推定窓配置手段223は、探索された配置位置を仮取得する(ステップS5)。

なお、推定窓配置手段223が推定窓の配置位置を探索する際に従う条件には、「領域Aを大きく含む」という条件の他に、「配置済みの推定窓に近い」、「画面の下の方に位置する」という条件が追加されてもよい。

また、「カウント可能領域を構成するカウント対象物を示す矩形の集合に対して矩形を多く含む」、「配置済みの推定窓の周辺のカウント可能領域を含む」という条件が追加されてもよい。追加される条件は、上記の条件以外の他の条件でもよい。

次いで、推定窓配置手段223は、推定窓の配置位置と共に、推定窓に含まれる領域Aを構成するカウント対象物を示す矩形の集合を仮取得する(ステップS6)。

推定窓に含まれる領域Aを構成するカウント対象物を示す矩形の集合は、図8に示すように、基本的には推定窓に完全に含まれる矩形の集合である。なお、推定窓に所定の割合だけ含まれている矩形から物体数の推定が可能であれば、推定窓に含まれる領域Aを構成するカウント対象物を示す矩形の集合は、推定窓に所定の割合以上含まれる矩形の集合でもよい。なお、所定の割合は、推定器が学習によって作成される段階で決定される。

推定窓配置手段223は、他の任意の画像位置に対しても、ステップS1〜ステップS6の処理を行う。推定窓配置手段223は、仮取得された推定窓の配置位置の中から、最も条件に当てはまる配置位置を推定窓の配置位置として決定する。推定窓配置手段223は、配置位置が決定された推定窓の位置、サイズ、形状を、配置済みの推定窓の配置に関する情報として登録する。

また、推定窓配置手段223は、決定された配置位置に対応する仮取得されたカウント対象物を示す矩形の集合で構成される領域を、既に推定窓が配置され物体数の推定が可能な状態である領域として登録する。

推定窓配置手段223は、登録された物体数の推定が可能な状態である領域と、同時に登録された推定窓の配置に関する情報とを対応付ける。配置された推定窓と対応付けられることによって、各推定窓を用いて物体数の推定が可能な状態である領域は、それぞれ容易に判別される。

推定窓配置手段223は、終了条件が満たされるまで上記の処理を繰り返し行い、配置すべき全ての推定窓を配置する。終了条件は、「推定窓の配置位置を仮取得する際に用いられる条件を満たす推定窓の配置位置の候補がない」、「配置済みの推定窓の数が所定の数である」、「配置済みの推定窓が画像の全領域または指定された部分領域の所定の割合を占める」などである。なお、終了条件は、上記の条件以外の他の条件でもよい。

推定窓配置手段223は、処理が終了した後、位置、サイズ、形状を示す登録された推定窓の配置に関する情報と、情報が示す推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域とを出力する。

以上のように、本実施形態の推定窓配置装置200は、物体数の推定に使用される画像位置に対する対象物体の解像度および相対位置を記憶する解像度マップ記憶手段211と、物体数の推定に使用される推定窓の形状と、推定窓における推定の基準になる対象物体のサイズを記憶する推定窓情報記憶手段212とを有する。

また、推定窓配置装置200は、解像度マップ記憶手段211に記憶されている情報と推定窓情報記憶手段212に記憶されている情報とを用いて、画像位置に対して物体数の推定に有効な推定窓のサイズ、および推定窓の形状を取得する推定窓サイズ取得手段221を有する。

また、推定窓配置装置200は、解像度マップ記憶手段211に記憶されている情報と推定窓情報記憶手段212に記憶されている情報とを用いて、画像位置に対して有効な推定窓を用いて対象物体の数の推定が可能な領域を取得するカウント可能領域取得手段222を有する。

また、推定窓配置装置200は、任意の画像位置に対する物体数の推定に有効な推定窓のサイズおよび推定窓の形状と、任意の画像位置に対する有効な推定窓を用いて対象物体の数の推定が可能な領域を取得し、取得された領域から既に推定窓が配置され物体数の推定が可能な状態である領域が除かれた領域を取得された推定窓が大きく含むように推定窓を配置する推定窓配置手段223を有する。

図10は、物体数統合装置300の構成例を示すブロック図である。図10に示すように、物体数統合装置300は、画像取得装置310と、記憶装置320と、データ処理装置330とを含む。画像取得装置310は画像を取得し、記憶装置320は物体数の推定に使用される情報を記憶する。データ処理装置330の動作は、例えば、CPUがプログラムを実行することによって制御される。

図10に示すように、記憶装置320は、推定窓配置記憶手段321と、推定用辞書記憶手段322とを有する。

推定窓配置記憶手段321は、推定窓配置装置200から入力される、推定窓の配置に関する情報と、情報が示す推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域とを併せて記憶する機能を有する。具体的には、推定窓の配置に関する情報は、推定窓の位置、サイズ、形状を示す。

図11は、推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域と推定窓との関係を示す説明図である。図11に示す例では、推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域は、推定窓に完全に含まれる。

なお、推定窓配置記憶手段321は、推定窓配置装置200から入力された情報以外に、ユーザが手動で作成した情報を記憶してもよい。

推定用辞書記憶手段322は、推定窓単位でカウント対象物の数を推定するために学習された、推定器の辞書を記憶する機能を有する。

図10に示すように、データ処理装置330は、物体数推定手段331と、統合手段332とを有する。

物体数推定手段331は、画像取得装置310から取得した画像に対して、推定窓毎にカウント対象物の数を推定する機能を有する。物体数推定手段331は、推定窓配置記憶手段321に記憶されている推定窓の配置に関する情報と、推定用辞書記憶手段322に記憶されている学習された推定器の辞書と、辞書に対応する推定器とを用いて、推定窓内のカウント対象物の数を推定する。

具体的には、物体数推定手段331は、推定窓配置記憶手段321に記憶されている推定窓の配置に関する情報に基づいて、画像取得装置310から取得した画像の一部である、配置された推定窓に対応する局所画像を取得する。

物体数推定手段331は、推定用辞書記憶手段322に記憶されている辞書に対応する推定器を用いて、取得された局所画像に映るカウント対象の物体の数を推定する。物体数推定手段331は、推定窓毎にカウント対象物の数を推定する。

統合手段332は、画像取得装置310から取得した画像に対して、画像の全領域内の物体数または部分領域内の物体数を推定する機能を有する。統合手段332は、物体数推定手段331から取得した推定窓毎に推定されたカウント対象物の数と、推定窓配置記憶手段321から取得した推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域とを用いて、物体数を推定する。

具体的には、統合手段332は、物体数推定手段331から取得した推定窓毎に推定された物体数を、物体数の推定が可能な状態である領域における画素毎の密度に変換する。変換された画素毎の密度は、推定窓配置記憶手段321から取得された推定窓に対応付けられている矩形の集合で構成される物体数の推定が可能な状態である領域に基づいている。

画素毎の密度への変換の例を、図12に示す。図12は、統合手段332による推定窓毎に推定された物体数の画素毎の密度への変換処理の例を示す説明図である。

図12に示すように、統合手段332は、矩形の集合で構成される物体数の推定が可能な状態である領域を、一つの領域として捉える。領域同士が重なる部分がある場合、統合手段332は、一旦重なる箇所を無視する。

次いで、統合手段332は、一つの領域として捉えられた領域の画素数を求め、推定窓を用いて推定された物体数を求められた画素数で除算する。除算することによって、統合手段332は、物体数の推定が可能な状態である領域における画素毎の密度を求める。

図12に示す例では、推定窓を用いて推定された物体数はpである。また、一つの領域として捉えられた領域の画素数はnである。よって、物体数の推定が可能な状態である領域における画素毎の密度は、p/nである。なお、図12に示すように、物体数の推定が可能な状態である領域以外の部分に関して、統合手段332は、特に画素毎の密度を与えない。

また、統合手段332は、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分の画素毎の密度を調整する機能を有する。

推定窓配置手段223は、基本的には推定が可能な状態である領域同士が重なる部分が存在しないように推定窓の配置位置を決定する。しかし、推定窓を配置する段階で、場所によって推定が可能な状態である領域を重ねないと推定が困難な状態である領域が発生する場合がある。よって、推定窓配置手段223は、推定が困難な状態である領域が発生しないように、推定が可能な状態である領域同士が重なる範囲が最小になるように推定窓を配置する。すなわち、本実施形態において推定が可能な状態である領域同士が重なる部分が発生する可能性があるため、統合手段332が重なる部分の画素毎の密度を調整する機能を有している。

図13は、統合手段332による物体数の推定が可能な状態である領域同士が重なる部分における画素毎の密度の算出処理の例を示す説明図である。図13に示すように、物体数の推定が可能な状態である領域には、画素毎の密度が与えられている。また、物体数の推定が可能な状態である領域以外の領域には、画素毎の密度が与えられていない。

画素毎の密度に変換した後、統合手段332は、図13に示すように、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分(斜線で示す領域)に関して、重なる各領域の画素毎の密度の平均値を算出する。統合手段332は、重なる部分における画素毎の密度を、算出された画素毎の密度の平均値に変更する。

次に、統合手段332は、算出された画素毎の密度を合計することによって、画像取得装置310から取得した画像の全領域内の物体数または部分領域内の物体数を推定する。部分領域は、例えば、ユーザにより指定された、ユーザが物体の数を推定したい画像内の領域である。

本実施形態の物体数統合装置300は、推定窓の配置に関する情報と、推定窓に対応付けられている物体数の推定が可能な状態である領域とを記憶する推定窓配置記憶手段321と、推定窓単位で対象物体の数を推定するために学習された推定器の辞書を記憶する推定用辞書記憶手段322とを有する。

また、物体数統合装置300は、推定窓の配置に関する情報に基づいて、画像取得装置310から取得した画像の一部である、配置された推定窓に対応する局所画像を取得し、学習された推定器の辞書と、辞書に対応する推定器とを用いて、推定窓毎に対象物体の数を推定する物体数推定手段331を有する。

また、物体数統合装置300は、推定窓毎に推定された対象物体の数を、推定窓に対応付けられている物体数の推定が可能な状態である領域を用いて、推定が可能な状態である領域における画素毎の密度に変換する統合手段332を有する。統合手段332は、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分に関して、重なる各領域の画素毎の密度の平均値を算出し、画素毎の密度を合計することによって、画像の全領域内の物体数または部分領域内の物体数を推定する。

本実施形態の物体計数システム100は、二重計数が原因である誤計数を抑制しながら計数漏れをなくすことによって、画像中の物体をより正確に計数できる。

その理由は、推定窓配置手段223が、任意の画像位置に対して、物体数の推定に有効な推定窓のサイズおよび推定窓の形状と、画像位置に対して有効な推定窓を用いて対象物体の数の推定が可能な状態である領域を取得する。次いで、推定窓配置手段223が、取得された領域から既に推定窓が配置され物体数の推定が可能な状態である領域を取り除き、取得された推定窓が残りの領域を大きく含むように推定窓を配置する。すなわち、物体数推定手段331が、各画像位置における対象物体の数を、適切に配置された対象物体に対応する推定窓を用いて推定できるためである。

また、本実施形態の物体計数システム100は、二重計数が原因である誤計数の影響を減らすことによって、画像中の物体の数をより正確に推定できる。

その理由は、統合手段332が、推定窓毎に推定された対象物体の数を、各推定窓に対応付けられている物体数の推定が可能な状態である領域を用いて、推定が可能な状態である領域における画素毎の密度に変換する。また、統合手段332が、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分に関して重なる各領域の画素毎の密度の平均値を算出し、画素毎の密度を合計することによって、画像の全領域内の物体数または部分領域内の物体数を推定する。すなわち、統合手段332が、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分の物体数の推定結果を調整するためである。

[動作の説明] 以下、本実施形態の物体計数システム100の動作を図14〜図16を参照して説明する。物体計数システム100の動作は、推定窓配置装置200の動作と、物体数統合装置300の動作とで構成される。

最初に、画像中の物体をより正確に計数するために最適な推定窓を生成し、対象の画像内に生成された推定窓を適切に配置する推定窓配置装置200の動作を図14を参照して説明する。図14は、推定窓配置装置200による推定窓配置処理の動作を示すフローチャートである。

推定窓配置手段223は、表示されているカウント対象物体が計数される画像内の、任意の画像位置を選択する(ステップS110)。

次いで、推定窓配置手段223は、推定窓サイズ取得手段221から、選択された画像位置に対応する推定窓のサイズと推定窓の形状を取得する(ステップS120)。

次いで、推定窓配置手段223は、カウント可能領域取得手段222から、選択された画像位置に対応するカウント可能領域を取得する(ステップS130)。

次いで、推定窓配置手段223は、ステップS130で取得されたカウント可能領域から、既に推定窓が配置され物体数の推定が可能な状態である領域を除くことによって、領域Aを取得する(ステップS140)。

次いで、推定窓配置手段223は、ステップS120で取得された推定窓を対象の画像内で動かし、推定窓が領域Aを大きく含むという条件を満たす推定窓の配置位置を探索する。推定窓配置手段223は、探索された推定窓の配置位置を仮取得する(ステップS150)。仮取得される推定窓の配置位置は、例えば、後述するステップS159の処理で仮取得される配置位置である。

なお、推定窓配置手段223が推定窓の配置位置を探索する際に従う条件に、上記の取得された推定窓が領域Aを大きく含むという条件の他に、新たな条件が追加されてもよい。図14に示す例では、新たな条件は追加されていない。

次いで、推定窓配置手段223は、ステップS120〜ステップS150の処理が全ての画像位置に対して実行されたか否かを判定する(ステップS160)。

全ての画像位置に対して処理が実行されていない場合(ステップS160におけるNo)、推定窓配置手段223は、ステップS120〜ステップS150の処理が実行されていない画像位置を選択し(ステップS110)、ステップS120〜ステップS150の処理を行う。全ての画像位置に対して処理が実行されるまで、推定窓配置手段223は、ステップS110〜ステップS150の処理を繰り返し行う。

全ての画像位置に対して処理が実行された場合(ステップS160におけるYes)、推定窓配置手段223は、推定窓の配置位置を示す仮取得された情報があるか否かを判定する(ステップS170)。仮取得された情報がない場合(ステップS170におけるNo)、推定窓配置手段223は、ステップS210の処理を行う。

仮取得された情報がある場合(ステップS170におけるYes)、推定窓配置手段223は、仮取得された推定窓の配置位置のうち、最も条件を満たす配置位置を推定窓の配置位置として決定する(ステップS180)。

次いで、推定窓配置手段223は、配置位置が決定された推定窓の位置、サイズ、形状を、配置済みの推定窓の配置に関する情報として登録する(ステップS190)。

次いで、推定窓配置手段223は、決定された配置位置における推定窓に含まれる領域A(後述する領域B)を、既に推定窓が配置され物体数の推定が可能な状態である領域として登録する。推定窓配置手段223は、ステップS190で登録された推定窓の配置に関する情報と対応付けて、領域を登録する(ステップS200)。

次いで、推定窓配置手段223は、終了条件が満たされているか否かを判定する(ステップS210)。

終了条件が満たされていない場合(ステップS210におけるNo)、推定窓配置手段223は、仮取得された情報を削除する(ステップS220)。終了条件が満たされるまで、推定窓配置手段223は、ステップS110〜ステップS200の処理を繰り返し行う。

終了条件が満たされている場合(ステップS210におけるYes)、推定窓配置手段223は、位置、サイズ、形状を示す登録された推定窓の配置に関する情報と、推定窓の配置に関する情報に対応付けられている推定窓に含まれる領域Aとを出力する(ステップS230)。

ステップS230で出力される推定窓に含まれる領域Aは、矩形の集合で構成される、物体数の推定が可能な状態である領域である。登録された情報を出力した後、推定窓配置装置200は、推定窓配置処理を終了する。

次に、ステップS150の、推定窓の配置位置を仮取得する推定窓配置手段223の動作を図15を参照してより具体的に説明する。図15は、推定窓配置手段223による仮取得処理の動作を示すフローチャートである。

ステップS140の処理の後、推定窓配置手段223は、推定窓配置装置200に含まれる一時的に情報を記憶する一時記憶部(図示せず)を初期化する(ステップS151)。

次いで、推定窓配置手段223は、条件を満たす推定窓の配置位置を探索するために、任意の画像位置を選択し、ステップS120で取得された推定窓を選択された画像位置に配置する(ステップS152)。

次いで、推定窓配置手段223は、配置された推定窓と領域Aとに基づいて、推定窓に含まれる領域A(以下、領域Bという。)を取得する(ステップS153)。領域Aおよび領域Bは、カウント可能領域と同様に、矩形の集合で構成される領域である。

推定窓配置手段223は、ステップS153で取得された領域Bが、一時記憶部に記憶されている他の処理で取得された領域Bよりも大きいか否かを判定する(ステップS154)。すなわち、ステップS154の処理は、新たに取得された推定窓の配置位置が条件をより満たすか否かを確認するための処理である。

ステップS153で取得された領域Bの方が大きくない場合、すなわち条件がより満たされない場合(ステップS154におけるNo)、推定窓配置手段223は、ステップS157の処理を行う。

ステップS153で取得された領域Bの方が大きい場合、すなわち条件がより満たされる場合(ステップS154におけるYes)、推定窓配置手段223は、一時記憶部に記憶されている他の処理で取得された領域Bを削除し、新たに取得された領域Bを一時記憶部に記憶する(ステップS155)。

次いで、推定窓配置手段223は、記憶された領域Bに対応する推定窓の位置、サイズ、形状を一時記憶部に記憶する(ステップS156)。

次いで、推定窓配置手段223は、推定窓が全ての画像位置に配置されたか否かを判定する(ステップS157)。

推定窓が全ての画像位置に配置されていない場合(ステップS157におけるNo)、推定窓配置手段223は、推定窓が全ての画像位置に配置されるまで、ステップS152〜ステップS156の処理を繰り返し行う。

推定窓が全ての画像位置に配置された場合(ステップS157におけるYes)、推定窓配置手段223は、一時記憶部に記憶されている情報があるか否かを判定する(ステップS158)。一時記憶部に記憶されている情報がない場合(ステップS158におけるNo)、推定窓配置手段223は、仮取得処理を終了する。

一時記憶部に記憶されている情報がある場合(ステップS158におけるYes)、推定窓配置手段223は、一時記憶部に記憶されている情報を、ステップS110で選択された画像位置と共に仮取得する(ステップS159)。仮取得された後、推定窓配置手段223は、仮取得処理を終了する。

次に、適切に配置された推定窓を用いて人数を計数し、推定窓毎に計数された人数を適切に統合することによって画像中の物体を計数する物体数統合装置300の動作を図16を参照して説明する。図16は、物体数統合装置300による物体計数処理の動作を示すフローチャートである。

物体数推定手段331は、画像取得装置310から画像を取得する(ステップS310)。次いで、物体数推定手段331は、推定窓配置記憶手段321に記憶されている推定窓の配置に関する情報の中から、任意の推定窓の配置に関する情報を選択する(ステップS320)。

次いで、物体数推定手段331は、取得された画像と選択された推定窓の配置に関する情報とを用いて、配置された推定窓に含まれる画像である局所画像を取得する(ステップS330)。

次いで、物体数推定手段331は、取得された局所画像に対して、推定用辞書記憶手段322に記憶されている辞書に対応する推定器を用いて、局所画像に映る物体の数を推定する(ステップS340)。

次いで、物体数推定手段331は、推定窓配置記憶手段321に記憶されている全ての推定窓の配置に関する情報を用いて、物体の数を推定したか否かを判定する(ステップS350)。

全ての推定窓の配置に関する情報を用いて物体の数を推定していない場合(ステップS350におけるNo)、物体数推定手段331は、全ての推定窓の配置に関する情報を用いて物体の数を推定するまで、ステップS320〜ステップS340の処理を繰り返し行う。

物体数推定手段331が全ての推定窓の配置に関する情報を用いて物体の数を推定した場合(ステップS350におけるYes)、統合手段332は、推定窓配置記憶手段321に記憶されている推定窓の配置に関する情報の中から、任意の推定窓の配置に関する情報を選択する(ステップS360)。

次いで、統合手段332は、物体数推定手段331から、選択された情報が示す推定窓に対応する推定された物体数を取得する。また、統合手段332は、推定窓配置記憶手段321から、選択された情報が示す推定窓に対応付けられている物体数の推定が可能な状態である領域を取得する。

次いで、統合手段332は、取得された物体数と物体数の推定が可能な状態である領域とを用いて、物体数の推定が可能な状態である領域における画素毎の密度を算出する(ステップS370)。

次いで、統合手段332は、推定窓配置記憶手段321に記憶されている全ての推定窓の配置に関する情報を用いて、画素毎の密度を算出したか否かを判定する(ステップS380)。

全ての推定窓の配置に関する情報を用いて画素毎の密度を算出していない場合(ステップS380におけるNo)、統合手段332は、全ての推定窓の配置に関する情報を用いて画素毎の密度を算出するまで、ステップS360〜ステップS370の処理を繰り返し行う。

全ての推定窓の配置に関する情報を用いて画素毎の密度を算出した場合(ステップS380におけるYes)、統合手段332は、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分に関して、重なる各領域の画素毎の密度の平均値を算出する(ステップS390)。

次いで、統合手段332は、算出された画素毎の密度を合計する(ステップS400)。統合手段332は、画素毎の密度の総和を用いて、画像取得装置310から取得した画像の全領域内の物体数または部分領域内の物体数を推定する(ステップS410)。物体数が推定された後、物体数統合装置300は、物体計数処理を終了する。

本実施形態の推定窓配置手段は、任意の画像位置に対して、物体数の推定に有効な推定窓のサイズおよび推定窓の形状と、画像位置に対して有効な推定窓を用いて対象物体の数の推定が可能な領域を取得する。次いで、推定窓配置手段は、取得された領域から既に推定窓が配置され物体数の推定が可能な状態である領域を除き、取得された推定窓が残りの領域を大きく含むように推定窓を配置する。

次いで、物体数推定手段は、各画像位置における対象物体の数を、適切に配置された対象物体に対応する推定窓を用いて推定する。よって、物体数推定手段は、二重計数が原因である誤計数を抑制しながら計数漏れを防ぐことができるため、画像中の物体をより正確に計数できる。また、配置される推定窓の数は多すぎない適切な数であるため、物体数推定手段は、画像中の物体の計数処理を、正確かつ高速に実施できる。

本実施形態の統合手段は、推定窓毎に推定された対象物体の数を、各推定窓に対応付けられている物体数の推定が可能な状態である領域を用いて、推定が可能な状態である領域における画素毎の密度に変換する。また、統合手段は、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分に関して重なる各領域の画素毎の密度の平均値を算出し、画素毎の密度を合計することによって、画像の全領域内の物体数または部分領域内の物体数を推定する。

すなわち、統合手段が、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分の物体数の推定結果を調整しているため、二重計数が原因である誤計数の影響が軽減され、画像中の物体の数がより正確に推定される。

上記のように、物体計数システムは、各画像位置における対象物体の数を適切に配置された対象物体に対応する推定窓を用いて推定し、推定窓毎に推定された物体数の推定結果を用いて、各推定窓における物体数の推定が可能な状態である領域同士が重なる部分の物体数の推定結果を調整する。以上の処理により、物体計数システムは、画像中の対象物体の数をより正確に推定できる。

以下、推定窓配置装置200のハードウェア構成の具体例を説明する。図17は、本発明による推定窓配置装置のハードウェア構成例を示すブロック図である。

図17に示すように、推定窓配置装置200は、記憶装置210と、コンピュータ230と、コンピュータ可読記憶媒体240とを含む。記憶装置210とコンピュータ可読記憶媒体240は、コンピュータ230に接続されている。また、コンピュータ可読記憶媒体240は、物体計数用プログラム241を記憶する。

コンピュータ230は、CPU231と、主記憶部232とを有する。主記憶部232は、データの作業領域やデータの一時退避領域として用いられる。主記憶部232は、例えばRAM(Random Access Memory)である。また、コンピュータ可読記憶媒体240は、磁気ディスクや半導体メモリなどで構成される。

コンピュータ230は、図17に示すCPU231が図2に示す各構成要素が有する機能を提供する物体計数用プログラム241を実行することによって、ソフトウェアにより実現される。

ソフトウェアにより実現される場合、CPU231がコンピュータ可読記憶媒体240に記憶されている物体計数用プログラム241を、コンピュータ230の起動時などに主記憶部232にロードして実行し、コンピュータ230の動作を制御することによって、各機能がソフトウェアにより実現される。例えば、CPU231は、図14に示す推定窓生成処理をコンピュータ230に実施させる。

なお、コンピュータ230は、ハードウェアにより実現されてもよい。例えば、コンピュータ230は、内部に図2に示すような機能を実現するプログラムが組み込まれたLSI(Large Scale Integration)などのハードウェア部品が含まれる回路が実装されてもよい。

以下、物体数統合装置300のハードウェア構成の具体例を説明する。図18は、本発明による物体数統合装置のハードウェア構成例を示すブロック図である。

図18に示すように、物体数統合装置300は、画像取得装置310と、記憶装置320と、コンピュータ340と、コンピュータ可読記憶媒体350とを含む。画像取得装置310、記憶装置320、およびコンピュータ可読記憶媒体350は、コンピュータ340に接続されている。また、コンピュータ可読記憶媒体350は、物体計数用プログラム351を記憶する。

コンピュータ340は、CPU341と、主記憶部342とを有する。主記憶部342は、データの作業領域やデータの一時退避領域として用いられる。主記憶部342は、例えばRAMである。また、コンピュータ可読記憶媒体350は、磁気ディスクや半導体メモリなどで構成される。

コンピュータ340は、図18に示すCPU341が図10に示す各構成要素が有する機能を提供する物体計数用プログラム351を実行することによって、ソフトウェアにより実現される。

ソフトウェアにより実現される場合、CPU341がコンピュータ可読記憶媒体350に記憶されている物体計数用プログラム351を、コンピュータ340の起動時などに主記憶部342にロードして実行し、コンピュータ340の動作を制御することによって、各機能がソフトウェアにより実現される。例えば、CPU341は、図16に示す物体計数処理をコンピュータ340に実施させる。

なお、コンピュータ340は、ハードウェアにより実現されてもよい。例えば、コンピュータ340は、内部に図10に示すような機能を実現するプログラムが組み込まれたLSIなどのハードウェア部品が含まれる回路が実装されてもよい。

次に、本発明の概要を説明する。図19は、本発明による物体計数装置の概要を示すブロック図である。本発明による物体計数装置20は、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得する取得手段21(例えば、推定窓サイズ取得手段221)と、取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定する設定手段22(例えば、推定窓配置手段223)とを備える。

そのような構成により、物体計数装置は、画像中の物体をより正確に計数できる。

また、物体計数装置20は、推定領域に対応付けられている所定の条件を満たす計数対象の物体が示されている画像内の領域を取得する領域取得手段(例えば、カウント可能領域取得手段222)を備え、設定手段22は、取得された領域から、領域内に既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域内に推定領域を設定してもよい。

そのような構成により、物体計数装置は、推定窓の配置処理をより短い時間で終えることができる。

また、領域取得手段が取得する領域、領域内に既に設定されている他の推定領域、および取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域は、計数対象の物体を示す矩形の集合で構成されていてもよい。

そのような構成により、物体計数装置は、推定窓を配置すべき場所をより明確にすることができる。

また、設定手段22は、領域取得手段が取得する領域を構成する矩形の集合と領域内に既に設定されている他の推定領域を構成する矩形の集合との両方の集合に含まれる矩形が取り除かれた、領域取得手段が取得する領域を構成する矩形の集合で構成される領域を、取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域としてもよい。

そのような構成により、物体計数装置は、推定窓を配置すべき場所をより明確にすることができる。

また、設定手段22は、推定領域が取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域を最も大きく含むように、推定領域を設定してもよい。

そのような構成により、物体計数装置は、配置する推定窓の数を減らすことができる。

また、設定手段22は、推定領域が取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域を最も大きく含むという条件と、他の条件を満たすように推定領域を設定してもよい。

また、設定手段22は、推定領域の位置、サイズ、形状を示す推定領域の設定に関する情報と、情報に基づいて設定された推定領域に対応する画像とを併せて出力してもよい。

そのような構成により、物体計数装置は、画像中の物体を計数する装置に、推定が可能な状態の画像を提供できる。

また、物体計数装置20は、推定領域として推定窓を使用し、物体数の推定に使用される画像位置に対する計数対象の物体の解像度、および計数対象の物体の相対位置を記憶する解像度マップ記憶手段(例えば、解像度マップ記憶手段211)と、物体数の推定に使用される推定窓の形状と、推定窓に対応付けられている所定の条件を満たす計数対象の物体のサイズを記憶する推定窓情報記憶手段(例えば、推定窓情報記憶手段212)とを備えていてもよい。

また、取得手段21は、解像度マップ記憶手段に記憶されている情報と推定窓情報記憶手段に記憶されている情報を用いて、画像位置に対する計数対象の物体の計数に有効な推定窓のサイズ、および推定窓の形状を取得してもよい。

また、領域取得手段は、解像度マップ記憶手段に記憶されている情報と推定窓情報記憶手段に記憶されている情報を用いて、画像位置に対する計数対象の物体の計数に有効な推定窓を用いて計数対象の物体の計数が可能な領域を取得してもよい。

図20は、本発明による物体計数装置の他の概要を示すブロック図である。本発明による物体計数装置30は、画像内に設定されている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域に示されている計数対象の物体の数を、推定領域毎に推定する推定手段31(例えば、物体数推定手段331)と、推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出する算出手段32(例えば、統合手段332)とを備える。

そのような構成により、物体計数装置は、画像中の物体をより正確に計数できる。

また、算出手段32は、各推定領域で推定された計数対象の物体の数を用いて、各推定領域内の所定の条件を満たす領域における計数対象の物体の密度を算出し、算出された密度の平均値を推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度として算出してもよい。

そのような構成により、物体計数装置は、推定窓同士が重ねて配置されている領域内の計数対象の物体の密度を、画像内の計数対象の物体の密度に近づけることができる。

また、物体計数装置30は、推定領域として推定窓が使用される場合、推定窓の配置に関する情報と、推定窓に対応付けられている物体数の推定が可能な領域を記憶する推定窓配置記憶手段(例えば、推定窓配置記憶手段321)と、推定窓単位で計数対象の物体の数を推定するために学習された推定器の辞書を記憶する推定用辞書記憶手段(例えば、推定用辞書記憶手段322)とを備えていてもよい。

また、推定手段31は、推定窓の配置に関する情報に基づいて、画像取得装置(例えば、画像取得装置310)が取得する画像から局所画像を取得し、学習された推定器に対応する辞書を用いて、推定窓毎に計数対象の物体の数を推定してもよい。

また、算出手段32は、算出された計数対象の物体の密度を合計することによって、画像の全領域内の物体数、または画像の部分領域内の物体数を推定してもよい。

図21は、本発明による物体計数システムの概要を示すブロック図である。本発明による物体計数システム40は、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得する取得手段41(例えば、推定窓サイズ取得手段221)と、取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定する設定手段42(例えば、推定窓配置手段223)と、画像内に設定されている推定領域に示されている計数対象の物体の数を、推定領域毎に推定する推定手段43(例えば、物体数推定手段331)と、推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出する算出手段44(例えば、統合手段332)とを備える。

そのような構成により、物体計数システムは、画像中の物体をより正確に計数できる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。

(付記1)画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得し、取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定することを特徴とする物体計数方法。

(付記2)推定領域に対応付けられている所定の条件を満たす計数対象の物体が示されている画像内の領域を取得し、取得された領域から、領域内に既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域内に推定領域を設定する付記1に記載の物体計数方法。

(付記3)取得された領域、領域内に既に設定されている他の推定領域、および取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域が、計数対象の物体を示す矩形の集合で構成されている付記1または付記2に記載の物体計数方法。

(付記4)取得された領域を構成する矩形の集合と領域内に既に設定されている他の推定領域を構成する矩形の集合との両方の集合に含まれる矩形が取り除かれた、取得された領域を構成する矩形の集合で構成される領域を、取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域とする付記3に記載の物体計数方法。

(付記5)推定領域が取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域を最も大きく含むように、推定領域を設定する付記2から付記4のうちのいずれか1つに記載の物体計数方法。

(付記6)推定領域が取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域を最も大きく含むという条件と、他の条件を満たすように推定領域を設定する付記2から付記4のうちのいずれか1つに記載の物体計数方法。

(付記7)推定領域の位置、サイズ、形状を示す推定領域の設定に関する情報と、情報に基づいて設定された推定領域に対応する画像とを併せて出力する付記1から付記6のうちのいずれか1つに記載の物体計数方法。

(付記8)画像内に設定されている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域に示されている計数対象の物体の数を、推定領域毎に推定し、推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出することを特徴とする物体計数方法。

(付記9)各推定領域で推定された計数対象の物体の数を用いて、各推定領域内の所定の条件を満たす領域における計数対象の物体の密度を算出し、算出された密度の平均値を推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度として算出する付記8に記載の物体計数方法。

(付記10)コンピュータに、画像に示されている計数対象の物体に関する所定の条件が対応付けられている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域の情報を取得する取得処理、および取得された推定領域の情報が示す推定領域が、他の推定領域における計数対象の物体に含まれていない所定の条件を満たす計数対象の物体を含むように、画像内に推定領域を設定する設定処理を実行させるための物体計数プログラム。

(付記11)コンピュータに、推定領域に対応付けられている所定の条件を満たす計数対象の物体が示されている画像内の領域を取得し、取得された領域から、領域内に既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域内に推定領域を設定する処理を実行させる付記10に記載の物体計数プログラム。

(付記12)取得された領域、領域内に既に設定されている他の推定領域、および取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域が、計数対象の物体を示す矩形の集合で構成されている付記10または付記11に記載の物体計数プログラム。

(付記13)コンピュータに、取得された領域を構成する矩形の集合と領域内に既に設定されている他の推定領域を構成する矩形の集合との両方の集合に含まれる矩形が取り除かれた、取得された領域を構成する矩形の集合で構成される領域を、取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域とする処理を実行させる付記12に記載の物体計数プログラム。

(付記14)コンピュータに、推定領域が取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域を最も大きく含むように、推定領域を設定する処理を実行させる付記11から付記13のうちのいずれか1つに記載の物体計数プログラム。

(付記15)コンピュータに、推定領域が取得された領域から既に設定されている他の推定領域で示される計数対象の物体の数の推定が可能な状態である領域が除かれた領域を最も大きく含むという条件と、他の条件を満たすように推定領域を設定する処理を実行させる付記11から付記13のうちのいずれか1つに記載の物体計数プログラム。

(付記16)コンピュータに、推定領域の位置、サイズ、形状を示す推定領域の設定に関する情報と、情報に基づいて設定された推定領域に対応する画像とを併せて出力する処理を実行させる付記10から付記15のうちのいずれか1つに記載の物体計数プログラム。

(付記17)コンピュータに、画像内に設定されている、画像の部分領域であり計数対象の物体の数が推定される領域の単位である推定領域に示されている計数対象の物体の数を、推定領域毎に推定する推定処理、および推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度を、各推定領域で推定された計数対象の物体の数を用いて算出する算出処理を実行させるための物体計数プログラム。

(付記18)コンピュータに、各推定領域で推定された計数対象の物体の数を用いて、各推定領域内の所定の条件を満たす領域における計数対象の物体の密度を算出し、算出された密度の平均値を推定領域内の所定の領域同士が重なる領域における計数対象の物体の密度として算出する処理を実行させる付記17に記載の物体計数プログラム。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、2015年9月11日に出願された日本特許出願2015−179818を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明は、推定窓を適切に配置し、推定窓毎に推定された人数を適切に統合することによって、画像中の物体をより正確に計数できる物体計数装置や、物体計数装置をコンピュータに実現させるためのプログラムなどに好適に適用可能である。

また、多すぎない適切な数の推定窓が用いられるため、本発明は、画像中の物体をより正確に計数しながら高速に動作する物体計数装置や、物体計数装置をコンピュータに実現させるためのプログラムなどに好適に適用可能である。

また、本発明は、カメラが撮影した映像中や蓄積された映像中の物体数の推定が求められる監視分野における、不審者認識、不審物の置き去り認識、ゲートの共連れ認識、異常状態認識、異常行動認識の、いずれか1つ以上の機能を有する装置に好適に適用可能である。また、本発明は、マーケティング分野における、行動解析や環境状態の分析の機能を有する装置に好適に適用可能である。

さらに、本発明は、カメラが撮影した映像中や蓄積された映像中の物体数の推定結果と、推定された物体の二次元空間における位置、または三次元空間における位置を入力とする入力インタフェースを有する装置に好適に適用可能である。また、本発明は、物体数の推定結果と、推定された物体の二次元空間における位置、または三次元空間における位置との入力がイベントを引き起こす要因である映像検索装置に好適に適用可能である。

20、30 物体計数装置 21、41 取得手段 22、42 設定手段 31、43 推定手段 32、44 算出手段 40、100 物体計数システム 200 推定窓配置装置 210、320 記憶装置 220、330 データ処理装置 211 解像度マップ記憶手段 212 推定窓情報記憶手段 221 推定窓サイズ取得手段 222 カウント可能領域取得手段 223 推定窓配置手段 230、340 コンピュータ 240、350 コンピュータ可読記憶媒体 241、351 物体計数用プログラム 300 物体数統合装置 310 画像取得装置 321 推定窓配置記憶手段 322 推定用辞書記憶手段 331 物体数推定手段 332 統合手段