本発明は、監視空間に置かれた配置物が人などにより動かされて生じる配置変化を検知する画像監視装置に関する。

監視画像中の変化領域を追跡して行動認識等を行う画像センサーでは、追跡中の人物が配置物（椅子、台車等）を動かすと、人と配置物とが一体化した変化領域が検出される。 そのため、人と配置物の画像特徴が混ざったり変化領域の大きさや形状が変異して追跡精度低下の原因となったり、プライバシー保護のためのマスク処理等の画像加工を人物領域のみに対して行うことが困難であった。

従来の技術では、人が椅子から離れそれらの変化領域が分離するのを待って椅子の変化領域を判定する（特許文献１）、或いは、人が手を離して椅子が静止する一方、人がそのまま移動するというように、人と椅子の間に生じる動きの違いを利用して椅子の変化領域を人の変化領域から区別していた（特許文献２）。

しかし、従来技術では人と配置物とが離れる、或いは人と配置物の動きの違いが生じるまで両者を区別できなかった。 そのため、配置物が動き出してから人が手を離すまでの間、追跡精度が低下したり、人と配置物の領域に対して異なる処理を施すことができなかった。

本発明は、上記問題を鑑みてなされたものであり、配置変化が起きたことを配置物の動き出し時点から検知することを目的とする。 また、本発明は配置物の移動により画像変化が生じた領域を配置物の動き出し時点から検出することを別の目的とする。

本発明に係る画像監視装置は、監視空間内を順次撮像して入力される入力画像を用いて、当該監視空間に置かれた配置物の配置変化を検知するものであって、前記配置物を含む背景が撮像された前記監視空間の背景画像を記憶する記憶部と、前記背景画像と前記入力画像との間にて、互いに画像特徴が類似するとして対応付いた前記背景画像側の背景対応点及び前記入力画像側の入力対応点を検出し、当該背景対応点から当該入力対応点へのベクトルから背景フローを求める背景フロー検出部と、前記背景フローが所定値以上の移動量を示すことを以て前記配置変化の発生を検知する配置変化検知部と、を備える。

他の本発明に係る画像監視装置においては、前記背景フロー検出部は、前記入力画像と当該入力画像の撮像時刻に近接する先行時刻に撮像された先行入力画像との間にて、互いに画像特徴が類似するとして対応付いた前記先行入力画像側の先行入力対応点を検出し、前記先行入力対応点と略同位置に所在する前記背景対応点を用いた前記ベクトルを前記背景フローとする。

当該構成において、前記背景フロー検出部は、前記先行入力対応点の位置において前記先行入力画像の前記画像特徴と前記背景画像の前記画像特徴とが略一致した前記背景対応点を用いた前記ベクトルを前記背景フローとするものとすることができる。

さらに他の本発明に係る画像監視装置においては、前記背景フロー検出部は、前記ベクトルのうち互いに向きが略一致するものが所定数以上存在するものを前記背景フローとして検出する。

別の本発明に係る画像監視装置においては、前記背景フロー検出部は、前記入力画像が入力されるたびに前記背景対応点の候補又は前記入力対応点の候補を所定の画像範囲に低密度に設定して前記背景フローを求める疎背景フロー検出手段と、前記配置変化の発生が検知されたときに前記背景対応点の候補又は前記入力対応点の候補を前記疎背景フロー検出手段よりも前記画像範囲に高密度に設定して前記背景フローを求める密背景フロー検出手段と、を備え、前記配置変化検知部は、前記疎背景フロー検出手段が検出した背景フローを用いて前記配置変化の発生を検知し、前記密背景フロー検出手段が検出した背景フローを構成する入力対応点の集まりを前記配置物の移動先領域として検出する。

本発明によれば、配置物の動きによる画像変化をその動き出し時点から検出できる。 また本発明によれば、配置物の動きにより画像変化が生じた領域をその動き出し時点から検出できる。

本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。

ブロッブを抽出して注目点を設定した画像の一例の模式図である。

背景フロー検出部の処理を説明する模式図である。

本発明の実施形態に係る画像監視装置の概略の動作を示すフロー図である。

背景フロー検出処理の概略のフロー図である。

配置変化検知処理の概略のフロー図である。

移動元の変化領域と移動先の変化領域とが同一の場合及び異なる場合の例を示す模式的な画像である。

追跡中の配置物の変化領域が写る連続する３時刻における入力画像及び当該画像に対応して抽出される変化領域の例の模式図である。

以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。

画像監視装置１が監視する監視空間には、予め配置された物品（以下、配置物と称する）が存在し、また人が出入りする。 例えば、監視空間は部屋であり、また配置物は監視空間の備品や設備、或いは一時置きされた物品であり、一例として椅子や台車などが配置物となる。

配置物は、通常は静止して監視空間の背景の一部を成しているが、人により動かされることで一時的に移動物体として検出されることがあり、その移動の結果、配置物の配置が変化する。 画像監視装置１はこの配置変化を検知する。 なお、当該配置変化には、画像監視装置１の視野内に収まる変化もあれば、配置物が持ち去られて視野外に移動する変化もある。

［画像監視装置１の構成］
図１は、画像監視装置１の概略の構成を示すブロック図である。 画像監視装置１は撮像部２、記憶部３、制御部４及び出力部５を含んで構成され、撮像部２、記憶部３及び出力部５は制御部４に接続される。

撮像部２は監視カメラであり、監視空間を所定の時間間隔で撮影する。 撮影された監視空間の監視画像（入力画像）は順次、制御部４に入力される。 背景画像を用いて配置物や人の位置、移動を把握するため、撮像部２はこれらを俯瞰撮影可能な高さに視野を固定して設置される。 例えば、本実施形態では撮像部２は部屋の天井部に固定設置される。 監視画像が撮像される時間間隔は例えば１／５秒である。 以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称し、最新の撮像時刻を現時刻、現時刻の入力画像を現画像と呼ぶ。

記憶部３はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。 記憶部３は各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。 各種データには背景画像３０、直前画像３１、配置物情報３２及び領域情報３３が含まれる。

背景画像３０は監視空間の背景の像のみが含まれ、人の像が含まれていない画像である。 背景画像３０は配置変化の検知処理や配置物の追跡処理に先立って生成され、記憶部３に格納される。 具体的には人などの移動物体が監視空間内に存在しない状態で撮像された入力画像を背景画像３０とすることができ、この背景画像３０には監視空間内に予め配置された配置物の像が含まれ得る。 また、背景画像３０は配置変化の検知処理や配置物の追跡処理の途中にて適宜更新される。

直前画像３１（先行入力画像）は現時刻から一時刻前（現画像の撮像時刻に近接する先行時刻）の入力画像であり、各時刻に入力される現画像が次時刻における直前画像３１として記憶部３に書き込まれる。

なお、本実施形態では現画像と先行入力画像との間の時間差を一時刻としているが、配置物を移動させる人物が先行入力画像に含まれる数時刻程度の時間差とすることもできる。

配置物情報３２は各配置物の識別番号、配置物の状態（配置物状態）、監視画像における当該配置物の位置と領域、及び当該配置物の画像特徴を含む。 配置物が動かされて当該配置物が検知されると、当該配置物の配置物情報３２が作成される。 配置物の移動中において画像監視装置１は当該配置物の位置を追跡し、配置物情報３２として位置の履歴が記憶される。 配置物状態を示す属性として追跡中と移動完了とが定義される。 画像特徴には、配置物の像全体の特徴を表す色ヒストグラムなどの他、配置物の像の中で特徴的な一部を表す特徴点が含まれる。

領域情報３３は各変化領域の識別番号、及び当該変化領域が配置物を含むか否かの別を示す情報を含む。

制御部４はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部３からプログラムを読み出して実行し、変化領域抽出部４０、背景フロー検出部４１、配置変化検知部４２、背景画像生成部４３及びマスク画像生成部４４等として機能する。

変化領域抽出部４０は入力画像と背景画像とを比較してそれらの間での変化領域を抽出し、抽出された変化領域の情報を背景フロー検出部４１及び配置変化検知部４２へ出力する。 変化領域の抽出は公知の背景差分処理又は背景相関処理により行うことができる。 すなわち、入力画像と背景画像との間における同一座標の画素の値の相違度（差又は相関値）を算出し、相違度がしきい値を超える画素を変化画素として検出する。 そして、互いに隣接する変化画素をまとめ、まとめた領域を変化領域として抽出する。 検出のしきい値は事前実験等に基づいて予め設定される。 なお、１〜数画素程度の領域はノイズであるとして抽出対象から除外する。

抽出される変化領域には、配置物の配置変化により生じる変化領域、人の存在及び移動により生じる変化領域が含まれる。 人による配置物の配置変化の進行中には、配置物と人とが一体化した変化領域が抽出される。 また、配置物の移動に由来する変化領域として、現画像にて配置物が存在する領域（移動先領域）の他、背景画像３０にて配置物が存在した領域（移動元領域）が抽出される。 以下、この配置物由来の変化領域のうち配置物の像の痕跡である移動元領域をゴーストと称する。 ここで、配置変化の初期には配置物と人とゴーストとが一体化した変化領域が抽出され得る。

背景フロー検出部４１は背景画像３０と現画像とで互いに画像特徴が類似する対応点を検出し、当該対応点間を結ぶ動きベクトルである背景フローを検出する。 背景画像３０及び現画像には共に配置物の像が含まれており、配置物が移動すると背景画像３０と現画像の対応点間に配置物の移動に応じた移動量（動きベクトル）が算出される。 このとき現画像には配置物を動かしている人物の像が含まれるが、背景画像３０は当該人物の像を含んでいないため基本的に人の背景フローは検出されない。 また撮像部２の視野は固定されているため配置物以外の背景からは０又は０とみなせる誤差程度の移動量しか算出されない。 よって、背景フロー検出部４１が求める移動量を用いれば高精度に配置変化の有無を判定できる。 画像特徴としては注目点及び最類似点の候補を中心とする所定サイズ（例えば５×５画素）のブロックにおける色分布、輝度勾配又は濃淡分布を用いることができる。

具体的には、背景フロー検出部４１は、背景画像３０及び現画像のうち一方の画像（基準画像）上に複数の注目点（背景対応点の候補、又は入力対応点の候補）を設定すると共に他方の画像（比較画像）において各注目点と画像特徴が最も類似する最類似点を検出し、注目点と最類似点とを結ぶベクトルを算出する。 ちなみに、背景画像３０側の対応点（背景対応点）が背景フローの始端、現画像側の対応点（入力対応点）が終端である。

背景フロー検出部４１は撮像部２から現画像が入力されるたびに背景フローを算出して配置変化検知部４２へ出力する。

ここで、直前画像３１と現画像との間で算出する動きベクトルは一般にオプティカルフローと呼ばれるが、背景フローは背景画像３０と現画像との間で算出する点で一般的なオプティカルフローとは異なる。 以下、背景フローと区別して、直前画像３１と現画像との間で算出する一般的なオプティカルフローを入力フローと呼ぶ。

注目点の設定にはヘッシアン・ラプラス（Hessian-Laplace）・ディテクタを用いる。 基準画像に当該ディテクタを適用してブロッブ（blob）を抽出し、抽出したブロッブを注目点に設定する。 ブロッブは画像の特徴点（キーポイント）の一つであり、具体的には輝度の極大点及び極小点に対応して抽出することができ、当該ブロッブに対応する特徴量として特徴点の座標と当該座標を中心とする局所領域の輝度分布とが求められる。

ブロッブは閉領域内にて多く抽出されるので、配置物や人の領域内において配置変化の検知のために有効な数だけの注目点を設定できる。 図２はブロッブを抽出して注目点を設定した画像の一例の模式図であり、監視空間に存在する人物及び椅子に対して設定された注目点を黒点で示している。

特徴の少ない箇所に注目点を設定すると誤った対応点を検出しやすくなるが、本実施形態のように特徴点を注目点に設定することにより対応点の誤検出が抑制され、対応点検出の処理量も削減できる。

また、本実施形態では配置変化の検知が目的であることから、背景フロー検出部４１は、画像全体ではなく画像変化が生じた部分、すなわち変化領域抽出部４０によって得られる変化領域の内側にて注目点を設定し、変化領域の外側に注目点を設定しない構成とすることができる。 これにより、配置物以外の背景フローを誤検出する誤りが減少し、処理量も削減できる。

背景フロー検出部４１は、比較画像上での探索処理により最類似点を探索することができる。 ブロッブを注目点に設定した本構成では、比較画像上で候補点を移動させつつ、注目点との輝度分布の類似度を算出して、類似度が最も高い候補点と注目点とのペアを対応点に決定する。 この探索にはルーカス・カナデ（Lucas-Kanade）法など種々の最急降下法が適用可能である。 すなわち、各注目点と同一座標を候補点の初期値とし、輝度の差が小さくなる方向に候補点を順次移動させて探索を行う。

別の実施形態では注目点の座標を含む所定の探索範囲の各座標を候補点に設定して探索を行う。 この場合、探索範囲は比較画像全体とすることもできるが、配置変化の検知が目的であることから、配置物が１時刻の間に移動し得る画像上の距離を予め見積もっておき、注目点の座標を中心として当該距離を半径とする円内を探索範囲とするのがよく、さらに変化領域抽出部４０によって得られる変化領域の内側とするのがよい。 すなわち上記円と変化領域との重複領域を探索範囲に設定する。 こうすることにより対応点の誤検出を防げ、対応点検出の処理量も削減できる。

ここで、前述したように配置物移動時の入力画像には人の像が含まれており、入力画像上の人の像が背景画像３０の一部に類似した特徴を有していると、当該人に対して背景フローが誤検出され得る。 このように誤検知された背景フローを配置変化の検知に用いると配置変化が無いときに配置変化があるとの誤検知を生じるおそれがある。

一方、配置物の移動開始時の現画像及びその直前の直前画像３１は共に同一人物の像を含んでおり、同一人物の像同士は当該人物と背景よりも類似することが期待できる。 そのため、背景フローと比較して入力フローでは人物と背景との間に動きベクトルが誤検出されにくい。

この性質から、入力フローと一致する背景フローのみを配置変化（配置物移動開始）の検知に用いれば、上述した誤検出された背景フローによる配置変化の誤検知を防止することができる。 本実施形態の画像監視装置１は当該構成としており、背景フロー検出部４１には入力フローを検出する入力フロー検出部４１０と、入力フローと一致する背景フローを選定する背景フロー選定部４１１とが設けられている。 以下、これらについて説明する。

入力フロー検出部４１０は相前後する入力画像である直前画像３１（先行入力画像）と現画像（後続入力画像）とで互いに画像特徴の類似する対応点を検出する。 具体的には、現画像及び直前画像３１のうち、一方の画像上に複数の注目点を設定すると共に他方の画像において各注目点に特徴が最も類似する最類似点を検出し、注目点と最類似点との間の動きベクトルを算出し入力フローとする。 ちなみに、直前画像３１側の対応点（先行入力対応点）が入力フローの始端、現画像側の対応点（第二入力対応点）が終端である。 算出した入力フローは背景フロー選定部４１１へ出力される。

なお、注目点の設定及び最類似点の検出は上述した背景フローの検出における処理と同様に行うことができる。 すなわち、一方の画像にヘッシアン・ラプラス・ディテクタを適用してブロッブを抽出し、抽出したブロッブを注目点に設定する。 また、ルーカス・カナデ法などを用いて他方の画像上で各注目点と特徴が最も類似する最類似点を探索する。 探索範囲を決めて行う探索方法を採用した場合、探索範囲は配置物が１時刻の間に移動し得る画像上の距離を半径とする円内に設定することができる。

背景フロー選定部４１１は入力フロー検出部４１０により検出された入力フローと一致する背景フローを選定する。

ここで、入力フローの検出とは独立して背景フローの検出を別途行い、それにより得られた背景フローと入力フローとの一致判定を行なうこともできるが、その場合は背景フローを検出するために処理量の多い特徴点抽出処理及び最類似点探索処理を行わなくてはならない。

そこで、配置変化検知のために検出すべき背景フローは入力フローに包含されること、並びに背景フロー及び入力フローの元データのうち現画像は共通であることに着目して、本実施形態の背景フロー選定部４１１では選定方法を工夫し処理負荷の軽減を図っている。 具体的には、背景フロー選定部４１１は、各入力フローの始端の位置での直前画像３１の画像特徴と、当該位置での背景画像３０の画像特徴とが一致するか否かを判定し、一致すると判定された入力フローに相当する動きベクトルを背景フローと定める。 すなわち、入力フローの始端・終端に基づいて背景フローの始端・終端を定義する。 なお、直前画像３１と背景画像３０との間には照明変動やノイズによる微小変化が生じ得ることを考慮して始端の微小なずれ（例えば１画素分）は許容して一致判定を行なう。

図３は背景フロー検出部４１の処理を説明する模式図であり、背景画像２００、直前画像２１０及び現画像２２０の具体例に基づいて背景フローの検出処理を示している。

背景画像２００には配置物として椅子２０１（像２０１ａ）が存在し、また、当該背景画像２００は誤検出の原因となり得る背景物２０２（像２０２ａ）を含んでいる。

直前画像２１０及び現画像２２０には、椅子２０１及び背景物２０２に加えて、人２０３が写っている。 当該人２０３には背景物２０２に類似する色を有した部分が存在する。 直前画像２１０では、まだ配置変化は生じておらず、椅子２０１（像２０１ｂ）の位置は背景画像２００と同一であり、人２０３（像２０３ｂ）は椅子２０１にまだ接していない。 一方、現画像２２０は人２０３（像２０３ｃ）が椅子２０１に接した状態であり、椅子２０１（像２０１ｃ）が配置変化を開始している。 背景物２０２（像２０２ｃ）は元の位置に留まっている。

模式的な画像２３０，２４０ではそれぞれ背景フロー、入力フローを矢印で示している。 また、画像２３０，２４０には、変化領域を併せて示している。 具体的には、変化領域として、現画像２２０から椅子２０１と人２０３とが一体化した変化領域２３１が抽出され、背景画像２００から椅子２０１のゴースト２３２が抽出されている。 また直前画像２１０からは人２０３の変化領域２３３が抽出されている。

画像２３０に示される背景フローには、椅子２０１の動きによる背景フロー２３４の他に、椅子２０１と人２０３との間に誤った背景フロー２３５が検出され、背景物２０２と人２０３との間に誤った背景フロー２３６が検出されている。

画像２４０に示される入力フローでは、椅子２０１の動きによる入力フロー２４１と人２０３の動きによる入力フロー２４２とが検出される。 ここで、椅子２０１と人２０３との類似度合いよりも人２０３同士の類似度合いの方が高いために、誤った背景フロー２３５に対応する入力フローは検出されない。 また、背景物２０２と人２０３との類似度合いよりも人２０３同士の類似度合いの方が高いために、誤った背景フロー２３６に対応する入力フローも検出されない。

ちなみに、椅子２０１の入力フロー２４１と人２０３の入力フロー２４２とは、互いに近い位置でほぼ同じ向き及び大きさで検出される。 そのため、配置物の入力フローを人の入力フローと識別するのは困難である。 よって、入力フローのみから配置変化を検知するのは困難である。

模式的な画像２５０は、画像２３０に示す背景フローのうち画像２４０に示す入力フローと一致するものを示しており、当該背景フローが背景フロー検出部４１により検出される。 つまり、画像２３０に示す背景フローのうち椅子２０１の動きによる背景フロー２３４が、画像２４０に示す椅子２０１の動きによる入力フロー２４１と共通し、これが背景フロー２５１として選定される。 一方、画像２３０に示す誤った背景フロー２３５，２３６は画像２４０の入力フローと共通しないので除外される。

なお、上述したように背景フローと入力フローとを別々に生成して、それらの共通するものを背景フローとして選ぶ構成とすることもできるが、本実施形態の背景フロー選定部４１１は入力フローのうち、始端が背景画像２００の同一位置と同じ画像特徴を有するものを背景フローとして選定する構成として、背景フロー検出に伴う処理負荷の軽減を図っている。 当該構成では背景フロー２３４を求める処理負荷が軽減されると共に、入力フローには生じない動きベクトルである誤った背景フロー２３５，２３６を検出する無駄が省かれる。

また、ここでは背景物２０２は位置や輝度を変えず変化領域を生じないとしているので、背景フローと入力フローとを別々に生成して共通するものを背景フローとする構成においても、注目点又は最類似点の探索範囲を変化領域に限定する上述の処理とすれば、誤った背景フロー２３６の検出は防止できる。

配置変化検知部４２は、予め設定した基準以上の背景フローが背景フロー検出部４１により検出されたときに配置物が移動開始した、つまり配置変化が生じたと判定する。 この判定は疎背景フローを用いて各時刻において行われる。 一方、基準以上の背景フローが検出されないときは配置変化が生じていないと判定する。

配置変化検知の判定基準として例えば、下記（１）〜（４）のいずれかを用いることができる。 なお、これら基準は後のものほど信頼性が高くなる。
（１）移動量、すなわち動きベクトルの大きさが動き検出しきい値Ｔｓ以上の背景フローが検出されたこと。 ここでＴｓは微小な照明変動により検出される誤差程度の背景フローを除外するための値であり、例えば２，３画素相当の大きさとすることができる。
（２）移動量がＴｓ以上で同一方向の背景フローが複数検出されたこと。
（３）移動量がＴｓ以上の背景フローが所定数Ｔｎ以上検出されたこと。 ここでＴｎは理想的には配置物に設定される注目点の総数であるが、オクルージョン発生時でも配置変化を検知可能なように、当該総数の一定割合とすることができる。 また、当該総数として実験結果等に基づいて予め見積もった想定値を用いることができる。 また、一定割合は３割程度とすることができる。 実験ではＴｎを１０に設定して配置変化の精度よい検知が可能であった。
（４）同一変化領域から移動量がＴｓ以上で同一方向の背景フローが所定数Ｔｎ以上検出されたこと。

配置変化検知部４２は、配置変化の発生を検知する機能以外の機能をも備えており、具体的には、人と配置物とが一体化している変化領域から配置物の領域を検出する機能を有する配置物領域検出部４２０、変化領域の中からゴーストを検出する機能を有するゴースト検出部４２１、及び検知した配置変化の経過を追跡する機能を有する配置物追跡部４２２が設けられている。

配置物領域検出部４２０は画素ごとの背景フロー又は入力フローに基づいて配置物の領域を特定する。 画素ごとの背景フロー又は入力フローは背景フロー検出部４１により検出され、配置変化検知部４２での処理に供される。 つまり、背景フロー検出部４１は配置変化の検知のために、各時刻にて、上述した画像の特徴点を注目点とした入力フロー及び背景フローの検出処理を行う他、配置変化検知部４２により配置物の移動開始が検知されると、各画素を注目点に設定した入力フロー及び背景フローの検出処理を行う。 この画素ごとに検出される動きベクトルは特徴点ごとに検出されるものより空間的な密度が高い。 そこで、配置変化検知部４２での処理に供される背景フロー及び入力フローを密背景フロー、密入力フローと呼ぶことにする。 これに対して配置変化の発生検知に供される背景フロー及び入力フローは相対的に低密度であり、疎背景フロー、疎入力フローと呼べる。 このように配置変化が検知されたときだけ動きベクトルを密に求め、配置変化が検知されていない時刻においては動きベクトルを疎に求めるだけとすることにより、動きベクトル検出処理の負荷が軽減される。

配置物領域検出部４２０は、配置物の移動開始が検知されたとき、背景フローの現画像側の対応点、つまり終端の位置に基づいて、配置物の移動先領域である配置物領域を検出する。 本実施形態ではこの処理に上述の密な背景フローを用いるので、その終端の画素の集合が配置物領域に相当する。 つまり配置物領域検出部４２０は現画像と背景画像との間での変化領域内にて検出される密背景フローの終端の集まりを現時刻の配置物領域として検出する。 そして、検出した配置物領域に新しい識別番号と、配置物状態として「追跡中」の属性とを付与して配置物情報３２に登録する。

また、配置物領域検出部４２０は配置物を追跡中のとき、背景フロー検出部４１から得られる密入力フローのうち直前画像にて検出されている配置物領域内に始端があるものを抽出し、この抽出した入力フローについて現画像における変化領域内にて検出される終端の集合を現時刻の配置物領域として検出する。 なお、その際、停止中の配置物の領域も検出するためにゼロベクトルの入力フローも検出に用いる。

ゴースト検出部４２１は現画像と背景画像との間における変化領域のうち、背景フローの背景画像側の対応点を含む部分をゴースト領域と定める。 つまり、背景フローの始端が検出された変化領域をゴーストとして検出する。 このとき、ゴースト検出部４２１は背景フロー検出部４１にて検出された背景フローの始端と終端とが単一の変化領域内にあるか否かを調べて処理を分けることで、ゴーストの領域を効率よく検出する。

背景フローの始端及び終端が同一変化領域にある場合は、配置物領域或いは人物領域とゴーストとが一体化している状態である。 この場合、ゴースト検出部４２１は背景フロー検出部４１から当該変化領域中の各画素を始端に設定した密な背景フローを得て、その終端が当該変化領域内に検出された背景フローの始端の集まりをゴーストとして検出する。

一方、背景フローの始端及び終端が異なる変化領域に分離して存在する場合は、配置物領域或いは人物領域とゴーストとが分離している状態である。 この場合、ゴースト検出部４２１は背景フロー検出部４１にて検出された背景フローの始端が検出された変化領域をゴーストとして検出する。 なお、この場合には、背景フローは複数の変化領域のいずれがゴースト領域であるかを特定するために用いられ、ゴースト領域の形状を特定できる密背景フローである必要はなく、疎背景フローで足りる。

配置物追跡部４２２は直前画像から検出された配置物領域と現画像から検出された配置物領域とが入力フローで結ばれていれば同一配置物として対応付ける。 両画像の一方又は双方にて配置物領域が複数検出されている場合には、両画像間での配置物領域の組み合わせごとに対応付けを判定する。 なお、停止中の配置物についても対応付けるためにゼロベクトルの入力フローも対応付けに用いる。

また、配置物追跡部４２２は、同一配置物を含む変化領域同士で位置・形状を比較し、ほぼ同一の位置・形状のときに当該配置物が視野内にて移動完了したと判定する。 この場合には、配置物情報３２の配置物状態として「視野内にて移動完了」の属性が付与され、その配置物は追跡対象から外れる。 同一の位置・形状か否かは例えば、両変化領域の重複度に基づいて判定でき、当該重複度をしきい値処理し、重複度が高い場合を同一位置・形状とすることができる。

一方、直前画像から検出された配置物領域と対応付く配置物領域が現画像から検出されない場合は、配置物追跡部４２２は当該配置物が視野外へ移動完了したと判定する。 この場合には、配置物状態として「視野外に移動完了」の属性が付与され、追跡対象から外れる。 なお、この場合には、持ち出しの旨を表す異常信号を出力部５に出力してもよい。

背景画像生成部４３は、画像監視装置１の起動時等の初期化処理として、無人時の入力画像を背景画像３０として登録する。 また背景画像生成部４３は画像監視装置１の動作中にて、入力画像を用いて適宜、背景画像３０を更新する背景画像更新部として機能する。 具体的には、現画像と背景画像３０との間の変化領域以外の領域について、背景画像３０を現画像で置換したり、背景画像３０と現画像とを加重平均して更新したりすることができる。

さらに、背景画像更新部として背景画像生成部４３は、背景画像３０における配置物領域のうち現画像では配置物が不在となっているゴースト領域を現画像により更新する。 具体的には、配置物の移動完了が検知されたときに、背景画像３０における配置物領域を現画像で置換して更新する。 これにより移動完了した後、当該配置物領域を変化領域として抽出されなくすることができる。 また、ゴースト領域が現画像における配置物領域及び人物領域から分離したことが検知された時点で、背景画像３０におけるゴースト領域を現画像で置換して更新し、それ以降、当該領域が変化領域として抽出されないようにできる。

なお、上述の配置物領域に関する背景画像３０の更新処理では、背景画像３０に配置物の像が含まれなくなり得るが、一旦、配置変化が検知されれば配置物の像は背景から弁別され、その位置・形状が把握されるので、その情報を用いて以降の配置変化の検知や配置物領域の検出等の処理を続行することができる。 一方、移動先の配置物の像を背景画像３０に含める更新を行ってもよく、この場合には初期化処理後と同様にして配置変化の検知や配置物領域の検出等の処理が継続される。

マスク画像生成部４４は入力画像に写る人のプライバシー保護を目的として、現画像のうち配置物領域及びゴーストを除いた変化領域（加工対象領域）をマスク処理（フィルタ処理を含む）する加工を施した画像（マスク画像）を生成して出力部５へ出力する。

マスク画像生成部４４は配置物領域及びゴーストを除いた変化領域を加工対象領域とするので、監視員は加工後の画像にて人の形状を視認でき、また配置物の様子も視認できる。 よって、当該加工画像のみで状況を把握でき、プライバシー保護と監視性とを両立できる。

出力部５は異常信号に応じて警告音を出力するスピーカー又はブザー等の音響出力手段、プライバシー加工された合成画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなる。

［画像監視装置１の動作］
図４は画像監視装置１の概略の動作を示すフロー図である。

画像監視装置１は監視空間に人がいない状態にて起動され、撮像部２が所定時間おきに監視空間を撮像する動作を開始する。 背景画像生成部４３は予め設定した初期化期間に撮像される入力画像から人が写っていない画像を取得又は生成して、当該画像で記憶部３の背景画像３０を初期化する（Ｓ１）。 例えば、背景画像生成部４３は、初期化期間の複数時刻の入力画像を平均処理して背景画像３０を生成する。

初期化期間経過後、制御部４は撮像部２から取得する入力画像を用いた監視動作を開始する。 制御部４は入力画像（以下、現画像）を順次入力され（Ｓ２）、当該画像を入力されるたびにステップＳ２〜Ｓ１６の処理を繰り返す。

変化領域抽出部４０は現画像を背景画像３０と比較して変化領域を抽出する（Ｓ３）。 制御部４は変化領域が抽出されたか否かを判定し（Ｓ４）、変化領域が抽出されなければ（Ｓ４にて「ＮＯ」の場合）、制御部４はステップＳ５〜Ｓ１４を省略してステップＳ１５，Ｓ１６の処理を行う。 この場合、背景画像生成部４３は背景画像３０全体を現画像と加重平均することにより更新し、制御部４は現画像そのままを出力部５へ出力し、出力部５は現画像そのままを表示する。

一方、変化領域が抽出された場合（Ｓ４にて「ＹＥＳ」の場合）、制御部４は処理をステップＳ５へ進め、背景フロー検出部４１が背景フローを検出する処理を行う（Ｓ５）。

以下、図５のフローチャートに基づいて背景フロー検出処理を説明する。 背景フロー検出部４１の入力フロー検出部４１０は直前画像３１からブロッブを抽出する（Ｓ１００）。 そして、抽出したブロッブの座標を、領域情報３３として記憶されている直前時刻の変化領域及びステップＳ３で抽出された現時刻の変化領域と比較し、いずれかの変化領域内であるブロッブの座標を注目点に設定する（Ｓ１０１）。

入力フロー検出部４１０は現画像において注目点の最類似点を探索し（Ｓ１０３）、注目点を始端とし最類似点を終端とするベクトルを入力フローとして検出する（Ｓ１０４）。 なお、入力フローとしてゼロベクトルも検出しておく。 また、ステップＳ１０３にて類似度が閾値以下の最類似点しか見つからない場合は、当該注目点に対応する入力フローは検出されないとすることができる。

背景フロー選定部４１１は入力フローと一致する背景フローを選定する。 具体的には、ステップＳ１０４にて検出された各入力フローの始端座標を中心に所定のずれ許容範囲を設定し（Ｓ１０５）、当該ずれ許容範囲にて背景画像３０にて直前画像３１の注目点との一致点の検出を試みる（Ｓ１０６）。 ずれ許容範囲は例えば、３×３画素に設定することができ、これにより１画素内のずれが許容されることになる。

背景フロー選定部４１１はステップＳ１０６にて背景画像に一致点が検出された場合、当該一致点を始端とし対応する最類似点を終端とするベクトルを背景フローとして検出する（Ｓ１０７）。 一方、注目点がずれ許容範囲内の背景画像に一致しない場合は、当該注目点を始点とする入力フローに対応する背景フローは選定されない。

上述の背景フロー検出処理Ｓ５により背景フローが検出されると、制御部４は配置変化検知部４２により図４の配置変化検知処理Ｓ６を行う。 図６は配置変化検知処理Ｓ６の概略のフロー図であり、以下、図６に基づいて配置変化検知処理を説明する。 ここでは上述した配置変化検知の判定基準（４）を用いた処理を説明する。

配置変化検知部４２はステップＳ５にて検出された背景フローそれぞれの大きさを動き検出しきい値Ｔｓと比較し、大きさがＴｓ以上の背景フローを選出する（Ｓ２００）。 そして、選出した各背景フローの始端座標をステップＳ３にて抽出された変化領域と比較し当該始端座標を含む変化領域を特定することで、変化領域ごとに背景フローをグルーピングする（Ｓ２０１）。 さらに、各グループにおいて各背景フローの方向（傾き）を算出し、傾きが同一方向と見なせる背景フローの数を計数する（Ｓ２０２）。 方向が同一であることは例えば、背景フローの傾きの差が所定のしきい値Ｔｋ未満であることに基づいて判定できる。 また、変化領域ごとの背景フローのグループについて傾きの分布を統計処理して統計学上有意な分散値以下のものを同一方向の背景フローとしてもよい。

配置変化検知部４２はステップＳ２０２にて求めた計数値をしきい値Ｔｎと比較する（Ｓ２０３）。 計数値がＴｎ以上のグループがあれば（Ｓ２０３にて「ＹＥＳ」の場合）、当該グループを構成する背景フローの始端側に抽出された変化領域を移動開始した配置物の移動元に設定し（Ｓ２０４）、終端側に抽出された変化領域を移動開始した配置物の移動先に設定する（Ｓ２０５）。 なお、該当するグループがなければ（Ｓ２０３にて「ＮＯ」の場合）、配置物の移動開始により生じた変化領域はないと判定する。

制御部４は上述の配置変化検知処理Ｓ６の後、図４に示す処理をステップＳ７から継続する。 配置変化検知部４２はステップＳ６にて新たな配置物の移動が検知された、又は追跡中の配置物（前時刻までに移動が検知されて追跡終了していない配置物）がある場合は配置変化中であると判定する（Ｓ７にて「ＹＥＳ」の場合）。

ここで、配置変化中であれば（Ｓ７にて「ＮＯ」の場合）、制御部４はステップＳ８〜Ｓ１３を省略してステップＳ１４〜Ｓ１６の処理を行う。 この場合、全ての変化領域は人物領域として処理される。 すなわち、マスク画像生成部４４は全ての変化領域をマスク処理し、背景画像生成部４３は変化領域以外の背景画像３０を現画像と加重平均することにより更新し、制御部４はマスク処理された画像を出力部５へ出力し、出力部５はマスク処理された画像を表示する。

ステップＳ７にて配置変化中と判定された場合は、配置物追跡部４２２が追跡中の配置物があるか否かを調べ（Ｓ８）、追跡中の配置物がある場合は（Ｓ８にて「ＹＥＳ」の場合）、当該配置物を追跡して現在位置に対応する変化領域を検出する（Ｓ９）。 一方、追跡中の配置物がない場合は（Ｓ８にて「ＮＯ」の場合）、ステップＳ９の処理は省略される。 なお、ステップＳ６にて移動開始が検知された配置物は次時刻以降に追跡中となり、現時刻においては追跡処理Ｓ９の対象とはされない。

背景フロー検出部４１は、現時刻において移動開始が検知された配置物については、ステップＳ２０４にて当該配置物の移動元に設定された変化領域における背景画像３０の各画素を注目点に設定する。 そして、当該注目点の最類似点を、ステップＳ２０５にて移動先に設定された変化領域における現画像から検出し（密背景フローの検出）、配置物領域検出部４２０は検出した最類似点の集まりを現時刻の配置物領域として検出する（Ｓ１０）。 一方、背景フロー検出部４１は追跡中の配置物については、当該配置物の配置物情報３２から直前時刻の配置物領域を読み出し、当該領域における直前画像３１の各画素を注目点に設定する。 そして、当該注目点の最類似点を、ステップＳ９にて当該配置物として対応付けられた変化領域における現画像から検出し（密入力フローの検出）、配置物領域検出部４２０は検出した最類似点の集まりを現時刻の配置物領域として検出する（Ｓ１０）。

配置変化検知部４２は現画像における配置物の変化領域について人の変化領域やゴーストとの分離・混合を判定する（Ｓ１１）。 現時刻において移動開始が検知された配置物について、配置変化検知部４２はステップＳ２０４で設定した移動元の変化領域とステップＳ２０５で設定した移動先の変化領域とが同一か異なるかを確認し、その結果に基づいて分離・混合判定を行う。

図７は移動元の変化領域と移動先の変化領域とが同一の場合及び異なる場合の例を示す模式的な画像である。 図７（ａ）は移動元領域５００と移動先領域５０１ａとが同一変化領域の場合を示しており、移動開始が検知された配置物の移動量が小さく現画像における人及び配置物（移動先領域５０１ａ）とゴースト（移動元領域５００）とが一体化した変化領域が抽出されている。 配置変化検知部４２は、この場合の配置物の変化領域を「人との混合領域」かつ「ゴーストとの混合領域」と判定する。

一方、図７（ｂ）は移動元領域５００と移動先領域５０１ｂとが異なる変化領域である場合を示しており、現画像における人及び配置物（移動先領域５０１ｂ）とゴースト（移動元領域５００）とが分離した変化領域として抽出されている。 配置変化検知部４２はこの場合の配置物の変化領域を「人との混合領域」かつ「ゴーストとの分離領域」と判定する。

また、追跡中の配置物については、配置変化検知部４２はステップＳ９で対応付けられた直前時刻の変化領域と現時刻の変化領域との形状が一致するか否かを確認し、その結果に基づいて分離・混合判定を行う。

図８は配置物の追跡中に撮像された連続３時刻の入力画像、及び当該画像から抽出された変化領域の例の模式図であり、同図（ａ）〜（ｃ）の順に時刻が進み、また同図（ａ）〜（ｃ）それぞれにおいて左側が入力画像、右側が変化領域を示す画像である。 配置物に対応付けられた変化領域の形状が直前時刻と現時刻とで一致しない場合は、例えば、図８（ａ）に示す人と配置物とが一体の状態から図８（ｂ）に示す人と配置物とが分離した状態に移行した直後である。 この場合、配置変化検知部４２は即座に分離を判定せず、当該配置物の変化領域についての判定を「人との混合領域」のまま維持する。 一方、配置物に対応付けられた変化領域の形状が直前時刻と現時刻とで一致する場合は、例えば、図８（ｂ）に示す状態から図８（ｃ）に示す状態に移行した場合のように直前時刻及び現時刻のいずれにおいても人と配置物とが分離した状態であり、安定的な分離状態といえる。 この場合は、配置変化検知部４２は当該配置物に対応付けられた変化領域について「人との分離領域」と判定する。

ゴースト検出部４２１は、現時刻において移動開始が検知された配置物、及び追跡中であってゴーストの分離が判定されていない配置物を対象にして、上述したゴースト領域を検出する処理を行う（Ｓ１２）。 ゴースト検出部４２１は、現時刻において配置物の移動開始が検知されたのであれば、ステップＳ１０で検出した密背景フローを参照してその注目点の集まりをゴーストとして検出する。

配置変化検知部４２は、ステップＳ７にて配置変化中と判定された場合に上述のステップＳ８〜Ｓ１２の処理を行い、その結果に基づいて配置物情報３２及び領域情報３３を更新する（Ｓ１３）。 具体的には、ステップＳ１０にて、現時刻において新たに検出した配置物領域を、新しい識別番号及び追跡中の属性と共に配置物情報３２に登録する。 また、追跡中の配置物の配置物情報３２における配置物領域の情報を、現時刻において検出した当該配置物の配置物領域で更新する。 Ｓ９において視野外への移動完了が検出された配置物については配置物情報３２の配置物状態を「視野外に移動完了」という属性に変更する。 また、該当する配置物の配置物情報３２の分離・混合情報をステップＳ１２の分離・混合判定結果で更新すると共に、ステップＳ１２にて「人との分離領域」が判定された配置物の属性を「視野内にて移動完了」に変更する。

以上の処理により変化領域における配置物領域及びゴーストが検出されると、マスク画像生成部４４は変化領域から配置物領域及びゴーストを除外して加工対象領域を生成する。 続いて加工対象領域と同形状である単色画像と、加工対象領域の背景画像３０とを透過合成して合成画像を生成し、現画像における加工対象領域を当該合成画像で置換してマスク画像を生成する（Ｓ１４）。 なお、配置物領域が検出されていない場合は配置物領域を除外する処理は省略される。 また、ゴーストが検出されていない場合はゴーストを除外する処理は省略される。

変化領域が抽出された現画像についてマスク画像の生成まで完了すると、背景画像生成部４３は変化領域から、分離が判定されたゴースト及び移動完了が検知された配置物の配置物領域を除外して更新対象領域を算出し、背景画像３０の更新対象領域の部分を当該更新対象領域における現画像で置換する（Ｓ１５）。 なお、移動完了が検知された配置物がない場合は配置物領域を除外する処理は省略される。 また、分離が判定されたゴーストがない場合はゴーストを除外する処理は省略される。

また、背景画像生成部４３は変化領域以外の背景画像３０を現画像と加重平均することにより更新する。

制御部４はマスク画像生成部４４にてマスク画像が生成されたときは、マスク画像を出力部５へ出力し、マスク画像が生成されなかったときは現画像を出力部５へ出力する。 出力部５は制御部４から入力された画像をモニタに表示する（Ｓ１６）。

現画像について以上の処理Ｓ２〜Ｓ１６を終えると、制御部４は、現画像で直前画像３１を置換するとともに、ステップＳ３で抽出された変化領域の情報で領域情報３３を置換して、処理をステップＳ２に戻す。

［変形例］
以上、本願発明の実施形態を説明したが、当該実施形態を改変して本願発明の他の実施形態とすることもできる。 以下、その例について説明する。

〈注目点の設定〉
疎背景フローを検出するための注目点は基準画像上に一定間隔おきに設定してもよい。 例えば、格子状に注目点を設定することができる。 この場合、設定間隔は想定される配置物の幅・高さよりも十分に短く設定して配置物の領域に確実に複数の注目点が設定されるようにする。 当該設定方法は、特徴点を用いる場合と比較して最類似点の誤検出は増加するものの処理量が少ない点で優れる。 なお、この場合、入力フロー検出も共通の注目点を設定して行なう。

〈背景フロー選定〉
既に述べたように、背景フロー検出部４１において、背景フローと入力フローとをそれぞれ別個に検出してもよい。 この場合、背景フロー選定部４１１は、各背景フローと各入力フローの組み合わせに対して一致度を算出し、一致度が一致判定しきい値以下の背景フローを選出する。 一致度は始端同士の距離及び終端同士の距離とすることができ、これらの距離がともに照明変動やノイズによる微小変化とみなせる距離（例えば１画素分）であれば一致と判定される。

また、背景フローを入力フローと別個に検出する場合、基準画像を背景画像３０とし比較画像を現画像とすることもできる。 すなわち、背景画像３０上に注目点を設定して現画像上で最類似点を探索することで背景フローを検出する。 この場合、背景画像３０には人が含まれないため、人によるオクルージョンの影響を受けずに配置物に注目点が設定できる。 よって、人の出入りが多い監視空間で有効である。

また、背景フロー検出部４１は上記実施形態における入力フローとの一致により背景フローを選定する構成に変えて、背景画像３０と現画像との間の特徴点の対応付けで検出した一群の動きベクトルのうち互いに向きが一致するものが所定数以上存在するもの（つまり、前記動きベクトルのうち互いに同一と見なせる方向のものからなるグループであってそれに属するベクトルの数が所定数以上であるもの）を配置物に対応した背景フローとして検出する構成とすることもできる。 これによっても図３の背景フロー２３５，２３６のような誤検出は排除できる。 また入力フロー検出部４１０を省略できる。 また、この方法においても、基準画像を現画像とし比較画像を背景画像３０としてもよいし、基準画像を背景画像３０とし比較画像を現画像としてもよい。

〈特徴点〉
特徴点として、ブロッブに代えて、像の輪郭のコーナー（corner）またはサブピクセルコーナー（subpixel corner）を抽出することもできる。

〈追跡特徴量〉
配置変化検知部４２は現画像の配置物領域（移動先領域）または背景画像のゴースト部分（移動元領域）を配置物のテンプレートとして配置物情報３２に記録し、配置物追跡部４２２にて当該テンプレートを用いたマッチング処理により入力画像における配置物の移動先領域を検出し、配置物の追跡を行うようにすることができる。

さらに、移動完了となった配置物情報３２を登録抹消せずにテンプレートを保持しておき、次回の配置変化検知時の追跡に利用することもできる。

〈追跡対象〉
人物追跡に配置変化の検知結果を利用することが可能である。 例えば、配置物領域以外の変化領域を人物領域として追跡することができる。 また、配置物を含むことが判定された変化領域を人と配置物との分離が検出されるまでの間、当該変化領域の特徴量（人と配置物が混在した特徴量）により追跡し、この間、人物単独の特徴量は退避しておき、分離が検出されれば人物単独の特徴量による追跡に切り換えるという手法もある。

１ 画像監視装置、２ 撮像部、３ 記憶部、４ 制御部、５ 出力部、３０ 背景画像、３１ 直前画像、３２ 配置物情報、３３ 領域情報、４０ 変化領域抽出部、４１ 背景フロー検出部、４２ 配置変化検知部、４３ 背景画像生成部、４４ マスク画像生成部、４１０ 入力フロー検出部、４１１ 背景フロー選定部、４２０ 配置物領域検出部、４２１ ゴースト検出部、４２２ 配置物追跡部。