【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は単眼カメラで撮影した時系列画像（動画像）から３次元の運動を推定する方法に関する。

【０００２】

【従来の技術】物体の３次元運動とは、３次元空間における物体の回転と平行移動の組み合わせによって生じる動きのことであり、物体の３次元運動の推定とは、物体の回転量と移動量を検出することである。 この物体の３
次元運動を推定する方法として特開平２−３８８０４号公報と特開平５−１２０４２８号公報がある。 前者の公報のものは事前に作成された３次元対象物の各特徴点の位置関係を示すモデルデータを移動・回転させながら、
各位置・各回転角で観測される各特徴点の２次元座標値を求め、この２次元座標値と、単眼カメラで観測された対象物の各特徴点の２次元座標値とを最小二乗法によって比較するようにしている。 この比較は両者の差が最終的に収束したときのモデルデータの位置・回転量が求める対象物体の計測値として出力される。

【０００３】後者の公報のものは画像入力手段により得られた動画像に空間フィルタ処理により２種類のフィルタ処理を施し、得られた各出力に微分処理手段で時間微分及び空間微分を施し、得られた各出力を用いて速度算出手段で各出力に含まれる座標Ｚ成分を消去し、物体の３次元運動パラメータとして並進速度及び回転速度を算出するようにしたものである。

【０００４】

【発明が解決しようとする課題】上述した従来の３次元運動の推定方法として掲げた公報では、画像中に運動する物体が１つしかない場合には適用可能であるが、画像中に複数の運動する物体が存在する場合には３次元運動の推定ができなかった。

【０００５】この発明は上記の事情に鑑みてなされたもので、画像中に複数の運動する物体が存在する場合でもそれぞれの物体について３次元運動を推定することができる物体の３次元運動推定方法を提供することを目的とする。

【０００６】

【課題を解決するための手段および作用】この発明は、
上記の目的を達成するために、第１発明は画像入力装置から時系列画像を取り込んだ後、オプティカルフローを算出し、その後、算出されたオプティカルフローのセグメンテーションを行って各物体の運動を推定することを特徴とするものである。

【０００７】第２発明はオプティカルフローのセグメンテーションをジェネティックアルゴリズムを用いて処理することを特徴とするものである。

【０００８】第３発明はジェネティックアルゴリズを用いてオプティカルフローを選択することを特徴とするものである。

【０００９】

【実施例】以下この発明の一実施例を図面に基づいて説明する。 図１はこの発明の一実施例を示すフローチャートで、ステップＳ１は画像入力装置であるカメラから複数の時系列画像を取り込む工程で、この工程で取り込んだ時系列画像はステップＳ２のオプティカルフロー算出工程に入力される。 ここで、オプティカルフローとは、
動きベクトル場、すなわち動きベクトルの集合のことである。 ステップＳ２のオプティカルフロー算出工程に入力された時系列画像は画像中に複数の動きの異なる物体が存在する場合、それぞれの物体の動きを推定するために、ステップＳ３のオプティカルフローのセグメンテーション工程に入力される。 このステップＳ３の工程は動きベクトルがどの物体の運動によって生じたのかにより分けるために必要である。 すなわち、オプティカルフローのセグメンテーションとは、動きベクトルを分けることを言う。

【００１０】ステップＳ３の工程で動きベクトルを分けることができれば、その後は、各々のセグメントに基づいて画像中に１つの物体しかない時と同様にして各物体の運動をステップＳ４の工程で推定する。 この実施例では、後述のようにパラメータｂ _ijを固定して、残りのθ
_j ，φ _jをＧＡ（ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ
ｓ）を用いて推定する。

【００１１】次に図２の座標系を用いて実施例の作用を述べる。 図２において、画面上にＮ個の運動する剛体物体が存在し、これらの物体の運動によって生じるＭ個の動きベクトルｄ _i （ベクトルを示す矢印は省略する。以下同様とする）が得られているものと仮定する。 Ω _xj ，
Ω _yj ，Ω _zj ，Ｔ _xj ，Ｔ _yj ，Ｔ _zj （１≦ｊ≦Ｎ）をそれぞれ物体Ｏ _jのｘ軸、ｙ軸、ｚ軸まわりの回転量、ｘ軸、
ｙ軸、ｚ軸方向の移動量、ｆをカメラの焦点距離とする。 また、特徴点Ｐ _i （１≦ｉ≦Ｍ）（ここで、特徴点は動きベクトルが求められている点を言う）の時刻ｔにおける３次元座標をｑ _i （ｔ）（ｘ _i （ｔ），ｙ
_i （ｔ），ｚ _i （ｔ））、投影面上での座標をＱ _i （ｔ）
（Ｘ _i （ｔ），Ｙ _i （ｔ））とすると、ｑ _iとＱ _iの間には次の１式の関係が成立する。

【００１２】

【数１】

【００１３】特徴点Ｐ _iが物体Ｏ _j上にあり、回転量が少ないとき、３次元座標系での時刻ｔにおける特徴点のｑ
_i （ｔ）と時刻（ｔ＋１）における同じ特徴点の座標ｑ _i
（ｔ＋１）の間につぎの２式の近似式が成立する。

【００１４】

【数２】

【００１５】特徴点Ｐ _iの投影面上での動きベクトルｄ _i
＝（α _i ，β _i ）は、特徴点Ｐ _iが物体Ｏ _j上にある時、次の３式から６式に示すように物体Ｏ _jの回転から生じる成分（α _Rij ，β _Rij ）と移動から生じる成分（α _Tij ，
β _Tij ）に分離できる。

【００１６】

【数３】

【００１７】すなわち、上記３式から６式は投影面上での動きベクトルを物体の移動から生じる成分と回転から生じる成分に分離する式である。 上記３式から６式を用いて誤差関数Ｅを次の７式のように定義する。

【００１８】

【数４】

【００１９】７式は誤差関数で、この式が最小値を採るようなパラメータの値を探索する。 ただし、ｂ _ijは特徴点Ｐ _iがどの物体上にあるかを表すパラメータで、特徴点Ｐ _iが物体Ｏ _j上にある場合に「１」を、それ以外の場合には「０」の値をとるものとする。 オプティカルフローのセグメンテーションと複数物体の３次元運動の推定は、オプティカルフローから誤差関数Ｅを最小にするパラメータを探索する問題と捉える。

【００２０】オプティカルフローの情報からだけでは物体の絶対的な移動量、特徴点Ｐ _iの絶対的奥行き情報を得ることができない。 しかし、物体の移動する方向、特徴点Ｐ _iの相対的奥行き情報は推定可能である。 そこで、物体Ｏ _jの移動方向ベクトル（Ｕ _xj ，Ｕ _yj ，
Ｕ _zj ），特徴点Ｐ _iの相対的奥行き情報ｄ _ijを各々次の８、９式のように定める。 ８、９式は計算上用いるため設定したパラメータの関係式である。

【００２１】 （Ｕ _xj ，Ｕ _yj ，Ｕ _zj ）＝（Ｔ _xj ，Ｔ _yj ，Ｔ _zj ）／ｒ _j ……（８） ｄ _ij ＝ｒ _j ／ｚ _ij ……（９） ただし、ｒ _jは物体Ｏ _jの移動の大きさである。 ８、９式を７式に代入すると次式が得られる。

【００２２】

【数５】

【００２３】ただし、パラメータα _Uij ，β _Uijは１１、
１２式に示す。

【００２４】 α _Uij ＝Ｕ _xj ｆ−Ｕ _zj Ｘ _i （ｔ＋１） ……（１１） β _Uij ＝Ｕ _yj ｆ−Ｕ _zj Ｙ _i （ｔ＋１） ……（１２） パラメータｂ _ijが「１」のとき、１０式を最小にするパラメータｄ _ijは、ｄ _ijで１０式の偏微分をとり、それを「０」にすることにより１３式のように表すことができる。

【００２５】

【数６】

【００２６】上記１３式は、誤差関数を表す７式を最小にする相対的奥行き情報を他のパラメータで表した式である。 １３式を１０式に代入すると、パラメータｄ _ijが消去でき、次の１４式が得られる。

【００２７】

【数７】

【００２８】ただし、Ｅ _ijは次式である。

【００２９】

【数８】

【００３０】誤差関数Ｅを最小にするΩ _xj ，Ω _yj ，Ω _zj
の値は、ｂ _ij ，Ｕ _xj ，Ｕ _yj ，Ｕ _zjが与えられたとき、１
４式を各々Ω _xj ，Ω _yj ，Ω _zjで偏微分し、それを「０」
にすることによって得られる次の連立方程式１６〜１８
式から求めることができる。

【００３１】

【数９】

【００３２】１６〜１８式は誤差関数を最小にする回転に関するパラメータを、それ以外のパラメータが与えられたときに計算するためのものである。 移動方向ベクトル（Ｕ _xj ，Ｕ _yj ，Ｕ _zj ）の大きさは「１」なので、
Ｕ _xj ，Ｕ _yj ，Ｕ _zjは次式のように表すことができる。

【００３３】 Ｕ _xj ＝ｓｉｎθ _j ｃｏｓφ _j ……（１９） Ｕ _yj ＝ｓｉｎθ _j ｓｉｎφ _j ……（２０） Ｕ _zj ＝ｃｏｓθ _j ……（２１） ２１式は計算時にパラメータを１つ減らすためのパラメータ置き換えのものである。 そして、遺伝子型を｛ｂ _ij ，θ _j ，φ _j ｝と定義する。 ＧＡの適応関数として１４式の誤差関数を用いる。 次に、この発明で用いるＧ
Ａのアルゴリズムを示すと図３のようになる。 図３において、ステップＳ３１で個体を発生したのち、ステップＳ３２で各個体のΩ _xj ，Ω _yj ，Ω _zjを計算する。 計算が終了したなら、ステップＳ３３で各個体の適応度を計算する。 適応度の計算が終了したなら、ステップＳ３４で交差、淘汰、突然変異の処理を行って終了条件が満たされるまでステップＳ３５の処理を繰り返す。

【００３４】上記のように全てのベクトルｄ _iを用いてＧＡでパラメータの推定を行うと、探索空間が大きくなり、処理時間が非常に長くなる。 そこで、処理を高速化するために、ＧＡで用いるベクトルｄ _iをランダムにＳ
個選択することによって数を少なくし、ＧＡでパラメータを推定し、その後、ＧＡで推定されたθ _j ，φ _j ，
Ω _xj ，Ω _yj ，Ω _zjに基づいて全てのｂ _ijの推定もしくは更新を行う。 ただし、１つの物体の運動を推定するには、最低でも８点の動きベクトルが必要なので、Ｓを８
×Ｎより十分大きくとる必要がある。

【００３５】このため、ＧＡでパラメータを推定した後、θ _j ，φ _j ，Ω _xj ，Ω _yj ，Ω _zjの値を固定し、特徴点Ｐ _iが物体Ｏ _j上にあるものと仮定する（ｂ _ij ＝１）。 １
５式のベクトルｄ _iの誤差関数を各ｊについて計算し、
例えばｊ＝ｋのとき、Ｅ _ijが最小になったとき、物体Ｏ
_k上に特徴点Ｐ _iがあると判断し、パラメータｂ _ijを決定する。 なお、ＧＡによるパラメータ推定のみではθ _j ，
φ _jを精度良く求めることができないので、得られたセグメンテーション結果に基づき各セグメント毎にθ _j ，
φ _j ，Ω _xj ，Ω _yj ，Ω _zjの値を推定する。

【００３６】上記の処理の流れを示すと図４のようになる。 図４において、ステップＳ４１はランダムにベクトルｄ _iをＳ個選択する処理で、この処理で選択したベクトルｄ _iを用いてステップＳ４２においてＧＡでパラメータを推定する。 ステップＳ４３ではステップＳ１で選択されなかったベクトルｄ _iも含め、全てのｂ _ijの値を推定もしくは更新し、オプティカルフローのセグメンテーションを行う。 ステップＳ４４ではステップＳ４３で得られたセグメンテーション結果に基づきθ _j ，φ _j ，Ω
_xj ，Ω _yj ，Ω _zjを更新する。

【００３７】図５に示すような物体の運動によって得られた図６のオプティカルフローを用いてシミューレションを行った。 運動する物体の数Ｎ＝２，ベクトルｄ _iの数Ｍ＝１２１、ＧＡで用いるベクトルｄ _iの数Ｓ＝５０
とした結果を図７に示す。 また、そのときの、運動に関するパラメータを表１に示す。

【００３８】

【表１】

【００３９】

【発明の効果】以上述べたように、この発明によれば、
画像中に複数の運動する物体が存在する場合でも、それぞれの各物体について３次元運動を推定することができる利点がある。

【図面の簡単な説明】

【図１】この発明の一実施例を示すフローチャート。

【図２】実施例の動作を述べるための座標系の説明図。

【図３】ＧＡの処理の流れを示すフローチャート。

【図４】処理の高速化と精度の向上を図るためのフローチャート。

【図５】物体の運動を示す説明図。

【図６】オプティカルフローを示す説明図。

【図７】セグメンテーション結果を示す説明図。

【符号の説明】

Ｓ１…カメラから時系列画像を取り込む工程 Ｓ２…オプティカルフロー算出工程 Ｓ３…オプティカルフローのセグメンテーション工程 Ｓ４…各物体の運動推定工程

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. ⁶識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/18 ５５０ Ｃ 9071−5Ｌ Ｇ０６Ｔ 1/00 7/20 9061−5Ｌ Ｇ０６Ｆ 15/70 ４１０