【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き推定装置に関し、特に、減少された計算量で動きベクトルを適応的に決定する動き推定装置に関する。

【０００２】

【従来の技術】テレビ電話、電子会議及び高精細度テレビジョンのようなディジタルテレビジョンシステムにおいて、ビデオフレーム信号におけるビデオライン信号が「画素」と呼ばれる一連のディジタルデータからなっているため、各ビデオフレーム信号を表現するのには大量のディジタルデータが必要である。 しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、そのチャネルを通じて大量のディジタルデータを伝送するためには、とりわけ、テレビ電話及び電子会議のような低ビットレートの映像信号エンコーダの場合、様々なデータ圧縮技法を用いて伝送すべきデータの量を圧縮するか減らさなければならない。

【０００３】低ビットレートの映像信号符号化システムにおいて、映像信号を符号化する方法の１つに、いわゆる物体（オブジェクト）指向分析／合成符号化方法（Ｏ
ｂｊｅｃｔ−Ｏｒｉｅｎｔｅｄ Ａｎａｌｙｓｉｓ−Ｓ
ｙｎｔｈｅｓｉｓ ｃｏｄｉｎｇ ｔｅｃｈｎｉｑｕ
ｅ）がある。 この方法によれば、入力映像信号は複数の物体に分けられ、各物体の動き、輪郭線及び画素データを規定する三つの組よりなるパラメータが異なる符号化チャネルを通じて取り扱われる。

【０００４】そのような物体指向分析／合成符号化方法の一例として、所謂、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐ
ｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ ｐｈａｓｅ
−４）があるが、このＭＰＥＧ−４は、低ビットレート通信、対話型マルチメディア（例えば、ゲーム、対話型テレビ、等々）及び領域監視用機部のような応用分野において内容ベースインタアクティビティ、改善された符号化効率及び／または汎用アクセシビリティを可能とする視聴覚符号化標準案を提供する（例えば、ＭＰＥＧ−
４ Ｖｉｄｅｏ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅ
ｌ Ｖｅｒｓｉｏｎ ７．０，Ｉｎｔｅｒｎａｔｉｏｎ
ａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄ
ａｒｄｉｚａｔｉｏｎ， ＩＳＯ／ＩＥＣ ＪＴＣ１／
ＳＣ２９／ＷＧ１１ ＭＰＥＧ９７／Ｎ１６４２， Ａ
ｐｒｉｌ １９９７、参照）。

【０００５】このＭＰＥＧ−４によれば、入力ビデオ映像は、使用者がアクセス可能で操作できるビットストリーム内のエンティティに相応する、複数のビデオ物体平面（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ；ＶＯＰ）
に分けられる。 ＶＯＰは物体としても定義され、その幅及び高さが各物体を取り囲む１６画素（マクロブロックの大きさ）の最小倍数になる四角形で表され得る。 よって、エンコーダはＶＯＰ単位、即ち、物体単位に入力ビデオ映像を取り扱うことになる。

【０００６】ＭＰＥＧ−４に開示されたＶＯＰは、ＶＯ
Ｐにおける物体に対する形状情報及びテキスチャー情報を有し、物体はＶＯＰ上で、各々が例えば、１６×１６
画素よりなる複数のマクロブロックに表現され、形状情報は２値形状信号によって表示され、テキスチャー情報はルミナンスデータ及びクロミナンスデータよりなる。

【０００７】順序的に入力される２つの入力ビデオ映像に対するテキスチャー情報には時間的な冗長度が内在するので、テキスチャー情報を効果的に符号化するためには、動き推定及び補償技法を用いてその時間的な冗長度を取除く必要がある。

【０００８】動き推定及び補償、離散的コサイン変換を行うためには、基準ＶＯＰ（例えば、前ＶＯＰ）はプログレッシブ映像パディング技法（ｐｒｏｇｒｅｓｓｉｖ
ｅｉｍａｇｅ ｐａｄｄｉｎｇ ｔｅｃｈｎｉｑｕ
ｅ）、即ち、従来の反復的パディング技法（ｒｅｐｅｔ
ｉｔｉｖｅ ｐａｄｄｉｎｇ ｔｅｃｈｎｉｑｕｅ）によってパディングされるべきである。 従来の反復的パディング技法は通常、物体の輪郭線に位置する境界画素を反復することによって、ＶＯＰの物体の外側にある透明エリアを満たすものである。 物体の外側における透明エリアにある透明画素が１つまたは複数の境界画素の反復によって満たされ得る場合、境界画素の反復値を平均してパディング値として取る。 プログレッシブパディングプロセスは通常、３段階、即ち、水平反復パディング、
垂直反復パディング及び外部パディングに分けられる（ＭＰＥＧ−４ ＶＭ ７．０参照）。

【０００９】一方、従来のブロック整合アルゴリズムによると、現ＶＯＰは複数の探索ブロックに分けられる。
典型的に、探索ブロックの大きさは８×８画素から３２
×３２画素よりなる。 現ＶＯＰ内の探索ブロックに対する動きベクトルを決定するためには、探索ブロックと。
前ＶＯＰにおける、一般により大きい探索領域内に含まれた各複数の同一の大きさの候補ブロックとの間の類似度を測定する。 探索ブロックと各候補ブロックとの間の類似度を計算するには、平均絶対誤差または平均二乗誤差のような誤差関数を用いる。 ここで、動きベクトルとは、探索ブロックと最小の誤差関数をもたらす候補ブロックとの間の変位を表す。

【００１０】しかし、従来のブロック整合アルゴリズムにおいては、誤差関数が１つの探索ブロックにおける全ての画素に対して計算されるため、計算の過程が非常に複雑である。 リアルタイムの処理を効果的に具現するためには、従来のブロック整合アルゴリズムで発生する計算の複雑さを減少させる必要がある。

【００１１】

【発明が解決しようとする課題】従って、本発明の主な目的は、減少された計算量をもって動きベクトルを適応的に決定する動き推定装置を提供することにある。

【００１２】

【課題を解決するための手段】上記の目的を達成するために、本発明によれば、現フレームのテキスチャーデータ、前フレームのテキスチャーデータ及び前記現フレームの形状データが供給されるエンコーダに用いられ、映像信号の前記前フレームと前記現フレームとの間の動きを推定する動き推定装置であって、前記現フレームを複数の同一の大きさの探索ブロックに分割する分割手段と、前記前フレーム内に、１つの探索ブロックに相応する複数の探索領域を形成する探索領域形成手段と、前記現フレームの形状データに基づいて、各探索ブロックが背景画素及び物体画素を有する境界ブロックであるか、
または、物体画素のみを有する内部ブロックであるかを決定して、制御信号を供給する探索ブロック決定手段と、前記制御信号に基づいて、境界整合動き推定を行う境界整合動き推定手段と、前記制御信号に基づいて、ブロック整合動き推定を行うブロック整合動き推定手段と、前記制御信号に基づいて前記境界整合動き推定手段及びブロック整合動き推定手段からの出力を用いて、各探索ブロックの動きベクトルを供給する動きベクトル供給手段とを含むことを特徴とする動き推定装置が提供される。

【００１３】

【発明の実施の形態】以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。

【００１４】図１を参照すると、本発明による符号化装置１のブロック図が示されている。

【００１５】１つまたはそれ以上の現ＶＯＰを有する現フレームのテキスチャーデータは、探索ブロック形成部１００に供給される。 探索ブロック形成部１００は、現フレームにおける現ＶＯＰを複数の同一の大きさ（例えば、１６×１６個の画素）の探索ブロックに分割して、
該探索ブロックデータを減算部２００及び動き推定（Ｍ
Ｅ）部４００に各々供給する。

【００１６】ＭＥ部４００は、フレームメモリ３００から１つまたはそれ以上の前ＶＯＰを有する前フレームのテキスチャーデータを受取る。 ここで、前フレームにおける境界ブロックは、加算部１０００にて再構成された後、パディング部１１００によってパディングされている。

【００１７】その後、ＭＥ部４００は、１つの探索ブロックに相応する複数の探索領域を前ＶＯＰ内に生成する。 一方、ＭＥ部４００は現フレームの形状データを受取る。 ここで、現フレームにおける各画素は、各画素の属する領域を表すラベルを有する。 例えば、背景画素は、「０」として、物体画素は「０」でない値として表示される。

【００１８】ＭＥ部４００は、各探索ブロックに対して適応的動き推定を行うことによって、探索ブロックに相応する動きベクトルを決定する。 即ち、探索ブロックが境界ブロックである場合は、その探索ブロックに相応する動きベクトルは、従来のブロック整合動き推定技法によって決定され、探索ブロックが内部ブロックである場合には、その探索ブロックに相当する動きベクトルは、
境界整合動き推定技法によって決定される。 ここで、境界ブロックは背景及び物体に属する画素より構成され、
内部ブロックは物体に属する画素のみより構成される。
本発明による詳細な動き推定技法は、図２〜図４を参照して後述する。 動きベクトルは、動き補償（ＭＣ）部５
００及び伝送器（図示せず）に供給される。

【００１９】ＭＣ部５００は、ＭＥ部４００から動きベクトルを受取り、フレームメモリ３００から相応する各最適の候補ブロックの画素データを受取る。 その後、Ｍ
Ｃ部５００は、相応する動きベクトルを用いて、各最適の候補ブロックに対して動き補償の過程を行って、動き補償された最適の候補ブロックを生成し、これを減算部２００及び加算部１０００に各々供給する。

【００２０】減算部２００は、相応する探索ブロックから動き補償された最適の候補ブロックを減算し、その減算結果（即ち、誤差信号）をパディング部６００に供給する。 このパディング部６００は、現フレームの形状データを受取る。 誤差信号は、従来のマクロブロックベースパディング技法に基づいて、現フレームの形状データによってパディングされる。 パディング誤差信号は、離散的コサイン変換及び量子化（ＤＣＴ＆Ｑ）部７００に供給される。

【００２１】ＤＣＴ＆Ｑ部７００は、パディング済みの誤差信号に対して離散的コサイン変換及び量子化を行って、量子化された離散的コサイン変換係数の組を、統計的符号化部８００と逆離散的コサイン変換及び逆量子化（ＩＤＣＴ＆ＩＱ）部９００とに各々供給する。 統計的符号化部８００は、量子化された離散的コサイン変換係数の組を統計的に符号化して、統計的符号化信号を伝送器に供給する。

【００２２】ＩＤＣＴ＆ＩＱ部９００は、量子化された離散的コサイン変換係数の組に対して逆離散的コサイン変換及び逆量子化を行って、その復元された誤差信号を加算部１０００に供給する。 加算部１０００は、復元誤差信号とＭＣ部５００からの動き補償された最適の候補ブロックとを加算して、再構成された探索ブロック（再構成探索ブロック）を発生する。

【００２３】パディング部１１００は、再構成探索ブロック及び現フレームの形状データを受取って、従来のマクロブロックベースパディング技法に基づいて復元された探索ブロックをパディングする。 このパディングされ再構成された探索ブロックは、次のフレームのために前フレームのテキスチャーデータとしてフレームメモリ３
００に格納される。

【００２４】図２を参照すると、図１に示したＭＥ部４
００の詳細なブロック図が示されている。 ＭＥ部４００
は、探索領域形成部４１０、ブロック整合動き推定（Ｍ
Ｅ）部４２０、境界整合動き推定（ＭＥ）部４３０、動き推定（ＭＥ）モード選択部４４０及びＭＵＸ４５０を含む。

【００２５】前フレームのテキスチャーデータは、フレームメモリ３００から探索領域形成部４１０に供給される。 探索領域形成部４１０は、一定の大きさ、形態及び探索パターンを有する探索ブロックに相応する探索領域を定義する。 これによって、探索ブロックに対する動き推定が行われる。 探索領域が探索領域形成部４１０にて決定された後、探索領域データはブロック整合ＭＥ部４
２０及び境界整合ＭＥ部４３０に各々供給される。

【００２６】一方、現フレームの形状データは、ＭＥモード選択部４４０に供給される。 ＭＥモード選択部４４
０は現フレームの形状データに基づいて、探索ブロックが境界ブロックであるかまたは内部ブロックであるかを判定する。 即ち、現フレームの形状データにおける領域が探索ブロックと同一の位置にあり、境界画素及び物体画素を有する探索ブロックと同一の大きさである場合は、その探索ブロックは境界ブロックとして決定され、
該領域が物体画素のみを有する場合には、その探索ブロックは内部ブロックとして決定される。

【００２７】探索ブロックが境界ブロックとして決定される場合は、ＭＥモード選択部４４０は、第１レベルの制御信号をブロック整合ＭＥ部４２０、境界整合ＭＥ部４３０及びＭＵＸ４５０に各々供給する。 この第１レベルの制御信号は、ブロック整合ＭＥ部４２０をイネーブルさせ、境界整合ＭＥ部４３０をディスエーブルさせ、
ＭＵＸ４５０にしてブロック整合ＭＥ部４２０から供給される入力を選択して、ＭＣ部５００及び伝送器に供給するようにする。 探索ブロックが内部ブロックとして決定される場合には、ＭＥモード選択部４４０は、第２レベルの制御信号をブロック整合ＭＥ部４２０、境界整合ＭＥ部４３０及びＭＵＸ４５０に各々供給する。 この第２レベルの制御信号は、境界整合ＭＥ部４３０をイネーブルさせ、ブロック整合ＭＥ部４２０をディスエーブルさせ、ＭＵＸ４５０にして境界整合ＭＥ部４３０から供給される入力を選択して、ＭＣ部５００及び伝送器に各々供給するようにする。

【００２８】ブロック整合ＭＥ部４２０及び境界整合Ｍ
Ｅ部４３０は、探索領域形成部４１０からの探索領域データと、探索ブロック形成部１００からの探索ブロックデータと、ＭＥモード選択部４４０からの制御信号とを受取る。 ブロック整合ＭＥ部４２０が第１レベルの制御信号によってイネーブルされる場合は、探索ブロックに対して従来のブロック整合の過程を行って、その探索ブロックに相応する動きベクトルをＭＵＸ４５０に供給し、境界整合ＭＥ部４３０が第２のレベルの制御信号によってイネーブルされる場合には、探索ブロックに対して境界整合の過程を行って、その探索ブロックに相応する動きベクトルをＭＵＸ４５０に供給する。 ブロック整合ＭＥ部４２０及び境界整合ＭＥ部４３０の詳細な動作は、図３及び図４を参照して各々説明する。

【００２９】図３を参照すると、ブロック整合ＭＥ部４
２０の詳細なブロック図が示されている。 ＭＥモード選択部４４０からの第１レベルの制御信号によってイネーブルされた候補ブロック形成部４２２は、複数（例えば、Ｍ個）の同一の大きさの候補ブロックを探索領域内に形成する。 ここで、探索領域データは、図２中の探索領域形成部４１０から供給され、候補ブロックの大きさは探索ブロックの大きさと同一であり、Ｍは形成された候補ブロックの総数を表す正の整数である。 ｉ番目の候補ブロックの画素データは、ｉ番目のブロック整合誤差関数計算部４２４−ｉ（ｉは１〜Ｍの範囲を有する正の整数）に供給される。

【００３０】さらに、候補ブロック形成部４２２は、探索ブロックから各候補ブロックまでの変位ベクトル（即ち、ＤＶ ₁ 〜ＤＶ _M ）を決定して、第１選択部４２８に供給する。 そして、探索ブロックデータはブロック整合誤差関数計算部４２４−１〜４２４−Ｍに各々供給される。 ここでは、説明の便宜上、３つのブロックのみを示した。 ｉ番目のブロック整合誤差関数計算部４２４−ｉ
においては、探索ブロックとｉ番目の候補ブロックとの間のブロック整合誤差関数（例えば、平均絶対誤差または平均二乗誤差）が計算される。 ブロック整合誤差関数は、例えば、探索ブロックにおける物体画素とｉ番目の候補ブロックにおける相応する画素との間の平均絶対誤差または平均二乗誤差である。 ここで、探索ブロックにおける物体画素は現フレームの形状データに基づいて決定される。 この計算された誤差関数は第１比較部４２６
に供給される。

【００３１】第１比較部４２６は、ブロック整合誤差関数を互いに比較して、その誤差関数のうちの最小ブロック整合誤差関数を選択することによって、該当最小ブロック整合誤差関数を表す第１指示信号を第１選択部４２
８に供給する。 第１選択部４２８は第１指示信号に応じて、最小ブロック整合誤差関数に相応する変位ベクトルを探索ブロックの動きベクトルとしてＭＵＸ４５０に供給する。

【００３２】図４は、図２中の境界整合ＭＥ部４３０の詳細なブロック図である。 映像信号における隣接する画素値は互いに連関性が非常に高いので、内部ブロックに対しては境界整合技法が有用である。

【００３３】ＭＥモード選択部４４０からの第２レベルの制御信号によってイネーブルされた拡張済み候補ブロック形成部４３２は、探索領域内に、複数（例えば、Ｍ
個）の同一の大きさの拡張された候補ブロックを形成する。 ここで、探索領域データは、図２中の探索領域形成部４１０から供給され、拡張済みの候補ブロックは候補ブロックと該候補ブロックの周りに１画素の広さを有する境界とから構成される。 即ち、探索ブロック及び拡張ブロックの大きさが１６×１６個の画素であるため、拡張された候補ブロックの大きさは１８×１８個の画素である。

【００３４】さらに、拡張済みブロック整合ＭＥ部４３
２は、探索ブロックから各拡張済みの候補ブロックまでの変位ベクトル（即ち、ＤＶ ₁ 〜ＤＶ _M ）を決定して、第２選択部４３８に供給する。 そして、探索ブロックデータは、各境界整合誤差関数計算部４３４−１〜４３４−
Ｍに供給される。 ここでは、説明の便宜上、３つのブロックのみを示す。 各境界整合誤差関数計算部４３４−１
〜４３４−Ｍにおいては境界整合誤差関数が計算される。 境界整合誤差関数計算の過程は、図５を参照して説明する。

【００３５】図５に示すように、探索ブロックＳＢは拡張された候補ブロックと重なって、探索ブロックの位置と拡張された候補ブロック内に含まれた候補ブロックの位置とが完全に一致するようになる。 本発明の実施例においては、探索ブロックＳＢが１６×１６個の画素を有するが、便宜上１６個の画素のみを示す。

【００３６】その後、本発明の好適実施例によれば、探索ブロックと拡張済みの候補ブロックの画素値との間の差分は、最上行及び最左列に対して検出され、境界整合誤差関数は下記のように計算される。

【００３７】

【数１】

【００３８】ここで、Ｅ：探索ブロックと拡張済みの候補ブロックとの間の境界整合誤差関数 Ｐ _{1 、 i} ：探索ブロックの最上行におけるｉ番目の画素の画素値 Ｔ _i ：拡張済みの候補ブロックの最上行におけるｉ番目の画素の画素値 Ｐ _{i 、 1} ：探索ブロックの最左列におけるｉ番目の画素の画素値 Ｌ _i ：拡張済みの候補ブロックの最左列におけるｉ番目の画素の画素値 本発明の他の実施例によれば、探索ブロックの画素値と拡張済みの候補ブロックの画素値との間の差分が最上行、最下行、最左列及び最右列に対して検出され、境界整合誤差関数がより正確になる。 境界整合誤差関数は、
下記のように計算される。

【００３９】

【数２】

【００４０】ここで、Ｐ _{16 、 i} ：探索ブロックの最下行におけるｉ番目の画素の画素値 Ｂ _i ：拡張済みの候補ブロックの最下行におけるｉ番目の画素の画素値 Ｐ _{i 、 16} ：探索ブロックの最右列におけるｉ番目の画素の画素値 Ｒ _i ：拡張済みの候補ブロックの最右列におけるｉ番目の画素の画素値 計算された境界整合誤差関数は、第２比較部４３６に供給される。

【００４１】第２比較部４３６は、各々の境界整合誤差関数を互いに比較して、境界整合誤差関数のうちの最小境界整合誤差関数を選択した後、その最小境界整合誤差関数を表す第２指示信号を第２選択部４３８に供給する。 この場合、最適の候補ブロックは、最小境界整合誤差関数に相応する拡張済みの候補ブロックにおける候補ブロックである。 第２選択部４３８は第２指示信号に応じて、最小境界整合誤差関数に相応する変位ベクトルを探索ブロックの動きベクトルとしてＭＵＸ４５０に供給する。

【００４２】上述したように、ブロック整合または境界整合の過程は各探索ブロックに選択的に適用されることによって、計算の複雑さをずいぶん減少させる。 例えば、探索ブロックの大きさが１６×１６である場合、ブロック整合技法において差分は１６×１６個の対の画素に対して計算される。 しかし、本発明の第１実施例による境界整合技法においては、１６×２個の対の画素に対してのみ差分が計算され、その計算量が１／８だけ減らされる。

【００４３】上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。

【００４４】

【発明の効果】従って、本発明によれば、ブロック整合または境界整合を各探索ブロックに対して選択的に適用可能であり、動きベクトルの計算の際、計算量の複雑さをより一層減らすことができる。

【図面の簡単な説明】

【図１】本発明による符号化装置のブロック図である。

【図２】図１中の動き推定部の詳細なブロック図である。

【図３】図２中のブロック整合動き推定部の詳細なブロック図である。

【図４】図２中の境界整合動き推定部の詳細なブロック図である。

【図５】本発明の好適実施例による境界整合過程を示す模式図である。

【符号の説明】

１００ 探索ブロック形成部 ２００ 減算部 ３００ フレームメモリ ４００ 動き推定（ＭＥ）部 ４１０ 探索領域形成部 ４２０ ブロック整合動き推定（ＭＥ）部 ４２２ 候補ブロック形成部 ４２４−１〜４２４−Ｍ 誤差関数計算部 ４２６ 第１比較部 ４２８ 第１選択部 ４３０ 境界整合動き推定（ＭＥ）部 ４３２ 拡張済みブロック整合ＭＥ部 ４３４−１〜４３４−Ｍ 誤差関数計算部 ４３６ 第２比較部 ４３８ 第２選択部 ４４０ 動き推定（ＭＥ）モード選択部 ４５０ ＭＵＸ ５００ 動き補償（ＭＣ）部 ６００、１１００ パディング部 ７００ ＤＣＴ＆Ｑ部 ８００ 統計的符号化部 ９００ ＩＤＣＴ＆ＩＱ部 １０００ 加算部