【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に顔画像の符号化に適した知的符号化／復号方法と符号化処理を対話的に行うために有効なインタラクティブ知的符号化支援装置に関する。

【０００２】

【従来の技術】従来、画像の高能率符号化は全自動処理を原則として行われてきた。 膨大な種類の符号化対象画像に対し、ファクシミリ、テレビ会議、画像監視装置、
ビデオディスクなどのあらゆる実用化事例において、実時間で高度に複雑な処理を行うために自動化が必須の条件であったためである。 しかしながら、この全自動処理の制約により、波形符号化の技術開発が中心となり、符号化効率の向上が飽和状態になっている。

【０００３】そこで、符号化効率のさらなる向上を図るため、知的符号化方式が考えられている。 代表的な知的符号化方式として、分析合成型符号化方式がある。 分析合成型符号化方式は、まず入力画像である顔画像の情報に対して、予め設定されているワイヤフレームモデルと呼ばれる顔等の画像モデルに基づいた分析を行う。 すなわち、顔の輪郭抽出と目の端点および口の端点などの特徴点抽出を行って、これらを分析パラメータとし、さらにこれらの時間的追従を行う。 そして、抽出された分析パラメータを顔の初期画像などのテクスチャ情報などと共に高能率符号化して、伝送路や蓄積媒体などのメディアに出力する。 復号側では、符号化側で用意されたものと同じワイヤフレームを用い、メディアにより伝送または蓄積された分析パラメータおよびテクスチャ情報から元の画像情報を復号する。

【０００４】このような分析合成符号化方式では、少数の分析パラメータと初期画像についての若干のテクスチャ情報を用いて画像を表現できるため、非常に低ビットレートの符号化ができるという利点がある。

【０００５】

【発明が解決しようとする課題】上述した従来の分析合成型符号化方式では、次のような問題がある。 （１）顔画像を分析合成型符号化方式で知的符号化する場合、符号化対象の顔画像、例えばユーザ自身の顔をカメラで撮像した画像に、別の人物、例えばテレビや映画に登場する俳優の顔画像などのモデル画像の表情や動きを当てはめて符号化する要求が生じることがある。 このような場合、従来では符号化対象画像およびモデル画像の初期画像を全て無表情と仮定しているため、符号化対象画像およびモデル画像の少なくとも一方の初期画像に表情付けがなされていると、分析パラメータとワイヤフレームモデルのパラメータの対応がずれてしまい、正しい表情・動作が表現できなかった。

【０００６】（２）また、初期画像とワイヤフレームモデルが単一であるため、眼鏡などの剛性物体が顔などの柔物体上にある画像を知的符号化する場合、眼鏡が顔の表情変化と共に変形してしまうという問題点があった。

【０００７】（３）さらに、従来では符号化対象画像について対話的に特徴点を指示入力する場合、全特徴点について順に指示していくため、指示入力回数が増大するという問題があった。

【０００８】本発明は上記の課題を解決するためになされたもので、その第１の目的は、符号化対象画像をモデル画像の表情・動きに合わせて的確に知的符号化／復号を行うことができる知的符号化／復号方法を提供することにある。

【０００９】本発明の第２の目的は、柔物体上に剛性物体が部分的に重なっている被写体像の存在する符号化対象画像を剛性物体の不自然な変形を伴うことなく知的符号化できる知的符号化／復号方法を提供することにある。

【００１０】本発明の第３の目的は、知的符号化に際して符号化対象画像に対する特徴点の指示入力を効率的に行うことができる特徴点表示方法を提供することにある。 本発明の第４の目的は、画像の知的符号化を対話的に行うのに適したインタラクティブ知的符号化支援装置を提供することにある。

【００１１】

【課題を解決するための手段】本発明は第１の目的を達成するため、表情変化を伴う被写体像の存在する画像の知的符号化および復号を行う方法において、符号化時には基準表情を有する第１の被写体像の存在する第１の画像と、非基準表情を有する第２の被写体像の存在する第２の画像を用意し、第２の画像中の第２の被写体像について基準表情から非基準表情へ変形させる変形パラメータを生成して、前記第１の画像および前記変形パラメータを符号化し、復号時には前記変形パラメータを用いて前記第１の画像中の第１の被写体像を基準表情から非基準表情に変形させることによって、被写体像の表情や動きが第２の画像中の被写体像の表情や動きに正しく対応した第１の画像を符号化／復号することができるようにしたものである。

【００１２】本発明は第２の目的を達成するため、顔のような柔物体の上に眼鏡のような剛性物体が部分的に重なっている顔画像のような被写体像の存在する画像の知的符号化および復号を行う方法において、符号化時には前記画像から剛性物体の像を除去する処理を行うと共に、柔物体の像を変形させる変形パラメータを生成して、前記画像および変形パラメータを符号化し、復号時には前記画像中の柔物体の像を変形パラメータを用いて変形させた後、剛性物体の像を付加することにより、重物体の表情変化などに伴う剛性物体の変形のない自然な顔画像などの符号化／復号を行うようにしたものである。

【００１３】本発明は第３の目的を達成するため、符号化対象画像上の複数の要素に対して複数の特徴点を指示入力するために指示入力すべき特徴点を表示する方法であって、複数の要素間の特徴点の組み合わせに対応して各々の組み合わせの存在範囲を記述したテーブルを用意し、このテーブルから指示入力の終了していない特徴点の分布度を求め、この分布度が所定の閾値以上の特徴点を表示することによって、知的符号化で必要な顔画像などの符号化対象画像に対する特徴点の指示入力を少ない回数で効率的に行うことができるようにしたものである。

【００１４】本発明は第４の目的を達成するため、柔物体の上に剛性物体が部分的に重なっている被写体像の存在する符号化対象画像を表示する画像表示領域と、前記符号化対象画像上の前記剛性物体の像を除去する処理を開始を指示する第１の指示領域と、前記符号化対象画像を知的符号化した符号列を局部復号して得られた復号画像のモニタ表示を指示する第２の指示領域とを有する操作画面を備えたことを特徴とするインタラクティブ知的符号化支援装置を提供するものである。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実施形態を説明する。 （第１の実施形態）図１は、本発明の一実施形態に係る知的符号化／復号システムの概略構成を示すブロック図である。 符号化システムは、符号化対象である顔画像情報が入力される第１の入力端子１１、モデル画像情報（動画像系列）である顔画像情報が入力される第２の入力端子１２、入力部１３、入力処理部１４、合成部１
５、表示部１６、および符号化部１７を有する。

【００１６】入力部１３は、ユーザが指示入力を行うためのキーボード、マウスその他の入力デバイスであり、
ユーザはこれを用いて符号化対象である顔画像情報の意味的要素を入力する。 ここで、顔画像情報の意味的要素とは、例えばノイズ等の含まれた顔画像情報のエッジ等から求まる近似的顔輪郭のほか、真の顔輪郭、表情において重要な役割を持つ目、鼻、髭等の顔要素部品、および顔の動きなどである。 入力処理部１４は入力部１３による指示入力を解析し、数値コマンドに分解して合成部１５に送るためのものである。

【００１７】合成部１５は、第１の入力端子１１より入力される符号化対象の顔画像情報に対して、入力処理部１４を介して与えられる指示入力に従って、第２の入力端子１２より入力されるモデル画像の顔画像情報の表情変化や動きに対応させた変形を施した顔画像情報を合成するものである。 この合成部１５で合成された顔画像情報は、表示部１６に送られて表示される。

【００１８】そして、合成部１５から変形された顔画像情報の合成過程で生成されるワイヤフレームの変形パラメータと、第１の入力端子１１より入力される顔画像情報のテクスチャが符号化部１７に送られて圧縮符号化され、これにより得られた符号列が伝送路または蓄積媒体などのメディア２０に出力される。

【００１９】一方、復号システムにおいては、符号化システムからメディア２０を介して入力されてきた符号列がまず復号部２１で復号された後、合成部２２に入力され、ここで符号化システムにおける合成部１５と逆の処理によって元の顔画像情報が合成される。 合成された顔画像情報は、表示部２３で表示される。

【００２０】次に、図２を用いて符号化システムにおける合成部１５での合成過程について説明する。 顔画像を表現するワイヤフレームの共通モデルＷ00は、最も平均的で無表情な顔を基に予め作成されたものであり、合成部１５内のメモリに格納されている。

【００２１】また、合成部１５には第１の入力端子１１
よりカメラまたはスキャナ等により入力された第１の被写体像である人物ａ（例えばユーザ自身）の顔画像の存在する画像Ａ１の情報が取り込まれる。 この画像Ａ１中の被写体像としては、一般には顔の表情ができるだけ無表情に近いものが望ましいが、現実には完全な無表情にすることは難しい。 画像Ａ１中の被写体像が無表情でないと判断された場合、理想的無表情（これを基準表情という）を有する第１の被写体像の存在する画像Ａ０を作り、この画像Ａ０のワイヤフレームＷa0を基準の原点として用いる。 画像Ａ１から画像Ａ０を作る方法については、後述する。

【００２２】合成部１５には、さらに第２の入力端子１
２から第２の被写体像である人物ｂの存在する第２の画像Ｂ１（モデル画像）の情報が入力される。 ここで、第２の被写体像の人物ｂは、例えば映画やＴＶ番組に登場する俳優などである。 本実施形態では、合成部１４において以下のようにして符号化対象である人物ａの顔画像をモデル画像である人物ｂの顔画像の表情や動きに合わせて変形させる処理を行う。

【００２３】第２の画像Ｂ１中の被写体像は、映画やＴ
Ｖ番組の一シーンにおける俳優などの顔画像であるため、無表情（基準表情）が得られない場合が多く、通常はかなり強い表情のついたシーンしか得られない。 そこで、第２の画像Ｂ１に対して、画像Ａ１から画像Ａ０を作成するのと同様にして被写体像が基準表情を有する画像Ｂ０を作成し、この画像Ｂ０のワイヤフレームをＷb0
とする。

【００２４】こうして得られた画像Ａ０およびＢ０のワイヤフレームＷa0とワイヤフレームＷboは異なるものであり、この例では共通モデルＷ00に対しＷa0はやや横長に、Ｗboは縦長となっている。 顔の目、口などの部品も個人毎に異なり、無表情でも位置や形が異なっている。
ここでは、これら二つのワイヤフレームＷa0，Ｗb0を等価とみなして、そこからの表情変化や動きを変形パラメータとし、この変形パラメータを第１の被写体像についてはＷa1，Ｗa2，…、第２の被写体像についてはＷb1，
Ｗb2，…のように表わす。 このようにすると、Ｗa1，Ｗ
b1を等価とみなし、これを原点とした表情変化や動きを変形パラメータとして表現する従来の分析合成型知的符号化方式に比較して、より厳密な表現が実現できる。

【００２５】次に、第１の画像Ａ１のテクスチャＴa1とワイヤフレームＷb1・Ｗa1 ^-1により第１の画像Ａ１を変形させた画像Ａ２を合成する。 ここでワイヤフレームＷ
b1・Ｗa1-1は、画像Ａ１を無表情化するワイヤフレーム演算がＷa1 ^-1であり、無表情のワイヤフレームＷa0＝Ｗ
b0から画像Ｂ１の表情を表すためのワイヤフレーム演算（変形パラメータ）がＷb1であるから、その合成演算をＷb1・Ｗa1 ^-1と表現したものである。 ワイヤフレーム演算とは、無表情のワイヤフレームＷa0，Ｗb0などの上にある特徴点（一般には、数十個使用されることが多い）
がどの方向にどれだけ移動するかを示す演算であり、特徴点以外の部分はワイヤフレーム全体が伸縮して変化・
移動を行う。 このワイヤフレームの各小領域に対応してテクスチャＴa1を張り付けるテクスチャマッピングを行うことによって、画像Ａ１を画像Ｂ２と同様に変形させた画像Ａ２が合成される。

【００２６】同様にして、画像Ａ３はテクスチャＴa1とワイヤフレーム演算Ｗb2・Ｗa1 ^-1で合成された画像であり、画像Ｂ２と同じ表情および動きを表現している。 画像Ａ１から基準表情を有する画像Ａ０を作成する方法としては、人間の操作により画像Ａ１の被写体像を無表情化するインタラクティブ操作方式と、自動的に画像Ａ１
の被写体像を無表情化する自動方式の２種類がある。

【００２７】ここでは、後者の自動方式として特徴点を用いて自動的に無表情化する動作を図３により説明する。 図３の右側は、カメラ等から入力された画像Ａ１にワイヤフレームをフィッティングさせた時の特徴点Ｐ１
１〜Ｐ１７の例を示している。 特徴点は無表情の場合、
顔の縦の中心線に分布するのに対して、画像Ａ１のように特徴点が曲がって分布している場合は、人物が正面に向いていないか、またはカメラ焦点面に平行に顔面が位置していないか、あるいは表情が無表情でないなどの原因が考えられる。 頭部の回転等で正面顔に補正することは文献等に発表されているが、表情そのものを補正する（無表情化する）手法は未だ提案されていない。

【００２８】本実施形態では、図３の右側に示すように特徴点Ｐ１１〜Ｐ１７が縦方向に真っ直ぐでない時、図３の左側に示すように特徴点Ｐ２１〜Ｐ２７を縦方向の直線上に乗るように配置する正規化を行う。 また、他の特徴点に関しても同様の正規化を行うことにより、被写体像が無表情に近い画像Ａ０を作成できる。 人間の操作により無表情化を行う場合は、単に位置や大きさの正規化だけでなく、より適切に無表情化ができる。

【００２９】なお、以上の説明では入力画像Ａ１中の被写体像が無表情でない場合にそれを無表情化する手法について述べたが、入力画像Ａ１中の被写体像がもともと無表情である場合には、このような処理は不要である。

【００３０】図４は、従来の分析合成型知的符号化方式による画像合成の手法を図２と同様の形式で表現したものであり、図２のように無表情の被写体像を有する画像のワイヤフレームＷa0，Ｗb0を介することなく、図２の画像Ａ２に対応した画像Ａ１１をワイヤフレーム演算Ｗ
b1とテクスチャＴa1とで表現し、また図２の画像Ａ３に対応する画像Ａ１２をワイヤフレーム演算Ｗb2とテクスチャＴa1とで表現している。 このように、従来の手法では初期画像である画像Ａ１および画像Ｂ１中の被写体像を無表情と仮定して、変形した画像Ａ１１，Ａ１２，…
を作成している。 このため、画像Ａ１，Ｂ１に表情があると正しい表情や動作が符号化されないという問題があった。

【００３１】これに対して、本実施形態では画像Ａ１，
Ｂ１中の被写体像を一旦Ａ０，Ｂ０のように無表情化し（画像Ａ１中被写体像が無表情の場合はそのまま）、これらを基に変形させた画像Ａ２，Ａ３，…を作成することによって、モデル画像である画像Ｂ１，Ｂ２，…中の被写体像の表情や動きに正しく対応させた画像Ａ２，Ａ
３，…を作成して符号化することができる。

【００３２】次に、図５に示すフローチャートを用いて本実施形態における符号化／復号処理の手順を説明する。 符号化システムにおいて、入力端子１１，１２から画像Ａ１（またはＡ０）とＢ１，Ｂ２，Ｂ３，…の画像情報が入力されると（ステップＳ１０１）、合成部１５
では画像の輪郭および特徴点（目、口、鼻、髪等の代表的端点）が抽出され（ステップＳ１０２）、さらにこれらの輪郭および特徴点に対してワイヤフレームのフィッティングとテクスチャの抽出が行われる（ステップＳ１
０３，Ｓ１０４）。 ワイヤフレームのフィッティングとは、画像Ａ１（またはＡ０），Ｂ１，Ｂ２，Ｂ３，…中の特徴点と共通ワイヤフレームＣ上の特徴点とを対応付ける処理をいう。 また、画像の特徴を画像Ａ１について抽出されたテクスチャをＴa1とする。 入力端子１１，１
２から画像Ａ１，Ｂ１がそれぞれ入力された場合は、このワイヤフレームのフィッティングにより、ワイヤフレームＷa1，Ｗb1が生成されることになる。

【００３３】次に、ステップＳ１０３で生成されたワイヤフレームＷa1，Ｗb1に基づいて、合成部１５で画像Ａ
１中の被写体像は画像Ａ０のように、画像Ｂ１中の被写体像は画像Ｂ０のようにそれぞれ無表情化処理が行われ、Ｗa1 ^-1 ，Ｗb1 ^-1が生成される（ステップＳ１０
５）。 なお、画像Ａ１に代えて画像Ａ０が入力された場合には、画像Ａ１についての無表情化処理は不要である。 無表情化処理は、ワイヤフレームＷa1，Ｗb1について基準表情（無表情）の形状から歪んでいる部分を修正する処理であり、具体的には ・目の曲率を一定範囲内に制限する ・眉のつり上がり、下がりを一定範囲内に制限する ・口は閉じた状態にする ・輪郭の凹凸部分の曲率を一定範囲内に制限する といった処理である。

【００３４】次に、合成部１５ではワイヤフレームの合成が行われ、Ｗb1・Ｗa1 ^-1 ，Ｗb2・Ｗa1 ^-1 ，Ｗb3・Ｗa1
^-1 ，…のワイヤフレーム演算、すなわち変形パラメータが求められる（ステップＳ１０６）。 そして、合成部１
５で得られたテクスチャＴa1と、変形パラメータＷb1・
Ｗa1 ^-1 ，Ｗb2・Ｗa1 ^-1 ，Ｗb3・Ｗa1 ^-1 ，…が符号化部１
７で符号化され（ステップＳ１０７）、得られた符号列がメディア２０に伝送または蓄積される（ステップＳ１
０８）。

【００３５】一方、復号システムではメディア２０によって伝送または蓄積された符号列から復号部２１においてテクスチャＴa1と変形パラメータＷb1・Ｗa1 ^-1 ，Ｗb2
・Ｗa1 ^-1 ，Ｗb3・Ｗa1 ^-1 ，…が復号され（ステップＳ１
０９）、次いで合成部２２でテクスチャマッピングが行われることにより、動画像系列（Ｔa1，Ｗb1・Ｗa
1 ^-1 ），（Ｔa1，Ｗb2・Ｗa1 ^-1 ），（Ｔa1，Ｗb3・Ｗa1
^-1 ），…が生成される（ステップＳ１１０）。 生成された動画像系列は、表示部２３で表示される。

【００３６】なお、図５のフローチャート上では示されていないが、符号化システムにおいても復号画像のモニタのために、ステップＳ１１０と同様にテクスチャマッピンクが行われ、得られた動画像系列が表示部１６で表示される。

【００３７】（第２の実施形態）次に、眼鏡をかけた人物画像のように、柔物体（顔）の上に剛性物体（眼鏡）
が部分的に重なっている画像を知的符号化する場合の第２の実施形態について説明する。 なお、眼鏡は必ずしも完全な剛体とはいえないが、人体の顔に比較すると剛性が十分に高いので、剛性物体とする。 なお、本実施形態に係る符号化／復号システムの構成は、第１の実施形態と同様に基本的には図１に示した通りである。

【００３８】まず、図６を参照して本実施形態の概要を説明する。 図６（ａ）は眼鏡をかけた人物の顔画像である。 この顔画像についてそのまま知的符号化を行うと、
顔全体に顔のワイヤフレームを当てはめて表情変化を持たせるための変形処理を行うことになるため、顔の表情変化に伴って眼鏡も変形してしまい、きわめて不自然な画像となってしまう。 模式的に表現すれば、例えば図６
（ｂ）のように目をつり上げるような表情変化を顔画像に対して施したとき、眼鏡もつり上がってしまったり、
図６（ｃ）のように瞬きをして目が閉じたような表情変化を顔画像に施したとき、眼鏡も上下に縮んでしまったりという不自然な現象が起こる。

【００３９】このような眼鏡の不自然な変形に対処するため、本実施形態では図６（ｄ）に示すように入力の顔画像から眼鏡部分を除去する処理を行った後、図６
（ｅ）または（ｆ）のように表情変化を施し、この後に眼鏡を付加する処理を行う。

【００４０】顔画像から眼鏡部分を除去する処理を自動的に行うのは、一般に困難である。 眼鏡のある顔画像において、眼鏡フレームの色は材質は一定であっても画像としてみると光線の強さ、反射などにより大きく変化しており、また随所にハイライト部ができたり、眼鏡による影なども存在する。 眼鏡フレームをエッジ検出などで抽出しようとしても、実際の画像を人間が見てもほとんどエッジがなく、色も変化しているようなものは、検出がきわめて困難であることが分かる。

【００４１】そこで、図６（ａ）中に点線で示す眼鏡フレームのいくつかの代表座標点をユーザがマウス等で入力して眼鏡フレームの形状を作り、眼鏡部分を周囲の顔の肌色等で埋める処理を行うことによって、眼鏡部分を除去する。 眼鏡部分を埋める色は眼鏡の周囲から自動的に持って来てもよいが、適当な色をユーザが指示してもよい。 具体的には、図１の構成において表示部１６で顔画像を表示しつつ、ユーザが入力部１３により眼鏡フレームの代表座標点を指示し、また表示部１６で眼鏡ないしは影も含めた不要物を表示して確認をとり、必要ならば入力部１３を介して修正可能としている。

【００４２】さらに、必要ならば眼鏡フレームを線でなく太さを指定したり、場所により太さを変化させたり、
眼鏡の周囲画素の色を周囲近傍でない部分、例えば肌色なら頬の下、口横、額などから持ってくるよう指示したり、黒っぽい影なら眉毛、髭などから持って来るよう指示したりすることも有効である。

【００４３】また、眼鏡フレームを肌色等で着色して埋めていくと、もともとあった眼鏡フレームがかすかに残って見え、画像信号レベルではわずかの差であっても眼鏡の残りが人間には強く浮き上がって見えることがある。 これを防ぐために、眼鏡フレームに沿った直線状の処理を行うのでなく、ランダムな線状に処理を行う。 処理後に眼鏡フレームをぼかすフィルタを施すなどの処理を行うことにより、眼鏡フレームがより目立たないようにすることも有効である。

【００４４】さらに、眼鏡部の着色において単一の肌色を続けてある区間塗るのでなく、実際の肌のある領域を切り出して張り付けることによって、より自然な画像が得られる。

【００４５】次に、図７に示すフローチャートを用いて本実施形態における符号化／復号処理の手順を説明する。 符号化システムにおいて、入力端子１１から図６
（ａ）に示したような眼鏡をかけた人物の顔画像の画像情報が入力されると（ステップＳ２０１）、その輪郭および特徴点の抽出が行われ（ステップＳ２０２）、さらにこれらの輪郭および特徴点に対してワイヤフレームのフィッティングとテクスチャの抽出が行われる（ステップＳ２０３，Ｓ２０４）。

【００４６】テクスチャの抽出後、前述のようにして眼鏡除去処理が行われる（ステップＳ２０５）。 この眼鏡除去処理は、インタラクティブに行われる。 すなわち、
入力された顔画像のテクスチャを表示部１６で表示し、
この表示された顔画像に対して入力部１３により眼鏡フレームの任意間隔のいくつかの代表座標点を指示し、さらに眼鏡フレームに隠れた部分の肌色の指示、レンズ等のハイライト領域の指示などを行う。 この指示により、
眼鏡の部分が除去された顔画像のテクスチャと、眼鏡フレームおよび影の座標（眼鏡パラメータという）が得られる。

【００４７】次に、こうしてステップＳ２０５で得られた眼鏡の部分が除去された顔画像のテクスチャおよび眼鏡パラメータと、ステップＳ２０３で生成されたワイヤフレーム（変形パラメータ）について符号化（知的符号化）が行われる（ステップＳ２０６）。 なお、ワイヤフレームの符号化の際、後述するように必要に応じて眼鏡フレームの変形処理が行われる。 そして、得られた符号列がメディア２０に伝送または蓄積される（ステップＳ
２０７）。

【００４８】一方、復号システムではメディア２０によって伝送または蓄積された符号列から、復号部２１でテクスチャおよび眼鏡パラメータとワイヤフレームが復号され（ステップＳ２０８）、次いで合成部２２でテクスチャマッピングが行われることにより動画像系列が生成され（ステップＳ２０９）、さらに眼鏡の付加が行われる（ステップＳ２１０）。

【００４９】なお、図７のフローチャート上では示されていないが、符号化システムにおいても復号画像のモニタのために、ステップＳ２０９〜Ｓ２１０と同様にテクスチャマッピンクおよび眼鏡付加が行われ、得られた動画像系列が表示部１６で表示される。

【００５０】（第３の実施形態）以上の実施形態で説明したような知的符号化を行う場合、符号化対象画像上の特徴点を指示入力する必要がある。 そこで、本実施形態では顔画像のような符号化対象画像に対する特徴点の指示入力方法の好ましい例について説明する。

【００５１】図８（ａ）は顔画像上の特徴点の一例を示す図であり、顔の輪郭と、目、眉、鼻、口等の顔構成部品に白丸で示した数十の特徴点が存在している。 顔画像を知的符号化する場合、これら特徴点を符号化対象画像に対して指示入力する必要があるが、特徴点を表す数字の組のうち左側の数字を輪郭や顔構成部品などの５要素毎に定められたグループの順番とし、右側の数字をグループ内の順番として、１−１，１−２，…，２−１，２
−２，…の順に６−６まで指示していく。 操作性からは、このような全点指示入力を行うと、指示入力の回数が増えて入力に時間がかかるので、対応が既にとれている点は省略したりして手間を省くことができる。

【００５２】ここで、本実施形態では予め特徴点の分布調査により存在範囲が大きいもの、つまり特徴点が広範囲に分布しているものから順に指示入力をできるようにして残りの特徴点の候補をより早く収束させ、指示入力をより少ない回数で行うことができるようにしている。
図８（ｂ）は、その一例を示す図であり、特徴点を端から順に指示するのでなく、離れた点を指示入力することによって指示入力した点の間の点を内挿演算により求めることにより、図８（ａ）中の特徴点１−２などは指示入力を不要としたものである。 さらに、図８（ａ）中の特徴点１−３，１−４などは厳密には同一の点ではないが、位置的に近いので、ユーザの好みにより省略することもできるし、また指示入力を行う場合でも全く新たに指示するのでなく、近くの点からのずれ分を指示入力することによって、操作を簡略化することができる。

【００５３】以下、図９に示すフローチャートを用いて本実施形態における特徴点の指示入力の手順を説明する。 本実施形態では、大きさが正規化された顔画像の特徴点の分布について予め統計をとっておく。 各特徴点の座標（ｘ，ｙ）（３次元画像の場合は（ｘ，ｙ，ｚ））
の存在範囲は、ある間隔（位置によって精度が異なる）
で離散化され、有限個となっている。 この離散化された各特徴点を図８（ａ）に示したように顔画像の輪郭、
目、眉、鼻、口の５要素毎にグループ化し、これらの各グループ毎に、各特徴点に番号１，２，…（図８（ａ）
の右側の数字）を付して、異なるグループ間の各番号の組み合わせに対して特徴点が同時に存在する存在確率を求め、これらをテーブルとして予め作成しておく。

【００５４】図１０は、このようにして作成されたテーブルの一例を示す図であり、この例では目と口の２要素の特徴点の組み合わせに対して、存在確率とそれらの座標を対応させて記述している。

【００５５】図９に従って特徴点の指示入力手順を説明する。 まず符号化対象画像が入力されると（ステップＳ
３０１）、未決定つまり指示入力の終了していない特徴点の分布度σが求められる（ステップＳ３０２）。 この分布度σは、未決定の特徴点の存在範囲における座標（ｘｉ，ｙｉ）のばらつきであり、例えば次式により計算される。

【００５６】σ＝ｍａｘ _i,j ｛｜ｘｉ，ｘｊ｜ ⁿ ＋｜ｙ
ｉ−ｙｊ｜ ⁿ ｝ 但し、ｎ＝１ｏｒ２、またｉ，ｊは未決定の特徴点の存在範囲に含まれる座標のインデックスであり、ｍａｘ
_i,jは｛ ｝内の最大値を表す。 テーブルは、理想的には全特徴点についての全ての組み合わせの存在確率を記述することが特徴点のインタラクティブな指示入力の効率向上に好ましいが、テーブルを格納するメモリ容量に制限があるときは、図１０に示したように２要素（図１
０では、目と口）の特徴点の組み合わせに関する存在確率のみを記述するだけでもよい。 メモリ容量に余裕があれば、３要素あるいは４要素…の特徴点の組み合わせに関する存在確率をテーブルとして記述すればよい。

【００５７】次に、ステップＳ３０２で求められた分布度σと所定の閾値εとの大小比較を行い（ステップＳ３
０３）、σ＜εであれば特徴点の指示入力が収束したものとして終了し、またσ≧εであれば分布度σが最大の特徴点を効果的な特徴点の候補として表示することによって、ユーザに対して特徴点の指示入力を促す。 そして、ステップＳ３０２で特徴点の指示入力が収束したと判断されるまで、ステップＳ３０２〜Ｓ３０４の処理を繰り返す。

【００５８】このように本実施形態によれば、知的符号化で必要な顔画像などの符号化対象画像に対する特徴点の指示入力を少ない回数で効率的に行うことができる。 （第４の実施形態）次に、第２の実施形態において頭部の回転に応じて眼鏡フレームを変形させる処理を追加した実施形態について図１１を参照して説明する。 図１１
（ａ）は、眼鏡をかけた顔画像の初期画像の例を示す図である。 ここでは、顔と眼鏡が奥行き方向の情報を有する３次元構造を持っており、眼鏡は図１１（ｂ）の横側の顔画像に示すように顔から一定距離だけ離れた位置にすることが記述されている。 なお、図１１（ｂ）の画像については必ずしも入力する必要はなく、例えば眼鏡フレームの座標を入力する場合に、顔から離れた位置に眼鏡フレームがあることが示されていればよい。

【００５９】眼鏡をかけた顔画像について、このような３次元モデル化を行い、先に示したように眼鏡除去処理を行った後、顔の向きが変わった場合、すなわち頭部の回転（左右、上下など）があった場合、両目の間隔が画像上で狭まったり、傾いたりする。 このような場合、頭部の回転に応じて眼鏡フレームも正面から見た状態でなく、変形させた形状とする必要がある。 図１１（ｃ）に頭部が横方向に回転した場合の顔画像を示し、図１１
（ｄ）に頭部が斜め下方向に回転した場合の顔画像を示す。 これらの顔画像を正面から見た場合、眼鏡フレームは左右あるいは左右上下に縮んだ状態に見える。 これらの場合、眼鏡フレームが縮んだ画像を作成する必要がある。 眼鏡フレームが縮んだ画像を作成する方法として、
以下の方法が考えられる。

【００６０】（１）３次元モデル化された眼鏡フレームを頭部の回転と同じ方向に同じ角度回転させ、回転後の眼鏡フレームを得る。 （２）簡易的な方法として、左右の目の間隔Ｗａを図１
１（ａ）の初期画像で求めておき、次に頭部が回転した図１１（ｃ）の顔画像における左右の目の間隔Ｗｃを求め、Ｗａ／ＷｃまたはＷａ／Ｗｄの比率だけ図１１
（ａ）の初期画像から抽出された眼鏡フレーム像の左右方向または左右上下における大きさを縮小する。

【００６１】（３）さらにインタラクティブな方法として、図１１（ｃ）における眼鏡フレームの図１１（ｅ）
に示す左右の端点を指示入力し、この２つの端点間の間隔内に図１１（ａ）の初期顔画像から抽出された眼鏡フレームの端点が位置するように縮小する。

【００６２】（４）図１１（ｄ）に示した左右上下のような複数方向の回転が存在する場合には、同じく３次元モデルに回転、両目の間隔と位置から眼鏡フレーム像の傾きと縮小率を求める。

【００６３】なお、（２）（３）では３次元モデルを仮定しているが、２次元平面内の処理で眼鏡フレーム像の縮小を行っている。 上述した眼鏡フレーム像の縮小（変形）処理は、図７に示したフローチャートにおいて例えばステップＳ２０６において行えばよい。 具体的には、
図７のステップＳ２０５で生成された眼鏡および影の座標と、ワイヤフレームの変形パラメータを用いて眼鏡フレームの変形パラメータを生成すればよい。 こうして生成された眼鏡フレームの変形パラメータは、ワイヤフレームと共に符号化され、伝送／蓄積されることになる。

【００６４】（第５の実施形態）次に、以上の実施形態で説明した本発明による知的符号化に有用な一体型インタラクティブ知的符号化支援装置の実施形態について説明する。

【００６５】図１２は、本実施形態に係る一体型インタラクティブ知的符号化支援装置の操作画面の例を示した図である。 同図に示されるように、この操作画面３０には画像表示領域３１と、表示辞書指示部３３と、眼鏡除去処理開始指示部３４と、復号画モニタ指示部３５と、
符号量表示部３６を備えている。 なお、画像表示領域３
１に表示されたカーソル３２は、ユーザが指示入力した特徴点などを表すためのものである。

【００６６】画像表示領域３１は、符号化対象画像（初期画像）を表示する領域であり、表示辞書指示部３３
は、画像表示領域３１に表示された符号化対象画像に対して表情付けを行うための表情辞書表示、すなわち知的符号化に必要な動きや表情の変形パラメータをある動画系列や予め求められている動き・表情パラメータセットから選択したりワイヤフレームの表示を指示するための領域である。 眼鏡除去処理開始指示部３４は、画像表示領域３１上に表示された顔画像上の眼鏡除去処理の開始を指示する領域である。 復号画モニタ指示部３５は、知的符号化結果を局部復号して得られた復号画像のモニタ表示を指示するための領域である。 符号量表示３６は、
符号化部での発生符号量を表示して、ユーザに対し変形パラメータによる発生符号量に限界があることを提示するためのものである。 また、操作画面３０には図１２に示したもののほか、必要により伝送／蓄積指示、電子メール送信指示などの指示部をさらに備えてもよい。

【００６７】このような操作画面３０を備えた一体型インタラクティブ知的符号化支援装置を用いることにより、第１〜第４の実施形態で説明したような知的符号化をインタクラクティブにかつスムーズに行うことができる。

【００６８】

【発明の効果】以上説明したように、本発明によれば符号化対象である顔画像のような第１の画像に対して、モデル画像の表情・動きに合わせて的確に知的符号化／復号を行うことができる。

【００６９】また、本発明によれば柔物体上に剛性物体が部分的に重なっている被写体像の存在する符号化対象画像に対して、剛性物体の不自然な変形を伴うことなく知的符号化／復号を行うことができる。

【００７０】また、本発明によれば知的符号化に際して符号化対象画像に対する特徴点の指示入力を効率的に行うための特徴点の表示を行うことができる。 さらに、本発明によれば画像の知的符号化を対話的に行うのに適したインタラクティブ知的符号化支援装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る知的符号化／復号システムの概略構成を示すブロック図

【図２】同実施形態における合成過程を示す図

【図３】図２において画像Ａ１から画像Ａ０を生成する方法を示す図

【図４】従来の分析合成型符号化における合成過程を示す図

【図５】同実施形態における符号化／復号処理の手順を説明するためのフローチャート

【図６】本発明の第２の実施形態における眼鏡をかけた顔画像の処理方法を示す図

【図７】同実施形態における符号化／復号処理の手順を説明するためのフローチャート

【図８】本発明の第３の実施形態における特徴点の指示入力方法を説明するための図

【図９】同実施形態における特徴点の指示入力手順を説明するためのフローチャート

【図１０】同実施形態で用いるテーブルの例を示す図

【図１１】本発明の第４の実施形態における眼鏡フレームの変形処理を説明するための図

【図１２】本発明の第５の実施形態に係る一体型インタラクティブ知的符号化支援装置における操作画面を示す図

【符号の説明】

１１…符号化対象画像情報入力端子 １２…モデル画像情報入力端子 １３…入力部 １４…入力処理部 １５…合成部 １６…表示部 １７…符号化部 ２０…メディア ２１…復号部 ２２…合成部 ２３…表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 正秀 東京都港区芝二丁目31番19号 通信・放送 機構内 (72)発明者 斎藤 隆弘 東京都港区芝二丁目31番19号 通信・放送 機構内