【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に、発話に対応した口の動きを表す顔面アニメーションに適したアニメーション画像の生成プログラムに関する。

【０００２】

【従来の技術】近年、コンピュータグラフィック（Ｃ
Ｇ）技術を用いて３次元（３Ｄ）アニメーション画像を作成し、映像表示することが行われている。

【０００３】ここで、アニメーションの一形態として、
キャラクタの瞬間々の発話、感情に対応して顔の口の状態、表情の状態の動き映像を表示することが行われる。
これまで、かかる動き映像の作成においては、キャラクタの動きの１コマ毎に顔のモデルのアニメーションパターン画像を作成すること即ち、顔面モデルの頂点を動かしたり、モデルに組み込まれた「骨」を動かしたりして画像が作成されていた。

【０００４】このようにＣＧでの発話、表情の顔アニメーションを作成する場合、映像の１コマ毎に顔のモデルのアニメーションパターン画像を作成する。 それらを時間軸に沿って並べ、連続的に再生していた。

【０００５】したがって、ある一つのキャラクタモデルの顔面アニメーションを作成する場合、アニメーション生成作業に先だって、全ての表情形状と、全ての発話形状の画像を作成する。 さらにそれらの画像の組み合わせて全体を作成する。

【０００６】さらに、あるキャラクタモデルＡの形状データは他のキャラクタモデルＢの顔形状には使用する事が出来ない。 したがって、同様の画像データを登場モデルの全てについて作成しなければならず、膨大なコストと製作時間が必要となる。

【０００７】ここで、ある３次元コンピュータグラフィック（３DＣＧ）モデルを変形する時、スケルトンと呼ばれる「擬似的な間接機構」を用いる方法が従来から使用されている。 しかし、顔は人体の腕や足のように間接で動いている訳ではないので、発話や表情をスケルトンを用いて作成する事は難しい。

【０００８】また、Wrapデフォメーションという従来方法では、あるモデル形状Ａの変更を別モデル形状Ｂに反映させるという方法がある。 かかるWrapデフォメーションによる計算例は、次の通りである。

【０００９】モデルＡ、モデルＢの頂点数を共に６とすると、 モデルＡの頂点１（Ｘ座標）＝ ｗ ₁ xモデルＢ頂点１
（Ｘ座標）＋ｗ ₂ xモデルＢ頂点２（Ｘ座標）＋ｗ ₃ xモデルＢ頂点３（Ｘ座標）＋ｗ ₄ xモデルＢ頂点４（Ｘ座標）
＋ｗ ₅ xモデルＢ頂点５（Ｘ座標）＋ｗ ₆ xモデルＢ頂点６
（Ｘ座標） モデルＡの頂点１（Ｙ座標）＝・・・上記と同様・・ モデルＡの頂点１（Ｚ座標）＝・・・上記と同様・・ 但し、ｗ _n （n＝１〜６）はモデルＢの各頂点からモデルＡの特定頂点への重み係数である。

【００１０】上記の計算例から理解できる様に、モデル相互の頂点数が少ない場合（１０点程度）では計算量は多くなく、無理なく計算動作が可能である。 しかし、一般の３ＤＣＧで使用される顔モデルのように１０００点から１０数万点の頂点数となる場合は、計算量が膨大となり、現在のパーソナルコンピュータではほとんど現実的な結果は得られない。

【００１１】

【発明が解決しようとする課題】かかる従来のアニメーション生成方法における制作者による作業量並びに計算処理が大きくなるという問題に鑑み、本発明の目的は、
複雑な設定なしに容易にアニメーション画像をＣＧにより生成可能とする、特に、複数種の顔面アニメーション画像をＣＧにより生成するのに好適なアニメーション画像の生成プログラムを提供することにある。

【００１２】さらに、本発明の目的は、パーソナルコンピュータによって容易に計算処理が可能なアニメーション画像をＣＧにより生成可能とするプログラムを提供することにある。

【００１３】

【課題を解決するための手段】上記の本発明の課題を達成するアニメーション画像の生成プログラムの第１の態様は、記憶媒体に格納された標準モデルの特定頂点と前記記憶媒体に格納されたユーザーモデルの特定頂点とを選択制御し、前記選択された標準モデルの特定頂点を第一の目標点とし、前記ユーザーモデルの特定頂点を第二の目標頂点として、前記第一の目標頂点を前記第二の目標頂点に対応付けるように制御し、演算手段により、前記第一の目標頂点の座標を、前記第二の目標頂点の座標に近似するように制御して、フィッティング情報を生成させ、前記記憶媒体に格納された標準モデルのアニメーションデータと前記フィッティング情報とに基づき、前記ユーザーモデルをアニメーション処理することを特徴とする。

【００１４】上記の本発明の課題を達成するアニメーション画像の生成プログラムの第２の態様は、第１の態様において、前記フィッティング情報に基づき、前記標準モデルの頂点を、前記標準モデルの形状が前記ユーザーモデルの形状に禁じするように制御することを特徴とする。

【００１５】さらに、本発明の課題を達成するアニメーション画像の生成プログラムの第３の態様は、第１の態様または第２の態様において、前記フィッティング情報に、更にテキストもしくは音声データ入力に対応した変形を定義することを特徴とする。

【００１６】また、本発明の課題を達成するアニメーション画像の生成プログラムの第４の態様は、第１〜第３
の態様のいずれかにおいて、前記頂点の近似制御をアフイン変換により行うことを特徴とする。

【００１７】さらにまた、第４の態様において、前記アフイン変換を複数回に分けて実行するように制御することを特徴とする。

【００１８】さらに、本発明の課題を達成するアニメーション画像の生成プログラムの第６の態様は、記憶装置に格納された基準となる標準モデルの顔面画像の目標点を有するワイヤーフレームと、ユーザーモデルの顔面画像の読み出しを制御し、ユーザにより設定される前記ワイヤーフレームによる前記ユーザーモデルの顔面画像に座標位置を特定するようにＣＰＵを制御し、前記ワイヤーフレームにより特定されるユーザーモデルの顔面画像の目標座標に前記標準モデルの目標点座標をＣＰＵによりアフイン変換させてフィッティング情報を生成させ、
前記フィッティング情報に基づき、前記標準モデルの顔面画像のアニメーションプログラムを実行可能とすることを特徴とする。

【００１９】また、上記の本発明の課題を達成するアニメーション画像の生成プログラムの第７の態様は、第６
の態様において、前記ユーザーモデルの顔面画像の目標座標への前記標準モデルの目標点座標のアフイン変換を複数回に分けて実行するように制御することを特徴とするアニメーション画像の生成プログラム。

【００２０】本発明の課題を達成するアニメーション画像の生成プログラムの第８の態様は、第６の態様において、さらに、前記アフイン変換された標準モデルの顔面画像の頂点から前記ユーザーモデルにレイ（ＲＡＹ）を飛ばし、前記ユーザーモデルとの投影点を新たな頂点として前記標準モデルの三角形を補正することを特徴とする。

【００２１】上記の本発明の課題を達成するアニメーション画像の生成プログラムの第９の態様は、第６の態様において、前記フィッティング情報に更に、入力されるテキストもしくは、音声に対応した口の動きの（変形）
を定義することを特徴とする。

【００２２】更に、上記の本発明の課題を達成するアニメーション画像の生成プログラムの第１０の態様は、第９の態様において、前記デフォメーションの定義として、前記ユーザーモデルから標準モデルにレイを飛ばし、前記標準モデルとの交点を投影点とし、前記投影点を内包する標準モデルの三角形の前記入力されるテキストもしくは、音声に対応する変形の前後の頂点により得られるアフイン変換行列と、前記投影点との積から移動ベクトルを算出し、前記移動ベクトルを前記対象としている投影点に対応するユーザーモデルの頂点に加算して変形させるように前記ＣＰＵを制御することを特徴とする。

【００２３】更にまた、上記の本発明の課題を達成するアニメーション画像の生成プログラムの第１１の態様は、記憶媒体に格納された標準モデルの特定位置の座標と前記記憶媒体に格納されたユーザーモデルの特定位置の座標とを選択制御し、前記選択された標準モデルの特定位置の座標を第一の目標点とし、前記ユーザーモデルの特定位置の座標を第二の目標点として、前記第一の目標点を前記第二の目標点に対応付けるように制御し、演算手段により、前記第一の目標点の座標を、前記第二の目標点の座標に近似するように制御して、フィッティング情報を生成させ、前記記憶媒体に格納された標準モデルのアニメーションデータと前記フィッティング情報とに基づき、前記ユーザーモデルをアニメーション処理することを特徴とする。

【００２４】以下に図面に従い説明される発明の実施の形態例から、さらに本発明の特徴が明らかになる。

【００２５】

【発明の実施の形態】図１は、本発明のアニメーション画像生成プログラムを実行する一般的なパーソナルコンピュータシステムの構成例ブロック図である。

【００２６】なお、以下の実施の形態例においては、アニメーション画像として、発話に対応した顔の動きを表示する顔面アニメーションを例にして説明するが、本発明の適用はこれに限定されるものではない。

【００２７】図１の構成において、本発明の適用例としての顔面アニメーション画像生成プログラムのデータを演算するＣＰＵ１，作業用メインメモリ２，顔面アニメーション画像生成プログラムを格納するハードディスクを含む補助記憶装置３を有する。

【００２８】さらに、ＣＧ製作者によるコマンド等の入力のためのキーボード等の入力装置４及び、作業中及び完了後の画像及び音声を表示する、ディスプレイモニタ及びスピーカを含む表示装置５が接続される。

【００２９】本発明の適用例である顔面アニメーション画像生成プログラムは、その一部として標準モデルについての顔面アニメーション画像プログラムが既に作成され、補助記憶装置３に格納されている。

【００３０】すなわち、標準モデルにより、所定の発話に対応した口の動きを表すアニメーション及び、感情に対応した顔面の変化を表す複数のアニメーション生成アルゴリズムが用意されている。 ここで、標準モデルによるアニメーション画像の生成の手法は、例えば、著書「３Ｄフェイシャル・アニメーション頭部の造形＆リップシンクテクニック」ビル・フレミング著、風工舎等に記載され、更に既に市販されている例えば、Maya：Alis
Wavefront.co. 製品、SoftImage：Arid co.製品、3D S
tudio：Distreet.co製品等のプログラムを使用して、標準モデルによるアニメーション画像の生成が可能である。

【００３１】さらに、顔面アニメーション画像生成プログラムの一部として顔面の特定位置を指定できるワイヤーフレームデータが補助記憶装置３に格納されている。

【００３２】さらに、ＣＧ作成者は、登場するキャラクモデルに対応したモデル顔面画像を生成し、その画像データを用意しておくことが必要である。

【００３３】つぎに、上記を前提として本発明の顔面アニメーション画像生成プログラムによる顔面アニメーション画像生成の工程を説明する。

【００３４】図２は、本発明の顔面アニメーション画像生成プログラムによる顔面アニメーション画像生成の工程の一実施例を示すフロー図である。 かかるフロー図の工程は、補助記憶装置３に格納された顔面アニメーション画像生成プログラムによりＣＰＵ１を制御して実行される。

【００３５】図２において、ＣＧ作成者は、入力装置４
により複数のユーザーモデルの一つを選択する（処理工程Ｐ１）。 ついで、ワイヤーフレーム表示の指示を行う（処理工程Ｐ２）。

【００３６】表示されたワイヤーフレームを用いてフィッティング情報ファイルを作成する（処理工程Ｐ３）。

【００３７】ここで、フィッティングとは、標準モデルＡの画像を選択されたユーザーモデルＢの画像に座標変換することを意味する。

【００３８】図３は、フィッティング情報ファイルを作成する詳細フロー図である。 フィッティング情報の作成のために先ず目標情報を作成する（処理工程Ｐ３−
１）。

【００３９】図４に示すように標準モデルＡの特定位置（目標点）、例えば標準モデルＡの顔面の特定位置として、顔の輪郭、眉毛，目、鼻、口等の部位を、ユーザーモデルＢの画像の対応部位に目標位置として対応づける。

【００４０】図５は、標準モデルＡの特定位置（目標点）を示すワイヤーフレームＦをユーザーモデルＢに合わせた状態を示す図である。 ＣＧ作成者は、標準モデルＡの特定位置（目標点）を示すワイヤーフレームＦを用い、図５ａに示すユーザーモデルＢに重ねる様に変形して、図５ｂに示すように標準モデルＡの特定位置をユーザーモデルＢの画像に対応づけ、目標情報ファイル（ao
p：auto-fitting outline position）を得る。

【００４１】次いで、この目標情報ファイルで特定されるユーザーモデルＢの目標座標に標準モデルＡの座標をアフイン変換する（処理工程Ｐ３−２）。 この時、標準モデルＡとユーザーモデルＢの目標座標までの距離を実施例として１０分割し、１０ステップで徐々にアフイン変換していく（処理工程Ｐ３−２１〜Ｐ３−２３）。 これにより大きな変形により誤差を生じることが回避される。

【００４２】図６は、このアフイン変換を徐々に行う様子を示す図である。 標準モデルＡのワイヤーフレームＦ
で特定される複数の目標点をユーザーモデルＢに対応付けるように、１０ステップに分けて徐々にアフイン変換によって、近づけていく。

【００４３】図６において示されるaopファイル内部は、ユーザーモデルＢの複数の目標点の３次元座標を示している。 この座標は、先に説明したようにワイヤーフレームＦで特定される目標店の座標に対応する。

【００４４】ここで、図７によりアフイン変換について説明する。 いま、図７において、三角形Ａ（標準モデルに相当）を三角形Ｂ（ユーザーモデルに相当）にアフイン変換することを考える。 三角形Ａは、３つの頂点座標（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）を有している。 内部の点Ｐは、これら３頂点の座標から特定される。 三角形Ｂは、３つの頂点座標（ｘ１Ｂ，ｙ１Ｂ）
（ｘ２Ｂ，ｙ２Ｂ）（ｘ３Ｂ，ｙ３Ｂ）を有している（図７Ａ参照）。

【００４５】先ず三角形Ａの頂点（ｘ１，ｙ１）を三角形Ｂの頂点（ｘ１Ｂ，ｙ１Ｂ）との距離の１／１０の点にある座標点（ｘ１'，ｙ１'）に移動し（図７Ｂ参照）、次いで、同様に第２の頂点（ｘ２，ｙ１）を（ｘ
２'，ｙ２'）に移動し（図７Ｃ参照）、更に第３の頂点（ｘ３，ｙ３）を（ｘ３'，ｙ３'）に移動する（図７Ｄ参照）。

【００４６】この過程を１０回繰り返すことにより、三角形Ａが、三角形Ｂに移動する。 これに対応して合計３
０回のアフイン変換後に内部の点Ｐも図７Ｄに示すように三角形Ｂの内部に移動する。

【００４７】ここで、アフイン変換を式で表すと次のようである。

【００４８】同一平面上にある３点を行列に直すと、 |x1 x2 x3 | |y1 y2 y3 | |1.0 1.0 1.0 | これら三点をアフィン行列Tで移動した点を行列に直すと、 |x' x2 x3 | |y' y2 y3 | |1.0 1.0 1.0| この三点も同一平面上の点である。

【００４９】以上から|x1 x2 x3 | |x' x2 x3 | T＊ |y1 y2 y3 | = |y' y2 y3 | |1.0 1.0 1.0 | |1.0 1.0 1.0 | よってアフイン変換行列Tは、 |x' x2 x3 | |x1 x2 x3| −１ T =|y' y2 y3 | ＊ |y1 y2 y3| |1.0 1.0 1.0| |1.0 1.0 1.0| となる。

【００５０】但し：|x|-1は行列ｘの逆行列を表す。

【００５１】図３において、フィッティングを精度よく行うための微調整処理を行う（処理工程Ｐ３−３、Ｐ３
−４）。 これは、顔面モデルの各器官（目、鼻、口、
眉）等を詳細に表現することが必要であるためである。

【００５２】図８A,８Ｂは、これを説明する図である。
図８Ａは、先に説明したアフイン変換により標準モデルＡを、ユーザーモデルＢにフィティングした状態を示す図である。 ユーザーモデルＢの目標座標Ｔ１〜Ｔ４に標準モデルＢの対応する目標点を合わせている。

【００５３】このとき、ユーザーモデルＢに対し、標準モデルＡの目標点Ｐ０が、突き出た状態になっている。
したがって、さらに微調整する必要がある。

【００５４】図８Ｂは、この突き出た頂点Ｐ０を微調整することを説明する図である。 図８Ｂにおいて、標準モデルＡの突き出た頂点Ｐ０から垂直に、ユーザーモデルＢにレイ（ＲＡＹ）を飛ばし、その先端とユーザーモデルＢとの交点を投影点Ｐ１とする（処理工程Ｐ３−
３）。 したがって、これにより頂点Ｐ０と頂点Ｔ１〜Ｔ
４で形成される三角形は、頂点Ｐ１と頂点Ｔ１〜Ｔ４で形成される三角形に変形され、よりユーザーモデルＢに近似される（処理工程Ｐ３−４）。

【００５５】これにより、標準モデルＡのアニメーションの動きに対応してユーザーモデルＡに同様の動きを与えることが可能である。

【００５６】図９は、フィティング処理前の標準のモデルＡとユーザーモデルＢのフレーム画像である。 また、
図１０は、フィティング処理後の標準のモデルＡとユーザーモデルＢのフレーム画像である。 これらの図を比較すると、図１０において標準モデルＡはフィッティング前のユーザーモデルＢに近似されたフレーム画像を示している。

【００５７】図１１は、フィッティング後のユーザーモデルＢにフィッティングされた３次元画像であり、図１
２は、図１１のユーザーモデルＢの３次元画像を回転して斜めから見た図である。

【００５８】上記のようにユーザーモデルＢに標準モデルＡをフィッティングしたデータを用いて、標準モデルＡのアニメーション画像生成プログラムを適用することによりユーザーモデルＢのアニメーション画像を容易に得ることが可能である。

【００５９】更に、標準モデルＡの複数のユーザーモデルＢに対して同様にフィッティング行うことにより、複数のユーザーモデルのアニメーション画像を容易に生成することができる。

【００６０】次に、オペレータにより入力されるテキストあるいは音声に対応したモデルの口の動きのアニメーションを与えることが重要である。 このために図２において、発話に対応してユーザーモデルに変形（デフォメーション）の定義を与える処理（処理工程Ｐ４）が行われる。

【００６１】図１３は、このデフォメーション定義を与える処理（処理工程Ｐ４）の詳細動作フロー図である。
図１４は、この動作フローに対応する説明図である。

【００６２】図１３において、図１４Ａに示すようにユーザーモデルＢから標準モデルＡにレイ（ＲＡＹ）を飛ばす（処理工程Ｐ４−１）。 このとき、飛ばしたレイと標準モデルとの交点を投影点ＰＲとする（処理工程Ｐ４
−２）。

【００６３】このとき、テキストや音声により標準モデルＡの顔面がアニメーション（変形）する（処理工程Ｐ
４−３）。 これにより、標準モデルＡのアニメーションによって、投影点ＰＲを内包する標準モデルＡの三角形（図１４Ｂにおいて、頂点ａｂｃを有する三角形）が変形する（処理工程Ｐ４−４）。

【００６４】変形後の三角形の頂点a'b'c'と、変形前の三角形の頂点ａｂｃの６頂点によりアフイン変換行列が求まる。 このアフイン変換行列と投影点の積からと投影点の移動ベクトル（ＰＲ→ＰＲ'）が取得できる（処理工程Ｐ４−６）。

【００６５】この移動ベクトルを、現在対象としている投影点ＰＲに対応するユーザーモデルの頂点（レイを飛ばした頂点）に加算して、図１４Ｃに示すように、ユーザーモデルを変形して、アニメーションとさせる（処理工程Ｐ４−７）。

【００６６】次に、図２に戻り説明すると、このように生成されたアニメーションアルゴリズムにおいて、発話データにその発話時のユーザーモデルの感情をパラメータとして付加する（処理工程Ｐ５）すなわち、ユーザーモデルの発話時の怒り、悲しみ、笑い等の感情に対応しても顔面に表情としての変形が現れる。 したがって、あらかじめ、ユーザーモデルの感情に対応する複数のパラメータをアニメーション作成モードとして用意しておく。 これを上記に生成されたユーザーモデルにモードに対応して選択する（処理工程Ｐ５）。

【００６７】このようにして得られたユーザーモデルに基づいて、標準モデルのアニメーション作成プログラムを実行することにより、任意のユーザーモデルに対して容易にアニメーション画像を生成することが可能である。

【００６８】

【発明の効果】上記に図面に従い、実施の形態を説明したように本発明の適用により、複数のアニメーション画像を、標準モデルのアニメーション生成アルゴリズムから容易に得ることができる。 さらに、複数種の異なるユーザーモデルに対しても同様にアニメーション画像を生成することが可能である。

【図面の簡単な説明】

【図１】本発明の顔面アニメーション画像生成プログラムを実行する一般的なパーソナルコンピュータシステムの構成例ブロック図である。

【図２】本発明の顔面アニメーション画像生成プログラムによる顔面アニメーション画像生成の工程の一実施例を示すフロー図である。

【図３】フィッティング情報ファイルを作成する詳細フロー図である。

【図４】フィッティング情報ファイルを作成を説明する図である。

【図５】標準モデルＡの特定位置（目標点）を示すワイヤーフレームＦをユーザーモデルＢに合わせた状態を示す図である。

【図６】アフイン変換を徐々に行う様子を示す図である。

【図７】アフイン変換を説明する図である。

【図８】フィッティングにおける微調整処理を説明する図である。

【図９】フィティング処理前の標準のモデルＡとユーザーモデルＢのフレーム画像である。

【図１０】フィティング処理後の標準のモデルＡとユーザーモデルＢのフレーム画像である。

【図１１】フィッティング後のユーザーモデルＢにフィッティングされた３次元画像である。

【図１２】図１１のユーザーモデルＢの３次元画像を回転して斜めから見た図である。

【図１３】デフォメーション定義を与える処理（処理工程Ｐ４）の詳細動作フロー図である。

【図１４】デフォメーション定義を与える処理（処理工程Ｐ４）動作フローに対応する説明図である。

【符号の説明】

１ ＣＰＵ ２ メインメモリ３ 補助記憶装置４ 入力装置５ 表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森島 繁生 東京都武蔵野市吉祥寺北町３−３−１ 成 蹊大学工学部内Ｆターム(参考） 5B050 BA08 BA09 BA12 CA07 EA13 EA19 EA24 EA27 EA30 FA02 FA10