【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は手話アニメーションを用いて情報の伝達を行う装置に係り、特に手話アニメーションデータの編集装置に関する。

【０００２】

【従来の技術】手話を聴覚障害者に対する情報提供の手段として、ＣＧによるアニメーションで表示する際、手話の動きを表す時系列データから、ＣＧ上の人体モデルを動かす技術に関しては、文献（時系列データを用いた手話アニメーション生成方法の検討、崎山他、日本手話学会第２０回大会講演論文集）によって知られている。
従来、手話アニメーションを編集する際には、手話文を単位としてアニメーション作成のための時系列データを作成するか、もしくは手話文を構成する手話単語を単位として時系列データを用意しておき、これをつなぎ合わせてアニメーションを生成していた。 前者の場合はアニメーションデータの再利用が困難であるため不経済である。 また後者の場合は時系列データの再利用性は高まるが、手話文において手話単語間にまたがる表情や身振り等の情報の付加が困難であるという欠点がある。 さらに時系列データの作成時、あるいは手話文に対する時系列データの編集時に、手の位置や向きや形状等を表すパラメタを変更するには、その値を直接書き換えることにより行っており、これらの作業を容易にするインタフェースがなかった。 このようにＣＧアニメーションを生成するための時系列データを効率的に作成する技術に関しては、まだ実現されていない。

【０００３】

【発明が解決しようとする課題】まず第一に、手袋型センサ（例えばＶＰＬ社のデータグローブ）から入力されるデータをもとに手話アニメーションデータを作成すると、手話として読み取る際に障害となるノイズが含まれることがある。 また手話単語「赤」と「白」のように、
口を指差したときにその口が閉じているか開いているかにより異なる手話単語となる場合がある。 さらに疑問文では不思議そうな表情をするなど、手袋型センサから入力される手動作のみから、読み取りやすい手話アニメーションデータを記述することは難しい。 さらにいくつかの手動作を組み合わせて構成される手話単語は数多く、
同じ手動作を用いる手話単語に対して個別に手動作のデータを登録しておくのは記憶容量に対する効率も悪く、
手動作の修正に対する一貫性も保証されない。 第二に、
手袋型センサを用いて入力された手動作データには誤差が含まれることも多く、データ入力後に修正が必要となる。 この時、時系列データを構成する各フレームに対して個別に数値を割り当てて修正するのは、効率が悪く、
アニメーション作成の上でのボトルネックとなる。 さらにわかりやすい手話アニメーションを作成するためには手動作以外の情報も手動作の編集作業と同様、容易に付加できることが必要である。 第三に、手話単語データを組み合わせて手話文のアニメーションを作成した時、単語を表現する場合と同じリズムで手話文全体を表現すると、非常にわかりにくいアニメーションとなる。 実際の手話表現では、単語間にさまざまな長さのポーズが挿入されることにより、抑揚が付けられている。 また手話の特徴として、手動作を表現する位置を変化させることにより、登場人物を区別することが挙げられる。 これを表現するためには、予め登録された手話単語データの手動作の位置を文脈によって変更する必要がある。

【０００４】本発明の目的は、手動作以外の情報を表現する効率的な枠組みに従って、わかりやすい手話アニメーションデータを作成する手話編集装置を提供することである。 本発明の他の目的は、不完全な手動作データに対する修正と、手動作以外の情報の付加が容易な手話編集装置を提供することである。 本発明のさらに他の目的は、手話単語毎に用意したアニメーションデータを組み合わせて手話文のアニメーションを作成するときに、文脈によって必要となる修正作業が容易に行える手話編集装置を適用することである。

【０００５】

【課題を解決するための手段】上記目的を達成するため、本発明は、手話アニメーションを生成するための時系列データの作成、および時系列データの編集をＣＧによる手話のアニメーションの表示を見ながら行う手話編集装置であって、手の動きを電気信号に変換することにより手話の手動作に関する情報を時系列データとして入力する手段と、手話の手動作を表す時系列データに対する見出しを入力する手段と、入力した手動作を表す時系列データに対して、入力手段による指示に従い手の位置、向き、形状に関して微修正を行い、手話として自然に見えるように手動作の修正を行う手段と、該修正した手動作を表す時系列データを登録する手段と、手話単語データを構成すべき１以上の前記登録された手動作を表す時系列データを読み出す手段と、前記読み出した時系列データに入力手段による指示に従い手話単語を表現するために必要な手動作以外の情報を付加して時系列データからなる手話単語データを生成する手段と、手話単語データに対する見出しを入力する手段と、前記生成した手話単語データを登録する手段を備えるようにしている。 また、前記手動作以外の情報を口形、表情、身振り（上半身や頭部の動き等）の時系列データとしている。
さらに、手話の文章を作成するために必要な前記手話単語データを読み出す手段と、前記読み出した手話単語データの時系列データに入力手段による指示に従い修正を加え、また手話の文章を適切に表現する際に必要となる情報を付加して文章に対する手話を表現する時系列データを作成する手段と、作成した手話の文章に対する時系列データを保存する手段と、手話を表現する時系列データに基づき人間が手話を行う際の手の動きなどをコンピュータグラフィックス（ＣＧ）によるアニメーションとして生成する手段と、該生成したアニメーションを表示する手段を備えるようにしている。 また、前記文章に対する手話を表現する時系列データを作成する手段は、入力手段による指示に従い手話の文章を適切に表現する際に必要となる情報として複数の手話単語にまたがる口形、表情、身振りの手動作以外の時系列データを付加するようにしている。 また、前記文章に対する手話を表現する時系列データを作成する手段は、ある範囲のアニメーションの手の動きを滑らかにするべく、入力手段により入力される時系列データの手動作に関する部分の前記範囲の始点と終点との指定および手動作の修正指示に従い、時系列データの手動作に関する部分を連続的に滑らかになるよう変化させるようにしている。 また、前記文章に対する手話を表現する時系列データを作成する手段は、ある範囲のアニメーションの手話の動作を変更するべく、入力手段により入力される時系列データの手話の動作の前記範囲の始点と終点との指定および手動作、口形、表情、身振りに対する指示に従い、アニメーションの手話の動作を変更させるようにしている。 さらに、入力手段による手話単語間のポーズとその長さを表わす符号の指定に従って手話単語の時系列間にポーズを挿入する手段を備え、手話を表現するアニメーションに抑揚を付与するようにしている。 さらに、入力手段による伸縮率と時系列データの範囲の指定に従い、指定された範囲の時系列データの手動作の軌跡が占める空間の大きさを指定された伸縮率により変更する手段を備えるようにしている。 また、前記手話単語データを生成する手段は、
入力手段による指示に従い、口形に関するデータを予め登録したサンプルから選択することにより、編集対象の時系列データに付加するようにしている。 さらに、前記手話単語データを生成する手段は、入力手段による指示に従い、時系列データへの口形データの割り付け方として、時系列データの先頭に付加する、時系列データ全体にわたり均等に付加する、時系列データの中央に付加する、時系列データの終端に付加するのうちのいずれかを選択できるようにしている。 また、前記手話単語データを生成する手段は、入力手段による指示に従い、表情に関するデータを予め登録したサンプルから選択することにより編集対象の時系列データに付加するようにしている。 また、前記手話単語データを生成する手段は、入力手段による指示に従い、身振りに関するデータを予め登録したサンプルから選択することにより、編集対象の時系列データに付加するようにしている。

【０００６】

【作用】手話単語に対するアニメーションデータを手動作の組み合わせで表現することにより、同じ手動作を含む手話単語間でデータの共有ができ、記憶領域を少なくすると共に、手動作の修正による手話単語間の首尾一貫性が保存される。 また手話文に対するアニメーションを作成する際に、表情、口形、身振りデータを複数の手話単語にまたがって指定できるようにすることにより、より自然な手話文アニメーションの作成が可能となる。 アニメーションデータの修正を容易にするインタフェースを提供することにより、手話をアニメーションで表示させたときにボトルネックとなっていたアニメーションデータの作成作業を簡単化できる。 また表情、口形、身振りなどの情報を予め登録しておいたデータからの選択方式にすることにより、簡単に手話アニメーションデータを作成することができる。 手話単語データを組み合わせて手話文のアニメーションを作成するとき、単語間に間合いを容易に挿入できるようにし、文脈による手話単語データに対する修正を容易にすることにより、わかりやすい手話文アニメーションが作成できるようになる。

【０００７】

【実施例】以下、本発明の一実施例を図１から図３４を用いて説明する。 図１は本発明の一実施例の全体概念図である。 １０１は手話をＣＧによるアニメーションによって表現する際に、手話における手の動きを電気的な信号に変換して時系列データとして入力するための手袋型センサ、１０２は手袋型センサ１０１より手話の単語単位に入力された手の動きに関するデータを修正し、さらに表情や口形、あるいは頭や上体の向きといった手の動き以外の情報を加え、手話のアニメーションを見やすくするために時系列データの加工を行う手話単語データ編集装置、１０３はＣＧによるアニメーション生成のために、手話単語データ編集装置１０２によって手話単語単位に作成された時系列データを保存する手話単語辞書、
１０４は手話単語編集装置において編集された時系列データをもとに、ＣＧの人体モデルを合成し、手話の動きを表現する手話アニメーション合成装置、１０５は手話のＣＧによるアニメーションを表示するためのモニタ、
１０６は文字を入力するためのキーボード、１０７はキーボード１０６から入力された手話単語の並びにもとづき、手話単語単位の時系列データが保存されている手話単語辞書１０３から必要な手話単語に関する時系列データを取り出し、さらに手の動きの修正や、表情や口形、
頭や上体の動きなどの情報を付加し、手話の文に対する時系列データを作成する手話文データ編集装置、１０８
は手話時系列データ編集装置１０７において作成された、手話の文に対する時系列データを保存しておく手話文辞書である。

【０００８】図２は本発明の一実施例のハードウェア構成図である。 ２０１は種々のプログラムを制御し、ＣＧ
による手話アニメーションの生成のための情報処理を行う演算装置、２０２は、手話編集装置への命令の入力や、手話単語毎に付けられた見出しの入力を行うキーボードとマウス、２０３はキーボードとマウス２０２から入力されたデータを解釈、計算機可読形式に変換する入力装置、２０４は手の動きを電気的な信号として計算機に入力するための手袋型センサ、 ２０５は手袋型センサ２０４から入力された電気的な信号を計算機可読な時系列データに変換するパタン入力装置、２０６はＣＧによる手話アニメーションを表示するモニタ、２０７はモニタ２０６に表示するＣＧデータを作成する出力装置、
２０８は手の動きを入力する際に２０４および２０５を制御する手動作入力プログラム、２０９は手袋型センサ２０４から入力した手の動作に関する時系列データに対して、修正を施したり、あるいは手の動き以外の情報を付加したりして手話単語毎の時系列データを生成する手話単語データ編集プログラム、２１０は手話単語データ編集プログラム２０９で用意した手話単語毎の時系列データを用いて、手話の文に対するＣＧアニメーションを編集するための手話時系列データ編集プログラム、２１
１は手話単語データ編集プログラム２０９や手話時系列データ編集プログラム２１０で作成した時系列データからＣＧの人体モデルを合成し、出力装置２０７を制御する手話アニメーション合成プログラム、２１２は手話単語データ編集プログラム２０９、手話時系列データ編集プログラム２１０で手話単語、手話の文に対する時系列データを生成する際に用いる口形、表情、身振りに関するデータ、２１３は手袋型センサ２０４から入力し手話単語データ編集プログラム２０９を用いて修正を施し保存された手の動作に関する時系列データ、２１４は手話単語データ編集プログラム２０９で作成した手話単語毎の時系列データを保存した手話単語単位の時系列データ、２１５は手話時系列データ編集プログラム２１０で作成した手話の文に対する時系列データを保存した手話表示用時系列データである。 ２１６は２０８から２１５
までのプログラムおよびデータが記憶されているメモリ装置である。 ここで２０４の手袋型センサと２０５のパタン入力装置は、例えばＶＰＬ社のデータグローブおよびそのインタフェースを用いることにより、その機能を果たすことができる。

【０００９】次に図３から図１０を用いて手話アニメーション作成のための時系列データに関して説明する。 図３は手話文に対する時系列データと手話単語に対する時系列データとの関係、および手話単語に対する時系列データの内容を表したものである。 ３０１は「私は病院に行きたい。」という手話文に対するデータを表している。 ３０２は３０１を構成する手話単語「私」、３０２
は同じく手話単語「病院」、３０３は同じく手話単語「行く」、３０４は同じく手話単語「好き」で、この順序に並ぶことにより３０１の手話文を表現できる。 手話単語は手動作、口形列、表情、身振りの各データから構成される。 身振りとは手以外の体の動き、具体的には頭部の傾き、回転と上体の傾き、回転のことを指す。 図３
において３０６は手話単語「病院」を構成する手動作が「脈」という手話単語の手動作と「建物」という手話単語の手動作の組み合わせにより構成されることを表す。
３０７は手話単語「病院」に対するアニメーションの口の動きが、「びょ」、「う」、「い」、「ん」という四つの口形データから構成される口形列によって表現されることを表す。 ３０８は手話単語「病院」に対する時系列データには、その前の手話単語「私」から単語間にまたがって「困惑」という表情データが割り当てられていることを表す。 ３０９は手話単語「病院」に対する時系列データには、その前の手話単語「私」から手話単語「病院」の途中までに、身振りデータとして首をかしげる（ように頭部の傾きを変化させる）ことが割り当てられていることを表す。

【００１０】図３で取り上げた手話単語「病院」のように、複数の手話単語（「脈」、「建物」）を表す手の動きから構成される単語が手話には多い。 これらに対して同じデータをそれぞれ保持しておくのは効率が良くない。 すなわち、手話単語「脈」には「脈」の手動作データを、「建物」には「建物」の手動作データを、「病院」には「脈」の手動作データと「建物」の手動作データを保持しておくのは、手動作データをだぶって保持することになり、効率が良くない。 そこである意味をもつ手の動きを単位に、手動作データをまとめ、この手動作の組合せで手話単語を表現する。 口形に関しては、五十音等を単位としてサンプルを作成しておき、これを選ぶことにより手話単語、手話文に対する時系列データを作成する。 表情、身振りに関しても口形と同様に、サンプルデータを用意しておき、これを選択することにより手話単語、手話文の時系列データを作成する。 これによりユーザは、口形、表情、身振り等の付加情報を最初から作成することなしに、容易にＣＧによるアニメーションのための時系列データを作成することが可能となる。

【００１１】図４は図３で述べた各データを保存しておく辞書の構成と辞書間の関係を表したものである。 ４０
１は手話単語毎に登録された時系列データを組合せ、これに文脈に依存する情報等を付加した手話文に対する時系列データを保存しておく生成用手話文辞書、４０２は手話単語毎に対する時系列データを保存しておく手話単語辞書、４０３はアニメーションの人体モデルの口の動きを表現するために用いる口の形を表す口形データを保存しておく口形辞書、４０４はアニメーションの人体モデルの顔の表情を表現するために用いる、表情データを保存しておく表情辞書、４０５はアニメーションの人体モデルの手以外の動作を表現するために用いる、頭の向き、傾き、上体の向き、傾きを表す身振りデータを保存しておく身振り辞書、４０６は手袋型センサを用いて入力したデータに修正を施すことにより作成した人体モデルの手の動作を表す手動作データを保存しておく手動作辞書である。 手話単語データは、手動作データと口形データ、表情データ、身振りデータから構成され、手話文データは手話単語の組合せによって表現されることを示している。 ４０７は日本語の単語と手話単語の見出しを対応付ける日本語・手話変換テーブルである。 例えば手話では、飲むという概念を表す場合、ビールやお酒といった目的格まで含めて一つの動作として表現することがある。 この時の手話単語の見出しとしては「飲む（ビール）」というような記述を用いるが、これを日本語の単語見出し「飲む」と対応付ける。

【００１２】次に図５から図１０までを用いて手話アニメーション作成のための時系列データの形式について説明する。 図５は手話文に対する時系列データの形式を表している。 ５０１はその手話文を識別するためにつける手話文ラベルである。 「自動券売機の操作案内」といったような、ある場面で使用される文をまとめておき、そのまとまりの何番目の文という形式で与える。 ５０２は手話文の内容を日本語で記述した日本語（対訳）、５０
３は手話文に対する時系列データを構成する手話単語（例えば、「おつり」）に対する時系列データの見出しであり、この例の場合、見出しは「おつり」となる。 ５
０４は手話文に対する時系列データを構成する手動作データの数、５０５は手話文を構成する手動作に関する時系列データを手話文における登場順に並べた時の手動作データの見出しであり、例えば、手話文中に手話単語「病院」があるとき、手話文を構成する手動作には「脈」と「建物」があり、この場合の手動作データの見出しは「脈」と「建物」になる。 これは手話単語見出し５０３を指定することによって決まる。 ５０６は手話文に対する時系列データの口形に関する情報を表す口形データへのポインタ、５０７は手話文に対する時系列データの表情に関する情報を表す表情データへのポインタ、
５０８は手話文に対する時系列データの身振りに関する情報を表す身振りデータへのポインタである。 ５０９は手話単語見出し５０３を指定し、手話単語に対する時系列データを並べて手話文に対する時系列データを構成した後、文脈に依存した手動作の修正によって生じた元の手動作に関する時系列データからの変化分を保持しておく変更データである。

【００１３】図６は手話単語に対する時系列データの形式を表している。 ６０１は手話単語見出し、６０２は手話単語を対応する日本語単語で表した日本語見出し、６
０３は手話単語を構成する手動作に関する時系列データの数、６０４は手話単語の時系列データを構成する手動作データをその出現順に記した手動作見出し、６０５は手話単語に付随する口形データへのポインタ、６０６は手話単語に付随する表情データへのポインタ、６０７は手話単語に付随する身振りデータへのポインタである。
６０５から６０７は文脈により決定する要素は除き、手話単語だけから判断できる情報を記述しておく。

【００１４】図７を用いて口形に関するデータの表現形式を説明する。 この表現形式は手話文と手話単語で同様であるので、一緒に説明する。 手話文、手話単語に対するデータにおいて、口形は、「びょ」、「う」、「き」
といったように音節を単位として用意された口形データから口形列データが構成され、この口形列データが、手話文に対する時系列データのある部分に割り付けられることにより表現される。 手話単語に対する時系列データに対しては、一つの口形列データが割り付けられる。 ７
０１は手話文、手話単語の夫々に対して割り付けられる口形列の数である。 手話単語の場合はその全区間に対して口形データが割り当てられるので、口形列数は１となる。 ７０２は実際に手話文、手話単語に対して割り付けられる口形列データへのポインタ、７０３は口形列データの見出しである。 一般に口形は「びょうき」などのように単語を単位としてまとまって表現されるため、単語に対応させて口形列データを持たせる。 ７０４は手話文、手話単語の夫々に対する時系列データにおいて、口形列データが割り付けられる範囲における開始フレームの番号、７０５は口形列データが割り付けられる終端フレームの番号である。 ７０６には７０４、７０５によって指定された区間への口形列データの割り当て方を示し、これにより区間の先頭、中央部、終端部、全体に均等のいずれに表示させるかを選択する。 ７０７には口形を表現する際に、穏やかに口を動かすのか、強調するように口を大きく動かすのかといった違いを表現するために、各口形の動きの大きさを指定する。 ７０８は各口形のデータへのポインタ、７０９は「びょ」、「い」といった音節毎に用意した口形データの見出し、７１０は各口形データが、手話文、手話単語に対する時系列データにおいて割り付けられる範囲の先頭のフレームの番号、
７１１は割り付けられる範囲の終端のフレームの番号を示す。 各口形データは、デフォルトのフレーム長と特徴的な口形を表す一フレーム分のデータ（特徴フレームと呼ぶ）と、特徴フレームがデフォルトのフレーム長を持つ領域において割り付けられる範囲（先頭と終端のフレーム）からなっている。 実際に手話文、手話単語に対する時系列データが割り付けられると、特徴フレームとそれ以外の部分を補間処理により滑らかな動きをするように連続的に変化させる。 ７１２はこの特徴フレームが割り付けられる範囲の先頭のフレームの番号を、７１３は特徴フレームが割り当てられるフレーム範囲のフレーム長を表す。

【００１５】図８を用いて表情データの形式について説明する。 この表現形式も手話文と手話単語で同様であるので、一緒に説明する。 ８０１は手話単語データおよび手話文データにおける表情データへのポインタ５０７、
６０６によって指し示されるＣＧアニメーションに割り付けられる表情を構成する表情データの数を表す。 手話単語の場合は１となる。 表情データも口形データと同様に、その特徴的な一フレーム分のデータと、表情を付加する範囲と特徴フレームを割り付ける範囲を指定し、特徴フレームの前後に補間を施すことにより、顔の各部分が滑らかに動くように時系列データを生成する。 ８０２
は表情辞書中に保存された表情の特徴的な一フレームに対応するデータからなる表情データに対するポインタ、
８０３は表情データの見出し、８０４は時系列データにおいて表情データを割り当てるの範囲の先頭のフレームの番号、８０５は表情データを割り当てる範囲の終端のフレームの番号である。 ８０６は８０４、８０５によって指定された表情を付加する範囲において、特徴的なフレームを割り付ける先頭フレームの番号、８０７は特徴フレームを割り付ける範囲のフレーム数を表す。

【００１６】図９を用いて身振りデータの形式に関して説明する。 この表現形式も手話文と手話単語で同様であるので、一緒に説明する。 頭部の傾き、回転、および上半身の傾きおよび回転からなる身振りデータも、口形データや表情データと同様に、その特徴的な一フレーム分のデータと、身振りを付加する範囲と特徴フレームを割り付ける範囲を指定し、特徴フレームの前後に補間を施すことにより、顔の各部分が滑らかに動くように時系列データを生成する。 ９０１は手話単語データおよび手話文データにおける身振りデータへのポインタ５０８、６
０７によって指し示されるＣＧアニメーションに割り付けられる身振りを構成する身振りデータの数を表す。 手話単語の場合は１となる。 ９０２は身振り辞書中に保存された身振りの特徴的な一フレームに対応するデータからなる身振りデータに対するポインタ、９０３は身振りデータの見出し、９０４は時系列データにおいて身振りデータを割り当てるの範囲の先頭のフレームの番号、９
０５は身振りデータを割り当てる範囲の終端のフレームの番号である。 ９０６は９０４、９０５によって指定された身振りを付加する範囲において、特徴的なフレームを割り付ける先頭フレームの番号、９０７は特徴フレームを割り付ける範囲のフレーム数を表す。

【００１７】図１０と１１を用いて手動作データの形式について説明する。 図１０の１００１は手動作データを識別するための手動作見出し、１００２はこの手動作で使用される手の種類、すなわち両手、右、左のいずれかを表す。 １００３は手動作データを構成するフレームの数を表す時間長、１００４は右手に関する手動作の時系列データ、１００５は左手に関する手動作の時系列データであり、これらの時系列データに関しては図１１を用いて詳細に述べる。 １００６は右肘の開き角度を表す肘位置データで、１００７は左肘の開き角度を表す肘位置データである。

【００１８】図１１を用いて１００４、１００５によって指示された手動作に関する時系列データの形式について述べる。 １１０１は掌の三次元空間内における位置に関するデータ、１１０２は掌の方向に関するデータ、１
１０３は掌の形状に関するデータである。 手の位置に関するデータ１１０１は、ある時間の掌の位置をｘ、ｙ、
ｚの三次元座標軸上の座標値によって記述し、これの連続による時系列データで１１０４のように表現される。
手の方向に関するデータ１１０２は掌の平面に対して垂直なベクトル１１０５と掌の平面上のベクトル１１０６
から構成され、両者とも１１０７、１１０８のようにｘ、ｙ、ｚの三次元ベクトルデータで表現される。 手の形状に関するデータ１１０３は親指１１０９、人さし指１１１０、中指１１１１、薬指１１１２、小指１１１３
を表現するデータから構成され、親指のデータ１１０９
は親指の付け根（第０関節とよぶ）の曲がり角度１１１
４、第１関節の曲がり角度１１１５、第２関節の曲がり角度１１１６、親指の掌と同一平面内での開き角度１１
１７によって表現される。 人さし指のデータ１１１０は人さし指の第１関節の曲がり角度１１１８、第２関節の曲がり角度１１１９、掌平面内での指の開き角度１１２
０の時系列データによって表現される。 中指、薬指、小指に関しても人さし指と同様に１１１８から１１２０までの形式の時系列データによって表現される。

【００１９】図１２は肘の開き角度について表した図である。 ある時点での掌の位置をＴとし１２０１、この時の肩の位置と肘の位置をそれぞれＡ１２０２、Ｆ１２０
３とする。 肩の位置Ａと掌の位置Ｔの中点をＣ１２０４
とすると、肘の位置Ｅ１２０６は、線分ＣＦを半径とし、線分ＡＴに対して垂直な平面に含まれる円周上を動き得るものとし、この時の角度ＥＣＦを肘の開き角度とする。 この角度ＥＣＦを変化させることによりＣアニメーショにおける肘の位置を調節する。

【００２０】図１３は口形辞書内の口形データの形式を示した図である。 １３０１は「あ」、「ば」、「ぎゃ」
などのように音節を単位として用意した口形データを識別するための口形見出しである。 口形をＣＧアニメーションとして表現するには、唇の領域上のいくつかの点を特徴点として着目し、特徴点の座標の組み合わせにより一フレーム分のデータを作成する。 １３０２はこれらの特徴点に関するデータであり、１３０３のようにｘ、
ｙ、ｚの三次元座標軸上の値により表現される。

【００２１】図１４は表情辞書内の表情データの形式を示した図である。 ＣＧアニメーションを作成するための表情データは、左右の眉と目それぞれの位置によって表現する。 １４０１は笑顔、怒った顔などを単位として用意した表情データを識別するための表情見出しである。
１４０２は右の眉の位置に関するデータ、１４０３は右の目の位置に関するデータ、１４０４は左の眉の位置に関するデータ、１４０５は左の目の位置に関するデータである。 ＣＧアニメーションに表情を表現するために口形と同様、眉、目の領域上のいくつかの点を特徴点として、その座標の組み合わせにより一フレーム分のデータを作成する。 右の眉の位置に関するデータ１４０６を表現するために必要な眉の特徴点の数、それぞれの特徴点に関してはｘ、ｙ、ｚの三次元座標軸上の値１４０７として表現される。 左目の位置に関するデータ１４０５についても同様に、目を表現するための特徴点の数１４０
８とそれぞれの特徴点のｘ、ｙ、ｚの三次元座標軸上の値１４０９により表現される。

【００２２】図１５は身振り辞書内の身振りデータの形式を示した図である。 １５０１は身振りデータを識別するための身振り見出しである。 身振りデータは頭部と上半身の向き、角度に関するデータから構成される。 １５
０２は頭部の傾き、回転に関するデータで、これは頭部の左右方向の傾き角度１５０３、頭部の前後方向の傾き１５０４、頭部の回転角度１５０５によって表現される。 １５０６は上半身に関するデータの見出しで、これは上半身の左右方向の傾き角度１５０７、上半身の前後方向の傾き角度１５０８、上半身の回転角度１５０９によって表現される。

【００２３】以上のデータのうち、表情データ、口形データ、身振りデータは予め表情辞書、口形辞書、身振り辞書に用意しておいたサンプルデータをユーザが選択するだけでアニメーションデータを作成できる。

【００２４】次に手話単語毎に登録しておく手話単語に関する時系列データをユーザが作成する際の手順について図１６を用いて説明する。 手話単語データを作成するために、まず手話単語を構成する手動作を指定する（ステップ１６０１）。 例えば「病院」という手話単語を作成するときには、「脈」を意味する手動作と、「建物」
を意味する手動作を指定することにより、手話単語「病院」の手動作に関するデータを記述する。 次にステップ１６０１で指定された手動作に関する時系列データが手動作辞書に登録されているかを調べる（ステップ１６０
２）。 手動作データが手動作辞書に登録されていない場合は、手動作の入力を行い（ステップ１６０３）、入力した手動作データに対して手の位置、手の向き、手の形状や肘の位置に関する修正を施す（ステップ１６０
４）。 その結果できた手動作データを手動作辞書に保存する（ステップ１６０５）。 ステップ１６０２で指定した手動作が登録されていた場合、およびステップ１６０
５において手動作データを手動作辞書に登録した後に、
口形、表情、身振りに関する情報をそれぞれの辞書からデータを選択することにより付加し（ステップ１６０
６）、その結果できた手話単語データを手話単語辞書へ登録する（ステップ１６０７）。 このように意味をもった手動作を単位として、手話単語に関する時系列データを作成する。 なおこの間の編集作業において、編集中にそのアニメーションを表示させ、編集結果を確認しながら作業を行う。

【００２５】次に図１７を用いてユーザが手話文のアニメーションデータを編集する手順について説明する。 まずユーザは手話文を構成する手話単語を指定する（ステップ１７０１）。 次にステップ１７０１で指定された手話単語見出しに対して、時系列データが手話単語辞書に登録されているかどうかを調べる（ステップ１７０
２）。 手話単語に関する時系列データが手話単語辞書に登録されていなければ、手話単語の登録を行う（ステップ１７０３）。 ここでの手話単語データの登録は図１６
を用いて説明した方法で行う。 ステップ１７０２で手話単語に関する時系列データが登録されていた場合、あるいはステップ１７０３で手話単語に関する時系列データを登録した後、アニメーションにおいて手話単語間の必要な箇所にポーズを挿入する（ステップ１７０４）。 ポーズを手話単語間に挿入することにより、手話単語毎に作成された時系列データを単純に並べたときにくらべて、アニメーションに抑揚がつき、読み取りやすい手話のＣＧアニメーションを生成することができる。 さらに手話単語毎に登録されていたデータに対して、手動作、
表情、口形、身振りに関して文脈に応じた変更を加える（ステップ１７０５）。 ステップ１７０５までの作業結果できた手話文データを生成用手話文辞書に保存する（ステップ１７０６）。 なおこの間の編集作業において、手話単語データ編集時と同様に、編集中にそのアニメーションを表示させ、編集結果を確認しながら作業を行う。 ここで述べた手話アニメーション用の時系列データの編集に関して以下で述べる。

【００２６】次に図１８から図３２を用いて手話単語に対する時系列データの編集作業について説明する。 図１
８は手話単語データの編集画面の一例である。 １８０１
は手話単語に対する時系列データを編集画面上に呼び出したり、手話単語辞書への保存等を行うためのファイルプルダウンメニュー、１８０２は手話単語時系列データのうち、特に手動作に関する時系列データに対して、カット＆ペーストや動作補間、表示速度調整、動作の圧縮・伸張等を行うための編集プルダウンメニュー、１８０
３は手話単語時系列データの編集と手話文時系列データの編集を切り替えるためのモードプルダウンメニュー、
１８０４は手話アニメーションと一緒に手の位置、向き、形状に関するパラメタ値の表示を行うかどうかを指定するための表示プルダウンメニュー、１８０５は編集結果の時系列データを登録する辞書を選択するための辞書プルダウンメニューである。 １８０６は手話単語見出し表示欄であり、編集対象の手話単語見出し６０１の入力、表示を行う。 １８０７のつまみを左右に動かすと、
その動きにあわせて、手話単語見出し１８０６が左右にスクロールする。 １８０８は日本語見出し表示欄であり、手話単語に対する日本語の見出し６０２（図６）の入力、表示を行う。 １８０９は手動作見出し表示欄であり、編集対象の手話単語時系列データを構成する手動作見出し６０４が、その構成順に入力、表示される。 １８
１０は１８０９に手動作見出しが入力された後、この見出しに対する手動作データを手動作辞書から検索するためのボタンであり、この検索がステップ１６０２（図１
６）に相当する。

【００２７】１８１１は手話単語を構成する手動作、表情、口形、身振りに関する情報を表示する手話単語基本情報テーブルであり、１８１０による検索の結果得られた手話単語に関する情報が表示される。 １８１２には編集作業においてある区間のフレームを選択した際に、その開始点フレームの番号を表示し、１８１３には終端フレームの番号を表示する。 １８１４は編集作業においてある区間のフレームを選択する際に用いるフレームインジケータである。 あるフレームがユーザによって選択されると、対応する部分が反転表示される。 １８１５には表情データとして割り当てられている表情見出しを表示し、１８１６には口形データとして割り当てられている口形見出しを表示し、１８１７には身振りデータとして割り当てられている身振り見出しを表示する。 １８１８
は１８１４において、あるフレーム区間を選択した後に押すことにより、選択したフレームに関する手動作データの修正を行う手動作編集ボタン、１８１９は１８１４
において、あるフレーム区間を選択した後に押すことにより、表情データの編集を行う表情編集ボタン、１８２
０は１８１４において、あるフレーム区間を選択した後に押すことにより、口形の編集を行う口形編集ボタン、
１８２１は１８１４において、あるフレーム区間を選択した後に押すことにより、身振りデータの編集を行う身振り編集ボタンである。

【００２８】１８２２は手話アニメーションの表示を行う手話アニメーション表示ウインドウ、１８２３は手話単語時系列データを構成する全体のフレーム数と現在表示されているフレームの位置を示すインジケータ、１８
２４は手話アニメーションの表示の向きを上下方向に変化させるためのつまみで、１８２５は手話アニメーションの表示を左右方向に変化させるためのつまみである。
１８２６は手話アニメーションを逆方向に再生するボタン、１８２７は手話アニメーションの再生を開始するボタン、１８２８は手話アニメーションを逆方向に倍速で再生するボタン、１８２９は手話アニメーションを順方向に倍速で再生するボタン、１８３０は手話アニメーションを逆方向に１／２倍速で再生するボタン、１８３１
は手話アニメーションを順方向に１／２倍速で再生するボタン、１８３２は手話アニメーションを１コマづつ逆方向に再生するボタン、１８３３は手話アニメーションを順方向に１コマづつ再生するボタン、１８３４は手話アニメーションの開始フレームへ移動するボタン、１８
３５は手話アニメーションの再生を中止するボタン、１
８３６は手話アニメーションの再生を中断するボタン、
１８３７は手話アニメーションの終端のフレームへ移動するボタンである。 このような画面を用いて手話単語データの編集を行う。

【００２９】次に図１９を用いてステップ１６０３（図１６）の手動作の入力について説明する。 ファイルメニュー１８０１から手動作新規登録を選択する（１９０
１）ことにより、図１９（ｂ）の手動作入力ウインドウが表示される。 １９０２は手動作見出しを表示する手動作見出し表示欄で、ここには１８０９に入力された手動作見出しが表示される。 手袋型センサを用いて手動作を入力する際に、ある特定の位置（ホームポジション）を予め指定しておき、手の位置がそのホームポジションから動きだし、ホームポジションに戻るまでをひとつの手動作として採取する。 １９０３は手動作を入力する際に、データの採録開始、終端として用いる手の位置の指定を行うためのホームポジションボタンである。 このボタンを押したときの手の位置がスイッチの役割を果たすポジションとなる。 １９０４は手袋型センサを装着した手動作登録者の体の大きさの違いにより生じる、手と身体との相対的な位置関係のずれを補正するために、手動作登録者の身体の大きさに関する情報を入力するときに用いる正規化ボタンである。

【００３０】ここでの正規化処理について図２０を用いて述べる。 手袋型センサを装着した手で頭頂部を指示することにより頭頂部と手との相対的な位置関係を入力する（ステップ２００１）。 次に同様に手袋型センサを装着した手で顎部を指示することにより顎部と手との相対的な位置関係を入力する（ステップ２００２）。 そして右手で左肩を指示し、左手で右肩を指示することにより、左右の肩と手との相対的位置関係をそれぞれ入力する（ステップ２００３）。 次に腹部の位置情報を入力する（ステップ２００４）。 また掌に関する情報の正規化も行う（ステップ２００５）。 具体的には全ての指を伸ばした状態、親指だけを伸ばした状態、拇指以外の指を伸ばした状態の３つの状態にある手形状を登録する。 ここでこれまでの正規化情報の入力が正しく行われていなければ、ステップ２００１から再度やり直し、うまく入力されていれば次へ進む（ステップ２００６）。 最後に手動作の入力の開始、中断を切り替えるホームポジションの入力を行う（ステップ２００７）。 これは座って手話を行う場合には両手を膝の上のおき、その状態を入力することによりホームポジションの登録を行う。 手動作データの採取を開始するスイッチの役割を果たす特別な手の位置を予め登録しておくことにより、このボタンを押した後登録した手の位置に手を移動させることにより、それ以後の手動作に関する時系列データの採取を行うことができる。

【００３１】上述の手動作登録者の身体の大きさを利用した、手話ＣＧアニメーションにおける手と身体の相対関係の補正に関しては特願平６−１０１０９７号記載の技術により実現可能である。 １９０５は手動作の入力を開始する入力ボタンである。 １９０６は手動作の入力を中止する停止ボタン、１９０７は入力した手動作に関する時系列データをもとに作成した手話ＣＧアニメーションをアニメーション表示ウインドウ１８２２に表示するためのモニタ表示ボタン、１９０８は入力した手動作をキーとして手動作辞書に対してその手動作を含む手話単語の検索を行うための手動作検索ボタン、１９０９は入力した手動作に関する時系列データをメモリ上から消去するためのクリアボタンである。 手動作検索は、入力した手動作に関する時系列データと、既に辞書に登録されている手動作に関する時系列データと照合することにより入力した手動作からなる手話単語を検索する。 この検索に関しては、特開平６−８３９３８号公報等に記された手話認識技術を用いて実現可能である。 ここで入力した手動作に関する時系列データは手動作辞書に保存される。

【００３２】手話ＣＧアニメーションを構成するフレーム系列の一部分である複数のフレーム、あるいは単一のフレームに対して、時系列データに修正を加える。 この時、データの修正手法を選択する前に、まず修正対象となるフレームを選択しなければならない。 修正対象のフレームの選択について図２１を用いて説明する。 ２１０
１はフレームの系列に対する編集の種類を選択するための編集プルダウンメニューである。 修正対象のフレームを選択した後、編集プルダウンメニューから選択することにより、各種編集を行う。 次に図２１の画面上で第１
１フレームから１６フレームまでを選択する場合を例に説明する。 手話単語を構成する情報を表示する手話単語基本情報テーブル１８１１において、その１１フレーム目２１０２をマウス等の入力デバイスにより選択し、そこから修正すべきフレーム系列の終端である１６フレーム目２１０３までをドラッグする。 これにより手話単語基本情報テーブル上の選択された領域２１０４が反転表示される。 そして編集プルダウンメニューから編集項目を選択することにより、ここで指定した範囲の時系列データに対して各種修正を加えることができる。

【００３３】次にメインウインドウの手動作編集ボタン１８１８を選択して行う、手動作の修正に関して図２２
から図２６を用いて説明する。 図２２は手の位置を修正する際の画面である。 なお複数のフレームにまたがって手の位置が修正される場合と、単一のフレームに対する手の位置が修正される場合との両方を扱うことができる。 ここで与えられた手の位置に関する変化量は手の位置の相対的な移動量を表す。 ２２０１は手の位置修正ウインドウ、２２０２はＺ軸方向（上下方向）の手の位置の修正を行うＺ軸スライダ、２２０３はＹ軸方向（左右方向）の手の位置の修正を行うＹ軸スライダ、２２０４
はＸ軸方向（前後方向）の手の位置の修正を行うＸ軸スライダである。 これらのスライダを動かして、アニメーション表示ウインドウ１８２２上で手話ＣＧアニメーションの表示を見ながら手の位置の修正を行う。 また２２
０５、２２０６、２２０７に直接Ｚ、Ｙ、Ｘの座標値を入力することによって手の位置に関する修正を行うこともできる。 ２２０８はここで行った編集を保存するための設定ボタン、２２０９は行った編集を棄却するための取消ボタンである。

【００３４】図２３は手の向きを修正する際の画面である。 複数のフレームにまたがって掌の向きが修正される場合と単一のフレームに対する掌の向きが修正される場合との両方を扱うことができる。 ２３０１は掌の向き編集ウインドウ、２３０２は掌の前後方向の曲がり角度を修正する前後の曲がりスライダ、２３０３はこの角度を直接指定する欄、２３０４は掌の左右方向の曲がり角度を修正する左右の曲がりスライダ、２３０４はこの角度を直接指定する欄、２３０６は手首の回転角度を修正する手首の回転スライダ、２３０７はこの角度を直接指定する欄である。 これらのスライダを動かして、アニメーション表示ウインドウ１８２２上で手話ＣＧアニメーションの表示を見ながら修正を行う。 ２３０８はここでの編集結果を手動作辞書に保存するための設定ボタン、２
３０９は編集結果を棄却するための取消ボタンである。

【００３５】図２４は手（掌）の形状を編集する際の画面である。 ２４０１は手形状選択ウインドウ、２４０２
は予め用意された手形状リストからマウス等で選択された手形状である。 なお一般的な手話を表現する際に、このような手形状としては約５０程度を用意すればよいと言われている（神田、日本手話音韻表記法、日本手話学会、１９９１）。 これらを参考に予め手形状のサンプルデータを用意しておく。 ２４０３は左右のスクロール、
２４０４は上下のスクロールである。 ２４０５は２４０
２で選択された手形状の画像である。 これは１フレームのデータである。 ２４０６はここで選択した手形状に対してさらに詳細な修正を行うための微修正ボタン、２４
０７はここで選択した結果を保存するための設定ボタン、２４０８は選択結果を棄却する取消ボタンである。
通常は、用意された手形状を選択するだけで、アニメーションの手形状を表現することが可能である。 さらに詳細な修正を加える場合に２４０６の微修正ボタンを押して、手形状を表現するための各パラメタを調整する。

【００３６】図２５は手形状選択ウインドウ２４０１で微修正ボタン２４０６を押したときにあらわれる画面である。

【００３７】２５０１は手形状修正ウインドウ、２５０
２は親指の第０関節の曲がり角度を修正するための親指０スライダ、２５０４は親指の第１関節の曲がり角度を修正するための親指１スライダ、２５０６は親指の第２
関節の曲がり角度を修正するための親指２スライダ、２
５０８は親指の掌平面内のでの開き角度を修正する親指開きスライダ、２５１０は親指の回転角度を修正する親指回転スライダ、２５１２は人さし指の第２関節の曲がり角度を修正するための人さし指２スライダ、２５１４
は人さし指の第１関節の曲がり角度を修正するための人さし指１スライダ、２５１６は人さし指の掌平面内のでの開き角度を修正する人さし指開きスライダ、２５１８
は中指の第２関節の曲がり角度を修正するための中指２
スライダ、２５２０は中指の第１関節の曲がり角度を修正するための中指１スライダ、２５２２は中指の掌平面内のでの開き角度を修正する中指開きスライダ、２５２
４は薬指の第２関節の曲がり角度を修正するための薬指２スライダ、２５２６は薬指の第１関節の曲がり角度を修正するための薬指１スライダ、２５２８は薬指の掌平面内のでの開き角度を修正する薬指開きスライダ、２５
３０は小指の第２関節の曲がり角度を修正するための小指２スライダ、２５３２は小指の第１関節の曲がり角度を修正するための小指１スライダ、２５３４は小指の掌平面内のでの開き角度を修正する小指開きスライダである。 また、これらのパラメタは２５０３、２５０５、２
５０７、……、２５２５までの欄にその値を直接指定することによっても修正を行うことができる。 なお、修正は各スライダを動かして、手話アニメーション表示ウインドウ１８２２上に表示された手話ＣＧアニメーションを見ながら行う。 ２５３６はここでの修正結果を手動作辞書に保存するための設定ボタン、２５３７は編集結果を棄却する取消ボタンである。 設定ボタンを押すことにより手形状選択ウインドウ２４０１において選択された手形状に対する修正結果が手動作辞書に保存される。

【００３８】図２６は肘位置の修正を行う画面である。
肘の位置に関しては手袋型センサからは入力することができないので、肩の掌の位置とから計算によってデフォルトの位置が得られる。 これに対して、肘を張ったり、
脇をしめたりといった状態を表現するために、ここに述べる機能を用意する。 ２６０１は肘位置修正ウインドウ、２６０２は右手の肘の回転角度を調整するための右スライダで、２６０３にはその角度を直接指定することにより修正を行うことができる。 ２６０４は左手の肘の開き角度を調整するための左スライダで、２６０５にはその角度を直接指定することにより修正を行うことができる。 ２６０６はここでの編集結果を保存するための設定ボタン、２６０７は編集結果を棄却する取消ボタンである。

【００３９】次に図１６のステップ１６０４に示した手動作に関する時系列データに対する修正機能のうち、手（掌）の軌跡が占める空間領域の大きさを変化させることにより、手動作の大きさを伸縮させる機能に関して説明する。 図２７は手動作の圧縮・伸張を行う画面である。 あるフレームの範囲が指定された後、編集プルダウンメニュー２１０１から伸縮が選択されると手動作伸縮ウインドウ２７０１が表示される。 ここで２７０２はＣ
Ｇ画面における前後方向の伸縮を行うか行わないかを指定するＸ軸伸縮指定ボタン、２７０３はＣＧ画面における左右方向の伸縮を行うか行わないかを指定するＹ軸伸縮指定ボタン、２７０４はＣＧ画面における上下方向の伸縮を行うか行わないかを指定するＺ軸伸縮指定ボタン、２７０５は２７０２、２７０３、２７０４で指定した座標軸に対して手動作の伸縮率を指定する伸縮率指定欄、２７０６は２７０５に入力した伸縮率に応じて手動作を変化させる実行ボタン、２７０７は手動作の伸縮を棄却するキャンセルボタンである。 図２７のようにＸ軸伸縮指定ボタン２７０２でＸ軸のみの伸縮が指定され、
伸縮率指定欄２７０５で伸縮率が指定されると、フレーム系列のデータのＸ軸成分に対して、伸縮率を乗じた値が新たに作成される。

【００４０】図２８、２９を用いて手動作の圧縮、伸張の原理について説明する。 伸縮を加える時系列データの範囲と伸縮率の指定をする（ステップ２９０１）。

【００４１】例えば、図２８（ａ）のｐ０（２８０
１）、ｐ１（２８０２）、ｐ２（２８０３）、ｐ３（２
８０４）、ｐ４（２８０５）、ｐ５（２８０６）をある時間における手の位置とし、この手動作系列を圧縮・伸張する。 この時系列データの両端ｐ０、ｐ５の中点Ｃ
（２８０７）を求める（ステップ２９０２）。 ここで入力した伸縮率に従って、直線ｐ０Ｃ上にｑ０を求める（ステップ２９０４）。 ｑ０は図２８（ｂ）の２８０８
である。 ここでｑ０は、伸縮率をａとすると

【００４２】

【数１】

【００４３】を満たす。 同様な手順でｑ１（２８０
９）、ｑ２（２８１０）、ｑ３（２８１１）、ｑ４（２
８１２）、ｑ５（２８１３）を求める。 このｑ０、ｑ
１、ｑ２、ｑ３、ｑ４、ｑ５がもとの手動作データを圧縮してできた軌道である。 なお、この圧縮は手の位置を表すデータのＸ、Ｙ、Ｚ軸のそれぞれについて適用可能である。

【００４４】次にステップ１６０４に示した手動作の修正機能のうち、手動作に関する時系列データのペーストに関して図３０を用いて説明する。 ２１０１は編集プルダウンメニューである。 ここから「ペースト」を選択することにより、カットあるいはコピーの実行によって予めバッファ内に取り込まれたフレームに対するデータがペーストされる。 ３００１は２１０１で「ペースト」を選択したときにあらわれるペーストウインドウで、３０
０２はバッファ内に取り込んだ時系列データの、もとの時系列順でのペーストを選択する順方向スイッチ、３０
０３はバッファ内の時系列データのもとの時系列順と逆順でのペーストを選択する逆方向スイッチ、３００４は３００２、３００３のペーストの方向設定に基づいて実際に時系列データをペーストするための実行ボタン、３
００５はペーストの実行を取りやめるキャンセルボタンである。 バッファへの時系列データの取り込みは手話単語基本情報テーブルのフレームインジケータ１８１４を用いてフレームを選択して編集プルダウンメニューの「カット」、もしくは「コピー」を選択することにより行われる。

【００４５】次に図３１を用いて手動作の補間について説明する。 ある区間のフレームを指定した後、編集プルダウンメニュー２１０１から補間を選択すると、図３１
の画面があらわれる。 ３１０１は補間ウインドウ、３１
０２は右手の位置を補間することを選択するスイッチ、
３１０３は左手の位置を補間することを選択するスイッチ、３１０４は右手の向きを選択するスイッチ、３１０
５は左手の向きを補間することを選択するスイッチ、３
１０６は右手の形状を補間することを選択するスイッチ、３１０７は左手の形状を補間することを選択するスイッチである。 ３１０２から３１０７までの各スイッチにより補間の実行を指定された項目にのみ、補間処理が施される。 ３１０８は３１０２から３１０７までの選択結果に基づき補間を実行するための補間ボタン、３１０
９は補間を行わずに３１０１を画面から消去するキャンセルボタンである。 ユーザは３１０２から３１０７までのスイッチを選択することにより、任意の項目に関して補間を行うことができる。

【００４６】次にステップ１６０６の口形付加、表情付加、身振り付加について図３２、３３、３４を用いて説明する。

【００４７】図３２は手話単語への表情の付加に関する図である。 フレームインジケータ１８１４において表情を付加したいフレームを選択して表情編集ボタン１８１
９を押すと３２０１の表情編集ウインドウが表示される。 ３２０２は予め表情辞書に登録してある表情データの見出しリストで、ユーザはこれから適切な見出しを選択することにより、手話単語データに表情データを付加する。 選択された見出しは、反転表示される。 ３２０３
は表情見出しリストを上下方向にスクロールさせるためのスクロールバー、３２０４は表情見出しリストを水平方向にスクロールさせるためのスクロールバーである。
３２０５は３２０２上で選択された表情データを表示するための表情表示ウインドウで、反転表示された表情見出しに対応する表情データが表情辞書４０４からロードされ表示される。 ３２０６は３２０２上で選択した表情データを手話単語に実際に付加するための設定ボタン、
３２０７はここで行った作業を棄却するための取消ボタンである。 ユーザは表情の見出しを選択するだけで手話アニメーションに表情を付加することができる。

【００４８】図３３は手話単語への口形の付加に関する図である。 フレームインジケータ１８１４において口形を付加したいフレームを選択して口形編集ボタン１８２
０を押すと３３０１の口形編集ウインドウが表示される。 ３３０２は予め口形辞書に登録してある口形データの見出しのリストで、ユーザはここから適切な見出しを選択することにより、口形列データを作成し、これを手話単語データに付加する。 ３３０３は口形見出しリストを上下方向にスクロールさせるスクロールバー、３３０
４は口形見出しリストを水平方向にスクロールさせるスクロールバーである。 ３３０５は３３０２で選択した口形データを表示する口形表示ウインドウ、３３０６から３３０９は選択したフレームデータの系列に口形列をどのように割り当てるかを指定するボタンで、３３０６を選択するとフレームデータ系列の先頭に割り当て、３３
０７はフレームデータ系列全体にわたって均等に割り当て、３３０８を選択するとフレームデータ系列の中央に割り付け、３３０９を選択するとフレームデータ系列の終端部に割り付ける。 これらのボタンは排他的でありどれかひとつしか選択できない。 これにより手動作を行いながらゆっくりと口形を表現したり、手動作の開始部分で一気に口形を表現したりという、手動作と口形の表現のタイミングの違いを手話単語毎に付加することが可能となる。 そして手話アニメーションに文脈に対応した意味を持たせることができる。

【００４９】３３１０から３３１２までのボタンは唇の動きの大きさに変化を付けるためのボタンである。 ３３
１０が選択されると、口形辞書中の標準の口形データが割り当てられるが、３３１１を選択すると唇の動きが大きい口形辞書中の口形データが割り付けられる。 ３３１
２を選択すると唇の動きが小さい口形辞書中の口形データが割り付けられる。 具体的には口形辞書中の口形データ７０９で唇を表現するパラメタを変化させたものが割り付けられる。 これらのボタンも排他的であり、どれかひとつしか選択できない。 ３３１３は３３０２から選択した口形データの見出しが選択された順に表示される口形列表示欄。 ここに表示された口形データ列が口形列７
０２となる。 ３３１４はここでの編集結果を手話単語データに保存するための設定ボタン、３３１５は編集結果を棄却する取消ボタンである。

【００５０】図３４は手話単語への身振りの付加に関する図である。 フレームインジケータ１８１４において表情を付加したいフレームを選択して身振り編集ボタン１
８２１を押すと３４０１の身振り編集ウインドウが表示される。 ３４０２は予め身振り辞書に登録されている身振りデータの見出しのリストであり、ユーザがここから適切な見出しを選択することにより、身振りデータを手話単語データに付加することができる。 選択された手話単語見出しは図３４のように反転表示される。 ３４０３
は身振りデータ見出しのリストを水平方向にスクロールさせるためのスクロールバー、３４０４は身振りデータ見出しのリストを上下方向にスクロールさせるためのスクロールバーである。 ３４０５は３４０２で選択した身振りデータ見出しに対する身振り辞書中の身振りデータを表示する身振り表示ウインドウで、３４０６は表示する手話ＣＧアニメーションの人体モデルの向きを回転させるためのスライダである。 ３４０７はここでの編集結果を手話単語データに保存するための設定ボタン、３４
０８は編集結果を棄却する取消ボタンである。 このようにユーザは身振りデータの見出しを選択するだけで手話単語に身振りデータを付加することができる。

【００５１】以上の作業を経て手話単語データが完成するとファイルプルダウンメニュー１８０１から手話単語保存を選択して手話単語データを手話単語辞書に保存する。 これはステップ１６０６に相当する。 以上が手話単語データの編集処理の流れである。

【００５２】次に図３５を用いて手話文アニメーションデータの編集について説明する。 手話単語データ編集画面におけるモードプルダウンメニュー１８０３により手話文編集画面が選択されると、図３５の手話文データ編集画面があらわれる。 ３５０１は手話単語に対する時系列データを組み合わせて作成した手話文データの呼び出し、手話文辞書への保存等を行うためのファイルプルダウンメニュー、３５０２は手話文データのうち、特に手動作に関する時系列データに対して、カット＆コピーや動作補間、表示速度調整、動作の圧縮・伸張等を行い、
元の手話単語データとして登録されたデータに変更を加えるための編集プルダウンメニュー、３５０３は手話文データの編集と手話単語データの編集を切り替えるためのモードプルダウンメニュー、３５０４は手話アニメーションと一緒に手の位置、向き、形状に関するパラメタ値の表示を行うかどうかを指定するための表示プルダウンメニュー、３５０５は編集結果のアニメーションデータを登録する辞書を選択するための辞書プルダウンメニューである。 作成した手話文に関するデータは、例えば現金自動預払機に用いる文といったようにある用途、アプリケーションで用いる文毎に文例集（フォルダ）としてまとめておく。 ３５０６は編集対象の手話文見出し５
０１（図５）のうち、文例集の見出しの入力、表示を行うフォルダ名指定欄。 ３５０７は編集対象の手話文データを識別するために手話文データ毎に付与された手話文見出しの入力、表示を行うファイル名指定欄。 ３５０８
は手話文に対する日本語訳５０２の入力、表示を行う日本語訳表示欄。 ３５０９は日本語訳を水平方向にスクロールさせるためのスクロールバーである。 ３５１０は編集対象の手話文データを構成する手話単語見出し５０５
が、その構成順に入力、表示される手話単語列入力表示欄。 ３５１１は手話単語列３５１０を水平方向にスクロールさせるためのスクロールバーである。

【００５３】３５１０に手話単語見出しが入力されると、この見出しに対する手話単語データが手話単語辞書から検索される。 この検索がステップ１７０２（図１
７）に相当する。 ３５１２には編集作業においてある区間のフレームを選択した際に、その開始点フレームの番号を表示し、３５１３には終端フレームの番号を表示する。 ３５１４は手話文を構成する手話単語データに登録された手動作、表情、口形、身振りに関する情報を表示する手話文基本情報テーブルであり、３５１０による手話単語データの検索結果が表示される。 ３５１５には編集対象の手話文データを構成する手話単語の見出しが、
３５１６にはこれらの手話単語データを構成する手動作データの見出しが表示される。 ３５１７は編集作業においてある区間のフレームを選択する際に用いるフレームインジケータである。 ３５１８には表情データとして割り当てられている表情見出しを表示し、３５１９には口形データとして割り当てられている口形見出しを表示し、３５２０には身振りデータとして割り当てられている身振り見出しを表示する。 手話である文を表現する際、これを構成する手動作の表現位置が文脈によって変化することが度々おこる。 このような動作位置の変更を、手話単語辞書中の手話単語データの動作位置からの差分で表現し、手動作に関する変更データ５０９として手話文データ中に保持する。 ３５２１には、このような掌の位置に関する差分データが表示される。 ３５２２は手話文基本情報テーブル３５１４に表示されているデータを水平方向にスクロールさせるスクロールバー、３５
２３は手話文基本情報テーブル３５１４において、あるフレーム区間を選択した後に押すことにより、手動作データの修正を行う手動作編集ボタン、３５２４は手話文基本情報テーブル３５１４において、あるフレーム区間を選択した後に押すことにより、掌の位置の編集を行う手動作位置編集ボタン、３５２５は手話文基本情報テーブル３５１４において、あるフレーム区間を選択した後に押すことにより、表情データの編集を行う表情編集ボタン、３５２６は手話文基本情報テーブル３５１４において、あるフレーム区間を選択した後に押すことにより、口形の編集を行う口形編集ボタン、３５２７は手話文基本情報テーブル３５１４において、あるフレーム区間を選択した後に押すことにより、身振りデータの編集を行う身振り編集ボタンである。

【００５４】３５２８は手話ＣＧアニメーションの表示を行う手話アニメーション表示ウインドウ、３５２９は手話単語データを構成する全体のフレーム数と現在表示されているフレームの位置を示すインジケータ、３５３
０は手話アニメーションの表示の向きを上下方向に変化させるためのつまみで、３５３１は手話アニメーションの表示を左右方向に変化させるためのつまみである。 ３
５３２は手話アニメーションを逆方向に再生するボタン、３５３３は手話アニメーションの再生を開始するボタン、３５３４は手話アニメーションを逆方向に倍速で再生するボタン、３５３５は手話アニメーションを順方向に倍速で再生するボタン、３５３６は手話アニメーションを逆方向に１／２倍速で再生するボタン、３５３７
は手話アニメーションを順方向に１／２倍速で再生するボタン、３５３８は手話アニメーションを１コマづつ逆方向に再生するボタン、３５３９は手話アニメーションを順方向に１コマづつ再生するボタン、３５４０は手話アニメーションの開始フレームへ移動するボタン、３５
４１は手話アニメーションの再生を中止するボタン、３
５４２は手話アニメーションの再生を中断するボタン、
３５４３は手話アニメーションの終端のフレームへ移動するボタンである。 このような画面を用いて手話文データの編集を行う。

【００５５】ステップ１７０２（図１７）で必要な手話単語データが登録されていない場合は、図１６に示した方法で手話単語データの編集と登録を行う。 ステップ１
７０４では手話文データにポーズを挿入するが、これは手話文編集ウインドウの手話単語列欄３５１０において図３６に示すように「Ｐ数字」という符号を入力することで実現される（３６０１）。 「Ｐ数字」の直前の手話単語データの最終フレームを「数字」によって指定された回数だけ繰り返して表示することにより、ポーズを表現する。 手話文基本情報テーブル３５１５上には図３６
に示すように３６０２のように表示される。 ここでの編集結果に対してステップ１７０５では手動作の修正、表情の編集、口形の編集、身振りの編集を行うが、これらの方法は、手話単語データの編集の際に述べた方法と同一の手法で実現できる。 以上のようにしてできた手話文データを手話表示用辞書に保存する。

【００５６】

【発明の効果】手話単語に対するアニメーションデータを手動作の組み合わせにより表現することにより、同じ手動作を含む手話単語間でデータの共有ができ、記憶領域を少なくすると共に、手動作の修正による手話単語間の一貫性が保存される。 また、手話文のアニメーションを作成する際に、表情、口形、身振りデータを手話単語のみならず手話文に対して指定できるようにすることにより、より自然な手話アニメーションの作成が可能となる。 また、アニメーションデータの修正を容易にするインタフェースを提供することにより、手話をアニメーションで表示させたときにボトルネックとなっていたアニメーションデータの作成作業を簡単化できる。 また、表情、口形、身振りなどの情報を予め登録しておいたデータからの選択方式にすることにより、簡単に手話アニーションデータを作成することができる。

【００５７】さらに、手話単語データを組み合わせて手話文のアニメーションを作成するとき、単語間に間合いを容易に挿入できるようにし、文脈による手話単語データに対する修正を容易にすることにより、わかりやすい手話アニメーションが作成できるようになる。

【図面の簡単な説明】

【図１】手話編集装置の実施例の全体概念を示すブロック図である。

【図２】手話編集装置の実施例の全体構成を示すブロック図である。

【図３】ＣＧアニメーション作成のための手話データの構造を示す図である。

【図４】手話ＣＧアニメーション作成用のデータを保存しておく辞書間の関係を示した図である。

【図５】手話文データの形式を示した図である。

【図６】手話単語データの形式を示した図である。

【図７】口形列データ、口形データの形式を示した図である。

【図８】表情データの形式を示した図である。

【図９】身振りデータの形式を示した図である。

【図１０】手動作データの形式を示した図である。

【図１１】手動作辞書中の手動作データの形式を示した図である。

【図１２】肘位置の計算法を説明するための図である。

【図１３】口形辞書中の口形フレームデータの形式を示した図である。

【図１４】表情辞書中の表情フレームデータの形式を示した図である。

【図１５】身振り辞書中の身振りデータの形式を示した図である。

【図１６】手話単語データの作成手順を示した図である。

【図１７】手話文アニメーションデータの作成手順を示した図である。

【図１８】手話単語データ編集画面の図である。

【図１９】手動作データ入力画面の図である。

【図２０】手動作入力者の身体の位置情報を入力する手順を示す図である。

【図２１】フレーム範囲の指定を示した図である。

【図２２】手の位置編集画面の図である。

【図２３】掌の向き編集画面の図である。

【図２４】手形状選択画面の図である。

【図２５】手形状の微修正画面の図である。

【図２６】肘位置修正画面の図である。

【図２７】手動作圧縮・伸張画面の図である。

【図２８】手動作圧縮・伸張の原理を説明するための図である。

【図２９】手動作圧縮・伸張の手順を示す図である。

【図３０】フレームデータのペースト画面の図である。

【図３１】手動作の補間画面の図である。

【図３２】表情編集画面の図である。

【図３３】口形編集画面の図である。

【図３４】身振り編集画面の図である。

【図３５】手話文データ編集画面の図である。

【図３６】手話文データに間合いを挿入する様子を示した図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大木 優 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 金子 洋一 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内