【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピュータや携帯情報機器等のユーザインタフェース技術に関し、より詳細には、キーボード、マウス、ペン、音声、身振りなど複数のメディアを用いた指示に基づき、
ユーザに代わってコンピュータやアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答するエージェントの構築技術に関する。

【０００２】

【従来の技術】現在、パーソナルコンピュータや携帯情報機器等では、キーボードやマウスを用いた入力が主流である。 しかし、キーボードやマウスの入力は繁雑であるため、ユーザに代わって、コンピュータやアプリケーションの操作を代行してくれるエージェントと呼ばれるソフトウエアが注目を浴びている。

【０００３】例えば、文献（ａ）「Ｐ．Ｍayes：Ａgent
s that Ｒeduce Ｗork and Ｉnformation Ｏverload，
Ｃommunications of the ＡＣＭ，Ｖol，３７，Ｎo．
７，pp． ３０−４０，１９９４」では、大量に送付される電子メールを読むべきか、捨てるべきかをアドバイスするエージェントが記述されている。 このエージェントはユーザの肩越しにユーザのキーボードとマウスの操作を監視しており、ユーザの操作の癖を学習する。

【０００４】また、文献（ｂ）「Ｄ．Ｓmith，Ａ．Ｃyp
her and Ｊ． Ｓpohrer：Ｋid Ｓim：Ｐrogramming Ａge
nts Ｗithout a Ｐrogramming Ｌanguage，Ｃommunicat
ions of the ＡＣＭ，Ｖol，３７，Ｎo． ７，pp． ５４
−６７，１９９４」では、グラフィカルルールを用いて、子供でもプログラミング出来る手法を提案しており、これを応用すればエージェントの構築に使えると主張している。

【０００５】

【発明が解決しようとする課題】しかし、上記技術は、
キーボード、マウスに特化されており、キーボード、マウスを含む、ペン、音声、身振りなど複数のメディアを用いた指示に基づき、ユーザに代わってコンピュータやアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答するエージェントへの適用は困難であった。

【０００６】本発明の目的は、プログラミングができないユーザでも、キーボード、マウス、ペン、音声、身振りなど複数のメディアを用いた指示に基づき、ユーザに代わってコンピュータやアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答するエージェントを自由自在に構築するための機能を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため、（１）プログラミングができないユーザでも、マルチモーダル入力に反応し、マルチモーダル出力で応答するエージェントを容易に作ることを可能とするために、
ルール条件部に、キーボード入力、マウス入力、ペン入力、音声入力、身振り入力など複数のメディアにおける入力内容および入力タイミングに関する記述を書きルール結論部に、テキスト表示出力、静止画出力、動画出力、音声出力、効果音出力等の出力情報記述、実行コマンド記述、それらの出力タイミング記述を書くことにより、エージェントの動作を記述できるようにしたこと、
（２）マルチモーダルなルール条件記述を可能とするために、共通の時間軸上に、音声やキーボード入力等の各入力モードごとに入力内容指定を可能としたこと、
（３）マルチモーダルなルール結論部記述を可能とするために、共通の時間軸上に、音声や画面出力等の各出力モードごとに出力内容指定を可能としたこと、（４）ユーザはコンピュータの出力画面を見て操作を決めており、さらに、ユーザの操作結果はコンピュータ出力画面の状態変化として記述できるため、マルチモーダル条件記述およびマルチモーダル出力記述にコンピュータ画面の状態の指定を可能とし、マルチモーダル条件記述におけるコンピュータ画面の記述は、そのコンピュータ画面が実際にコンピュータの出力画面に現われた時点に真となる条件として、マルチモーダル出力記述に現われるコンピュータ画面の記述は、そのコンピュータ画面となるようにコンピュータを制御したり、アプリケーションソフトウエアを操作するコマンドの実行として、解釈すること、（５）また、上記のようにマルチモーダルルールをユーザが明示的に記述しなくても、ルール条件部やルール結論部ごとに、ユーザが複数の正しい例や誤った例をマルチモーダルに与えることにより、ルール条件部やルール実後部の記述を自動的に生成すること、（６）さらに、上記のようにユーザが操作の例を明示的に記述しなくても、ユーザの操作履歴をキーボード、マウス、ペン、音声、身振りなど複数のメディアを用いた入力情報や、静止画、動画、音声、効果音等の出力情報、ユーザの操作等からなる操作履歴を保存し、それらの中からよく現われるパターンを検出し、マルチモーダルルールを自動生成すること、の手段を備えた構成としてある。

【０００８】

【発明の実施の形態】以下、図面を用いて本発明の実施例を説明する。

【０００９】図１は本発明の第一の実施例を示す。

【００１０】本実施例は、図１に示すように、モニタ１、スピーカ３、カメラ４、マイク５などから構成されるパーソナルコンピュータに存在するエージェント２が対象となる。 エージェント２は、このパーソナルコンピュータの前のユーザのキーボード、マウス、ペン、音声、身振りなど複数のメディアを用いた指示に基づき、
ユーザに代わってパーソナルコンピュータシステム自身やこのパーソナルコンピュータ上で動作しているアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答する機能を有している。

【００１１】このエージェントソフトウエアの動作内容をユーザがプログラミングすることなく、自由自在に追加、訂正するための機能、すなわち、知的エージェント構築支援機能を有することが本システムの特徴であり、
そのメインウィンドウ７の様子がモニタ６内に表示されている。 メインウィンドウ７は、エージェントの動作を規定するためのマルチモーダルルールを表示しており、
マルチモーダルルール条件部８とマルチモーダルルール実行部９から構成されている。

【００１２】図２以降を用いて、知的エージェント構築支援機能について説明する。 エージェント２をマウスでクリックすると、そのエージェントに関するメニュー２
１が現われる。 メニュー２１には、マルチモーダルルール作成２２、操作履歴保存開始２３、操作履歴からの学習２４の３つのサブメニューが表示されている。

【００１３】図３を用いて全体の動作フローを説明する。 まず、モニタ１上に表示されている知的エージェント２上をマウスでクリックする動作によるメニュー起動操作があったかどうか判定し（３１）、もしメニュー起動動作があれば、図２に示したメニューを表示する（３
２）。

【００１４】ユーザがメニュー中の“マルチモーダルルール作成”を選択した場合（３３）、図５に示すマルチモーダルルールエディタを起動する（３４）。 マルチモーダルルールエディタを用いて、エージェントの動作を規定するマルチモーダルルールを作成する方法については、図５を用いて後述する。

【００１５】ユーザがメニュー中の“操作履歴保存開始”を選択した場合（３５）、履歴記憶スイッチをオンに設定する（３６）。

【００１６】ユーザがメニュー中の“操作履歴からの学習”を選択した場合（３７）、履歴ファイルを解析し、
マルチモーダルルールを自動生成する（３８）。

【００１７】さらに、履歴記憶スイッチがオンである場合（３９）、マルチモーダルルールの自動生成に必要なマルチモーダル履歴記憶を履歴ファイルに書き出す（４
０）。 マルチモーダルルールの自動生成に必要なマルチモーダル履歴情報に関しては、図９を用いて後述する。

【００１８】以上のように、ユーザがメニュー中の“マルチモーダルルール作成”を選択した場合、マルチモーダルルールエディタが起動され、図５に示すウィンドウが表示される。 このウィンドウを操作することにより、
マルチモーダルルールのユーザによる作成やユーザの操作例を基にした自動作成を行うことができる。

【００１９】そこで、まず、図５に示すウィンドウが現われたときの動作を図４に示す動作フローを用いて説明する。 マルチモーダルルールエディタのウィンドウ５１
には、ルールの名称５２とルールの定義情報であるルール条件部５５とルール結論部５８が表示されている。 学習開始ボタン５３と学習終了ボタン５４は１つのルール全体の学習をコントロールするボタンであり、学習開始ボタン５６と学習終了ボタン５７はルールの条件部の学習をコントロールするボタン、学習開始ボタン５９と学習終了ボタン６０はルールの実行部の学習をコントロールするボタンである。

【００２０】このマルチモーダルルールエディタのウィンドウ５１が表示されている状態において、ルール学習ボタン５３が押された場合（４１）、学習終了ボタン５
４が押されるまで図９に例示した形式で操作履歴を記憶し、結果を解析し１つのルールを生成する（４２）。 また、ルール条件部学習ボタン５６が押された場合（４
３）、学習終了ボタン５７が押されるまで図９に例示した形式で操作履歴を記憶し、結果を解析し１つのルール条件部を生成する（４４）。 また、ルール実行部学習ボタン５９が押された場合（４５）、学習終了ボタン６０
が押されるまで図９に例示した形式で操作履歴を記憶し、結果を解析し１つのルール実行部を生成する（４
６）。 操作履歴の保持形式や学習方法は図９を用いて後述することにして、以下、マルチモーダルルールをユーザ自身で定義する方法４７について説明する。

【００２１】図６は、図５のルール条件部５５を拡大したものである。 入力メディアとして、「音」６１、「音声」６２、「キーボード」６３、「マウス」６４、「ペン」６５、「身振り」６６、「画面」６７の計７種が用意されている。 「音」と「音声」の違いは、「音」６１
は言葉にならない効果音を表わすのに対し、「音声」６
２は言語化可能な音を表わす。 また、「画面」６７はその時パーソナルコンピュータのモニタ上に表示されている画面の一部分を表わす。 これについては図８を用いて後述する。

【００２２】７種の入力メディアごとに、それぞれエディタウィンドウ６８が用意されている。 メディアごとにエディタウィンドウの動作は異なるが、時間座標６９を持つ。 また、開始時刻を明示するために、三角印７０を用いる。

【００２３】「音」用のエディタウィンドウでは、音が発生されるべき時刻を選択し、音を実際に発生させてマイクで収集し、その波形が表示される。

【００２４】「音声」用のエディタウィンドウでは、音声が発生されるべき時刻を選択し、その音声のテキストを入力する。 開始時刻は三角印７０で明示してもよい。

【００２５】「キーボード」用のエディタウィンドウでは、キーボードから入力されるべきテキストを入力する。

【００２６】「マウス」用のエディタウィンドウでは、
マウスから入力されるべきクリックを座標と時刻を表わす三角印で入力する。 ２つの連なった三角印はダブルクリックを表わす。

【００２７】「ペン」用のエディタウィンドウでは、ペンから入力されるべきストロークデータを入力する。

【００２８】「身振り」用のエディタウィンドウでは、
身振りが入力されるべき時刻を選択し、身振りを実際に発生させてカメラで収集し、その様子が表示される。

【００２９】「画面」用のエディタウィンドウでは、パーソナルコンピュータの画面で表示されるべき画面の一部分を画面から切り取り入力する。

【００３０】以上のように、各入力メディアごとに記述することにより、マルチモーダルルールの条件部を定義することができる。 この条件部に規定されているメディアで記述されている入力が、指定された時刻にそれぞれ観測された場合、このマルチモーダルルールは実行可能であると判定される。

【００３１】次に図７を用いてマルチモーダルルールの実行部の定義方法を説明する。 図７は、図５のルール実行部５８を拡大したものである。 出力メディアとして、
「音」７１、「音声」７２、「テキスト表示」７３、
「アニメーション」７４、「コマンド実行」７５、「画面」７６の計６種が用意されている。 「音」と「音声」
の違いは、入力部と同様、「音」は言葉にならない効果音を表わすのに対し、「音声」は言語化可能な音を表わす。

【００３２】６種の出力メディアごとに、それぞれエディタウィンドウ７９が用意されている。 メディアごとにエディタウィンドウの動作は異なるが、時間座標７７を持つ、また、開始時刻を明示するために三角印７８を用いることなどは、入力部と同様の意味を持つ。

【００３３】「音」用のエディタウィンドウでは、音が発生されるべき時刻を選択し、音を実際に発生させてマイクで収集し、その波形が表示される。

【００３４】「音声」用のエディタウィンドウでは、音声が発生されるべき時刻を選択し、その音声のテキストを入力する。 開始時刻は三角印７８で明示してもよい。

【００３５】「テキスト表示」用のエディタウィンドウでは、モニタに文字列として表示すべきテキストを入力する。

【００３６】「アニメーション」用のエディタウィンドウでは、モニタに動画として表示すべきアニメーションを入力する。

【００３７】「コマンド実行」用のエディタウィンドウでは、パーソナルコンピュータで実行すべきコマンドを明示的に記述する。 図７の例では、あるファイル（Ｆil
e01）を削除するコマンド（Ｄelete Ｆile01）が記述されている。

【００３８】「画面」用のエディタウィンドウでは、本ルールを実行後、パーソナルコンピュータの画面で表示されるべき画面の一部分を画面から切り取り入力する。
この解釈に関しては図８を用いて後述する。

【００３９】以上のように、各出力メディアごとに記述することにより、マルチモーダルルールの実行部を定義することができる。

【００４０】マルチモーダルルールを実行するとルールの実行部に規定されたメディアで、そこに記述された内容を、指定された時刻に出力することになる。 例外は、
「コマンド実行」７５と「画面」７６である。 「コマンド実行」７５に記述された内容は、指定された時刻にそのコマンド自身が実行され、「画面」７６の場合は、指定された時刻に、そこに記述された画面の状態になるようなコマンド列が推定され、順々に実行されることになる。

【００４１】図８に、「画面」に関する定義のみからなるマルチモーダルルールの例を示す。 条件部にある画面の記述８１はファックス受信時にパーソナルコンピュータのデスクトップに現われるアイコンの変化後の状態を表わしている。 すなわち、パーソナルコンピュータにファックスが到着するとこのアイコン８１が現われる。 ルール実後部の記述８２はそのファイルをホルダＡにのせる、つまり、格納する操作を行う場合の画面の状態を表わしている。 従って、本マルチモーダルルールはファックス受信時に実行可能となり、受信したファイルがホルダＡに保存されるようなコマンドシーケンスが実行されることになる。

【００４２】図９にルール全体の学習、ルール条件部の学習、ルール結論部の学習に用いられる履歴情報の格納形式を示す。 格納形式９１は、ルール条件部、結論部の定義形式を融合したものであり、項目としては、「音」
９２、「音声」９３、「キーボード」９４、「マウス」
９５、「ペン」９６、「身振り」９７、「画面」９８である。 これらからルール条件部、ルール結論部を直接生成することが可能である。 また、共通操作の抽出は従来知られているクラスタリング手法を用いる。

【００４３】

【発明の効果】以上説明したように本発明の実施例によれば、キーボード、マウス、ペン、音声、身振りなど複数のメディアを用いたユーザの指示に基づき、ユーザに代わってコンピュータやアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答する知的なエージェントを、ユーザ自身で、プログラミングを行うことなく定義することが可能となる。

【図面の簡単な説明】

【図１】本発明の第一の実施形態を示す図である。

【図２】エージェントに関するメニューを示す図である。

【図３】全体の動作フローを示す説明図である。

【図４】マルチモーダルルールウィンドウの動作フローを説明する図である。

【図５】マルチモーダルルールエディタの全体を表わす図である。

【図６】マルチモーダルルールエディタの条件部を説明する図である。

【図７】マルチモーダルルールエディタの実後部を説明する図である。

【図８】画面に関する記述のみからなるマルチモーダルルールの例を示す図である。

【図９】マルチモダール履歴情報の例を示す図である。

【符号の説明】

１…パーソナルコンピュータのモニタ、 ２…エージェント、３…スピーカ、 ４…カメラ、
５…マイク、７、５１…マルチモーダルルールウィンドウ、８、５５…マルチモーダルルール条件部、
９、５８…マルチモーダルルール実行部、 ２１…エージェントメニュー、８１、８２…画面のみの定義からなるマルチモーダルルールの例、９１…マルチモーダル履歴記憶情報。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 冨田 民則 神奈川県川崎市麻生区王禅寺1099番地株式 会社日立製作所システム開発研究所内 (72)発明者 青島 弘和 神奈川県川崎市麻生区王禅寺1099番地株式 会社日立製作所システム開発研究所内