【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピュータをはじめとするコンピュータや携帯情報機器等のユーザインタフェース技術に係る。 より詳細には、キーボード、マウス、ペン、音声、身振りなど複数のメディアを用いた指示に基づき、ユーザに代わってコンピュータやアプリケーションソフトウエア等を制御し、静止画、動画、音声、効果音等の複数のメディアを用いて応答するマルチモーダル個人情報機器に関する。

【０００２】

【従来の技術】現在パーソナルコンピュータをはじめとするコンピュータがオフィス、家庭において急速に普及している。 その原動力はハードウエアの面でのコストパフォーマンスの飛躍的な向上、およびソフトウエア面でのグラフィカルユーザインタフェース導入によるユーザフレンドリネスの改善にあると考えられる。 例えば、文献「JA Sohnson, et. al. : ACE: Building Interac
tive Graphical Applications, Communications of the
ACM, Vol, 36, No. 4, pp. 400-55, 1993」にはグラフィカルユーザインタフェースの優位さが述べられている。

【０００３】

【発明が解決しようとする課題】しかし、上記技術を基本にしたグラフィカルユーザインタフェースベースのユーザインタフェースを持つコンピュータが、オフィス、
家庭に普及するとともに、現在のコンピュータが有する以下に示す３つの問題点（問題点（１）〜（３））が認識されつつある。

【０００４】問題点（１）不自然な作業環境 コンピュータが不必要な場合は、机上を自由に使えるもの。 しかし、一旦コンピュータが必要となると、ユーザは、モニタ上の狭いデスクトップに縛りつけられてしまう。

【０００５】これはコンピュータが我々の活動世界を無視し、我々の活動の場をコンピュータの扱い易い仮想的なモニタ上のデスクトップに限定していることに起因している。

【０００６】問題点（２）限定された入出力方法 現在のコンピュータの入出力は、キーボード、マウス、
画面上の表示に限定されている。 コンピュータとの円滑なインタフェースには入出力バンドの拡大が必要である。

【０００７】問題点（３）非知的なユーザインタフェース コンピュータに対する操作を、例えばグラフィカルユーザインタフェースによるダイレクトマニピュレーションなどで明示的に指示しなければならない。 なにができるかということに加えて、どのようにやるかまでユーザが知らなければならない。 また、コンピュータには多くのデータが格納されているのにもかかわらず、それがコンピュータに認識されない。 さらに、ネットワーク上には貴重なデータが保持されているにもかかわらず利用が困難である。

【０００８】本発明の目的は、コンピュータ中心ではなく、より人間中心のユーザインタフェースを有するコンピュータ利用環境を提供することにある。

【０００９】

【課題を解決するための手段】上記の目的を達成するために、本発明では、人間中心・実世界中心の考え方により設計し、音声、手書き、ジェスチャ等のマルチモーダルな形態で対話可能なコンピュータとする。

【００１０】ここで、これらの問題点を解決するためには、各問題点を独立としてではなく、総合的にとらえる必要がある。 問題点（１）の解決のためには、新たなコンピューティング環境を提示しなくてはならない。 そこで必要となる入出力（問題点（２））は、その環境と密接に関係している。 さらに、知的な処理（問題点（３））は、コンピューテイング環境に深く関連し、さらに高度な入出力は知的処理抜きには実用として供することはできない。

【００１１】まず、問題点（１）はコンピュータ側だけの論理でユーザインタフェース環境が設計されてきたことから発生している。 現在、この問題点を解決する方法は完全なバーチャルリアリティの採用か、実世界への回帰と考えられているが、本発明では、実世界と仮想世界の融合により解決を図る。 具体的には、『実デスク＋仮想デスク＋実ペーパ＋仮想ペーパ』の組み合わせで解決を図る。

【００１２】すなわち、実デスクの上に実際の紙（実ペーパ、図１での２）が乗っている世界がコンピュータレスの世界であり、これに、仮想デスクを表わすモニタと、仮想ペーパを表わすペン入力コンピュータを数枚乗せた環境である。

【００１３】より具体的には以下の手段により問題点を解決する。

【００１４】（１）デスクトップなどの業務環境を仮想的に表示する装置である環境ビューワ、表示入力一体型ペン入力コンピュータで実現された紙と同様なインタフェースを有する仮想ペーパ、マイク、スピーカ、カメラ、ペン、キーボードを構成要素とする。

【００１５】（２）環境ビューワに、以下の３種を区別して表示するとよりよい。 まず第１には、電子的なファイルやホルダ（フォルダ）などのような仮想的にしか存在しないものである。 第２に、ネットワークで結合されたエアコン、ビデオ、電灯などのような現実の世界に存在しかつ計算機から操作できるものである。 最後に、机の上に置いてある実際の紙などのように現実の世界に存在し計算機から操作できないものである。

【００１６】（３）さらに好適には、その現実の世界に存在しかつ計算機から操作できるもの、および現実の世界に存在し計算機から操作できないものは、業務環境の状況をカメラから入力しそれを解析することにより位置を特定し、仮想ビューワ内に表示されているデスクトップ等の仮想的な世界の対応する位置に重ねて表示する。

【００１７】（４）さらに好適には、環境ビューワには環境の大まかな様子だけが表示する。 この際、環境ビューワ上のデスクトップ等に表示されている文章ファイルの詳細な内容は、仮想ペーパ上に表示する。 この時、環境ビューワには表示しなくともよい。

【００１８】（５）さらに、環境ビューワには、自分のオフィス、他人のオフィス、図書室等の複数の環境が同時に表示するとよりよい。

【００１９】（６）最後に、仮想ペーパを複数枚隣り合せに置いた場合、１枚の大きなパッドとして連動して動作可能とする。

【００２０】次に問題点（２）と問題点（３）は、以下の手段で実現されるマルチモーダルな入出力が可能な知的なエージェントの導入により解決する。

【００２１】（１）個人情報機器全体を管理するエージェントを設ける。 このエージェントは、音声、ジェスチャ、ペンジェスチャ、ペンおよびキーボードのうち少なくとも２つによる入力を同時に用いたマルチモーダル入力で処理する。

【００２２】（２）環境ビューワに複数の環境が表示されたいる場合、エージェントは、複数の環境を対象に指示を実行するとよりよい。

【００２３】（３）また、より好適には、ユーザが入力した音声やペン入力内容として、仮想ペーパに音声認識結果あるいは手書き文字認識結果として一旦表示する。
その認識結果がエージェントの指示として実行可能である場合、表示色を変えユーザに知らせ、その指示を実行した場合は、仮想ペーパ上から消し、実行しない場合はそのまま認識結果を仮想ペーパ上に残す。

【００２４】（４）また、エージェントは、音声、効果音、環境ビューワ表示、仮想ペーパのうち少なくとも２
つの表示による出力を同時に用いたマルチモーダル出力で応答する。

【００２５】（５）エージェントの姿を、環境ビューワにエージェントのシンボルとして表示する。 実行可能な指示を認識した場合、表示したシンボルの表情を変えるとともに、内容をテキストで表示しながらそれを実行する。

【００２６】（６）ユーザの指示内容が、状況から推察して確実な場合、仮想ペーパで色の変わって表示されているコマンドとして認識された部分をタップした場合、
エージェントに対して『ＯＫ』と言った場合、ＯＫのジェスチャをした場合、エージェントに触れた場合、ユーザがエージェントに目を合わせてうなずいた場合、エージェントがその指示を実行する。

【００２７】（７）環境ビューワの電子ファイルをダブルタップする、電子ファイルを仮想ペーパに重ね合わせる、音声やジェスチャを使って、『これをオープン』のように指示する、ことにより環境ビューワに表示されている電子ファイル等を仮想ペーパに簡単に表示可能とする。

【００２８】

【発明の実施の形態】以下、図面を用いて本発明の実施例を説明する。 図１に本発明の第一の実施例の外観を示す。 本実施例は、図１に示すように、以下の構成要件を有する。 実デスク１の上の実際の紙２、仮想デスクを表示する環境ビューワ３と、仮想ペーパを表わすペン（手書き）入力コンピュータ４、キーボード９、および小型
CCDカメラをペンに内蔵したスキャナ付ペン８、マイク６、スピーカ５、机上の様子を入力するカメラ７より構成されている。 本発明では、これら構成要件をユーザの使用しやすい環境となるよう構成する。 なお、環境ビューワ３にはエージェント１０が表示される。

【００２９】環境ビューワ３には、従来とほぼ同様のグラフィカルユーザインタフェースでのデスクトップが表示される。 このモニタには、ファイル、ホルダ、メールのインボックス、インテリジェントエージェント１０などが表示される。 机上にある実物（例えば実際の紙２）
は、カメラ７を通して実デスクを監視することにより、
この仮想デスクトップに表示される。

【００３０】ペン入力コンピュータ４は、仮想ペーパに対応する。 仮想デスクトップのファイルの表示やアプリケーションの実行は、ペン入力コンピュータ４で行う。
ペン入力コンピュータ４は、仮想ペーパである。 したがって、ペンで操作されるものである。 ここで、ペン入力コンピュータ４は、「認識を伴わないインクモードを持つ」、「２つのペン入力コンピュータを横に置くと１つの大きな仮想ペーパとなる」などの実ペーパの特徴を持つ。

【００３１】小型CCDカメラをペンに内蔵したスキャナ付ペン８を用いて、実ペーパと仮想ペーパのインタフェースをとる。 すなわち、実ペーパの情報はペン型のスキャナで取り込まれ、ペン入力コンピュータ上の指定領域へ認識されたデータあるいは生のスキャンデータが転送される。

【００３２】複数のペン入力コンピュータ、環境ビューワおよびスキャナ付ペン等は赤外線等の室内（あるいはデスクトップ）ＬＡＮで結合しておく。 そしてこれらを協調的に動作させる。

【００３３】エージェントへの指示はペン、音声、ジェスチャ、キーボードの複数のモードを用いて行われる。
同じモードに対応する入力メディア（複数のペン入力コンピュータ、モニタ、マイクなど）が複数存在する。 例えば、ペン入力はどのペン入力コンピュータでも行うことができ、また、ジェスチャは、どのペン入力コンピュータでも環境ビューワ上でも行うことができる。 すなわち、入力モードは複数の入力メデイア（装置）に分散されることになる。

【００３４】出力としては、環境ビューワやペン入力コンピュータに表示されるほか、音声合成など利用し音声や効果音、グラフィカル表示などを用いてマルチモーダルに出力する。

【００３５】エージェント１０が環境ビューワ上に表示し、これを知的処理のシンボルとしてもよい。 具体的には、システムに対する命令（ペン、音声、ジェスチャ）
は、この知的エージェントが処理するという形になる。

【００３６】エージェントは、マルチモーダルな指示からユーザの意図を抽出し、それをもとに問題解決し、結果を出力するという処理を行う。

【００３７】図２に、本システムの構成図を示す。 本システムは、３台のワークステーション１０１、１０２、
１０３、および４台のペンパソコン１０５、１０６、１
０７、１０８、入出力用のパソコン１０４、アプリケーションをバックグラウンドで実行するためのパソコン１
０９から構成される。

【００３８】ワークステーション１０１、１０２、１０
３のソフトウエア構造は、ＯＳ１１０、その上部にワークステーションとパソコン間の通信ソフトウエア１１１
から構成される。 ワークステーション１０３は音声認識、カメラ入力専用であり、そのために音声認識サーバ１２０、画像入力サーバ１２１を稼働させている。 ワークステーション１０１は、本個人情報環境全体の制御プログラム１１２と、後述するマルチモーダルアナライザ（ＭＭＡ）１１３および印刷文字認識サーバ１１４、手書き文字認識サーバ１１５が稼働している。 ワークステーション１０２は、本個人情報環境全体の制御プログラム１１２の他に、後述するマルチモーダル問題解決器（ＭＭＩＰ）１１７、マルチモーダル応答生成器（ＭＭ
Ｇ）１１８、および、音声合成サーバ１１９、一般アプリケーションプログラム１１６が稼働している。

【００３９】また、本システムでは、ペンパソコン（ペン入力コンピュータ）１０５、１０６、１０７、１０８
およびパソコン１０９はＯＳ１２７を有し、その上にワークステーションとパソコン間の通信ソフトウエア１２
６、本個人情報環境全体の制御プログラム１２５および仮想ペーパのソフトウエア１２３、ＯＳ１２７上アプリケーションの外部からの制御プログラム１２４が稼働している。 パソコン１０４もＯＳ１２７を有し、その上にワークステーションとパソコン間の通信ソフトウエア１
２６、本個人情報環境全体の制御プログラム１２５、および、ペン型スキャナ入力１２８、キーボード入力１２
９、環境ビューワ管理１３０のプログラムが稼働している。

【００４０】本システムでは、図３に示すように、知的エージェント３２を各ペンパソコン（ペン入力コンピュータ）や環境ビューワで実行中のアプリケーション３１
とユーザを介在するシステムとしてみなす。 ユーザは、
アプリケーションを知的エージェントを介さずに直接操作することも、知的エージェントの助けを借りてアプリケーションを利用することも可能である。

【００４１】次に、この個人情報機器の利用法について説明する。 ユーザは図１に示すように、以下の環境で利用する。 （a）複数のペンパソコン（ペン入力コンピュータ）４、（b）環境ビューワ（仮想デスクトップ、知的エージェント）３、（c）スキャナ付ペン８のハードウエアと実際の紙が混在した環境で利用する。 この環境によりユーザは、ペン、音声、ジェスチャ（ペン、タッチ）を同時に混在させインタフェースすることが可能である。

【００４２】（１）基本操作：知的エージェント機能を使わない場合 環境ビューワ（仮想デスクトップ）５に種々の書類を表示する。 ここで、ユーザが、表示されたものから所望のものを選択（「オープン」）すると、選択されたものが手許のペン入力コンピュータのうち少なくとも１台に現われ、操作を行うことができる。

【００４３】つまり、以下にあげるようにユーザは複数の操作の仕方から選ぶことができる。 ペンによる手書き、ペンによるタップ、ペン型スキャナ、キーボードを用いて操作を行うことができる。 この場合、ユーザにとってのメリットは、以下の通りである。

【００４４】（a）作業環境が机上に拡大され、机上で紙やペンを用いて自然に作業できること （b）実ペーパと同じメタファで仮想ペーパを使うことができること （c）実ペーパと仮想ペーパのインタフェースがペン型スキャナでとれること （例えば、実ペーパ上に重要なデータがある場合、ペン型スキャナで容易に仮想ペーパ上にもってくることが可能） （２）応用操作：知的エージェント機能を使う場合 知的エージェント機能を使う場合、以下の入力構成要件に対応したマルチモーダル入出力が可能となる。 この構成要件とは、（a）ペン、（b）音声、（c）ジェスチャ（ペン）、（d）キーボードなどである。 知的エージェントが有する情報は、（a）アプリケーションに関する情報（記憶されているデータの意味および外部から操作する方法）、（b）個人情報（ユーザが教えた情報）、
（c）言語情報（単語、シソーラス、意味）などである。

【００４５】知的エージェントがアプリケーション（アドレス帳）に関する知識を用いると、以下のような操作が可能となる。

【００４６】例えば、手紙をペン入力コンピュータで作成し、五百旗頭さんにそれをｆａｘする場合、姓名が難しいので、音声とペンとジェスチャを用いて図４のように指示することができる（４１）。 この処理においては、まず、マルチモーダル入力の意味解析が行なわれる。 すなわち、ペンで指されたペン入力コンピュータのファイルが「この手紙」であり、音声とペン入力を合わせて１つの文とみなす必要がある（これが後述するマルチモーダル意味処理（ＭＭＩＰ）の仕事である）。 次に、ｆａｘするには、五百旗頭さんのｆａｘ番号が必要であるので、知的エージェントはアドレス帳というアプリケーションで五百旗頭さんのｆａｘ番号を検索する。
この時、知的エージェントは、アドレス帳というアプリケーションには名前と電話番号が記憶されているというアプリケーションに関する情報、および、その検索するという操作がどのように外部から実行可能であることを知らなければならない。 逆に、アプリケーションが知的エージェントによって利用されるには、このような情報および外部から機能の呼び出し機能をエージェントに伝える方法が必要である。

【００４７】また、上記の例では、五百旗頭さんのｆａ
ｘ番号をアドレス帳アプリケーションからもってきたが、直接知的エージェントに教えた情報を用いることもできる。 例えば、『五百旗頭さんのｆａｘ番号はxxxである。 』と教えれば、アドレス帳アプリケーションがなくてもよい。

【００４８】図５に、ペン型スキャナを用いた利用例５
１を示す。 ユーザは注文書を通信販売会社にｆａｘしようとしているが、そのｆａｘ番号が、新聞（実物の紙）
上にあるため、「ここに」と音声で指示しながら、同時にペン型スキャナで入力する。 この場合、ｆａｘ番号だけを厳密にスキャンする必要はなく、ラフにスキャンすれば、意味（この場合、電話番号であるとの予測）から、適切なものだけが切り取られて用いられる。

【００４９】この応用操作においてのユーザメリットは、（a）マルチモーダル入力によって自然に、簡単に、指示することができること、（b）知的エージェントが複雑なアプリケーションを使いこなしてくれること（他システムの情報も自動的に参照できる）および（c）個人的な情報（メモ）を自然言語（マルチモーダル入力が可）でエージェントに教えると、それを知識として用いることなどである。

【００５０】以下、オフィスワークにおける利用例を図６に示す。 音声か手書きで『絵のこの部分を、部長にファックスせよ。 』と指示をしながら、『この部分』を言うと同時に、対象部分をペンで丸くで囲むという操作をした場合（例６１）、エージェントは対象部分から絵を切りだし、それを部長に自動的にファックスする。

【００５１】音声か手書きで『予算資料の中にあるグラフを、ここにコピーせよ。 』と指示をしながら、『ここ』を言うと同時に、対象場所をペンでタップした場合（例６２）、エージェントは予算資料か格納されているファイルを自動的に探し、その中からグラフを持ってきてタップした場所にコピーする。

【００５２】音声か手書きで『私の顔写真はこれです。 』と指示をしながら、『これ』を言うと同時に、ペン入力コンピュータに表示されている写真を丸で囲んだあるいはあるいは、ペン型スキャナで実際の写真をスキャンした場合（例６３）、エージェントはこれを知識として保存し後で利用する。

【００５３】この後、音声か手書きで『私の顔写真を表示せよ。 』と指示した場合（例６４）、エージェントは前の会話で教えられた情報をもとに写真を表示する。

【００５４】また、音声か手書きで『田中さんの住所はここで、電話番号は、これだ。 』と指示をしながら、
『ここ』『これ』を言うと同時に、ペン型スキャナで名刺の対応する部分をスキャンした場合（例６５）、エージェントはこれをマルチメデア知識として保存し後で利用する。

【００５５】図７に、全体の処理フローを示す。 知的認識機構７１、７３、７６は２段階のフィードバックループを持つ。 第１のフィードバックループは知的認識機構７１、７３、７６内部に存在する。 ここでは、知的認識機構７１、７３、７６が持つ辞書、形態素情報を用いて認識結果の修正を行う。 第２のフィードバックはマルチモーダル入力機構７８からの制約情報や予測情報を用いて行われる。 基本的な認識エンジン７２、７４、７５は公開されている通常のアルゴリズムを用いて実現する。
これらのフィードバックは、ペン認識機構７５においては行の切り出し、文字の切り出しまで、印刷文字認識機構７３においては、意味のある領域の切り出し、行の切り出し、文字の切り出しまで作用させる。

【００５６】一方、音声認識機構７１は、上記２つと比べて認識率がけた違いに悪いので、異なるアプローチをとる。 すなわち、マルチモーダル入力機構７８からの制約を認識候補の辞書や認識候補の文法という形式でまず音声認識に知らせ、それを用いて認識するという、制約主導型の認識を主とする。

【００５７】これらの知的認識機構は、図２において、
ワークステーション１０１、１０３上のソフトウエアモジュール１１４、１１５、１２０、１２１として実装されている。

【００５８】マルチモーダル入力機構７８は、「構文記述＋制約記述（意味、時間）」の表現で知識ベース７７
に格納されているデータを用いる。 すなわち、形式を重要視した構文記述と、意味を重視した制約記述を併用し、その処理（パージング処理）においても、構文重視から制約重視までのレベルを設ける。 つまり、構文を重視すると効率的な処理が可能となり。 制約記述を重視すると、非構文的でも時間をかければ解析可能となる。 制約記述を重視した場合、組み合わせ爆発的に計算量が増加するが、従来技術である高速パージングアルゴリズムとの併用で、計算可能なレベルまで効率化する。

【００５９】マルチモーダル入力機構７８は知識ベース７７に保持されている知識を用いて、入力として認識できる場合、その結果を問題解決機構７９に伝えるが、認識できない場合、どのように認識しなおすべきかを、知的認識機構７１、７３、７６に伝える。

【００６０】マルチモーダル入力機構７８のメインモジュールは図２において、ワークステーション１０１上のソフトウエアモジュール１１３として実装される。

【００６１】マルチモーダル入力機構７８から問題解決機構７９に入力された認識結果は、その意味を問題解決機能７９が知識ベース８０を利用して解析し、その結果をマルチモーダル生成機構８２に知らせる。 また、マルチモーダル入力機構７８からの認識結果が事実の場合は知識ベース８０に登録される。 問題解決機構７９のメインモジュールは図２において、ワークステーション１０
２上のソフトウエアモジュール１１７として実装される。

【００６２】問題解決機構７９からマルチモーダル生成機構８２に入力された応答のデータに基づき、マルチモーダル生成機構８２では、環境ビューワ、仮想ペーパからの文字／画像の出力８３、８５、環境ビューワ、仮想ペーパ、およびエージェントからの音声での出力８４を行う。 出力メディアの選択、出力方法は、ノウハウ８１
を用いて導き出す。 例えば、質問と答えの関係から発話のストレス、スピードを適応的に設定する。

【００６３】マルチモーダル生成機構８２のメインモジュールは図２において、ワークステーション１０２上のソフトウエアモジュール１１８として実装されている。
また、音声出力のモジュールはワークステーション１０
２上のソフトウエアモジュール１１９である。

【００６４】図７で示したシステムの処理フロー内の、
サブシステムからの入力８７とは、仮想ペーパ上で動作中のアプリケーションからのその動作状態の報告などを表わす。 これを用いて、アプリケーションの現在の状態を考慮に入れた問題解決を問題解決機構７９で実行する。

【００６５】また、サブシステムへの出力８６とは、仮想ペーパ上で動作中のアプリケーションへの制御指示に加え、本個人情報環境の構成要素である、環境ビューワ、エージェント、仮想ビューワの制御指示も含む。 すなわち、問題解決機構では、ユーザへの応答方策に加え、自システムおよび他アプリケーションの実行制御方策も同時に生成する。

【００６６】

【発明の効果】以上説明したように本発明の実施例によれば、人間中心・実世界中心の考え方により設計され、
音声、手書き、ジェスチャ等のマルチモーダルな形態で対話可能な、より人間中心のユーザインタフェースを有するコンピュータ利用環境を持つ個人情報を実現することが可能となる。

【図面の簡単な説明】

【図１】本発明の第一の実施形態を示す図である。

【図２】プログラム構造と機器構成を示す図である。

【図３】エージェントの位置付けを表わす図である。

【図４】利用形態の例を説明する図である。

【図５】利用形態の例を説明する図である。

【図６】利用形態の例を説明する図である。

【図７】本発明の処理フローを説明する図である。

【符号の説明】

１…実デスク、２…実際の紙、３…仮想デスクを表示する環境ビューワ、４…仮想ペーパを表わすペン入力コンピュータ、５…スピーカ、６…マイク、７…カメラ、８
…小型CCDカメラをペンに内蔵したスキャナ付ペン、９
…キーボード、１０…エージェント

───────────────────────────────────────────────────── フロントページの続き (72)発明者 冨田 民則 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 青島 弘和 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内