【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータシステムにおけるインタフェースシステムに関し、特にアプリケーションプログラムの適応ユーザインタフェース生成装置および適応ユーザインタフェース生成方法に関する。

【０００２】

【従来の技術】従来、コンピュータシステムにおけるユーザインタフェースを変化させるものとして、ユーザ適応インタフェースシステムが研究されている。 このようなユーザ適応インタフェースシステムは、ユーザの操作履歴やカスタマイズ要求に従って、インタフェースを変更することにより、ユーザにとって使い易い操作環境を提供しようとするものである。 例えば、特開平6−59844
号公報に記載のユーザ適応システムおよびその適応方法では、アプリケーションプログラム（以下、「アプリケーション」と記す）の操作系列をユーザの操作に応じて短縮させることでインタフェースを変更している。 しかしながら、この方法では、ユーザの操作結果に対して操作系列を変化させるものであるが、ユーザが望まない、
あるいは予期しない操作系列の短縮が発生することもあり、必ずしも使い易くなるわけではなかった。 また、操作系列の評価基準が単純な重みに従っているため、多様な操作系列を持つアプリケーションでは、機能と操作の関係 を単純化しすぎ、一つの操作系列の変更が他の操作系列を操作性を悪くしてしまうことがある。

【０００３】一方、コンピュータシステムで疑似感情を利用して人間に適応させようとする方法がある。 例えば、特開平6-12401号公報に記載の感情模擬装置及び特開平7-104778号記載の感情表出装置では、対話システムに人工感情を与え、その感情表出を親しみやすいものとして制御するもので、人間とコンピュータの関係を、利用者と道具という関係ではなく、互いに感情を持ったもの同士の関係とすることで、人間にとって親しみやすいあるいは使い易いコンピュータを目指したものである。
しかしながら、出力される感情はユーザの対話相手としての表現であり、ユーザが操作するタスク自体の機能や操作についての知識を持たない上に。 ユーザに不要な対話作業を課すため、必ずしもユーザにとって感情利用が親しみやすさや操作性向上にはつながらない。

【０００４】さらに、ユーザの生体情報に応じてインタフェースを適応させる方法が研究されている。 例えば、
特開平9-22314号公報に記載のストレス適応の制御装置では、人体から検出した生体情報をもとに、ストレスおよび疲労度を算出し、予め用意されたストレスおよび疲労度に応じた処理を行うことで、ストレスを下げるように適応する。

【０００５】また、特開平9-330159号公報に記載のデータ処理装置、ゲーム制御装置、データ処理方法、およびゲーム制御方法では、ユーザの生体情報に集中、リラックス、興奮等の単純な精神状態を結び付け、精神状態に応じてユーザインタフェースを適応させている。

【０００６】

【発明が解決しようとする課題】上述した従来技術の第
1の問題点は、ユーザとの対話適応のために利用されている感情表現では、ユーザの操作環境を向上できないことである。 その理由は、アプリケーションの機能や操作についての知識が、感情表現生成時に十分に利用されていないためである。

【０００７】また、第2の問題点は、コンピュータシステムの状態変化に応じて、アプリケーションの操作環境を変化させることができないことである。 その理由は、
ユーザの作業により生じるコンピュータシステムへの影響が、アプリケーションの操作環境を適応させる要因として考慮されていないためである。

【０００８】さらに、第3の問題点は、人間の感情状態に応じて、アプリケーションのユーザインタフェースを適応させることができないことである。 その理由は、ユーザの感情状態のユーザインタフェース操作への影響が、アプリケーションのユーザインタフェース適応の要因として考慮されていないためである。

【０００９】本発明の目的は、疑似感情を利用したリソース制御を用いて、アプリケーションの機能と操作に対して柔軟にユーザインタフェースを適応させる適応ユーザインタフェースシステムを提供することである。

【００１０】本発明の他の目的は、アプリケーションの機能と操作という特性を重視しつつ、ユーザやコンピュータシステム等の環境情報に柔軟に対応できる適応ユーザインタフェースシステムを提供することである。

【００１１】本発明のさらに他の目的は、ユーザの感情状態に応じた快適なユーザインタフェースを適応させる適応ユーザシステムを提供することである。

【００１２】

【課題を解決するための手段】本発明の第1の適応インタフェース生成システムは、アプリケーション情報入力手段と、アプリケーション概念情報生成手段と、疑似感覚刺激入力変換手段と、疑似感覚刺激情報記憶手段と、
疑似感情生成手段と、疑似感情特性記憶手段と、疑似感情表現変換手段と、表現情報記憶手段と、ユーザインタフェース生成手段と、レンダリング手段とを備え、アプリケーションの機能と操作からなるアプリケーション情報を前記アプリケーション情報入力手段より獲得し、アプリケーション情報を操作系列および機能によって体系化したアプリケーション概念情報を前記アプリケーション概念情報生成手段によって生成し、前記疑似感覚刺激情報記憶手段に記憶されている概念情報と疑似感覚刺激の対応情報を利用して、前記疑似感覚刺激入力変換手段によりアプリケーション概念情報を前記疑似感情生成手段に対する入力疑似感覚刺激に変換し、前記疑似感情特性情報記憶手段に記憶されている疑似感情生成の特性を利用して、前記疑似感情生成手段において疑似感情を生成し、前記表現情報記憶手段に記憶されている疑似感情と表現の対応情報を利用して、前記感情表現変換手段において疑似感情をインタフェースの変化として表現したインタフェース情報に変換し、前記ユーザインタフェース生成手段においてインタフェース情報をもとに画像や音声等のデバイスへのインタフェース出力情報を生成し、前記レンダリング手段においてインタフェース出力情報を画像や音声等として出力するよう動作する。

【００１３】また、本発明の第2の適応インタフェースシステムは、本発明の第1の適応インタフェースシステムにおいて、ユーザやコンピュータシステム等の環境情報に柔軟に対応できるように、環境情報獲得手段と、入出力制御手段と、環境情報処理手段とを加え、前記疑似感覚刺激入力変換手段を環境入力変換手段に置き換えて拡張したものであり、前記入出力制御手段において、入力情報を獲得するための制御を行い、前記環境情報獲得手段において、ユーザやコンピュータシステムの周辺の情報を環境情報として少なくとも１つ以上獲得し、前記アプリケーション情報獲得手段において、アプリケーションの機能と操作によって示されるアプリケーションの情報とを獲得し、前記アプリケーション概念情報生成手段によってアプリケーションの概念情報を生成し、前記環境情報処理手段において、環境情報を予め規定された基準値を用いて正規化し、前記疑似感情情報記憶手段に記憶されている概念情報および環境情報と疑似感覚刺激との対応情報を利用して、前記環境入力変換手段において、環境情報およびアプリケーションの概念情報を前記疑似感情生成手段に対する入力疑似感覚刺激に変換し、
前記疑似感情特性情報記憶手段に記憶されている疑似感情生成の特性を利用して、前記疑似感情生成手段において疑似感情を生成し、前記表現情報記憶手段に記憶されている疑似感情と表現の対応情報を利用して、前記疑似感情表現変換手段において疑似感情をインタフェースの変化として表現したインタフェース情報に変換し、前記ユーザインタフェース生成手段においてインタフェース情報を基に画像や音声等のデバイスへのインタフェース出力情報を生成し、前記入出力制御手段において、情報出力のための制御を行い、前記レンダリング手段においてインタフェース出力情報を画像や音声等として出力するよう動作する。

【００１４】また、本発明の第3の適応インタフェースシステムは、生体情報獲得手段と、アプリケーション情報入力手段と、生体情報処理手段と、感情判定手段と、
感情状態記憶手段と、感情表現変換手段と、感情表現記憶手段と、ユーザインタフェース生成手段と、レンダリング手段とを備え、ユーザの生体情報を前記生体情報獲得手段で獲得し、アプリケーションの操作、機能およびユーザインタフェースの情報を前記アプリケーション情報入力手段において獲得し、前記生体情報獲得手段で得られたユーザの生体情報を前記生体情報処理手段で感情判定に利用できるように加工し、前記感情状態記憶部に記憶されている感情と生体情報の対応関係を利用して、
前記生体情報処理手段から得られる生体情報に対応するユーザの感情を前記感情判定手段で判定し、前記アプリケーション情報入力手段から得られるアプリケーションの情報と、前記感情表現記憶手段に記憶されている感情と表現方法の対応関係を利用して、前記感情判定手段で判定される感情に応じたアプリケーションの表現方法を前記感情表現変換手段において決定し、前記感情表現変換手段において得られたアプリケーションの表現方法に従って前記ユーザインタフェース生成手段においてユーザインタフェースの出力情報を生成し、前記ユーザインタフェース生成手段において得られたユーザインタフェースの出力情報を基に前記レンダリング手段でインタフェース出力情報を画像や音声等としてユーザに提示するように動作する。

【００１５】

【発明の実施の形態】次に、本発明の実施の形態について図面を参照して詳細に説明する。

【００１６】図１を参照すると、本発明の第1の実施の形態は、アプリケーション情報入力装置100と、インタフェース生成部200と、疑似感情生成部300と、疑似感情特性情報記憶部301と、ユーザインタフェース生成部400
と、レンダリング装置500とから構成されている。 さらに、インタフェース生成部200は、アプリケーション概念生成部201と、疑似感覚刺激入力変換部202と、疑似感覚刺激情報記憶部203と、疑似感情表現変換部204と、表現情報記憶部205とから構成されている。

【００１７】これらの装置はそれぞれ概略つぎのように動作する。

【００１８】アプリケーション情報入力装置100は、アプリケーションの機能と操作の対応情報をアプリケーション情報として入力する装置である。 アプリケーション概念生成部201は、入力されたアプリケーション情報を基に、アプリケーションの機能と操作の対応を相互の関係を体系化して再構成したアプリケーション概念を生成する。

【００１９】疑似感覚刺激入力変換部202は、アプリケーション概念から特定の操作について、機能とのアプリケーション概念上の距離の違いや関連する機能や操作数等、および疑似感覚刺激を変換する基本的なパターンを基に、快、不快と言った疑似感情生成部300へ入力する疑似感覚刺激へと変換する。 疑似感覚刺激情報記憶部20
3には、アプリケーション概念に対応する基本的な疑似感覚刺激変換パターンが記憶されている。

【００２０】疑似感情生成部300は、擬似感覚刺激入力変換部202からの疑似感覚刺激入力、以前の状態、および疑似感覚刺激が疑似感情の変化を起こす基本的なパターンを基に、擬似感情の変化を生成する。 疑似感情特性情報記憶部301には、疑似感覚刺激が疑似感情の変化を起こす基本的なパターンが記憶されている。

【００２１】疑似感情表現変換部204は、疑似感情生成部300で生成された疑似感情に対して、疑似感情による表現への影響の情報を利用して、アプリケーション概念上の機能と操作の関係を変更する。 表現情報記憶部205
には、疑似感情による表現への影響の程度、範囲、関係等からなる表現への影響の情報が記憶されている。

【００２２】ユーザインタフェース生成部400は、疑似感情表現変換部204で変換されたアプリケーション概念にしたがって、アプリケーションのインタフェース情報を生成する。 インタフェース情報とは、ユーザインターフェイス生成に必要となる画像データ、音声データ、あるいは他の機器に対する制御情報である。 レンダリング装置500は、ユーザインタフェース生成部400によって生成されたインタフェース情報から、それぞれの表現生成に必要な機器を用いてインタフェースを表現する。

【００２３】次に、図1と、図2の流れ図とを参照して本実施の形態の全体の動作について詳細に説明する。

【００２４】まず、アプリケーション情報入力装置100
により、アプリケーションの情報としてアプリケーションの機能と操作の対応関係が入力される（図2のステップA100）。 入力されるアプリケーションの情報は、設計段階の場合は設計仕様から、既存のアプリケーションの場合はマニュアルやヘルプから、操作と機能の対応関係である。 設計段階の場合には、機能実行に必要なリソースもアプリケーション情報に含まれる。

【００２５】次に、アプリケーション概念生成部201において、入力されたアプリケーション情報から、機能と操作の対応関係を体系化したアプリケーション概念を生成する（図2のステップA110）。 アプリケーション概念は、機能と操作をグラフもしくはテーブルとして表現したものであり、関連のある機能および操作には、関連を示すリンクが張られ、重みが設定される。 この時の重み付けの基準は、関連するリンクの数、機能実行に必要なリソース量、マニュアルやヘルプから抽出可能な機能名や操作名の出現頻度および「重要」、「注意」、「ポイント」といった特定の言葉に関連付けられた回数等から決定される、機能もしくは操作の重要性に応じて設定される。

【００２６】次に、疑似感覚刺激入力変換部202において、アプリケーション概念から特定の操作について、機能とのアプリケーション概念上の距離の違いや関連する機能や操作数等によって記述される基本的な疑似感覚刺激変換のパターンを基に、「快」、「不快」と言った疑似感情生成部へ入力する疑似感覚刺激へと変換する（図
2のステップA120）。 このとき、アプリケーション概念は、疑似感覚刺激情報記憶部203に記憶されている基本的な疑似感覚刺激変換パターンに準じて疑似感覚刺激へと変換される。

【００２７】次に、疑似感情生成部300において、疑似感覚刺激入力変換部202で生成された疑似感覚刺激入力、疑似感情特性情報記憶部301に記憶されている、疑似感覚刺激が疑似感情変化を起こす基本的なパターン、
および疑似感覚刺激入力以前の状態を基に、疑似感情の変化を生成する（図2のステップA130）。

【００２８】次に、疑似感情表現変換部204において、
疑似感情生成部300で生成された疑似感情に対して、表現情報記憶部205に記憶されている、疑似感情による表現への影響の程度、範囲、関係等からなる表現への影響の情報を基に、アプリケーション概念上の機能と操作の関係を変更する（図2にステップA140）。 この時の変更は、操作もしくは操作経路に対して行われ、複製、切断、回避、新規挿入等、グラフあるいはテーブル上のアプリケーション概念を変更する。

【００２９】次に、ユーザインタフェース生成部400において、疑似感情表現変換部204で変換されたアプリケーション概念にしたがって、アプリケーションのインタフェース情報を生成する（図2のステップA150）。

【００３０】最後に、レンダリング装置500において、
ユーザインタフェース生成部400によって生成されたインタフェース情報から、映像、音声、あるいは拡張機器への制御情報を基に、映像、音声、もしくはその他の機器を用いてインタフェースを表現する（図2にステップA
160）。

【００３１】次に、具体的な実施例を用いて本実施の形態の動作を説明する。

【００３２】図3は本実施の形態の一実施例を説明するための図であり、アプリケーションとして、WWWブラウザのGUIインタフェースを例としている。 図3（A）は、
アプリケーション本来のGUI画面例で、移動ボタン601および中止ボタン602を含む3つのボタンと、1つの入力フォーム600と、1つの表示画面である内容表示パネル604
と、1つのプログレッシブバー603から構成されている。

【００３３】図4はアプリケーション設計段階で想定されている、ユーザの行動の一例であり、図2のステップA
100で入力されるアプリケーション情報である。 図4は、
ユーザがWWW上での閲覧をするときの作業の流れ図の例を示す。

【００３４】図4によると、まず、ユーザは入力フォーム600に閲覧したいURLを入力し（図4のステップA20
0）、移動ボタン601を押下し（図4のステップA201）、
入力フォーム600に目的のURLが入力されている場合は（図4のステップA202のYES）、接続状況を示すプログレッシブバー603の停止を確認し（図4のステップA203）、
URLが指定する情報を内容表示パネル604上で閲覧する（図4のステップA204）。 URLが正しくない場合は（図4
のステップA202のNO）、プログレッシブバー603が停止していないならば（図4のステップA206のNO）、中止ボタン602を押下し（図4のステップA206）、プログレッシブバー603が停止しているならば（図4のステップA206の
YES）、接続が終了される（図4のA207）。

【００３５】この時のアプリケーション概念の一部を図示したのが図5であり、図2のステップA110で生成されるアプリケーション概念である。 図5では、機能は実線で囲まれており、GUIは破線で囲まれており、GUIと機能の対応関係を示すパスは曲線で、機能間の関係を示すパスは直線で表されている。

【００３６】また、図4で示されている操作系列の関係を示すパスは点線で表されている。 例えば、入力フォーム600と移動ボタン601の操作系列関係パスは、入力フォーム600から移動ボタン601への点線で表されている。

【００３７】図5によると、GUIと機能の対応は、入力フォーム600にはURL指定610が、移動ボタン601にはURL接続611が、中止ボタン602にはURL切断612が、プログレッシブバー603には接続状況表示613が、内容表示パネル60
4にはURL内容表示614が、それぞれ対応している。

【００３８】また、図5では説明を簡単にするため、重みは5段階のスカラーとしており、機能の重要性を基に任意に設定しているが、各機能実行時の負荷やリソース消費量等を重みとして与えたり、ベクトルで重みを与えてもよい。 図5によると、URL指定610の重みは「4」、UR
L接続611の重みは「5」、URL切断612の重みは「4」、接続状況表示613の重みは「3」、URL内容表示614の重みは「5」である。

【００３９】以下は、図5において着目する操作を、中止ボタン602として説明する。 中止ボタン602には、URL
切断612という機能が関連付けられており、関連するGUI
としてプログレッシブバー603が対応付けられている。

【００４０】図2のステップA120のアプリケーション概念からの疑似感覚刺激への変換のために、GUIの距離と機能の距離を求める。 以下の距離の定義は、説明のために簡単化しているが、例えば、GUIコンポーネントの配置座標、GUIコンポーネントの画面全体に占める割合等を利用してもよく、アプリケーションの操作および機能の関係を示す指標であればよい。

【００４１】中止ボタン602とプログレッシブバー603とのGUIにおける距離を求めるために、GUIのコンポーネント間の距離を定義する。 もし、GUI間に直接関連パスがあれば距離を「1」とし、GUIのみを経由して間接的な関連パスがあれば距離を関連パスの総数とし、GUIのみを経由する関連パスが無い場合は「0」とする。 図5の場合、例えば、中止ボタン602とプログレッシブバー603の
GUIでの距離は「1」であり、中止ボタン602と内容表示パネル604とのGUIでの距離は「2」であり、中止ボタン6
02と入力フォーム600との距離は「0」であり、中止ボタン602と移動ボタン601との距離は「0」である。

【００４２】また、中止ボタン602とプログレッシブバー603の機能における距離を求めるために、機能間の距離を定義する。 任意の2つの機能間の距離は、機能間の最短関連パスの重みの差分の絶対値の和とする。 例えば、中止ボタン602とプログレッシブバー603の機能間の距離は、URL切断612から接続状況表示613の重みの差分「1」であり、中止ボタン602と内容表示パネル604との機能間の距離は、URL切断612から接続状況表示613の重みの差分「1」と、接続状況表示613とURL接続610の重みの差分「2」との和「3」であり、中止ボタン602と入力フォーム600との機能間の距離は、URL切断612から接続状況表示613の重みの差分「1」と、接続状況表示613とU
RL接続611の重みの差分「2」と、URL接続611とURL指定6
10の重みの差分「1」との和「4」であり、中止ボタン60
2と移動ボタン601との機能間の距離は、URL切断612から接続状況表示613の重みの差分「1」と、接続状況表示61
3とURL接続611の重みの差分「2」との和「3」である。

【００４３】次に、以上のように求められた機能および
GUIの距離を疑似感覚刺激に変換する。

【００４４】図6は、アプリケーション概念から疑似感覚刺激への変換を説明するための図であり、図6（A）
は、疑似感覚刺激情報記憶部203の例であり、アプリケーション概念と疑似感覚刺激への対応の一例を示している。 図6（A）では、説明を簡単にするために、2つだけ指標を挙げているが、これら以外の指標に対して疑似感覚刺激を割り当てることも可能である。 指標に対応する疑似感覚刺激は、快、不快の2種類であり、疑似感覚刺激の値はそれぞれの指標の値がそのまま用いられ、全体の総和が疑似感覚刺激となる。

【００４５】図6（B）は中止ボタン602について疑似感覚刺激変換を行った結果を示しており、例えば、中止ボタン602とプログレッシブバー603の場合、1の疑似快感覚刺激であり、全体として疑似感覚刺激は、11の疑似快感覚刺激と10の疑似不快感覚刺激となる。 こうして求めた疑似感覚刺激を、図4の流れ図に従って、操作が行われる順番で疑似感情生成部300へ入力する。

【００４６】図7は、本実施例における疑似感情生成部3
00の詳細を示したブロック図の一例であり、図8は図7における処理の流れを示している。 以下に図7および図8を用いて、疑似感情生成の流れについて簡単に説明する。

【００４７】まず、疑似感覚刺激入力変換部202からの疑似感覚刺激を疑似感覚刺激入力310として、疑似感覚刺激受容部311で受け取り、以前の疑似感情状態を疑似感情状態記憶部312から獲得し、以前の疑似感情状態に応じて修正した疑似感覚刺激も生成する（図8のステップA300）。

【００４８】図9（A）は疑似感情特性情報記憶部301に記憶されている、疑似感覚刺激の修正と以前の疑似感情状態の対応の一例を示す図であり、説明を簡単にするため、喜び、怒り、平静の3種類の疑似感情状態を持つようにしているが、これら以外に悲しみ、不安等様々な疑似感情状態を対応付けることも可能である。 また、初期状態では、疑似感情は平静である。 図9（A）に示した例では、喜びの疑似感情状態では疑似不快感覚刺激を減少させ、怒りの疑似感情状態では疑似快感覚刺激を減少させ、疑似不快感覚刺激を増大するように疑似感覚受容部を作用させ、平静の疑似感情状態では疑似感覚刺激入力は修正されない。

【００４９】図9（B）は疑似感情特性情報記憶部301に記憶されている、疑似感情の種類とその特性の関係を示した一例を示す。 疑似感情の特性は、リソースに対してどのような影響を与えるかで分類され、図9（B）に示した例では、喜びはリソースの利用を促し、怒りはリソースの開放を促すものとしている。 リソースは、疑似感情特性情報記憶部301に記憶されており、任意のリソースを設定することが可能であり、コンピュータシステム上の実在するリソースだけでなく、例えば体力や集中度等のシステムに実在しない仮想的なリソースを設定することも可能である。

【００５０】本能傾性発生部313には、無修正の疑似感覚刺激入力が入力され、リソースを開放するための疑似感情変化である本能傾性を活性化する（図8のステップA
301）。

【００５１】情感質発生部314には、疑似感覚刺激入力変換部202で修正された疑似感覚刺激が入力され、状態遷移を考慮した疑似感情変化である情感質を活性化する（図8のステップA302）。

【００５２】図10および図11は疑似感情の活性化を説明するための図であり、疑似感情特性情報記憶部301に記憶されている、疑似感情ごとの本能傾性および情感質の活性化と疑似感覚刺激の関係を示しており、図10は喜びについて、図11は怒りについて疑似感覚刺激と活性化の関係を示している。 これらの関係を変化させることで、
疑似感情生成の特性を任意に設定することが可能である。 例えば、本能傾性および情感質の活性化と疑似感覚刺激の関係として、実際の人間の疑似感情変化を記録したものを用いれば、人間と同様の疑似感情生成の特性を設定することが可能である。

【００５３】図10（A）および図11（A）は、本能傾性発生部313で本能傾性を活性化させるために必要な疑似感覚刺激入力の強さを、図10（B）および図11（B）は情感質発生部313で情感質を活性化させるために必要な疑似感覚刺激入力の強さをグラフで表した一例である。 図10
および図11において、入力される疑似感覚刺激の強さに対応する活性の強さが臨界点を超えた場合、本能傾性あるいは情感質が活性化される。 図10の場合、本能傾性、
情感質ともに疑似快感覚刺激に対して敏感であり、逆に疑似不快感覚刺激に対しては活性化されないことが示されている。 また、図11の場合、本能傾性は疑似不快感覚刺激に対して敏感であり、情感質は本能傾性に比べて疑似不快感覚刺激に対する反応が鈍いことが示されている。

【００５４】本能傾性発生部313および情感質発生部314
において活性化された、疑似感情ごとの本能傾性および情感質は、統合部315において、疑似感情として活性化するかが判断される。 統合部315において、本能傾性および情感質の双方が活性化されているとき、疑似感情を活性化する（図8のステップA303）。 本能傾性および情感質の双方が活性化されていない場合は疑似感情は活性化されない。 また、統合部315において、複数の疑似感情が活性化された場合、活性の強さの合計の大きい疑似感情のみが活性化される。 活性化された疑似感情を、疑似感情出力316として出力し、疑似感情状態記憶部312に疑似感情の状態を記憶する（図9のステップA304）。

【００５５】図4の流れ図に従って、操作が行われる順番で疑似感情生成部300へ入力した結果、最終的に得られる疑似感情状態が、操作系列に対する疑似感情となる。 操作系列に対して得られる疑似感情およびそれまでの疑似感情状態の遷移情報は、疑似感情表現変換部204
において表現に変換される。

【００５６】図12（A）は表現情報記憶部205に記憶されている疑似感情と表現の対応関係の一例を示したものである。 図12（A）において、疑似感情と表現の対応関係は、疑似感情とアプリケーション概念におけるリンクに対してどのような影響を与えるかを示している。 また、
疑似感情表現の対象は、疑似感情状態の遷移情報から、
指定された疑似感情あるいは疑似感情変化に対応する操作部位を示しており、例えば、最終疑似感情が怒りならば、疑似感情状態遷移情報からリソース開放疑似感情すなわち喜びを起こす操作部位へのリンク、すなわち操作の対応関係をなくすようにする。

【００５７】図12（B）は、図4の例において得られた疑似感情遷移を示した一例である。 図12（B）によると、
最終的な疑似感情は平静であるので、図12（A）より、
プログレッシブバー確認と中止ボタン押下の操作間に対してリンクの挿入を行う。 ところが、プログレッシブバー603と中止ボタン602の間には、すでにリンクが存在するので、プログレッシブバー603から中止ボタン602に向かう、新たな概念上のリンクを拡張した仮想的なリンクを挿入する。 仮想的なリンクとは、アプリケーション概念上の意味は定義されておらず、単に操作間の関係が強化されていることを示すリンクである。

【００５８】疑似感情表現変換部204において変更されたアプリケーション概念に対して、ユーザインタフェース生成部400でGUIが設定される。 アプリケーション概念の変更に応じて、GUIの種類や位置、大きさ等様々なGUI
およびその属性を対応付けることが可能である。 例えば、アプリケーション概念で追加された仮想的なリンクをGUIとして表現する場合において、仮想的なリンクに対してGUIコンポーネントの位置を近づける変更と設定すると、アプリケーション概念上の仮想リンクによって、プログレッシブバー603と中止ボタン602を近づけるレイアウトに変更される。

【００５９】ユーザインタフェース生成部400によって設定された、レイアウト、アイコンや音声等のGUIを、
レンダリング装置500が画像や音声等で表現する。 図3
（B）は図4の例に対してGUIを生成したもので、プログレッシブバー653が中止ボタン652の近くに配置されている。

【００６０】次に、本実施の形態の効果について説明する。 本実施の形態では、アプリケーションのインタフェースを疑似感情によるリソース制御としてインタフェースを再構成するように構成されているため、アプリケーションの特性に応じてユーザインタフェースを適応させることができる。

【００６１】また、本実施の形態では、さらに、アプリケーションの操作および機能の特性をアプリケーション概念として表したものを疑似感覚刺激に変換するというように構成されているため、多様な操作および機能の特性を持つようなアプリケーションにも柔軟に適応することができる。

【００６２】さらに、疑似感情変化を利用しているので、実際の人間の疑似感情変化の特性を利用することで、人間の感覚に合わせてユーザインタフェースを適応させることができる。

【００６３】次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。

【００６４】図13を参照すると、本発明の第2の実施の形態は、図1に示した本発明の第1の実施の形態において、外界の情報に適応するための変更を加えたものであり、アプリケーション情報入力装置100と環境情報入力装置700と、環境適応部800と、アプリケーション概念生成部201と、疑似感情生成部300と、疑似感情特性情報記憶部301と、疑似感情表現変換部204と、表現情報記憶部
205と、ユーザインタフェース生成部400と、レンダリングシステム500とから構成されている。 さらに、環境適応部800は、デバイス制御部801と、環境情報処理部802
と、環境入力変換部803と、疑似感覚刺激情報記憶部804
とから構成されている。

【００６５】これらの手段はそれぞれ概略つぎのように動作する。

【００６６】アプリケーション情報入力装置100は、アプリケーションの機能と操作の対応情報をアプリケーション情報として入力する装置である。 アプリケーション概念生成部201は、入力されたアプリケーション情報を基に、アプリケーションの機能と操作の対応を相互の関係を体系化して再構成したアプリケーション概念を生成する。

【００６７】環境情報入力装置700は、ユーザやコンピュータシステムの周辺の情報を環境情報として少なくとも１つ以上獲得する装置である。 デバイス制御部801
は、前記環境情報入力装置700およびアプリケーション情報入力装置100から、入力情報を獲得するための制御と、ユーザインタフェースの情報出力のための制御を行う。

【００６８】環境情報処理部802は、環境情報入力装置7
00で獲得された環境情報を、予め規定された基準値を用いて正規化する。 環境入力変換部803は、環境情報およびアプリケーション概念から特定の操作について、機能とのアプリケーション概念上の距離の違いや関連する機能や操作数等、および疑似感覚刺激変換パターンを基に、快、不快と言った疑似感情生成部へ入力する疑似感覚刺激刺激へと変換する。 疑似感覚刺激情報記憶部804
には、環境情報およびアプリケーション概念に対応する基本的な疑似感覚刺激変換パターンが記憶されている。

【００６９】疑似感情生成部300は、疑似感覚刺激入力、以前の状態、および疑似感覚刺激が疑似感情変化を起こす基本的なパターンを基に、疑似感情の変化を生成する。

【００７０】疑似感情特性情報記憶部301には、疑似感覚刺激が疑似感情変化を起こす基本的なパターンが記憶されている。

【００７１】疑似感情表現変換部204は、疑似感情生成部300で生成された疑似感情に対して、疑似感情による表現への影響の情報を利用して、アプリケーション概念上の機能と操作の関係を変更する。 表現情報記憶部205
には、疑似感情による表現への影響の程度、範囲、関係等からなる表現への影響の情報が記憶されている。

【００７２】ユーザインタフェース生成部400は、疑似感情表現変換部204で変換されたアプリケーション概念にしたがって、アプリケーションのインタフェース情報を生成する。 インタフェース情報とは、ユーザインターフェイス生成に必要となる画像データ、音声データ、あるいは他の機器に対する制御情報である。 レンダリング装置500は、ユーザインタフェース生成部400によって生成されたインタフェース情報から、それぞれの表現生成に必要な機器を用いてインタフェースを表現する。

【００７３】次に、図13及び図14の流れ図を参照して本実施の形態の全体の動作について詳細に説明する。

【００７４】まず、デバイス制御部801は、アプリケーション情報入力装置100および環境情報入力装置700に対して情報獲得のための制御を行い、アプリケーション情報入力装置100は、アプリケーションの情報としてアプリケーションの機能と操作の対応関係を獲得し、環境情報入力装置700は、少なくとも１つ以上のユーザやコンピュータシステムの周辺の情報を環境情報として獲得する（図14のステップA400）。 このようにして獲得されるアプリケーションの情報は、設計段階の場合は設計仕様から、既存のアプリケーションの場合はマニュアルやヘルプから、操作と機能の対応関係である。 設計段階の場合、機能実行に必要なリソースもアプリケーション情報に含まれる。 獲得される環境情報は、ユーザの心拍や脳波等の生体情報や、ユーザの存在する空間の明るさ、温度、湿度、音響等の物理量によって表現可能な空間の情報を組合わせたものである。

【００７５】次に、アプリケーション概念生成部201において、入力されたアプリケーション情報から、機能と操作の対応関係を体系化したアプリケーション概念を生成する（図14のステップA410）。 アプリケーション概念は、機能と操作をグラフもしくはテーブルとして表現したものであり、関連のある機能および操作には、関連を示すリンクが張られ、重みが設定される。 この時の重み付けの基準は、関連するリンクの数、機能実行に必要なリソース量、マニュアルやヘルプから抽出可能な機能名や操作名の出現頻度および「重要」、「注意」、「ポイント」といった特定の言葉に関連付けられた回数等から決定される、機能もしくは操作の重要性に応じて設定される。

【００７６】次に、環境情報処理部802において、環境情報入力装置700で獲得された環境情報における個人差をなくすために、予め規定された基準値を用いて環境情報を正規化する（図14のステップA420）。

【００７７】次に、環境入力変換部803において、獲得した環境情報、およびアプリケーション概念上の特定の操作について、機能とのアプリケーション概念上の距離の違いや関連する機能や操作数等により記述される疑似感覚刺激変換の基本的なパターンをもとに、「快」、
「不快」と言った疑似感情生成部へ入力する疑似感覚刺激へと変換する（図14のステップA430）。 このときの基本的な疑似感覚刺激変換パターンは、疑似感覚刺激情報記憶部804に記憶されている。

【００７８】次に、疑似感情生成部300において、疑似感覚刺激入力変換部202において生成された疑似感覚刺激入力、疑似感情特性情報記憶部301に記憶されている、疑似感覚刺激が疑似感情変化を起こす基本的なパターン、および疑似感覚刺激入力以前の状態をもとに、疑似感情の変化を生成する（図14のステップA440）。

【００７９】次に、疑似感情表現変換部204において、
疑似感情生成部300で生成された疑似感情に対して、表現情報記憶部205に記憶されている、疑似感情による表現への影響の程度、範囲、関係等からなる表現への影響の情報を基に、アプリケーション概念上の機能と操作の関係を変更する（図14にステップA450）。 この時の変更は、操作もしくは操作経路に対して行われ、複製、切断、回避、新規挿入等、グラフあるいはテーブル上のアプリケーション概念を変更する。

【００８０】次に、ユーザインタフェース生成部400において、疑似感情表現変換部204で変換されたアプリケーション概念にしたがって、アプリケーションのインタフェース情報を生成する（図14のステップA460）。

【００８１】最後に、デバイス制御部801において、ユーザインタフェース生成部400において生成されたインタフェース情報をレンダリング装置500に出力するための制御を行い、レンダリング装置500において、ユーザインタフェース生成部400によって生成されたインタフェース情報から、映像、音声、あるいは拡張機器への制御情報を基に、映像、音声、もしくはその他の機器を用いてインタフェースを表現する（図2にステップA47
0）。

【００８２】次に、具体的な実施例を用いて本実施の形態の動作を説明する。

【００８３】図15は本実施の形態の一実施例を説明するための図であり、ネットワーク装置に接続されたコンピュータシステム間の適応インタフェースシステムの例を示す。 本システムは、コンピュータシステムであるユーザ端末900と、コンピュータシステムである適応インタフェースサーバー910がネットワーク装置920を介して接続されており、ユーザ端末900は、適応インタフェース端末901と、端末状態検出装置902と、生理情報検出装置903を備えている。

【００８４】適応インタフェース端末901は、ネットワーク装置に接続されたコンピュータシステムであり、アプリケーション情報入力装置100と、レンダリング装置5
00と、デバイス制御部801との機能を備えている。 適応インタフェース端末901では、アプリケーションの動作環境、およびアプリケーション概念生成のためのアプリケーション情報も入力環境を提供し、ユーザのアプリケーションに対する操作を受け付ける。

【００８５】端末状態検出装置902は、ネットワーク装置920に接続された状態検出装置であり、環境情報入力装置700およびデバイス制御部801の機能を備えている。
端末状態検出装置902では、適応インタフェース端末901
上の変化を検出し、適応インタフェースサーバー910に端末情報として送信する。 検出する適応インタフェース端末901上の変化は、アプリケーション実行に伴う、コンピュータシステムのリソース使用量の変化とユーザの操作である。

【００８６】生理情報検出装置903は、ネットワーク装置に接続された情報検出装置であり、環境入力装置70
0、およびデバイス制御部801の機能を備えている。 生理情報検出装置903では、ユーザの生理的情報を検出し、
適応インタフェースサーバー910に送信する。 検出されるユーザの生理的情報は、脳波、心拍数、血圧、体温等である。

【００８７】ユーザ端末900にて入力されたアプリケーション情報、および端末状態情報と生理情報からなる環境情報は、ネットワーク装置920を介して、適応インタフェースサーバー910に送られる。

【００８８】適応インタフェースサーバー910は、ネットワーク装置920に接続されたコンピュータシステムであり、アプリケーション概念生成部201と、疑似感情表現変換部204と、表現情報記憶部205と、疑似感情生成部
300と、疑似感情特性情報記憶部301と、ユーザインタフェース生成部400と、デバイス制御部801と、環境情報処理部802と、環境入力変換部803と、疑似感覚刺激情報記憶部804との機能を備えている。

【００８９】図15に示したシステムにおいて、ユーザが新たなユーザ端末を利用する場合、適応インタフェースシステム全体を新たなユーザ端末上で実行せず、アプリケーション実行と環境情報獲得をユーザ端末において実行する。

【００９０】次に、本実施の形態の効果について説明する。 本実施の形態では、ユーザやアプリケーションが利用される環境情報および疑似感情の変化に基づいてインタフェースを変更するというように構成されているため、アプリケーションのインタフェースを、アプリケーションの利用される状況に応じてインタフェースを再構成することができる。

【００９１】また、本実施の形態では、さらに、デバイスで制御部を用いて入出力情報を制御するというように構成されているため、アプリケーションを実行する環境と、インタフェースを適応するための処理を行う環境とを分離することが可能なため、ネットワーク装置に接続された環境において処理能力の低いコンピュータシステム上のアプリケーションのユーザ適応にも利用するすることができる。

【００９２】次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。

【００９３】図16を参照すると、本発明の第3の実施の形態は、生体情報獲得部1000と、アプリケーション情報入力部1001と、感情適応部1100と、レンダリング部1200
とから構成されている。 さらに、感情適応部1100は、生体情報処理部1101と、感情判定部1102と、感情状態記憶部1103と、感情表現変換部1104と、感情表現記憶部1105
と、ユーザインタフェース生成部1106とから構成されている。

【００９４】これらの装置はそれぞれ概略つぎのように動作する。

【００９５】生体情報獲得部1000は、ユーザの脳波、体温、心拍、血圧、発汗等を計測するセンサ群であり、ユーザの生体情報を獲得し、電気的な信号に変換する。 アプリケーション情報入力部1001では、ユーザがアプリケーション上で行っている操作、アプリケーションの操作方法、アプリケーションの機能およびアプリケーションのユーザインタフェースの情報をアプリケーション情報として入力する。

【００９６】生体情報処理部1101は、ユーザの生体情報に対して、感情判定に利用できるように加工する。 感情判定部1102は、ユーザの生体情報と、感情と生体情報の対応を比較し、ユーザの感情状態を判定する。 感情状態記憶部1103には、感情と生体情報の対応関係が記憶されている。 感情と生体情報の対応関係は、ユーザが主観的に評価した感情とその時の生体情報の組み合わせとして表現可能であり、例えば、怒りの感情状態に対しての生体情報の組を記憶している。

【００９７】感情表現変換部1104は、感情と表現方法の対応関係を利用して、感情に応じたアプリケーションの表現方法を決定する。 感情表現記憶部1105には、感情と表現方法の対応関係が記憶されている。 例えば、怒りの感情に対して表現の簡略化を対応付ける場合、感情表現記憶部1105に怒りと表現の簡略表現方法の組を記憶させる。

【００９８】ユーザインタフェース生成部1106は、アプリケーション情報をもとに、アプリケーションの表現方法に従ったユーザインタフェースの出力情報を生成する。 レンダリング部1200は、ユーザインタフェース出力情報を画像や音声等としてユーザに提示する。

【００９９】次に、図16及び図17の流れ図を参照して本実施の形態の全体の動作について詳細に説明する。

【０１００】まず、アプリケーション情報入力部1001において、アプリケーションのアプリケーションの操作、
機能およびユーザインタフェースの情報をアプリケーション情報として入力する（図17のステップA500）。

【０１０１】次に、生体情報獲得部1000において、ユーザの脳波、体温、心拍、血圧、発汗等を計測し、ユーザの生体情報として生体情報処理部1101に送る（図17のステップA510）。

【０１０２】次に、生体情報処理部1101において、生体情報獲得部1000から送られてきたユーザの生体情報に対して、感情判定のための加工を行い、感情判定部1102に送る（図17のステップA520）。 この時の加工は、感情状態記憶部1103に記憶されている生体情報と比較できるように、ノイズの除去、正規化、スペクトル分解等の信号処理を施す。

【０１０３】次に、感情判定部1102において、感情状態記憶部1103に記憶されている感情と生体情報の対応関係と、生体情報処理部1101から選られた生体情報を比較し、最も類似したものをユーザの感情状態として判定し、感情表現変換部1104に感情状態を伝える（図17のステップA530）。

【０１０４】次に、感情表現変換部1104において、感情判定部1102で判定された感情と、感情表現記憶部1105に記憶されている感情と表現方法の対応関係とを利用して、感情に対応付けされた表現方法を獲得し、インタフェース生成部1106に送る（図17のステップA540）。

【０１０５】次に、ユーザインタフェース生成部1106において、アプリケーション情報入力部1001で得られたアプリケーション情報のアプリケーションのユーザインタフェース情報を利用して、感情表現変換部1104で得られた表現方法を適用したユーザインタフェースの出力情報を生成する（図17のステップA550）。

【０１０６】最後に、レンダリング部1200において、ユーザインタフェース出力情報を利用して、ユーザインタフェースを画像や音声等としてユーザに提示する。

【０１０７】次に、具体的な実施例を用いて本実施の形態の動作を説明する。

【０１０８】図18は本実施の形態の一実施例を説明するための図であり、画像処理アプリケーションにおける適応インタフェースシステムの例である。

【０１０９】図18（A）のユーザインタフェースで作業したユーザの生体情報から、ユーザの感情を判定した結果、ユーザの感情が怒りであった場合を例に説明する。
怒りに対応する表現として、簡略化表現が対応していた場合、ユーザインタフェースは簡略化される。 例として、簡略化表現として、画像から文字への変換、リソース消費量の削減が指定されているとする。 この時、アプリケーション情報として入力されている、ユーザインタフェースの形状、リソース消費量、関連する機能等から、簡略化表現に該当するユーザインタフェースが変換される。

【０１１０】図19はアプリケーション情報の一例である。 図19において、機能のリソース消費量を簡略化の基準として、例えばリソース消費量が6以上という基準が指定されていた場合、入力フォーム、決定ボタン、中止ボタン以外が簡略化されることで、ユーザインタフェースの適応が行われる。

【０１１１】図18（B）は図18（A）を簡略化した例であり、絵の少ないユーザインタフェースとなっており、GU
I部品は文字だけのボタンとなり。 システムに与える負荷の軽いユーザインタフェースとなっている。

【０１１２】次に、本実施の形態の効果について説明する。 本実施の形態では、ユーザの生体情報と感情状態の対応情報を利用して、ユーザの感情を判定し、感情に応じてユーザインタフェースを生成するように構成されているため、ユーザの感情に応じた快適と感じられるユーザインタフェースを提供することができる。

【０１１３】

【発明の効果】本発明の第1の効果は、アプリケーションの機能と操作という特性を、リソースの状態に応じてユーザインタフェースを適応させることができることにある。 その理由は、アプリケーションの機能と操作の関係を概念化し、擬似的に生成した疑似感情を利用してユーザインタフェース適応させているためである。

【０１１４】また、第2の効果は、ユーザインタフェースをアプリケーション実行環境に適応させることができることにある。 その理由は、アプリケーションの特性だけでなく、ユーザやアプリケーションが実行されている環境の情報を利用して、ユーザインタフェース適応させているためである。

【０１１５】さらに、第3の効果は、ユーザインタフェースをユーザの感情に応じて変更することができることにある。 その理由は、ユーザの生体情報から判定したユーザの感情状態と、感情状態と表現方法の対応関係を利用して、ユーザインタフェースを適応させているためである。

【図面の簡単な説明】

【図１】 本発明の第1の実施の形態の構成を示すブロック図である。

【図２】 第1の実施の形態の動作を示す流れ図である。

【図３】 第1の実施の形態の一実施例の画面例を示す図である。

【図４】 図1における、ユーザの操作を説明するための流れ図である。

【図５】 図4における、アプリケーション概念のグラフの説明図である。

【図６】 図1における、疑似感覚刺激変換のパターン例を示す図である。

【図７】 図1における、疑似感情生成部の詳細例を示す図である。

【図８】 図7における、疑似感情生成処理の流れ図である。

【図９】 図7における、疑似感覚刺激入力の修正パターン例を示す図である。

【図１０】 図7における、疑似感情（喜び）の活性化パターン例を示す図である。

【図１１】 図7における、疑似感情（怒り）の活性化パターン例を示す図である。

【図１２】 図4における、表現変換例を示す図である。

【図１３】 本発明の第2の実施の形態の構成を示すブロック図である。

【図１４】 第2の実施の形態の動作を示す流れ図である。

【図１５】 第2の実施の形態の一実施例の構成を示すブロック図である。

【図１６】 本発明の第3の実施の形態の構成を示すブロック図である。

【図１７】 第3の実施の形態の動作を示す流れ図である。

【図１８】 第3の実施の形態の一実施例の構成を示す図である。

【図１９】 アプリケーション情報の一例を示す図である。

【符号の説明】

100 アプリケーション情報入力装置 200 インタフェース生成部 201 アプリケーション概念生成部 202 疑似感覚刺激入力変換部 203 疑似感覚刺激情報記憶部 204 疑似感情表現変換部 205 表現情報記憶部 300 疑似感情生成部 301 疑似感情特性情報記憶部 310 疑似感覚刺激入力 311 疑似感覚刺激受容部 312 疑似感情状態記憶部 313 本能傾性発生部 314 情感質発生部 315 統合部 316 疑似感情出力 400 ユーザインタフェース生成部 500 レンダリング装置 600 入力フォーム 601 移動ボタン 602 中止ボタン 603 プログレッシブバー 604 内容表示パネル 610 URL指定 611 URL接続 612 URL切断 613 接続状況表示 614 URL内容表示 650 入力フォーム 651 移動ボタン 652 中止ボタン 653 プログレッシブバー 654 内容表示パネル 700 環境情報入力装置 800 環境適応部 801 デバイス制御部 802 環境情報処理部 803 環境入力変換部８０４ 擬似感覚刺激情報記憶部 900 ユーザ端末 901 適応インタフェース端末 902 端末状態検出装置 903 生理情報検出装置 910 適応インタフェースサーバー 920 ネットワーク装置 1000 生体情報獲得部 1001 アプリケーション情報入力部 1100 感情適応部 1101 生体情報処理部 1102 感情判定部 1103 感情状態記憶部 1104 感情表現変換部 1105 感情表現記憶部 1106 ユーザインタフェース生成部 1200 レンダリング部