【０００１】
【発明の属する技術分野】
本発明は、マルチモーダル・ユーザインターフェースに係る技術に関するものである。
【０００２】
【従来の技術】
ＧＵＩ入力や音声入力といった複数種のモダリティーから、ユーザの所望のモダリティーでもって情報の入力を可能にするマルチモーダル・ユーザインターフェースは、ユーザにとって利便性が高いものである。
【０００３】
従来から、複数のモダリティを備えたマルチモーダル・インタフェースを用いた技術はいくつか開示されている（例えば特許文献１乃至３を参照）。
【０００４】
【特許文献１】
特開平８−９５７３４号公報【特許文献２】
特開平１１−２８８３４２号公報【特許文献３】
特開２００１−１５４８５２号公報【０００５】
【発明が解決しようとする課題】
しかしながら、どの入力モダリティーを用いた入力が可能か、あるいは入力する情報によってはどの入力モダリティーが適しているかが、ユーザには判別が難しいという問題がある。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、マルチモーダル・ユーザインターフェースを用いて情報を入力する場合に、より簡便に情報を入力するための技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。
【０００８】
すなわち、マルチモーダル・ユーザインターフェースを有し、夫々の入力モダリティーによって情報の入力が可能な情報処理装置が行う情報処理方法であって、
前記情報処理装置に所定の処理を行わせる指示を入力する場合に、使用可能な入力モダリティーの中で、推奨される入力モダリティーに関する情報をメモリに保持する第１の保持工程と、
前記情報処理装置に前記所定の処理を行わせるための指示を前記夫々の入力モダリティーの何れか１つのモダリティもしくは複数のモダリティの組み合わせを用いて入力する場合に推奨される入力モダリティーを、前記推奨される入力モダリティーに関する情報を用いてユーザに提示する提示工程とを備えることを特徴とする。
【０００９】
本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。
【００１０】
すなわち、マルチモーダル・ユーザインターフェースを有し、夫々の入力モダリティーによって情報の入力が可能な情報処理装置であって、
前記情報処理装置に所定の処理を行わせる指示を入力する場合に、使用可能な入力モダリティーの中で、推奨される入力モダリティーに関する情報を保持する第１の保持手段と、
前記情報処理装置に前記所定の処理を行わせるための指示を前記夫々の入力モダリティーの何れか１つのモダリティもしくは複数のモダリティの組み合わせを用いて入力する場合に推奨される入力モダリティーを、前記推奨される入力モダリティーに関する情報を用いてユーザに提示する提示手段とを備えることを特徴とする。
【００１１】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
［第１の実施形態］
図１は本実施形態に係る情報処理装置の基本構成を示す図である。 情報処理装置１０１は、通信部１０２、記憶部１０３、制御部１０４、音声入力部１０５、音声出力部１０６、操作部１０７、表示部１０８から構成される。
【００１３】
通信部１０２は、インターネットやＬＡＮなどのネットワークを介して他の装置とのデータ通信を行うためのネットワークインターフェースである。 記憶部１０３は、各種の情報を保存するためのハードディスクドライブ装置や、情報処理装置１０１に各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体などにより構成されている。 またこのハードディスクドライブ装置や記憶媒体には、各種のアプリケーションプログラム、ユーザインターフェース制御プログラム、テキスト解釈プログラム、音声認識結果格納部、操作ログ情報、そして各プログラムを実行する際に必要な各種のデータ等が記憶されており、これらは後段の制御部１０４の制御により、本装置に読み込まれる。
【００１４】
制御部１０４はワークメモリやＣＰＵ、ＭＰＵなどにより構成されており、記憶部１０３に記憶されたプログラムやデータを読み出して各種の処理を実行する。 音声入力部１０５はマイクロフォンやＡ／Ｄ変換器等により構成されており、ユーザの音声をアナログ信号として入力し、デジタル信号に変換して後段の制御部１０４が有するワークメモリに出力する処理を行う。
【００１５】
音声出力部１０６はスピーカやヘッドフォン、Ｄ／Ａ変換器等により構成されており、制御部１０４の制御により音声データに従った音声信号をＤ／Ａ変換し、音として外部に出力する処理を行う。 操作部１０７はボタン群やキーボード、マウス、タッチパネル、ペン、タブレット等の入力装置から構成され、各種の指示を本装置に入力するための入力インターフェースとして機能する。 表示部１０８は液晶ディスプレイ等の表示装置から構成され、画像や文字などにより構成される各種の情報を表示する。
【００１６】
なお、表示部１０８としてタッチパネル式の表示装置を用いても良く、その場合、表示部１０８は操作部１０７としての機能（各種の指示を本装置に入力する機能）をも有することになる。 よって表示部１０８をタッチパネル式の表示装置とする場合には後述の説明において、「操作部１０７を操作する」といった記述は全て「表示部１０８上における操作」と読み替えるべきである。
【００１７】
次に、以上の構成を有する情報処理装置が行う処理について説明する。 図２は、ユーザＩＤと、これに対応するテーブルＩＤとのセットを複数登録したテーブルの構成例を示す図である。 このテーブルＩＤに対応するテーブルの構成例を図３に示す。
【００１８】
図３に示すテーブルにおいて、「入力モダリティー」に示す項目には、本装置に情報を入力するための複数種の入力モダリティーが記述されており、同図では「ハードキー」（操作部１０７に設けられた実際のボタン）、「ＧＵＩ」（表示部１０８に表示されるＧＵＩ）、「音声」（音声入力部１０５を用いて入力する音声）が示されている。 また夫々の入力モダリティーにはＩＤ（Ｍ＿ＩＤ）が付けられている。
【００１９】
また同図のテーブルには、夫々の入力モダリティーが後述する各種のケースにおいて使用可能であるか否か、また、使用可能である場合に更に推奨されるべきものであるかを表示部１０８への画像表示、音声出力部１０６からの音声出力によってユーザに提示するために、「画像」の項目には各画像データファイル名が、「音声メッセージ」の項目には発声内容テキストファイル名が夫々記述されている。
【００２０】
例えば入力モダリティーを「ＧＵＩ」とする場合に、この入力モダリティーが使用可能である場合には表示部１０８に画像ファイル名「ｇ＿ｙ．ｇｉｆ」の画像が表示され、音声出力部１０６からは発声内容テキストファイル名「ｇ＿ｙ．ｔｘｔ」に従って音声合成された音声が出力されることになる。 また、この入力モダリティーが使用不可能である場合には表示部１０８に画像ファイル名「ｇ＿ｎ．ｇｉｆ」の画像が表示され、音声出力部１０６からは発声内容テキストファイル名「ｇ＿ｎ．ｔｘｔ」に従って音声合成された音声が出力されることになる。 また、この入力モダリティーが推奨されるものである場合には表示部１０８に画像ファイル名「ｇ．ｇｉｆ」の画像が表示され、音声出力部１０６からは発声内容テキストファイル名「ｇ．ｔｘｔ」に従って音声合成された音声が出力されることになる。
【００２１】
上述の通り、図３に示すテーブルは各テーブルＩＤ毎に設けられている。 従って、夫々の入力モダリティーに対する画像、発声内容をユーザ毎に異ならせることができる。 この効果については後段の別の実施形態にて説明する。
【００２２】
なお、図２，３に示すテーブルのデータ、図３に示すテーブルに記述された各画像ファイル名、発声内容テキストファイル名に対応する画像データ、テキストデータは記憶部１０３に記憶されているものとする。
【００２３】
なお、本実施形態では音声出力部１０６から音声を出力するために、テキストデータに従って音声合成し、音声合成結果である音声を出力しているが、これに限定されるものではなく、図３に示すテーブルで、「音声メッセージ」の項目に発声内容の音声データファイル名を記述しておき、このファイル名に対応する音声データを記憶部１０３に記憶させても良い。 その場合、音声合成処理は不要となる。
【００２４】
また本実施形態では、各テーブルＩＤはユーザＩＤ毎に設けているが、これに限定されるものではなく、ユーザの属性やユーザの習熟度ごとに設けても良い。
以下では説明を簡単にするために、ユーザＩＤを０に設定し、全ユーザ共通のテーブル（テーブルＴ０）を用いる場合について説明する（従って図３に示すテーブル、及び後述の図４に示すテーブルは全ユーザ共通のものとなる）。 また以下の説明では本実施形態に係る情報処理装置をコピー機に適用した場合について説明するが、その場合、図１に示した構成は、コピー機において実際にコピー処理を行う部分以外の構成を示すものとなる。
【００２５】
図４は、本実施形態に係る情報処理装置をコピー機に適用した場合に、記憶部１０３に新たに記憶すべきテーブルの構成例を示す図である。 同図のテーブルは、コピー機の設定項目と、その設定項目毎の、操作回数、操作時間、操作手順、使用可、使用不可、推奨１、推奨２、音声認識語彙が記述されたものである。 以下、同図を用いてこのテーブルについて更に詳しく説明する。
【００２６】
「設定項目」は、コピー機において、操作可能な内容を示すもので、その項目には例えば同図に示すように、「用紙」（コピーする先の用紙のサイズを設定する項目）、「部数」（コピーする部数を設定する項目）などがある。
【００２７】
「操作回数」、「操作時間」、「操作手順」の各項目は夫々更に「Ｍ１」と「Ｍ２」とに分けて設けられている。 ここでＭ１，Ｍ２は夫々図３に示す入力モダリティーＩＤ（Ｍ＿ＩＤ）と対応しており、従って図４では、「操作回数」、「操作時間」、「操作手順」の各項目は夫々「ＧＵＩ」と「音声」についての操作回数、操作時間、操作手順を示している。
【００２８】
次に「操作回数」、「操作時間」、「操作手順」の夫々の項目について説明する。
【００２９】
「操作回数」は各「設定項目」に記述された操作を行うための操作手順を構成するステップの数（回数）を示すものである。 例えば「Ａ４」の用紙にコピーする設定を行う場合に、Ｍ＿ＩＤ＝Ｍ１の場合（入力モダリティーがＧＵＩの場合）には３段階のステップで設定が完了することを示している。
【００３０】
「操作時間」は各「設定項目」に記述された操作を行うために要する時間を示すものである。 例えば「Ａ４」の用紙にコピーする設定を行う場合に、Ｍ＿ＩＤ＝Ｍ１の場合（入力モダリティーがＧＵＩの場合）には７（単位は「秒」であっても良いし「分」であっても良い）の時間で設定が完了することを示している。
【００３１】
「操作手順」は、各「設定項目」に記述された設定を各モダリティで行う際に、図５のテーブルに登録されている操作手順の中で最も推奨される操作手順を示すものである。 例えば、ＧＵＩ（Ｍ＿ＩＤ＝Ｍ１）で「Ａ４」の用紙にコピーする設定を行う場合には、Ｌ１１１に示す操作手順を最も推奨することを示す。 この「最も推奨される」とするための定義としては、例えば操作回数や設定時間などを鑑みて予めアプリケーション開発者が判断したものである。
【００３２】
図５は各設定項目における操作手順を「操作１」、「操作２」、「操作３」、、、の順にステップ名をアプリケーション開発者が予め登録したものである。 同図において「設定手順」の項目には各操作手順を表す記号が記述されており、この記号は図４の「操作手順」で示されるものと対応している。
【００３３】
従って、例えば「Ａ４」の用紙にコピーする設定を行う場合には、Ｍ＿ＩＤ＝Ｍ１の場合（入力モダリティーがＧＵＩの場合）、操作手順としてＬ１１１で示される手順が推奨される。 即ち、「ＰＡＰＥＲ＿ＢＵＴＴＯＮ＿ＰＲＥＳＳ」、「Ａ４＿ＢＵＴＴＯＮ＿ＰＲＥＳＳ」、「ＣＬＯＳＥ＿ＢＵＴＴＯＮ＿ＰＲＥＳＳ」の３ステップの操作手順を推奨することを示している。 なお図５に示したテーブルのデータは記憶部１０３に予め記憶されているものとする。
【００３４】
図４に戻って、「使用可」は各「設定項目」について使用可能な入力モダリティーを示すもので、例えば「Ａ４」の用紙にコピーする設定を行う場合に入力可能なモダリティーはＭ１、Ｍ２で示される入力モダリティーであって、即ち「ＧＵＩ」と「音声」でのみ「Ａ４」の用紙にコピーする設定を行うことができる。
【００３５】
「使用不可」は各「設定項目」について使用不可能な入力モダリティーを示すもので、例えば「Ａ４」の用紙にコピーする設定を行う場合に入力不可能なモダリティーはＭ０で示される入力モダリティーであって、即ち「Ａ４」の用紙にコピーする設定を「ハードキー」でもって行うことはできない。
【００３６】
「推奨１」は各「設定項目」で最も推奨される入力モダリティー（アプリケーション開発者が予め最も推奨すると判断した入力モダリティー）を示すもので、例えば「Ａ４」の用紙にコピーする設定を行う場合に最も推奨される入力モダリティーはＭ２であって、即ち「音声」で設定をＬ１２１の操作手順で入力することが最も推奨される。 この「最も推奨される」とするための定義としては、例えば操作回数や設定時間などを鑑みて予めアプリケーション開発者が判断したものである。
【００３７】
「推奨２」は各「設定項目」で２番目に推奨される入力モダリティー（アプリケーション開発者が予め２番目に推奨すると判断した入力モダリティー）を示すもので、例えば「Ａ４」の用紙にコピーする設定を行う場合に２番目に推奨される入力モダリティーはＭ１であって、即ち「ＧＵＩ」で設定をＬ１１１の操作手順で入力することが２番目に推奨される。 この「２番目に推奨される」とするための定義についても、「最も推奨される」とするための定義と同様にして判断される。
【００３８】
「音声認識語彙」は、音声入力する場合に、認識すべき語彙を示すものである。 例えば「Ａ４」の用紙にコピーする設定を、音声入力でもって行う場合には制御部１０４は「Ａ４」なる語を認識すべきである。 よってこの場合には「Ａ４」の語を「音声認識語彙」として予め同図のテーブルに登録する必要がある。 従って、この「音声認識語彙」の項目には、夫々の「設定項目」を音声入力でもって行う場合に、制御部１０４が認識すべき語彙を記述する。
【００３９】
なお、上述の「音声認識語彙」には「Ａ４」と併せて「Ａ４用紙」「Ａ４の用紙」など、複数の語彙を登録してもよい。 また必ずしも語彙である必要はなく、音声認識のための文法や語彙が記述されたファイルの名前が登録されていても良い。 その場合、制御部１０４はその登録されたファイルに記述された語彙を認識し、文法が記述されている場合はその文法に従い語彙を認識する。
【００４０】
図３に示すテーブルと同様に、図４に示すテーブルは各テーブルＩＤ毎に設けられている。 従って、夫々の「設定項目」に対する「操作回数」、「操作時間」、「操作手順」、「使用可」、「使用不可」、「推奨１」、「推奨２」、「音声認識語彙」をユーザ毎に異ならせることができる。 この効果については後段の別の実施形態にて説明する。
【００４１】
以上説明した図４，５に示したテーブルのデータは予め作成され、記憶部１０３に記憶されているものとする。
【００４２】
次に図４に示したテーブルに従って、表示部１０８に表示された、コピー及び各種の設定を行うための画面上に表示する情報について説明する。
【００４３】
図６は、従来のマルチモーダル・ユーザインターフェースを備えるコピー機が有する表示部の表示画面に表示された、コピー及び各種の設定を行うための簡単な画面を示す図である。 表示画面６００には、現在設定されている情報を表示するエリア６０１（エリア内には左から順に、現在設定されている倍率、用紙サイズ、コピー部数が表示される）、等倍設定ボタン６０２、倍率設定ボタン６０３、用紙設定ボタン６０４が表示される。 同図の画面はタッチパネル式のものであるので、各ボタンの画像の位置をユーザが指で指示することで、夫々のボタンに応じた処理が制御部１０４によって行われる。
【００４４】
マルチモーダル・ユーザインターフェースを備える従来のコピー機では各種の設定を行うために、各ボタンを操作するか、もしくは音声で入力するか、もしくはボタンと音声を組み合わせて入力するかなどを行っていたが、ユーザはどれがより簡便で且つより短い時間で設定が行えるのかを、この画面から判断することは難しい。
【００４５】
図７は本実施形態に係る情報処理装置を適用した上記コピー機の表示部１０８に表示された、コピー及び各種の設定を行うための簡単な画面を示す図である。 図６と同じ部分については同じ番号を付けており、その説明を省略する。 同図の画面７００には、等倍設定、倍率設定、用紙設定を行う場合に、最も推奨される入力モダリティーを示す画像７０１，７０２，７０３が示されている。 また、部数設定を行う場合には、使用不可能な入力モダリティーを示す画像７０４が表示されている。
【００４６】
画像７０１（「手」を示す画像）は推奨する入力モダリティーがＧＵＩであることを示すためのもので、画像７０２、７０３（「吹き出し」を示す画像）は推奨する入力モダリティーが音声であることを示すためのもので、画像７０４（吹き出しの上に×が重畳された画像）は使用不可である入力モダリティーが音声であることを示すものである。
【００４７】
図７に示した画像７０１乃至７０３については、図４に示したテーブルにおいて、設定項目「等倍」、「倍率」、「用紙選択」の各項目で「推奨１」に該当する部分を参照し、各Ｍ＿ＩＤに応じた画像（Ｍ１の場合には画像７０１、Ｍ２の場合には画像７０２（７０３））を図３に示すテーブルから特定して表示することで実現される。 なお、画像７０１乃至７０３のデータは記憶部１０３に予め記憶されている。
【００４８】
また図７に示した画像７０４については、図４に示したテーブルにおいて、設定項目「部数」で「使用不可」に該当する部分を参照し、Ｍ＿ＩＤに応じた画像（Ｍ１、Ｍ２の２つがあり、同図ではＭ２のみを採用しているが、Ｍ１、またはＭ１とＭ２の両方を採用しても良い）を図３に示すテーブルから特定して表示することで実現される。 なお、画像７０４のデータは記憶部１０３に予め記憶されている。
【００４９】
なお、使用不可の入力モダリティーを示す画像は他の項目についても同画面に表示しても良い。 例えば設定項目「用紙」で「使用不可」に該当するＭ＿ＩＤはＭ０であるため、「ハードキー使用不可」を示す画像をボタン６０４の画像の近傍に表示する。
【００５０】
このように、図４を参照し、最も推奨される入力モダリティーを示す画像を表示することで、各設定を行う際に、どの入力モダリティーが使用可能であるかをユーザが認知することができると共に、複数種の入力モダリティーが使用可能である場合には、どの入力モダリティーが最も推奨されるものであるかを認知することができる。
【００５１】
なお、本実施形態では最も推奨される入力モダリティーを示す画像を表示したが、これに限定されるものではなく、２番目に推奨される入力モダリティー（「推奨２」に該当するＭ＿ＩＤに対応する入力モダリティー）を示す画像を表示しても良い。 また、最も推奨される入力モダリティーを示す画像、２番目に推奨される入力モダリティーを示す画像、そして使用不可の入力モダリティーを示す画像とをと同じ画面内で表示する場合には、例えば、最も推奨される入力モダリティーを示す画像、２番目に推奨される入力モダリティーを示す画像、使用不可の入力モダリティーを示す画像の順に画像を小さくして表示するなど、ユーザが直感的に把握しやすい方法で表示を行うことも可能である。
【００５２】
以上説明したコピー機が行う処理のフローチャートを図８に示す。 なお同図に示したフローチャートに従ったプログラムは、記憶部１０３に保存されており、これを制御部１０４が自身のワークエリアに読み出して実行することで、このコピー機は同図のフローチャートに従った処理を行うことになる。
【００５３】
また同図のフローチャートに示した処理はメインの処理のサブルーチンとして実行され、表示部１０８の表示画面上にはコピー及び各種の設定を行うための画面（例えば図６に示す画面）が表示されているものとする。
【００５４】
表示部１０８における画面表示あるいは画面の再読み込み（リフレッシュ）が行われる際に（ステップＳ８０２）、記憶部１０３に記憶されている図４に示すテーブルから各設定項目における「使用不可」、「推奨１」に該当するＭ＿ＩＤを読み込むと共に、図３に示すテーブルに記述された各画像のうち、「推奨１」、「使用不可」に該当する画像を読み込む（ステップＳ８０３）。
【００５５】
そして表示部１０８の表示画面上に表示された各設定項目のＧＵＩの近傍位置に、夫々の設定項目に対応する「使用不可」を示す画像、「推奨１」を示す画像を表示する（ステップＳ８０４）。 以上の処理を行うことで、例えば図７に示す画面が表示部１０８の表示画面上に表示されることになる。
【００５６】
なお上記処理は画像表示にて推奨される入力モダリティー、使用不可である入力モダリティーをユーザに提示したが、音声によっても可能である。 その場合、図８に示したフローチャートのステップＳ８０３、Ｓ８０４の各ステップでは以下のような処理を行う。
【００５７】
ステップＳ８０３において、記憶部１０３に記憶されている図４に示すテーブルから各設定項目における「使用不可」、「推奨１」に該当するＭ＿ＩＤを及び音声認識語彙を読み込むと共に、図３に示すテーブルに記述された各音声メッセージのうち、「推奨１」、「使用不可」に該当するテキストデータを読み込む（ステップＳ８０３）。
【００５８】
そして夫々の設定項目に対応する「使用不可」を示す音声、「推奨１」を示す音声を上記テキストデータに従った音声合成結果として出力する（ステップＳ８０４）。 この音声の内容としては例えば「等倍の設定はＧＵＩを推奨、倍率の設定は音声を推奨、…」とすれば良い。
【００５９】
以上説明したように、第１の実施形態によれば、推奨される入力モダリティーを表示や音声によってユーザに提示するので、ユーザは入力モダリティーを適宜使い分けて操作を簡便に行うことができる。
【００６０】
なお、マルチモーダル・ユーザインタフェースでは、複数備えられたモダリティのうち、どのモダリティを用いてもよい、という場合もあるが、複数のモダリティを組み合わせて使用する場合もある。 例えば「ここからここまで」とディスプレイに表示された地図上の２点をクリックしながら音声で入力するなどの例が挙げられる。 この場合には、推奨モダリティとして２つのモダリティの組み合わせ（ＧＵＩ＋音声）をユーザに提示する必要がある。
【００６１】
［第２の実施形態］
第１の実施形態では全ユーザ共通のテーブル（図３，４）を用いて推奨される入力モダリティーや使用不可である入力モダリティーをユーザに提示していたが、本実施形態では、夫々のユーザに個別のテーブルを用いた場合を例に取り説明する。 その場合、図３，４に示したテーブルが夫々のユーザ毎に設けられていることになる。 なお本実施形態では、各ユーザ毎にテーブルを設け、各ユーザ毎に異なる提示を行う以外については第１の実施形態と同じであるとする。
【００６２】
本実施形態では、情報処理装置を使用する際にユーザが予め自身に付けられたＩＤを操作部１０７を用いて入力するものとする。 これにより制御部１０４は図２に示したテーブルを参照し、対応するテーブルＩＤを特定することができ、以下使用するテーブルを特定することができる。 なお、使用するテーブルを特定する方法はこれに限定されるものではなく、例えば以下のような形態も考えられる。
【００６３】
夫々のユーザの指紋パターンや眼底パターンなどの個人固有の情報をユーザＩＤと対応させて予め情報処理装置に格納しておき、更に上記個人固有情報をユーザの指や目から読み取って情報処理装置に入力する装置（個人情報読み取り装置）を情報処理装置に接続しておく。 そして情報処理装置を使用するユーザは自身の個人固有情報を個人情報読み取り装置に読み取らせ、情報処理装置に入力する。 情報処理装置は入力された個人情報を識別し、保持しておいた夫々のユーザのものとをマッチングさせ、マッチしたユーザのユーザＩＤに対応するテーブルＩＤを特定する。
【００６４】
そして、決定したテーブルＩＤに対応するテーブルのデータを用いて各ユーザ毎に異なる表示画面を表示部１０８の表示画面上に表示する。
【００６５】
以上説明した、各ユーザ毎に異なるテーブルを用いて、夫々のユーザに応じたコピー及び各種の設定を行うための画面を表示するための処理のフローチャートを図９に示す。 なお同図に示したフローチャートに従ったプログラムは、記憶部１０３に保存されており、これを制御部１０４が自身のワークエリアに読み出して実行することで、このコピー機は同図のフローチャートに従った処理を行うことになる。
【００６６】
また同図のフローチャートに示した処理はメインの処理のサブルーチンとして実行され、表示部１０８の表示画面上にはコピー及び各種の設定を行うための画面（例えば図６に示す画面）が表示されているものとする。
【００６７】
表示部１０８における画面表示あるいは画面の再読み込み（リフレッシュ）が行われる際に（ステップＳ９０２）、予め入力されたユーザＩＤに対応するテーブルＩＤを図２に示したテーブルから特定し、更に特定したテーブルＩＤに対応するテーブル（例えば図４に示すテーブル）から、各設定項目における「使用不可」、「推奨１」に該当するＭ＿ＩＤを読み込むと共に、特定したテーブルＩＤに対応するテーブル（例えば図３に示すテーブル）に記述された各画像のうち、「推奨１」、「使用不可」に該当する画像を読み込む（ステップＳ９０３）。
【００６８】
そして表示部１０８の表示画面上に表示された各設定項目のＧＵＩの近傍位置に、夫々の設定項目に対応する「使用不可」を示す画像、「推奨１」を示す画像を表示する（ステップＳ９０４）。 以上の処理を行うことで、例えば図７に示す画面が表示部１０８の表示画面上に表示されることになる。
【００６９】
なお上記処理は第１の実施形態と同様に、音声によっても推奨される入力モダリティー、使用不可の入力モダリティーの提示が可能である。 その場合、図９に示したフローチャートのステップＳ９０３、Ｓ９０４の各ステップでは以下のような処理を行う。
【００７０】
ステップＳ９０３において、予め入力されたユーザＩＤに対応するテーブルＩＤを図２に示したテーブルから特定し、更に特定したテーブルＩＤに対応するテーブル（例えば図４に示すテーブル）から、各設定項目における「使用不可」、「推奨１」に該当するＭ＿ＩＤ及び音声認識語彙を読み込むと共に、特定したテーブルＩＤに対応するテーブル（例えば図３に示すテーブル）に記述された各音声メッセージのうち、「推奨１」、「使用不可」に該当するテキストデータを読み込む。
【００７１】
そしてステップＳ９０４では、夫々の設定項目に対応する「使用不可」を示す音声、「推奨１」を示す音声を上記テキストデータに従った音声合成結果として出力する（ステップＳ９０４）。 この音声の内容としては例えば「等倍の設定はＧＵＩを推奨、倍率の設定は音声を推奨、…」とすれば良い。
【００７２】
以上説明したように、第２の実施形態によれば第１の実施形態に加えて、ユーザ毎に推奨される入力モダリティーを提示することができるので、個々のユーザの属性や操作習熟度に合わせて、より的確な操作方法を提示することができる。 例えば、本来推奨されるべき入力モダリティーがＧＵＩであったとしても、視覚障害を持つユーザにとってはこの入力モダリティーは推奨されるべきものではない。
【００７３】
従って本実施形態に係る情報処理装置はこのような場合、視覚障害を有するユーザ用のテーブルを予め作成しておくことができる。 この視覚障害を持つユーザ用のテーブルとしては、図３に示すテーブルにおいて「画像」の項目を省いたテーブル、図４に示すテーブルにおいて推奨する入力モダリティーは全て音声とした（「推奨１」、「推奨２」のＭ＿ＩＤを全てＭ２とした）テーブルを、視覚障害を持つユーザのＩＤに関連づけて図２に示すテーブルに登録しておくと良い。 そしてこのようなテーブルを用いて音声により推奨される入力モダリティー、使用不可である入力モダリティーを音声にて視覚障害を有するユーザに提示すればよい。
【００７４】
［第３の実施形態］
上記第１，２の実施形態では、推奨される入力モダリティーは予め設定されていたが、これをユーザの操作履歴に応じて動的に変更するようにしても良い。 推奨される入力モダリティーをユーザの操作履歴に応じて動的に変更する処理のフローチャートを図１０に示す。
【００７５】
なお同図に示したフローチャートに従ったプログラムは、記憶部１０３に保存されており、これを制御部１０４が自身のワークエリアに読み出して実行することで、このコピー機は同図のフローチャートに従った処理を行うことになる。
【００７６】
操作部１０７を用いた操作の入力を検知すると（ステップＳ１００２）、制御部１０４に内蔵されている不図示のタイマーの状態を調べる（ステップＳ１００３）。 タイマーがＯＦＦならばタイマーをクリアしてＯＮにする（ステップＳ１００４）。 続いて、操作回数に１を足し、操作内容を図５に示すテーブルに追加記録する（ステップＳ１００５）。 その操作により、設定が行われなかった場合には（ステップＳ１００６）処理を終了し、設定が行われた場合には（ステップＳ１００６）、予め入力された（もしくは予め決定されていた）ユーザＩＤに対応したテーブルを更新し、続いて全てのユーザに共通のテーブルを更新する（ステップＳ１００７）。 ここで得点Ｇを（１）式のように定義する（Ｔ：操作時間、Ｆ：操作回数）。
【００７７】
Ｇ＝１／Ｔ＋１／Ｆ （１）
ステップＳ１００７におけるユーザＩＤに対応したテーブルの更新としては、今回の操作における操作回数Ｆと操作時間Ｔとに基づく得点Ｇと、今回の操作におけるテーブル（図４）における操作回数Ｆ'と操作時間Ｔ'とに基づく得点Ｇ'とを比較し、得点の低い方の操作回数、操作時間、及びその操作手順（図５）を、得点の高い方の操作回数、操作時間、及びその操作手順（図５）に更新する。 同得点の場合は更新しない。
【００７８】
例えば、ＧＵＩ（Ｍ＿ＩＤ＝Ｍ１）で用紙を自動に設定した場合、今回の操作回数Ｆが２、操作時間Ｔが６ならば、得点Ｇ（＝１／２＋１／６＝０．６７）が、ユーザＩＤに対応したテーブルの得点Ｇ（＝１／３＋１／７＝０．４８）より高いので、操作回数２、操作時間６と、その操作手順を図４の「用紙」の設定項目中の「自動」に書き込む。
【００７９】
「操作回数」、もしくは「操作時間」が更新されたことに伴い、推奨モダリティ（上述のテーブルにおける「推奨１」、「推奨２」）も変更を行う。 推奨モダリティの更新は、各モダリティの中で上述の得点Ｇが最も高いモダリティを「推奨１」に、上述の得点Ｇが２番目に高いモダリティを「推奨２」に更新する。 同得点のものがある場合は、先に参照したモダリティを優先する。 上記の用紙を自動に設定する例では、今回の操作によりＧＵＩ（Ｍ＿ＩＤ＝Ｍ１）の得点Ｇが０．６７（＝１／２＋１／６）に更新された後、音声（Ｍ＿ＩＤ＝Ｍ２）の得点Ｇ（＝１／２＋１／３＝０．８３）と比較し、最も得点Ｇの高い音声（Ｍ＿ＩＤ＝Ｍ２）を「推奨１」に、２番目に得点Ｇの高いモダリティＧＵＩ（Ｍ＿ＩＤ＝Ｍ１）を「推奨２」に設定する（この例ではもともと音声を「推奨１」、ＧＵＩを「推奨２」としていたので更新はしない）。
【００８０】
全てのユーザに共通のテーブルの更新は、各ユーザのテーブルの中から、得点Ｇが最も高いテーブルの操作回数、操作時間と、その操作手順を書き込む。 同得点のものがある場合は、先に参照した方を優先する。 あるいは、各ユーザのテーブルにおける操作回数と操作時間の平均値（ユーザ間の平均値）を算出してもよい。 この場合、操作手順は各ユーザのテーブルの中から、得点Ｇが最も高いテーブルの操作手順を書き込む。 同得点のものがある場合は、先に参照した方を優先する。
【００８１】
全てのユーザに共通のテーブルにおいても、「操作回数」、もしくは「操作時間」が更新されたことに伴い、推奨モダリティ（上述のテーブルにおける「推奨１」、「推奨２」）も変更を行う。 推奨モダリティの更新は、各モダリティの中で上述の得点Ｇが最も高いモダリティを「推奨１」に、上述の得点Ｇが２番目に高いモダリティを「推奨２」に更新する。 同得点のものがある場合は、先に参照したモダリティを優先する。
【００８２】
更新が終わるとタイマーをＯＦＦにし、操作回数をクリアする（ステップＳ１００８）。
【００８３】
アプリケーションが推奨する推奨モダリティーや使用不可モダリティー等の提示は、第１の実施形態、あるいは第２の実施形態と同様の方法で行う。
【００８４】
以上説明したように、第３の実施形態によれば、第１，２の実施形態に加えて、ユーザの過去の操作履歴に基づいて、動的に推奨する入力モダリティーを設定するので、より的確な操作方法を提示することができる。
［第４の実施形態］
上記実施形態において、使用可能な入力モダリティーを用いて所望の設定を行った場合に、その設定後により推奨される入力モダリティーがある場合にはその入力モダリティーをユーザに提示しても良い。
【００８５】
その場合の処理のフローチャートを図１２に示す。 なお同図に示したフローチャートに従ったプログラムは、記憶部１０３に保存されており、これを制御部１０４が自身のワークエリアに読み出して実行することで、このコピー機は同図のフローチャートに従った処理を行うことになる。
【００８６】
図１２に示したフローチャートにおいて、ステップＳ１２０２〜ステップＳ１２０７、ステップＳ１２１０は夫々、図１０におけるステップＳ１００２〜ステップＳ１００７、ステップＳ１００８と同じであり、図１２に示したフローチャートは図１０に示したフローチャートに、新たにステップＳ１２０８，Ｓ１２０９が付け加わった点が異なる。 従ってこのステップＳ１２０８、Ｓ１２０９について以下説明する。
【００８７】
ステップＳ１２０８では、今回の操作における操作回数Ｆと操作時間Ｔとに基づく得点Ｇと、全てのユーザに共通のテーブルにおいて、今回ユーザが行った設定項目に対応する「推奨１」のモダリティの操作回数Ｆ'と操作時間Ｔ'とに基づく得点Ｇ'とを比較する。 共通のテーブルにおける「推奨１」のモダリティの得点Ｇ'に比べて今回の得点Ｇの方が低ければ、共通のテーブルにおける「推奨１」のモダリティの操作手順を読み込み、これを推奨モダリティと、その操作手順とする。
【００８８】
そして、共通のテーブルにおける「推奨１」のモダリティの得点Ｇ'に比べて今回の得点Ｇの方が低ければステップＳ１２０９において、推奨モダリティによる操作手順（図５）を図１１のように提示する。 共通のテーブルにおける推奨モダリティの得点Ｇ'に比べて今回の得点Ｇが同じもしくは高い場合（ステップＳ１２０８でＮＯの場合）は上記提示は行わない。
【００８９】
図１１は、ユーザが行った操作に対して、「Ａ３」と音声入力可能であることを提示している画面の一例を示す図である。 例えばユーザが用紙をＡ３に設定する際に、ＧＵＩで操作回数２回、操作時間５秒で設定した場合の得点は１／２＋１／５＝０．７である。 これに対して、ユーザに共通のテーブルにおいて、「推奨１」のモダリティ（音声、Ｍ＿ＩＤ＝Ｍ２）の得点は１／２＋１／３＝０．８３である。 今回の得点０．７は「推奨１」のモダリティの得点０．８３に比べて低いので、音声を推奨モダリティに、その操作手順をＬ２２１とし、図１１のようにより推奨する方法を提示する。
【００９０】
ここで、上記推奨モダリティーによる操作手順（図５）を、音声メッセージを音声出力部１０６から出力してもよい。 例えば、「現在行った設定は、Ａ３と音声でも入力することができます」のように読み上げる。 音声出力については既存の音声合成技術を用いる。
【００９１】
以上説明したように、第４の実施形態によれば、ユーザが設定を行った後、その設定方法より適していると思われる推奨方法が提示されるので、ユーザは次回の操作から、より適した方法で設定することができる。
［第５の実施形態］
第１乃至４の実施形態では上記情報処理装置をコピー機に適用した場合について説明したが、本実施形態では、デジタルカメラに適用した場合について説明する。 当然本実施形態に係るデジタルカメラは、マルチモーダル・ユーザインターフェースを有するものである。
【００９２】
情報処理装置をデジタルカメラに適用する場合、図４に示したテーブルの代わりに図１３に示すテーブルを用いる。 図１３は、本実施形態に係る情報処理装置をデジタルカメラに適用した場合に、記憶部１０３に新たに記憶すべきテーブルの構成例を示す図である。 同図のテーブルは、デジタルカメラの設定項目と、その設定項目毎の、操作回数、操作時間、操作手順、使用可、使用不可、推奨１、推奨２、音声認識語彙が記述されたものである。 以下、同図を用いてこのテーブルについて更に詳しく説明する。
【００９３】
図１３に示したテーブルは図４に示したテーブルとは設定項目が異なり、更にその設定項目に応じて他の記述が異なってはいるが、その使用方法については実質的には図４と同じ使用方法が適用される。
【００９４】
図１４，１５は、デジタルカメラの表示部に表示された設定画面で、推奨されるモダリティーを示す画像を表示した画面例を示す図である。 何れの画面においても、上記実施形態と同様に、推奨する入力モダリティーを示す画像（図１４では推奨される入力モダリティーが音声であることを示す画像、図１５では推奨される入力モダリティーがハードキーであることを示す画像）が表示されている。
【００９５】
また本実施形態においても上記実施形態と同様に、音声にて推奨される入力モダリティーをユーザに提示しても良い。
【００９６】
また、デジタルカメラのように画面が小さい機器においては、機器にＬＥＤ（発光ダイオード）などを取り付け、それぞれの操作における推奨モダリティーに対応したＬＥＤを点灯させても良い。 例えば、メニューボタンが押されると、ＧＵＩ画面上にメニューが表示される。 この時点で、そのメニュー選択において推奨する入力モダリティーＬＥＤ（例えば音声を推奨ならば音声ＬＥＤ）を点灯させる。 あるいは各入力モダリティーに対応した色のＬＥＤを点灯させるなどの方法も考えられる。
【００９７】
［その他の実施形態］
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００９８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。 また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートや機能構成に対応するプログラムコードが格納されることになる。
【０１０１】
【発明の効果】
以上説明したように、本発明によれば、マルチモーダル・ユーザインターフェースを用いて情報を入力する場合に、より簡便に情報を入力することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報処理装置の基本構成を示す図である。
【図２】ユーザＩＤと、これに対応するテーブルＩＤとのセットを複数登録したテーブルの構成例を示す図である。
【図３】夫々のテーブルＩＤに対応するテーブルの構成例を示す図である。
【図４】本発明の第１の実施形態に係る情報処理装置をコピー機に適用した場合に、記憶部１０３に新たに記憶すべきテーブルの構成例を示す図である。
【図５】各設定項目における操作手順を「操作１」、「操作２」、「操作３」、、、の順にステップ名をアプリケーション開発者が予め登録したものを示す図である。
【図６】従来のマルチモーダル・ユーザインターフェースを備えるコピー機が有する表示部の表示画面に表示された、コピー及び各種の設定を行うための簡単な画面を示す図である。
【図７】本発明の第１の実施形態に係る情報処理装置を適用した上記コピー機の表示部１０８に表示された、コピー及び各種の設定を行うための簡単な画面を示す図である。
【図８】本発明の第１の実施形態に係る情報処理装置を適用したコピー機が行う処理のフローチャートである。
【図９】各ユーザ毎に異なるテーブルを用いて、夫々のユーザに応じたコピー及び各種の設定を行うための画面を表示するための処理のフローチャートである。
【図１０】推奨される入力モダリティーをユーザの操作履歴に応じて動的に変更する処理のフローチャートである。
【図１１】ユーザが行った操作に対して、「Ａ３」と音声入力可能であることを提示している画面の一例を示す図である。
【図１２】使用可能な入力モダリティーを用いて所望の設定を行った場合に、その設定後により推奨される入力モダリティーがある場合に、その入力モダリティーをユーザに提示するための処理のフローチャートである。
【図１３】本発明の第５の実施形態に係る情報処理装置をデジタルカメラに適用した場合に、記憶部１０３に新たに記憶すべきテーブルの構成例を示す図である。
【図１４】デジタルカメラの表示部に表示された設定画面で、推奨されるモダリティーを示す画像を表示した画面例を示す図である。
【図１５】デジタルカメラの表示部に表示された設定画面で、推奨されるモダリティーを示す画像を表示した画面例を示す図である。