【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザと情報処理機器との間で自然な対話を実現するマルチモーダルインタフェースを用いたネットワーク機器制御装置に関する。

【０００２】

【従来の技術】近年、音声認識技術が発展し、テレビジョン受像機、ラジオ受信機、車載ナビゲーション、携帯電話、パーソナルコンピュータ（以下、ＰＣという）等の機器に搭載されつつある。 音声認識装置は通常それぞれの機器の一部として内蔵されている。 この音声認識装置、手書き文字認識装置、マウス、ライトペン、タブレット等のポインティングデバイスなど、複数の入力装置をコンピュータに接続して、ユーザがその局面局面において自分にとって最も都合の良い入力装置を使って入力できれば非常に使いやすいインタフェースとなる。 このように複数の異なる入力モードから、ユーザが任意の入力モードを選択し、組み合わせて自分の意図をシステムに伝えることができるインタフェースのことをマルチモーダルインタフェースという。

【０００３】また、前述の民生機器にはインターネットの発達により、ネットワークに接続される機器も増大しつつある。 インターネットを利用するためのアクセス手段が多様になり、ユーザがインターネットにアクセスするための端末やネットワークの選択肢が拡大している。
インターネットを構築するには、企業内にＬＡＮ（Loca
l Area Network）を構築し、次にインターネットとの接続を行うという手順が一般的である。 また、インターネットに接続する場合の回線の種類や接続形態は、大きく分けて、(1)自営専用線による接続、(2)公衆電話回線、
ＩＳＤＮ（Integrated Services Digital Network：サービス総合デジタル網）デジタル通信モードを使用して接続する回線交換による接続、(3)ＩＴＵ（Internation
al Telecommunication Union：国際電気通信連合）−Ｔ
で規定しているパケット交換接続やＩＳＤＮパケット交換モードを使用するパケット交換接続がある。

【０００４】

【発明が解決しようとする課題】このような従来のネットワーク機器を制御する制御装置にあっては、以下のような問題点があった。 例えば、特開平２−３０２６７号公報には、電話からの自動応答に応じて、対話入力形式で番号・記号等を送信して機器の遠隔操作を行う遠隔操作装置が開示されている。 この方法は一般的ではあるが入力が煩雑になる。 また、家の中で使う際には別のインタフェースを用意する必要があり、統一的な制御ができないという問題点がある。 また、特開平１１−３１１９
９６号公報に記載された音声装置及び遠隔操作可能なネットワーク機器は、音声認識の結果によりネットワークに接続された機器を制御するものである。 この装置では複数ユーザが使用することを前提としているが、認識結果が他のユーザの命令と競合した場合にどうするかについてはまったく触れられていない。 また、システムとのやりとりも常に同じ応答の仕方をするため、ユーザはシステムとのやり取りに飽きてしまい、使わなくなってしまうという問題もある。 また、状況によって機器に対するアクセス権を変化できるような仕組みが必要である。

【０００５】さらに、従来の電話だけでなく、マイク、
カメラを備えたＰＣ、テレビ電話、インターネットなど、ネットワーク機器を制御するための入力デバイスも多様化してきているが、入力デバイスごとにシステムを構築する必要があった。 本発明は、このような課題に鑑みてなされたものであって、擬人化エージェントとの対話によりネットワークに接続された複数の機器を統一的に制御することができるネットワーク機器制御装置を提供することを目的としている。

【０００６】

【課題を解決するための手段】本発明のネットワーク機器制御装置は、例えば各種ネットワーク、カメラ、マイクロフォン等の複数の入力のうち１系統を対話形式により選択するマルチモーダルインターフェースと、ネットワークに接続されている複数のネットワーク機器の情報、該機器それぞれのコマンド情報、所有者情報などを格納する機器制御用データベースと、前記マルチモーダルインターフェースの出力により前記複数のネットワーク機器のうち少なくとも１つを制御する接続機器制御手段とを備え、前記マルチモーダルインターフェースは、
ユーザの身振り（ジェスチャ）や顔の表情等を認識する画像認識、及び入力音声を認識する認識手段と、声の抑揚、強さ、速さなどの音情報を獲得する音情報獲得手段と、意味理解及びユーザごとの応答を変えるための情報を格納する意味理解用データベースと、前記認識手段による認識結果及び前記意味理解用データベースに格納されたデータに基づいて意味理解を行う意味理解手段と、
前記音情報獲得手段により獲得した音情報と前記意味理解手段からの意味理解情報に基づいて相槌を打つ、応答タイミングを決定する等の対話を促す情報を生成する対話促進手段と、前記意味理解手段からの応答文を音声合成する音声合成手段と、対話相手となる擬人化エージェントを合成して出力する画像生成手段と、を備えることを特徴とする。

【０００７】このように構成された本発明のネットワーク機器制御装置は、自然言語による入力により、接続された機器を容易に遠隔繰作することができる。 対話機能による、認識できない部分のみを聞き返すことによりユーザに不快感を与えることなく認識精度を向上させ、対話を通じて同一ネットワーク上にある機器を操作することができる。 また、意味理解手段に個人情報、時間情報を持たせることでいろいろな対話応答が実現できる。 接続機器制御手段に個人情報に関するデータベースを接続することで機器の選定、制御セキュリティ等を実現できる。 インターネット等の回線を利用してネットワーク機器のメーカー及びメンテナンス会社より該当機器の保守を行うことができる。

【０００８】また、前記対話促進手段は、音声の強弱、
音の高低の特徴、ユーザの身振り、音声認識の結果のうち少なくとも２つ以上を入力とし、音声としぐさで相槌を打つ情報を生成することで、人間と同じような応答を実現することが可能であり、スムーズな対話を実現することができる。

【０００９】また、前記意味理解用データベースは、ユーザ別のアクセス方法、時間情報、ユーザ名のうち少なくとも２つ以上を入力とし、該入力とは異なる応答情報を出力することで、アクセス方法、時間情報、ユーザ名などをキーとして異なった応答を生成することが可能であり、人間と話すようにストレスを感じない対話を実現することができる。

【００１０】また、前記機器制御用データベースは、例えば同一のネットワーク上に接続された機器の操作コマンド及び送信手順を格納しており、前記接続機器制御手段は、ユーザとの対話の結果から前記操作コマンドを検索し、前記接続機器に送信することで、処理手順を考えることなく接続機器を制御することが可能であり、音声対話によりネットワーク機器を制御することができる。

【００１１】また、前記機器制御用データベースは、例えば同一のネットワーク上に接続された機器の使用制限に関する情報を格納しており、前記接続機器制御手段は、前記使用制限に関する情報に基づいて操作権限のない機器の操作を排除することで、操作権限のない機器の操作を排除することが可能であり、安全性を確保することができる。

【００１２】また、前記機器制御用データベースは、同一のネットワーク上に接続された機器の操作方法に関する情報を格納するようにし、前記接続機器制御手段は、
ユーザからの要求に応じてＣＧ映像、ビデオ映像、合成音声のうち２つ以上を使って教示するように構成すれば、使用方法がわからないユーザにその方法を教示することが可能であり、新しい機器を接続してもすぐに使えるようになる。

【００１３】

【発明の実施の形態】以下、添付図面を参照しながら本発明の好適なネットワーク機器制御装置の実施の形態について詳細に説明する。 図１は、本発明の実施の形態のネットワーク機器制御装置の構成を示すブロック図である。 ネットワーク機器制御装置として、マルチモータルインタフェースを用いたネットワーク機器制御装置に適用した例である。

【００１４】図１において、１はホームゲートウェイ、
２はマルチモーダルインタフェース、３は制御部、４は音声入力デバイスであるマイクロフォン、５はＣＣＤカメラ等のカメラ、６はインターネット網、７はアナログ電話網、８はＩＳＤＮ網、９は複数の接続機器である。

【００１５】ホームゲートウェイ１は、例えば音声データをＬＡＮのプロトコルであるＩＰ（Internet Protoco
l）パケットに変換し、ＩＰネットワークを経由した音声通話を実現するものである。 ホームゲートウェイ１
は、上記音声データのプロトコル変換等のＩＰゲートウェイを行うもので、同時接続が可能なように複数のポートを有する。

【００１６】特に、ホームゲートウェイ１は、個人認証、操作機器及び操作内容の特定を行い、必要なコマンド体系に変換し、該当ネットワーク機器に送信する。 マルチモーダルインタフェース２は、インターネット網６、アナログ電話網７、ＩＳＤＮ網８などのネットワーク網、ＣＣＤカメラ５、マイク４などの入力デバイスのうち、接続要求のあった１系統を選択し、その系統からの入力を受け付ける。

【００１７】図２は、ホームゲートウェイ１を構成するマルチモーダルインタフェース２の構成を示す図である。 図２において、マルチモーダルインタフェース２
は、画像認識手段１１、言語情報以外の音情報を認識する音声認識手段１２、音情報獲得手段１３、意味理解手段１４、意味理解及びユーザごとの応答を変えるための情報を格納する対話用データベース（ＤＢ）１５（意味理解用データベース）、対話促進手段１６、音声合成手段１７、及び画像生成手段１８から構成される。

【００１８】画像認識手段１１は、ユーザの身振り（ジェスチャ）や画像による個人認証を行う。 音声認識手段１２は、ユーザのしゃべった内容を音声認識により獲得する。 音声認識の手法としては、ヒドンマルコフモデル（ＨＭＭ：hidden Markov model）や連続ＤＰマッチングによるキーワード認識などを用いる。 音情報獲得手段１３は、声の抑揚、強さ、速さなどの音情報を獲得する。

【００１９】意味理解手段１４は、画像認識手段１１と音声認識手段１２の認識結果に基づいて対話用データベース１５に格納した個別情報を用いて意味理解を行う。
対話促進手段１６は、言語的意味のない情報を使い、相槌をうつ、あるいは応答のタイミングを生成するとともに、意味理解手段１４からの応答文を音声合成手段１７
及び画像生成手段１８を使って出力する。 音声合成手段１７は、意味理解手段１４からの応答文を音声合成する。 画像生成手段１８は、対話相手となる擬人化エージェントを合成して出力する。

【００２０】図３は、ホームゲートウェイ１の制御部３
の構成を示す図である。 図３において、制御部３は、マイクロコンピュータ等により構成され、さらに接続機器制御手段１９、及び複数の機器制御用データベース２０
（機器制御用データベース手段）を備えて構成される。
接続機器制御手段１９は、意味理解手段１４からの認識結果に基づいて機器制御用データベース２０を用いて各ネットワーク機器（接続機器９）の制御を行う。

【００２１】機器制御用データベース２０は、機器の制御コマンドを記録したデータベース、機器の処理手順を記録したデータベース、接続された機器すべての稼動状況を記録したデータベース、機器の使用優先度（プライオリティ）を記録したデータベース、前述のプライオリティを自動的に変更するルールを記録したデータベース、機器の使用制限に関する情報を記録したデータベース、ユーザに対応した機器リストを記録したデータベースなどから構成される。

【００２２】さらに、対話の際に用いる語彙、応答パターンを変えるためにデータベースを用いてもよい。 このデータベースの内容は簡単に追加・削除・修正を行うことができ、ユーザに合わせた応答を実現することができる。 本実施の形態のネットワーク機器制御装置は、ユーザとのインタフェースにマルチモーダルインタフェース２を用い、どのような入力デバイスからも対話形式により入力できるようにしたことを特徴としている。

【００２３】以下、上述のように構成されたネットワーク機器制御装置の動作を説明する。 ここではホームゲートウェイ１を家庭内ネットワーク（家庭内ＬＡＮ）と広域ネットワークとの中継器と定義する。 また、このホームゲートウェイ１に接続しているネットワーク機器は、
パソコンなどのコンピュータ、ＡＶ機器のほかホームネットワークに接続可能なすべての電子機器である。

【００２４】ユーザは、ホームゲートウェイ１に対し、
音声認識手段及や映像認識手段を用いて入力を行う。 ホームゲートウェイ１はインターネット網６、アナログ電話網７、ＩＳＤＮ網８などのネットワーク網及びＣＣＤ
カメラ５、マイク４などの入力デバイスのうち１系統を自動的に選択するマルチモーダルインタフェース２（入力選択手段）を用いて、接続要求のあった一系統を選択し、その系統からの入力を受け付ける。 入力はすべてマルチモーダルインタフェース２を使い、擬人化エージェントとの対話形式で行う。 ホームゲートウェイ１では、
個人認証、操作機器及び操作内容の特定を行い、必要なコマンド体系に変換し、該当ネットワーク機器に送信する。

【００２５】マルチモーダルインタフェース２の画像認識手段１１では、ユーザのジェスチャや画像による個人認証を行う。 画像認識手段１１には、ユーザを識別するための顔の認識、身振り（ジェスチャ）の認識などが実装される。 音声認識手段１２では、ユーザのしゃべった内容を音声認識により獲得する。

【００２６】意味理解手段１４では、画像認識手段１１
と音声認識手段１２の認識結果に基づいて意味理解を行う。 このとき、意味理解手段１４は、ユーザ別の応答文を作成したり、「僕の」が何を意味するのかなど対話用データベース１５に格納した個別情報を用いる。

【００２７】また、音情報獲得手段１３では、声の抑揚、強さ、速さなどの情報を獲得する。 これらの言語的意味のない情報を使い、対話促進手段１６において相槌をうつ、あるいは応答のタイミングを生成する。 同時に、意味理解手段１４からの応答文を音声合成手段１７
及び画像生成手段１８を使って出力する。 画像生成手段１８では、対話相手となる擬人化エージェントを合成して出力する。

【００２８】音声認識の手法としては、ヒドンマルコフモデル（ＨＭＭ）や連続ＤＰマッチングによるキーワード認識などによる既存技術のどの方法を用いてもかまわない。 上記画像認識手段１１、音声認識手段１２、音情報獲得手段１３及び意味理解手段１４、対話用データベース１５及び対話促進手段１６の動作について、さらに具体的に説明する。

【００２９】情報獲得手段１３では、ユーザの対話リズムを抽出し、適当なタイミングで相槌をいれるなど応答制御に必要な情報を獲得する。 ユーザが「僕の部屋のビデオ予約をしたいんだけど。」と発話した場合に、すべてのキーワードを認識できればシステムは「何時からですか？」とか「どの番組ですか？」と問い返すなど必要な情報を獲得できるように誘導すればよい。 一部又はすべてのキーワードを認識できなかった場合には、「○○
さんの部屋の何を使うのですか？ 」とか「どのビデオを使うのですか？」「何ですか？もう一度お願いします。」のように聞き返せばよい。 「今晩７時からの○○
を録画しといて」という発話に対し、意味理解手段１４
と対話用データベース１５及び対話促進手段１６によって録画可能かどうかを判断する。 この場合には、インターネットテレビ番組表などを対話用データベース１５にダウンロードしておき、ユーザの入力結果を使って検索を行う。 このとき、検索結果が０件の場合には検索条件を緩めて候補が見つかるまで検索する。 「今日、午後７
時、番組名○○」で検索し、見つからなければ時間情報を緩める。 例えば、「今、番組名○○」での検索で候補が見つかれば、「○○は××からです。いいですか？」
と応答すればよい。 見つからなければ「番組名○○」で検索する。

【００３０】このようにして間違いを訂正することができる。 すべての情報がそろった段階で、ユーザに対し確認を行うことで確実にネットワーク機器を制御することができる。 意味理解手段１４において、ネットワーク機器の制御を行うことを認識した場合、その認識結果を制御部３の接続機器制御手段１９に送る。

【００３１】図３において、機器制御用データベース２
０は、機器の制御コマンドを記録したデータベース、機器の処理手順を記録したデータベース、接続された機器すべての稼動状況を記録したデータベース、機器の使用優先度（プライオリティ）を記録したデータベース、前述のプライオリティを自動的に変更するルールを記録したデータベース、機器の使用制限に関する情報を記録したデータベース、ユーザに対応した機器リストを記録したデータベースなどから構成され、接続機器制御手段１
９は、これらの機器制御用データベース２０を用いて意味理解手段１４からの認識結果に基づいて接続機器９の制御を行う。

【００３２】対話の際に用いる語彙、応答パターンを変えるためにデータベースを用いてもよい。 このデータベースの内容は簡単に追加・削除・修正を行うことができ、ユーザに合わせた応答を実現することができる。 応答パターンを変える例を、図４のフローチャートを用いて説明する。

【００３３】図４は、対話の応答パターンを変える動作を示すフローチャートである。 まず、ステップＳ１で、
本システムヘのアクセス開始時間を獲得する。 これにより時間帯によって応答の方法を変えることができる。 図５は、対話応答パターンを記録したデータベースの一例を示す図、図６は、交信履歴を格納するデータベースの一例を示す図である。

【００３４】図５に示すデータベースの例では、アクセスしたユーザことに時間に応じて応答パターンを変えることができる。 どの時間帯に誰がアクセスしても「こんにちは」「どうしました？」のような特定の応答では不自然である。 特に、特定ユーザ以外の人がアクセスした場合にも特定ユーザと同じ応答の仕方では対話としてもおかしい部分が発生する。 また、ここで獲得した時間情報はネットワーク機器の制御のためにも用いる。 例えば、図６に示すように家族Ｂについて時間１７：００になると、パターンＣの応答をするとともに機器ＡをＯＮ
する動作を行う。 次いで、ステップＳ２でアクセス者（ユーザ）が誰であるのかを判別する。 ユーザ別のデータベースを用いることにより応答パターンをユーザの好みに変える、又はアクセス条件を変えることが実現される。

【００３５】図７は、ユーザ認証に関するデータベースの一例を示す図である。 図７に示すデータベースの例では、アクセスに使った電話等の番号「090-4xxx-yyyy」
をキーにしてユーザを識別する。 このとき、応答用の画像パターン「Pattern A」、音声パターン「Pattern A」
を切り替えてもよい。 また、画像認識や音声認識を使ってユーザを識別してもよい。

【００３６】次いで、ステップＳ３でネットワーク機器へのアクセスを許された家族であるのかを判別する。 ネットワーク機器へのアクセスを許された家族であれば、
ステップＳ４以降でネットワーク機器の制御を行うための応答を行う。 すなわち、ステップＳ４でユーザの要求が何であるのかを認識し、ステップＳ５でネットワーク機器の制御であるか否かを判別する。 ネットワーク機器の制御であるときは、ホームゲートウェイ１の制御部３
にその内容を送出する。 制御部３では、対話の内容にあわせて家庭内の電子機器の操作を行う。 例えば、伝言を残したければ、留守番電話のように音声及び画像データを保存しておく。 また、ビデオの録画を行いたければ、
対象機器の選定、コマンドの作成等を行い、送出すればよい。 これらのタスクに関する操作は、制御部３により行われる。

【００３７】一方、ネットワーク機器へのアクセスを許された家族でなければ、ステップＳ６で登録されている知人であるか否かを判別する。 登録されている知人であれば、留守のときにはメッセージ録音を行ったり携帯電話に転送してもよいと判断してステップＳ７で応答語彙を選択し、ステップＳ８で応答制御を行う。 応答語彙の選択では、本システムが自動的に応答するための対話文を作成し、ステップＳ８において応答を行うものである。 図５に示したデータベースを用いた場合、時間情報に従った応答文を作り出すことができる。 例えば、深夜に未登録の人から電話があった場合には「今日はもう遅いので明日にしてくれませんか？」などと応答する。

【００３８】ステップＳ６で登録されている知人でなければ、まったく知らない第三者からの場合であると判断してステップＳ９で切断処理を行って本フローを終了する。 この切断処理では、留守であることを伝え、回線を切断する。 留守でなければ電話機接続させる。 また、人名を基に敬語を使うなど応対の仕方をかえてもよい。 家族の場合、対話の内容にあわせて家庭内の電子機器の操作を行う。 例えば、伝言を残したければ、留守番電話のように音声及び画像データを保存しておいてもよい。

【００３９】図８は、伝言内容を格納するデータベースの一例を示す図である。 図８に示すデータベースの例では、知人からの電話の内容を要約し、時間情報とともにテキスト情報又は音声情報で蓄えることにした。 図８では、ユーザ名「知人Ａ」が相手先名「家族Ｃ」に時間２
０：０３に伝言内容「○○に××で待っています。」という電話内容が蓄えられている。 また、ビデオの録画を行いたければ、対象機器の選定、コマンドの作成等を行い、送出すればよい。 これらのタスクに関する操作は、
制御部３により行われる。 この制御部３は、図３に示したように接続機器制御手段１９と複数のデータベース２
０から構成されている。 データベース２０には、ネットワークに接続されている機器の情報、機器それぞれのコマンド情報、所有者情報などが格納されている。

【００４０】図９は、ネットワーク機器を制御するための動作を示すフローチャートである。 まず、ステップＳ
１１でユーザが誰であるのかユーザ名を検出する。 このユーザ名を用いてネットワーク機器操作のプライオリティ、使用制限等を検索する。 次いで、ステップＳ１２で制御の対象となる機器の機種名を検出し、ステップＳ１
３でその機器を制御できるか否かを判定する。 このステップＳ１３の制御可否判定処理では、例えばテープの入っていないビデオデッキでの録画予約はできないという情報を検出すれば、ユーザにその情報を提示することができる。 また、この検出結果をデータベースに逐次記録しておけば、ユーザとの対話において時間をロスすることなく、ユーザに情報を提示することができる。 ステップＳ１３で制御可能機器でないと判定したときはステップＳ１４の制御不能応答処理に進むが、これについて説明する。

【００４１】図１０は、接続機器の稼動状況を格納したデータベースの一例を示す図である。 図１０に示す稼動状況データベースは、機器の名称、固有のＩＰアドレス、稼動状況から構成されている。 例えば、機器の名称「32C-PD1」については、固有のＩＰアドレス「1.233.2
51.10」、稼動状況「Power(off)」が格納されている。
それぞれの機器に制御信号を送信する前に機器の稼動状況を格納したデータベースを検索し、機器の状態を把握する必要がある。 電源が入っていない、又はつながっていないなど使用不可の状態の場合に制御コマンドを送信してもエラーを起こすことは予期できる。 この場合には、図９のステップＳ１４で制御できない機器であることを伝えるための応答文を作成し、出力して本フローを終了する。

【００４２】また、待機状態の場合か稼動状態かによっても処理の手順が異なってくる。 このために稼動状況を格納したデータベースが必要である。 ステップＳ１３で制御可能機器であると判定したときは、ステップＳ１５
で入力しようとしているコマンドがすでに入力されている情報と競合するか否かを判定する。 この場合、すでに予約状態にあるなどの競合状況を確認の上、制御を行うこととする。 競合を解決する手段の１つとして、別に定めたデータベースに従った優先順位による制御を行ってもよい。 以下、このデータベースによる例について説明する。

【００４３】図１１は、接続機器の使用に関する優先度を記載したデータベースの一例を示す図、図１２は、接続機器の使用に関する優先度を自動的に変更するルールを記載したデータベースの一例を示す図である。 図１１
に示すデータベースの例では、ユーザごとに時間情報、
使用可能な機器の名称、制御コマンドリスト及び優先度を格納しておき、状況に応じて優先順位を選択する。 例えば、ユーザ名「Ａ」については、時間２０：００−２
２：００では、機器名「32C-PD1」を制御名「Play」、
優先度「１．０」が与えられており、ユーザ名「Ｂ」については、時間１８：００−１９：００では、機器名「32C-PD1」を制御名「Play」、優先度「１．０」が与えられている。 この例では、該当ユーザは該当する時間の該当機器については他のユーザよりも優先的に使用することができる。

【００４４】また、図１２に示すデータベースの例では、プライオリティを自動的に変動させるよう過去の履歴を用いて優先順位を自動的に変えることができる。 例えば、ユーザ名「Ａ」については、条件「使用頻度Ｘ＞
閾値Ｙ」の条件では、優先度Ｚは０．１減算され（Z-=
0.1）た変更値となり、前記条件を満たす毎に優先度は変更され、優先順位は自動的に変更されることになる。

【００４５】図１１に示すプライオリティデータベースや図１２に示すプライオリティ変更ルールデータベースは、ユーザの意向により変動するものであるため、簡単に書き換えられる必要がある。 このためには優先度及び変更ルールを簡単に書き換えられるようデータベースとして管理する必要がある。 先順位の高い制御が予約されていている場合には、凝人化エージェントとの対話の段階で拒絶してもよい。 システムを使用しているユーザ間だけで競合を解消できる場合にはユーザに支援を求める手段を用いてそのユーザ（予約されている制御を指示したユーザ）を呼び出し、支援を求めてもよい。 優先度の高い制御予約を行ったユーザが屋外にいるような場合には、ユーザを呼び出す手段を用いてユーザを呼び出し、
支援を求めればよい。 呼び出す手段としては明らかに屋外にいるならば携帯電話等を用いるのが一般的である。
Ｅ−Ｍａｉｌを使って支援を求めてもよい。 優先順位が低い場合にも単純に上書きするのではなく、擬人化エージェントが先の予約をしたユーザを呼び出し、上書きされる旨を伝える必要がある。

【００４６】図９に戻って、ステップＳ１５で競合状況あるときは、ステップＳ１７でこれらの競合情報を提示し、ステップＳ１２に戻る。 競合しない場合にはステップＳ１６で制御完了応答を実行し、その結果を出力して本フローを終了する。 この制御完了応答を制御を実行するためには、操作コマンドや送信手順を格納したデータベースを参照し、適切な手順でコマンドを送信する必要がある。 以下、図１３及び図１４により説明する。

【００４７】図１３は、接続機器に送信するコマンドを格納したデータベースの一例を示す図、図１４は、接続機器にコマンドを送信する手順を記載したデータベースの一例を示す図である。 例えば、図１３に示すように機器ごとに異なる制御コマンドに変換して送出する必要がある。 例えば、機器名（型番）「32C-PD1」については、固有のＩＰアドレス「1.233.251.10」、制御名「再生」、制御コマンド「Send“Play”)」が格納されている。 送出の方法は有線でもよいし、赤外線での送信でもよい。

【００４８】また、図１４のデータベースに示すように複数のコマンドを同時に送信する必要がある場合も存在する。 例えば、電源が入っていない、又は待機状態であるテレビに対して特定チャンネルを表示させるためには“電源を入れ”て、“チャンネルを合わせる”という手順が必要である。 このような処理手順を記録したデータベースも必要である。 この例として、図１４では、機器名（型番）「32C-PD1」については、固有のＩＰアドレス「1.233.251.10」、制御手順「Play:-Power(ON),Chan
ge(Channel).」が格納されている。

【００４９】また、最近では家庭内においても個人所有の機器が増えているため、ユーザことに機器の使用制限に関する情報を格納したデータベースを設けてもよい。
操作権限のない機器の操作を排除する手段を設けることにより、例えば火気関連機器については保護者監督のもと以外での使用を制限することができるという利点もある。 さらに、同様の機能をもつ機器が複数ある場合にどちらを使うかの判断にもこの使用制限を使うことができる。 「使っていい」か、「だめ」かだけでなく、条件によっては使ってもよいなどの使用制限を設けてもよい。
この条件には時間的な要素により場合わけをしてもよい。

【００５０】ネットワーク機器のデバイスドライバーなどのソフトウェアは、頻繁にそのバージョンが変わっているため、ソフトウェアのバージョンを管理する手段、
現在のソフトウェアよりも新しいバージョンのソフトウェアを見つけた場合に自動的にダウンロードして、インストールする手段を設けることで製品寿命を延ばすことができる。 ソフトウェアをダウンロードするタイミングは、定期的にメーカーのインターネットサイトを検索しに行く、あるいはメーカー側から各家庭に対して擬人化エージェントによる配信を行い、音声対話により自動的にドライバー等のソフトウェアを更新してもよい。

【００５１】さらに、接続しているネットワーク機器が故障した場合の対処方法を記録したデータベースも必要である。 稼動状況を記録したデータベースをユーザが見れば故障かどうかは判断ができるが、常に監視することはできない。 そこで故障診断を行う手段によりシステムが故障と判断した時点で故障発生時対応ルールに従ってユーザ及びメーカーに対して情報を通知する手段により通知することで損害を最小限で防ぐことができる。

【００５２】図１５は、故障発生時の対応ルールを格納したデータベースの一例を示す図である。 図１５に示す例では、故障検出の時間と機器名に従って対処方法を変えている。 昼間（ここでは１０：００〜１７：００）に故障が発生した場合には、製造メーカーに故障発生を通知（Call Maker）し、その対処を待てばよい。 通知の方法はＥ−Ｍａｉｌでもよいし、合成音による音声対話形式でもよい。 夜間（ここでは１７：００〜２４：００）
であれば製造メーカーの対応も遅れることが予想されるため、Ｅ−Ｍａｉｌ等で製造メーカーに連絡をとる（Ma
il to Maker）とともに、ユーザに対しても故障発生を通知する必要がある。 故障診断の結果を蓄積する手段を設けることにより、故障機器を使うことなく、ユーザの制御命令を実行することができる。

【００５３】接続された機器の操作方法を格納したデータベースを設けることにより、機器を使うユーザを支援することができる。 例えば本実施の形態の制御方法を用いずに機器単独での操作をユーザが試みる場合に使用方法を教示することができる。 教示の方法としては、ＣＧ
映像やビデオ映像、合成音声などを用いることができる。 どのボタンを押したらいいか、わからない場合には合成音声とＣＧ映像を使うとわかりやすい。 操作方法は、インターネットを使ってダウンロードするか、あるいは製品を購入した時点で、ＣＤ−ＲＯＭ等のメディアを使って登録してもよい。 こうして、擬人化エージェントとの音声対話によるホームゲートウェイ１を使うことで、どのような入力方法を用いた場合でも同様の効果を得ることができると同時にインターネットを利用したさまざまなサービスを受けることができる。

【００５４】以上のように、本実施の形態のホームゲートウェイ１は、電話網、インターネット網等の各種ネットワーク、カメラ、マイクロフォン等の複数の入力のうち１系統を対話形式により選択するマルチモーダルインターフェース２と、ネットワークに接続されているネットワーク機器の情報、該機器それぞれのコマンド情報、
所有者情報などを格納する機器制御用データベース２０
と、前記マルチモーダルインターフェースの出力により前記複数のネットワーク機器のうち少なくとも１つを制御する接続機器制御手段１９とからなる制御部３を備え、マルチモーダルインターフェース２は、さらに音情報と意味理解手段１４からの意味理解情報に基づいて相槌を打つ、応答タイミングを決定する等の対話を促す情報を生成する対話促進手段１６を備えて構成したので、
ユーザは擬人化エージェントとの対話によりネットワークに接続された機器を統一的に制御することができる。

【００５５】また、対話機能による、認識できない部分のみを聞き返すことによりユーザに不快感を与えることなく認識精度を向上させ、対話を通じて同一ネットワーク上にある機器を操作することができる。 また、意味理解手段１４に個人情報、時間情報を持たせることでいろいろな対話応答が実現できる。 接続機器制御手段１９に個人情報に関する機器制御用データベース２０を接続することで機器の選定、制御セキュリティ等を実現することができる。 また、インターネット等の回線を利用してネットワーク機器のメーカー及びメンテナンス会社より該当機器の保守を行うことができる。

【００５６】また、本実施の形態では、図９の処理において、制御情報に則った操作を行うことが可能かどうかを検証するように制御しているので、不可能な場合には実際に制御信号を発することなくその結果をユーザに提示することが可能であり、不要な通信コストを下げることができる。 また、図９の処理において、競合を解決するように制御したので、複数ユーザで同一システムを共有することが可能であり、共有によって生じる競合を最小限にとどめることができる。

【００５７】また、本実施の形態では、ユーザに支援を求める手段を備えているので、システム自体で解決できない競合の解決をユーザに求めることが可能であり、競合を最小限にとどめることができる。 さらに、ユーザを呼び出す手段を設けているので、競合解消のためにネットワークにログインしていないユーザを呼び出すことが可能であり、ユーザ間の競合をスムーズに解消することができる。

【００５８】また、本実施の形態では、図１３及び図１
４に示すデータベースを用いて、接続された機器に対して故障診断を行う手段とその結果を蓄積する手段とを設けるようにすれば、接続機器に故障が発生した場合でもユーザ及びメーカーに対し情報を通知することが可能であり、安定した運用を実現することができる。 さらに、
図１５に示すデータベースを用いて、接続された機器に搭載されたソフトウェアのバージョンを管理する手段と、最新のモジュールをダウンロードし、インストールする手段を設けるようにすれば、接続機器のソフトウェアのバグを自動的に補正することが可能であり、安定した運用を実現することができる。

【００５９】なお、本発明のマルチモーダルインタフェースを用いたネットワーク機器制御装置は、上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 例えば、上述したようなプロトコル変換等を行うホームゲートウェイに適用することもできるが、これには限定されず、全ての装置に適用可能である。

【００６０】また、上記実施の形態で説明したマルチモーダルインタフェースへ入力される複数の入力デバイスの種類やマルチモーダルインタフェースにおける認識手段や対話方法、さらには対話形式で制御されるネットワーク機器の数、種類は一例であり、対話促進手段を有するマルチモーダルインタフェースであればどのようなものでもよく、同様な効果を得ることができる。 さらに、
上記ネットワーク機器制御装置を構成する各回路部等の種類、データベースなどは前述した実施形態に限られない。

【００６１】

【発明の効果】以上、詳述したように、請求項１に記載の発明によれば、擬人化エージェントとの対話によりネットワークに接続された機器を統一的に制御することができる。 また、問い返し、相槌などの応答をすることが可能であり、その結果スムーズな対話により機器の制御ができる。

【００６２】また、音声の強弱、音の高低の特徴、ユーザの身振り、音声認識の結果のうち少なくとも２つ以上を入力とする対話促進手段を設けているので、人間と同じような応答を実現することが可能であり、その結果スムーズな対話を実現することができる。 また、ユーザ別のデータベース手段を設けているので、アクセス方法、
時間情報、ユーザ名などをキーとして異なった応答を生成することが可能であり、人間と話すようにストレスを感じない対話を実現することができる。

【００６３】さらに、接続された機器の操作方法を格納したデータベースとＣＧ映像、ビデオ映像、合成音声のうち２つ以上を使って教示する手段を設けているので、
使用方法がわからないユーザにその方法を教示することが可能であり、新しい機器を接続してもすぐに使えるようになる。

【００６４】請求項２に記載の発明によれば、例えば同一のネットワーク上に接続された機器の操作コマンド及び送信手順を格納したデータベース手段を設けているので、処理手順を考えることなく接続機器を制御すること可能であり、音声対話によりネットワーク機器を制御することができる。 請求項３に記載の発明によれば、機器の使用制限に関する情報を格納したデータベース手段を設けているので、操作権限のない機器の操作を排除することが可能であり、安全性を確保することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態のネットワーク機器制御装置の構成を示すブロック図である。

【図２】本発明の実施の形態のネットワーク機器制御装置のホームゲートウェイを構成するマルチモーダルインタフェースの構成を示す図である。

【図３】本実施の形態のネットワーク機器制御装置のホームゲートウェイの制御部の構成を示す図である。

【図４】本実施の形態のネットワーク機器制御装置の対話の応答パターンを変える動作を示すフローチャートである。

【図５】本実施の形態のネットワーク機器制御装置の対話応答パターンを記録したデータベースの一例を示す図である。

【図６】本実施の形態のネットワーク機器制御装置の交信履歴を格納するデータベースの一例を示す図である。

【図７】本実施の形態のネットワーク機器制御装置のユーザ認証に関するデータベースの一例を示す図である。

【図８】本実施の形態のネットワーク機器制御装置の伝言内容を格納するデータベースの一例を示す図である。

【図９】本実施の形態のネットワーク機器制御装置のネットワーク機器を制御するための動作を示すフローチャートである。

【図１０】本実施の形態のネットワーク機器制御装置の接続機器の稼動状況を格納したデータベースの一例を示す図である。

【図１１】本実施の形態のネットワーク機器制御装置の接続機器の使用に関する優先度を記載したデータベースの一例を示す図である。

【図１２】本実施の形態のネットワーク機器制御装置の接続機器の使用に関する優先度を自動的に変更するルールを記載したデータベースの一例を示す図である。

【図１３】本実施の形態のネットワーク機器制御装置の接続機器に送信するコマンドを格納したデータベースの一例を示す図である。

【図１４】本実施の形態のネットワーク機器制御装置の接続機器にコマンドを送信する手順を記載したデータベースの一例を示す図である。

【図１５】本実施の形態のネットワーク機器制御装置の故障発生時の対応ルールを格納したデータベースの一例を示す図である。

【符号の説明】

１ ホームゲートウェイ ２ マルチモーダルインタフェース ３ 制御部 ４ マイクロフォン ５ カメラ ６ インターネット網 ７ アナログ電話網 ８ ＩＳＤＮ網 ９ 接続機器 １１ 画像認識手段 １２ 音声認識手段 １３ 音情報獲得手段 １４ 意味理解手段 １５ 対話用データベース（意味理解用データベース手段） １６ 対話促進手段 １７ 音声合成手段 １８ 画像生成手段 １９ 接続機器制御手段 ２０ 機器制御用データベース（機器制御用データベース手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. ⁷識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 3/16 ３３０ Ｇ０６Ｆ 3/16 ３３０Ｋ ５Ｋ０３３ ３３０Ｃ ５Ｋ０４８ 13/00 ３５７ 13/00 ３５７Ａ ５Ｋ１０１ Ｇ１０Ｌ 13/00 Ｈ０４Ｍ 11/00 ３０１ ９Ａ００１ 15/18 Ｈ０４Ｑ 9/00 ３０１Ｅ 15/00 ３２１Ｅ Ｈ０４Ｌ 12/28 ３３１Ａ 12/24 Ｇ１０Ｌ 3/00 Ｑ 12/26 Ｒ Ｈ０４Ｍ 11/00 ３０１ ５３７Ｚ Ｈ０４Ｑ 9/00 ３０１ ５５１Ａ ３２１ Ｈ０４Ｌ 11/00 ３１０Ｚ ３３１ 11/08 Ｆターム(参考） 5B089 GA31 GB08 JB03 JB05 KA01 KC44 KC53 KC54 KC58 KH15 KH16 5D015 AA05 KK02 LL06 5D045 AB26 5E501 AA13 AC15 AC25 AC42 BA05 CA08 CB15 CC11 EA21 FA14 FA32 FA43 5K030 GA15 GA17 HA08 HB01 HB02 HC01 HD03 JL09 KA07 KA20 LD20 LE11 MB09 5K033 AA05 BA08 BA14 DA06 DB18 5K048 AA04 BA02 BA12 BA13 CA08 DA02 DA05 DC04 DC07 EA11 EB14 EB15 FB10 FB12 FC01 HA01 HA02 HA05 HA07 5K101 KK11 LL01 LL03 LL05 NN06 NN08 NN16 NN21 NN34 NN37 PP03 TT06 UU19 9A001 BB04 CC07 DD11 HH17 HH18 HH22 HH28 JJ01 JJ12 JJ25 KK54 LL03