【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、エージェント装置に係り、例えば、擬人化されたエージェントを相手に車両内での会話等が可能なコミュニケーション機能を備えたエージェント装置に関する。

【０００２】

【従来の技術】従来車両内において、運転者による走行環境を向上させるようにしたものとして、ラジオやカセットテーププレーヤが搭載されている。 また、車両に搭載したアマチュア無線機や携帯電話等の無線通信機器を使用して、車両外の知人等との会話を楽しむことで、走行環境を向上させるようにした車両もある。

【０００３】

【発明が解決しようとする課題】上述のような従来の車両におけるラジオ等では運転者に対して一方向の情報提示にすぎず、双方向の会話等をすることができなかった。 一方、携帯電話等による場合には会話をすることができるが、コール待ち、ダイヤル等によって通話相手を捜さなければならなかった。 たとえ、通話相手が見つかったとしても、車両の状況といった運転者の一方的な都合にあわせた、適切な会話をしてくれるわけではなかった。 このように、従来の車両には、車両の過去の状態などの履歴・運転者の状態に応じて、擬人化されたエージェントが存在しないため、車両が愛着のわかないただの乗り物としての道具でしか役割を持たない場合もあった。

【０００４】なお、運転者に対する情報の伝達を、人間の表情や動作などにより行うようにした技術が特開平９
−１０２０９８号公報において提示されている。 しかし、この公報に記載された技術は、過去の運転者の応答等の履歴や性別、年齢等のユーザ情報などに基づいて表示が変わるわけではなく、同一の状況が生じた場合には常に同一の表示がされるものである。 すなわち、限られたセンサ出力に対して常に同一の表示を行うものであり、視認性が向上された従来の計器類の範疇に入るべきものである。 また、車両においては、運転者が認知すべき情報は車内車外を含め多種多様に存在し、かつ安全性等からこれらの情報は一見して確実に把握する必要がある。 しかし、人間の表情や動作により良好な視認性で種々の情報を伝達するには、情報量に限界がある。

【０００５】本発明は、擬人化されたエージェントによる行為とエージェントの背景とにより種々の情報を伝達し、且つ運転者とのコミュニケーションをはかることが可能な車両を提供することを第１の目的とする。 また、
本発明は、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、且つ背景を表示して、運転者とのコミュニケーションをはかることができる車両を提供することを第２の目的とする。

【０００６】

【課題を解決するための手段】請求項１に記載した発明では、擬人化されたエージェント及び該エージェントの背景を表示する画像表示装置と、車両の各種状況を判断する状況判断手段と、この状況判断手段により判断された所定の状況から、前記画像表示装置に表示されるエージェントの行為を決定する行為決定手段と、前記状況判断手段により判断された所定の状況から、前記画像表示装置に表示される前記背景を決定する背景決定手段と、
前記行為決定手段で決定された行為を行うエージェントと前記背景決定手段により決定された背景とを前記画像表示装置に表示させる画像表示手と、をエージェント装置に具備させて前記第１の目的を達成する。

【０００７】ここで、状況判断手段は、現在または過去の状況を判断し、車両の現在位置を検出する現在位置現在検出手段を含め、車両各部の状況を検出する車載センサを含め、又は、車両外部の環境を検出するセンサを含めるようにしてもよい。 また、表示されるエージェントは、複数のエージェントの中から選択されたエージェントを出現させるようにしてもよい。 さらに、エージェント出現手段は、音声出力装置と、該音声出力装置を備え、特定のエージェントの音声を出力するエージェント音声出力手段を含むようにし、音声出力手段は、複数のエージェント音声の中から選択された音声を出力するようにしてもよい。

【０００８】請求項２に記載した発明では、請求項１に記載したエージェント装置において、前記状況判断手段による所定の状況を記憶することで学習する学習手段を有し、前記行為決定手段は、この学習手段による学習結果を含めて前記エージェントの行為を決定することにより前記第２の目的を達成する。 ここで、学習手段は、前記状況手段が同一の状況を検出する回数により予め定められた学習結果を出力するようにしてもよい。 また、学習手段は、さらに、運転者の指示内容及び応答内容の少なくとも一方を学習対象として記憶する記憶手段を備えてもよく、さらに運転者の操作を入力するスイッチを備え、前記記憶手段は該スイッチ入力の時間及び場所を記憶するようにしてもよい。 さらに学習手段は、前記エージェントの行為に対応した運転者の操作があったか否かを判別する判別手段を備えてもよい。

【０００９】請求項３に記載した発明では、請求項１または請求項２に記載したエージェント装置において、前記状況判断手段による所定の状況を記憶することで学習する学習手段を有し、前記背景決定手段は、この学習手段による学習結果を含めて前記背景を決定する。 請求項４に記載した発明では、請求項１または請求項２に記載したエージェント装置において、前記画像表示装置は、
表示画面の縁部に表示される枠を前記背景に含めて表示し、前記背景決定手段は、前記枠の表示状態を決定するる。 請求項５に記載した発明では、請求項１から請求項４のうちのいずれかに記載したエージェント装置において、前記背景決定手段は、前記エージェントの音声認識に対する状態に基づいて前記背景を決定するする。

【００１０】

【発明の実施の形態】以下、本発明のエージェント装置における好適な実施の形態について、図１から図１１を参照して詳細に説明する。 （１）実施形態の概要 本実施形態のエージェント装置では、擬人化されたエージェントとその背景とを画像（平面的画像、ホログラフィ等の立体的画像等）により車両内の表示装置に表示させる。 車両自体、運転者、同乗者、対向車等を含む車両の状況（運転者の応答や反応等も含む）の判断を行い、
各時点での車両状況に基づいて、運転者や車両に対して様々なバリエーションをもった対応（行為＝行動と音声）をする。 更に、背景も、エージェントの行為と同様に、車両状況に基づいて決定され表示される。 これにより運転者は、自分固有のエージェントと車両内でつき合う（コミュニケーションする）ことが可能になり、車両内での環境を快適にすることができる。 また、エージェントと背景との両方により、多くの情報を、はっきりと区別して取得でき、車両内での環境をより快適にすることができる。 ここで、本実施形態において擬人化されたエージェントとは、特定の人間、生物、漫画のキャラクター等との同一性があり、その同一性のある生物が、同一性・連続性を保つようなある傾向の出力（動作、音声により応答）を行うものである。 また、同一性・連続性は特有の個性を持つ人格として表現され、電子機器内の一種の疑似生命体としてもとらえることができる。 車両内に出現させる本実施形態のエージェントは、人間と同様に判断する疑似人格化（仮想人格化）された主体である。 また、本実施形態中においては、エージェントは、
車両自体や運転者を含む車両の状況を判断して経路案内や機器の作動等種々の動作を運転者に代わり行ったりそのアシストを行いつつ、更に、車両の状況や運転者の応答等を学習し、この学習結果を含めた判断により各種行為を行うものとなっている。 従って、同一の車両状況であっても、過去の学習内容に応じてコミュニケーションの内容は異なる。 ときには、車両の相応には関係ない範囲での判断ミスも有り、この判断ミスによる不要な（ドジな）応答をするおともある。 そして運転者の応答により、判断ミスか否かを判定し、学習する。 また更に、本実施形態中においては、背景についても車両の状況や運転者の応答等の学習結果を含めた判断により表示が決定され、運転者に合わせた背景を表示することにより、より一層効果的なコミュニケーションや良好な走行環境を提供できるようになっている。

【００１１】（２）実施形態の詳細 図１は、本実施形態におけるエージェント装置の構成を示すブロック図である。 本実施形態では、コミュニケーション機能全体を制御する全体処理部１を備えている。
この全体処理部１は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部１０、エージェント処理部１１、ナビゲーション処理部１０とエージェント処理部１１に対するＩ／Ｆ部１
２、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部１３、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部１４、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部１５を有している。 エージェント処理部１１は、車両の状況から、車両内に出現させるエージェントの行為と背景とを決定し、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を運転者に応じて行うようになっている。

【００１２】ナビゲーション処理部１０とエージェント処理部１１は、データ処理及び各部の動作の制御を行うＣＰＵ（中央処理装置）と、このＣＰＵにデータバスや制御バス等のバスラインで接続されたＲＯＭ、ＲＡＭ、
タイマ等を備えている。 両処理部１０、１１はネットワーク接続されており、互いの処理データを取得することができるようになっている。 ＲＯＭはＣＰＵで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、ＲＡＭはＣＰＵがワーキングメモリとして使用するランダムアクセスメモリである。

【００１３】本実施形態のナビゲーション処理部１０とエージェント処理部１１は、ＣＰＵがＲＯＭに格納された各種プログラムを読み込んで各種処理を実行するようになっている。 なお、ＣＰＵは、記録媒体駆動装置２３
にセットされた外部の記録媒体からコンピュータプログラムを読み込んで、エージェント記憶装置２９やナビゲーションデータ記憶装置、図示しないハードディスク等のその他の記憶装置に格納（インストール）し、この記憶装置から必要なプログラム等をＲＡＭに読み込んで（ロードして）実行するようにしてもよい。 また、必要なプログラム等を記録媒体駆動装置２３からＲＡＭに直接読み込んで実行するようにしてもよい。

【００１４】ナビゲーション処理部１０には、現在位置検出装置２１とナビゲーションデータ記憶装置３０が接続され、エージェント処理部１１にはエージェントデータ記憶装置２９が接続され、Ｉ／Ｆ部１２には入力装置２２と記憶媒体駆動装置２３と通信制御装置２４が接続され、画像処理部１３には表示装置２７と撮像装置２８
が接続され、音声制御部１４には音声処理装置２５とマイク２６が接続され、状況情報処理部１５には状況センサ部４０が接続されている。

【００１５】現在位置検出装置２１は、車両の絶対位置（緯度、経度による）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Global
Positioning System)受信装置２１１と、方位センサ２
１２と、舵角センサ２１３と、距離センサ２１４と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置２１５等が使用される。 ＧＰＳ受信装置２
１１とビーコン受信装置２１５は単独で位置測定が可能であるが、ＧＰＳ受信装置２１１やビーコン受信装置２
１５による受信が不可能な場所では、方位センサ２１２
と距離センサ２１４の双方を用いた推測航法によって現在位置を検出するようになっている。 方位センサ２１２
は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差（移動距離の差）により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。 舵角センサ２１３は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。 距離センサ２１４は、例えば、車輪の回転数を検出して計数し、または加速度を検出して２回積分するもの等の各種の方法が使用される。

【００１６】入力装置２２は、車両の状況としての、ユーザに関する情報（年齢、性別、趣味、性格など）を入力したり、エージェントからの問い合わせに対して運転者が応答するための手段である。 なお、ユーザに関する情報は、入力装置２２からユーザが入力する場合に限らず、例えば、プロ野球が好きか否か、好きな球団名等に関する各種問い合わせをエージェントがユーザに行い、
ユーザの回答内容から取得するようにしてもよい。 また、入力装置２２は、ナビゲーション処理における走行開始時の現在地（出発地点）や目的地（到達地点）、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境（発信条件）、車両内で使用される携帯電話のタイプ（型式）などを入力するためのものでもある。 入力装置２２には、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。 また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。 リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー（ボタン）、テンキー等の各種キーが配置される。

【００１７】記録媒体駆動装置２３は、ナビゲーション処理部１０やエージェント処理部１１が各種処理を行うためのコンピュータプログラムを外部の記録媒体から読み込むのに使用される駆動装置である。 記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。 ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フロッピーディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやＩＣカード等の半導体記録媒体、ＣＤ−ＲＯＭやＭＯ、ＰＤ（相変化書換型光ディスク）等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙（および、
紙に相当する機能を持った媒体）を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。

【００１８】記録媒体駆動装置２３は、これらの各種記録媒体からコンピュータプログラムを読み込む他に、記録媒体がフロッピーディスクやＩＣカード等のように書き込み可能な記録媒体である場合には、ナビゲーション処理部１０やエージェント処理部１１のＲＡＭや記憶装置２９、３０のデータ等をその記録媒体に書き込むことが可能である。 例えば、ＩＣカードに、エージェント機能に関する学習内容（学習項目データ、応答データ）
や、ユーザに関する情報等を記憶させ、他の車両を運転する場合でもこれらのデータを記憶させたＩＣカードを使用することで、自分の好みに合わせて（過去の応対の状況に応じて）学習されたエージェントとコミュニケーションすることが可能になる。 これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。

【００１９】通信制御装置２４は、各種無線通信機器からなる携帯電話が接続されるようになっている。 通信制御部２４は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。 また、通信制御装置２４を介して、エージェント機能に関する学習データやユーザに関する情報を送受信することも可能である。

【００２０】音声出力装置２５は、車内に配置された複数のスピーカで構成され、音声制御部１４で制御された音声、例えば、音声による経路案内を行う場合の案内音声や、エージェントの行動にあわせた音声や音が出力されるようになっている。 この音声出力装置２５は、オーディオ用のスピーカと兼用するようにしてもよい。 なお、音声制御装置１４は、運転者のチューニング指示の入力に応じて、音声出力装置２５から出力する音声の音色やアクセント等を制御することが可能である。 マイク２６は、音声制御部１４における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話（応答等）
等を入出力する音声入力手段として機能する。 このマイク２６は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。 音声出力装置２５とマイク２６とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。

【００２１】表示装置２７には、ナビゲーション処理部１０の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部１１によるエージェントの各種行動（動画）が表示されたりするようになっている。 また、エージェントが表示される場合には、
同時にエージェントの背景が表示されるようになっている。 また、撮像装置２８で撮像された車両内外の画像も画像処理部１３で処理された後に表示されるようになっている。 表示装置２７は、液晶表示装置、ＣＲＴ等の各種表示装置が使用される。 なお、この表示装置２７は、
例えばタッチパネル等の、前記入力装置２２としての機能を兼ね備えたものとすることができる。

【００２２】撮像装置２８は、画像を撮像するためのＣ
ＣＤ（電荷結合素子）を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。 撮像装置２８の各カメラにより撮像された画像は、画像処理部１３に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部１１によるプログラム番号の決定にも使用するようになっている。

【００２３】エージェントデータ記憶装置２９は、本実施形態によるエージェント機能を実現するために必要な各種データ（プログラムを含む）が格納される記憶装置である。 このエージェントデータ記憶装置２９には、例えば、フロッピーディスク、ハードディスク、ＣＤ−Ｒ
ＯＭ、光ディスク、磁気テープ、ＩＣカード、光カード等の各種記録媒体と、その駆動装置が使用される。 この場合、例えば、学習項目データ２９２、応答データ２９
３を持ち運びが容易なＩＣカードやフロッピーディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。

【００２４】エージェントデータ記憶装置２９には、エージェントプログラム２９０、プログラム選択テーブル２９１、学習項目データ２９２、応答データ２９３、図４に例示したエージェントの容姿や行動、背景を画像表示するための画像データ２９４、背景選択テーブル２９
６、応答認識データ２９８、その他のエージェントのための処理に必要な各種のデータが格納されている。

【００２５】エージェントプログラム２９０には、エージェント機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を背景と共に表示装置２７に画像表示し、またその行動に対応した会話を音声出力装置２
５から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。 このエージェントプログラム２９０には、各プログラム番号の音声に対して復習種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置２
２等から選択することができるようになっている。 エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。 なお、このエージェントの音声の選択は、適時変更することが可能である。

【００２６】プログラム選択テーブル２９１は、エージェントプログラム２９０に格納されているコミュニケーションプログラムを選択するためのテーブルである。 図２はプログラム選択テーブル２９１を表したものであり、図３はプログラム選択テーブル２９１で選択される各プログラム番号に対応した、エージェントの行為（行動と発声）内容を表したものである。 この図２、図３で示されているプログラム番号は、エージェントプログラム２９０に格納されている各コミュニケーションプログラムの番号と一致している。

【００２７】図４は、図２、図３のプログラム番号００
００１〜００００２により表示装置２７に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表したものである。 この図４に示されるように、
エージェントＥは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。 この行動と共にエージェントＥが話す言葉（発声）は、車両状況や学習状況、エージェントの性格等によって変えられる。

【００２８】エンジンの冷却水温度が低い場合には、エンジンの調子に合わせて行動「眠そうに…」が選択される。 眠そうな表現として、瞼が下がった表情にしたり、
あくびや伸びをした後に所定の行動（お辞儀等）をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。 これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。 例えば、３回に１回は目をこすり（Ａ行動）、１０回に１回はあくびをするようにし（Ｂ行動）、それ以外では瞼を下がった表情（Ｃ行動）にする。 これらの変化は、行動Ｂや行動Ｃの付加プログラムを行動Ａの基本プログラムに組み合わせることで実現される。 そして、どの行動を組み合わせるかについては、基本となる行動Ａのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。 また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、エージェントＥを走りながら画面に登場させたりすることで表現する。

【００２９】図２に表示された各項目は、各プログラム番号を選択するための選択条件を表したもので、状態センサ４０により検出される車両や運転者の各種状況から決定される項目（時間、起動場所、冷却水温、シフトポジション位置、アクセル開度等）と、学習項目データ２
９２や応答データ２９３に格納されている学習内容から決定される項目（今日のＩＧ ＯＮ回数、前回終了時からの経過時間、通算起動回数等）とがある。 プログラム選択テーブル２９１中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。 なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「−」
印、「無印」はそのプログラムの選択には考慮されない項目を示している。

【００３０】図２、図３では、イグニッションをＯＮにした場合のコミュニケーション（挨拶）に関連する行為と選択条件について記載しているが、その他各種行為（行動と発声）を規定するプログラムを選択するためのプログラム番号と選択条件も種々規定されている。 例えば、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動とったり、驚き声をだすようなプログラムも規定されている。 エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから３回目までは「しりもち」をつき、４回目から１０回目までは「たたら」を踏み、１
０回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。 そして、最後の急ブレーキから１週間の間隔があいた場合には、１段階後退するようにする。

【００３１】学習項目データ２９２及び応答データ２９
３は、運転者の運転操作や応答によってエージェントが学習した結果のデータである。 従って、学習項目データ２９２と応答データ２９３は、各運転者毎にそのデータが格納・更新（学習）されるようになっている。

【００３２】学習項目データ２９２と応答データ２９３
は共にエージェントの学習により格納、更新されるデータであり、その内容がそれぞれ図５、図６に概念的に示されている。 学習項目データ２９２には、図５に示されるように、プログラム選択テーブル２９１（図２）においてプロコミュニケーションプログラムを選択するための選択条件項目である通算起動回数、前回終了日時、今日のイグニッションＯＮ回数、前５回の給油時残量、オーディオ類作動条件とその時の作動機器、等が格納される。 また、選択条件により選択されたプログラムを起動するか否か（お休みするか否か）を決定するためのお休み回数／日時、デフォルト値、その他のデータが格納される。

【００３３】通算起動回数には、イグニッションを起動した通算回数が格納され、イグニッションがＯＮされる毎にカウントアップされる。 前回終了日時には、イグニッションをＯＦＦにする毎にその日時が格納される。 今日のイグニッションＯＮ回数には、その日におけるイグニッションＯＮの回数と、１日の終了時間が格納される。 イグニッションがＯＮされる毎にカウントアップされるが、１日が終了するとデータが”０”に初期化される。 １日の終了時間はデフォルト値として２４：００が格納されている、この時間はユーザ（運転者）の生活パターンによって変更することが可能である。 時間が変更された場合には、変更後の時間が格納される。

【００３４】前５回の給油残量には、燃料（ガソリン）
を給油する直前に検出された燃料の残量が格納され、新たに給油される毎に各データが左側にシフトされ（最も古い最左のデータが削除される）今回給油直前の残量が一番右側に格納される。 このデータは、後述する燃料検出センサ４１５の検出値Ｇ１が、全５回分の給油残量の平均値Ｇ２以下（Ｇ１≦Ｇ２）になった場合に、エージェントＥが表示装置２７に現れて給油を促す行動が表示装置２７に表示され、「おなかが減ったなあ！ガソリンがほしいな！」等の音声が音声出力装置２５から出力される。 オーディオ類作動条件は、ラジオ、ＣＤ、ＭＤ、
カセットテーププレーヤ、テレビ等のオーディオ類のスイッチがＯＮにされた時の時間帯及び場所であり、ラジオ及びテレビの場合には更に選択された局が該当する。
また、作動機器は、ラジオ、ＣＤ、ＭＤ、カセットテーププレーヤ等のオーディオ類である。 このオーディオ類作動条件と作動機器は、オーディオ類がスイッチＯＮされた過去５回分について記憶される。

【００３５】お休み回数／日時には、該当するコミュニケーションプログラムが選択されたとしても実行せずにお休みした回数等が各プログラム番号毎に格納される。
このお休み回数／日時は、例えば後述するエアコンの停止を提案するエージェントの行為（プログラム番号００
１２３）のように、学習項目としてお休み項目が設定されているエージェント行為について格納される。 エージェントの提案や会話に対する運転者の応答が、拒否（拒絶）であった場合や無視（又は無応答）であった場合、
コミュニケーションプログラムに応じて選択的に「お休み」が設定される。

【００３６】デフォルト値には、時間、回数、温度、車速、日時等の各項目に対する初期設定値が格納されており、前記した１日の終了時間のように学習項目の中で変更された値を初期値に戻す場合に使用される。

【００３７】学習項目データ２９２に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日（これはユーザ入力項目である）、祭日とその言われ、クリスマス、バレンタインデー、ホワイトデー等のイベント日などが格納される。 各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。

【００３８】図６の応答データ２９３には、エージェントの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各コミュニケーションプログラム番号毎に格納される。 ユーザ応答データは、図６（Ａ）のコミュニケーションプログラム番号００１２３、００１２５
のように最新の応答日時と応答内容が所定回分（プログラム番号００１２３は２回分）格納されるものと、プログラム番号００１２４のように最新の応答内容のみが１
回分格納される（従って応答がある毎に更新される。）
ものと、最新の応答内容のみが所定回分格納されるものと、最新の日時と応答内容が一回分格納されるものと、
最新の日時だけが１回分または所定回分格納されるもの等がある。 図６（Ａ）中に表示された記号Ａ、Ｂ、Ｃは応答内容を表すもので、同図（Ｂ）に示すように、記号Ａが無視された場合、記号Ｂが拒絶された場合、記号Ｃ
が受容された場合を表す。 運転者の応答内容については、マイク２６から入力される運転者の音声に対する音声認識の結果や、入力装置２２による入力結果から判断される。 なお、本実施形態では運転者の応答を無視、拒絶、受容の３パターに分類しているが、「強く拒絶」、
「怒られた」、「喜ばれてた」を新たに加えるようにしてもよい。 この場合、新たに加えた応答により、学習項目データ２９２（例えば、お休み回数等）や応答データ２９３のを追加変更する。

【００３９】図１に示すエージェントデータ記憶装置２
９の画像データ２９４には、エージェントプログラム２
９０のコミュニケーションプログラムのプログラム番号の行動に対して、複数種類のエージェントの容姿それぞれと各背景との組合わさった画像が格納されている。 エージェントの容姿は、運転者の好みによって入力装置２
２等から選択することができるようになっており、この選択されたエージェントの容姿が、各種センサ等により取得された状況をもとに背景選択テーブル２９６により決定された背景とともに画像表示されるようになっている。 なお、このエージェントの容姿の選択は、音声と同様に、適時変更することが可能である。 画像データ２９
４に格納されるエージェントの容姿としては、人間（男性、女性）的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化（イラスト化）した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。 またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、
最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく（大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。

【００４０】画像データ２９４に格納される背景の画像としては、例えば、日の出や星空等の時間帯を表す風景、海や雪山、紅葉等の季節を表す風景、ゴルフコースや海等の目的地を表す風景、エージェントが「はい」
「いいえ」の応答を待機している時の「はい」と「いいえ」のプラカード等の持ち物、ラジオやＣＤ等で音楽を聞いているときの音符の模様や、エージェントが音声の応答を認識可能か否かの応答認識状態を色別に表す各色の枠、等が挙げられる。

【００４１】図７は、背景選択テーブル２９６を表したものであり、表示装置２７に表示されるエージェントの背景を選択するためのテーブルである。 このテーブル左側に示されるように、背景としては、エージェントのバックに表示される風景や模様の画像、エージェントが持つ持ち物の画像、及び表示装置２７の表示画面の内枠に沿って表示される枠画像がある。 これらの背景は、図７
に示すように、時間帯、季節、走行状態、作動している機器、エージェントの状態、カーナビゲーションに設定された目的地といった各種項目に基づいて決定されるようになっている。 これらの各項目は、状態センサ４０により検出される車両の走行状態等の各種状況から決定される項目と、学習項目データ２９２や応答データ２９３
に格納されている学習内容も会わせて決定される項目（「はい」と「いいえ」のプラカードを持つか「ＹＥ
Ｓ」と「ＮＯ」のプラカードを持つか、オーディオ類を作動させる場合の背景の選択等）とがある。 そして、選択条件に基づいて、１つ又は複数の背景が選択されるようになっている。 複数の背景が選択される場合には、バック、持ち物、枠それぞれのうちからは重複して選択されないようになっている。 なお、テーブル中で「○」印は、その背景が選択されるために満たす必要がある項目を示し、「無印」はその背景が選択されるためには満たしてはいけない項目を示している。

【００４２】図８（ａ）、（ｂ）、（ｃ）及び（ｄ）
は、本実施形態において、上述の背景選択テーブル２９
６により選択された背景をエージェントとともに表示装置に表示した一例を示すものである。 図８（ａ）は、エージェントが発話中や音声認識結果の判定中のために運転者の音声を認識できない状態の背景であり、背景として、音声認識不可能を示す赤色の枠Ｒが表示されている。 尚、本表示（ａ）においてはエージェントが座って表示されているが、これは、車両が停車中であることをエージェントの姿勢で表現するものである。 図８（ｂ）
は、運転者からの応答として、肯定又は否定のワードを待機している状態であり、背景として肯定及び否定のワードのみが認識可能であることを示す黄色の枠Ｙが表示されている。 また、エージェントの持ち物（背景）には、音声認識可能な応答のうちの推奨ワードとして、
「はい」及び「いいえ」のプラカードが表示されている。 尚、本表示（ｂ）〜（ｄ）においてはエージェントが立って表示されているが、これは、車両が走行中であることをエージェントの姿勢で表現するものである。 図８（ｃ）は、ナビゲーションシステムにおいて目的地の都道府県の音声入力に対して待機している状態の画面であり、背景として音声認識可能状態を表す緑色の枠Ｇが表示されている。 また、エージェントの持ち物（背景）
には、音声認識可能な応答のうちの推奨ワードとして、
「都道府県」のプラカードが表示されている。 図８
（ｄ）は、特に限定せずに「ＣＤをかけて」や「窓を開けて」等の通常のコミュニエーションの音声を認識できる状態を表す緑色の枠Ｇが表示されている。

【００４３】応答認識データ２９８は、前述の学習項目データ２９２や応答データ２９３と同様に、運転者からの応答によってエージェントが学習した結果のデータであり、各運転者毎にそのデータが格納・更新（学習）される。

【００４４】図９は、応答認識データを表したものである。 この図９に示されるように、応答認識データ２９８
には、応答認識結果と、この応答認識結果から求められた応答認識率、及び、肯定のワードのグループ及び否定のワードのグループそれぞれにおける最高応答認識率ワードが、運転者別に格納される。 応答認識結果は、「はい」と「いいえ」、「ＹＥＳ」と「ＮＯ」、「はい」と「ＮＯ」、「うん」と「やだよ」等の、背景として肯定及び否定のワードをプラカードで表示した場合に、運転者からのワードによる応答を正しく認識できたかどうかのデータである。 応答が正しく認識できたかどうかは、
取得した応答を認識した結果に基づいてエージェントが制御等を行った場合の運転者の反応から、認識結果が正しいか否かを判断し、各応答「はい」、「いいえ」、
「ＹＥＳ」、「ＮＯ」、…について１０回ずつ格納する。

【００４５】応答認識率は、上述の各前記応答認識結果から求められた応答認識率が次の数式１によって求められ、格納される。

【００４６】

【数１】応答認識率＝（応答が正しく認識された回数／
応答取得回数）×１００

【００４７】最高認識率ワードは、「はい」や「ＹＥ
Ｓ」等の肯定のワードのグループ、及び、「いいえ」や「ＮＯ」等の否定のワードのグループそれぞれにおいて最も認識率の大きいワードを格納する。 そして、肯定と否定の２つのプラカードを持った背景を表示させる場合に、背景選択テーブルにおいてこれらの最高認識率ワードが選択されるようになっている。

【００４８】図１０は、ナビゲーションデータ記憶装置３０（図１）に格納されるデータファイルの内容を表したものである。 図１０に示されるように、ナビゲーションデータ記憶装置３０には経路案内等で使用される各種データファイルとして、通信地域データファイル３０
１、描画地図データファイル３０２、交差点データファイル３０３、ノードデータファイル３０４、道路データファイル３０５、探索データファイル３０６、写真データファイル３０７が格納されるようになっている。 このナビゲーションデータ記憶装置４は、例えば、フロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード、光カード等の各種記録媒体と、その駆動装置が使用される。 なお、ナビゲーションデータ記憶装置４は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。 例えば、検索データファイル４６を読み書き可能な記録媒体（例えば、フラッシュメモリ等）で、その他のファイルをＣＤ−ＲＯ
Ｍで構成し、駆動装置としてそれらの駆動装置を用いるようにする。

【００４９】通信地域データファイル３０１には、通信制御装置２４に接続され又は無接続で車内において使用される携帯電話が、車内から通信できる地域を表示装置５に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。 この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。 なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある２点の座標データによりデータ化するようにしてもよい。 通信地域データファイル３０
１に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置２４を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル３０１の内容を最新のデータと更新できるように構成されている。 なお、通信地域データファイル３
０１をフロッピーディスク、ＩＣカード等で構成し、最新のデータと書換えを行うようにしても良い。 描画地図データファイル３０２には、表示装置２７に描画される描画地図データが格納されている。 この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。 各階層の地図データは、それぞれ地図コードが付されている。

【００５０】交差点データファイル３０３には、各交差点を特定する交差点番号、交差点名、交差点の座標（緯度と経度）、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。 ノードデータファイル３０４には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。 すなわち、
このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、道路は、複数のノード列のそれぞれの間をアークで接続することによって表現される。 道路データファイル３０５には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。 交差点データファイル３０
３、ノードデータファイル３０４、道路データファイル３０５にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。

【００５１】探索データファイル３０６には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。 交差点列データは、
交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がり角、距離等の情報からなる。 また、
ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。 写真データファイル３０７には、
各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、
またはネガフィルムの形式で格納されている。

【００５２】図１１は、状況センサ部４０を構成する各種センサを表したものである。 図１１に示すように状況センサ部４０は、イグニッションセンサ４０１、車速センサ４０２、アクセルセンサ４０３、ブレーキセンサ４
０４、サイドブレーキ検出センサ４０５、シフト位置検出センサ４０６、ウィンカー検出センサ４０７、ワイパー検出センサ４０８、ライト検出センサ４０９、シートベルト検出センサ４１０、ドア開閉検出センサ４１１、
同乗者検出センサ４１２、室内温度検出センサ４１３、
室外温度検出センサ４１４、燃料検出センサ４１５、水温検出センサ４１６、ＡＢＳ検出センサ４１７、エアコンセンサ４１８、体重センサ４１９、前車間距離センサ４２０、後車間距離センサ４２１、体温センサ４２２、
心拍数センサ４２３、発汗センサ４２４、脳波センサ４
２５、アイトレーサー４２６、赤外線センサ４２７、その他のセンサ（タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等）４２８等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。 これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。 なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。 例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。

【００５３】イグニッションセンサ４０１は、イグニッションのＯＮとＯＦＦを検出する。 車速センサ４０２
は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。 アクセルセンサ４０３は、アクセルペダルの踏み込み量を検出する。 ブレーキセンサ４０４は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。 サイドブレーキ検出センサ４０５は、サイドブレーキがかけられているか否かを検出する。 シフト位置検出センサ４０６は、シフトレバー位置を検出する。 ウィンカー検出センサ４０
７は、ウィンカの点滅させている方向を検出する。 ワイパー検出センサ４０８は、ワイパーの駆動状態（速度等）を検出する。 ライト検出センサ４０９は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。 シートベルト検出センサ４１０は、運転者、及び同乗者（補助席、後部座席）
がシートベルトを着用しているか否かを検出する。 着用していない場合には適宜（嫌われない程度に）エージェントが現れ、警告、注意、コメント等（学習により程度を変更する）を行う。

【００５４】ドア開閉検出センサ４１１は、ドアの開閉状態を検出し、いわゆる半ドアの場合には、エージェントがその旨を知らせる。 ドア開閉検出センサ４１１は、
運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア等の、車種に応じた各ドア毎の開閉を検出できるようになっている。 同乗者検出センサ４１２は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置２８で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。 室内温度検出センサ４１３は室内の気温を検出し、室外温度検出センサ４１４は車両外の気温を検出する。 燃料検出センサ４１５は、ガソリン、軽油等の燃料の残量を検出する。 給油時直前における過去５回分の検出値が学習項目データ２９２に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。

【００５５】水温検出センサ４１６は、冷却水の温度を検出する。 イグニッションＯＮ直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。 逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。 ＡＢＳ検出センサ４１７は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するＡＢＳが作動したか否かを検出する。 エアコンセンサ４１８は、エアコンの操作状態を検出する。
例えば、エアコンのＯＮ・ＯＦＦ、設定温度、風量等が検出される。 体重センサ４１９は、運転者の体重を検出するセンサである。 この体重から、または、体重と撮像装置２８の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。 すなわち、特定した運転者に対してエージェントが学習した、学習項目データ２９２と応答データ２９３を使用することで、その運転者専用のエージェントを出現させるようにする。 前車間距離センサ４２０は車両前方の他車両や障害物との距離を検出し、後車間距離センサ４２１
は後方の他車両や障害物との距離を検出する。

【００５６】体温センサ４２２は、心拍数センサ４２
３、発汗センサ４２４は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。
または、体温センサ４２２として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。 脳波センサ４２５は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。 アイトレーサー４２６は、ユーザの視線の動きを検出し、通常運転中、
車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。 赤外線センサ４２７は、ユーザの手の動きや顔の動きを検出する。

【００５７】次に、以上のように構成された本実施形態の動作について説明する。 図１２は本実施形態のエージェントによる処理のメイン動作を表したフローチャートである。 エージェント処理部１１は、イグニッションがＯＮされたことがイグニッションセンサ４０１で検出されると、まず最初に初期設定を行う（ステップ１１）。
初期設定としては、ＲＡＭのクリア、各処理用のワークエリアをＲＡＭに設定、プログラム選択テーブル２９１
（図２）のＲＡＭへのロード、フラグの０設定、等の処理が行われる。 なお、本実施形態のエージェント処理では、その処理の開始をイグニッションＯＮとしたが、例えばドア開閉検出センサ４１１によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。

【００５８】次に、エージェント処理部１１は、運転者の特定を行う（ステップ１２）。 すなわち、エージェント処理部１１は、運転者から先に挨拶がかけられたときにはその声を分析して運転者を特定したり、撮像した画像を分析することで運転者を特定したり、体重センサ４
１９で検出した体重から運転者を特定したり、設定されたシート位置やルームミラーの角度から運転者を特定したりする。 なお、特定した運転者については、後述のエージェントの処理とは別個に、「○○さんですか？」等の問い合わせをする特別のコミュニケーションプログラムが起動され、運転者の確認が行われる。

【００５９】運転者が特定されると、次にエージェント処理部１１は、現在の状況を把握する（ステップ１
３）。 すなわち、エージェント処理部１１は、状況情報処理部１５に状況センサ部４０の各センサから供給される検出値や、撮像装置２８で撮像した画像の処理結果や、現在位置検出装置２１で検出した車両の現在位置等のデータを取得して、ＲＡＭの所定エリアに格納し、格納したデータから車両の状態等の現在の状況の把握する。 例えば、水温検出センサ４１６で検出された冷却水の温度がｔ１である場合、エージェント処理部１１は、
この温度ｔ１をＲＡＭに格納すると共に、ｔ１が所定の閾値ｔ２以下であれば、車両の現在の状態として冷却水温（図２参照）は低い状態であると把握する。 現在の状況としては、他にマイク２６からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ。」
や「ＣＤをかけてくれ。」等の要求も現在の状況として把握される。 この場合、認識した音声に含まれるワード「ＣＤ」「かけて」等がプログラム選択テーブル２９１
（図２）の選択条件（横軸項目）になる。 さらにエージェント処理部１１は、現在状況の把握として、エージェントデータ記憶装置２９の学習項目データ２９２と応答データ２９３をチェックすることで、エージェントがこれまでに学習してきた状態（学習データ）を把握する。

【００６０】エージェント処理部１１は、現在の状況を把握すると、図１１により後で詳述するように、把握した状況に応じたエージェントの処理を行う（ステップ１
４）。 ここでのエージェントの処理としては、エージェントによる判断、行為（行動＋発声）、制御、学習、検査等の各種処理が含まれるが、把握した現在の状況によっては何も動作しない場合も含まれる。

【００６１】次に、エージェント処理部１１は、メイン動作の処理を終了するか否かを判断し（ステップ１
５）、終了でない場合には（ステップ１５；Ｎ）、ステップ１３に戻って処理を繰り返す。 一方を終了する場合、すなわち、イグニッションがＯＦＦされたことがイグニッションセンサ４０１で検出され（ステップ１
３）、室内灯の消灯等の終了処理（ステップ１４）が完了した後（ステップ１５；Ｙ）、メイン処理の動作を終了する。

【００６２】図１３は、把握した状況に応じたエージェントの処理動作を表したフローチャートである。 エージェント処理部１１は、把握済みの現在の状況（起動回数、現在の天気、時間等）から、図２に示したプログラム選択テーブル２９１に基づいて、現在の状態で起動可能なコミュニケーションプログラム（の番号）があるか否かを判断し（ステップ２１）、該当プログラムが無ければ（ステップ２１；Ｎ）、メインルーチンにリターンする。 一方、起動可能なコミュニケーションプログラムがある場合（ステップ２１；Ｙ）、そのプログラム番号を決定する。 そして、決定したプログラム番号に対する運転者の応答履歴を応答データ２９３から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する（ステップ２
２）。

【００６３】お休み状態ではない場合（ステップ２２；
Ｎ）、エージェント処理部１１は、起動するコミュニケーションプログラムが、車両や車両に搭載された各種機器等の制御を行う制御プログラムかどうか確認し（ステップ２３）、制御プログラムの場合（ステップ２３；
Ｙ）はそのままこのコミュニケーションプログラムを起動し、プログラムに従った制御を行う（ステップ２
９）。

【００６４】コミュニケーションプログラムが制御プログラムでない場合（ステップ２３；Ｎ）には、把握済みの現在の状況（現在の時間、季節、作動機器、エージェントの音声認識状況、カーナビゲーションシステムにおける目的地、等）及び、エージェントデータ記憶装置２
９の応答認識データ２９８から、背景選択テーブル２９
６に従って、エージェントの背景を決定する（ステップ２４）。 続いて、選択されているエージェントの容姿と決定された背景の画像のコミュニケーションプログラムを起動することで、図８（ａ）から（ｄ）に示されるような、エージェントの行為（行動と音声）に従った画像を表示装置２７に表示すると共に、音声出力装置２５から音声出力する（ステップ２５）。

【００６５】そして、このコミュニケーションプログラムが運転者からの応答を取得する応答取得プログラムでない場合（ステップ２６；Ｎ）には、メインのルーチンにリターンする。 また、このコミュニケーションプログラムが応答取得プログラムの場合（ステップ２６；Ｙ）
には、エージェント処理部１１は、コミュニケーションプログラムの起動によるエージェント行為に対する運転者の応答を、マイク２６からの入力に基づく音声認識結果や、入力装置２２からの入力結果から取得する（ステップ２７）。 そして、エージェント処理部１１は、今回のコミュニケーションプログラムに関するデータを蓄積することで、エージェントに学習をさせ（ステップ２
８）、メインルーチンにリターンする。 データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には（ステップ２２；Ｙ）、学習項目データ２９２の該当プログラム番号の回数欄をカウントアップさせる。 ただし、学習項目データ２９２のお休み回数／日時欄に格納されている回数をＫａ回とし、当該プログラム番号に対する前回までの応答データ２９３
の履歴から決まるお休み回数をＫｂ回とした場合、Ｋａ
＝Ｋｂ−１であれば、今回のお休みで規定回数休んだことになる。 そこで、学習項目データ２９２及び応答データ２９３の当該プログラム番号欄の（該当する位置に格納されている）データをクリアする。

【００６６】その他の場合（ステップ２７の後、ステップ２９の後）には、把握済みの現在状況（ステップ１
３）の中に学習項目があれば学習項目データ２９２の値を更新し、応答内容を履歴として格納すべきプログラム番号であればステップ１７で取得した応答内容を応答データ２９３（図６）に格納する。 この応答の履歴も各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。 また、ステップ２５により取得した応答が、その前に取得した肯定又は否定ワードについてのアンサーバックに関するものである場合には、この応答から肯定ワード又は否定ワードについての認識結果の正否を取得し、この認識結果についてのデータを応答認識データ２９８に格納し、応答認識率、及び、必要に応じて最高認識率ワードを書き換える。

【００６７】次に、以上説明したエージェント処理による具体的な行為として、ラジオを作動させる場合について説明する。 図１４は、イグニッションＯＮ後における具体的なエージェント処理の内容を概念的に表したものである。 この図１４（Ａ）に示すように、エージェント処理部１１は、現在の状況として、現在時刻が１７時、
現在位置検出装置２１で検出された現在位置（緯度、経度）から求めた現在位置が「東京」、等の状況がステップ１３において把握済みであるものとする。 また、学習項目データ２９２と応答データ２９３についてチェックした学習データとしては、オーディオ類動作条件として、過去５回のオーディオ作動条件のうちに１７時から１８時の間に東京においてはラジオが作動され、また東京においてはラジオを聞く場合にはＪ−ｗａｖｅが最も多く選局されているとチェック済みであるものとする。

【００６８】以上の把握状態に基づいて、エージェント処理部１１は、プログラム選択テーブル２９１から対応するコミュニケーションプログラムを選択する。 すなわち、プログラム番号００５０１のコミュニケーションプログラム（ラジオをかける提案をするプログラム）が選択されたものとする（ステップ２１；Ｙ）。 そしてこのコミュニケーションプログラムがお休み対象で無いことを確認（ステップ２２；Ｎ）する。 このコミュニケーションプログラムは制御プログラムではない（ステップ２
３；Ｎ）ので、エージェント処理部１１は、続いて、背景選択テーブル２９６から背景を決定する（ステップ２
４）。 この場合、時間帯が１５時から１８時であること、起動されるコミュニケーションプログラムが発話を伴い音声認識状態が不可能となること、等から、バックが夕焼けであり、枠が赤色である背景が決定される。 そして、当該番号のコミュニケーションプログラムを起動し（ステップ２５）、図１４（Ｂ）に示すように、選択されたエージェントと決定された背景（夕焼けのバックＢＫと赤色の枠Ｒ）を表示装置２７に画像表示し、「ラジオでもつけよっか？」との発声による問い合わせを行う。 このコミュニケーションプログラムは応答取得プログラムでない（ステップ２６；Ｎ）ことから、そのままメインのルーチンにリターンする。

【００６９】続いて、今度は、現在状況として、プログラム番号００５０１により問い合わせが行われたことが新たに把握され、エージェント処理においては、プログラム番号００×××番の、肯定または否定の応答を取得するコミュニケーションプログラムが有ると判断される（ステップ２１；Ｙ）。 そして、お休みでなく（ステップ２２；Ｎ）、制御プログラムでない（ステップ２３；
Ｎ）ことから、エージェント処理部１１は、背景選択テーブル２９６及び応答認識データ２９８の最高認識ワードから背景を決定する（ステップ２４）。 この場合、時間帯が１５時から１８時であること、起動されるコミュニケーションプログラムが肯定及び否定ワードのみ認識可能となること、最高認識ワードが「はい」と「やだよ」であること、等から、バックが夕焼けであり、持ち物が「はい」と「やだよ」のプラカードであり、枠が黄色である背景が決定される。

【００７０】そして、エージェント処理部１１は、このコミュニケーションプログラムを起動し、図１４（Ｃ）
に示すように、選択されたエージェントと決定された背景（夕焼けのバックＢＫとプラカードＰＣと黄色の枠Ｙ）を表示装置２７に画像表示し（ステップ２５）、応答取得プログラムとして（ステップ２６；Ｙ）応答を取得する（ステップ２７）。 ここでは「はい」との応答を取得したものとする。 そして、エージェントの学習として、プログラム番号００５０１番の応答データを更新し（ステップ２８）、メインのルーチンへリターンする。

【００７１】今度は、現在状況として、プログラム番号００×××によりラジオＯＮについて肯定の応答を取得したことが新たに把握され、エージェント処理においては、プログラム番号００△△△番の、ラジオをかけるコミュニケーションプログラムが有ると判断される（ステップ２１；Ｙ）。 そして、お休みでなく（ステップ２
２；Ｎ）、制御プログラムである（ステップ２３；Ｙ）
ことから、プログラムが起動され、ラジオをかける制御が行われる。 このとき、学習項目２９２データから、現在地である東京において最も多く選択された選択局が取得され、この局に自動チューニングされる。 そして、学習項目データ２９２のオーディオ類作動条件及び作動オーディオ機器が書き換えられる。 また、運転者が「違うよ」「やめて」等、ラジオをかけることについて中断する応答をしないことから、「はい」との応答認識が正しかったことを把握し、応答認識データ２９８の「はい」
の認識結果、書き換え後のデータに基づく「はい」の応答認識率の取得と書き換え、及び必要に応じて最高認識率ワードの書き換えを行い（ステップ２８）、メインのルーチンへリターンする。

【００７２】今度は、現在状況として、ラジオが作動中であることが新たに把握され、エージェント処理としては、プログラム番号００▽▽▽番の、車両状況表示のコミュニケーションプログラムが有ると判断される（ステップ２１；Ｙ）。 そして、お休みでなく（ステップ２
２；Ｎ）、制御プログラムでないことから、背景選択テーブルに基づいて背景が選択される。 この場合、時間帯が１５時から１８時であること、ラジオが作動していること、任意の発話音声が認識可能となること、等から、
バックが夕焼けであり、持ち物がラジカセであり、枠が緑色である背景が決定される。

【００７３】続いて、エージェント処理部１１は、このコミュニケーションプログラムを起動し、選択されたエージェントと決定された背景（夕焼けのバックＢＫと持ち物ラジカセと緑色の枠）を表示装置２７に画像表示する（ステップ２５）。 そして、このプログラムは応答取得プログラムでない（ステップ２６；Ｎ）ことから、そのままメインのルーチンへリターンする。

【００７４】以上説明したように本実施形態によれば、
擬人化されたエージェントの表示と音声に加えて、エージェントの背景を表示することにより、情報の視認性を低下させることなく多くの情報を含み且つバラエティに富んだ画面の表示が可能となり、多くの情報を運転者に伝達し、運転者や状況に応じた内容の濃いコミュ二ケーションを確立することができる。 本実施形態によれば、
エージェントにより伝達される情報と、背景により伝達される情報を区分することにより、より視認性を良好に情報の伝達することができる。 本実施形態によれば、背景として、エージェントのバックと、エージェントの持ち物とを表示し、且つ、これらの伝達する情報の種類を区分しているので、より視認性良好に情報を伝達することができる。

【００７５】本実施形態によれば、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、
運転者とのコミュニケーションをはかることができ、車内での運転環境を快適にすることができる。 本実施形態によれば、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から背景が決定され、情報が提供されるので、車内での運転環境を快適にすることができる。

【００７６】本実施形態によれば、認識率の高い肯定ワード及び否定ワードが学習により取得され、背景としてのプラカードにより認識率の高いワードが提示されるので、運転者がこれに従った応答を行うことにより、エージェントが正確に応答を行うことができ、運転者とエージェントとの効率的かつ良好なコミュニケーションが可能となる。 本実施形態によれば、背景としての枠によりエージェントの音声認識状態が表されるので、運転者がこれに従ったタイミングで応答を行うことにより、運転者からの応答をエージェントが認識可能となり、運転者とエージェントとの効率的且つ良好なコミュニケーションが可能となる。

【００７７】尚、本発明のエージェント装置は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更可能である。 例えば、上述の各実施形態においては、画像データ２９４として、
選択可能なエージェントの容姿それぞれと各背景との合成された画像データが格納されているが、エージェントの容姿の画像データと、背景の画像データとを別個に格納し、選択された容姿と決定された背景それぞれのデータを合成して表示装置に表示するようにしてもよい。 背景は上述のものに限られるものではなく、例えば、エージェントのバックとして風景以外に、オーディオを作動させているときに音符の模様や作動機器の絵等を表示してもよい。 また、背景として、例えば木を表示し、車速に応じて木が左方向へなびくような表示をしたり、横向きにのエージェントの足下に道を表示し、車両が登り坂に位置するときには、エージェントの前方側を高くしエージェントが上り坂を登っているように表示し、車両が下り坂に位置するときにはエージェントの前方側を低くしてエージェントが下り坂を降りているように表示してもよい。 このような道路の状況等は、計器では見落とし易く、また安全性の点から重要であり、車両におけるエージェントとともに背景として視認性良好に表示することは、大きな利点となる。

【００７８】本実施形態では、応答の認識結果に基づいた制御に対する運転者の反応から、応答の認識結果が正しいか否かを判断しているが、これに限られるものではなく、認識結果について音声によるアンサーバックを行い運転者からの回答（入力操作）により判断したり、持っているプラカードのうち認識したグループと同じものを高く上げる等の画像によるアンサーバックに対し、運転者からの回答から判断してもよい。 表示された背景に対する運転者の嗜好度をエージェントの問いかけによる応答や状況センサから取得する背景嗜好度学習手段を具備し、他の同一条件下において選択可能な複数の背景を用意し、運転者に応じて嗜好度の高い背景を選択表示させるようにしてもよい。

【００７９】

【発明の効果】請求項１に記載のエージェント装置によれば、擬人化されたエージェントとエージェントの背景とにより多くの情報が視認性良く運転者に伝えられるので、車両の状況に応じた内容の濃いコミュ二ケーションを確立することができる。

【００８０】請求項２に記載のエージェント装置によれば、現在の車両の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をするので、一層良好に運転者とのコミュニケーションをはかることができ、車内での運転環境を快適にすることができる。 請求項３に記載のエージェント装置によれば、現在の車両の状況だけでなく、過去の履歴等に基づく学習結果から背景が決定され、一層適切な情報が提供され、車内での運転環境を快適にすることができる。

【００８１】請求項４に記載のエージェント装置によれば、背景によりエージェントの状態が認識でき、運転者とエージェントとの一層適切なコミュニケーションが可能となる。

【００８２】請求項５に記載のエージェント装置によれば、背景として枠が表示されるので、枠により更に視認性良好に情報が運転者に伝えられ、内容の濃いコミュ二ケーションが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態におけるコミュニケーション機能を実現するための構成を示すブロック図である。

【図２】同上、実施形態におるプログラム選択テーブルの内容を概念的にあらわした説明図である。

【図３】同上、実施形態において、各プログラム番号に対応するエージェントの行為（行動と音声）を表した説明図である。

【図４】同上、実施形態におけるプログラム番号０００
０１〜００００２の起動により表示装置に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表した説明図である。

【図５】同上、実施形態における学習項目データの内容を概念的に表した説明図である。

【図６】同上、実施形態における応答データの内容を概念的に表した説明図である。

【図７】同上、実施形態における背景選択テーブルの内容を概念的に表した説明図である。

【図８】同上、実施形態において表示装置に表示されるエージェント及び背景の一例を示す図であり、（ａ）
は、音声認識不可能状態における表示、（ｂ）は肯定ワードと否定ワードのみの音声を認識可能な状態における表示、（ｃ）は都道府県の入力を要求している状態の表示、（ｄ）は任意の音声を認識可能な状態における表示を示す。

【図９】同上、実施形態における応答認識データの内容を概念的に表した説明図である。

【図１０】同上、実施形態におけるナビゲーションデータ記憶装置に格納されるデータファイルの内容を概念的に表した説明図である。

【図１１】同上、実施形態における状況センサ部を構成する各種センサを表した説明図である。

【図１２】同上、実施形態においてエージェントによるメイン動作を表したフローチャートである。

【図１３】同上、実施形態によるエージェント処理の動作を表したフローチャートである。

【図１４】同上、実施形態において、イグニッションＯ
Ｎ後における具体的なエージェント処理の内容を概念的に表した説明図である。

【符号の説明】

１ 全体処理部 １０ ナビゲーション処理部 １１ エージェント処理部 １２ Ｉ／Ｆ部 １３ 画像処理部 １４ 音声制御部 １５ 状況情報処理部 ２１ 現在位置検出装置 ２２ 入力装置 ２３ 記憶媒体駆動装置 ２４ 通信制御装置 ２５ 音声出力装置 ２６ マイク ２７ 表示装置 ２８ 撮像装置 ２９ エージェントデータ記憶装置 ３０ ナビゲーションデータ記憶装置 ４０ 状況センサ部

フロントページの続き (72)発明者 足立 和英 東京都千代田区外神田２丁目19番12号 株 式会社エクォス・リサーチ内 (72)発明者 向井 康二 東京都千代田区外神田２丁目19番12号 株 式会社エクォス・リサーチ内