車両用情報提示装置

本発明は、車両用情報提示装置に関する。

従来、自動運転の難易の観点から周辺状況を評価して、その結果に基づいて、運転者に対して注意喚起通知を行う技術が知られている(例えば、特許文献1)。

上記特許文献1に記載の技術では、必要な場合にだけ注意喚起通知を行うので、運転者が注意喚起通知に慣れてしまうことがない。また、注意喚起通知により、運転に対する意識を運転者に持たせることができるので、自動運転による運転者の運転負荷の軽減と、安全な走行の確保とを両立させることが可能となる。

特開2015−32054号公報

しかし、注意喚起が必要となる状況になって初めて乗員に対して注意喚起の通知がなされるため、乗員が対応できない恐れがある。

本発明は、上記事実を考慮して成されたもので、注意喚起が必要となる前から運転に対する意識を運転者に持たせることができ、自動運転から手動運転への切り替えをスムーズに行うことができることを目的とする。

上記目的を達成するために本発明は、車両の周辺情報を含む外部環境情報を取得する情報取得部と、自動運転が継続されている場合に、前記情報取得部によって取得された前記周辺情報に基づいて、自動運転の継続に対する警戒度を算出する運転制御部と、前記情報取得部によって取得された前記外部環境情報に基づいて、発話情報を生成する発話生成部と、前記発話生成部によって生成された前記発話情報を音声によって乗員に対し提示する情報提示部と、前記運転制御部によって算出された前記警戒度に応じて、前記情報提示部により提示される発話情報、前記発話情報の提示頻度、及び前記音声の少なくとも一つを変更するように前記情報提示部を制御し、かつ自動運転が継続されている場合に、前記発話情報の提示が繰り返されるように前記情報提示部を制御する制御部と、を備える。

本発明によれば、情報取得部が、車両の周辺情報を含む外部環境情報を取得する。次に、運転制御部が、自動運転が継続されている場合に、情報取得部によって取得された周辺情報に基づいて、自動運転の継続に対する警戒度を算出する。そして、発話生成部が、情報取得部によって取得された外部環境情報に基づいて、発話情報を生成する。また、情報提示部が、発話生成部によって生成された発話情報を音声によって乗員に対し提示する。そして、制御部が、運転制御部によって算出された警戒度に応じて、情報提示部により提示される発話情報、発話情報の提示頻度、及び音声の少なくとも一つを変更するように情報提示部を制御し、かつ自動運転が継続されている場合に、発話情報の提示が繰り返されるように情報提示部を制御する。

ここで、車両の周辺情報とは、車両が備える通信手段及び車両が備える各センサによって得られる車両の周辺に関する情報である。車両の周辺情報には、例えば、自車両が走行している車線の検出結果の情報、自車両の周辺の障害物の有無に関する情報、及び自車両の周辺車両に関する情報(例えば、自車両と周辺車両との間の距離、周辺車両の挙動等)等が含まれる。

また、外部環境情報は、車両の周辺情報を含み、かつ外部環境に関する環境情報も含まれる。環境情報とは、例えば、ニュース等の時事情報や、天気情報等である。外部環境情報は、車両が備える通信手段及び車両が備える各センサによって取得される。

自動運転の継続に対する警戒度とは、自動運転が終了しそうな度合いを表す。従って、自動運転の継続に対する警戒度が高いほど自動運転から手動運転へ切り替わる可能性が高く、警戒度が低いほど自動運転から手動運転へ切り替わる可能性が低い。また、発話情報とは、主として口語体の言語情報である。

このように、自動運転が継続されている間も周辺情報に関係する情報を運転者に対して繰り返し提示することにより、注意喚起が必要となる前から運転に対する意識を運転者に持たせることができ、自動運転から手動運転への切り替えをスムーズに行うことができる。

また本発明の前記発話生成部は、前記情報取得部によって取得された前記外部環境情報に、自動運転から手動運転への運転交代に関係する度合いを付与し、前記外部環境情報に基づいて、前記発話情報を生成して、前記外部環境情報に付与された前記運転交代に関係する度合いを付与し、前記制御部は、前記運転制御部によって算出された前記警戒度が高いほど、前記運転交代に関係する度合いが高い前記発話情報が多く提示されるように前記情報提示部を制御するようにしてもよい。これにより、警戒度が高いほど、運転交代に関係する度合いが高い発話情報が多く提示され、運転者は警戒度に応じた運転交代に対する意識を持つことができる。

自動運転から手動運転への運転交代に関係する度合いとは、特定の情報が自動運転から手動運転への運転交代にどの程度関係しているのかを表す指標である。例えば、自車両の周辺車両の挙動等は運転交代に関係する度合いが高く、単に流行を報じるニュースなどは運転交代に関係する度合いが低い。

また本発明の前記発話生成部は、前記情報取得部によって取得された前記外部環境情報に、前記運転交代に関係する度合いに関する分類を付与し、前記外部環境情報に基づいて、前記発話情報を生成して、前記外部環境情報の前記分類を付与し、前記制御部は、前記運転制御部によって算出された前記警戒度が高いほど、前記運転交代に関係する度合いが高い前記分類が付与された前記発話情報が多く提示されるように前記情報提示部を制御するようにしてもよい。これにより、警戒度が高いほど、運転交代に関係する度合いの分類が高い発話情報が多く提示され、運転者は警戒度に応じた運転交代に対する意識を持つことができる。

また本発明の前記制御部は、前記運転制御部によって算出された前記警戒度が高いほど、前記発話情報の提示頻度が高くなるように前記情報提示部を制御するようにしてもよい。これにより、警戒度が高いほど、発話情報が頻繁に提示されるため、運転者は警戒度に応じた運転交代に対する意識を持つことができる。

また本発明の前記制御部は、前記警戒度に応じて、前記音声の声色、及び前記音声による読み上げのテンポの少なくとも1つの変更し、変更された前記音声によって前記発話情報が提示されるように前記情報提示部を制御するようにしてもよい。これにより、音声の声色又は読み上げのテンポによって警戒度が運転者に伝わり、運転者はより自然な形で警戒度に応じた運転交代に対する意識を持つことができる。

また本発明の前記制御部は、前記発話情報を前記乗員に提示した後に、前記乗員の状態を検出し、検出された前記乗員の状態に応じて、前記警戒度を変更するようにしてもよい。これにより、運転者の状態に応じて、より適切に発話情報を提示することができる。

また、乗員の状態とは、発話情報の提示に対する乗員の応答の状態である。乗員の状態としては、ポジティブな状態又はネガティブな状態があり、例えば発話情報の提示に対して頷く場合や、心拍数が上昇する場合にはポジティブな状態である。一方、発話情報を提示しても、乗員の表情が変化しない場合や、心拍数が下がる場合にはネガティブな状態である。

以上説明したように本発明によれば、自動運転が継続されている間も周辺情報に関係する情報を運転者に対して繰り返し提示することにより、注意喚起が必要となる前から運転に対する意識を運転者に持たせることができ、自動運転から手動運転への切り替えをスムーズに行うことができる、という効果がある。

第1の実施形態に係る車両用情報提示装置の構成を示すブロック図である。

自動運転の継続に対する警戒度の算出に用いられる情報の一例を示す図である。

自動運転の継続に対する警戒度の算出に用いられる情報の一例を示す図である。

通信制御部及び外部センサによって取得される情報の一例を示す図である。

語彙記憶部に格納された複数の語彙の一例を示す図である。

自動運転の継続に対する警戒度に応じて提示される発話情報の制御の一例を示す図である。

第1の実施形態に係る車両用情報提示装置の発話制御ECUで行われる情報提示の制御の一例を示すフローチャートである。

第2の実施形態に係る車両用情報提示装置の構成を示すブロック図である。

第2の実施形態に係る車両用情報提示装置の発話制御ECUで行われる情報提示の制御の一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

<第1の実施形態> 図1は、第1の実施形態に係る車両用情報提示装置の構成を示すブロック図である。車両用情報提示装置10は、通信制御部12、外部センサ14、GPS(Global Positioning System)受信部16、内部センサ18、地図データベース20、ナビゲーションシステム22、語彙記憶部24、及び発話記憶部26を含んで構成されている。通信制御部12、外部センサ14、GPS受信部16、内部センサ18、地図データベース20、ナビゲーションシステム22、語彙記憶部24、及び発話記憶部26は、CAN(Controller Area Network)等の車載ネットワーク27に各々接続されている。また、車載ネットワーク27には、自動運転制御ECU(Electronic Control Unit)28、HMI(Human Machine Interface)30、及び発話制御ECU32の各々が更に接続されている。なお、発話制御ECU32は、発話生成部及び制御部の一例である。また、自動運転制御ECUは、運転制御部の一例である。また、語彙記憶部24は記憶部の一例である。

通信制御部12は、車両と該車両の外部との間での通信により、車両の環境情報を取得する。具体的には、通信制御部12は、情報センターとの間でネットワークを介して通信処理を行い、車両の環境情報を取得する。例えば、通信制御部12は、車両が走行中の道路の交通情報、及び車両の走行環境の情報が統合化された地図情報であるダイナミックマップの情報等を環境情報として取得する。また、通信制御部12は、例えば、車両が位置する地区の天気、及びエンターテイメントニュース等を、環境情報として取得する。環境情報は、後述する発話制御ECU32による発話情報の生成に用いられる。

なお、通信制御部12は、道路側に設けられたインフラ(例えば、光ビーコン等)と通信を行い、交通情報等の環境情報を受信してもよい。通信制御部12は、情報取得部の一例である。

外部センサ14は、車両の周辺情報を検出する。外部センサ14は、カメラ、レーダー(Radar)、及びライダー(LIDER:Laser Imaging Detection and Ranging)のうち少なくとも一つを含む。カメラは、例えば、車両のフロントガラス上部の室内側に設けられ、車両の周辺を撮影することにより撮像情報を取得する。レーダーは、電波(例えばミリ波)を車両の周囲に送信し、障害物で反射された電波を受信することで障害物を検出する。ライダーは、光を車両の周囲に送信し、障害物で反射された光を受信することで反射点までの距離を計測し、障害物を検出する。また、外部センサ14は、自車両の後方に位置する車両、前方車両が何台存在するか、又は前方道路の凹凸などを検出してもよい。なお、カメラ、ライダー及びレーダーは、必ずしも重複して備える必要はない。外部センサ14によって検出された周辺情報についても、後述する発話制御ECU32による発話情報の生成に用いられる。外部センサ14は、情報取得部の一例である。

GPS受信部16は、3個以上のGPS衛星から信号を受信することにより、車両の位置情報(例えば車両の緯度及び経度)を測位する。なお、GPS受信部16に代えて、車両の緯度及び経度が特定できる他の手段を用いてもよい。

内部センサ18は、車両の走行時の各種物理量を検出することにより、車両の走行状態を検出する。内部センサ18は、例えば、車速センサ、加速度センサ、及びヨーレートセンサのうち少なくとも一つを含む。車速センサは、例えば、車輪の回転速度を検出することで車速を検出する。加速度センサは、車両の加減速や、旋回、衝突等によって発生する加速度を検出する。ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート(回転角速度)を検出する。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。

地図データベース20は、地図情報を備えたデータベースである。地図データベース20は、例えば、車両に搭載されたHDD(Hard disk drive)内に記憶される。地図情報には、例えば、道路の位置情報、道路形状の情報(例えばカーブ、直線部の種別、カーブの曲率等)、交差点及び分岐点の位置情報が含まれる。なお、地図データベース20は、車両と通信可能な情報センター等の施設のコンピュータに記憶してもよい。

ナビゲーションシステム22は、車両の乗員としての運転者によって設定された目的地まで、車両の運転者に対して案内を行う。ナビゲーションシステム22は、GPS受信部16によって測位された車両の位置情報と地図データベース20の地図情報とに基づいて、車両の走行するルートを算出する。ナビゲーションシステム22は、例えば、車両の位置から目的地に至るまでの目標ルートを演算し、ディスプレイへの表示及びスピーカの音声出力により目標ルートを運転者に報知する。なお、ナビゲーションシステム22の機能は、車両と通信可能な情報処理センター等の施設のコンピュータに格納してもよい。

自動運転制御ECU28は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を含むマイクロコンピュータで構成されている。また、自動運転制御ECU28には、アクチュエータ36、補助機器37、制動灯38、及びHMI30が接続されている。

自動運転制御ECU28は、ROMに予め記憶されたプログラムをRAMに展開してCPUが実行することで、アクチュエータ36、補助機器37、制動灯38、及びHMI30等の動作を制御して自動運転を行う。なお、自動運転制御ECU28は、複数の電子制御ユニットから構成されていてもよい。

アクチュエータ36は、車両の自動運転制御を行う場合の制御対象であり、自動運転制御ECU28がアクチュエータ36の動作を制御することにより車両の走行制御を行う。具体的には、アクチュエータ36は、スロットルアクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。ブレーキアクチュエータは、自動運転制御ECU28の指示に応じてブレーキシステムを制御し、車両の車輪へ付与する制動力を制御すると共に、制動灯38の点灯を制御する。補助機器37は、通常、車両の運転者によって操作され得る機器である。補助機器37は、アクチュエータ36に含まれない機器を総称したものである。ここでの補助機器37は、例えば、方向指示灯や、前照灯、ワイパー等を含む。

自動運転制御ECU28は、車両位置認識部40、外部状況認識部42、走行状態認識部44、走行計画生成部46、走行制御部48、補助機器制御部50、及び警戒度算出部52を含んで構成されている。自動運転制御ECU28は、上記各部により車両の周辺情報と地図情報とに基づいて予め設定された目標ルートに沿った走行計画を生成し、生成した走行計画に従って車両が自立走行するよう運転を制御する。

車両位置認識部40は、GPS受信部16で受信した車両の位置情報、及び地図データベース20の地図情報に基づいて、地図上における車両の位置(以下、「車両位置」という)を認識する。なお、車両位置認識部40は、ナビゲーションシステム22で用いられる車両位置を該ナビゲーションシステム22から取得して認識してもよい。車両位置認識部40は、道路等の外部に設置されたセンサで車両位置が測定され得る場合、このセンサから通信によって車両位置を取得してもよい。

外部状況認識部42は、通信制御部12が取得した環境情報や外部センサ14によって検出された周辺情報(例えば、カメラの撮像情報や、レーダーの障害物情報、ライダーの障害物情報等)に基づいて、車両の外部状況を認識する。外部状況は、例えば、車両に対する走行車線の白線の位置や、車線中心の位置、道路幅、道路形状、車両の周辺の障害物の状況等を含む。なお、道路形状としては、例えば、走行車線の曲率、外部センサ14の見通し推定に有効な路面の勾配変化、うねり等がある。また、車両の周辺の障害物の状況としては、例えば、固定障害物と移動障害物を区別する情報、車両に対する障害物の位置、車両に対する障害物の移動方向、車両に対する障害物の相対速度等がある。

走行状態認識部44は、内部センサ18の検出結果(例えば、車速センサの車速情報、加速度センサの加速度情報、ヨーレートセンサのヨーレート情報等)に基づいて、車両の走行状態を認識する。車両の走行状態には、例えば、車速、加速度、ヨーレートが含まれる。

走行計画生成部46は、例えば、ナビゲーションシステム22で演算された目標ルート、車両位置認識部40で認識された車両位置、及び、外部状況認識部42で認識された車両の外部状況(車両位置、方位を含む)に基づいて、車両の進路を生成する。生成する進路としては、目標ルートにおいて車両が進む軌跡を生成する。

走行制御部48は、走行計画生成部46で生成した走行計画に基づいて車両の走行を自動で制御する。走行制御部48は、走行計画に応じた制御信号をアクチュエータ36に出力する。これにより、走行制御部48は、走行計画に沿って車両が自立走行するように、車両の運転を制御する。また、自立走行するために、走行制御部48は、車両の走行を制御する際に、車両位置認識部40、外部状況認識部42、及び走行状態認識部44の各認識結果を監視しながら走行計画に従って車両の走行を制御する。

補助機器制御部50は、走行計画生成部46で生成した走行計画にHMI30から出力される信号を統合して補助機器37を制御する。

警戒度算出部52は、自動運転が継続されている場合に、外部センサ14によって検出された車両の周辺情報に基づいて、自動運転の継続に対する警戒度を算出する。警戒度算出部52は、更に、GPS受信部16によって取得された車両の位置情報、及び内部センサ18によって検出された車両の走行状態に基づいて、警戒度を算出してもよい。また、警戒度算出部52は、車両位置認識部40、外部状況認識部42、走行状態認識部44、及び走行制御部48から得られる各情報に基づいて、警戒度を算出してもよい。

図2及び図3に、警戒度を算出する際に用いられる具体的な情報の種類の例と、警戒度が高くなる場合の例を示す。図2に示されるように、警戒度は、例えば、車両の位置情報、車両の走行状態、及び車両の周辺情報に基づき算出される。

例えば、警戒度算出部52は、車両の位置情報を用いる場合、GPS受信部16で受信した車両の位置情報の精度に基づき、天頂衛星が補足されていない場合や、捕捉されている衛星の数が少ない場合に、自動運転の継続に対する警戒度が高くなるように算出する。

また、警戒度算出部52は、車両の走行状態を用いる場合、内部センサ18によって検出された速度又は加速度に基づき、速度又は加速度が大きい場合に、自動運転の継続に対する警戒度が高くなるように算出する。

また、警戒度算出部52は、車両の周辺情報を用いる場合には、外部センサ14の一例であるカメラによって取得された撮像情報に基づき車線が検出されたか否かに応じて、自動運転の継続に対する警戒度を算出する。例えば、警戒度算出部52は、車線が検出されていない場合には、自動運転の継続に対する警戒度が高くなるように算出する。

その他、警戒度算出部52は、図2及び図3に示すような、その他の情報に基づき、自動運転の継続に対する警戒度を算出する。

HMI30は、乗員への車両の状態等の各種情報の報知と、乗員からの情報の入力とを行う。HMI30は、例えば、方向指示灯、前照灯、ワイパー等を操作するためのスイッチ、自動運転に関する切り替えスイッチ、各種情報を表示するディスプレイ、操作入力を行うための操作部、及び各種情報を報知するための発光デバイスやスピーカ等を含む。なお、自動運転に関する切り替えスイッチは、自動運転と手動運転との切り替えの指示や、自動運転から手動運転への切り替えの終了の指示等が可能とされている。

発話制御ECU32は、通信制御部12及び外部センサ14によって取得された外部環境情報に基づいて発話情報を生成する。そして、発話制御ECU32は、警戒度算出部52によって算出された警戒度に応じて、発話機器34により運転者に対して提示される発話情報、発話情報の提示頻度、及び発話情報の音声を変更するように発話機器34を制御する。

自動運転を継続している場合、自動運転の継続が難しくなると運転者によって運転が行われることになる。この場合、自動運転から手動運転へ切り替わるときには、運転者に対して注意喚起が提示され、その後、例えば「○○の為自動運転が終了します。運転を交代してください。」という情報が音声によって運転者に対して提示される。

ここで、自動運転から手動運転へ切り替わるときのみに運転者に対して注意喚起が提示されると、頻繁に注意喚起が提示されることはないため、運転者が注意喚起に慣れてしまうということは無いと考えられる。しかし、自動運転から手動運転への切り替えが必要になったときに初めて注意喚起が提示された場合、運転者が困惑してしまう恐れがある。

例えば、自動運転が順調に継続されている間は、運転者への注意喚起が極端に少なくなる。そして、運転者への注意喚起が極端に少ない状態が長時間続いた後に、周辺状況によって自動運転が継続困難になった場合、そのときに初めて運転者に対して注意喚起が提示される。そして、注意喚起が提示された後、単純に「○○の為自動運転が終了します。運転を交代してください。」という情報の提示だけでは、運転操作の指示を受け取る運転者は困惑してしまう。

自動運転から手動運転への切り替えが必要になったときに初めて注意喚起が提示され、運転交代を要請された運転者は、運転交代の理由が提示され理解できたとしても、どういった心構えで運転を交代するのかが分からないと考えられる。この場合、運転交代の最低限の理由に関する注意喚起が運転者に提示されてから、運転を交代するまでの間、または運転が交代された後に、運転者が周辺状況を把握して対応していくことになる。

例えば、手動運転であれば、運転者は車両の周辺状況の遷移を認識しているため、何らかの注意喚起が提示されても、理由さえ提示すれば円滑に対応することができる。このため、運転者が運転交代の心構えを持つには、自動運転から手動運転への切り替えが必要となる前から周辺状況の遷移を認識している事が重要であると考えられる。したがって、運転者が運転を交代する心構えを持つのには、(1)自動運転が継続できない理由又は自動運転が継続できないと予測された理由と、(2)自動運転が開始されてからの周辺状況の時系列的な変化との2つの要素が必要であると考えられる。

上記(2)は、現時点から少し先の状況を予測する為に必要であり、文脈と捉えることもできる。しかし、自動運転から手動運転への切り替えが必要な状況になってはじめて注意喚起が提示される場合、周辺状況の変化を、こと細かく説明する様な長い文章で運転者に提示するのは現実的でない。

そこで、本実施形態では、自動運転が継続されている場合に、発話制御ECU32が車両の周辺情報及び環境情報に基づいて発話情報を生成し、警戒度算出部52によって算出された警戒度に応じて、生成された発話情報を運転者に対して音声によって提示する。自動運転が継続されている間は、発話制御ECU32によって発話情報の生成と、運転者に対する発話情報の提示とが繰り返される。

これにより、自動運転が継続している場合、平常時(順調な自動運転の継続時)から周辺状況を発話情報として運転者に対して提示することにより、注意喚起が必要になる前から、運転に対する意識を運転者に持たせることができ、自動運転から手動運転への運転交代が必要になった場合に、それまでの文脈から運転者が運転交代の心構えをもつことができ、スムーズな運転交代を行うことができる。また、車両側からの運転交代の要請よりも前に、周辺状況の遷移から運転者自らが判断し、運転交代を意思決定する選択ができる。

以下、発話制御ECU32の具体的な処理について説明する。発話制御ECU32は、発話生成部54、及び制御部56を備えている。

発話生成部54は、通信制御部12及び外部センサ14によって取得された周辺情報及び環境情報に基づいて、発話情報を生成する。周辺情報及び環境情報は、外部環境情報の一例である。

具体的には、まず、発話生成部54は、通信制御部12及び外部センサ14によって取得された周辺情報及び環境情報を、予め定められた情報の種類に分けると共に、運転交代に関係する度合いに応じて分類する。

図4に、発話生成部54によって分類された周辺情報及び環境情報の一例を示す。図4に示すように、例えば、情報の種類として、天気に関連する情報、ニュースに関連する情報、及び道路に関連する情報が存在する場合を例に説明する。図4に示すように、通信制御部12及び外部センサ14によって取得された周辺情報及び環境情報は、天気に関連する情報、ニュースに関連する情報、及び道路に関連する情報の何れかに分けられる。

例えば、発話生成部54は、通信制御部12によって情報センターからA地区の降水確率が取得された場合、天気に関連する情報に分けられ、更に、降水確率の値に応じて、運転交代に関係する度合いの分類の何れかに分けられる。なお、A地区は、例えば車両が走行中の地区であるとする。図4に示す例では、降水確率の値が低いほど、運転交代に関係する度合いが低い分類に分けられ、降水確率の値が高いほど、運転交代に関係する度合いが高い分類に分けられる。

また、発話生成部54は、通信制御部12によって情報センターからニュース情報が取得された場合、ニュースに関連する情報に分けられ、ニュースの内容に応じて、運転交代に関係する度合いの分類の何れかに分けられる。図4に示す例では、「「B」が大流行」と「A地区では衝突事故が多発」とのニュース情報が取得された場合、発話生成部54は、自然言語処理によってニュース内の単語情報を取得する。そして、発話生成部54は、例えば単語情報に「衝突事故」等が含まれている場合には、運転交代に関係する度合いが高い分類に分けられる。一方、発話生成部54は、例えば単語情報に「大流行」等が含まれている場合には、運転交代に関係する度合いが低い分類に分けられる。運転交代に関係する度合いの分類と単語情報とは予め対応付けられている。

また、発話生成部54は、外部センサ14によって道路に関連する周辺情報が取得された場合、道路に関連する情報に分けられ、更に周辺情報の内容に応じて、運転交代に関係する度合いの分類の何れかに分けられる。例えば、発話生成部54は、図4に示されるように、外部センサ14によって周辺車両の情報が周辺情報として検出され、前方車両が存在しないことが検出された場合には、運転交代に関係する度合いが低い分類に分けられる。また、発話生成部54は、前方車両が存在し車間距離がX[m]であることが検出された場合には、運転交代に関係する度合いが中程度の分類に分けられる。また、発話生成部54は、前方車両が存在しかつ当該前方車両がふらつきの度合いがYであることが検出された場合には、運転交代に関係する度合いが高い分類に分けられる。

次に、発話生成部54は、語彙記憶部24に記憶された複数の語彙情報から、情報の種類及び運転交代に関係する度合いの分類の組み合わせが、取得した周辺情報又は環境情報と同一である語彙情報を選択して、発話情報とする。また、発話生成部54は、情報の種類及び運転交代に関係する度合いの分類の組み合わせが、取得した周辺情報又は環境情報と同一である語彙情報と、当該周辺情報又は環境情報とを合成して、発話情報を生成する。選択した語彙情報をそのまま発話情報とするか、あるいは、周辺情報又は環境情報と合成して発話情報を生成するかについては、語彙情報に応じて予め定められている。

語彙記憶部24には、乗員に対して提示するための複数の語彙情報が予め格納されている。複数の語彙情報は、運転交代に関係する度合いの分類に対応付けられて語彙記憶部24に格納されている。図4に、語彙記憶部24に格納されるデータの一例を示す。図5に示す例では、運転交代に関係する度合いが、「低」、「中」、「高」の3つに分類されている。また、複数の語彙情報は情報の種類に応じて予め分けられており、図5に示す例では、天気に関連する語彙情報、ニュースに関連する語彙情報、道路に関連する語彙情報、及び感嘆詞の語彙情報が示されている。

例えば、発話生成部54は、通信制御部12によって取得された環境情報が天気に関連し、かつ運転交代に関係する度合いの分類が「中」である「A地区の降水確率60%」の場合、図5に示す天気に関する発話情報であり、かつ運転交代に関係する度合いの分類が「中」である「雨がふりそうです」の語彙情報を選択する。

また、発話生成部54は、通信制御部12によって取得された環境情報がニュースに関連し、かつ運転交代に関係する度合いの分類が「低」である「「B」が大流行」の場合、図5に示すニュースに関する発話情報であり、かつ運転交代に関係する度合いの分類が「低」である「○○が流行のようですね」の語彙情報を選択する。そして、発話生成部54は、環境情報「「B」が大流行」の「B」を、選択された語彙情報「○○が流行のようですね」の「○○」へ入力する。そして、発話生成部54は、「Bが流行のようですね」を発話情報として生成する。

また、発話生成部54は、外部センサ14によって取得された周辺情報が道路に関連し、かつ運転交代に関係する度合いの分類が「高」である「車間距離X[m]の車両のふらつき度合いY」の場合、図5に示す道路に関する語彙情報であり、かつ運転交代に関係する度合いの分類が「高」である「危険な車が近くにいます」の語彙情報を選択する。

また、発話生成部54は、通信制御部12又は外部センサ14によって取得された環境情報又は周辺情報の運転交代に関係する度合いの分類に応じて、感嘆詞の語彙情報を選択する。例えば、外部センサ14によって取得された周辺情報において、他の車線から車両が割り込んできたことが検出された場合には、運転交代に関係する度合いの分類が「高」である語彙情報「あっ」を選択する。

そして、発話生成部54は、生成した発話情報を、通信制御部12又は外部センサ14によって取得された環境情報又は周辺情報と同じ運転交代に関係する度合いの分類と対応付けて発話記憶部26に格納する。

発話記憶部26には、発話生成部54によって生成された発話情報が、運転交代に関係する度合いの分類と対応付けられて格納される。環境情報及び周辺情報は時々刻々と検出されるため、環境情報及び周辺情報に応じて生成された発話情報は、予め定められた時間単位で記憶される。

制御部56は、自動運転制御ECU28の警戒度算出部52によって算出された警戒度に応じて、発話機器34により提示される発話情報の分類、発話情報の提示頻度、及び音声を変更するように発話機器34を制御する。

具体的には、制御部56は、自動運転制御ECU28の警戒度算出部52によって算出された警戒度が高いほど、運転交代に関係する度合いの分類が高い発話情報が多くなるように、発話記憶部26から発話情報の各々を取得する。また、制御部56は、自動運転制御ECU28の警戒度算出部52によって算出された警戒度が低いほど、運転交代に関係する度合いの分類が低い発話情報が多くなるように、発話記憶部26から発話情報の各々を取得する。

また、制御部56は、自動運転制御ECU28の警戒度算出部52によって算出された警戒度が高いほど、発話情報の提示頻度が高くなるように、発話情報の提示頻度を設定する。また制御部56は、自動運転制御ECU28の警戒度算出部52によって算出された警戒度が低いほど、発話情報の提示頻度が低くなるように、発話情報の提示頻度を設定する。

図6に、警戒度に応じた、発話情報の提示頻度及び発話情報の分類の構成比率の一例を示す。図6に示すように、制御部56は、警戒度に応じて特定の周期で発話情報を提示するように発話機器34を制御する。また、制御部56は、図6に示すように、警戒度に応じて、運転交代に関係する度合いの分類が異なる複数の発話情報を組み合わせ、組み合わされた発話情報を順次提示するように発話機器34を制御する。例えば、警戒度が3である場合、制御部56は、運転交代に関係する度合いの分類が「高」である発話情報を70%の割合、「中」である発話情報を20%の割合、「低」である発話情報を10%の割合で発話記憶部26から取得する。そして、制御部56は、取得した発話情報の組み合わせを運転者に対して順次提示するように発話機器34を制御する。

また、制御部56は、警戒度に応じて音声を変更するように発話機器34を制御してもよい。例えば、制御部56は、警戒度に応じて、音声の声色、及び音声による読み上げのテンポの少なくとも1つの変更し、変更された音声によって発話情報が提示されるように発話機器34を制御するようにしてもよい。例えば、制御部56は、警戒度が高いほど音声の声色が低くなるように制御し、警戒度が低いほど音声の声色が高くなるように制御してもよい。また、制御部56は、警戒度が高いほど音声による読み上げのテンポを速くし、警戒度が低いほど音声による読み上げのテンポを遅くしてもよい。

発話機器34は、制御部56による制御に応じて、発話生成部54によって生成された発話情報を音声によって運転者に対し提示する。発話機器34は情報提示部の一例である。

次に、上述のように構成された本実施形態に係る車両用情報提示装置10で行われる処理について説明する。図7は、本実施形態に係る車両用情報提示装置10の情報提示の制御の一例を示すフローチャートである。自動運転が継続され、自動運転制御ECU28の警戒度算出部52によって警戒度が算出されているときに、車両用情報提示装置10は、図7に示す情報提示の制御を実行する。

ステップS100において、制御部56は、自動運転制御ECU28の警戒度算出部52によって算出された警戒度を取得する。

ステップS101において、発話制御ECU32は、通信制御部12によって取得された環境情報及び外部センサ14によって取得された周辺情報を取得する。

ステップS102において、発話生成部54は、上記ステップS101で取得された周辺情報及び環境情報の各々を、予め定められた情報の種類に応じて分ける。

ステップS104において、発話生成部54は、上記ステップS101で取得された周辺情報及び環境情報の各々を、運転交代に関係する度合いに応じて分類する。

ステップS106において、発話生成部54は、語彙記憶部24に記憶された複数の語彙情報から、情報の種類及び運転交代に関係する度合いの分類の組み合わせが、上記ステップS102、S104で分けられた結果と同一である語彙情報を選択して、発話情報とする。または、発話生成部54は、情報の種類及び運転交代に関係する度合いの分類の組み合わせが、上記ステップS102、S104で分けられた結果と同一である語彙情報と、当該周辺情報又は環境情報とを合成して、発話情報を生成する。

ステップS108において、発話生成部54は、上記ステップS106で得られた発話情報を、当該周辺情報又は環境情報と同じ運転交代に関係する度合いの分類と対応付けて発話記憶部26に格納する。

ステップS110において、制御部56は、上記ステップS100で取得された警戒度に応じて、発話機器34により提示される発話情報の分類、発話情報の提示頻度、及び音声を変更するように設定する。

ステップS112において、制御部56は、上記ステップS110で設定された発話情報の分類、発話情報の提示頻度、及び音声によって発話機器34から発話が運転者に対して提示されるように制御する。

上記の情報提示の制御により、運転者に対して、生成された発話情報が音声によって順次提示され、周辺情報又は環境情報が適切な状態で運転者に伝わり、運転者は自動運転から手動運転への心構えを持つことができる。

以上説明したように、第1の実施形態に係る車両用情報提示装置によれば、自動運転が継続されている場合に、車両の周辺情報を含む外部環境情報に基づいて発話情報を生成し、自動運転の継続に対する警戒度に応じて、発話機器により提示される発話情報、発話情報の提示頻度、及び音声を変更するように発話機器を制御し、かつ自動運転が継続されている場合に、発話情報の提示が繰り返されるように発話機器を制御する。これにより、注意喚起が必要となる前から運転に対する意識を運転者に持たせることができ、自動運転から手動運転への切り替えをスムーズに行うことができる。

また、本実施形態では、自動運転が継続されているときに、運転者に対して煩わしさを感じさせること無しに周辺情報又は環境情報を含む発話情報を提示することによって、運転者に対して文脈に応じた注意喚起をすることができる。これにより、自動運転から手動運転への運転の切り替えが必要なときに、運転者は迅速且つスムーズに自動運転から手動運転へ切り替えることができる。

また、本実施形態では、自動運転の継続に対する警戒度に応じて、発話機器により提示される発話情報、発話情報の提示頻度、及び音声が変更されるため、警戒度をより自然な形で運転者に対して伝えることができる。また、音声によって発話情報が提示されるため、自動運転が継続されているときに、運転者は大きな負担を感じることなく周辺情報及び環境情報を得ることができる。具体的には、運転者はモニター等による画面表示のようにモニターを常に監視する必要がなく、また振動や温度による情報提示よりも、正確で多くの情報を運転者に対して伝えることができる。

また、本実施の形態では、自動運転が継続している場合、平常時(順調な自動運転の継続時)から周辺情報を運転者に対して提示していくことにより、自動運転から手動運転へ運転交代する場面が急に発生したであっても、それまでの文脈から運転者が運転交代の心構えをもつことができ、スムーズな運転交代を行うことができる。

また、車両側からの運転交代の要請よりも前に、周辺状況の遷移から運転者自らが判断し、運転交代を意思決定する選択ができる。

<第2の実施形態> 次に、第2の実施形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

図8は、第2の実施形態に係る車両用情報提示装置の構成を示すブロック図である。車両用情報提示装置210は、通信制御部12、外部センサ14、GPS(Global Positioning System)受信部16、内部センサ18、地図データベース20、ナビゲーションシステム22、語彙記憶部24、発話記憶部26、及び運転者センサ218を含んで構成されている。通信制御部12、外部センサ14、GPS受信部16、内部センサ18、地図データベース20、ナビゲーションシステム22、語彙記憶部24、発話記憶部26、及び運転者センサ218は、CAN(Controller Area Network)等の車載ネットワーク27に各々接続されている。また、車載ネットワーク27には、自動運転制御ECU(Electronic Control Unit)228、HMI(Human Machine Interface)30、及び発話制御ECU32の各々が更に接続されている。なお、発話制御ECU232は、発話生成部及び制御部の一例である。

運転者センサ218は、自動運転が継続されているときの運転者の状態を検出する。運転者センサ218は、例えば、運転者の顔領域を撮像するカメラ、又は運転者の心拍数を検出するセンサ等によって実現される。運転者センサ218は、例えば、運転者の顔画像、又は運転者の心拍数を運転者の状態としては検出する。

発話制御ECU232の制御部256は、発話情報が運転者に対して提示された後に、運転者センサ218によって検出された運転者の状態に応じて、自動運転制御ECU28の警戒度算出部52によって算出された自動運転の継続に対する警戒度を変更する。

例えば、制御部256は、運転者に対して発話情報が提示された前後における、運転者センサ218によって検出された運転者の顔画像を取得する。そして、制御部256は、発話情報の提示の前後において、運転者がポジティブな状態へ変化したか又はネガティブな状態へ変化したのかを判定する。

例えば、制御部256は、発話情報が提示された前後における運転者の顔画像からエッジ特徴量を抽出する。そして、制御部256は、運転者に対して発話情報が提示された前の顔画像から抽出されたエッジ特徴量と、運転者に対して発話情報が提示された後の顔画像から抽出されたエッジ特徴量とを比較する。そして、制御部256は、エッジ特徴量の変化が予め定められた閾値以上であるか否かに応じて、運転者の表情が変化したか否かを検出する。

具体的には、制御部256は、運転者の表情が弛緩したか否か、頷いているか否か、不安であるか否か、緊張しているか否か、又は覚醒度が上昇したか下降したかを判定し、運転者がポジティブな状態であるかネガティブな状態であるかを特定することができる。例えば、運転者が頷いている場合にはポジティブな状態であり、運転者が何の反応も示さない場合にはネガティブな状態であると判定することができる。

また、運転者センサ218が運転者の心拍数を検出するセンサ等によって実現される場合、制御部256は、運転者に対して発話情報が提示された前後における、運転者センサ218によって検出された運転者の心拍数を取得する。そして、制御部256は、発話情報の提示の前後において、心拍数が増加した場合には運転者がポジティブな状態へ変化したと判定し、心拍数が減少した場合には運転者がネガティブな状態へ変化したと判定する。

次に、制御部256は、運転者がポジティブな状態へ変化したと判定した場合には、自動運転制御ECU28の警戒度算出部52によって算出された警戒度については変更しない。また、制御部256は、運転者がネガティブな状態へ変化したと判定した場合には、自動運転制御ECU28の警戒度算出部52によって算出された警戒度が高くなるように変更する。なお、警戒度の高め方は予め設定される。

次に、上述のように構成された本実施形態に係る車両用情報提示装置210で行われる処理について説明する。図9は、本実施形態に係る車両用情報提示装置210の情報提示の制御の一例を示すフローチャートである。自動運転が継続され、自動運転制御ECU28の警戒度算出部52によって警戒度が算出され、運転者センサ218によって運転者の状態が検出されているときに、車両用情報提示装置210は、図9に示す情報提示の制御を実行する。

図9に示すステップS100〜ステップS112は、第1の実施の形態と同様に実行される。

ステップS214において、制御部256は、運転者センサ218によって検出された運転者の状態に応じて、発話情報の提示の前後において、運転者がポジティブな状態へ変化したか又はネガティブな状態へ変化したのかを判定する。運転者がポジティブな状態へ変化した場合には、ステップS100へ戻る。一方、運転者がネガティブな状態へ変化した場合には、ステップS216で警戒度を高く設定し、ステップS101へ戻る。

なお、第2の実施の形態に係る車両用情報提示装置210の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。

以上説明したように、第2の実施形態に係る車両用情報提示装置によれば、発話情報を運転者に提示した後に運転者の状態を検出し、検出された運転者の状態に応じて、警戒度を変更する。これにより、運転者の状態に応じて、より適切な発話情報を提示することができる。

なお、上記の実施形態における自動運転制御ECU28又は発話制御ECU32(232)で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ROMに記憶されるプログラムは、各種記憶媒体に記憶して流通させるようにしてもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

例えば、発話情報は、周辺状況及び環境情報に基づき生成される場合を例に説明したが、これに限定されるものではなく、例えば運転者の個人情報に基づき生成されてもよい。例えば、運転者の誕生日が予め取得されている場合には「誕生日おめでとう」といった発話情報を生成してもよい。

また、本実施の形態では、警戒度は4つの段階である場合を例に説明したが、これに限定されるものではなく、より多い段階であってもよいし、より少ない段階であってもよい。

また、本実施の形態では、周辺情報及び環境情報の一例を用いて説明したが、周辺情報又は環境情報は、本実施の形態で説明した例に限定されるものではない。

10,210 車両用情報提示装置 12 通信制御部(情報取得部) 14 外部センサ(情報取得部) 24 語彙記憶部 26 発話記憶部 28 自動運転制御ECU(運転制御部) 34 発話機器(情報提示部) 52 警戒度算出部(運転制御部) 54 発話生成部 56,256 制御部 218 運転者センサ