Visual confirmation evaluation device, method and program

申请号 JP2013070344 申请日 2013-03-28 公开(公告)号 JP2014194625A 公开(公告)日 2014-10-09
申请人 Fujitsu Ltd; 富士通株式会社; 发明人 MIZUTANI MASAMI; AOKI YASUHIRO;
摘要 PROBLEM TO BE SOLVED: To accurately evaluate the propriety of the visual confirmation operation of an operator, in a visual confirmation evaluation device, method and program.SOLUTION: A visual confirmation evaluation device generates visible state information indicating that an operator is at a position of visualizing right and left roads from a vehicle at an intersection or the like, and evaluates the safety confirmation operation of the operator with the visible state information, and thereby improves evaluation accuracy. Also, the visual confirmation evaluation device generates visible azimuth information indicating an azimuth that the operator should view from the vehicle at an intersection or the like, and evaluates the propriety of the direction of the visual line of the operator with the visible azimuth information.
权利要求
  • 車両内の運転者の頭部位置データを取得する頭部位置データ取得手段と、
    前記運転者の視線データを取得する視線データ取得手段と、
    前記車両の車速データを取得する車速データ取得手段と、
    前記車両が存在する実世界を三次元形状データで表す3次元地図データと、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含む定義データとを記憶した記憶手段と、
    前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、
    前記確認時間は、前記運転者が当該交差点を見通せる位置で行うべき目視確認に要する時間であり、
    前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、
    前記3次元地図データ上での前記車両の位置データ及び方位データを取得する車両位置及び方位データ取得手段と、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を生成する見通し情報生成手段と、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを評価する目視確認評価手段を備えたことを特徴とする、目視確認評価装置。
  • 前記車両位置及び方位データ取得手段は、
    前記車両の外部を撮影する車載カメラを有し、
    前記車載カメラの撮影画像から路面領域とその他を区別した道路オルソ画像を生成し、
    前記3次元地図データから前記路面領域の形状の交差点テンプレートを生成し、
    前記道路オルソ画像と前記交差点テンプレートを合致させるための幾何変換処理のパラメータを算出し、
    前記道路オルソ画像上の前記車両の位置及び方位を算出して前記パラメータに基づき逆変換を施すことで、前記3次元地図データ上の前記車両の位置及び方位を示す前記車両位置データ及び前記方位データを算出することを特徴とする、請求項1記載の目視確認評価装置。
  • 前記見通し情報生成手段は、
    前記車両位置及び方位データ取得手段が取得した前記3次元地図データ上の前記車両の位置データ及び方位データと、前記頭部位置データと、前記視線データに基づいて、前記3次元地図データ上の前記運転者の頭部位置及び視線方位を算出し、
    前記3次元地図データ上の前記運転者の頭部位置から前記見通し基準を結ぶ線分と、前記3次元地図データに存在する3次元ポリゴンとの交線判定処理を用いて、前記見通し可能状態の情報を生成することを特徴とする、請求項1または2記載の目視確認評価装置。
  • 前記目視確認評価手段は、前記見通し情報生成手段で生成した前記見通し可能状態情報が前記運転者が前記見通し基準が目視確認できる頭部位置の範囲にあることを示す場合、前記3次元地図データ上の前記運転者の視線方位と前記見通し方位情報とを比較し、所定範囲以内であることを判定することで、前記視線方位の適切さを判定することを特徴とする、請求項1乃至3のいずれか1項記載の目視確認評価装置。
  • 車両内の運転者の頭部位置を示す頭部位置データを前記車両内の頭部位置データ取得手段で取得し、
    前記運転者の視線データを前記車両内の視線データ取得手段で取得し、
    前記車両の車速データを前記車両内の車速データ取得手段で取得し、
    前記車両が存在する実世界を三次元形状データで表す3次元地図データと、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含む定義データとを記憶手段に記憶し、
    前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、
    前記確認時間は、前記運転者が当該交差点を見通せる位置で行うべき目視確認に要する時間であり、
    前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、
    前記3次元地図データ上での前記車両の位置及び方位を示す位置データ及び方位データを車両位置及び方位データ取得手段で取得し、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を見通し情報生成手段で取得し、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを目視確認評価手段で評価することを特徴とする、目視確認評価方法。
  • 車両内の運転者の頭部位置を示す頭部位置データを取得する頭部位置データ取得手順と、
    前記運転者の視線データを取得する視線データ取得手順と、
    前記車両の車速データを取得する車速データ取得手順と、
    前記車両が存在する実世界を三次元形状データで表す3次元地図データ上での前記車両の位置及び方位を示す位置データ及び方位データを取得する車両位置及び方位データ取得手順と、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を取得する見通し情報生成手順と、
    前記定義データは、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含み、
    前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、
    前記確認時間は、前記運転者が当該交差点を見通せる位置で行うべき目視確認に要する時間であり、
    前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを評価する目視確認評価手順をコンピュータに実行させることを特徴とする、プログラム。
  • 说明书全文

    本発明は、目視確認評価装置、方法及びプログラムに関する。

    交通事故の多くは、交差点で発生しており、運転者の安全確認により多くの事故は防止可能である。 運転者の安全運転診断に係わる技術としては、例えば運転者の頭部の動き、車両位置、及び車速に基づいて、交差点での運転者の首振り度から確認動作の適切さを評価する方法が提案されている(例えば、特許文献1)。

    しかし、上記の提案方法では、運転者の頭部の動きを検知するため、運転者が目で実際に確認している範囲を知ることは難しい。 また、一定の角度範囲の首振りが検知されると安全確認を行ったと評価するのでは、運転者の実際の目線が適切な方向を向いていない場合があり、さらに、運転者が確認するべき範囲が交差点毎に異なるため、運転者の安全確認動作を正確に評価することは難しい。

    また、上記の提案方法では、車両位置を検知するため、運転者が交差点を見通せる位置にいるか否かを知ることは難しい。 つまり、車両位置を検知しただけでは、車両内にいる運転者の視野が例えば壁やビル等で遮られている場合もあるため、運転者が安全確認を行える位置にいるか否かを判定できないため、運転者の安全確認動作を正確に評価することは難しい。

    国際公開第2009/148188号

    特開2007−310794号公報

    特開2008−181206号公報

    特開2009−123182号公報

    従来の技術では、運転者の安全確認、即ち、運転者の目視確認動作の適切さを正確に評価することは難しい。

    そこで、本発明は、運転者の目視確認動作の適切さを正確に評価できる目視確認評価装置、方法及びプログラムを提供することを目的とする。

    本発明の一観点によれば、車両内の運転者の頭部位置データを取得する頭部位置データ取得手段と、前記運転者の視線データを取得する視線データ取得手段と、前記車両の車速データを取得する車速データ取得手段と、前記車両が存在する実世界を三次元形状データで表す3次元地図データと、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含む定義データとを記憶した記憶手段と、前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、前記確認時間は、前記運転者が当該交差点を見通せる位置での目視確認に要する時間であり、前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、前記3次元地図データ上での前記車両の位置データ及び方位データを取得する車両位置及び方位データ取得手段と、前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を生成する見通し情報生成手段と、前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを評価する目視確認評価手段を備えた目視確認評価装置が提供される。

    開示の目視確認評価装置、方法及びプログラムによれば、運転者の目視確認動作の適切さを正確に評価することができる。

    第1実施例における目視確認評価装置の一例を示すブロック図である。

    リアカメラの撮影画像の一例を示す図である。

    視点変換画像の一例を示す図である。

    連続する時刻での視点変換画像の一例を模式的に示す図である。

    連続する時刻での視点変換画像が路面領域で良く合致する様子を説明する図である。

    交差点テンプレートと差分道路オルソ画像の重ね合わせの一例を説明する図である。

    リアカメラの仮想的な位置及び方位から車両位置及び車両方位を算出する処理の一例を説明する図である。

    車両位置・方位データ取得部の処理の一例を説明するフローチャートである。

    見通し可能状態情報及び見通し方位情報の生成を説明する図である。

    見通し情報生成部の見通し方位登録処理を説明するフローチャートである。

    見通し情報生成部の見通し方位登録処理の結果の一例を示す図である。

    見通し情報生成部の視線方位の判定処理の一例を説明する図である。

    見通し情報生成部の視線方位の判定処理の一例を説明するフローチャートである。

    見通し情報生成部の視線方位の判定処理の結果の一例を示す図である。

    目視確認評価部の処理を説明する図である。

    目視確認評価部の確認処理の一例を説明する図である。

    目視確認評価部の確認処理の一例を説明するフローチャートである。

    スコア値SC2を説明する図である。

    目視確認評価部の確認処理の結果の一例を示す図である。

    第2実施例における目視確認評価装置の一例を示すブロック図である。

    第3実施例における目視確認評価装置の一例を示すブロック図である。

    開示の目視確認評価装置、方法及びプログラムでは、交差点等で運転者が車両から左右の夫々の道路を見通せる位置にあることを表す見通し可能状態情報を生成し、この見通し可能状態情報を用いて運転者の安全(または、左右)確認動作を評価することで、評価の精度を向上させる。 また、交差点等で運転者が車両から見るべき方位を表す見通し方位情報を生成し、この見通し方位情報を用いて運転者の視線の向きの適切さを評価することで、運転者の安全(または、左右)確認動作の評価の精度を向上させる。 さらに、運転者が車両から安全(または、左右)確認動作を行うべきタイミングとして、車両が交差点を通過する時の加速開始のタイミング(即ち、運転者が車両を発進させると意思決定したタイミングに相当)から遡って所定の経過時間内に、見通し可能状態情報に基づく安全確認動作及び見通し方位情報に基づく安全確認動作の評価が夫々高評価であれば、運転者の目視確認が適切であると判定しても良い。

    以下に、開示の目視確認評価装置、方法及びプログラムの各実施例を図面と共に説明する。

    (第1実施例)
    先ず、第1実施例における目視確認評価装置の一例を、図1と共に説明する。 図1は、第1実施例における目視確認評価装置の一例を示すブロック図である。 図1に示す目視確認評価装置1−1は、車両10側に設けられた装置部分と、サーバ20側に設けられた装置部分を有する。 車両10とサーバ20との間の無線通信は、車両10側に設けられた周知の通信装置(または、インタフェース)とサーバ20側に設けられた周知の通信装置(または、インタフェース)を介して行えば良く、図1では通信装置(または、インタフェース)、アンテナ等の図示は省略する。 車両10は、例えば自動車であるが、オートバイ等の二輪車であっても良い。

    車両10側には、車両10の後方を撮影するリアカメラ11、画像記憶部12、車両10内の運転者の顔を撮影するダッシュボードカメラ13、頭部位置データ取得部14、視線データ取得部15、CAN(Controller Area Network)装置16、及びCANデータ記憶部17が設けられている。 画像記憶部12は、リアカメラ11が撮影した車両10の後方の画像データを記憶する。 ダッシュボードカメラ13は、車両10のダッシュボードに設けられた1台または複数台の運転者監視用カメラで形成されており、車両10内の運転者の頭部(または、顔部分)を撮影する。 ダッシュボードカメラ13の搭載位置は、車両10内の運転者の頭部を撮影可能な位置であれば特に限定されず、例えばステアリングコラム等に搭載されていても良い。

    頭部位置データ取得部14は、ダッシュボードカメラ13が撮影した運転者の頭部の画像データに周知の画像処理を施し、ダッシュボードカメラ13を基準にした座標系における運転者の頭部の3次元位置(x,y,z)を周知の方法で算出して頭部位置データの一例として出する。 例えば、2台のカメラでダッシュボードカメラ13を形成した場合、画像データに三角測量の原理を応用した周知のステレオ処理を施して頭部の画像の画素毎の3次元座標を取得することが可能であり、処理された画像から運転者の左右の目の位置も算出可能である。

    視線データ取得部15は、頭部位置データ取得部14と同様に、ダッシュボードカメラ13が撮影した運転者の頭部の画像データに周知の画像処理を施し、ダッシュボードカメラ13を基準にした座標系における運転者の視線の3次元方位ベクトル(v ,v ,v )を周知の方法で算出して視線データの一例として出力する。 例えば、ダッシュボードカメラ13に赤外線照射装置を搭載した場合、運転者の目の角膜で反射された赤外光を撮影した画像と、ダッシュボードカメラ13と赤外照射の幾何学的関係と、人間の眼球のモデルに基づいて、周知の角膜反射法を用いて運転者の視線の方位ベクトルを算出可能である。

    CAN装置16は、CANデータを出力する周知の装置である。 CAN装置16が出力するCANデータには、周知の速度センサや周知の加速度センサ等を用いて取得した車速データやヨーレート(または、角速度)データ等が含まれる。 CAN装置16が出力するCANデータは、CANデータ記憶部17に記憶される。

    車両10内の画像記憶部12及びCANデータ記憶部17は、別々の記憶部で形成されても、単一の記憶部で形成されていても良い。

    車両10内の頭部位置データ取得部14及び視線データ取得部15の少なくとも一方の機能は、1または複数のプロセッサ、例えばCPU(Central Processing Unit)により実現しても良い。 この場合、プロセッサ(または、コンピュータ)は、プログラムを実行することで、頭部位置データ取得部14及び視線データ取得部15の少なくとも一方の機能を実現しても良い。 プログラムは、画像記憶部12及びCANデータ記憶部17の少なくとも一方を形成する記憶部に格納されていても、画像記憶部12及びCANデータ記憶部17を形成する記憶部とは別の記憶部に格納されていても良い。 なお、プログラムを格納する記憶部は、コンピュータ読取可能な記憶媒体であれば特に限定されず、半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記憶媒体等を用いても良い。 コンピュータ読み取り可能な記憶媒体が磁気記録媒体、光記録媒体、光磁気記録媒体等の場合、記憶部はロードされた記録媒体に対して情報の読み書きを行うリーダ・ライタで形成可能である。

    サーバ20側には、記憶部21、車両位置及び方位データ取得部(以下、「車両位置・方位データ取得部」とも言う)22、3次元地図データ記憶部23、定義データ記憶部24、見通し情報生成部25、及び目視確認評価部26が設けられている。 記憶部21は、画像記憶部12、頭部位置データ取得部14、視線データ取得部15、及びCANデータ記憶部17に対して別々に設けられた4個の記憶部で形成されていても、2以上の記憶部で形成されていても、単一の記憶部で形成されていても良い。 3次元地図データ記憶部23には、車両が走行する実世界の地図を三次元形状データで表す周知の3次元地図データが記憶されている。 また、定義データ記憶部24には、後述する定義データが記憶されている。 定義データ記憶部24に3次元地図データが記憶されている場合には、3次元地図データ記憶部23は省略可能である。

    サーバ20側では、車両10側から送信された車両10の後方の画像データ、運転者の頭部位置データ、運転者の視線データ、及びCANデータを記憶部21に記憶する。

    車両位置・方位データ取得部22は、3次元地図データ記憶部23に記憶された3次元地図データ上での車両10の位置のデータ(以下、「車両位置データ」とも言う)と、車両10の方位のデータ(以下、「車両方位データ」とも言う)を、リアカメラ11により撮影され画像記憶部12を介して記憶部21に記憶された画像データと、CAN装置16により出力されCANデータ記憶部17を介して記憶部21に記憶されたCANデータに基づいて取得する。 車両位置は、GPS(Global Positioning System)装置を用い、GPSデータに基づいて車両10の緯度、経度の位置を取得しても良い。 また、車両方位は、CANデータに含まれる車速データ及びヨーレートデータを基準位置から時間積分することで、基準点及び基準方位からの、任意の時刻における車両位置及び車両方位を取得しても良い。

    一方、車両位置及び車両方位をより高精度に取得する場合には、例えばリアカメラ11等の車両10外部を撮影する車載カメラの撮影画像データを用いても良い。 言うまでもなく、車両10の前方を撮影する車載カメラが設けられている場合には、その車載カメラの撮影画像データを用いても良い。

    リアカメラ11の撮影画像は、例えば魚眼レンズ等を用いることで比較的広い角度範囲を撮影するため、図2に示すように、実際の画像と比較すると歪んだ画像となる。 このため、図2の撮影画像を路面の上方に位置する視点から見た、あたかも道路を真上から見た画像に視点変換すると、図3に示す如き視点変換画像となり、道路の両側に位置するビル等の立体物領域102は図3中破線で囲んで示すように歪む。 図3中、101は路面領域(または、平面領域)を示し、VPはリアカメラ11の仮想的な位置を示し、位置VPから延びる矢印はリアカメラ11の仮想的な方位を示す。

    リアカメラ11の撮影画像に基づいて作成された視点変換画像のうち、2つの連続する時刻での視点変換画像は、路面領域101で良く合致することが原理的に知られている。 そこで、2つの連続する時刻での視点変換画像の少なくとも一方に、例えば平行移動T及び回転移動R、即ち、θ={T,R}を施すことで、2つの視点変換画像の重なり部分を接合して、一連の路面画像(所謂、道路オルソ画像)を作成することができる。 平行移動及び回転移動θ={T,R}は、重ねる視点変換画像が良く合致するように、例えば最小二乗法等を利用した周知の画像処理(即ち、算出処理)を行えば良い。 このように道路オルソ画像を作成する方法自体は周知である。

    図4は、連続する時刻での視点変換画像の一例を模式的に示す図である。 図4中、(a)は時刻tにおける視点変換画像I1(t)、(b)は時刻t+1における視点変換画像I1(t+1)、及び(c)は時刻t+2における視点変換画像I1(t+2)を示す。 路面領域101内の菱形は、例えば道路の先に横断歩道または自転車横断帯があることを意味する道路上の菱形の標識であり、この例では連続する時刻での視点変換画像を良く合致するように重ねるのに利用する。

    図5は、異なる時刻での視点変換画像が路面領域で良く合致する様子を説明する図である。 図5中、(a)は時刻tにおける視点変換画像I1(t)に時刻t+1における視点変換画像I1(t+1)を重ねて例えば視点変換画像I1(t+1)に平行移動及び回転移動θ(t+1)を施すことで、2つの視点変換画像の重なり部分を接合して道路オルソ画像を作成する場合を示す。 この場合、平行移動及び回転移動θ(t+1)により、時刻t,t+1における視点変換画像I1(t),I1(t+1)の路面領域は101Aで示すように良く合致するが、ハッチングで示す立体物領域は102Aで示すように合致しない。 図5中、(a)の右側は、時刻t,t+1における視点変換画像I1(t),I1(t+1)の差分画像を示し、黒い部分102Aは壁等の立体物領域、白い部分101Bは路面領域、ハッチングの部分103は立体物領域とは判別されない未処理領域を示す。 同様に、図5中、(b)は時刻t,t+1における視点変換画像I1(t),I1(t+1)の重ね合わせ画像に時刻t+2における視点変換画像I1(t+2)を重ねて視点変換画像I1(t+2)に平行移動及び回転移動θ(t+2)を施すことで、2つの画像の重なり部分を自動的に接合して道路オルソ画像を作成する場合を示す。 この場合、平行移動及び回転移動θ(t+2)により、時刻t,t+1,t+2における視点変換画像I1(t),I1(t+1),I1(t+2)の路面領域は101Aで示すように良く合致するが、ハッチングで示す立体物領域は102Aで示すように合致しない。 図5中、(b)の右側は、時刻t,t+1,t+2における視点変換画像I1(t),I1(t+1),I1(t+2)の差分画像を示し、黒い部分102Aは壁等の立体物領域、白い部分101Bは路面領域、ハッチングの部分103は立体物領域とは判別されない未処理領域を示す。

    連続する時刻の(即ち、時間的に隣り合う)視点変換画像を重ねた場合、立体物の領域は合致しない。 従って、連続する時刻の視点変換画像の差分値が所定値未満の領域を路面領域(例えば、二値画像データ値が「1」)、差分値が所定値以上の領域を立体物領域(例えば、二値画像データ値が「0」)として抽出することができ、道路オルソ画像において、交差点形状を差分画像(または、差分道路オルソ画像)として抽出することができる。

    なお、平行移動及び回転移動θ={T,R}は、CAN装置16が出力するCANデータに含まれる車両10の車速データやヨーレート等の運動情報を、視点変換画像のスケールに換算して用いたり、画像処理と併用して算出処理を行うようにしても良い。

    なお、3次元地図データでは、路面及び立体物がポリゴンデータで表されているものとする。 路面領域の位置をxyz座標系でz=0の平面とする場合、所定の高さの平面との交差曲線を抽出することで、3次元地図データに存在する道路形状を画像として抽出することができる。 また、3次元地図データには、交差点の中央位置と基準方位情報が含まれているものとする。 交差点の中央位置を含む閉領域を二値画像データ値が「1」、それ以外の領域を二値画像データ値が「0」とした、路面領域の画像を作成することができ、この路面領域の画像を交差点テンプレートとして用いることができる。

    次に、3次元地図データ記憶部23に記憶されている3次元地図データに存在する路面領域(例えば、交差点テンプレート)に、変倍(拡大または縮小)sと平行移動T及び回転移動R、即ち、θ={s,T,R}を施すことで、図6に示すように、差分道路オルソ画像に合致するようにマッチング処理を行う。 変倍sと平行移動T及び回転移動Rは、幾何変換処理の一例である。 変倍と平行移動及び回転移動θ={s,T,R}のパラメータΘは、重ねる交差点テンプレートと差分道路オルソ画像の路面領域が重なるように、例えば最小二乗法等を利用した周知の画像処理を行うことで算出可能である。 図6は、交差点テンプレートと差分道路オルソ画像の重ね合わせの一例を説明する図である。 図6中、(a)は差分道路オルソ画像、(b)はθ={s,T,R}の処理を施された交差点テンプレート、(c)は(a)の差分道路オルソ画像と(b)の交差点テンプレートを重ね合わせた画像を示す。 図6中、図5と実質的に同じ部分には同一符号を付し、その説明は省略する。 図6中、(b)の交差点テンプレートは、3次元地図データから得られる2次元の道路形状を示す。 201は交差点テンプレートの路面領域(または、平面領域)を示し、202は交差点テンプレートの立体物領域を示し、205は交差点テンプレート中の交差点の中央位置(以下、「交差点中央位置」とも言う)、206は交差点テンプレート中の交差点の基準方位を示す。

    図6中、(a)の差分道路オルソ画像と(b)の交差点テンプレートを重ね合わせる際には、例えば差分道路オルソ画像の方を固定し、路面領域101Bと路面領域201が合致し、立体物領域102Aと立体物領域202が合致するように、交差点テンプレートに変倍sと平行移動T及び回転移動R、即ち、θ={s,T,R}を施す。 これにより、図6中、(c)に示す重ね合わせた道路オルソ画像上では、205AがパラメータΘにより変換された交差点中央位置となり、206AがパラメータΘにより変換された基準方位となる。

    次に、変倍s、平行移動T及び回転移動RのパラメータΘにより変換された交差点中央位置及び基準方位(即ち、重ね合わせた道路オルソ画像上の交差点中央位置205A及び基準方位206A)を基準として、道路オルソ画像を形成する各視点変換画像について、図7に示すようにリアカメラ11の仮想的な位置及び方位を求める。

    図7は、リアカメラ11の仮想的な位置及び方位から車両位置及び車両方位を算出する処理の一例を説明する図である。 図7中、(a)は重ね合わせた道路オルソ画像を示し、(b)は(a)の重ね合わせた道路オルソ画像から算出される交差点テンプレートを示す。 図7中、(a)においてVPはリアカメラ11の仮想的な位置を示し、位置VPから延びる矢印はリアカメラ11の仮想的な方位を示し、破線で示す矩形領域はリアカメラ11の仮想的な位置VPvからの撮影範囲を示し、太い実線L1は車両10(リアカメラ11)の仮想的な移動軌跡を示す。

    各視点変換画像上の位置からは、リアカメラ11の仮想的な位置VPを一意に算出可能であり、視点変換画像上の方位はリアカメラ11の仮想的な方位に対応している。 また、各始点変換画像上の位置及び方位は、図7中、(a)に示す重ね合わせた道路オルソ画像上での位置及び方位であるから、変倍s、平行移動T及び回転移動RのパラメータΘに基づく逆変換を施すことで、図7中、(b)に示す交差点テンプレートにおける、車両位置(または、リアカメラ11の位置)及び車両方位を算出することができる。 図7中、(b)において205B逆変換により求められた交差点テンプレート中の交差点中央位置を示し、206Bは逆変換により求められた交差点テンプレート中の交差点の基準方位を示し、太い実線L2は車両10(または、リアカメラ11)の移動軌跡を示す。

    図8は、車両位置・方位データ取得部22の処理の一例を説明するフローチャートである。 図8において、処理が開始すると、ステップS1では、リアカメラ11により撮影され画像記憶部12を介して記憶部21に記憶された画像データと、CAN装置16により出力されCANデータ記憶部17を介して記憶部21に記憶されたCANデータを夫々読み出し、これらの画像データ及びCANデータに基づいて道路オルソ画像生成処理を行い、図5と共に説明した如き視点変換画像の重ね合わせを行う。 ステップS2では、道路オルソ画像生成処理の処理結果に基づき立体領域(即ち、差分道路オルソ画像)を抽出する立体領域抽出処理を行い、図6中、(a)に示す如き差分道路オルソ画像を求める。 ステップS3では、3次元地図データ記憶部23に記憶された3次元地図データと、定義データ記憶部24に記憶された定義データに基づいて、図6中、(b)に示す如き交差点テンプレートを生成する交差点テンプレート生成処理を行う。 ステップS4では、図6中、(c)で示す如き差分道路オルソ画像と交差点テンプレートとのマッチング処理を行う。 ステップS5では、マッチング処理の結果に基づいて、図7と共に説明した如き方法で車両位置を示す車両位置データ及び車両方位を示す車両方位データを算出する位置・方位算出処理を行い、処理は終了する。

    見通し情報生成部25は、頭部位置データ取得部14が取得して記憶部21に記憶された頭部位置データと、視線データ取得部15が取得して記憶部21に記憶された視線データを記憶部21から読み出し、これらの頭部位置データと視線データに加え、車両位置・方位データ取得部22からの車両位置データ及び車両方位データと、定義データ記憶部24に記憶された定義データと、3次元地図データ記憶部23に記憶された3次元地図データに基づいて、見通し可能状態情報及び見通し方位情報を生成する。

    見通し情報生成部25には、運転者の視点位置及び視線方位を算出する算出部が含まれる。 車両位置データ及び方位データは、上記の如く3次元地図データにおけるリアカメラ11の仮想的な位置及び仮想的な方位に基づく仮想的なデータである。 一方、頭部位置データ及び視線データは、実世界のスケールのデータであり、車両10内に設置されたダッシュボードカメラ13の座標系を基準とする。 従って、リアカメラ11とダッシュボードカメラ13との相対的な位置及び方位の関係と、3次元地図データの実世界のスケールの関係に基づく補正処理を、車両位置データ及び車両方位データに施すことで、3次元地図データにおける運転者の視点位置及び視線方位を算出することができる。

    定義データ記憶部24に記憶された定義データは、交差点を識別するための識別ID、交差点基準位置、基準方位、見通し基準、確認時間、経過時間等を含む。 定義データには、識別子の一例である識別IDで示される交差点毎に、3次元地図データにおける見通し基準が定義されている。 見通し基準は、交差点の左右方向の夫々の道路毎に、車両10の交差点への進入時に運転者が確認するべき仮想物標の位置情報である。 この仮想物標の位置情報は、例えば交差点中央位置から道路形状に沿って所定の距離として定義しても良く、3次元地図データにおける3次元位置情報に変換可能である。 運転者の視点位置(または、頭部位置)から見通し基準への方位を見通し方位と定義する。

    図9は、見通し可能状態情報及び見通し方位情報の生成を説明する図である。 図9において、交差点50では道路51と道路52が交差する。 車両10の図示は省略するが、車両10内の運転者の頭部位置30から確認基準方向(この例では、道路52が延びる方向)32を目視した場合に左右の道路を確認できる有効確認範囲31は、(a)では50(deg)、(b)では100(deg)、(c)では220(deg)と、見通しの障害となる壁、植木、ビル等の障害物55の存在により、車両10が交差点50に進入するにつれて変化する。 ここで、この交差点50への進入時に運転者が確認するべき仮想物標を、見通し基準として定義しておく。 この例では、左の見通し基準51L及び右の見通し基準51Rが定義されているものとする。 図9において、運転者は(a)の状態では左右の見通し基準51L,51Rを目視確認できず、(b)の状態では右の見通し基準51Rのみを目視確認でき、(c)の状態では左右両方の見通し基準51L,51Rを目視確認できる。

    仮想物標には、人間、自転車、自動車等のサイズを設定しても良い。 この仮想物標が、3次元地図データから得られる交差点の3次元形状を考慮して、車両の運転者の頭部位置(または、運転者の視点位置)から十分な視認性を持って見えるか否かを評価する。 具体的には、運転者の頭部位置(または、視点位置)と、仮想物標の形状のサンプリング点とを結ぶ直線のうち、交差点の3次元データと交わる線の比率を求め、その比率が所定の閾値以下である場合に見通し可能状態であることを示す見通し可能状態情報を得る。 つまり、3次元地図データ上の運転者の頭部位置から見通し基準を結ぶ線分と、3次元地図データに存在する3次元ポリゴンとの交線判定処理を用いて、見通し可能状態情報を生成する。 見通し可能状態とは、運転者が見通し基準51L,51Rが目視確認できる頭部位置(または、視点位置)の範囲、即ち、有効確認範囲31として定義する。 また、見通し方位とは、運転者のある頭部位置(または、視点位置)において見通し基準51L,51Rが目視できる方位として定義する。

    図10は、見通し情報生成部25の見通し方位登録処理を説明するフローチャートである。 図10において、ステップS11では、運転者の視点位置及び視線方位を算出する上記の算出部から視点位置データを取得し、ステップS12では、定義データ記憶部24に記憶された定義データから見通し基準を取得する。 ステップS13では、3次元地図データ記憶部23に記憶された3次元地図データを取得する。 ステップS14では、視点位置データ、見通し基準、及び道路51,52や交差点50における障害物55等の情報を含む3次元地図データに基づき、見通し可能状態を判定する。 ステップS15では、見通し可能状態であるか否かを表す判定結果を、例えば見通し情報生成部25内の記憶部(図示せず)または記憶部21に記憶する。 ステップS16では、例えば図9中、(c)で示すように運転者のある頭部位置(または、視点位置)において左右両方の見通し基準51L,51Rが目視できる見通し方位を算出する。 ステップS17では、算出された見通し方位を、例えば見通し情報生成部25内の記憶部(図示せず)または記憶部21に記憶し、処理は終了する。 これにより、見通し方位及び見通し可能状態に関する情報が、対象となる交差点50に対して登録される。

    なお、見通し情報生成部25の見通し方位登録処理の結果は、例えば見通し情報生成部25内の記憶部(図示せず)または記憶部21に記憶しても良い。 図11は、記憶部21に記憶される見通し情報生成部25の見通し方位登録処理の結果の一例を示す図である。 図11に示す例では、処理結果は各時刻t ,t i+1 ,...,t に対して、見通し方位、見通し可能状態、及び必要に応じてその他の属性をテーブル形式で記憶部21に記憶する。 見通し可能状態は、例えば可能状態が「1」、不能状態が「0」で表されている。

    図12は、見通し情報生成部25の視線方位の判定処理の一例を説明する図である。 図12中、横軸は時刻を任意単位で示し、(a)は車両10の車速を任意単位で示し、(b)は有効確認範囲31を示し、(c)は左側への視線方位の適切性をOK(適切)またはNG(不適切)で示し、(d)は右側への視線方位の適切性をOK(適切)またはNG(不適切)で示す。

    図12中、t は車両10の交差点50への進入開始時刻、t は右の見通し基準51Rの目視確認が開始できる時刻、t は左の見通し基準51Lの目視確認が開始でき左右両方の見通し基準51L,51Rの目視確認が開始できる時刻を示す。 また、t は車両10が交差点50を通過する時の加速開始の時刻(以下、「発進意思決定時刻」とも言う)、即ち、運転者が車両10を発進させると意思決定した時刻またはタイミングを示す。 発進意思決定時刻t は、例えばCANデータに含まれる車速データから車速の立ち上がりを判定することで取得できる。 また、図12中、(a)に示す領域60は、車両10が交差点50を通過する時の発進意思決定時刻t の前後の領域である。

    図12中、(b)において一点鎖線は有効確認範囲31を示し、実線は視線方位を示し、二点鎖線は見通し方位を示す。 また、領域61は視線方位と見通し方位との差が所定値以内の領域を示し、領域62は右の見通し基準51Rの目視確認が可能な領域を示し、領域63は左の見通し基準51Lの目視確認が可能な領域を示す。 視線方位の適切性は、左側及び右側の両方向への視線方位の適切性がOK(適切)である領域65において適切であると判断される。

    図13は、見通し情報生成部25の視線方位の判定処理の一例を説明するフローチャートである。 図13において、ステップS21では、交差点50に進入する車両10内の運転者が見通し可能状態にあるか否かを判定する。 図12に示す例では、運転者は時刻t から見通し可能状態になる。 ステップS21の判定結果がYESであると、ステップS22では、視線方位が適切であるか否かを判定する。 図12に示す例では、左側及び右側の両方向への視線方位の適切性がOK(適切)である領域65内ではステップS22の判定結果がYESとなり、ステップS23で視線方位が適切と決定される。 一方、左側及び右側の両方向への視線方位の適切性がOK(適切)である領域65外ではステップS22の判定結果がNOとなり、ステップS24で視線方位が不適切と決定される。

    なお、見通し情報生成部25の視線方位の判定処理の結果は、例えば見通し情報生成部25内の記憶部(図示せず)または記憶部21に記憶しても良い。 図14は、記憶部21に記憶される見通し情報生成部25の処理結果の一例を示す図である。 図14に示す例では、処理結果は各時刻t ,t i+1 ,...,t に対して、視線方位、見通し方位、見通し可能状態、及び視線方位の適切さをテーブル形式で記憶部21に記憶する。 見通し可能状態は、例えば可能状態が「1」、不能状態が「0」で表されている。

    なお、見通し情報生成部25の視線方位の判定処理は、左右に延びる道路方向に存在する2つ以上の見通し基準の夫々に対して実行しても良い。

    目視確認評価部26は、頭部位置データ取得部14が取得して記憶部21に記憶された頭部位置データと、視線データ取得部15が取得して記憶部21に記憶された視線データと、車両位置・方位データ取得部22からの車両位置データ及び車両方位データと、見通し情報生成部25からの見通し可能状態情報及び見通し方位情報と、定義データ記憶部24に記憶された定義データに基づいて、運転者の目視確認(または、安全確認)の適切さをスコア値で評価する。

    図15は、目視確認評価部26の処理を説明する図である。 図15中、上部は図12の(b)と同じであり、下部の左側は車両10が交差点50の進入開始位置55を僅かに超えた時刻t x1 (>t )での車両10の交差点50への進入状態ST1を示し、下部の右側は時刻t での車両10の交差点50への進入状態ST2を示す。 図15中、図9及び図12と同一部分には同一符号を付し、その説明は省略する。 進入状態ST1では、車両10の運転者は左右の見通し基準51L,51Rをまだ目視確認することができない。 一方、進入状態ST2では、車両10の運転者は左右両方の見通し基準51L,51Rを目視確認することができる。

    視線データは、車両10内に設置されたダッシュボードカメラ13の座標系で定義されたものであるから、見通し情報生成部25の視点位置及び視線方位を算出する算出部と同じ処理を施すことにより、3次元地図データにおける運転者の視線方位を示す視線データとして算出することができる。 従って、3次元地図データの座標系での視線データ、見通し可能状態情報、及び見通し方位情報を、図14及び図15に示すように時々刻々と取得することができる。 これらの情報に基づいて算出したスコア値で、運転者の目視確認の適切さを評価する。

    図16は、目視確認評価部26の確認処理の一例を説明する図である。 図16中、横軸は時刻を任意単位で示し、(a)は車両10の車速を任意単位で示し、(b)は有効確認範囲31を示し、(c)は左側への視線方位の適切性をOK(適切)またはNG(不適切)で示し、(d)は右側への視線方位の適切性をOK(適切)またはNG(不適切)で示す。 図16中、図12と同一部分には同一符号を付し、その説明は省略する。

    時刻tにおいて、見通し可能状態であれば、視線方位Gaze_tの適切さを判定する。 具体的には、視線方位Gaze_tと見通し方位Dir_tとの差が所定範囲Th以内であれば良い。 視線方位Gaze_tと見通し方位Dir_tとの差が所定範囲Th以内であれば、視線方位Gaze_tの適切さの判定で適切(OK)と決定する。 人間の中心視野は、例えば±30(deg)であると仮定すると、見通し方位Dir_tが視線方位Gaze_t±30(deg)の範囲に存在しているか否か、即ち、|Dir_t-Gaze_t|≦Thであるか否かを判定することで、運転者が適切に目視確認を行ったか否かを判定することができる。 ここで、所定範囲Thは、運転者個人の特性、交差点50の特性等に合わせた値に設定しても良い。

    次に、視線方位Gaze_tの適切さの判定で適切(OK)と決定されている時間セグメントを抽出して、時間セグメントの継続時間の適切さを評価する。 具体的には、定義データ記憶部24に記憶されている定義データから、交差点50で定義された確認時間を取得し、視線方位Gaze_tの適切さが適切となっている時間セグメントの継続時間が確認時間以上であれば、スコア値SC1を例えば100点とする。 一方、視線方位Gaze_tの適切さが適切となっている時間セグメントの継続時間が確認時間未満であれば、例えば{(継続時間)/(確認時間)}×100からスコア値SC1を算出する。 確認時間は、運転者が交差点50を見通せる位置で例えば最低限行うべき目視確認に要する時間である。 なお、確認時間は、運転者個人の特性等に合わせた値に設定しても良い。

    次に、発進意思決定時刻t を算出する。 発進意思決定時刻t は、記憶部21に記憶されたCANデータに含まれる車速データを評価して、車速の立ち上がり位置を判定することで取得することができる。 次に、発進意思決定時刻t から遡って最初にある、つまり最後になされた、視線方位Gaze_tの適切さが適切である時間セグメントについて、最終確認時刻(または、確認完了時刻)t finalを取得する。

    次に、最終確認のタイミングの妥当性を、例えば|t −t final |が定義データ記憶部24に記憶された定義データに含まれる経過時間(または、所定閾値)τ以下であることで評価する。 経過時間τは、運転者が発進の意思決定をするまでの最大猶予時間である。 この経過時間τは、運転者個人の特性、交差点50の特性等に合わせた値に設定しても良い。 この例では、最終確認時刻t finalから意思決定時刻t までの差|t −t final |が小さい程良い運転であり、経過時間τを超える程悪い運転とみなしたスコア関数を用いて、スコア値SC2を算出する。

    最終的には、スコア値SC1とスコア値SC2を統合したスコア値SCを算出する。 例えば、SC=k1×SC1+k2×SC2とすることができる。 例えば、k1=0.3,k2=0.7である。

    図17は、目視確認評価部26の確認処理の一例を説明するフローチャートである。 図17において、ステップS31では、定義データ記憶部24に記憶されている定義データから、交差点50で定義された確認時間を取得する。 ステップS32では、視線方位Gaze_tの適切さが適切となっている時間セグメントの継続時間が、確認時間以上継続していればスコア値SC1を例えば100点とし、視線方位Gaze_tの適切さが適切となっている時間セグメントの継続時間が確認時間未満であれば、例えば{(継続時間)/(確認時間)}×100からスコア値SC1を算出する。 ステップS33では、算出したスコア値SC1を目視確認評価部26内の記憶部(図示せず)または記憶部21に記憶することで登録する。

    ステップS34では、発進意思決定時刻t を上記の如く算出する。 ステップS35では、発進意思決定時刻t から遡って最初にある、つまり最後になされた、視線方位Gaze_tの適切さが適切である時間セグメントについて、最終確認時刻t finalを取得する。 ステップS36では、定義データ記憶部24に記憶された定義データに含まれる経過時間τを取得する。

    ステップS37では、例えば最終確認時刻t finalから意思決定時刻t までの差|t −t final |が小さい程良い運転であり、経過時間τを超える程悪い運転とみなしたスコア関数を用いて、スコア値SC2を算出する。 図18は、スコア値SC2を説明する図である。 図18中、縦軸はスコア値SC2を示し、横軸はt −t finalを示す。 次に、ステップS38では、例えばSC=k1×SC1+k2×SC2に基づき、スコア値SC1とスコア値SC2を統合したスコア値SCを算出し、処理は終了する。

    図19は、目視確認評価部26の確認処理の結果の一例を示す図である。 図19に示す例では、確認処理の結果は各セグメント1,2,...,kに対して、継続時間とスコア値SCをテーブル形式で記憶部21に記憶する。

    例えば図15において、従来技術のように例えば運転者の頭部の動きのみに基づいて目視確認を評価すると、時刻t 以降に検知される各ピークで目視確認が適切と判断されてしまう。 これに対し、上記実施例のように、運転者の目視確認の評価をスコア値SCで評価することで、図15では時刻t 以降でないと目視確認が適切であると判断されることはなく、また、発進意思決定時刻t から遡って経過時間τ以内に運転者が一定の条件を満たす目視確認を行わないと目視確認が適切であると判断しないため、従来技術と比較すると、運転者の目視確認動作の適切さをより正確に評価することができる。

    なお、上記のスコア値SCの算出は、左右に延びる道路方向に存在する2つ以上の見通し基準の夫々に対して実行し、各見通し基準毎に算出されたスコア値をさらに統合して最終スコア値とすしても良い。

    サーバ20側の車両位置・方位データ取得部22、見通し情報生成部25、及び目視確認評価部26の少なくとも1つの機能は、1または複数のプロセッサ、例えばCPUにより実現しても良い。 この場合、プロセッサ(または、コンピュータ)は、プログラムを実行することで、車両位置・方位データ取得部22、見通し情報生成部25、及び目視確認評価部26の少なくとも1つの機能を実現しても良い。 プログラムは、記憶部21を形成する記憶部に格納されていても、記憶部21を形成する記憶部とは別の記憶部に格納されていても良い。 なお、プログラムを格納する記憶部は、コンピュータ読取可能な記憶媒体であれば特に限定されない。

    第1実施例によれば、比較的負荷の大きい処理をサーバ20側で行うため、車両10側のプロセッサへの負荷を軽減できる。

    (第2実施例)
    図20は、第2実施例における目視確認評価装置の一例を示すブロック図である。 図20中、図1と同一部分には同一符号を付し、その説明は省略する。 第2実施例では、車両位置・方位データ取得部22A、3次元地図データ記憶部23A、及び定義データ記憶部24Aが車両10側に設けられており、第1実施例におけるサーバ20の一部の動作が車両10側で実行されるが、目視確認評価装置1−2全体としての動作は上記第1実施例の場合と同様である。

    第2実施例によれば、処理の負荷を車両10側とサーバ20側とで分散できる。

    (第3実施例)
    図21は、第3実施例における目視確認評価装置の一例を示すブロック図である。 図21中、図1と同一部分には同一符号を付し、その説明は省略する。 第3実施例では、第1実施例におけるサーバ20の動作が車両10側で実行されるが、目視確認評価装置1−3全体としての動作は上記第1実施例の場合と同様である。 第3実施例では、車両10側に、車両位置・方位データ取得部22B、3次元地図データ記憶部23B、定義データ記憶部24B、見通し情報生成部25B、及び目視確認評価部26Bが設けられている。 なお、第3実施例では、図1に示す記憶部21は省略可能である。

    第3実施例によれば、全ての処理を車両10側で実行するため、サーバ20が不要となる。

    上記の各実施例において、リアカメラ11、画像記憶部12、記憶部21、及び車両位置・方位データ取得部22,22A,22Bは、車両10の位置データ及び方位データを取得する車両位置及び方位データ取得手段を形成可能である。 ダッシュボードカメラ13及び頭部位置データ取得部14は、運転者の頭部位置データ(または、視点位置データ)を取得する頭部位置データ取得手段を形成可能である。 ダッシュボードカメラ13及び視線データ取得部15は、運転者の視線データを取得する視線データ取得手段を形成可能である。 CAN装置16は、車両10の車速データを取得する車速データ取得手段を形成可能である。

    また、上記の各実施例において、目視確認動作が適切でないと評価された場合は、例えば運転者へ警告を出力したり、車両を減速或いは停止させたりする衝突防止システム等に評価結果を出力するようにしても良い。

    以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
    (付記1)
    車両内の運転者の頭部位置を示す頭部位置データを取得する頭部位置データ取得手段と、
    前記運転者の視線データを取得する視線データ取得手段と、
    前記車両の車速データを取得する車速データ取得手段と、
    前記車両が存在する実世界を三次元形状データで表す3次元地図データと、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含む定義データとを記憶した記憶手段と、
    前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、
    前記確認時間は、前記運転者が当該交差点を見通せる位置で行うべき目視確認に要する時間であり、
    前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、
    前記3次元地図データ上での前記車両の位置及び方位を示す位置データ及び方位データを取得する車両位置及び方位データ取得手段と、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を生成する見通し情報生成手段と、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを評価する目視確認評価手段を備えたことを特徴とする、目視確認評価装置。
    (付記2)
    前記車両位置及び方位データ取得手段は、
    前記車両の外部を撮影する車載カメラを有し、
    前記車載カメラの撮影画像から路面領域とその他を区別した道路オルソ画像を生成し、
    前記3次元地図データから前記路面領域の形状の交差点テンプレートを生成し、
    前記道路オルソ画像と前記交差点テンプレートを合致させるための幾何変換処理のパラメータを算出し、
    前記道路オルソ画像上の前記車両の位置及び方位を算出して前記パラメータに基づき逆変換を施すことで、前記3次元地図データ上の前記車両の位置及び方位を示す前記車両位置データ及び前記方位データを算出することを特徴とする、付記1記載の目視確認評価装置。
    (付記3)
    前記見通し情報生成手段は、
    前記車両位置及び方位データ取得手段が取得した前記3次元地図データ上の前記車両の位置データ及び方位データと、前記頭部位置データと、前記視線データに基づいて、前記3次元地図データ上の前記運転者の頭部位置及び視線方位を算出し、
    前記3次元地図データ上の前記運転者の頭部位置から前記見通し基準を結ぶ線分と、前記3次元地図データに存在する3次元ポリゴンとの交線判定処理を用いて、前記見通し可能状態の情報を生成することを特徴とする、付記1または2記載の目視確認評価装置。
    (付記4)
    前記目視確認評価手段は、前記見通し情報生成手段で生成した前記見通し可能状態情報が前記運転者が前記見通し基準が目視確認できる頭部位置の範囲にあることを示す場合、前記3次元地図データ上の前記運転者の視線方位と前記見通し方位情報とを比較し、所定範囲以内であることを判定することで、前記視線方位の適切さを判定することを特徴とする、付記1乃至3のいずれか1項記載の目視確認評価装置。
    (付記5)
    前記目視確認評価手段は、前記視線方位の適切さが、所定時間継続していることを評価することで、前記目視確認動作の適切さを評価することを特徴とする、付記1乃至4のいずれか1項記載の目視確認評価装置。
    (付記6)
    前記目視確認評価手段は、
    前記視線方位の適切さが適切であると判断された時間が継続する区間を時間セグメントとして抽出し、
    前記車速データ取得手段から得られる車速データに基づいて、当該交差点通過のための加速開始の時刻を算出し、
    前記時刻から遡って最初にある前記時間セグメントの最終確認時刻を抽出し、
    前記加速開始の時刻と前記最終確認時刻の差が所定閾値以内であることを判定するで前記目視確認動作の適切さを評価することを特徴とする、付記1乃至5のいずれか1項記載の目視確認評価装置。
    (付記7)
    前記記憶手段、前記車両位置及び方位データ取得手段、前記見通し情報生成手段及び前記目視確認評価手段は、前記車両と通信可能なサーバ側に設けられていることを特徴とする、付記1乃至6のいずれか1項記載の目視確認評価装置。
    (付記8)
    前記記憶手段、前記見通し情報生成手段及び前記目視確認評価手段は、前記車両と通信可能なサーバ側に設けられていることを特徴とする、付記1乃至6のいずれか1項記載の目視確認評価装置。
    (付記9)
    前記頭部位置データ取得手段、前記視線データ取得手段、前記車速データ取得手段、前記記憶手段、前記車両位置及び方位データ取得手段、前記見通し情報生成手段及び前記目視確認評価手段は、前記車両に設けられていることを特徴とする、付記1乃至6のいずれか1項記載の目視確認評価装置。
    (付記10)
    車両内の運転者の頭部位置を示す頭部位置データを前記車両内の頭部位置データ取得手段で取得し、
    前記運転者の視線データを前記車両内の視線データ取得手段で取得し、
    前記車両の車速データを前記車両内の車速データ取得手段で取得し、
    前記車両が存在する実世界を三次元形状データで表す3次元地図データと、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含む定義データとを記憶手段に記憶し、
    前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、
    前記確認時間は、前記運転者が当該交差点を見通せる位置で行うべき目視確認に要する時間であり、
    前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、
    前記3次元地図データ上での前記車両の位置及び方位を示す位置データ及び方位データを車両位置及び方位データ取得手段で取得し、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を見通し情報生成手段で取得し、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを目視確認評価手段で評価することを特徴とする、目視確認評価方法。
    (付記11)
    前記車両位置及び方位データ取得手段は、前記車両の外部を撮影する車載カメラを有し、
    前記車両位置及び方位データ取得手段において、
    前記車載カメラの撮影画像から路面領域とその他を区別した道路オルソ画像を生成し、
    前記3次元地図データから前記路面領域の形状の交差点テンプレートを生成し、
    前記道路オルソ画像と前記交差点テンプレートを合致させるための幾何変換処理のパラメータを算出し、
    前記道路オルソ画像上の前記車両の位置及び方位を算出して前記パラメータに基づき逆変換を施すことで、前記3次元地図データ上の前記車両の位置及び方位を示す前記車両位置データ及び前記方位データを算出することを特徴とする、付記10記載の目視確認評価方法。
    (付記12)
    前記見通し情報生成手段において、
    前記車両位置及び方位データ取得手段が取得した前記3次元地図データ上の前記車両の位置データ及び方位データと、前記頭部位置データと、前記視線データに基づいて、前記3次元地図データ上の前記運転者の頭部位置及び視線方位を算出し、
    前記3次元地図データ上の前記運転者の頭部位置から前記見通し基準を結ぶ線分と、前記3次元地図データに存在する3次元ポリゴンとの交線判定処理を用いて、前記見通し可能状態の情報を生成することを特徴とする、付記10または11記載の目視確認評価方法。
    (付記13)
    前記目視確認評価手段において、前記見通し情報生成手段で生成した前記見通し可能状態情報が前記運転者が前記見通し基準が目視確認できる頭部位置の範囲にあることを示す場合、前記3次元地図データ上の前記運転者の視線方位と前記見通し方位情報とを比較し、所定範囲以内であることを判定することで、前記視線方位の適切さを判定することを特徴とする、付記10乃至12のいずれか1項記載の目視確認評価方法。
    (付記14)
    前記車両位置及び方位データ取得手段、前記見通し情報生成手段及び前記目視確認評価手段の処理を、前記車両と通信可能なサーバで実行することを特徴とする、付記10乃至13のいずれか1項記載の目視確認評価方法。
    (付記15)
    車両内の運転者の頭部位置を示す頭部位置データを取得する頭部位置データ取得手順と、
    前記運転者の視線データを取得する視線データ取得手順と、
    前記車両の車速データを取得する車速データ取得手順と、
    前記車両が存在する実世界を三次元形状データで表す3次元地図データ上での前記車両の位置及び方位を示す位置データ及び方位データを取得する車両位置及び方位データ取得手順と、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ及び前記3次元地図データに基づき、前記頭部位置データが示す前記運転者の頭部位置から前記見通し基準への方向を示す見通し方位情報と、前記見通し基準が見える状態にあることを示す見通し可能状態情報を取得する見通し情報生成手順と、
    前記定義データは、交差点を識別するための識別子、見通し基準、確認時間及び経過時間を含み、
    前記定義データには、前記識別子で示される交差点毎に前記3次元地図データにおける前記見通し基準が定義されており、前記見通し基準は、当該交差点の左右方向の夫々の道路毎に前記車両の当該交差点への進入時に運転者が確認するべき仮想物標の位置情報であり、
    前記確認時間は、前記運転者が当該交差点を見通せる位置で行うべき目視確認に要する時間であり、
    前記経過時間は、前記運転者が発進の意思決定をするまでの最大猶予時間であり、
    前記頭部位置データ、前記視線データ、前記車両位置データ、前記方位データ、前記定義データ、前記見通し可能状態情報及び前記見通し方位情報に基づいて、前記運転者の目視確認動作の適切さを評価する目視確認評価手順をコンピュータに実行させることを特徴とする、プログラム。
    (付記16)
    前記車両位置及び方位データ取得手順は、
    前記車両の外部を撮影する車載カメラの撮影画像から路面領域とその他を区別した道路オルソ画像を生成し、
    前記3次元地図データから前記路面領域の形状の交差点テンプレートを生成し、
    前記道路オルソ画像と前記交差点テンプレートを合致させるための幾何変換処理のパラメータを算出し、
    前記道路オルソ画像上の前記車両の位置及び方位を算出して前記パラメータに基づき逆変換を施すことで、前記3次元地図データ上の前記車両の位置及び方位を示す前記車両位置データ及び前記方位データを算出することを特徴とする、付記15記載のプログラム。
    (付記17)
    前記見通し情報生成手順は、
    前記車両位置及び方位データ取得手順が取得した前記3次元地図データ上の前記車両の位置データ及び方位データと、前記頭部位置データと、前記視線データに基づいて、前記3次元地図データ上の前記運転者の頭部位置及び視線方位を算出し、
    前記3次元地図データ上の前記運転者の頭部位置から前記見通し基準を結ぶ線分と、前記3次元地図データに存在する3次元ポリゴンとの交線判定処理を用いて、前記見通し可能状態の情報を生成することを特徴とする、付記15または16記載のプログラム。
    (付記18)
    前記目視確認評価手順は、前記見通し情報生成手順で生成した前記見通し可能状態情報が前記運転者が前記見通し基準が目視確認できる頭部位置の範囲にあることを示す場合、前記3次元地図データ上の前記運転者の視線方位と前記見通し方位情報とを比較し、所定範囲以内であることを判定することで、前記視線方位の適切さを判定することを特徴とする、付記15乃至17のいずれか1項記載のプログラム。
    (付記19)
    前記車両位置及び方位データ取得手順、前記見通し情報生成手順及び前記目視確認評価手順を、前記車両と通信可能なサーバに実行させることを特徴とする、付記15乃至18のいずれか1項記載のプログラム。

    以上、開示の目視確認評価装置、方法及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

    10 車両11 リアカメラ12 画像記憶部13 ダッシュボードカメラ14 頭部位置データ取得部15 視線データ取得部16 CAN装置17 CANデータ記憶部20 サーバ21 記憶部22,22A,22B 車両位置・方位データ取得部23,23A,23B 3次元地図データ記憶部24,24A,24B 定義データ記憶部25,25B 見通し上方生成部26,26B 目視確認評価部

    QQ群二维码
    意见反馈