作業車

本発明は、車体とこの車体に装備された作業装置を備えた作業車の周辺を、俯瞰画像として表示ユニットに表示することができる作業車に関する。

特許文献1によるコンバインは、4台のカメラで取得した自車の周囲画像から、自車を上方から見た擬似的な画像である俯瞰画像を生成し、さらに記憶部に記憶された自車の平面視画像とクローラ部の位置を示す画像と、クローラ部の左右方向の端部を前方に延長した線であるクローラ仮想延長部とを俯瞰画像に合成し、表示する。その際、コンバインが前進中であると判断された場合クローラ仮想延長部は前方へ延長して表示され、コンバインが後進中と判断された場合クローラ仮想延長部は後方へ延長して表示される。

特開2015−104375号公報

上述したような作業車(コンバイン)では、表示された俯瞰画像を通じて、クローラ部周辺が直感的に把握することができる。しかしながら、複数のカメラからの撮影画像の合成画像である俯瞰画像は、車体から比較的近距離の範囲しかカバーできず、また、俯瞰画像は視点変換による変形を受けているので、俯瞰画像における元撮影画像の周辺部に写った特定部材が見づらくなる可能性がある。特に、作業車が、車体と車体に装備される大小様々な作業装置から構成される場合、俯瞰画像を小さな作業装置に合わせると、大きな作業装置を装備した場合、俯瞰画像に作業装置が入らなくなり、周辺監視が不十分となる。逆に俯瞰画像を大きな作業装置に合わせると、小さな作業装置を装備した場合、監視が不要な領域が大きくなり、表示ユニットの表示領域の無駄使いとなる、 このような実情から、作業装置を含む作業車周辺を適切な俯瞰画像を用いて、運転者や監視者が良好に作業装置を視認できる技術が要望されている。

本発明における、車体と前記車体に装備された作業装置を備えた作業車は、前記車体及び前記作業装置の周辺領域から割り当てられた周辺部分領域を撮影する複数のカメラと、前記カメラ毎の周辺部分領域の撮影画像を視点変換して生成されたカメラ毎の部分俯瞰画像を、変更可能な合成パターンに基づいて合成処理して、前記周辺領域を俯瞰する周辺俯瞰画像を生成する俯瞰監視画像生成モジュールと、前記合成パターンを変更する合成パターン変更部と、前記周辺俯瞰画像を表示する表示ユニットとを備えている。

この構成では、合成パターンを変更することによって、車体に装備した作業装置の姿勢や大きさなどに適合する俯瞰画像を生成することができ、作業装置を含む作業車の周辺を適切に監視することができる。

本発明の好適な実施形態の1つでは、前記合成パターンは、前記周辺俯瞰画像における前記部分俯瞰画像の占有面積を規定するように構成されている。これにより、大きな作業装置が装備されている場合には、作業装置が写っている部分俯瞰画像の専有面積を作業装置の大きさに応じて変更し、当該部分俯瞰画像に作業装置及びその周辺が確実に含まれるようにすることができ、作業装置の姿勢や大きさなどに適合する適切な周辺俯瞰画像を見ながらの作業が実現する。

周辺俯瞰画像における部分俯瞰画像の適切な割合は、ユーザの好みによっても異なる。このため、本発明の好適な実施形態の1つでは、前記合成パターン変更部は、入力操作デバイスを通じての変更指令に基づいて前記合成パターンを変更するように構成されている。これにより、ユーザ(運転者など)にとって見やすく適切な俯瞰画像が表示ユニットに表示される。

ユーザによる合成パターンの変更作業が狭い運転席などで行われる場合、この変更作業環境はユーザフレンドリであることが要望される。このため、本発明の好適な実施形態の1つでは、前記入力操作デバイスはタッチパネルであり、前記タッチパネルに表示された前記周辺俯瞰画像における前記部分俯瞰画像の間の画像境界線の位置が変更されることにより前記変更指令が生成されるように構成されている。この構成では、ユーザは、タッチパネルに表示される画像境界線をドラッグアンドドロップで変更することで、所望の合成パターンの変更、結果的には周辺俯瞰画像における部分俯瞰画像の所望の割合を実現することができる。

車体に装備される作業装置に応じて、自動的に適切な合成パターンに変更されると、ユーザの手をわずらわせず、好都合である。この目的のため、本発明の好適な実施形態の1つでは、前記作業装置の型式を認識する認識部が備えられ、前記合成パターン変更部は、前記認識部による認識結果に基づいて前記合成パターンを変更するように構成されている。

特殊な作業装置では、その使用形態によって、俯瞰画像における大きさが異なるものがある。例えば、田植機の植え付け装置では使用条数によって植え付け装置の横幅が変更される。また、トラクタに装備される耕耘装置やバゲット装置などは、その昇降位置によって俯瞰画像における大きさや車体との位置関係が異なってくる。このような作業装置では、作業中においても、自動的に適切な合成パターンに変更されることが好ましい。このため、本発明の好適な実施形態の1つでは、前記作業装置の使用形態を検出する使用形態検出センサが備えられ、前記合成パターン変更部は、前記使用形態検出センサによる検出結果に基づいて前記合成パターンを変更するように構成されている。

表示ユニットに表示される周辺俯瞰画像の中央には、作業車が模式的に表示される。その際に、表示される作業装置から、できるだけリアルに、車体に実際に装備されている作業装置を視認できること、少なくともその大きさを認識できることが望ましい。このため、本発明の好適な実施形態の1つでは、前記周辺俯瞰画像の中央には、前記車体を示す車体図像と前記作業装置を示す作業装置図像とからなる作業車図像が配置されており、前記作業装置図像の大きさは、前記合成パターンの変更に伴って変更されるように構成されている。これにより、ユーザは表示ユニットに表示される周辺俯瞰画像から、正確に作業装置の周辺を監視することができる。

作業装置を装備した作業車の一例である、耕耘装置を装備したトラクタの側面図である。

トラクタの制御系を示す機能ブロック図である。

4台のカメラによる自車周辺の撮影画像に基づく周辺俯瞰画像を、合成パターンを用いて生成する制御の流れを示す説明図である。

タッチパネルを用いた合成パターンの変更を示す模式図である。

次に、図面を用いて、本発明による作業車の具体的な実施形態の1つを説明する。この実施形態では、作業車は、圃場(作業地)に対して走行しながら作業装置を用いて作業を行うトラクタである。図1に示されているように、このトラクタは、前輪11と後輪12とによって支持された車体1の中央部に操縦部20が設けられている。車体1の後部には油圧式の昇降機構31を介してロータリ耕耘装置である作業装置30が装備されている。前輪11は操向輪として機能し、その操舵角を変更することでトラクタの走行方向が変更される。前輪11の操舵角は操舵機構13の動作によって変更される。操舵機構13には自動操舵のための操舵モータ14が含まれている。手動走行の際には、前輪11の操舵は操縦部20に配置されているステアリングホイール22の操作によって可能である。操縦部20には、運転者に情報を提供する報知デバイスとしての機能と、運転者によって操作される入力操作デバイスとしての機能とを有するタッチパネル73(表示ユニットの1つ)が配置されている。

トラクタのキャビン21には、GNSS(global navigation satellite system)モジュールとして構成されている衛星測位モジュール70が設けられている。衛星測位モジュール70の構成要素として、GNSS信号(GPS信号も含む)を受信するための衛星用アンテナがキャビン21の天井領域に取り付けられている。なお、衛星測位モジュール70には、衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法モジュールを含めることができる。もちろん、慣性航法モジュールは、衛星測位モジュール70とは別の場所に設けてもよい。

車体1には、車体周囲を撮影するための4台のカメラ4が取り付けられている。第1のカメラ4は車体前部(ボンネット)の中央に配置され、第2のカメラ4と第3のカメラ4とは車体左右の側部(後輪フェンダ)に配置され、第4のカメラ4は車体後部(キャビネット後端)の中央に配置されている。各カメラ4は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力する。各カメラ4の撮影光軸は撮影視野に車体1や作業装置30の一部と圃場面とが入るように下方に向けられるとともに、広角レンズが装着されることで、4台のカメラ4によって取得される、周辺部分領域の撮影画像は車体付近の全周領域をカバーすることができる。

さらに、このトラクタには、エンジンやトランミッションや操舵機構13などの状態を検出する走行状態検出センサ群81、昇降機構31や作業装置30の姿勢や位置などの状態を検出する作業状態検出センサ群82、車体1に装備された作業装置30の型式を認識する認識部83などが取り付けられている。作業状態検出センサ群82には、作業装置30の姿勢、地上高さ、使用幅、などの使用形態を検出する使用形態検出センサが含まれている。認識部83は、作業装置30の識別コードを機械的または電子的に読み取り、読み取った識別コードから、作業装置の種別やサイズなどの作業装置属性値を認識結果として導出する機能を有する。

図2には、このトラクタに構築されている制御系が示されている。この制御系には、複数(ここでは4台)のカメラ4による自車(車体1と作業装置30)周辺領域の撮影画像から作り出される周辺俯瞰画像を表示ユニットとしてのタッチパネル73に表示する技術が組み込まれている。この制御系の中核要素である制御ユニット5には、入出力インタフェースとして機能する入出力信号処理部7が備えられている。入出力信号処理部7の出力信号ポートには、車両走行機器群71、作業装置機器群72、タッチパネル73、運転者や監視者に作業走行上の注意を促すための報知を行うランプやスピーカなどの報知デバイスが接続されている。車両走行機器群71には、操舵モータ14をはじめ、図示されていないが、変速機構やエンジンユニットなど車両走行のために制御される機器が含まれている。作業装置機器群72には、作業装置30の駆動機構や、作業装置30を昇降させる昇降機構31などが含まれている。

入出力信号処理部7の入力信号ポートには、上述したカメラ4、衛星測位モジュール70、作業車センサ群8、自動/手動切替操作具74などが接続されている。作業車センサ群8には、走行状態検出センサ群81や作業状態検出センサ群82のほか、装備された作業装置30の識別コード読み取り機能を有する認識部83も含まれている。走行状態検出センサ群81には、操舵角やエンジン回転数や変速状態などの走行状態を検出するセンサが含まれている。作業状態検出センサ群82には作業装置30の姿勢や位置などを検出するセンサなどが含まれている。自動/手動切替操作具74は、自動操舵で走行する自動走行モードと手動操舵で走行する手動操舵モードとのいずれかを選択するスイッチである。例えば、自動操舵モードで走行中に自動/手動切替操作具74を操作することで、手動操舵での走行に切り替えられ、手動操舵での走行中に自動/手動切替操作具74を操作することで、自動操舵での走行に切り替えられる。

図示されていないが、入出力信号処理部7には、通信ユニットも接続されている。通信ユニットは、無線通信規格や有線通信規格を通じて外部のコンピュータとデータのやり取りを行う。外部のコンピュータとして、遠隔地の管理センタ等に構築された管理コンピュータ及び運転者や監視者が携帯するタブレットコンピュータやスマートフォン(モバイルフォン)などが含まれる。

車両走行機器群71を制御する走行制御部50は、このトラクタが自動走行(自動操舵)と手動走行(手動操舵)の両方で走行可能に構成されているため、手動走行制御部51と自動走行制御部52とが含まれている。手動走行制御部51は、運転者による操作に基づいて車両走行機器群71を制御する。自動走行制御部52は、自車位置と走行経路との偏差に基づいて自動操舵指令を生成し、入出力信号処理部7を介して操舵モータ14に出力する。作業制御部53は、作業装置30の動きを制御するために、作業装置機器群72に制御信号を与える。

走行制御部50は、自動走行時と手動走行時とにおいて、異なる制御処理を実行する。自動走行時には、自車位置算出部54によって算出された自車位置と経路生成部58によって生成された走行経路とを比較評価し、自車位置と走行経路とに位置ずれが生じておれば、車体1が当該走行経路に沿うように、操舵変更データを生成して、自動走行制御部52に与える機能を実現する。自車位置算出部54は、衛星測位モジュール70から送られてくる衛星測位データに基づいて、自車位置を算出する。手動走行時には、運転者によるステアリングホイール22やブレーキなどの操作によって、作業走行が行われる。その際にも、走行ガイダンスとして、走行経路や自車位置をタッチパネル73や外部のディスプレイに表示することも可能である。

作業地管理部57は、作業走行が行われる圃場に関する情報である圃場情報(作業地情報)を管理する。圃場情報には、圃場の地図位置、形状、大きさ、作付け品種などのデータが含まれている。圃場情報は、遠隔地の管理センタや農家の自宅に設置されているコンピュータからダウンロードすること、運転者が持参する携帯端末からダウンロードすること、USBメモリ等の記録媒体から読み取ること、等によって、作業地管理部57に与えることが可能である。

経路生成部58は、圃場情報から、圃場の外形データを読み出し、この圃場における適正な走行経路を生成する。この走行経路の生成は、運転者によって入力される基本的な初期パラメータに基づいて自動的に行われてもよいし、別なコンピュータで生成された走行経路をダウンロードしてもよい。いずれにしても、経路生成部58で取得された走行経路は、メモリに展開され、自動操舵走行または手動操舵走行にかかわらず、作業車が走行経路に沿って走行するために利用される。

制御ユニット5には、本発明に特に関係する制御機能として、周囲俯瞰画像を生成する監視画像生成モジュール6が備えられている。監視画像生成モジュール6は、俯瞰画像生成部60と合成パターン変更部61と画像合成部62とを備えている。図2では、合成パターン変更部61は、監視画像生成モジュール6に組み込まれている。監視画像生成モジュール6は、基本的な画像処理機能と、俯瞰画像生成機能と、俯瞰画像合成機能とを有している。合成パターン変更部61は、合成処理の調整を行う機能部であり、合成パターン変更部61は、監視画像生成モジュール6とは別に構成してもよい。俯瞰画像生成部60は4台のカメラ4によって取得された撮影画像を車体中心の上方の視点への視点変換を行い、カメラ4毎の部分俯瞰画像を生成する。これらの部分俯瞰画像は、相互にオーバーラップした画像領域を有し、これらの部分俯瞰画像を繋ぎ合わせるように合成することで、トラクタの全周囲の俯瞰画像である周辺俯瞰画像が生成される。4つの部分俯瞰画像の繋ぎ合わせは種々可能であり、そのつなぎ合わせ合成のやり方により、周辺俯瞰画像における各部分俯瞰画像の占有面積が変化する。このつなぎ合わせ合成のやり方を、ここでは、合成パターンと称している。合成パターンは、周辺俯瞰画像における各部分俯瞰画像の占有面積を規定するものであり、この合成パターンを変更することにより、周辺俯瞰画像における各部分俯瞰画像の占める割合が変わる。画像合成部62は、合成パターン変更部61によって設定された合成パターンに基づいて4つの部分俯瞰画像を合成して周辺俯瞰画像を生成する。合成パターン変更部61は、複数の合成パターンを予め用意しておき、適切なものを選択して、画像合成部62に与えてもよいし、1つ以上の既成の基本合成パターンを修正して適切なものを生成し、画像合成部62に与えてもよい。

次に、図3を用いて、4つの部分俯瞰画像から合成パターンを用いて周辺俯瞰画像を生成する制御の流れの一例を説明する。 4台のカメラ4によって取得された撮影画像は俯瞰画像生成部60に送られる。図3ではカメラ4毎の撮影画像を区別するために符号A〜Dが付与されている。符号Cを付与された撮影画像を生成するカメラ4は、作業装置30の周辺領域を撮影視野としており、車体1に装備される全ての大きさの作業装置30においてその周辺領域が適切に撮影視野内に入るように設定されている。俯瞰画像生成部60から出力された4つの部分俯瞰画像は画像合成部62でつなぎ合わせ合成され、周辺俯瞰画像となる。この合成において重要なことは、車体1に装備されている作業装置30の周辺領域が適切に入っている周辺俯瞰画像が得られるような合成パターンが用いられることである。

生成された周辺俯瞰画像は、画像合成部62において、さらに、予め用意されている車体図像と、装備されている作業装置30に対応する作業装置図像とからなる作業車図像を周辺俯瞰画像の中央部に付与される。画像合成部62から出力された作業車図像付き周辺俯瞰画像は表示画像生成部56に送られ、表示画像信号に変換され、タッチパネル73、またはその他の外部のディスプレイに送られる。

合成パターン変更部61によって合成パターンが変更される実施例を以下に列挙する; (1)運転者が、タッチパネル73を用いて、装備されている作業装置30毎を選択することで、合成パターン変更部61が、選択された作業装置30に最適の合成パターンを選択し、画像合成部62に与える。 (2)運転者が、タッチパネル73に順番に表示される周辺俯瞰画像から最適なものを選択し、合成パターン変更部61が、この選択された周辺俯瞰画像を生成する合成パターンを選択し、画像合成部62に与える。 (3)図4では、タッチパネル73に表示されている周辺俯瞰画像において、横幅の作業装置30の周辺領域を撮影視野とするカメラ4の部分俯瞰画像の領域(符号Cが付与されている)に、作業装置30の両端が切れているような場合での、合成パターンの修正が示されている。このタッチパネル73の修正ボタンを押すことで、周辺俯瞰画像と、部分俯瞰画像との間の画像境界線が表示される。この画像境界線を、運転者がドラッグアンドドロップで移動させることで、適切な部分俯瞰画像の専有面積の割合が調整される。完了ボタンが押されると、最終的な画像境界線の位置を変更指令として合成パターン変更部61に送られる。これにより、合成パターン変更部61が、調整された画像境界線位置に基づく合成パターンを画像合成部62に与える。 (4)認識部83で認識された作業装置30の識別コードから、合成パターン変更部61が、最適な合成パターンを選択し、画像合成部62に与える。 (5)走行作業中に姿勢や大きさが変更される作業装置30、例えば、折り畳み可能な田植機の植付装置、昇降動作する耕耘装置やバゲット装置、旋回・昇降動作するバックホウ装置が装着されている場合、作業装置30の姿勢や大きさの変更を検出するセンサ(作業状態検出センサ群82に含まれる)の検出結果に応じて、合成パターン変更部61が、最適な合成パターンを選択し、画像合成部62に与える。 これらの実施例は、1つ以上の組み合わせで使用することが可能である。

上述したような、複数のカメラ4の撮影画像から、周囲俯瞰画像を生成する画像処理の効率的な方法は、マッピングテーブルを用いることである。このマッピングテーブルは、各撮影画像の画素と周囲俯瞰画像の画素とを対応付けるテーブルである。さらに、マッピングテーブルは、用いられる合成パターン毎に予め用意されていれば、合成パターンを変更しても、迅速に周囲俯瞰画像が得られる。 〔別実施の形態〕

(1)上述した実施形態では、作業車の周辺を撮影するために、4台のカメラ4が用いられたが、それ以上でもよい。また、少なくとも作業装置30の周辺を撮影するカメラ4とそれ以外を撮影するカメラ4との組み合わせででもよい。

(2)上述した実施形態では、監視画像生成モジュール6で生成された周辺俯瞰画像は、自車のタッチパネル73やその他のディスプレイに表示されている。しかしながら、自車が無人走行している場合には、生成された周辺俯瞰画像は、この無人走行を監視している、他の作業車や監視者が携帯している通信端末(タブレットコンピュータやスマートフォンなど)に無線を用いて送信し、そこに備えられているディスプレイ(表示ユニットの一例)に表示することも可能である。その際は、周辺俯瞰画像だけでなく、撮影画像及び部分俯瞰画像も送信してもよい。さらに、入出力信号処理部7を介して、作業車の制御系とデータ交換可能なタブレットコンピュータや管理コンピュータなどを利用する場合には、単に周辺俯瞰画像等の監視画像の表示だけではなく、上述した、合成パターンの変更処理も、タブレットコンピュータや管理コンピュータなどを用いて行う構成を採用することも可能である。これにより、作業車から離れた場所、さらには遠隔地の管理センタや農家の自宅において、必要に応じて合成パターンを変更し、所望の周辺俯瞰画像等の監視画像を見ることができる。

(3)図2で示された機能ブロック図における各機能部は、主に説明目的で区分けされている。実際には、各機能部は他の機能部と統合すること、または複数の機能部に分けることができる。例えば、監視画像生成モジュール6に表示画像生成部56を組み込んでもよいし、監視画像生成モジュール6から合成パターン変更部61を分離させてもよい。

(4)上述した実施形態では、作業車として、ロータリ耕耘装置を作業装置30として装備したトラクタを、作業車として取り上げたが、そのようなトラクタ以外にも、例えば、田植機、施肥機、コンバインなどの農作業車、あるいは作業装置30としてドーザやローラ等を備える建設作業車等の種々の作業車も、実施形態として採用することができる。

本発明は、複数のカメラを用いて俯瞰画像をモニタに表示させる作業車に適用可能である。

1 :車体 4 :カメラ 30 :作業装置 31 :昇降機構 5 :制御ユニット 50 :走行制御部 53 :作業制御部 54 :自車位置算出部 56 :表示画像生成部 57 :作業地管理部 58 :経路生成部 6 :監視画像生成モジュール 60 :俯瞰画像生成部 61 :合成パターン変更部 62 :画像合成部 70 :衛星測位モジュール 73 :タッチパネル(表示ユニット,入力操作デバイス) 74 :手動切替操作具 8 :作業車センサ群 81 :走行状態検出センサ群 82 :作業状態検出センサ群(使用形態検出センサ) 83 :認識部