System, method, and apparatus for unsupervised adaptation of perception of autonomous mower

申请号 JP2012241928 申请日 2012-11-01 公开(公告)号 JP2013153413A 公开(公告)日 2013-08-08
申请人 Honda Research Inst Europe Gmbh; ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH; 发明人 NIL EINEK; MATHIAS FRANZIUS;
摘要 PROBLEM TO BE SOLVED: To provide a method and system for an autonomous mower equipped with a camera, where camera parameter control, mower movement control, and grass detection are optimized as a whole during operation.SOLUTION: The present invention mitigates the camera sensing limits by adapting the operating speed of the mower. In addition, the camera control optimizes the visibility of grass by using a grass mask of a grass segmentation to calculate updated exposure, gain, and aperture values only from grass pixels. The grass segmentation monitors changes in the grass color that are caused by illumination differences. Optionally, the system is equipped with a head light used to further improve the camera signal quality in conjunction with the control of the camera parameters and the movement speed of the mower.
权利要求
  • 少なくとも1つのセンサがカメラ(1c)である複数のセンサ(1)と、少なくとも1つのモータ(2)とが備えられる自律刈取り機のための制御システム(10)であって、
    前記複数のセンサ(1)のパラメータおよび前記少なくとも1つのモータ(2)のコマンドの複合制御を行なうように適合されるとともに、前記少なくとも1つのカメラ(1c)によって得られる画像に関して計算を行なうように適合される制御システム(10)。
  • 前記少なくとも1つのカメラ(1c)からの画像を使用して、該画像中のピクセルを草であるか又は草でないものとして分類し、それにより、草マップを生成する草検出モジュール(11)と、
    前記草マップと現在のセンサデータとを組み合わせて前記複数のセンサ(1)の前記パラメータを改善するセンサ制御モジュール(12)であって、草としてマークされたピクセルの強度が前記少なくとも1つのカメラ(1c)の前記パラメータを調整するために使用されるセンサ制御モジュール(12)と、
    前記草マップに従って前記少なくとも1つのモータ(2)により前記自律刈取り機の移動を制御するモータ制御モジュール(13)であって、前記センサ制御モジュール(12)により変更可能な前記複数のセンサ(1)のパラメータの影響を受けるモータ制御モジュール(13)とを備え、
    前記センサ制御モジュール(12)は、前記センサデータを改善するため、前記モータ制御モジュール(13)のパラメータを変更するように適合される、請求項1に記載の制御システム(10)。
  • 前記自律刈取り機には照明手段(3)が設けられ、
    前記センサ制御モジュール(12)は、前記少なくとも1つのカメラ(1c)が動作限界に達する場合には前記照明手段(3)をONに切り換えるように適合される、請求項2に記載の制御システム(10)。
  • 前記照明手段(3)を調光するように適合される、請求項3に記載の制御システム(10)。
  • 前記草検出モジュール(11)は、色セグメンテーションによって前記草検出を行なうように適合される、請求項2ないし請求項4のいずれか一項に記載の制御システム(10)。
  • 変化する照明状態、草状態、または、異なる草タイプに起因する草色の僅かな変化を監視するため、時間経過と共にパラメータを調整するように適合される、請求項5に記載の制御システム(10)。
  • 前記センサ制御モジュール(12)は、前記少なくとも1つのカメラ(1c)の、少なくとも露出、ゲイン、および/または、絞り、を含むパラメータを調整するように適合される、請求項2ないし請求項6のいずれか一項に記載の制御システム(10)。
  • 前記センサ制御モジュール(12)は、ダイナミックレンジを均等化することによりカメラ画像の平均強度を最適化するように適合される、請求項7に記載の制御システム(10)。
  • 前記センサ制御モジュール(12)は、前記自律刈取り機が障害物に近づく場合には、前記自律刈取り機をさらにゆっくりと走行させるように前記モータ制御モジュール(13)に指示を与えるよう適合される、請求項2ないし請求項8のいずれか一項に記載の制御システム(10)。
  • 前記センサ制御モジュール(12)は、さらに長い露出時間および/またはカメラ露出を適合させるためのさらに長い時間が前記少なくとも1つのカメラ(1c)によって必要とされる場合には、前記自律刈取り機をさらにゆっくりと走行させるように前記モータ制御モジュール(13)に指示を与えるよう適合される、請求項2ないし請求項9のいずれか一項に記載の制御システム(10)。
  • 前記センサ制御モジュール(12)は、前記自律刈取り機を特定の時間にわたって停止させるように前記モータ制御モジュール(13)に指示を与えるよう適合される、請求項2ないし請求項10のいずれか一項に記載の制御システム(10)。
  • 前記自律刈取り機にはソナーセンサ(1s)が設けられ、
    前記センサ制御モジュール(12)は、前記複数のセンサ(1)のうちの1つが所定の閾値を超える風を検出する場合には、前記自律刈取り機をさらにゆっくりと走行させるように前記モータ制御モジュール(13)に指示を与えるよう適合される、請求項2ないし請求項11のいずれか一項に記載の制御システム(10)。
  • 前記自律刈取り機には赤外線センサ(1i)と赤外光源(4)とが設けられ、
    前記センサ制御モジュール(12)は、前記赤外線センサ(1i)が所定の閾値を下回る赤外光放射を検出すると前記赤外光源(4)をON/OFF切り換えするあるいは調光するよう適合される、請求項2ないし請求項12のいずれか一項に記載の制御システム(10)。
  • 前記自律刈取り機は少なくとも2つのカメラ(1c)を有し、好ましくは前記少なくとも2つのカメラ(1c)のうちの一方は前記自律刈取り機の後方に面する、請求項1ないし請求項13のいずれか一項に記載の制御システム(10)。
  • 前記少なくとも2つのカメラ(1c)はステレオカメラであり、この場合には両方のカメラは同じ方向に面し、好ましくは前方に面している、請求項1ないし請求項13のいずれか一項に記載の制御システム(10)。
  • 前記少なくとも2つのカメラ(1c)のうちの少なくとも一つはRGBカメラであり、少なくとも1つは近赤外線カメラである、請求項14または請求項15に記載の制御システム(10)。
  • 前記照明状態が通常状態であるときには前記少なくとも2つのカメラ(1c)に同じパラメータを設定するよう適合され、
    前記照明状態が強いコントラストを示すときには前記少なくとも2つのカメラ(1c)に異なるパラメータを設定するよう適合され、
    また、前記少なくとも2つのカメラの画像を組み合わせて高ダイナミックレンジ画像を生成するよう適合される、
    請求項14ないし請求項16のいずれか一項に記載の制御システム(10)。
  • 複数のセンサ(1)、好ましくはソナーセンサ(1s)および/または赤外線センサ(1i)と、
    少なくとも1つのカメラ(1c)と、
    少なくとも1つのモータ(2)と、
    好ましくは照明手段(3a)および/または赤外光源(4)と、
    請求項1ないし請求項16のいずれか一項に記載の制御システム(10)と を備える自律刈取り機。
  • 少なくとも1つのセンサがカメラ(1c)である複数のセンサ(1)と、少なくとも1つのモータ(2)とが備えられる自律刈取り機のための制御方法(10)であって、
    前記複数のセンサ(1)のパラメータと前記少なくとも1つのモータ(2)のコマンドとの複合制御を行なうステップと、前記少なくとも1つのカメラ(1c)により得られる画像に関して計算を行なうステップと、を含む制御方法(10)。
  • 前記少なくとも1つのカメラ(1c)からの画像を使用して該画像中のピクセルを草又は草でないものとして分類し、それにより草マップを作成する草検出ステップと、
    前記複数のセンサ(1)の前記パラメータを改善するために前記草マップと現在のセンサデータとを組み合わせるセンサ制御ステップであって、草としてマークされたピクセルの強度を用いて前記少なくとも1つのカメラ(1c)の前記パラメータを調整するセンサ制御ステップと、
    前記草マップに従って前記少なくとも1つのモータ(2)により前記自律刈取り機の移動を制御するためのモータ制御ステップであって、前記センサ制御ステップにおいて変化させることのできる前記複数のセンサ(1)のパラメータの影響を受けるモータ制御ステップと を含み、
    前記センサ制御ステップは、前記センサデータを改善するために、前記モータ制御ステップで使用されるパラメータを修正する、請求項19に記載の制御方法(10)。
  • 说明书全文

    本発明は、自律刈取り機、例えば芝刈り機を制御するため、および、刈取り機の知覚を適合させるための、すなわち、刈取り機の環境(「環境」はセンサの入フィールドである)の複合検出のための、システムおよび方法に関する。 特に、本発明は、自律刈取り機のセンサパラメータ、モータコマンド、および、カメラ画像計算の、複合制御を行なうためのものである。 また、本発明は、前記制御システムを備える自律刈取り機にも関する。

    自律刈取り機またはロボット刈取り機、例えば芝刈り機は、増加の一途をたどる市場である。 そのような刈取り機は、一般に、走行の度に草の小片だけを切断し、無作為で強引な態様で芝生を自律的に刈り取る。 小さい草片が芝土内へ落下し、それにより、芝生が肥やされる。 この原理はマルチングと呼ばれる。

    「自律刈取り機」という用語は、当業者に良く知られており、当該刈取り機(「自己走行刈取り機」)を動かすための自律走行ユニットと、走行ユニットに給電するための機載型エネルギーリザーバと、少なくとも1つのセンサと、センサおよび走行ユニットに機能的に接続される計算ユニットとを有する無人刈取り機のことをいう。

    商用の自律芝刈り機の多くは、弱い電磁場を放出する電気境界ワイヤにより刈り取り領域が規定される。 自律刈取り機は、この電磁場を利用して、刈り取り許可領域内にとどまったり、再充電のためのベースステーションを見つけることができる。

    幾つかの市販の自律刈取り機は、衝突センサおよびソナーセンサを使用して、上記境界ワイヤによっては示されることのない静的または動的な障害物を回避する。 しかしながら、そのような刈取り機であっても、草の上に横たわる小さな障害物(例えば、携帯電話機、ホース、または、園芸工具)は乗り越えて走行してしまう。 そのような小さな障害物は、境界ラインによっては示されず、衝突またはソナーセンサによっても検出されないからである。 その結果、刈り取り刃に著しい損傷を引き起こす可能性を生ずる一方、その小さな障害物を破損させてしまう可能性も生ずる。 また、入手が可能な大部分の自律刈取り機では、付加的にソナーセンサを備えた刈取り機であっても、自身の向きを変える前に物体と衝突してしまう。 これにより、最終的には刈取り機の外殻に多くの引っかき傷が生ずることとなる。

    市販の刈取り機を改良しようとする最近の理論的なおよび/または実験的ないくつかの手法では、特に境界ワイヤが取り外されるようになっている。

    特許文献1には、カメラ認識と草センサの出力とを組み合わせた自律芝刈り機が記載されている。 草センサは、ピクセルをそのピクセル値(例えば、色)に基づいて草又は草以外のものとして分類する分類器(classifier)を自動で実行したり、当該分類器を更新するために使用される。 また、上記出願の特許請求の範囲には、カメラを用いて刈取り機を制御するコンピュータの実施形態が記載されている。 しかしながら、この技法は、カメラセンサが持つ動作限界に制限される。 カメラに対する高度な制御は行なわれない。

    特許文献2には、レーザ光により草でない地面領域を走査して当該領域を回避する刈取り機が記載されている。 また、この文献には、カメラと、スペクトル解析のための規準光源を備えた光ユニットと、を有する刈取り機が記載されている。 しかしながら、上記特許出願は、照明状態が良好である場合に限定している。

    特許文献3には、芝草の状態を認識するための、芝刈り機に搭載される能動的照明について記載されている。 この文献には、能動的照明、照明のレイアウト(同心円)、及び照明の種類(LED)を適応的に決定する手法についても記載されている。

    特許文献4は、各ピクセルについて色およびテクスチャに関する確率を計算し、当該確率に基づいて各ピクセルを草又は草以外のものとして分類する、草セグメンテーション(grass segmentation)を提案している。 しかしながら、上記特許は、この技術を自律芝刈りに適用することを意図してはいない。 特に、そこに記載されている処理は、自律的な刈り取り装置の動作を制御するためには用いられていない。

    非特許文献1には、露出、ゲイン、輝度、および、ホワイトバランスの複合的な制御について記載されている。 しかしながら、シーンに応じた適応動作は行われず、全体画像に基づいた適応動作のみが行われている。

    非特許文献2には、オムニカメラの自動露出制御について記載されている。 この制御は、バイアスを発生して制御誤りを生じさせるミラー支持体の暗部を排除するためのマスクを用いていることも特徴となっている。 このマスクは、各ピクセルの影響を重み付けすることができるように、2値でない(non-binary)マスクとすることができる。 しかしながら、この論文は、芝刈り機のための最適なカメラ制御を目的とするものではない。

    非特許文献3には、自律芝刈り機(CWRUカッター)のための草認識システムについて記載されている。 草検出は色およびテクスチャを手掛かり(cue)として行われ、マスクは、シーンレイアウトの変化に応じて時間的に変化するものとはなっていない。 この手法では、幾つかのサンプル画像を用いて訓練された分類器が使用される。 この手法は学習段階を含むが、セグメンテーション自体は、固定されたパラメータ設定により動作する。

    非特許文献4には、テクスチャ分類に基づく草セグメンテーション(grass segmentation)のための視覚アーキテクチャについて記載されている。

    欧州特許出願公開第2 286 653 A2号明細書

    独国特許出願公開第103 27 223 A1号明細書

    米国特許出願公開2006/0151680 A1号明細書

    米国特許6,832,000 B2号明細書

    Autonomous configuration of parameters in robotic digital cameras,Neves et al,Proc. of the 4th Iberian Conference on Pattern Recognition and Image Analysis,ibPRIA 2009,Povoa do Varzim,Portugal(June 2009) Automatic Camera Exposure Control,N. Nourani−Vatani and J. Roberts,Australasian Conference on Robotics and Automation(December 2007) Identification & Segmentation of Lawn Grass Based on Color and Visual Texture Classifiers,A. Schepelmann,Case Western Reserve University(CWRU),Master Thesis(August 2010) Autonomous Agent Navigation Based on Textural Analysis,Rand Chandler,PhD thesis,University of Florida(2003)

    本発明は、市販の自律刈取り機および提案された自律刈取り機の上記欠点に鑑み、現状技術の改良を意図するものである。

    総じて、本発明は、自律刈取り機を制御するための改良されたシステムおよび方法を提供することを目的として、改良された自律刈り取り能力を備えた刈り取り機を提供する。 非常に望ましい改良点は、最新技術に比べより広範に変化する照明条件において刈取り機を制御できる点である。

    本発明は、市販されている最新の刈取り機を、付加的なカメラ検知機能により拡張することで、上記問題を解決する。 カメラ検知は、上述したいくつかの従来技術文献において既に提案されているが、通常、その処理はパラメータが固定された撮像および制御アルゴリズムを用いて行われている。 その結果、この手法は、実世界の庭において生じる照明変化の下ではうまく機能しない。

    特に、本発明は、少なくとも1つのセンサがカメラである複数のセンサと、少なくとも1つのモータとが備えられる自律刈取り機のための制御システムであって、複数のセンサのパラメータおよび少なくとも1つのモータのコマンドの複合制御を行なうように適合されるとともに、少なくとも1つのカメラによって得られる画像に関して計算を行なうように適合される制御システムに関する。

    好ましくは、本制御システムは、少なくとも1つのカメラからの画像を使用して該画像中のピクセルを草であるか又は草でないものとして分類し、それにより草マップを作成する草検出モジュールと、草マップと現在のセンサデータとを組み合わせて複数のセンサのパラメータを改善するセンサ制御モジュールであって、草としてマークされたピクセルの強度が前記少なくとも1つのカメラのパラメータを調整するために使用されるセンサ制御モジュールと、草マップに従って少なくとも1つのモータにより自律刈取り機の移動を制御するモータ制御モジュールであって、前記センサ制御モジュールにより変更可能な複数のセンサのパラメータの影響を受けるモータ制御モジュールとを備え、センサ制御モジュールは、センサデータを改善すべく、モータ制御モジュールのパラメータを変更するように適合される。

    好ましくは、自律刈取り機には照明手段が設けられ、センサ制御モジュールは、少なくとも1つのカメラが動作限界に達する場合には照明手段をONに切り換えるように適合される。 従って、暗い照明状態、例えば夜間若しくは暗い領域または日陰領域で、刈取り機を使用することができる。

    好ましくは、制御システムは、照明手段を調光するように適合される。 これにより、例えばカメラパラメータを適合させるために、付加的な照明をセンサ制御モジュールによってスムーズに組み入れることができる。

    好ましくは、草検出モジュールは、色セグメンテーションによって草検出を行なうように適合される。 色セグメンテーションは、実現が容易であるが、信頼性が高い。 色セグメンテーションは、緑色を識別するように最適化することができる。

    好ましくは、本制御システムは、変化する照明状態、草状態、または異なる草タイプに起因する、草色の僅かな変化を監視すべく、時間経過と共にパラメータを調整するように適合される。

    好ましくは、センサ制御モジュールは、少なくとも1つのカメラの、少なくとも露出、ゲイン、および/または、絞り、を含むパラメータを調整するよう適合される。

    好ましくは、センサ制御モジュールは、ダイナミックレンジを均等化(equalizing)することによりカメラ画像の平均強度を最適化するように適合される。

    好ましくは、センサ制御モジュールは、自律刈取り機が障害物に近づく場合には、自律刈取り機をさらにゆっくりと走行させるようにモータ制御モジュールに指示を与えるよう適合される。

    好ましくは、センサ制御モジュールは、さらに長い露出時間および/またはカメラ露出を適合させるためのさらに長い時間が少なくとも1つのカメラにより必要とされる場合には、自律刈取り機をさらにゆっくりと走行させるようにモータ制御モジュールに指示を与えるよう適合される。 このようにすると、長い露出時間に起因して画像中に生じるぶれ(blur)アーチファクトを回避あるいは減らすことができる。 また、刈取り機が露出過度の領域または露出不足の領域に近づくときに、カメラの調整を十分な時間をもって行なうことができる。

    好ましくは、センサ制御モジュールは、自律刈取り機を特定の時間にわたって停止させるようにモータ制御モジュールに指示を与えるよう適合される。 停止時間中、カメラは、例えば、異なるパラメータ設定(例えば、異なる露出時間、ゲインおよび/または絞り)により得られた2つ以上の画像を組み合わせることにより、高ダイナミックレンジ画像を取得できる。

    好ましくは、自律刈取り機にはソナーセンサが設けられ、センサ制御モジュールは、複数のセンサのうちの1つが所定の閾値を超える風を検出する場合には、自律刈取り機をさらにゆっくりと走行させるようにモータ制御モジュールに指示を与えるよう適合される。 このようにすると、風によって損なわれる可能性のあるソナーセンサの安全性を高めることができる。

    好ましくは、自律刈取り機には赤外線センサと赤外光源とが設けられ、センサ制御モジュールは、赤外線センサが所定の閾値を下回る赤外光放射を検出すると赤外光源をON/OFF切り換えするあるいは調光するよう適合される。 センサが近赤外線(NIR)センサである場合には、該センサを、特にNIR光を反射する障害物を検出するのに使用できる。 センサが遠赤外線(FIR)センサである場合には、該センサを、人や動物のような熱を放射する障害物を検出するのに使用できる。 また、赤外線センサは、赤外光源がONに切り換えられると、反射された赤外光を検出して周囲環境のさらなる情報を得ることもできる。

    好ましくは、自律刈取り機が少なくとも2つのカメラを有し、好ましくは、上記少なくとも2つのカメラのうちの一方が、自律刈取り機の後方に面し、すなわち、刈取り機の走行方向に対して後方を見るものとする。

    好ましくは、少なくとも2つのカメラはステレオカメラであり、この場合には両方のカメラは同じ方向に面し、好ましくは前方に面している。

    好ましくは、上記少なくとも2つのカメラのうちの少なくとも一つはRGBカメラであり、少なくとも一つは近赤外線カメラである。

    好ましくは、制御システムは、照明状態が通常状態であるときには上記少なくとも2つのカメラに同じパラメータを設定するよう適合され、照明状態が強いコントラストを示すときには上記少なくとも2つのカメラに異なるパラメータを設定するよう適合され、また、上記少なくとも2つのカメラの画像を組み合わせて高ダイナミックレンジ画像を生成するよう適合される。

    また、本発明は、複数のセンサ、好ましくはソナーセンサおよび/または赤外線センサと、少なくとも1つのカメラと、少なくとも1つのモータと、好ましくは照明手段および/または赤外光源と、上述した制御システムと、を備える自律刈取り機に関する。

    さらに、本発明は、少なくとも1つのセンサがカメラである複数のセンサと少なくとも1つのモータとが備えられる自律刈取り機のための制御方法であって、上記複数のセンサのパラメータと上記少なくとも1つのモータのコマンドとの複合制御を行なうステップと、上記少なくとも1つのカメラによって得られる画像に関して計算を行なうステップと、を備える制御方法に関する。

    好ましくは、本制御方法は、少なくとも1つのカメラからの画像を使用して該画像中のピクセルを草又は草でないものとして分類し、それにより草マップを生成する草検出ステップと、複数のセンサのパラメータを改善すべく草マップと現在のセンサデータとを組み合わせるセンサ制御ステップであって、草としてマークされたピクセルの強度を用いて上記少なくとも1つのカメラのパラメータを調整するセンサ制御ステップと、草マップに従って少なくとも1つのモータにより自律刈取り機の移動を制御するモータ制御ステップであって、センサ制御ステップにおいて変化させることのできる上記複数のセンサのパラメータの影響を受けるモータ制御ステップとを備え、センサ制御ステップは、センサデータを改善すべく、モータ制御ステップで使用されるパラメータを修正する。

    上述したように、既知の従来技術の一部は、草色の変化を監視することができる適応的なセグメンテーション機構をも包含する。 また、カメラのゲインおよび露出を制御して当該カメラの信号品質を最適化するための、何らかの既存の作業(例えば、ロボットサッカー分野におけるような)がある。

    しかしながら、既知のいずれの従来技術も、画像処理、カメラ制御、および、モータ制御を、全体的な問題としては考えていない。 そのため、本発明は、ユーザの介入を何ら伴うことなく照明状態の変化に適合する、インテリジェントな刈取り機制御の実現を目的とする。 本発明は、特にカメラが物理的限界に達するとき、例えば高ダイナミックコントラストが存在するときに、カメラの信号品質を向上させるべく、移動(モータ)制御にアクセスする。

    また、上記カメラ信号品質の最適化は、草セグメンテーションマスク(すなわち、色セグメンテーションを用いた草検出により作成される草マップ)に従い、草ピクセルに関する信号品質の改善のみを扱う。 上記最適化は、草でないピクセルの露出過度または露出不足をもたらす場合があるが、それよりもはるかに重要な草ピクセルについての、ロバスト性の更に高い検出を可能にする。 要するに、この発明は、以下の4つの主要な貢献をもたらす。

    第1に、刈取り機の走行制御(モータ制御モジュール)は、カメラセンサの限界を、ある意味で緩和するように適合される。 最近のカメラは、実世界の場面で生じる広範な照明状態をカバーするための取り組みを行っている。 2つの主要な問題は、微光状態と、強い強度コントラストである。 1番目の問題では、カメラは露出時間を長くすることが必要となって、当該カメラが移動するとモーションブラー(motion blur、被写体ぶれ)が生ずることとなり、あるいは、カメラはゲイン値を高くすることが必要となって、カメラノイズが増加することとなる。 このため、いずれの場合も信号品質は悪くなる。 本発明は、刈取り機の移動速度を適切に減少させることによりこの問題を軽減する。 これにより、モーションブラーに起因するカメラ信号の劣化を生ずることなく、より長い露出時間の使用が可能となる。 これは、カメラに必要な露出時間が長ければ長いほど、刈取り機をゆっくりと移動させる、という考え方である。 2番目の問題に対する解決策は、刈取り機が強いコントラストに近づくときに、カメラに、その強い照度差に対して適合するのに十分な時間、例えば露出時間を適合させるのに十分な時間が与えられるように、刈取り機の移動速度を減少させることである。 これが十分でなければ、刈取り機は停止して、異なる露出時間で2つの画像を取得し、非常に大きな強度範囲をカバーする高ダイナミックレンジ(HDR)の画像を生成する。

    第2に、本発明は、特に芝刈りの用途に適合するよう構成された、カメラ露出およびゲインのインテリジェント制御を用いる。 現在画像の全ピクセル強度を考慮に入れてカメラパラメータを適合させるのではなく、草ピクセルの強度だけを考慮に入れて、特に草領域の視認性を最適化する。 これにより、草だけであれば庭全体のシーンほどの大きなダイナミックレンジは不要となるので、草検出のロバスト性がさらに高くなる。

    第3に、本発明は、異なる目標値を用いてカメラ信号品質を最適化する。 最新技術の手法では、[0. . . 1](すなわち、0〜1)の強度範囲においては平均ピクセル強度の目標値を0.5(または、[0...255]の強度範囲においては125)とするが、本発明では、カメラセンサのダイナミックレンジ内での強度の対数的な平衡点(logarithmic equilibrium)を目標値とする。 これは、多量のカメラピクセルが検出限度に達する前に、放射照度を半分にする頻度と2倍にする頻度とを丁度同じにできることを意味する。 従って、カメラは、放射照度の増加(例えば、日陰から日向への走行時)および放射照度の減少(例えば、日向から日陰への走行時)の両方にうまく適合することができる。 放射照度は、表面上に入射する単位面積当たりの電磁放射(すなわち、放射束)の電力である。 放射発散度(radiant emittance or radiant exitance)は、表面により放射される単位面積当たりの電力である。

    例えば、カメラピクセルの最小適正強度が10であり、最大強度が255である場合には、平衡値はほぼ50となる。 これは、カメラセンサの限界に達する前に、平衡目標値を半分にする頻度と2倍にする頻度とを丁度同じにできることを意味する。 すなわち、50/2^2.34=10および50*2^2.34=255である。

    第4に、刈取り機には、照明手段、例えばヘッドライトが、任意選択で設けられる。 照明手段は、露出およびゲインを最大としても良好な信号品質が得られない夜間などの、微光状態での刈り取りを可能にする。 照明は、カメラの露出およびゲインの制御ならびに刈取り機の走行速度と併せて制御される。 カメラパラメータの適合と速度減少との組み合わせにより照明状況に対処できる間は、照明は点灯されない。 走行速度を閾値未満に設定する必要が生じた場合や、露出およびゲインがそれらの限界に達する場合には、直ぐに照明が点灯される。 照明状態をスムーズに変更できるように、照明は調光できるものであることが好ましい。 これにより、カメラの露出およびゲイン、刈取り機の移動速度、ならびに、能動的照明の全体制御が容易になる。

    さらなるロバスト性のため、適応的色セグメンテーションなどの、既に知られた技術を用いることもできる。 適応的草セグメンテーションは、照明変化(例えば、夕方に太陽光がさらに赤くなる)または草の状態(例えば、雨の後の湿った草はより暗い色となり、乾燥した草はあまり鮮明な色にはならない)に起因して生じる場合がある色の変化に連続的に追従する。 また、草セグメンテーションモジュールは、その最初の使用の前に、庭の特定の草色をサンプルビューから学習することによって初期化される。 この初期化は、刈取り機の草セグメンテーションモジュールを所定の状態にリセットする際にも使用することができる。

    以下、添付図面を参照して、本発明をさらに詳しく説明する。

    本発明に係る自律刈取り機を制御するためのシステムを示す図である。

    本発明のシステムの(全体)センサ制御モジュールを示す図である。

    本発明のシステムの(移動)モータ制御モジュールを示す図である。

    本発明のシステムの草(セグメンテーション)検出モジュールを示す図である。

    本発明は、少なくとも1つのカメラ1cと、好ましくは、ソナーセンサ1sまたは赤外線センサ1iのような複数の他のセンサ1と、モータ2のような少なくとも1つの推進システムと、任意選択として少なくとも1つのヘッドライトまたは照明手段3および/またはIR光源と、を有する自動刈取り機に関する。 刈取り機は、芝刈り機であることが好ましいが、何らかの他の種類の刈取り機であってもよい。 刈取り機は、制御システム10を備える。

    刈取り機の制御システム10は、草検出のためのモジュール11と、モータ制御(すなわち、刈取り機の移動制御)のためのモジュール13とを有し、モジュール13は、草検出モジュール11の出力を用いて、例えば刈取り機がその進路上の障害物を回避できるように、あるいは刈取り機が特定の目標、例えば刈取り機を再充電するためのホームベースへと向かうことができるように、モータコマンドを出力する。

    図1に示すように、制御システム10は、インテリジェントな全体制御モジュール12をさらに備え、全体制御モジュール12は、カメラパラメータ(例えば、露出、ゲイン、および、絞り)を適合させることにより特に草検出のためカメラ信号品質を最適化し、モータ制御モジュール13に影響を与え、複数のセンサ1を制御し、および/または、任意選択である照明手段3を他の動作と整合する態様で制御する。 草の視認性を最適化するため、全体制御モジュール(センサ制御モジュールとも称される)12は、草検出モジュール11により草として判定されたピクセルだけを考慮に入れる。 これは、解決すべき実際のタスク(すなわち、草の検出)とは無関係に、むしろ全体の画像信号の向上を目的とする従来の手法とはかなり異なっている。

    従来のロボット芝刈りシステムでは、刈取り機の移動制御はカメラ(パラメータ)の制御とは無関係に行われる。 すなわち、移動制御機構は、カメラの能力を考慮に入れることなく、それ自身の目標(例えば、障害物回避)を達成しようとする。 一方、本発明は、図1に示すセンサ制御モジュール12を有し、特にカメラ1cが特定の限界に達するときには、該センサ制御モジュール12を用いて、刈取り機を特定の移動速度とするよう要求して刈り取り機移動制御器(モータ制御モジュール13とも称される)と通信し、草検出のために画質を改善する。

    センサ制御モジュール12は、単純なカメラ画像と、草検出モジュール11により計算された現在の画像についての草セグメンテーションとを、入力として取得する。 草検出モジュール11は、例えば、カメラ画像の色や彩度についての単純な閾値判定により、草マスクまたは草マップを算出する。 草マスクまたは草マップは、ピクセルが草ピクセルであるかどうかを、2進値表現又は信頼度(そのピクセルが草ピクセルである確からしさ)によって示す。

    センサ制御モジュール12は、図2に示すように機能する。 最初に、センサ制御モジュール12は、草マスクとカメラ画像とを用いて、現在のカメラ画像における草ピクセルの現在の平均強度を算出する。 この平均強度は、その後、第2のステップにおいて、目標平均強度(草セグメンテーションのため最良の画質をもたらすように予め規定され設定される値)と比較され、その比較結果から、カメラ1cのための新たな露出値、ゲイン値、および、絞り値が算出される。 また、刈取り機の移動速度、および照明手段3を利用できる場合には照明手段3が、考慮に入れられる。 すなわち、速度制御信号が生成され、照明手段3のON/OFFまたは調光が行われ得る。 これにより、センサ制御モジュール12は、良好な草視認性が得られるように最適化を行うことができる(例えば、露出過度および露出不足の草ピクセルの数を最小限に抑えることができる)。

    刈取り機(移動)制御モジュール13(図3参照)は、草マスクを用いて自律芝刈り機のインテリジェントな移動を実現する。 この移動動作には、障害物回避、進路プランニング、またはマッピングを含むことができる。 モータコマンド自体は、複数のセンサ1の任意の入力信号、すなわち、違反される場合がある任意の制約(例えば、動作ぼやけをもたらす非常に速い動き)との関連において発出される。 また、刈取り機制御モジュール13は、センサ制御モジュール12から速度制御信号を受けとって、モータコマンドを生成する。 すなわち、センサ制御モジュール12は、例えば刈取り機の移動速度を制限することによって(これにより画像ぶれを減少させる)、あるいは、特定の移動シーケンス(例えば、HDR撮像を行うための短期間停止)を出力することによって、画像信号の品質を向上させることができる。

    図4に示す草セグメンテーションモジュール11(草検出モジュールとも称する)は、照明状態変化に起因して起こり得る草色の変化に追従すべく、時間の経過につれてそのパラメータを適合、すなわち、更新する。 セグメンテーションプロセスは、HSV空間内の草色の平均値と分散に基づいて行われる。 すなわち、パラメータの更新処理は、草色についての現在の平均値と分散とを再評価する処理である。 この再評価を行うため、現在の画像が現在の草マスク(草マップ)と組み合わされる。 そして、現在草と見なされている全てのピクセルの、平均的な色と分散とが計算される。 新たなパラメータは、予め定義された幾つかの限界との関係がチェックされた後(すなわち、比較された後)、セグメンテーションを行なうセグメンテーションサブモジュールへ送られる。 上記限界との比較は、草をもはや特定できなくなってしまうような無効状態へ、システムが移行してしまうのを防止するために必要となる。 セグメンテーション処理は、この新しいパラメータを用いて次の画像フレームを処理する。 任意選択として、これらのパラメータを、ユーザがデフォルト値(初期化にも用いられる)にリセットするものとすることができる。

    要約すれば、本発明の核心は、カメラを備える自律刈取り機のための方法およびシステムであって、当該方法及びシステムでは、上記カメラのパラメータの制御、刈取り機の移動制御、および草検出が、オンライン形態で(動作中に)全体的に最適化される。 すなわち、刈取り機の移動速度を適合させることによってカメラの検出制限を緩和する、という考え方を有するものである。 また、カメラ制御は、草セグメンテーション(検出)によってもたらされる草マスクを用いて草ピクセルのみから露出値、ゲイン値、および、絞り値の更新値を算出することにより、草の視認性を最適化しようとする。 また、草セグメンテーションは、照明の違いによって引き起こされる草色の変化を監視する。 任意選択として、このシステムは、好ましくは調光可能な照明手段3が設けられ、該照明手段を用いて、カメラのパラメータおよび刈取り機の移動速度の制御を行うと共にカメラの信号品質をさらに向上させることができる。

    1 センサ1c カメラ1i 赤外線センサ1s ソナーセンサ2 モータ3 照明手段10 制御システム11 草検出モジュール12 センサ制御モジュール13 刈取り機制御モジュールHDR 高ダイナミックレンジ

    QQ群二维码
    意见反馈