本発明は、鉄道除草車両用の除草システム、鉄道除草車両、そのような鉄道除草車両を使用して列車軌道を除草するための方法、およびそのような除草システムを較正するための方法に関する。

特に、本発明は、鉄道除草車両に関する。鉄道除草車両は、噴霧器と、鉄道軌道沿いの雑草を排除するように適合された除草剤が充填された化学タンクとを備えた特注の噴霧システムが搭載された、除草噴霧列車または軌陸車の形態をとることができる。

除草作業のコストだけでなく環境への影響を低減するために、鉄道除草車両は、植物の緑色に反応する光学センサを備えることができる。そして、地面上で緑色の所定の閾値が検出されたときにのみノズルを開くように、噴霧システムに命令することができる。ドイツ特許公報第4132637号(DE4132637)には、このような改良型の鉄道除草車両が記載されている。

このようなシステムには1つの欠点がある。それは、雑草種に反応しないため、異なる雑草種を異なる除草剤で処理することができないことである。

国際公開公報第99/17606号、欧州特許公報第1521885(B1)号、および欧州特許公報第1875005(B1)号には、そのようなシステムの改良点が記載されており、雑草の放出光のスペクトル分析を行うと共に、観察された雑草の形状を雑草データベースに記憶された形状と比較する形状認識アルゴリズムを用いることで、雑草種を識別している。

このようなシステムには、実際の使用を妨げるいくつかの欠点がある。

第1に、雑草の放出光のスペクトルは、実験室条件で特徴付けることができるが、植物の分光反射率は、雑草種および土壌の違いに応じて自然条件で大幅に異なる。天然に存在する雑草には、工業的に栽培される雑草とは大きく異なり得る非常に多様な種類がある。また、土壌の組成は雑草の色およびその分光反射率に強い影響を及ぼす。その結果、雑草の放出光のスペクトルは、雑草種を区別するための信頼できる基準として通常使用することができない。

第2に、雑草種の多様性が大きいことを考えると、雑草形状データベースは、すべての異なる形状のバリエーション(若い雑草の形状、古い雑草の形状、すべての亜種の形状・・・)を記憶するために、非常に大きくなければならない。したがって、観測された雑草の形状を雑草形状データベースに記憶された形状と比較する形状認識アルゴリズムは、これらの大きなデータベースをスキャンしなければならないため、非常に遅い。

第3に、雑草の放出光のスペクトル分析は、明るさが低い場合、特に日常の交通を停止させて鉄道雑草を行うことができる夜間に、そのようなシステムの使用を困難にする明るさレベルを必要とする。低レベルの明るさおよび鉄道車両の速度は、緑色検出のノイズ問題を引き起こし、これは、取り込まれた画像の鮮鋭度と、取り込まれた画像に基づいて適用することができるプロセスとに悪影響を及ぼす。

その結果、雑草識別アルゴリズムが、カメラによって取り込まれた画像を処理して、雑草種を識別するのに十分な時間を与えるために、鉄道除草車両は、非常に低い速度でしか移動することができない。

したがって、より速い速度、なおかつより高い精度で雑草種を識別することができる除草システムが求められている。

本発明は、特に、この状況を改善することを目的とする。

この目的のために、本発明によれば、鉄道除草車両用のこのような除草システムは、 鉄道車両に取り付けられるように適合されており、前記鉄道車両が列車軌道上を走行している間に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む少なくとも1つのカメラと、 前記鉄道車両に取り付けられるように適合されている噴霧装置であって、 少なくとも2つの供給モジュールであって、各供給モジュールは、化学薬剤タンクと、電子供給弁とを備えた少なくとも2つの供給モジュールと、 前記供給モジュールの少なくとも1つから化学薬剤を噴霧する少なくとも1つのノズルと、 雑草種検出信号を受信し、前記雑草種検出信号に基づいて前記少なくとも1つのノズルを介して前記供給モジュールの少なくとも1つから化学薬剤を噴霧することを選択的に命令することができるコントローラモジュールとを備えた噴霧装置とを備えている。

前記除草システムは、 雑草種識別装置であって、 前記カメラによって取り込まれた前記画像を受信し、雑草種検出信号を前記除草システムの前記噴霧装置の前記コントローラモジュールに送信することができる通信モジュールと、 前記画像を記憶することができるメモリモジュールと、 複数の並列処理コアを備えた処理モジュールとを備えた雑草種識別装置をさらに備え、 各並列処理コアは、それぞれ、前記画像の近傍画素から構築された部分行列と、前記処理装置の前記メモリに記憶された所定のカーネルとの間で少なくとも1つの畳み込み演算を実行して、前記画像の前記画素値の特徴表現部分行列を取得することができ、 前記処理モジュールは、前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも1つの確率を計算して、前記少なくとも1つの確率に基づいて雑草種検出信号を生成することができる、ことを特徴としている。

したがって、カーネルを含む少なくとも1つの畳み込み演算を含むいくつかの演算を使用する前述の「人工知能」の実現のおかげで、たとえば、画像内の雑草種の形状、テクスチャ、色、および/または位置などのいくつかの特徴が、雑草種の認識において一度に考慮される。

逆に、色のみに基づく単純な検出には欠点がある。実際、昼夜で明るさが違うため、色検出のみで雑草種を区別することはほとんど実現可能ではなく、したがって、他の特徴を用いる必要がある。

これらの特徴により、雑草種の識別を高速かつ精度良く行うことができる。並列処理および畳み込み演算により、雑草種の分散された正確な識別が可能となる。

この目的のために、本発明の第1の目的は、鉄道除草車両用の除草システムであって、前記除草システムは、 鉄道車両に取り付けられるように適合されており、前記鉄道車両が列車軌道上を走行している間に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む少なくとも1つのカメラと、 前記鉄道車両に取り付けられるように適合されている噴霧装置であって、 少なくとも2つの供給モジュールであって、各供給モジュールは、化学薬剤タンクと、電子供給弁とを備えた少なくとも2つの供給モジュールと、 前記供給モジュールの少なくとも1つから化学薬剤を噴霧する少なくとも1つのノズルと、 雑草種検出信号を受信し、前記雑草種検出信号に基づいて前記少なくとも1つのノズルを介して前記供給モジュールの少なくとも1つから化学薬剤を噴霧することを選択的に命令することができるコントローラモジュールとを備えた噴霧装置とを備えている。

前記除草システムは、 雑草種識別装置であって、 前記カメラによって取り込まれた前記画像を受信し、雑草種検出信号を前記除草システムの前記噴霧装置の前記コントローラモジュールに送信することができる通信モジュールと、 前記画像を記憶することができるメモリモジュールと、 複数の並列処理コアを備えた処理モジュールとを備えた雑草種識別装置をさらに備え、 各並列処理コアは、それぞれ、前記画像の近傍画素から構築された部分行列と、前記メモリモジュールに記憶された所定のカーネルとの間で少なくとも1つの畳み込み演算を実行して、前記画像の前記画素値の特徴表現部分行列を取得することができ、 前記処理モジュールは、前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも1つの確率を計算して、前記少なくとも1つの確率に基づいて雑草種検出信号を生成することができる。

いくつかの実施形態において、以下の特徴のうち1以上の特徴を使用することもできる。

前記噴霧装置および前記カメラは、前記鉄道車両の長手軸に沿って、離間距離d_sを取って、前記鉄道車両上で互いに離間され、 前記雑草種識別装置は、遅延時間t_lで、前記カメラによって取り込まれた画像から雑草種検出信号を生成することができ、 前記離間距離d_sおよび前記遅延時間t_lは、d_s/(t_l+t_p)>vであり、ここで、vは、列車軌道上を走行する前記鉄道除草車両の速度であり、t_pは、前記噴霧装置の処理時間であり、 前記速度vは、10km/hを超えており、前記離間距離d_sは10m未満であり、 前記カメラは、前記鉄道車両の長手軸に沿って視野の長手方向の広がりFOV_Xを有し、 前記雑草種識別装置は、遅延時間t_lで、前記カメラによって取り込まれた画像から雑草種検出信号を生成することができ、 前記視野の前記長手方向の広がりFOV_Xおよび前記遅延時間t_lは、FOV_X/t_l>vであり、ここで、vは列車軌道上を走行する鉄道雑草車両の速度であり、 前記速度vは、40km/hを超えており、前記視野の前記長手方向の広がりFOV_Xは、5m未満であり、 少なくとも100万個の画素値の行列を含む画像を取り込むために前記カメラが鉄道車両に取り付けられ、前記少なくとも100万個の画素値の各画素は、5平方ミリメートル未満の地面領域の要素領域を独立してカバーし、 各並列処理コアは、前記部分行列と所定のカーネル行列との間の行列間乗算を計算することによって、または前記部分行列の高速フーリエ変換を計算することによって、前記少なくとも1つの畳み込み演算を実行し、 前記処理モジュールの前記並列処理コアは、前記特徴表現行列の近傍値の部分行列の統計値、特に近傍値の前記部分行列の最大値を決定することを含む、前記画像の前記特徴表現行列のプーリング演算を実行することができ、 前記処理モジュールの前記並列処理コアは、前記特徴表現行列の各値に、正規化線形活性化関数等の非線形演算を適用することによって、前記画像の前記特徴表現行列の非線形並列処理を実行することができ、 前記処理モジュールは、前記画像の画素値から生成された入力行列から開始され、雑草種のデータベースの中に雑草種が存在する少なくとも1つの確率を含む出力行列で終了する、一連のn個の処理演算を実行し、特に、前記一連の連続する処理演算のそれぞれの処理演算iは、前の処理演算i−1によって出力された特徴表現行列、または前記画像の画素値から生成された入力行列を入力として取り込んで、特徴表現行列F_iを生成し、 前記出力行列は、前記カメラによって取り込まれた前記画像内の雑草種の前記データベースの中の雑草種の位置を示す少なくとも1つの値をさらに含み、前記雑草種検出信号は、雑草種位置指標を含み、 前記噴霧装置は、前記鉄道車両の横方向に沿って配置された複数のノズルを備え、 前記噴霧装置の前記コントローラモジュールは、前記雑草種検出信号を受信し、さらに、前記雑草種位置指標に基づいて、前記複数のノズルを介して化学薬剤を噴霧することを命令し、 前記噴霧装置は、前記鉄道車両の横方向に沿って複数の目標ゾーンを選択的に噴霧することができる少なくとも1つの可動ノズルを備え、 前記噴霧装置の前記コントローラモジュールは、前記雑草種検出信号を受信し、さらに、前記雑草種位置指標に基づいて前記可動ノズルの位置および/または向きを命令する。

本発明の別の目的は、前記車両に取り付けられた、上で詳述したような除草システムを備える鉄道除草車両である。

本発明のさらに別の目的は、上で詳述した鉄道除草車両を用いた列車軌道の除草方法であり、当該方法は、 前記鉄道車両が鉄道除草車両用の列車軌道プロセスを走行している間に、前記鉄道車両に取り付けられた少なくとも1つのカメラを使用して、前記鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込む工程と、 前記カメラによって取り込まれた前記画像を、前記鉄道車両の雑草種識別装置の通信モジュールにおいて受信し、前記画像を前記雑草種識別装置のメモリモジュールに格納する工程と、 処理モジュールの複数のそれぞれの並列処理コアにおいて、前記画像の近傍画素から構成される部分行列と、前記処理装置の前記メモリに格納された所定のカーネルとの間で複数のそれぞれの畳み込み演算を並列に実行し、前記画像の画素値の特徴表現部分行列を取得する工程と、 前記並列処理コアによって構築された特徴表現部分行列から構築された前記画像の特徴表現行列から雑草種のデータベース中の雑草種が存在する少なくとも1つの確率を計算する工程と、 前記雑草種が存在する少なくとも1つの確率に基づいて雑草種検出信号を生成して、前記雑草種検出信号を前記除草システムの噴霧装置のコントローラモジュールに送信する工程と、 前記鉄道車両に取り付けられた噴霧装置のコントローラモジュールにおいて前記雑草種検出信号を受信する工程と、 前記雑草種検出信号に基づいて、前記噴霧装置の少なくとも1つの供給モジュールから少なくとも1つのノズルを介して化学薬剤を噴霧することを選択的に命令する工程とを含む。

本発明の別の目的は、雑草種のデータベースに列挙されている複数の雑草に噴霧するように適合されている、上で詳述したような除草システムを較正する方法であって、 鉄道車両は、前記鉄道車両が鉄道線路を移動中に、鉄道軌道の一部の画像であって、画素値の行列を含む画像を取り込むことができる少なくとも1つのカメラを備え、 前記鉄道車両は、標的雑草種のデータベースの少なくとも所定数の各雑草種が存在する列車軌道を走行して、標的雑草種の前記データベースの各雑草種の少なくとも所定数の画像を取得し、 前記画像上に前記雑草種をタグ付けすることによって、各雑草種の前記所定数の画像から訓練データセットを構築し、 上で詳述したような除草システムの並列処理コアによって実行される畳み込み演算のための少なくとも1つの所定のカーネルを含む、雑草識別モデルの重みのセットを前記訓練データセットから決定し、 上で詳述したような除草システムのメモリモジュールに、前記除草識別モデルの重みのセットを記憶する。

本発明の他の特徴および利点は、以下に示す、非限定的な例として提示される本発明の実施形態のいくつかの説明および添付の図面の説明から容易に明らかになるのであろう。

図面は以下の通りである:

本発明の一実施形態に係る除草システムを備える鉄道除草車両の概略斜視図である。

図1に示す除草システムのモジュールおよび装置を示す組織図である。

図1と図2に示す除草システムの雑草種識別装置の処理モジュールによって実行される処理演算を詳細に示すフローチャートである。

図1と図2に示す除草システムの雑草種識別装置の処理モジュールによって実行される処理演算を詳細に示すフローチャートである。

本発明の実施形態に係る、図1および図2に示す除草システムを較正するための方法の工程を詳細に示すフローチャートである。

異なる図面において、同じ参照符号は、同様の要素または類似の要素を示す。

図1は、本発明に係る鉄道除草車両1の一例を示す。

鉄道除草車両1は、レール軌道上を走行するように設計されている。特に、鉄道除草車両1は、列車とすることもでき、あるいはレール軌道および一般道路の両方で動作することができる軌陸車とすることもできる。鉄道除草車両1は、単一のワゴンを備えてもよく、あるいは複数の鉄道車両および/または機関車で構成されてもよい。

鉄道除草車両1は通常、長手方向Xに垂直な横方向Yに並置された2つのレールを備える、鉄道の軌道上を長手方向Xに沿って延在し、走行するように設計される。

鉄道除草車両1は、図2に概略的に示されている本発明による除草システムを備える。

より正確には、除草システム2は、1以上のカメラ3と、噴霧装置4と、雑草種識別装置5とを備える。

カメラ3は、鉄道車両1が列車軌道上を走行している間に、鉄道の軌道の一部の画像を取り込むことができるように、鉄道車両1に取り付けられている。一部のカメラ3は、例えば、車両の前方または下方に取り付けられており、レール軌道を分離するバラストおよび枕木の画像を取り込むことができる。バラストの両側の画像を取り込むために、追加のカメラ3を車両の各側面に取り付けることができる。変形例では、レール軌道の対象領域全体の画像を取り込むために、単一のカメラ3を使用し、車両に取り付けることができる。カメラ3は、車両1の移動中の振動を低減し、取り込まれる画像の鮮鋭度を高めるために、ショックアブソーバに取り付けることができる。以下に説明するように、雑草種の認識においては、画像内の雑草種の形状、テクスチャ、色および/または位置といったいくつかの特徴が考慮される。このような情報を得るためには、取り込まれる画像の鮮鋭度も重要である。実際、有利には、画像の取り込みは、交通量が少ない夜間に行われ、鉄道車両1は高速で走行している。したがって、多種多様な雑草種を認識するためには、いくつかの基準が必要である。

各カメラ3は、CCDまたはCMOSセンサなどのセンサ6と、複数のレンズおよび/またはミラーを備える光学系7とを備える。

カメラ3は、画素値の行列を有する画像を取り込む。各画像はW*H画素を含む(Wは、画像の幅に沿った画素の数であり、Hは、画像の高さに沿った画素の数である)。カメラの幅Wおよび高さHは、カメラのセンサの解像度を規定する。センサは、特に、少なくとも100万画素値、より好ましくは500万画素値を超える画素値の行列を含む画像を取り込むことができる。

あるいは、線形カメラを使用することができ、画素値の行列を線形カメラの出力から再構成することができる。

有利には、カメラによって取り込まれた画像が少なくとも100万個の画素値の行列を含み、前記行列の各画素が、それぞれ独立して、5平方ミリメートル未満、好ましくは2平方ミリメートル未満の地面の領域をカバーするように、カメラの位置、センサの解像度、および光学系のデザインが選択される。カメラのそのような空間解像度は、以下でさらに詳述するように雑草種を確実に識別できるようにするために重要である。

カメラ3は、カラーカメラであってもよい。この場合、画素値はそれぞれ、例えば、RGB(赤−緑−青)値等の3つのチャネルを含み、画素値の行列は、例えば、寸法がW*H*3の3Dマトリクスである。

従来公知の除草システムとは対照的に、カメラ3は、カラーフィルタおよび偏光子を有していなくてもよい。特に、カメラ3の光学系7は、レンズおよび/またはミラーのみで構成されてもよい。雑草を識別するためには、一般的な色のみを必要とし、絶対スペクトル情報を必要としないので、裸の状態のカメラを使用することができ、雑草種の識別に必要な空間分解能を得るために選択されたレンズおよびミラーのみを備えることができる。

噴霧装置4も、鉄道車両1に取り付けられ、ここでより詳細に説明されるいくつかの構成要素を備える。

図2に示すように、噴霧装置4は、少なくとも2つの供給モジュール8と、少なくとも1つのノズル9と、コントローラモジュール10とを備える。

各供給モジュール8は、薬剤タンク11と、電子供給弁12とを備えている。

薬剤タンク11は、除草剤または水とすることができる液体を収容する。

タンクは、水および除草剤のプレミックスを収容することができ、あるいは、水の別個のタンクは、供給中または供給直前にその場で除草剤と混合される水を収容することができる。各供給モジュール8は、異なる液体を収容するタンク11を備えることができる。例えば、1つの供給モジュール8は、雑草の発芽前の除草処理に適合した活性剤を含有する除草剤を収容するタンク11を備えることができ、別の供給モジュール8は、雑草の発芽後の除草処理に適合した活性剤を含有する除草剤を収容するタンク11を備えることができる。

噴霧装置4は、前記供給モジュール8の少なくとも1つから化学薬剤を噴霧するための少なくとも1つのノズル9を備える。

噴霧装置4のコントローラモジュール10は、以下でさらに説明するように、雑草種識別装置5から雑草種検出信号を受信する。この信号に基づいて、コントローラモジュール10は、供給モジュール8の少なくとも1つからノズル9を介して化学薬剤を噴霧することを選択的に指令する。

コントローラモジュール10は、雑草種検出信号を受信した後、噴霧遅延を伴って化学薬剤の噴霧を命令することができる。

噴霧遅延は、雑草認識装置の遅延時間と、車両1の速度と、ノズル9とカメラ3との間の較正された距離とに基づいて計算することができる。

噴霧遅延はまた、例えば、噴霧装置の機械システムの遅延時間と噴霧装置の管内の液体の移動時間とに対応する、化学薬剤の予め較正された送達時間を考慮に入れてもよい。

本発明の一実施形態において、雑草種検出信号は、雑草種に関する情報のみを含む。次に、噴霧装置4のコントローラモジュール10は、この雑草種に適応した除草剤を含む供給モジュール8を選択し、電子供給弁12、および必要であればノズル9に、化学薬剤を噴霧するように命令する。

本発明の他の実施形態において、雑草種検出信号は、雑草種位置指標を含むことができる。

これらの実施形態のうちの1つにおいて、噴霧装置4は、鉄道車両の横方向Yに沿って配置された複数のノズル9を備える。ノズル9は、車両1の下および/または列車の側面に配置されてもよい。

この実施形態では、噴霧装置4のコントローラモジュール10が、次に、雑草種検出信号を受信して、雑草種位置指標に基づいて複数のノズル9を通して化学薬剤を噴霧するように命令することができる。特に、地面上の雑草の位置に応じて、限られた数のノズル9のみが開放されてもよい。

変形例では、噴霧装置4が少なくとも1つの可動ノズル9を含むことができる。可動ノズルは、地面上の複数の目標ゾーン、例えば、鉄道車両1の横方向Yに沿って並置された複数の目標ゾーンを選択的に噴霧することができる。可動ノズル9は、その位置および/またはその向きを傾斜または摺動制御装置によって制御されてもよい。

この実施形態において、噴霧装置4のコントローラモジュール10が雑草種検出信号を受信し、雑草種位置指標に基づいて可動ノズル9の位置および/または向きを命令する。特に、ノズル9の位置および/または向きは、地面上の正しい位置に除草剤を噴霧するために、地面上の雑草の位置に従って合わせてもよい。

上述の2つの実施形態を組み合わせて、独立に移動されたり、選択される複数の可動ノズルを提供することができる。

ここで、本発明の一実施形態に係る雑草種識別装置5をより詳細に示す図2をより具体的に参照する。

雑草種識別装置5は、通信モジュール13と、メモリモジュール14と、処理モジュール15とを備える。

通信モジュール13は、カメラ3によって取り込まれた画像を受信し、既に前に説明したように、雑草種検出信号を除草システム1の噴霧装置4のコントローラモジュール10に送信する。

特に、カメラ3は、レール軌道上の車両1の移動中に連続的な画像ストリームを生成することができ、この場合、通信モジュール13は、前記画像を連続的に受信することができ、雑草種識別装置5のすべてのモジュールは、リアルタイムまたはソフトリアルタイムで演算することができ、したがって、雑草種検出信号の連続ストリームを生成し、噴霧装置4のコントローラモジュール10に送ることもできる。

通信モジュール13は、有線通信又は無線プロトコル(例えば、赤外線またはWi−Fi等の光学または無線プロトコル)を用いて、カメラ3および噴霧装置4のコントローラモジュール10と通信することができる。

メモリモジュール14は、受信した画像または画像のストリームを記憶することができる。メモリモジュール15は、いくつかのサブモジュールを含むことができ、雑草種識別装置5のいくつかのチップに分散させることができる。特に、メモリモジュール14は、不揮発性記憶メモリおよび揮発性記憶メモリを含むことができる。

処理モジュール15は、複数のp個の並列処理コア16を含む。並列処理コア16の数pは1よりも大きい。処理モジュールは、例えば、少なくとも4つの並列処理コア16を含むことができる。並列処理コア16は、以下により詳細に説明するように、並列計算カーネルを実行することができる。

各並列処理コア16は画像の処理をさらに並列化するために、複数のサブコアプロセッサを備えることができる。

特に、並列処理コアは、例えば、中央処理装置(CPU)またはグラフィカル処理装置(GPU)のような単一のコンピューティング構成要素15の一部であってもよい。

並列処理コア16は、メモリモジュール14の特定の領域にアクセスすることができ、特に、メモリモジュール14は、処理モジュール15に近接して配置されたメモリチップ、例えば、処理モジュール15を組み込んだグラフィック処理装置のメモリチップを含むことができる。

各並列処理コア16は、画像の画素値の特徴表現部分行列Fを得るために、画像の近傍画素から構成された部分行列Pと、メモリモジュール15に記憶された所定のカーネルKとの間の少なくとも1つの畳み込み演算を実行する。例えば、選択された画像の近傍画素の各部分行列は、予め定義された格納されたカーネルKと同じ寸法を有する。

カーネルKは、画像内の任意の画素に対する同等の受容野と見なすことができる小さな行列である。

畳み込み演算は、カーネルKのエントリと、画像の近くの画素から構築された部分行列Pとの間の内積を計算して、画像のフィルタリングされた表現である特徴表現部分行列を生成することを含む。

先に説明したように、画像の部分行列Pは、この画像の近くの画素に対応する。したがって、各画像はカーネルKと各部分行列Pとの間で計算される内積が典型的にはいくつかの特徴表現部分行列を生成することができるように、いくつかの部分行列Pに分割することができる。次いで、これらの特徴表現部分行列から特徴表現行列を構築することが可能である。

畳み込み演算の局所性から判断して、画像の処理を強く加速する当該畳み込み演算は、容易に並列化され得る。

さらに、以下でさらに詳述するように、カーネルの係数は、カーネルが一般的であるとともに、多種多様な雑草種に適用することができるように較正することができる。カーネルの係数の決定は雑草識別モデルの重みの決定の一部である。カーネルKを用いて実行される畳み込み演算は、雑草種の各々を認識することを見越しておくべきであることを意味する。したがって、カーネルの係数は、各雑草種を特徴付ける特徴を表す。

異なる雑草種を区別するために、画像中の雑草種の形状、テクスチャ、色、および/または位置といった、いくつかの特徴を、単独でまたは組み合わせて考慮に入れることができる。したがって、カーネルの係数または重みは、これらのパラメータまたは特徴に応じて較正されなければならない。異なる雑草種を区別する十分な数の特徴を考慮することによって、雑草種の認識の効率および前記認識の速度が向上する。これは、鉄道車両1が列車軌道上をより速く走行することを可能にするために特に有利である。

具体的には、前記畳み込み演算を実行するために、各並列処理コアは、部分行列Pとカーネルに関連付けられた所定のカーネル行列Kとの間の行列間乗算を計算することができる。

カーネルKの係数は画像全体にわたって同一であり、したがって、並列処理コア間で同一であることができ、または画像上の位置に応じて変化することができる。

この行列間乗算は、画像の処理速度を増加させるために従来の並列処理代数アルゴリズムを使用することによって並列化することができる。

あるいは、畳み込み演算は、画像の部分行列Pの高速フーリエ変換を計算することによって実行されてもよい。

図3および図4に示すように、処理モジュールは通常、画像の画素値から生成された入力行列Iから開始され、雑草種のデータベースの中に雑草種が存在する少なくとも1つの確率を含む出力行列Oで終了する、一連のn個の処理演算を実行する。

有利には、前記一連の連続する処理演算のそれぞれの処理演算iは、前の処理演算i−1によって出力された特徴表現行列F_i−1、または画像の画素値から生成された入力行列Iを入力として取り込んで、特徴表現行列F_iを生成する。

処理演算は、以下のうちの少なくとも1つを含む: −前述したような畳み込み演算 −プーリング演算、および/または −非線形並列処理。

ここで、プーリング演算および非線形並列処理についてさらに詳細に説明する。

プーリング演算は、処理モジュールの各並列処理コアによって実行することができる。

プーリング演算は、入力行列Iまたは先行する処理演算i−1によって出力された特徴表現行列F_i−1から決定された近傍値の部分行列Sに対して実行することができる。

特徴表現行列F_iは、カーネルKと、入力行列Iまたは特徴表現行列F_i−1の部分行列Pとの間の畳み込み演算を適用することによって得られる特徴表現部分行列から構築することができる。同様に、特徴表現行列F_iは、近傍値のいくつかの部分行列Sに分割することができる。同様に、入力行列Iは、近傍値のいくつかの部分行列Sに分割することができる。

プーリング演算は、近傍値の各部分行列Sに適用することができる。例えば、プーリング演算が特徴表現行列に適用されるとき、特徴表現部分行列を近傍値の部分行列Sとすることが可能である。

プーリング演算は、最も重要な情報を保存することによって、特徴表現行列F_i−1または入力行列Iの大きさを縮小する局所演算である。例えば、近傍値の各部分行列Sについて、1つの値のみが保持される。換言すれば、プーリング演算を適用した後、例えば、特徴表現行列F_i−1又は入力行列Iの部分行列S毎に1つの値のみを含む、縮小された大きさを有する特徴表現行列F_iが得られる。

プーリング演算は、近傍値の前記部分行列Sの統計値を決定することを含む。統計値は、例えば、いわゆる最大プーリング(max−pooling)のように、前記部分行列Sの最大値である。最大プーリング演算が使用される実施形態では、各部分行列Sの最大値のみが保持される。

プーリング演算は局所演算であるので、後者も容易に並列化することができ、トレーニング画像と試験画像との間における画像内の植物の小さな並進に関して雑草種識別のロバスト性を高めることができる。

処理モジュールの並列処理コアは、入力行列Iまたは先行する処理演算i−1によって出力された特徴表現行列F_i−1の非線形並列処理を実行することもできる。

「非線形演算」とは、スカラー、ベクトル、またはテンソルxに適用される非線形関数fの出力y=f(x)が前記スカラー、ベクトル、またはテンソルxに対して線形でないことを意味する。

非線形関数の一例として、関数f(x)=max(0,x)などの正規化線形ユニット、または漏洩正規化線形ユニット、パラメトリック正規化線形ユニット、または、マックスアウト(「maxout」)ユニット等の一般化された直線化された線形ユニットである。例えば、一般化された関数は、以下のようになる: f(x)=max(0,x)+a*min(0,x)。 ここで、aは所定のパラメータである。

非線形関数は、入力行列Iまたは特徴表現行列F_i−1のそれぞれの値に独立に適用することができる。

プーリング演算とは異なり、非線形演算は、入力行列Iまたは特徴表現行列F_i−1の大きさを保存することができる。

一方、一実施形態において、1以上の演算に重み付けを行うことができる。異なる演算の重み付けは、例えば、以下に記載する学習ステップ中に決定されてもよい。

ここでも、入力行列Iまたは特徴表現行列F_i−1のそれぞれの値に非線形関数を独立に適用することにより、処理の並列化が容易になり、雑草識別装置の遅延時間が短縮される。

従って、連続的な処理演算は、雑草種のデータベース内の各雑草種を検出する確率を含む出力行列を導くことができる。

本発明のいくつかの実施形態において、出力行列は、カメラによって取り込まれた画像内の雑草種の位置を示す少なくとも1つの値をさらに含むことができる。

これにより、ノズルの選択および/または移動を行って、化学物質消費を低減することが可能になる。

有利には、識別されたすべての雑草種を、位置情報と共に提供してもよい。

雑草種の位置を示すそのような値は、例えば、カメラによって取り込まれた画像内の雑草種の位置を示すバウンディングボックスであってもよい。

したがって、出力行列から、処理モジュール15は、雑草種のデータベースの中の雑草種の存在の少なくとも1つの確率を計算することができる。

したがって、処理モジュール15は、前記存在確率に基づいて雑草種検出信号を生成することができる。

このように、上述した特殊な演算と並列処理とを用いることにより、遅延時間の非常に短い雑草識別システムを得ることができる。

より正確には、雑草種識別装置5が、遅延時間t_lで、カメラ3により取り込まれた画像Iから雑草種検出信号を生成することができる。

遅延時間t_lは、対応する画像Iの受信から雑草種検出信号の生成を分離する時間に対応する。

遅延時間t_lは、500ミリ秒未満、特には200ミリ秒未満、または更には100ミリ秒未満であってもよく、75%を超える対応する検知精度、特には90%を超える対応する検知精度を有する。

検出の精度とは、多数の画像、例えば1000を超える画像において観察される雑草種からの検出の数(すなわち、前記画像上に現れる雑草標本の総数にわたる真の陽性の数)を意味する。

また、噴霧装置4、特に噴霧装置のノズル9と、カメラ3とは、鉄道車両の長手軸Xに沿って、離間距離d_sを取って、鉄道車両1上で互いに離間することができる。

離間距離d_sおよび遅延時間t_lは、d_s/(t_l+t_p)>vとすることができ、ここで、vは列車軌道上を走行する鉄道除草車両1の速度であり、t_pは、噴霧装置の処理時間である。

噴霧装置の処理時間t_pは、雑草が識別されたという情報を噴霧装置が受信してから除草剤が実際に噴霧されるまでの時間である。この時間は特に、上で詳述した遅延を含み得る。噴霧装置の処理時間t_pは、例えば1秒程度である。

一実施形態において、鉄道車両が列車軌道上を走行する列車であってもよい。この実施形態において、速度vが40km/hを超えてもよく、より好ましくは50km/hを超えてもよく、さらには80km/hを超えてもよい。この実施形態においても、噴霧装置およびカメラは、鉄道車両上で互いにかなり離れていてもよく、例えば10〜40m離れて配置されてもよい。

別の実施形態において、鉄道車両が列車軌道上を走行する道路レール車両であってもよい。この実施形態において、速度vが、例えば、10km/h〜30km/hであってもよい。この実施形態においても、噴霧装置およびカメラは、鉄道車両上で互いに極めて近接していてもよく、例えば2〜10m離れて配置されてもよい。

遅延時間t_lは、以下に説明するように、カメラ3によって制約されてもよい。カメラ3の取り込みシステムは、所定の視野(FOV)を有する。より正確には、レンズ焦点距離およびイメージセンササイズが視野と作動距離(レンズの背面と画像化された鉄道軌道との間の距離)との間の関係を設定する。従って、視野は、カメラのセンサ上に取り込まれた検査領域である。視野の大きさおよびカメラのセンサの大きさは、画像解像度(精度の1つの決定要因)に直接影響を及ぼす。視野は特に、上で詳述したように、雑草種を識別することができるために必要とされる分解能によって制限される。

したがって、視野は、平方メートルで表されてもよく、特に10平方メートル未満、例えば約5平方メートルであってもよい。

視野は、長手方向Xおよび横方向Yに沿って延在する。

視野の長手方向の広がりFOV_Xは、1m〜3mであってもよい。視野の横方向の広がりFOV_Yは、1m〜5mであってもよい。

また、遅延時間は、視野の長手方向の広がりFOV_Xと、カメラのフレームレートとによって制約されてもよい。

例えば、カメラが約1メートルの視野の長手方向の広がりFOV_Xを有する場合、カメラは、鉄道車両が鉄道線路上を1メートル走行するたびに新しい画像を出力しなければならない。バッファへの画像の蓄積を防止するために、雑草種識別装置の遅延時間は、カメラ3の2つの連続した取り込みの間の時間よりも短くなければならない。

特に、視野の長手方向の広がり(FOV_X)と遅延時間(t_l)との関係は、 FOV_X/t_l>v と設定することができ、または等価的に、 t_l

X/v と設定することができる。

例えば、視野の長手方向の広がり(FOV_X)が約1メートルであり、速度(v)が約60km/h、すなわち14m/sである場合、遅延時間(t_l)は60ミリ秒未満でなければならない。

前述の処理演算のパラメータ、特に畳み込み演算のカーネルのパラメータは、以下により詳細に説明する較正プロセスを実行させることによって決定することができる。

雑草種のデータベースには、複数の雑草種が列挙されている。雑草種のデータベースには、例えば、スズメノカタビラ、セイヨウノコギリソウ、セイヨウトゲアザミ、ヒメムカシヨモギ、ヤワゲフウロ、ヘラオオバコ、セネシオイナエクイデンス、タイワンハチジョウナ、セイヨウタンポポ、シロツメクサ、メマツヨイグサ、またはスギナが含まれてもよい。

鉄道車両1のような鉄道車両は、鉄道線路上での前記鉄道車両の移動中に鉄道軌道の一部の画像を取り込むことができる少なくとも1つのカメラ3を備える。

較正プロセス中に使用されるカメラ3は、上述したカメラと同様のものとすることができる。

鉄道車両1もまた、カメラのみを備え、したがって噴霧装置4または雑草種識別装置5を備えないことを除いて、同様であってもよい。

カメラ3は上で詳述したように、画素値の行列を含む画像を取り込む。

鉄道車両1は、標的雑草種のデータベースの少なくとも所定数の各雑草種が存在する列車軌道を走行する。所定の数は有利には多数であり、例えば、各標的雑草種の数百または数千のサンプルよりも多い。

したがって、鉄道車両1は、標的雑草種の前記データベースの各雑草種の少なくとも所定数の画像を取得する。例えば、数百または数千を超える画像が、各標的雑草種のサンプルを含む。雑草種の少なくとも所定数の画像を取得するこの工程は、図5に示すプロセスの第1の工程である。

第2の工程では、画像上に雑草種をタグ付けすることによって、各雑草種の所定数の画像から訓練データセットを構築することができる。タグ付け動作は、画像内で取得された各サンプルについて雑草のカテゴリを割り当てることを含んでもよく、また、前記画像内に示された各雑草種の、画像内における位置のバウンディングボックスまたは表示を定義することを含むこともできる。

したがって、雑草の各カテゴリについて、本発明者らは、雑草の前記カテゴリを示すいくつかのサンプルを有する。次いで、雑草のカテゴリの形状、テクスチャ、色および/または位置のような前記サンプル間の共通の特徴を決定することが可能である。以下に説明する学習ステップは、訓練データセットと、カテゴリが割り当てられたタグ付き雑草種とに基づく。

言い換えれば、異なる雑草種が示された画像から、当該異なる雑草種間で区別が可能となる特徴を決定することが可能である。したがって、雑草種を区別する基準を示す必要さえない。これは、これらの基準が、画像の分析、および同じ雑草種を示すものとしてタグ付けされたいくつかのサンプル間の共通の特徴の決定によって自動的に決定され得るからである。

次に、第3の工程では、雑草識別モデルの重みのセットが訓練データセットから決定される。雑草識別モデルの重みのセットは、上で詳述したように、畳み込み演算のための少なくとも1つの予め定義されたカーネルを含む。

実際、カーネルの係数は、カーネルが一般的であるとともに、多種多様な雑草種に適用することができるように較正されなければならない。カーネルの係数は、訓練データセットに基づいて決定される。再び、カーネルの係数は、画像内の雑草種の形状、テクスチャ、色および/または位置のような訓練データセットに基づいて学習された異なる雑草種の特徴に基づいて決定される。

したがって、訓練データセットとも呼ばれる、鉄道車両1によって取得された画像は、雑草種の特徴を学習して、雑草識別モデルの重みのセットならびにカーネルの係数を決定することを可能にする。この学習ステップは、モデルの精度を最大にするために実行される。このステップの目標は、例えば、データセット内の列にタグ付けされた雑草サンプルを予測する確率を最大にすることである。モデル重みのセットは、機械学習技術、例えば、勾配降下アルゴリズムを使用することによって決定されてもよい。前述の演算は、訓練データセットの画像に対して実行される。演算を実行するために最初に使用されるカーネルの係数は、異なる方法で決定することができる。例えば、カーネルの係数は、ランダムに予め定義することができる。次に、演算が実行された画像上の誤り率を決定することが可能である。実際、異なる雑草種が画像上にタグ付けされているので、演算を実行することによって得られる検出が正しいかどうかを、タグ付けされた雑草種ごとに比較することが可能である。誤り率が許容できない場合、例えば、誤り率が所定のしきい値よりも高いかどうかにかかわらず、雑草識別モデルの重みのセット、したがってカーネルの係数を修正するために、逆伝播学習を実行することができる。明らかに、第1のパスの後、特にこれらのパラメータがランダムに予め定義されている場合には、雑草識別モデルの重みにかなりの修正が必要である。このステップは明らかに、必要なだけ繰り返すことができる。

上記を要約すると、訓練データセットは学習ステップのために使用され、学習ステップの間に演算の重みおよびカーネルの係数が決定される。各雑草種の形状、テクスチャ、色、および/または位置などの特徴は、サンプルごとに雑草のカテゴリを割り当てるためにタグ付け動作が実行された訓練データセットの画像に基づいて自動的に決定される。訓練データセットの画像に対して演算を実行した後、モデルの精度が、例えば誤り率で推定され、雑草識別モデルの重みを修正するために逆伝播学習が実行される。この演算を実行するステップと、逆伝播学習とを繰り返すことにより、得られる誤り率を低減することができる。最後に、第4のステップにおいて、雑草識別モデルの重みのセットは、除草システム2のメモリモジュール14に記憶され、上述したように除草動作に使用することができる。

当業者にはよく理解されるように、本発明を説明するために本明細書で説明されるいくつかの様々なステップおよびプロセスは、電気現象を利用してデータを操作および/または変換するコンピュータ、プロセッサ、または他の電子計算デバイスによって実行される動作を参照することができる。これらのコンピュータおよび電子デバイスは、コンピュータまたはプロセッサによって実行されることが可能な様々なコードまたは実行可能命令を含む、実行可能プログラムが格納されたコンピュータ読み取り可能な非一時的な媒体を含む様々な揮発性および/または不揮発性メモリを使用することができ、メモリおよび/またはコンピュータ読み取り可能な媒体は、すべての形態およびタイプのメモリおよび他のコンピュータ読み取り可能な媒体を含むことができる。

前述の議論は本発明の単なる例示的な実施形態を開示し、説明したにすぎない。当業者であれば、このような議論から、また添付の図面および特許請求の範囲から、以下の特許請求の範囲に定義される本発明の精神および範囲から逸脱することなく、様々な変更、修正、および変形を行うことができることを容易に理解するであろう。