電気通信インベントリ管理のためのシステムおよび方法

(関連出願の相互参照および優先権) 本出願は、2017年3月24日に提出されたインド特許出願(タイトル:電気通信インベントリ管理のためのシステムおよび方法)であるインド特許出願公開第201721010459号明細書の優先権を主張する。前述の出願の内容全体が、参照により本明細書に組み込まれる。

本明細書の実施形態は、一般に電気通信インベントリ管理に関し、より詳細にはストリートビュー画像を使用する対象物認識および位置測定による電気通信インベントリ管理に関する。

この数10年間にわたり、電気通信業界は、技術の指数関数的成長を、したがって電気通信産業の顧客基盤の指数関数的成長を体験してきた。技術の変化、および顧客の期待が増すことにより、電気通信会社は、自社のネットワーク、および対応する装置を迅速に、徹底的に見直すために、きわめて強い圧力を受けてきた。電気通信会社はまた、費用を抑え続けて、株主を喜ばせ、満足させ続ける必要がある。このために、電気通信会社は、銅線ネットワークからファイバネットワークに性能を高めるために、地上および地下の電気通信資産に関して、それらの対応する位置と共に、正確な知識を有する必要がある。したがって、資産インベントリ管理は、とりわけ電気通信、電力設備、輸送などのインフラストラクチャサービスを提供する多くの組織にとって困難な問題である。

以下は、実施形態を基本的に理解するために、本開示のいくつかの実施形態の簡略化した概略を示す。この概略は、実施形態の広範囲にわたる概観ではない。この概略は、実施形態の重要な/決定的に重要な要素を識別することを意図するものでも、実施形態の範囲を正確に叙述することを意図するものでもない。この概略の唯一の目的は、以下で提示する、より詳細な記述に対する導入として、いくつかの実施形態を簡略化した形で提示することである。

前記を考慮すると、本明細書の実施形態が、電気通信インベントリ管理のための方法およびシステムを提供する。一様態では、電気通信インベントリ管理のためのプロセッサ実装方法が提供され、そこでは、方法が、1つまたは複数のハードウェアプロセッサを介して、1つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップを含む。1つまたは複数の電気通信資産が、対応する全地球測位システム(Global Positioning System、GPS)位置座標と関連づけられる。さらに、方法が、1つまたは複数のハードウェアプロセッサを介して、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で1つまたは複数の電気通信資産を検出するステップを含む。1つまたは複数の電気通信資産を検出するステップが、1つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを含む。さらに、方法が、1つまたは複数のハードウェアプロセッサを介して、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で1つまたは複数の電気通信資産の実世界の位置を推定するステップを含む。地理的地域内で1つまたは複数の電気通信資産の近辺の、複数の連続する位置から、多視点画像のセットを取り込む。さらに、方法が、1つまたは複数のハードウェアプロセッサを介して、推定した実世界の位置に少なくとも基づき、1つまたは複数の電気通信資産のGPS位置座標を検証するステップを含む。

別の様態では、電気通信インベントリ管理のためのシステムが提供される。システムが、1つまたは複数のメモリと、1つまたは複数のハードウェアプロセッサとを含み、1つまたは複数のメモリが、ハードウェアプロセッサに結合し、そこでは、1つまたは複数のハードウェアプロセッサが、1つまたは複数のメモリに記憶された、プログラムされた命令により、1つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るように構成される。1つまたは複数の電気通信資産が、対応するGPS位置座標と関連づけられる。さらに、1つまたは複数のハードウェアプロセッサが、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で1つまたは複数の電気通信資産を検出するための、プログラムされた命令を実行することができる。1つまたは複数の電気通信資産を検出することが、1つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを含む。さらに、1つまたは複数のハードウェアプロセッサが、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で1つまたは複数の電気通信資産の実世界の位置を推定するための、プログラムされた命令を実行することができる。多視点画像のセットを、地理的地域内で1つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込む。さらに、1つまたは複数のハードウェアプロセッサが、推定した実世界の位置に少なくとも基づき、1つまたは複数の電気通信資産のGPS位置座標を検証するための、プログラムされた命令を実行することができる。

さらに別の様態では、電気通信インベントリ管理のための方法を実行するためのコンピュータプログラムを具体化した非一時的コンピュータ可読媒体が提供される。方法が、1つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップを含む。1つまたは複数の電気通信資産が、対応するGPS位置座標と関連づけられる。さらに、方法が、複数のストリートビュー画像に対象物認識モデルを適用して、1つまたは複数ストリートビュー画像内で1つまたは複数の電気通信資産を検出するステップを含む。1つまたは複数の電気通信資産を検出するステップが、1つまたは複数の電気通信資産を、対応する資産ラベルと関連づけるステップを含む。さらに、方法が、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で1つまたは複数の電気通信資産の実世界の位置を推定するステップを含む。多視点画像のセットを、地理的地域内で1つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込む。さらに、方法が、推定した実世界の位置に少なくとも基づき、1つまたは複数の電気通信資産のGPS位置座標を検証するステップを含む。

添付図面を参照して詳細な記述を示す。図面では、参照番号の1つまたは複数の最も左の数字が、その参照番号が最初に出現する図面を識別する。類似の特徴およびモジュールを参照するために、図面全体を通して同じ番号を使用する。

一例の実施形態による、多視点セットアップを使用してストリートビュー画像を取り込むことの一例の描写を示す。

電気通信インベントリ管理に関する電気通信資産の例を示す。

本主題の一実施形態による、電気通信インベントリ管理のネットワーク実装を示す。

一実施形態による、電気通信インベントリ管理のためのシステムの構成図を示す。

一例の実施形態による、電気通信インベントリ管理のための方法の流れ図を示す。

一例の実施形態による、三角測量法を使用する、電気通信資産の実世界の位置を推定するためのセットアップの一例の描写を示す。

さまざまな実施形態による、電気通信資産を検出するために採用される、さまざまな対象物検出モデルに関する適合率・再現率(Precision Recall、PR)曲線を示す。

さまざまな実施形態による、電気通信資産を検出するために採用される、さまざまな対象物検出モデルに関する信頼度行列ヒート・マップ・プロットを示す。

本明細書では、いずれの構成図も、本主題の原理を具体化する例示的システムおよび機器の概念図を提示していることを、当業者は理解されたい。同様に、いずれのフローチャート、流れ図なども、コンピュータ可読媒体の形で実質的に表されてもよいので、コンピュータまたはプロセッサが明示的に示されていようとなかろうと、そのようなコンピュータまたはプロセッサにより実行されてもよいさまざまな処理を表すことが認識されよう。

電気通信インベントリ管理のためのシステムおよび方法が、本主題で開示される。一般に、電気通信分野で技術が急激に高まるために、電気通信会社は、自社のネットワークおよび対応する装置を迅速に徹底的に見直す圧力を絶えず受けている。電気通信会社はまた、費用を抑え続けて、株主を喜ばせ続ける必要がある。これは、電気通信会社が、銅線ネットワークからファイバネットワークに性能を高めるために、自社の地上および地下の資産に関して、それらの対応する位置と共に、正確な知識を有する必要があることを意味する。

典型的には、電気通信会社は、電気通信装置を監視するために調査を請け負う監督者と共に責任を負う。たとえば、電気通信資産を銅線ネットワークからファイバネットワークに性能を高めるべき場合、監督者が地上および地下の電気通信資産を、労力を使って探索して、前記資産の対応する位置を更新する必要がある。したがって、資産インベントリ管理は、不正確にもなる場合がある労働集約的作業を伴う。さらに、現場調査でデータが更新されるのは、時間がかかり、大量の資源を必要とし、費用がかかることがわかる。

いくつかの電気通信会社が、地理情報システム(Geographic Information System、GIS)に基づく資産管理システムの能力を活用し始めているが、そのようなシステムでは、資産データのかなりの割合が不完全である、または不正確である。すべての資産という条件で包括的電気通信インベントリを作成することは、収集しなければならないデータが大量であるために、困難である。電気通信会社は、調査のための肉体労働のために、高い費用を背負い込む。不正確で不完全なデータが、(a)新しい装置を追加する場合の計画段階での遅延、(b)計画を終える前に追加調査が必要であること、(c)顧客の注文履行に影響を与えるような、新規需要から収益化までの遅延につながる。

本明細書で開示するさまざまな実施形態が、従来の電気通信資産管理システムの、前述の限界を無効にすることができるような、資産インベントリ管理のための方法およびシステムを提供する。たとえば、一実施形態では、本開示の方法が、対象物認識/位置測定に基づきコンピュータビジョン技法を利用するリーディング・エッジ・アルゴリズムを使用して、ストリートビュー画像から地上インベントリ詳細を識別することにより、調査要件を低減する。ストリートビュー画像を使用することにより、コンピューティング機器で、たとえば、デスクトップ、タブレットなどで、きわめて楽に、肉体労働を回避して、調査を行うのに役立つ。ストリートビュー画像が、「ストリートビュー」の観点から地理的地域を眺める能力を提供する。ストリートビュー画像が、たとえば車両搭載カメラにより取り込まれてもよい、および/または個人により与えられてもよく、対応する周囲の地理的地域のパノラマ式外観を作成するために一緒につなぎ合わせられる。前記ストリートビュー画像は、車両が道路に沿って走行するときに取り込まれる。地理的地域ごとに地理的地域の360°ビューを取り込むために、複数の方向角に対応する複数の画像を得てもよい。たとえば、車両搭載画像取込機器が、特有の地理的地域から、異なる方向角増分で8つの異なるストリートビュー画像を取り込む9つのレンズを利用してもよい。そこでは、対象物の複数の方向角に対応する複数の画像を、多視点画像と呼んでもよい。多視点画像を取り込む一例を図1に示す。

図1を参照すると、多視点セットアップを使用してストリートビューを取り込む一例の描写100が示されている。図示するように、電気通信資産、たとえばキャビネット102が、通り114の片側に設置されている。多視点セットアップが、位置118および位置120などの複数の位置からキャビネット102の画像を取り込んでもよい画像取込機器116を含んでもよい。画像取込機器116が位置Aにあるとき、画像取込機器116が、視界122を有してもよく、その一方で、画像取込機器116が位置Bにあるとき、画像取込機器116が、視界124を有してもよい。図示するように、視界122、124には、場面の重複が有限の程度ある。

異なる視点から同じ対象物を画像が取り込むので、位置AおよびBに配置されているときに画像取込機器により取り込んだ画像を、多視点画像と呼んでもよい。取り込んだストリートビュー画像が、ストリートビュー画像の各々に対応する画像取込機器のGPS座標を含む。前記ストリートビュー画像、およびそれに関連するGPS座標をレポジトリに、たとえば、クラウド内のレポジトリに記憶してもよい。

本明細書では、ストリートビュー画像が、人間の頭部から見た風景を提供する。しかしながら、地表面にある対象物、たとえば、マンホールおよび/または接続箱を認識することは、ストリートビュー画像では困難な場合がある。さらに、地表面にある電気通信資産が、多くの散らかった物の山を含む場合があり、著しく異なる視点を有する場合がある。その上、電気通信資産の多くが、周囲と著しく似ており、それにより、電気通信資産の検出が困難になる。前述の困難を回避するために、本開示の方法が、ストリートビュー画像から導出したGPS座標を使用して、電気通信資産の実世界の位置/場所を推定する。一実施形態では、パイプラインが、資産の整備または交換に優先順位をつける際に非常に重要な役割を果たす。方法が、対象物検出モデルを使用することにより、たとえば、R−CNN(robust fast region based convolution network)モデルを使用することにより、資産を検出する。

添付図面に示し、かつ以下の記述で詳述する、限定しない実施形態を参照して、本明細書の実施形態、ならびにそれらのさまざまな特徴および有利な詳細について、より完全に説明する。本明細書で使用する例は、本明細書の実施形態を実施してもよい方法の理解を容易にすること、およびさらに本明細書の実施形態を当業者が実施することができるようにすることを単に意図する。したがって、例が本明細書の実施形態の範囲を限定していると解釈すべきではない。

方法およびシステムは、本明細書に記述する具体的な実施形態に限定されない。さらに、方法およびシステムを、本明細書に記述する他のモジュールおよび方法と独立に、かつ別個に実施することができる。各機器の要素/モジュール、および方法を、他の要素/モジュール、および他の方法と組み合わせて使用することができる。

電気通信インベントリ管理のためのシステムおよび方法を実装する手法について、図1〜図7Bに関して詳細に説明している。記述されている、電気通信インベントリ管理のための方法およびシステムの様態を、任意の数の異なるシステム、実用的環境、および/または構成で実装することができるが、実施形態について、以下の1つまたは複数の代表的システムに関して説明する。

図2は、一例の実施形態による、電気通信インベントリ管理に関する電気通信資産のさまざまな例を示す。この例では、電気通信資産を、キャビネット、マンホール、接続箱、および電柱を含むように示す。しかしながら、電気通信資産が、前述の例に限定することなく、追加の電気通信装置を含んでもよいことが理解されよう。

図2は、電柱212を伴う風景210、電柱224に遮られた接続箱222を伴う風景220、マンホール232を伴う風景230、および同じ画像内に接続箱244を伴うキャビネット242を有する風景240を示す。

図示するように、対象物を取り巻く周囲の領域の質感/色も外観上の類似性を共有する場合、認識がより困難になる。さまざまな実施形態では、本開示の電気通信インベントリ管理システムが、より高速なRCNNを用いた、視覚に基づく技法(または対象物検出技法)を適用して、画像三角測量に基づく資産位置測定が、地理的地域の風景内で電気通信資産を正確に検出しなければならない。

次に、図3を参照すると、本主題の一実施形態による、電気通信インベントリ管理のためのシステム302のネットワーク実装300が示されている。以下の記述で詳細に説明するように、システム302が、より高速なRCNNを用いた深層特徴を含む視覚および機械学習技法、および画像三角測量に基づく資産位置測定を適用する、電気通信資産のインベントリ管理のための、原則に基づいた取り組み方法を実装する。

本主題は、システム302が、電気通信インベントリ管理のために実装することを考慮して説明するが、システム302が、任意の特定の環境に制限されてはならないことが理解されてもよい。システム302を、対象物検出を伴うさまざまな分野のために利用することができる。システム302を、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピュータ、サーバ、ネットワークサーバなどのような、さまざまなコンピューティングシステムに実装してもよい。

本明細書では、システム302が、ストリートビュー画像を、たとえば、本明細書で以後、集合的に機器304と呼ぶ、複数の機器および/または機械304−1、304−2、…、304−Nから取り込んだ画像を、受信してもよい。機器304の例が、車両搭載カメラ機器、携帯型コンピュータ、携帯情報端末、ハンドヘルド機器、ワークステーション、VRカメラを具体化する機器、ビデオを取り込み記憶するように装備される記憶機器などを含んでもよいが、それらに限定されない。一実施形態では、機器304が、画像を取り込むことができる機器を含んでもよい。機器304が、ネットワーク306を通してシステム302に通信可能に結合され、取り込んだ画像をシステム302に伝送することができてもよい。

一実装形態では、ネットワーク306が、無線ネットワーク、有線ネットワーク、または有線ネットワークと無線ネットワークの組合せであってもよい。ネットワーク306を、イントラネット、ローカル・エリア・ネットワーク(local area network、LAN)、広域ネットワーク(wide area network、WAN)、インターネットなどのような、異なるタイプのネットワークの1つとして実装することができる。ネットワーク306が、専用ネットワークであっても、共用ネットワークであってもよい。共用ネットワークは、さまざまなプロトコル、たとえば、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol、HTTP)、伝送制御プロトコル/インターネットプロトコル(Transmission Control Protocol/Internet Protocol、TCP/IP)、ワイヤレス・アプリケーション・プロトコル(Wireless Application Protocol、WAP)などを使用して、互いに通信する、異なるタイプのネットワークの関連づけを表す。さらに、ネットワーク306が、ルータ、ブリッジ、サーバ、コンピューティング機器、記憶機器などを含むさまざまなネットワーク機器を含んでもよい。一実施形態では、システム302を、コンピューティング機器310の中に具体化してもよい。コンピューティング機器310の例が、デスクトップ・パーソナル・コンピュータ(personal computer、PC)、ノートブック、ラップトップ、携帯型コンピュータ、スマートホン、タブレットなどを含んでもよいが、それらに限定されない。システム302はまた、地理的地域のストリートビュー画像、およびそれに関連するGPSデータを記憶するために、データレポジトリ312と関連づけられてもよい。一実施形態では、データレポジトリを、システム302を具体化するコンピューティング機器310の外側に構成して、そこに通信可能に結合してもよい。あるいは、データレポジトリ312をシステム302内部に構成してもよい。電気通信インベントリ管理のためのシステム302の一例の実装形態について、図4を参照して記述する。

図4は、本開示の一実施形態による、電気通信インベントリ管理のためのシステム400の構成図を例示する。一例の実施形態では、システム400が、コンピューティング機器、たとえば、コンピューティング機器310(図3)内に具体化されてもよい、またはそれと直接通信状態にあってもよい。システム400が、プロセッサ402などの1つまたは複数のハードウェアプロセッサ、メモリ404などの1つまたは複数のメモリ、およびネットワーク・インタフェース・ユニット406などのネットワーク・インタフェース・ユニットを含む、または他の方法ではそれらと通信状態にある。一実施形態では、プロセッサ402、メモリ404、およびネットワーク・インタフェース・ユニット406を、システムバス408などのシステムバス、または類似の機構により結合してもよい。

プロセッサ402が、とりわけ通信に関連するオーディオおよび論理機能を実装する回路を含んでもよい。たとえば、プロセッサ202が、1つまたは複数のデジタル・シグナル・プロセッサ(digital signal processor、DSP)、1つまたは複数のマイクロプロセッサ、1つまたは複数の特殊用途のコンピュータチップ、1つまたは複数のフィールド・プログラマブル・ゲート・アレイ(field−programmable gate array、FPGA)、1つまたは複数の特定用途向け集積回路(application−specific integrated circuit、ASIC)、1つまたは複数のコンピュータ、さまざまなA/D変換機およびD/A変換機、ならびに/または他の支援回路を含んでもよいが、それらに限定されない。したがって、プロセッサ402はまた、メッセージ、および/またはデータもしくは情報を符号化する機能を含んでもよい。プロセッサ402が、とりわけ、クロック、算術論理演算装置(arithmetic logic unit、ALU)、およびプロセッサ402の動作を支援するように構成された論理ゲートを含んでもよい。さらに、プロセッサ402が、メモリ404に記憶されても、他の方法ではプロセッサ402にアクセス可能であってもよい、1つまたは複数のソフトウェアプログラムを実行する機能を含んでもよい。

メモリ404などの、1つまたは複数のメモリが、システムの機能を実装するためにシステムにより使用される、任意の数の情報およびデータを記憶してもよい。メモリ404が、たとえば、揮発性メモリおよび/または不揮発性メモリを含んでもよい。揮発性メモリの例が、揮発性ランダム・アクセス・メモリ(random access memory、RAM)を含んでもよいが、それに限定されない。不揮発性メモリが、追加でまたは代わりに、電気的に消去可能プログラム可能読出し専用メモリ(electrically erasable programmable read only memory、EEPROM)、フラッシュメモリ、ハードドライブなどを備えてもよい。揮発性メモリのいくつかの例が、ランダム・アクセス・メモリ、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリなどを含むが、それらに限定されない。不揮発性メモリのいくつかの例が、ハードディスク、磁気テープ、光ディスク、プログラム可能読出し専用メモリ、消去可能プログラム可能読出し専用メモリ、電気的に消去可能プログラム可能読出し専用メモリ、フラッシュメモリなどを含むが、それらに限定されない。さまざまな例示的実施形態によるさまざまな機能をシステム400が行うことができるようにするために、メモリ404を、情報、データ、アプリケーション、命令などを記憶するように構成してもよい。追加でまたは代わりに、プロセッサ402により実行されたとき、さまざまな実施形態で記述するような手法でシステムを動作させる命令を記憶するように、メモリ404を構成してもよい。

一実施形態では、メモリ404が、さまざまな地理的地域に関するストリートビュー画像、および前記ストリートビュー画像に対応する、関連するGPSデータを記憶するためにデータレポジトリを含む。データレポジトリを、システム400を具体化するコンピューティング機器(たとえば、図3のコンピューティング機器310)の中に具体化してもよいことに留意されよう。代わりに、データレポジトリを、コンピューティング機器の外側に構成して、そこに通信可能に結合してもよい。

ネットワーク・インタフェース・ユニット406が、第1のコンピューティング機器と第2のコンピューティング機器の間で通信を容易にするように構成される。ネットワーク・インタフェース・ユニット406が、無線接続の形をとっても、有線接続の形をとってもよい。無線ネットワークインタフェース要素406の例が、IEEE802.11(Wi−Fi)、BLUETOOTH(登録商標)、または広域無線接続を含んでもよいが、それらに限定されない。有線ネットワークインタフェース要素406の例が、イーサネット(登録商標)を含むが、それに限定されない。

本明細書では、メモリ、たとえばメモリ404、およびハードウェアプロセッサ、たとえばプロセッサ402を使って構成されたコンピュータ・プログラム・コードが、本明細書に記述するさまざまな機能をシステム400に遂行させる。

一実施形態では、システム400に、UIを、たとえば、ストリートビューを表示するための領域を含むUI406を生成させる。UI406が、地理的地域に対応する1つまたは複数のパラメータを入力することができるようにして、前記パラメータの前記受信に応答して、地理的地域の複数のストリートビュー画像を表示してもよい。一実施形態では、システム400に、所与のGPS座標に対応する複数のストリートビュー画像をダウンロードさせ、UI406を介して前記画像を表示させてもよい。一実施形態では、画像をダウンロードするために、システム400に、1つまたは複数のパラメータを受信させ、前記パラメータに基づき、ダウンロードされた、地理的地域の複数のストリートビュー画像を表示させてもよい。前記パラメータの例が、地理的位置に関する位置(緯度/経度の値)、ストリートビュー画像の好ましいサイズ、進行方向(0〜360)、ストリートビュー画像を取り込むために使用する画像取込機器の水平視界、ピッチ、ならびにGSV車両に対する上方角度および/または下方角度を含んでもよいが、それらに限定されない。用語「進行方向」は、本明細書では、任意の地点で0°〜360°の角度の範囲内で画像を見る画像取込機器の向きを指す。本明細書では、複数のストリートビュー画像内の、2つの連続するGPS位置座標に対応する画像には、図1を参照して示し、記述したように、位置が異なれば変わる可能性がある、異なるカメラアングルに由来する、有限程度の風景の重なりがあってもよいことに注意されたい。

地理的地域の複数のストリートビュー画像が、1つまたは複数の電気通信資産を有してもよい。電気通信資産が、キャビネット、電柱、マンホール、および接続箱を含んでもよいがそれらに限定されない。1つまたは複数の電気通信資産を、対応するGPS位置座標と関連づけてもよい。システム400に、複数のストリートビュー画像内で電気通信資産を識別させてもよい。接続箱およびマンホールなどの電気通信資産は、表面カバーを介してアクセスすることができるケーブル継手および/または装置を収容する地下構造物である。接続箱およびマンホールが、歩道、草の生えた縁、または車道内に位置する場合がある。舗装された構内および歩行者専用の地面については、特別用のカバーの変形形態が見られる。キャビネットおよびマンホールなどのある種の他の電気通信資産が、地上資産である。一実施形態では、システムに、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で電気通信資産を検出させる。本明細書で、後で説明するように、ストリートビュー画像内で電気通信資産を検出するステップが、電気通信資産を、対応する資産ラベルと関連づけるステップを含む。

対象物認識モデルが、ストリートビュー画像内での電気通信資産の検出を容易にする。対象物認識モデルの例が、線形サポート・ベクター・マシン(Support Vector Machine、SVM)を用いた勾配方向ヒストグラム(Histogram of Oriented Gradients、HOG)、線形SVMを用いた変形部品モデル(Deformable Parts Model)、およびより高速なRCNNを含んでもよいが、それらに限定されない。前述の対象物認識モデルを使用するシステム400の性能について、図7Aおよび図7Bを参照してさらに記述する。好ましくは、システムに、ディープ・ラーニング・モデルを、たとえば、より高速なR−CNN検出器を使用することにより、ストリートビュー画像内で電気通信資産を検出させる。

一実施形態では、システム400に、対象物認識モデルを適用する前に、対象物認識モデルをトレーニングして、複数のトレーニング画像内で電気通信資産を検出し、予測させる。前記複数のトレーニング画像が、さまざまな地理的地域のストリートビュー画像であってもよい。一実施形態では、対象物認識モデルが、複数のトレーニング画像内で電気通信資産を識別する。対象物認識モデルをトレーニングしている間、モデルに複数のトレーニング画像が供給され、前記トレーニング画像内の電気通信資産の各々が、バウンディングボックスに取り囲まれる。追加で、トレーニング画像内の電気通信資産の位置に、たとえば、前記電気通信資産のGPS位置座標を使用することにより、印をつけてもよい。追加で、バウンディングボックスに取り囲まれた、識別された電気通信資産の各々に、対応するラベルを割り当てる。本明細書で開示するように、一実施形態では、ストリートビュー画像内で電気通信資産を検出するために、より高速なR−CNN検出器を利用してもよい。たとえば、R−CNNに基づく検出器が、ストリートビュー画像に対して実行されてもよく、前記画像内ですべてのスケールで出現する、異なる対象物を予測する。一実施形態では、システム400が、より高速なR−CNN検出器に、ストリートビュー画像内での電気通信資産の予測に対して信頼度スコアを割り当てさせる。一実施形態では、信頼度スコアを、予測のしきい値に基づき割り当ててもよい。一実施形態では、予測のしきい値を、事前に規定してもよい。たとえば、ユーザが、電気通信インベントリを検出する前に、予測のしきい値を規定してもよい。次いで、システムに、予測のしきい値以上の信頼度スコアで検出することができる電気通信資産を識別させてもよい。

より高速なRCNNが、候補領域ネットワーク(Region Proposal Networks、RPN)およびFast RCNNの組合せであることが理解されよう。RPNは、各場所で対象物バウンディングボックスと対象物らしさ(objectness)スコア(信頼度スコア)の両方を予測する全層畳込みネットワーク(fully convolutional network)である。RPNをエンド・ツー・エンドでトレーニングして、高品質の候補領域を生成し、その候補領域を、Fast RCNNが検出のために使用する。RPNは、広範なスケールおよび縦横比で候補領域を効率的に予測するように設計される。この取り組み方法が、(n+1)カテゴリ問題を直接解決する、すなわち、nの事前に規定したクラスでRPNにより検出されるすべての候補にラベルをつけて、背景を別個のクラスとしてモデル化する。

代わりの一実施形態では、ストリートビュー画像内で電気通信資産を検出するために、HoGモデルを利用してもよい。HoGモデルは、対象物を認識するための、たとえば、さまざまなスケールで、ストリートビュー画像内で電気通信資産を認識するための、固定したテンプレートに基づく取り組み方法を提示する。HoGモデル検出器が、すべての場所およびスケールで重複するようにスキャンすることにより、固定サイズのテンプレート窓を使用して、前記画像をフィルタ処理する。各テンプレート窓を、勾配の大きさにより重み付けした向きの分布により表す。HoGモデルが、各資産カテゴリを前景対象物としてモデル化する。したがって、トレーニングしている間、HoGモデルが、資産タイプごとに1つ、4つの別個の検出器を学習する。

さらに別の実施形態では、ストリートビュー画像内の電気通信資産のトレーニングおよび検出のために、変形部品モデル(DPM)を利用する。DPMは、対象物検出でカテゴリ内の多様性に取り組むのに役立つ。たとえば、本開示では、対象物(または電気通信資産)を、色、姿勢、および照明の変化を伴う異なる視点から得るので、DPMに基づく検出器が、電気通信資産のロバストな検出に役立つ可能性がある。これに関連して、対象物検出モデルの潜在的識別学習(latent discriminative learning)に基づく電気通信資産の検出、および電気通信資産に伴う複数の構成要素(すなわち、サブカテゴリ)の検出に関して、DPM検出器と、HOGに基づく検出器を比較してもよい。より低解像度のルートテンプレート、および空間的に柔軟な高解像度部品テンプレートのセットを使用して、対象物モデルを提示するために、変形部品を利用する。各部品が、対象物の局所的外観特性を取り込み、外観特性を接続するリンクにより変形を特徴づける。潜在的識別学習が、既知の変数(たとえば、インスタンスのバウンディングボックスの位置)と未知の、すなわち、潜在的変数(たとえば、電気通信資産部品位置、インスタンス−構成要素メンバーシップ)の間でパラメータ推定ステップを交互に行う反復手順を伴う。最後に、サブカテゴリの考え方は、対象物インスタンスを、簡単な(おそらくは、意味的に解釈可能な)題目、たとえば、正面像に対する側面像、または座っている人に対する標準的な人などをそれぞれ有する互いに素なグループに分離し、次いで、対象物/人のタイプごとにモデルを学習することである。これに関連して、用語「対象物」が電気通信資産を指すことが理解されよう。

ストリートビュー画像の各々が、関連するGPS座標を有する。しかしながら、電気通信資産の実世界の場所が、カメラ座標のGPS座標と異なる場合がある。一実施形態では、資産ラベルで注釈をつけられたストリートビュー画像を、資産位置識別のために三角測量を使用してさらに処理する。一実施形態では、システム400に、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で電気通信資産の実世界の位置を推定させる。多視点画像のセットは、地理的地域内で1つまたは複数の対象物の近辺の、複数の連続する位置から取り込んだ、複数のストリートビュー画像の中から得た画像である。たとえば、地理的地域のGPS座標を提供するとき、システムが、地理的地域の複数の画像を取り出してもよいが、しかしながら、電気通信資産管理のために、システムが、異なる角度から取り込んだ1つまたは複数の電気通信資産を含有する画像だけに興味がある。異なる角度から取り込んだ対象物を有するそのような風景の画像を、多視点画像と呼ぶ。システムが、地理的地域内で1つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込んだ多視点画像のセットを選択して、多視点画像のセットに対して三角測量法を適用して、地理的地域内で1つまたは複数の電気通信資産の実世界の位置を推定する。

一実施形態では、電気通信資産の実世界の位置を推定するために、システム400に、マッチングモデルを使用して、多視点画像のセット内で複数の点対応を識別させる。システム400に、複数の点対応に少なくとも基づき、1つまたは複数の電気通信資産のうち1つの電気通信資産の実世界の位置をさらに推定させる。地理的地域内で1つまたは複数の電気通信資産の実世界の位置を推定することについて、図7を参照してさらに詳細に説明する。

一例の実装形態では、システム400に、レポジトリ内の1つまたは複数の電気通信資産の実世界の位置を更新させる。たとえば、実世界の位置を推定すると、システム400が、データ補正画面を提示してもよい。補正画面上に提示されたストリートビュー内のインベントリ位置に、マーカを置いてもよい。マーカが、データ補正処理について詳述してもよい。システム400が、緯度、経度、資産タイプ、通りの名称などの、電気通信資産の一般的な詳細でデータ補正画面を更新されるようにしてもよい。

システム400に、推定した実世界の位置に少なくとも基づき、1つまたは複数の電気通信資産のGPS位置座標を検証させる。一実施形態では、1つまたは複数の電気通信資産のGPS位置座標を検証するステップが、電気通信資産のGPS位置座標を、推定した実世界の位置と比較するステップを含む。一実施形態では、推定した実世界の位置の検証を遂行して、グランドトゥルース対象物(たとえば、電気通信資産)と、本開示のシステム400により検出された対象物(または電気通信資産)との間の重複を決定する。一実施形態では、前記重複または検証を、システム400により採用された対象物検出モデルに関する適合率・再現率曲線をプロットすることにより遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関するPR曲線の一例について、図7Aを参照してさらに記述する。別の実施形態では、システム400により採用された対象物検出モデルに関する混同行列を計算することにより、検証を遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関する混同行列の計算の一例について、図7Bを参照してさらに記述する。

図5は、一例の実施形態による、電気通信インベントリ管理のための方法500の流れ図を示す。方法500について、コンピュータ実行可能命令という一般的文脈で記述してもよい。一般に、コンピュータ実行可能命令が、特定の機能を実現する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手続き、モジュール、機能などを含むことができる。方法500はまた、通信ネットワークを通して連結された遠隔処理機器により機能が遂行される分散コンピューティング環境で実施されてもよい。方法500について記述する順序は、限定であると解釈されることを意図するものではなく、方法500、または代わりの方法を実装するために、任意の数の、記述する方法ブロックを、任意の順序で組み合わせることができる。さらに、任意の適切なハードウェア、ソフトウェア、ファームウェア、およびそれらの組合せの形で、方法500を実装することができる。一実施形態では、流れ図に描く方法500を、システムにより、たとえば、図4のシステム400により、実行してもよい。一実施形態では、システム400を、コンピューティング機器の中に、たとえば、コンピューティング機器310(図3)の中に具体化してもよい。

502で、方法500が、1つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップを含む。1つまたは複数の電気通信資産を、対応するGPS位置座標と関連づける。電気通信資産の例が、キャビネット、マンホール、接続箱、および電柱を含むが、それらに限定されない。

504で、方法500が、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で1つまたは複数の電気通信資産を検出するステップを含む。1つまたは複数の電気通信資産を検出するステップが、1つまたは複数の電気通信資産を、対応する資産ラベルと関連づけるステップを含む。一実施形態では、ストリートビュー画像に適用することができる対象物認識モデルの例が、HOG−SVMモデル、SVMモデル、およびより高速なRCNNモデルを含んでもよいが、それらに限定されない。上述の対象物認識モデルの例示的性能について、図7Aおよび図7Bを参照してさらに記述する。

一実施形態では、方法が、対象物認識モデルを適用する前に、対象物認識モデルをトレーニングして、複数のトレーニング画像内で1つまたは複数の電気通信資産を検出するステップを含む。一実施形態では、対象物認識モデルをトレーニングするステップが、複数のトレーニング画像内で1つまたは複数の電気通信資産を識別するステップを含み、その結果、1つまたは複数の電気通信資産の各々が、複数のトレーニング画像の、対応するトレーニング画像内でバウンディングボックスに取り囲まれる。バウンディングボックスに取り囲まれた、識別された1つまたは複数の電気通信資産の各々に、対応するラベルを割り当てる。さらに、電気通信資産を検出するために、1つまたは複数の電気通信資産のうち1つの電気通信資産を含有するバウンディングボックスを、多視点画像のセット内に予測し、予測のしきい値に基づき予測したバウンディングボックスに、対応する資産ラベルを割り当てる。

506で、方法500が、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で1つまたは複数の電気通信資産の実世界の位置を推定するステップを含む。多視点画像のセットを、地理的地域内で1つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込む。多視点画像を取り込むステップの一例について、図1を参照して記述している。

508で、方法500が、推定した実世界の位置に少なくとも基づき、1つまたは複数の電気通信資産のGPS位置座標を検証するステップを含む。本明細書では、推定した実世界の位置の検証を遂行して、グランドトゥルース対象物(たとえば、電気通信資産)と、対象物検出モデルにより検出した電気通信資産との間の重複を決定する。一実施形態では、前記重複または検証を、対象物検出モデルに関する適合率・再現率(PR)曲線をプロットすることにより遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関するPR曲線の一例について、図7Aを参照してさらに記述する。別の実施形態では、対象物検出モデルに関する混同行列を計算することにより、検証を遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関する混同行列の計算の一例について、図7Bを参照してさらに記述する。

図6は、一例の実施形態による、三角測量法を使用する、電気通信資産の実世界の位置を推定するためのセットアップ600の一例の描写を示す。本明細書に示すように、セットアップ600を、複数の画像取込機器、たとえば、資産、たとえば、キャビネット606のストリートビュー画像を取り込むように位置決めされたカメラ602およびカメラ604を含むように示す。カメラ602、604が、複数の視線のキャビネット606を取り込むように、2つの異なる位置に位置決めされる。たとえば、カメラ602が、画像608を取り込んでもよく、その一方で、カメラ604が、キャビネット606の画像610を取り込んでもよい。

ワールド座標系で(X;Y;Z)により記述される、キャビネット606上の点Pが、カメラ602の画像平面内の場所p_Lで、およびカメラ604の画像平面内の場所p_rで取り込まれると仮定する。マッチングモデルを使用して、多視点画像のセット内で複数の点対応を識別することにより、2つの画像の視線からの点Pの深度を推定することができる。多視点画像のセット間で点対応を得るために、システムに、投影歪みを取り除くことにより多視点画像を事前処理させてもよい。一実施形態では、システムが、投影歪みを取り除くためにすでに事前処理されていてもよい多視点画像を受信してもよい。本明細書では、投影歪みが、2つの異なる視線から取り込んだ画像内の歪みを指す場合がある。前記歪みが、画像の視線の回転および/または並進のために存在する場合がある。ある種のシナリオでは、画像の1つが、他の画像内に存在しない場合がある、ある種の追加視線をいくつか含有してもよい。互いに対する位置合わせを取り除くことが、画像内の投影歪みを取り除くのに役立つ。

多視点画像608および610内で類似する画像の領域を識別することにより、点対応を決定する。異なる視線または画像608、610内のそれぞれ点p_lおよびp_rについては、3D空間内の2本の光線612、614が、異なる位置でカメラの投影中心と接続する。両方の視線から、マッチングする特徴位置{p}に対応する3D光線の最も近くにある3D点P_aを見つけ出すことにより、点Pの距離を推定することができる。一実施形態では、マッチングする3D点P_aを識別することにより、SIFTに基づく画像マッチング特徴を利用することができる。SIFTに基づくマッチングを使用する利点は、SIFTに基づく特徴が、画素勾配に対して計算された局所特徴ベクトルのセットに適用されることである。さらに、SIFTに基づくマッチングが、スケールおよび照明による不変性を具体化し、部分的にマッチングした領域をさらに返す。

異なる画像平面上の点p_lおよびp_rを、次式で関係づける。

上式で、

および

は、カメラ602および604の投影中心にPを接続する光線方向ベクトルである。Kは、カメラ較正パラメータを表す。Rおよびtは、2つのカメラの場所間の回転行列および並進ベクトルである。

式(1)を簡略化することにより、エピポーラ拘束として規定される以下の条件を得る。

tおよびRのクロス積として計算した基本行列としてEを規定する。式(2)を次式のように書き換えることができる。

上式で、基礎行列としてFを定義する。p内のn個のマッチング点のセットについて、n個の同次方程式があり、たとえば、i番目のマッチングについては、次式となる。

式(4)を、正規化8点アルゴリズム(normalized 8−point algorithm)を使用して解くことができる。式(5)のようにFを因数分解することにより、エピポールベクトルeおよび対応するホモグラフィHを得る。

因数分解は、唯一ではなく、直接的取り組み方法およびSVDを含む、異なる方法により得ることができる。有効なホモグラフィHを使って、次式により投影行列P_oおよびP’_oを計算することができる。

行列P_oおよびP’_oが、実世界の点Pと、カメラ702、704の画像平面上への、実世界の点Pの射影との間の関係を次式で規定する。

式(7)を解いて、Pの位置を推定することができる。取り出した座標、およびカメラの場所のGPS値を使用して、妥当な精度で、電気通信資産、たとえば、キャビネット606の実際の場所を推定することができる。

図7Aは、さまざまな実施形態による、電気通信資産を検出するために採用したさまざまな対象物検出モデルに関するPR曲線を示す。具体的には、図7Aは、3つの対象物検出モデル、すなわち、電気通信資産に関する候補/予測を生成するための、線形SVMを用いたHoG検出器(曲線702で示す)、線形SVMを用いた変形部品に基づくモデル(曲線704で示す)、およびRPNを用いたより高速なRCNN(曲線706で示す)に関する適合率・再現率曲線を示す。

本明細書では、PR曲線を、N_負>>N_正として選択し、式中、N_負;N_正は、実際のシナリオでの、負数および正数の数である。さらに、曲線ごとに、F1スコアを決定する。F1スコアは、単一の数値で適合率・再現率曲線の性能を要約する。3つの対象物検出モデルに関するF1スコアの最高値で、PおよびRの値を以下の表に示す。

上記の表に示すように、HoGモデルおよびDPMの検出器と比較して、より高速なRCNNが、最良の適合率、再現率、および検出器の性能を評価するために使用する因子であるF1スコアもまた提供する。

図7Bは、さまざまな実施形態による、電気通信資産を検出するために採用される、さまざまな対象物検出モデルに関する信頼度行列ヒート・マップ・プロット750を示す。詳細には、混同行列750は、提案された方法に関するものであり、このとき、最大のF1スコアが達成される。混同行列ヒート・マップ・プロット750(本明細書で以後、混同行列750と呼ぶ)は、対角線に沿って注目するときに、キャビネット、接続箱、およびマンホールが効率的に検出されたことを描く。さらに、キャビネットおよび接続箱が、効率的に検出されている。

混同行列750の最終行が、RPNによる候補検出により背景として無視された検出を含む。同様に、混同行列750の最終列が、RCNNによる正しいラベルづけにより、いくつかの誤検出を、すなわち背景を含んだ電気通信資産について検出された候補または予測の除去を指す。最終列の値が、行列の優位対角の対応する成分よりも著しく小さく、そのことが、電気通信インベントリ管理のこの適用シナリオでのより高速なRCNNの有効性を確立する。接続箱およびマンホールもまた、十分にうまく検出されたが、いくつかの事例が混同を示しており、それというのも、マンホールも接続箱も、地下の資産であり、歩道上にあり、混同行列750の3行目からわかるように視覚的に非常に類似するので、いくつかのマンホールが、接続箱としてカテゴリ化され、いくつかのマンホールが、接続箱としてカテゴリ化されたためである。

さまざまな実施形態が、電気通信インベントリ管理のための方法およびシステムを提供する。本開示のシステムが、地理的地域のストリートビュー画像を使用して、複数の対象物認識および位置測定によって、電気通信資産を自動的に検出することができる。本開示の方法が、コンピュータビジョンおよび機械学習の技法およびモデルを利用して、(a)従来の調査過程を通してこれまで行われた資産認識および位置測定パイプラインを通して、見つからない資産を発見し、(b)新しい資産を更新する。本開示の方法またはパイプラインは、人的資源の使用を低減することを意図するだけではなく、調査費用全体もまた低減した。本開示の実施形態の大きな利点は、電気通信資産を検出するために対象物検出モデルを選択することである。本シナリオでは、より高速なRCNNが最もロバストな対象物検出モデルであると判断されることが確認された。

当業者が実施形態を作成し、使用することができるようにするために、書面による記述が、本明細書の主題を記述している。主題の実施形態の範囲が、特許請求の範囲により規定され、当業者が思いつく他の修正形態を含んでもよい。そのような他の修正形態は、特許請求の範囲の文言と差異のない、類似する要素を有する場合、または特許請求の範囲の文言とほんのわずかな差異しかない均等の要素を含む場合に、特許請求の範囲に含まれることが意図される。

本明細書の実施形態が、ハードウェアおよびソフトウェアの要素を備えることができる。ソフトウェアの形で実装される実施形態が、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、それらに限定されない。本明細書に記述するさまざまなモジュールにより遂行される機能を、他のモジュールの中に、または他のモジュールの組合せの中に実装してもよい。本明細書の目的のために、コンピュータ使用可能媒体またはコンピュータ可読媒体が、命令実行システム、装置、もしくは機器により、またはそれらと共に、使用するためのプログラムを備え、記憶し、通信し、伝搬し、または転送することができる任意の装置とすることができる。

固有の実装形態および実施形態についての前述の記述が、本明細書の実装形態および実施形態の一般的性質を完全に明らかにするので、他者が、現在の知識を適用することにより、一般的な概念から逸脱することなく、そのような固有の実施形態を容易に修正する、および/またはさまざまな適用例に適合させることができ、したがって、そのような適応形態および修正形態が、本開示の実施形態の均等物の意味および範囲に入ると理解されることが意図される。本明細書で採用する言葉遣いおよび専門用語は、説明のためのものであり、限定するものではないことを理解されたい。したがって、好ましい実施形態に関して本明細書の実施形態について記述してきたが、本明細書の実施形態を、本明細書に記述するような実施形態の趣旨および範囲に入る修正を伴って実施することができることを当業者は認識されよう。

さまざまな実施形態を参照して、上記の記述を提示してきた。原理、趣旨、および範囲から有意に逸脱することなく、記述した動作の構造および方法の代替形態および変更形態を実施することができることを、この出願に関係する当業者は認識されよう。