本発明は、機械学習による時系列データ処理を、物理系を用いて実現する情報処理システム及び情報処理方法に関する。

生体の脳においては、多数のニューロンがシナプスの結合によってネットワークを形成しており、これらが情報処理を担っていると考えられる。そのような構造を計算機上で模倣したシステムをニューラルネットワークと呼ぶ。

ニューラルネットワークのモデルは、大きく2つに分類される。信号の流れが一方向であって、ループしない構造になっているモデルをフィードフォワードニューラルネットワークと呼ぶ。これに対して、その内部に自己フィードバックを有し、双方向に信号が伝播する構造になっているモデルを再帰型ニューラルネットワークと呼ぶ。

ニューラルネットワークは、各ニューロン同士の結合強度を変化させることで最適化を行い、さまざまなタスクを解決する能力を獲得する。最適化の方法は大きく2つに分類される。事前に与えられた正解データを入力として用いることで学習を行う方法を教師あり学習、正解データを用いずにデータの構造を抽出する方法を教師なし学習と呼ぶ。

リザーバコンピューティングとは、再帰型ニューラルネットワークによる教師あり学習を実現する形態のひとつである(非特許文献1参照)。リザーバコンピューティングは以下の手順によって行われる。入力層、中間層、出力層によってニューラルネットワークが構成される。教師データを入力して得られた出力の結果をもとに、入力層から中間層への結合、中間層から中間層への結合、中間層から出力層への結合の結合強度をそれぞれ最適化する。再帰型ニューラルネットワークの場合、学習のアルゴリズムが複雑になり、結合強度の最適化を行うために膨大な計算量が必要になる。これに対し、リザーバコンピューティングにおいては、入力層から中間層への結合、中間層から中間層への結合の結合強度はそれぞれ一定の値に固定し、中間層から出力層への結合の結合強度に対してのみ学習を行う。その場合、学習のアルゴリズムが単純になり、最適化を行うために必要な計算量が削減できる。このような形式で学習が行われるような状況において、中間層をリザーバと呼ぶ。

ここでリザーバコンピューティングによって時系列データ処理を効率的に行うためには、リザーバは3つの特徴を満たす必要がある(非特許文献2参照)。

1つ目の特徴は、「非線形性」である。入力信号を非線形的に変換し、より高い次元の状態空間上に変換できることを示す。このような非線形性は、リザーバに含まれるニューロンの数や、再帰的な結合を増やすことによって実現できる。

2つ目の特徴は、「短期メモリ効果」である。リザーバの状態が、直近の過去の入力信号の影響を受けるが、同時に、古い過去の入力信号の影響は受けないことを示す。この性質は、音声認識のように、直近の過去の情報がより重要になるような時系列データ処理を行う場合に必要である。

3つ目の特徴は、「再現性」である。同じ入力信号に対しては、いつも同じ出力信号が得られることを示す。再現性が得られなければ、学習によって結合強度を最適化することが出来ない。

上記の3つの特徴を満たすリザーバを実現するためには、計算機によるシミュレーションを用いる方法と、物理系を用いる方法がある。複雑な時系列データ処理を行うためには、より高次の非線形性が求められる。計算機によるシミュレーションを用いた場合、高次の非線形性を得るためには、膨大な計算量が必要になる。そのため、物理系を用いてリザーバコンピューティングを行う試みが行われている。

ここで、光強度変調器の持つ非線形性と再現性を利用する、電気回路と光ファイバを用いたループ構造を用いる技術がある。例えば、非特許文献3に記載の技術は、単純な応答を示す光学部品で構成されているため、高い再現性が得られる。また、半導体レーザーの持つ非線形性と再現性を利用する、半導体レーザーと戻り光によるフィードバックループを用いる技術が開示ある。例えば、非特許文献4に記載の技術は、半導体レーザーに戻り光を入力するとカオスを発生させることから、高い非線形性が得られる。

国際公開第2017/131081号公報

特開平8−18139号公報

H. Jaeger and H. Haas, Harnessing nonlinearity:predicting chaotic systems and saving energy in wireless communication. Science 304, 78 (2004).

L. Appeltant et al., Information processing using a single dynamical node as complex system. Nature Communications 2, 468 (2011).

Y. Paquot et al., Optoelectronic Reservoir Computing. Scientific Reports 2, 287 (2012).

J. Nakayama et al., Laser dynamical reservoir computing with consistency: an approach of a chaos mask signal, Optics Express 24, 8679 (2016).

しかしながら、一般的に、複雑な応答を示す物理系は安定制御が難しいため、高い非線形性と再現性を両立させることは難しいという課題がある。

本発明の目的は、上記の課題を解決し、機械学習による時系列データ処理を、物理系を用いて効率的に実現する情報処理システム及び情報処理方法を提供することにある。

上記目的を達成するために、本発明に関わる情報処理システムは、過去に入力された信号の少なくとも一部を内部状態として保持し、前記内部状態において入力信号を非線形に変換する信号変換部と、前記信号変換部に前記入力信号を入力する信号入力部と、前記信号変換部で変換された信号である出力信号を読み出す信号出力部と、読み出した前記出力信号の線形結合及び最適な結合強度を計算する計算部とを有し、前記信号変換部は、光信号である前記入力信号を光信号である前記出力信号に非線形に変換する光増幅器を含むことを特徴とする。

本発明によれば、機械学習による時系列データ処理を、効率的に実現する情報処理システムを提供することができる。

上記した以外の課題、構成及び効果は、以下の発明を実施するための形態の説明により明らかにされる。

本発明の実施例1に係る情報処理システムの構成例を示す図である。

光強度変調器の構成例を示す図である。

光増幅器の構成例を示す図である。

本発明の実施例1に係る情報処理システムの計算部の動作例を示すフローチャートである。

本発明の実施例2に係る情報処理システムの構成例を示す図である。

本発明の実施例2に係る情報処理システムによるシミュレーション結果を示す図である。

本発明の実施例3に係る情報処理システムの構成例を示す図である。

本発明の各実施例に係る情報処理システムの計算機を実現するコンピュータの構成例を示す図である。

以下、図面を参照して本発明の実施例を説明する。以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ(例えばCPU、GPU)によって実行されることで、定められた処理を、適宜に記憶資源(例えばメモリ)及び/又はインターフェースデバイス(例えば通信ポート)等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路(例えばFPGAやASIC)を含んでいてもよい。

また、プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。

本発明の情報処理システムは、信号変換部を備える。信号変換部は光増幅器を含む物理系によって実装され、リザーバとして機能する。信号変換部に信号を入力する信号入力部と、信号変換部で変換された信号である出力信号を読み出す信号出力部と、読み出した出力信号の線形結合及びニューラルネットワークの最適な結合強度を計算する計算部とを備えることで、リザーバコンピュータとして動作する。リザーバコンピューティングにおける入力層を実現する部分が信号入力部、中間層すなわちリザーバを実現する部分が信号変換部、出力層を実現する部分が信号出力部、結合強度の学習を行う部分が計算部となる。

「リザーバコンピューティング」とは、再帰型ニューラルネットワークによる教師あり機械学習の手法の一つであり、音声等の時系列依存した情報の処理に適しており、また原理的に短時間での学習・運用に好適である。「リザーバコンピューティング」において、ニューラルネットワークを構成する入力層、中間層、及び出力層のうち、重み付けが固定の再帰型ニューラルネットワークである中間層を、「リザーバ」という。「リザーバコンピューティング」では、入力層からリザーバへの線形結合の重み付けは固定であり、リザーバ内の線形結合の重み付けも固定であり、リザーバから出力層への線形結合の重み付けのみを学習により更新する。

以下に説明する各実施例及び各変形例は、本発明の技術的思想の範囲を逸脱せず、整合する範囲内で一部又は全部を組合せることができる。

(実施例1の情報処理システムの構成) 図1は、本発明の実施例1に係る情報処理システムの構成例を示す図である。実施例1に係る情報処理システム1Sにおいて、信号入力部1は、D/A変換器102、光源103、光強度変調器104によって構成される。各部品は点線矢印で示す電線105又は実線矢印で示す光ファイバ106で接続される。計算機(計算部)101はD/A変換器102及びA/D変換器109を備え、電気信号の出力及び計測が可能である。音声データに基づいてD/A変換器102から出力される電気信号は、光強度変調器104に入力される。光強度変調器104には光源103からの光が入力され、電気信号に基づいた強度変調を受ける。なお音声データに基づいた電気信号がD/A変換器102から出力され光強度変調器104に入力されるとするが、音声データ以外のデータであってもよい。

(強度変調器の構成) 図2は、光強度変調器の構成例を示す図である。光強度変調器104の中には電気光学結晶201が封入されている。入力光信号202を入力すると、電気光学結晶201中に形成された光導波路干渉計を通り、出力光信号203が出力される。電気光学結晶201に入力電気信号204を印可すると、光導波路の屈折率が変化することで光信号が干渉して打消し合い、出力光信号203の強度が変化する。以上のような動作により、入力電気信号204に対して出力光信号203は非線形な応答を示す。光強度変調器104から出力される強度変調を受けた光は、信号入力部から出力される光信号となる。

図1の説明に戻る。信号変換部2は、光増幅器107によって構成される。光増幅器107には、信号入力部から出力される強度変調を受けた光信号が入力される。

(光増幅器の構成) 図3は、光増幅器の構成例を示す図である。光増幅器107はEDFA(Erbium Doped optical Fiber Amplifier)であり、その中には不純物添加光ファイバ301、2つの波長分割多重光結合器302、303、励起光源304が封入されている。

励起光源304からは励起光305が出力される。入力光信号306は、波長分割多重光結合器302によって励起光305と合波され、不純物添加光ファイバ301に入力される。励起光305によって不純物添加光ファイバ301中の不純物イオンのエネルギーが励起され、入力光信号306によって不純物イオンのエネルギーの誘導放出が起きる。波長分割多重光結合器303によって残りの励起光307が分波され、誘導放出によって増幅された入力光信号306は出力光信号308となって出力される。

以上のような動作により、入力光信号306に対して出力光信号308は非線形な応答を示す。励起状態は一定の時間で基底状態に遷移するので、短期メモリ効果を持つ。入力される光の強度と内部のエネルギー分布が同一であれば同じ強度の光が出力されるので、再現性が得られる。

以上のように、リザーバが持つべき3つの特徴が全て達成される。光増幅器107から出力される強度変換を受けた光信号は、信号変換部から出力される光信号となる。

なお光増幅器107は、EDFAに限らず、EDFAとは異なる時間幅のメモリ効果を期待できる半導体光増幅器であってもよい。

図1の説明に戻る。信号出力部3は、光検出器108、A/D変換器109によって構成される。光検出器108には、信号変換部2から出力される光信号が入力され、電気信号に変換される。電気信号は計算機101が備えるA/D変換器109に入力され、計算機101において測定値が記録される。

計算部は、計算機101によって構成される。計算機101は、CPU(Central Processing Unit)等の演算処理装置を含む。図4は、本発明の実施例1に係る情報処理システムの計算部の動作例を示すフローチャートである。先ず計算機101は、D/A変換器102を通して教師データを光強度変調器104に入力する(ステップS401)。次に計算機101は、信号入力部1、信号変換部2、信号出力部3が動作して、A/D変換機109を通して得られた測定値を元に、計算機101の内部で設定した結合強度から出力結果を計算する(ステップS402)。

次に計算機101は、ステップS402で取得した出力結果と教師データの解答を比較して、一致しているかどうかを判定する(ステップS403)。一致していなかった場合(ステップS403:YES)、計算機101は、その誤差が小さくなるように結合強度を更新し(ステップS404)、再び教師データを光強度変調器104に入力する。このステップS401→S402→S403:NO→S404→S401のループを出力結果と教師データの解答が一致するまで繰り返すことで、結合強度(線形重み)を最適化する。最適化は最後の出力層の一層のみ行うため、全ての結合強度の最適化を行う機械学習の方法と比べ、短時間で最適化が完了する。

最適化が完了して得られた出力結果と教師データの解答が一致した場合(ステップS403:YES)、計算機101は、未知のデータを入力する(ステップS405)。最適化が完了して得られた出力結果と教師データの解答が一致した場合(ステップS403:YES)とは、教師データの分類が完了したことである。最適化が完了して得られた出力結果と教師データの解答が一致した場合、計算機101は、未知のデータに対しても出力結果を得る(ステップS406)。

以上、本実施例によれば、光増幅器の持つ非線形性のダイナミクスを活用することで、物理系を用いた機械学習による時系列データ処理において高い非線形性と再現性を両立させ、時系列データ処理を効率的に実現することができる。

実施例1では、光増幅器107単体を信号変換部として用いたが、実施例2では、光増幅器を光ファイバで構成したループに組み込むことで、信号変換部のもつ非線形性や短期メモリ効果をより自由に制御することができる。

図5は、本発明の実施例2に係る情報処理システムの構成例を示す図である。実施例2の情報処理システム2Sは、実施例1の情報処理システム1Sと比較して、光強度変調器104、光増幅器107、光結合器501、光アイソレータ502、光フィルタ503がそれぞれ光ファイバ106で接続されて構成されたループ構造L2を有する。

電気光結合器201から分岐した一部の光信号は光検出器108に入力される。光検出器108から出力された電気信号はA/D変換器109に入力され、計算機101でクロック周波数の抽出が行われる。温度等の変化によってループ構造L2の光の位相に変化が生じた場合、クロック周波数の変化となって現れる。抽出されたクロック周波数をもとにD/A変換器102から出力される電気信号のクロック周波数を制御することで、ループ構造L2で生じる光信号を安定化させる。その後は、実施例1と同様に教師データの入力や結合係数の最適化を行うことによって、音声データの分類等を行うことができるようになる。

(実施例2のシミュレーション結果) 図6は、本発明の実施例2に係る情報処理システムによるシミュレーション結果を示す図である。D/A変換機102から出力されるリザーバへの入力電気信号601、A/D変換機109に入力されるリザーバからの出力電気信号602をそれぞれ表している。入力電気信号601は相対的に大きい第1の振幅と相対的に小さい第2の振幅の2つの振幅を有する波形を有する信号であるのに対し、出力電気信号602は入力電気信号601と比較して複雑な波形を有する信号となった。これは出力電気信号602が過去の入力電気信号601に影響されているためで、非線形性と短期メモリ効果が発現していることを示している。また、入力電気信号601が同じ波形の場合には出力電気信号602も同じ波形になり、再現性が得られていることも確認できた。

以上、本実施例によれば、光増幅器及び光ファイバのループ構造の持つ非線形性のダイナミクスを活用することで、時系列データ処理を効率的に実現することができる。

実施例2では、計算機101によるクロック抽出及びクロック周波数の制御によって光信号の安定化を行ったが、実施例3では、特許文献2に記載の方法によって再生モード同期を行うことで、さらなる光信号の安定化を図ることができる。

(実施例2の情報処理システム) 図7は、本発明の実施例3に係る情報処理システムの構成例を示す図である。実施例3の情報処理システム3Sは、実施例2の情報処理システム2Sと比較して、光検出器108、クロック抽出器701、移相器702、光位相変調器703で構成されたフィードバック制御系を有する。図7のリザーバは、再生モード同期と呼ばれる構成である。光結合器501から分岐した一部の光信号が光検出器108に入力される。光検出器108から出力された電気信号の一部がクロック抽出器701に入力され、クロック周波数の抽出が行われる。温度等の変化によってループ構造L2の光の位相に変化が生じた場合、クロック周波数の変化となって現れる。クロック抽出器701から出力された電気信号を移相器702を通して光位相変調器703に入力することでループ構造L2に生じた位相の変化が補正され、ループ構造L2で生じる光信号を安定化させる。その後は、実施例2と同様に教師データの入力や結合係数の最適化を行うことによって、音声データの分類等を行うことができるようになる。

以上、本実施例によれば、光増幅器及び光ファイバのループ構造の持つ非線形性のダイナミクスを活用し、再生モード同期による安定化を行うことで、時系列データ処理を効率的に実現することができる。

図8は、本発明の各実施例に係る情報処理システムの計算機を実現するコンピュータの構成例を示す図である。実施例1〜3の情報処理システム1S〜3Sの計算機101を実現するコンピュータ5000は、CPU(Central Processing Unit)5300、RAM(Random Access Memory)等のメモリ5400、入力装置5600(例えばキーボード、マウス、タッチパネル等)、および出力装置5700(例えば外部ディスプレイモニタに接続されたビデオグラフィックカード)が、メモリコントローラ5500を通して相互接続される。コンピュータ5000において、所定のプログラムがI/O(Input/Output)コントローラ5200を介してSSDやHDD等の外部記憶装置5800から読み出されて、CPU5300およびメモリ5400の協働により実行されることにより、情報処理システム1S〜3Sの計算機101が実現される。あるいは、情報処理システム1S〜3Sの計算機101を実現するためのプログラムは、ネットワークインターフェース5100を介した通信により外部のコンピュータから取得されてもよい。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

1S、2S、3S…情報処理システム、1…信号入力部、2…信号変換部、3…信号出力部、L2…ループ構造、FC…フィードバック制御系、101…計算機(計算部)、102…D/A変換器、103…光源、104…光強度変調器、105…電線、106…光ファイバ、107…光増幅器、108…光検出器、109…A/D変換、201…電気光学結晶、202…入力光信号、203…出力光信号、204…入力電気信号、301…不純物添加光ファイバ、302…波長分割多重光結合器、303…波長分割多重光結合器、304…励起光源、305…励起光、306…入力光信号、307…励起光、308…出力光信号、501…光結合器、502…光アイソレータ、503…光フィルタ、601…リザーバへの入力電気信号、602…リザーバからの出力電気信号、701…クロック抽出器、702…移相器、703…光位相変調器。