权利要求

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワークにおける内部結合方法に関し、特に例えば画像処理と分解フィールドで観測ベクトルの広がりの縮小、または予報タスクを提供することに関する。 更に一般に多層ニューラルネットワークのモデル化された構成を用いる技術を提供できる。

【０００２】

【従来の技術】ここ数年、多くの数のニューラルネットワークのモデルが提案されている。 この中には産業上最も関心があるであろうモデルは、「並列分散」（ケンブリッジ、MIT プレス、1986年）という本での「エラー逆伝搬による学習内部表現」というDEランメルハート氏、GEヒントン氏、RJウィリアムズ氏による論説で特に論じられた多層パーセプトロンである。 この構成は「ニューロン」又は「オートメ」と称される単一ユニットのアセンブラである。 ニューロンは層の中に組織化され、各層は入力部に先の層から出力を受信する。 評価逆伝搬アルゴリズムとして知られる学習アルゴリズムはネットワークのこの型として提案されている。 このアルゴリズムは前述の論説で論じられている。

【０００３】

【発明が解決しようとする課題】しかしながら、多層パーセプトロンの性能は種別に関しては十分であるが予測に関するタスク、つまり空間広がりの縮小を提供されない。 非線形な問題を取り扱うための能力に乏しいので多層パーセプトロンはこれらのフィールドで不完全に作用するという欠点がある。

【０００４】

【課題を解決するための手段及び作用】上記問題点を解決するため、この発明の方法は、関数によってニューロンの出力状態を表すことで構成する方法であって、各層は入力部で直ぐ下の層からの出力を受信し、連続するニューロン層を連結したニューラルネットワークにおける内部結合方法において、関数が、関数のウェイト総計を行い、前記関数の各々は先の層からニューロンの出力状態を表す第１のステップと、前記総計の結果に飽和関数を施す第２のステップと、飽和関数の処理後の結果に分散関数を施す第３のステップとからなることに特徴がある。

【０００５】

【実施例】図１ａは多層パーセプトロンの構成による層で組織化されたニューロンの構成を示す図である。 入力ベクトル１は矢印による記号で表された入力ユニットへ情報を供給する。 層内では内部結合はない。

【０００６】各ニューロンは各入力でのすぐ下の列の層からの出力を受信する。 一般に、三角形で示された、出力が常に１である入力がない、いわゆる閾値ニューロンは自由程度を加えることによってネットワーク容量を改良するために出力ベクトル２のレベルを除いて各層へ供給される。

【０００７】図１ｂはランメルハート氏らによって提案された、多層パーセプトロンの構成と関連したニューロンの結合の一部を示す図である。 総和素子３と、例えば接線ハイボリック型の非線形遷移関数４から成る。 O _iは先の層からのニューロンｉの出力状態を表し、O _jは次の層の部分を形成するニューロンｊの出力状態であり、総和素子３へ入力される３つの矢印は各層のニューロンへの結合を示す。 W _ijはニューロンｉとニューロンｊとの結合に関するウェイト係数を表す。 X _jはウェイト総和素子３の結果である、ニューロンｊのポテンシャルと呼ばれる。 もしニューロンの遷移関数４をＦで表し、ニューロンｊの先の設定値をpred(j) と表し、この記号方法を使うと、次のようにかける。

【０００８】

【数１】

なお、記号∈はｉが設定値pred(j) に属することを示す。

【０００９】図２ａは本発明による結合モデルを示す図である。 ニューロン出力状態は関数によってでなく以前からもはやスカラー量によって示されていない。 本発明による結合方法は、先の層からニューロンｉを表す関数
f _xiのウェイト総和を供給する第１のステップ２１で構成される。 もしニューロンｉとｊとの結合を特長とするウェイト連続を関数W _ijと表し、ニューロンｊに関するポテンシャルX _jは次の関係式で与えられる。

【００１０】

【数２】

【００１１】なおpred(j) は予め定義されている。

【００１２】第２のステージ２２において、ウェイト総和の結果X _jは飽和関数F _sによって非常に正確にみなされ、X _jによって与えられることからの結果X _j ＝F _s (X _j )、
F _sは例えば接線ハイパーボリック型である。 最後に、第３のステップ２３において、分散関数d _hはニューロンｊ
の出力状態を特徴とする出力関数を得るために値X _jを供給され、f _xjはこの関数を表す。 ３つのステップを用いた分散関数d _hはＲ内のＲという応用の全ての中で実数Ｒ
の設定を供給し、ｈによって表された同一又は非周期的な関数を用いて、δ _xによって表されてｘを中心とするディラックデルタ関数のコンボルーションの創作の結果のすべての実数ｘに関係付けた関数である。 次の表記方法を用いて各実数ｘとして f _x =d _h (x)= δ _x ^* h となる。

【００１３】なおδ _x ^*は関数ｈによる関数δ _xのコンボルーションを表す。 この場合、全ての実数をｘとｙとして f _x (y)=h(y・x)=h(x・y) ・・・(1) となる。

【００１４】この故に分散関数d _hは周知の関数ｈによって完全に解決される。 次に、関数f _xはｘで表された分散スカラーと呼ばれる。 実際問題として、関数ｈは例えば平滑フィルタである。

【００１５】図２ｂは例えばｈは一般にガウス曲線に沿っての関数であり、その場合のいくつかの分散スカラー表記を示す図である。 ｙ軸は実数の設定値であり、f
_x (y) 軸は関数f _xの適用から結果として実数のイメージの設定である。 曲線２０１はｘ＝０としての関数f _xの形状を示し、曲線２０２はｘ＝０．３としての関数f _xの形状を示し、曲線２０３はｘ＝０．７としての関数f _xの形状を示す。 本発明によるネットワークはニューロンｉとニューロンｊとの間の結合の次の検査から理解されるであろう。 ポテンシャルX _jとして式から表現すると次の関係式を得ることができる。 関係式（１）に関係して

【００１６】

【数３】

【００１７】事実後者の関係式は実数x _iに供給される関数W _ijによる関数ｈのコンボルーション(convolution)
の創作を表す。 他の関係式として S _ij (x _i )=(h*W _ij )(x _i ) ・・・(3)

【００１８】そして、ニューロンｉとニューロンｊとの結合を特徴とするウェイト連続体を持つニューロンｉとしての分散関数を一緒にグループ化することによって、
この結合は関数生成分散スカラー表記によってウェイト連続体をフィルタリングする結果として現れる。 もしC
_ij =h*W _jと書くと、次の列によってニューロンンｊで終わる結合を記述でき、先の表記方法を用いると、

【００１９】

【数４】

となる。

【００２０】分散スカラー表記の効果を表現する位置方法は、結合が適応関数であり、もはや形式的なニューラルモデルの場合でのシンプルな適応性のゲインのようでなく、そして実際上非線形性の問題と共により処理することができる。

【００２１】しかしながら、実際問題ウェイト連続体を表現することは未だできる。 本発明によれば、標本関数によってウェイトを表現する。 ニューロンｉとニューロンｊとの間のこの標本関数は次のように定義され、かつ表現される。

【００２２】

【数５】

【００２３】なおｎは相対値、W _ij,nは点ｎでのウェイトW _ijの連続体の値、δはダイラックデルタ関数である。

【００２４】関係式(3) から、表現方法を用いて、先の層のニューロンｉの値X _iへニューロンｊのポテンシャル
X _jをリンクする関数S _ijは

【数６】

でS

_ij (X

_i )=(h

^* W

_ij

^* )(X

_i )のように定義される。 W

_ijが一定ならば、

【数７】

が得られ、

【数８】

とすると、

【数９】

が得られる。

【００２５】図２ｃは標本化されたニューラルモデルを示す図である。 ステップ２１の総和関数、ステップ２２
の飽和関数とステップ２３の分散関数が上述のものと同じであって、ｎとｍは相対値であり、O _j,n =f _xj,n及びO
_i,n =f _xi,mとなる。 なお、W _{ij, m}はサンプリングｍのときウェイト連続体W _ijの値である。 ステップ２３からの出力で、前の場合であってひとつの矢印の代わりに、点線によって離間された２つの矢印は、ひとつの特有の値であるO _j,nを得る標本化値を記号化したものである。 ニューラルネットワークの内部結合での改良はひとつの値によって表されたニューロンン出力に代わってここに明らかにすることができ、処理の複雑化の可変型へ高い適合と正確さを同時に改良することを揺する標本化値の連続体によって表される。

【００２６】図２ｂにおいて、フィルタリング関数ｈは一般にガウス関数である。

【００２７】図３からは、f _x (y)=h(xy)=h(yx) の値は常に小さく、間隔[n ₁ ,n ₂ ] の外側にあり、関係式(5) の
W _ij,n f _xi,nで小さな影響を有するレンジ[n ₁ ,n ₂ ] の外側にあるｎでのウェイトW _ij,nを意味することがわかる。 レンジ[n ₁ ,n ₂ ] の外側のｎの値において、ウェイト
W _ij,nの値はその後０に設定される。 実際問題として、
レンジ[n ₁ ,n ₂ ] の限界範囲は飽和関数F _sの漸近値を含むことについてえらばられる。 図３において、F _MINとF _MAX
は最小最大の飽和値又は飽和関数F _sの漸近値である。 接線双曲線関数においては、F _MIN =-1 とF _MAX =+1 となる。
上述の設定した表記方法に従って

【００２８】

【数１０】

とかける。

【００２９】設定された結合モデルを有し、学習アルゴリズムを定義する必要がある。 ネットに入力にもかかわらず、出力ニューロンンの状態が入力に適合されるために学習遷移を供給する必要がある。 本発明によって定義された学習アルゴリズムはランメルハート氏らによる論説において論じられた逆伝搬アルゴリズムによってし刺された評価アルゴリズムである。

【００３０】本発明に従って定義された学習アルゴリズムにおいて、エラーの列における平均値e _QMはターゲット出力(t _j )と実際に得られる(X _j )との間で次に用に定義される。

【００３１】e _QM =E{e _Q }

【００３２】処理E{ }は

【数１１】

によって定義された値e

_Qとして平均値を計算する。 なおｓは出力ニューロンンのすべてに同一である。

【００３３】学習遷移中においてすべての例はランダムにいくつかの時間にフィードされる。 提案された例の各時間、ウェイトW _ij,nはエラー評価とある意味で変化する。 ΔW _ij,nによる変化を示すと、

【００３４】

【数１２】

【００３５】となる。 なおαは正の定数であり、エラーでの減少が補償される。 列のエラーのローカル減少はg
_ij,nとして次ように書ける。

【００３６】

【数１３】

【００３７】e _QM =E{e _Q } ならば、微分として

【数１４】

と書ける。 したがって、ΔW

_ij,n =−αE{g

_ij,n }が得られる。

【００３８】学習遷移を実行するために、ウェイト

【数１５】

に関してエラーの評価g

_ij,nを知るために必要である。

なお

【数１６】

は関係式(2) と(6) から求められる。

【００３９】そして

【数１７】

と設定することによりg

_ij,n =−δ

_j O

_i,nが得られる。 g

_ij,nを得るためにはδ

_jを定義しなければならない。

微積分の基本によって層のニューロンｋに関係する

【数１８】

を条件の関数として表すことができることがわかる。 要するに、

【００４０】

【数１９】

【００４１】X _j =F _s (X _j ) ここで

【数２０】

と

【数２１】

である。

【００４２】

【数２２】

は先の定義された間隔[n

₁ ,n

₂ ] で

【数２３】

と表現できる。

【００４３】

【数２４】

は

【数２５】

と書ける。 succ(j) は位置されたニューロンｊの層にすぐ続く層のニューロンと同一である。

【００４４】関係式(2) と(6) から

【数２６】

と

【数２７】

で

【数２８】

となる。 更に

【数２９】

となる。 要するに、O

_j,n =f

_xj,n 、と関係式(1) と(4) から

【数３０】

は次の層のニューロンｋにおけるδk's の条件でδ

_jとして次のように表す。

【００４５】

【数３１】

【００４６】最後の層の特別の場合において、δ _jは選ばれたエラーのタイプの関数として容易に表され、要するに、

【数３２】

となる。 ここで、関係式(7) から最後の層に関係するニューロンｊにとって

【数３３】

となる。

【００４７】その結果としてδ _j =-(X _j -t _j )F _s (X _j )となる。

【００４８】そして、反復を用い、かつターゲット出力と現実に得られた出力との間の連続する二次のエラーを用いることで、学習遷移を構成し、係数W _ij,nを検出することができる。

【００４９】本発明による方法は例えば特に信号処理で空間の広がりの縮小を提供できる。 そして多数の信号の処理において観測値は有効に広がりＮの空間に関係するベクトルによって表現される。 このベクトルの成分はしばしば独立しておらず、実際はＮより小さい広がりＭのハイパーサーフェイス(hyper-surface) に制限される。
実際に分析のいくつかの方法はハイパープレン(hyper-p
lane) に近づくようにこのハイパーサーフェスを可能にする。 しかしながらハイパーサーフェスが曲げられている時この近似値は十分でなく、また現在十分な方法は存在しない。 本発明による方法は得られるような十分な結果となり得る。 ２つの広がりを有する場合を考察した例は高い広がりの問題を表している。 図４ａにおいて、ハイパーサーフェスＳはユニット半径の円の１／４によって表される。

【００５０】処理されたデータは、例えば、角度の関数である同様な法則に従って円の１／４のＳを越えて自由に選ばれる座標(a,b) を用いてベクトルによって表される総合のデータである。 図４ｂは本発明に従って用いられたニューラルネットを示す図であり、同図においてａ
とｂは入力データである。 ｄ関数４１，４２は関係式
(1) で定義された分散されたスカラーを表す関数f _aとf _b
を出力する分散関数であり、ニューロン４３，４４，４
５は本発明の方法似従って結合される。 関数f _x1は参照番号４３によって示されたニューロン１の状態を表す分散スカラ表記関数である。 ＡとＢはネットからの出力で得られた値である。 学習遷移中ネットは自己結合方法によって設定され、ネットワークからの出力で必要とされるターゲット値はネットワークの入力で供給されたデータと等しいことを意味し、この場合もしａとｂが入力データで、ＡとＢが得られた出力データであるとき、列のエラーe _Qは次のような関係式によって与えられる。

【００５１】e _Q =1/2[(Aa) ² +(Bb) ² ]

【００５２】このネットワークであってすべての情報は図４ｂでの４３によって示されたニューロン１を必然的に通らなければならず、計算された問題点はディメンション１の問題点へ整理され、図４ａの曲線S1によって表された、得られた出力座標(A,B) の点として十分な結果を与えるこれは曲線Ｓによって表されたターゲット出力座標の十分な近似値である。 他の解決方法は本発明により結合されなかった通常のニューラルネットを有する同じデータを処理することからなり、ディメンションを１
へ減らされたにもかかわらず、直線Ｐによって表された近似値を出力することができる。

【００５３】また、本発明による方法は予言のフィールドで用いることができ、性能をかなり改良する。 非線形問題を処理することでのこの方法によって得られる良い結果は結合が適応性の関数のように動き、かつもはや単一の適応性のゲインのようでない。 例えば、分散関数を定義するために用いた関係式(1) の平滑関数ｈはガウス関数によって

【数３４】

と定義され、特有の問題の関数として適応され、一般に１の値である標準偏差σに変えることによって処理される。

【００５４】

【発明の効果】以上説明したように、本発明によれば、
パーセプトロンの予測と性能の減少の改良を有する非線形な問題を取り扱うための多層パーセプトロンの能力を改良することができる。

【図面の簡単な説明】

【図１ａ】多層パーセプトロンの構成における層でのニューロンの組織状態を示す図である。

【図１ｂ】ニューロン結合モデルを示す図である。

【図２ａ】本発明によるニューロン結合モデルを示す図である。

【図２ｂ】分散巣カラー関数の例を示す図である。

【図２ｃ】別のニューロン結合モデルを示す図である。

【図３】分散スカラー関数の特性を示す図である。

【図４ａ】本発明による方法によって得られる結果を示す図である。

【図４ｂ】図４ａの結果を得るためのニューラルネットワークの構成を示す図である。

【符号の説明】

１ 入力ベクトル ２ 出力ベクトル ３ 総和素子 ４ 遷移関数