【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識やシステム同定問題，制御問題などのように、与えられた入力から望ましい出力を学習する学習装置に関する。

【０００２】

【従来の技術】一般に、中間層の素子の出力関数としてシグモイド関数を用いた３層階層型ニューラルネットワークは、非線形性を有するシステムの入出力関係の同定に有効である。 通常、対象とするシステムに関する知識は、先験的前提がない限り、観測を通じて得られた有限個のデータのみに反映されている。 このため、ネットワークの結合重みは、データとネットワーク出力が近くなるよう、バックプロパゲーションアルゴリズムなどを用いた学習により推定される。 この場合、ネットワーク構造(ネットワークの複雑さ)が適切でないと、学習した入出力関係が獲得すべき入出力関係からずれてしまう。 従って、複雑さの異なる学習後のネットワークの中から、
適切なものを選ぶ必要がある。 これは、一般に、モデル選択と呼ばれている。

【０００３】従来、モデル選択法としては、情報量基準ＡＩＣ(Akaike's Information Criterion)を最小化するモデルを最適とみなして採用する方法が広く用いられている。 ＡＩＣは、ゆう度原理とＫＬ(Kullback-Leibler)
情報量との関係から、モデルに関する適当な仮定のもとで漸近理論に従い導出された基準である。 ＡＩＣが適用されるモデルは、主に自己回帰モデルあるいは重回帰モデルなどである。 階層型ニューラルネットワークにおいても、モデル選択の立場から、ＡＩＣを直接用いる方法や学習により最ゆう推定量が得られた場合にＡＩＣと等価になる基準を用いる方法などが提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、文献「“階層型ニューラルネットワークにおける結合重みの非一意性とＡＩＣ”萩原克幸 他 電子情報通信学会論文誌Ｄ-II,Vol.J76-Ｄ-II,No.9,pp2058-2065(1993)」に示されているように、３層階層型ニューラルネットワークを用いた非線形回帰モデルに対しては、結合重みの非一意性のためにＡＩＣが導出できず、従って、最適なネットワークモデルの選択を行なうことができない。

【０００５】このことを、以下に詳細に説明する。 いま、図４に示すような、中間層にｍ個の中間層素子を配置したｒ入力１出力の３層階層型ニューラルネットワークについて、中間層素子の出力関数をシグモイド関数，
入力層，出力層の各素子の出力関数を線形関数とし、このネットワークをＮ(ｒ，ｍ)と表わす。

【０００６】非線形性をもつシステムに関する予測・制御あるいは機能解析といった目的のもとで、その入出力関係をＮ(ｒ，ｍ)により同定することを考える。 対象とするシステムをｒ入力１出力とし、入力ベクトル列ｘ＝
(ｘ ₁ ，ｘ ₂ ,…,ｘ _n ) ^r ，(ｘ _i ＝(ｘ _i1 ，…，ｘ _ir )∈Ｒ ^r ，
ｉ＝１，…，ｎ)に対するシステムの応答をｙ＝(ｙ ₁ ，
ｙ ₂ ,…,ｙ _n ) ^rとする。 いま、入力数ｒおよびｘは固定されているものとする。 ｙの生成機構を、図５に示すように、各ｉで、システム固有の確定的出力ｈ(ｘ _i )に確率変数の実現値として表わされる雑音成分ε _iが重畳したものとみなし、その条件付き同時確率密度関数をｐ(ｙ
｜ｘ)(≡ｐ)と表わす。 ｈ(・)を真の入出力関係，ｐを真の分布と呼ぶ。

【０００７】今、ｙの確率構造を次式で表わす。

【０００８】

【数１】ｙ _i ＝ｇ(ｘ _i ，ω _m )＋ε _i ０≦ｍ≦Ｍ ε _i 〜Ｎ(０，σ ² )，各ｉで独立，等分散

【０００９】数１は、システムのパラメトリックモデルであり、非線形回帰モデルの一種であり、数１において、ｍ，ω _m ，σ ²が定まれば、次式で与えられるｙの条件付き同時確率密度関数が規定される。

【００１０】

【数２】

【００１１】ここで、θ _k ＝(ω _m ，σ ² )(≡(θ _k ¹ ，…，
θ _k ^k ))およびｋ＝ｍ(ｒ＋２)＋１は、それぞれｆ _kのパラメータおよびパラメータ数を表わす。 このとき、ｋは中間層素子数ｍに依存して変わる。 Ｋ＝Ｍ(ｒ＋２)＋１
をｋの最大値とし、Ｍ≪ｎとする。 また、θ _kのパラメータ空間をΘ _k ∈Ｒ ^kとする。 以下、特に断わらない限り、モデルとは条件付き同時確率密度関数ｆ _kを意味し、モデルの族をＦ _k ＝｛ｆ _k ；θ _k ∈Θ _k ｝と表わす。

【００１２】階層型ニューラルネットワークの学習法としてのバックプロパゲーションアルゴリズムは、データとネットワーク出力との誤差２乗和を評価関数とする最急降下法と等価である。 なお、誤差２乗和は次式で与えられる。

【００１３】

【数３】

【００１４】このとき、学習により得られた結合重みを〈ω _m 〉とすると、分散σ ²の推定値〈σ ² 〉は、次式で与えられる。

【００１５】

【数４】〈σ ² 〉＝Ｓ _n (〈ω _m 〉）

【００１６】一般に、パラメータ空間Θ _k内において、
評価関数Ｓ _n (・)の大域的な最小値を与えるパラメータの推定量〈θ _k 〉 ^NLS ＝(〈ω _m 〉 ^NLS ，〈σ ² 〉 ^NLS )を非線形最小２乗推定量と呼び、推定されたモデルをｆ(ｙ｜
ｘ，〈θ _k 〉 ^NLS )(≡〈ｆ _k 〉 ^NLS )と表わす。 学習により非線形最小２乗推定量が得られる場合、ネットワークは、その構造が簡単すぎると、偏った入出力関係を学習してしまう。 逆に、複雑すぎると、学習に用いたデータに対する誤差は小さくなるが、真からは隔たった入出力関係を学習してしまう。 従って、学習したネットワークについて、適切なネットワーク構造，すなわち中間層素子数ｍを決める必要がある。

【００１７】これは、｛〈ｆ _k 〉 ^NLS ；ｋ＝１，…，Ｋ｝
の中から、何らかの意味で、適切なモデルを選ぶことに対応し、一般に、モデル選択と呼ばれる。

【００１８】従来、自己回帰モデルあるいは重回帰モデルなどについては情報量基準ＡＩＣ(Akaike's Informat
ion Criterion)を最小化するモデルを選択する方法が広く用いられてきた。 ＡＩＣは、〈ｆ _k 〉と真の分布ｐの近さの尺度としてＫＬ(Kullback-Leibler)情報量を導入し、モデルに関する適当な仮定のもとで導出された基準である。 従って、その導出における仮定を満たすモデルの族を対象とする場合、ＡＩＣにより選択されるモデルの適切さは、ＫＬ情報量を根拠として保証される。

【００１９】一方、ゆう度原理では、ｆ _kをパラメータθ _kの関数と見るとき、ｌ(θ _k )＝logｆ(ｙ｜ｘ，θ _k )を対数ゆう度と呼び、対数ゆう度を最大化するパラメータの推定量〈θ _k 〉 ^MLを最ゆう推定量と呼ぶ。 このとき、
ｌ(〈θ _k 〉 ^ML )を最大対数ゆう度と呼び、最ゆう推定量〈θ _k 〉 ^MLにより定められるモデルｆ(・｜ｘ，〈θ _k 〉
^ML )(≡〈ｆ _k 〉 ^ML )を最ゆうモデルと呼ぶ。

【００２０】ＡＩＣは、最ゆうモデルに対する基準である。 もし、推定されたモデルが最ゆうモデルでなければ、そのモデルはＡＩＣ導出における仮定を満たさない。 しかしながら、数２のモデルの場合、非線形最小２
乗推定量は最ゆう推定量と一致することが知られている。 以下、学習により非線形最小２乗推定量が得られた場合を考え、〈θ _k 〉＝〈θ _k 〉 ^ML ＝〈θ _k 〉 ^NLS ，
〈ｆ _k 〉＝〈ｆ _k 〉 ^ML ＝〈ｆ _k 〉 ^NLSとする。

【００２１】ＺをＹと独立に同一分布に従う確率変数として、次式を平均対数ゆう度と呼ぶ。

【００２２】

【数５】

【００２３】また、≪θ _k ≫を次式を満たすパラメータ値とする。

【００２４】

【数６】

【００２５】このとき、必ずしもｆ(・｜ｘ，〈θ _k 〉)
(≡≪ｆ _k ≫)は、真の分布ｐに一致する必要はない。

【００２６】〈ｆ _k 〉のｐに対する近さの尺度としてＫ
Ｌ情報量Ｉ(〈ｆ _k 〉，ｐ〉)を導入することで、最ゆうモデルの平均対数ゆう度ｌ ^* (〈θ _k 〉)により最ゆうモデル間で真の分布との近さを相対的に評価できる。
〈θ _k 〉はデータに依存するためｌ ^* (〈θ _k 〉)のデータ分布に関する期待値すなわち、次式で与えられる期待値が理想的な評価量となる。

【００２７】

【数７】

【００２８】ｌ _n ^* (ｋ)を期待平均対数ゆう度と呼ぶ。 通常、真の分布は未知であり、ｌ(〈θ _k 〉)によりｌ
_n ^* (ｋ)を推定する必要がある。

【００２９】ｌ ^* (・)およびｌ(・)をそれぞれの最大値を与える≪θ _k ≫および最ゆう推定量〈θ _k 〉において２
次のテイラー展開により近似する。 そうして得られたｌ
(〈θ _k 〉)とｌ ^* (〈θ _k 〉)の差は、最ゆう推定量の一致性および漸近正規性を考慮してデータに関する期待値をとると、Ｔｒａｃｅ［Ｊ ^-1・Ｉ］で与えられる。 ここで、ＪおよびＩはそのｉｊ成分が次式で与えられるｋ×
ｋ行列である。

【００３０】

【数８】

【００３１】ところで、「モデルの族が真の分布を含む」という仮定のもとでは任意の入力ξ＝(ξ ₁ ，…，ξ
_r )∈Ｒ ^rに対して、ｇ(ξ，ω _m ^* )＝ｈ(ξ) ω _m ^* ∈Ω _mを満たすｍ(ｍ ^* ≦ｍ≦Ｍ)とω _m ^*が存在する。 ｍ(ｍ ^* ≦ｍ
≦Ｍ)についてｇ(ξ，ω _m ^* )を真のネットワーク出力と呼ぶ。

【００３２】真のネットワーク出力が定数λの場合、すなわち、ｇ(ξ，ω _m ^* )＝λ ｜λ｜＜∞の場合、真のネットワーク出力を定める結合重みは無数に存在する。 例えば、Ｎ(ｒ，１)についてα _j ＝０であればβ ₁ ／｛１＋
exp(τ ₁ )｝＝λを満たす(β ₁ ，τ ₁ )の組合せは一意に定められない。 従って、Ｎ(ｒ，ｍ)(ｍ＞１)についても同様のことがいえる。

【００３３】いま、λ＝０の場合を考える。 ｇ(ξ，
ω _m )について、すべてのβ _j (ｊ＝１，…，ｍ)がβ _j ＝０
を満たす場合、任意のα _j ，τ _j (ｊ＝１，…，ｍ)に対して、ｇ(ξ，ω _m )＝０が成り立つ。 すなわち、真の入出力関係を定める入力重み(結合重み)および閾値は一意性をもたない。

【００３４】このことから、階層型ニューラルネットワークＮ(ｒ，ｍ)を用いた非線形回帰モデルに対しては、
すべてのｍについて、パラメータの真値は識別不能となり、「パラメータの真値が大域的に識別可能である」という仮定が成り立たない。 従って、真値の集合内に何の制約(あるいは分布)も与えられていないことを考えると、平均対数ゆう度は、その集合内において平坦になる。

【００３５】このとき、数８の行列Ｊ(以後、Fisher情報行列と呼ぶ)について、一意性をもたないパラメータの真値に依存する要素が恒等的に０になり、Ｊは正則でなくなる。 従って、Ｊ ^-1は存在せず、Ｎ(ｒ，ｍ)を用いた非線形回帰モデルに対して、ＡＩＣは導出できない。

【００３６】このように、従来では、多層パーセプトロンにＡＩＣを適用する場合に、Fisher情報行列が正定値性をもたないと、正しくＡＩＣが適用できないという問題があった。

【００３７】本発明は、学習の結果得られたパラメータにおいてFisher情報行列が必ずしも正定値でない場合でも最適なモデル，中間層素子の個数を決定することの可能な学習装置を提供することを目的としている。

【００３８】

【課題を解決するための手段および作用】上記目的を達成するために、請求項１記載の発明は、真の確率ｐ(ｚ)
に従って発生した標本を用いて、次元の異なる複数のパラメータ空間{Θ ^(m) } _mに属するパラメータθ ^(m)によってパラメトライズされるパラメータ付確率密度関数族
{ｐ(ｚ；θ ^(m) )}によって最尤推定法で真の確率密度関数の推定を行なうパラメータ推定手段と、各ｍに対して得られたパラメータの推定値〈θ〉 ^(m)とパラメータΘ
^(m)の次元数とから計算されるＡＩＣに基づいて、最も適したパラメータの次元数をもつモデルを選択するモデル選択手段とを有し、モデル選択手段は、パラメータの推定値〈θ〉 ^(m)におけるFisher情報行列の正定値性の確保された各モデルを算出し、Fisher情報行列の正定値性の確保された各モデルのうちから最適なモデルをＡＩ
Ｃによって選択することを特徴としている。 これにより、学習の結果得られたパラメータにおいてFisher情報行列が必ずしも正定値でない場合でも、最適なモデルを決定することができる。

【００３９】また、請求項２，請求項３記載の発明は、
入力層と中間層と出力層とのネットワークとして構成され、入力ベクトルが与えられるときに所定のパラメータθに基づき入力ベクトルに対する出力ベクトルを計算して出力する多層パーセプトロンと、真の関数ｆ(ｘ)のまわりに統計的なばらつきをもって発生した学習データを用いて、多層パーセプトロンが真の関数の近似を行なうように、該多層パーセプトロンのパラメータθの推定を行ない、パラメータθを最適化するパラメータ推定手段と、該多層パーセプトロンの中間層がＨ個の中間層素子をもつとするときに、パラメータ推定手段によって得られた多層パーセプトロンのパラメータの推定値〈θ〉
^(H)と中間層素子の個数とから計算されるＡＩＣに基づいて、最適な中間層素子の個数をもつモデルを選択するモデル選択手段とを有し、モデル選択手段は、Fisher情報行列の正定値性の確保されたモデルを算出し、Fisher
情報行列の正定値性の確保された各モデルのうちから最適なモデルをＡＩＣによって選択することを特徴としている。 これにより、学習の結果得られたパラメータにおいてFisher情報行列が必ずしも正定値でない場合でも、
最適なモデルすなわち、最適な中間層素子の個数を決定することができる。

【００４０】

【実施例】以下、本発明の実施例を図面に基づいて説明する。 図１は本発明に係る学習装置の一実施例の構成図である。 本実施例の学習装置には、多層パーセプトロン
(例えば３層パーセプトロン)１０が用いられている。 この多層パーセプトロン１０は、Ｌ個の入力層素子１−１
乃至１−Ｌを有する入力層１とＨ個の中間層素子２−１
乃至２−Ｈを有する中間層２とＭ個の出力層素子３−１
乃至３−Ｍを有する出力層３とのネットワークで構成され、Ｌ次元入力空間Ｘからの入力ベクトルｘを入力層１
において受け取り、入力ベクトルｘが与えられた時のＭ
次元出力ベクトルｙを所定のパラメータθに基づき、次式により計算して出力層３から出力するようになっている。

【００４１】換言すれば、この多層パーセプトロン１０
は、次式の関数系によって特徴付けられている。

【００４２】

【数９】

【００４３】ここでσ(ｔ)はシグモイド関数であり、次式で与えられる。

【００４４】

【数１０】

【００４５】また、この多層パーセプトロン１０のパラメータθは、θ＝(ｗ ₁₁ ,...,ｗ _MH ,η ₁ ,...,η _M ,
ｕ ₁₁ ,...,ｕ _HL ,ζ ₁ ,...,ζ _H )で表わされる。 なお、
ｗ ₁₁ ,...,ｗ _MHはＨ個の中間層素子２−１乃至２−ＨとＭ個の出力層素子３−１乃至３−Ｍとの間の結合係数，
ｕ ₁₁ ,...,ｕ _HLはＬ個の入力層素子１−１乃至１−ＬとＨ個の中間層素子２−１乃至２−Ｈとの間の結合係数，
η ₁ ,...,η _MはＭ個の出力層素子３−１乃至３−Ｍの閾値，ζ ₁ ,...,ζ _HはＨ個の中間層素子２−１乃至２−Ｈ
の閾値である。 このような多層パーセプトロン１０では、ネットワークの出力を並列的な処理によって計算可能である。

【００４６】本発明では、この多層パーセプトロン１０
を実際に稼動するに先立ち(学習後の実際の応用に先立ち)、多層パーセプトロン１０のモデルとして、その中間層２の中間層素子の個数ＨがＨ ₁からＨ _nまでのｎ個のモデルを用意し、ｎ個のモデルのうちのどのモデルが最適であるか選択決定することを意図している。

【００４７】このため、本実施例の学習装置には、真の関数ｆ(ｘ)のまわりに統計的なばらつきをもって発生した学習データを用いて、多層パーセプトロン１０が真の関数の近似を行なうように、該多層パーセプトロン１０
のパラメータθの推定を行ない、パラメータθを最適化するパラメータ推定部１１と、該多層パーセプトロン１
０の中間層２がＨ個の中間層素子をもつとするときに、
パラメータ推定部１１によって得られた多層パーセプトロン１０のパラメータの推定値〈θ〉 ^(H)と中間層素子の個数とから計算されるＡＩＣに基づいて、最適な中間層素子の個数をもつモデルを選択するモデル選択部１２
が設けられている。

【００４８】なお、パラメータ推定部１１は、与えられた学習データ｛(ｘ ^(ν) ,ｙ ^(ν) )｜ν＝１,...,Ｎ｝を用いて、ネットワーク，すなわち多層パーセプトロン１０
のパラメータθを例えばバックプロパゲーションによって最小２乗誤差を小さくするように推定する。 すなわち、次式の最小２乗誤差を小さくするように、θを求める。

【００４９】

【数１１】

【００５０】このように、本実施例では、パラメータ推定部１１は、中間層２の中間層素子の個数Ｈがあらかじめ定められたＨ ₁からＨ _nまでの間のｎ個のモデル全てに対して、パラメータθの推定を行ない、各モデルにおける最小２乗誤差推定量，すなわちパラメータ推定量〈θ〉 ^(H) (＝〈θ〉 ^(H1) ，…〈θ〉 ^(Hn) )を算出し、モデル選択部１２は、パラメータ推定部１１で得られた各モデルのパラメータ推定量〈θ〉 ^(H)を用いて、ＡＩＣ
に基づき、各モデルのうちから最適なモデルを選択するようになっている。

【００５１】ところで、前述したように、ＡＩＣはＦis
her情報行列Ｊ(数８を参照)が非特異である場合(正定値である場合)に限り有効に働く。 しかしながら、多層パーセプトロンの場合には、前述の文献にも記載されているようにＦisher情報行列Ｊが特異になる場合(Ｊ＝０になる場合)があり、この場合には、上述したようなＡＩ
Ｃによるモデル選択がうまく働かない。

【００５２】本願の発明者は、多層パーセプトロンのＦ
isher情報行列Ｊが特異になるのは、 (１)
(ｗ _ij ,...,ｗ _Mj )＝０となるｊが存在する場合、(２)ｕ _j
＝(ｕ _j1 ，…，ｕ _jL )＝０となるｊが存在する場合、(３)
相違なるｊ ₁ ,ｊ ₂に対し、(ｕ _j1 ,ζ _j1 ）＝（ｕ _j2 ,ζ _j2 ）
または(ｕ _j1 ,ζ _j1 ）＝−（ｕ _j2 ,ζ _j2 ）となる場合、の３条件のいずれかが成立する場合に限られる、という事実を見出した。 なお、ｕ _j1 ，ｕ _j2はベクトル量であり、
ζ _j1 ，ζ _j2はスカラー量であって、添字ｊ ₁ ，ｊ ₂は中間層の素子番号である。 すなわち、ｕ _j1 ，ζ _j1は中間層のｊ ₁番目の素子の重みベクトル，閾値であり、ｕ _j2 ，ζ
_j2は中間層のｊ ₂番目の素子の重みベクトル，閾値である。

【００５３】そこで、この事実を用いて、本実施例のモデル選択部１２では、モデル選択を行なう際に、多層パーセプトロン１０のＦisher情報行列Ｊが特異であった場合には、上の３条件のどれが成り立っているかを判定し、それぞれに応じて冗長な中間層素子を削減し、入出力関数を変化させることなくＦisher情報行列が非特異になるネットワークを得る操作を行なうようになっている。 Ｆisher情報行列Ｊが非特異なネットワークに変換されれば、通常のようにＡＩＣの手法を用いて学習後の期待誤差が最小になるようなモデル選択を行なうことができる。

【００５４】このため、本実施例では、モデル選択部１
２には、例えば、素子削減機構１３が設けられており、
モデル選択部１２は、多層パーセプトロンのFisher情報行列Ｊが特異になる場合、素子削減機構１３により、上記３条件のいずれかに応じて冗長な中間層素子を削減して、多層パーセプトロンの当初のモデルを中間層素子数の少ないものに変換し、このように変換されたモデルのうちで最適なモデルを選択するようにしている。 換言すれば、変換された各モデルは、そのFisher情報行列Ｊが全て、非特異のものであるので、これにより、ＡＩＣを用いてモデル選択を行なうことができる。

【００５５】具体的には、モデル選択部１２は、当初のネットワークの中間層素子数がＨ個であった場合の変換モデルの中間層素子数をｍ(Ｈ)個と書くことにするとき、変換されたモデルに対し、ＡＩＣ(Ａkaike's Ｉnfo
rmation Ｃriterion)を用いて次式の量ＡＩＣ _Hを最小にするような中間層素子数，すなわちモデルを選択することができる。

【００５６】

【数１２】

【００５７】次にこのような構成の学習装置の動作について説明する。 いま、多層パーセプトロン１０のモデルとして当初、図２に示すように、例えば、Ｈ ₁個からＨ _n
個までの中間層素子を有するｎ個のモデルＭＤＬ ₁ 〜Ｍ
ＤＬ _nが用意されているとする。 この場合、多層パーセプトロン１０を実際に応用するに先立って、その応用にどのモデルが最適であるかの選択(学習)が行なわれる。
このモデル選択は、パラメータ推定部１１で推定された各モデルＭＤＬ ₁ 〜ＭＤＬ _nのパラメータ推定値を用い、
モデル選択部１２において、ＡＩＣにより実行される。

【００５８】この場合、各モデルＭＤＬ ₁ 〜ＭＤＬ _nのFi
sher情報行列Ｊが全て正定値であり、非特異である場合には、ＡＩＣにより最適なモデルを選択することができるが、各モデルＭＤＬ ₁ 〜ＭＤＬ _nのうちのいずれかにFi
sher情報行列Ｊが正定値でないもの、すなわち特異なものがある場合には、ＡＩＣによるモデル選択を行なうことはできない。

【００５９】この場合、モデル選択部１２は、素子削減機構１３を起動し、素子削減機構１３に、上述した３条件のいずれが成り立っているかを判定させ、それに応じて冗長な中間層素子の個数を削減させる。

【００６０】すなわち、素子削減機構１３は、先ず、中間層２から出力層３への重み｛ｗ _ij ｝を調べ、ベクトル
(ｗ _1j ,...,ｗ _Mj ）のノルムが、予め定められたごく小さい閾値ｔｈ ₁以下である場合には、中間層２の第ｊ番目の素子を削減し、中間層素子が１個減少したモデルに変換する。

【００６１】次に、入力層１から中間層２への重み｛ｕ
_jk ｝を調べ、ベクトルｕ _j ＝(ｕ _j1 ,...,ｕ _jL )のノルムが、予め定められたごく小さい閾値ｔｈ ₂以下である場合には、中間層２の第ｊ素子を削減し、中間層素子が１
個減少したモデルに変換する。

【００６２】次に、組｛（ｕ _j ,ζ _j ）｝を調べ、相違なるｊ ₁ ，ｊ ₂に関して、（ｕ _j1 ,ζ _j1 ）−（ｕ _j2 ,ζ _j2 ）のノルムが、予め定められたごく小さい閾値ｔｈ ₃以下であれば、中間層２の第ｊ ₂素子を削減し、ｗ _ij1 →ｗ _ij1
＋ｗ _ij2 (１≦ｉ≦Ｍ)の変換を行ない、（ｗ _j1 ,ζ _j1 ）＋
（ｗ _j2 ,ζ _j2 ）のノルムが、あらかじめ定められた閾値ｔｈ ₃以下であれば、中間層２の第ｊ ₂素子を削減し、ｗ
_j1 →ｗ _ij1 −ｗ _ij2 , η _i →η _i ＋ｗ _ij2 (ｉ≦ｉ≦Ｍ)の変換を行なう。

【００６３】この３種類の素子削減手順を、それ以上削減するものがなくなるまで繰り返すことにより、図３に示すような最終的なｎ個の変換モデル(極小モデル)ＭＤ
Ｌ ₁ '〜ＭＤＬ _n 'が得られる。 ここで、ｎ個の変換モデルＭＤＬ ₁ '〜ＭＤＬ _n 'ともとのモデルＭＤＬ ₁ 〜ＭＤＬ _nとは近似的に同一の入出力写像を実現している。 すなわち、変換されても、ネットワークの入出力関係は保存されている。 また、ｎ個の変換モデルＭＤＬ ₁ '〜ＭＤＬ _n '
は、上述のように、３条件を成り立たせている中間層素子を削減したものとなっており、各変換モデルＭＤＬ ₁ '
〜ＭＤＬ _n 'はそのFisher情報行列Ｊが全て正定値(非特異)のものとなっている。

【００６４】従って、変換モデルＭＤＬ ₁ '〜ＭＤＬ _n 'が求まると、モデル選択部１２は、例えば数１１に従って、変換モデルＭＤＬ ₁ '〜ＭＤＬ _n 'のうち、ＡＩＣ _Hを最小にするようなモデルを選択することができる。 このようにモデルが選択されると、このモデルの多層パーセプトロンを用いて、実際の応用において(例えば、パターン認識や制御、システム同定の問題などにおいて)出力を計算することができる。

【００６５】なお、上述の実施例では、与えられた入力から所定の出力を出力するシステム(モデル)が多層パーセプトロンであるとしているが、本発明の学習装置は、
多層パーセプトロンに限らず、ＡＩＣによりモデルを選択する際、Fisher情報行列の正定値性が問題となるような全てのシステム(モデル)に適用可能である。

【００６６】すなわち、本発明の学習装置は、基本的には、真の確率ｐ(ｚ)に従って発生した標本を用いて、次元の異なる複数のパラメータ空間{Θ ^(m) } _mに属するパラメータθ ^(m)によってパラメトライズされるパラメータ付確率密度関数族{ｐ(ｚ；θ ^(m) )}によって最尤推定法で真の確率密度関数の推定を行なうパラメータ推定部と、各ｍに対して得られたパラメータの推定値〈θ〉
^(m)とパラメータΘ ^(m)の次元数とから計算されるＡＩＣ
に基づいて、最も適したパラメータの次元数をもつモデルを選択するモデル選択部とを有し、モデル選択部が、
パラメータの推定値〈θ〉 ^(m)におけるFisher情報行列の正定値性の確保された各モデルを算出し、Fisher情報行列の正定値性の確保された各モデルのうちから最適なモデルをＡＩＣによって選択することを特徴としている。

【００６７】

【発明の効果】以上に説明したように、本発明によれば、モデル選択手段は、Fisher情報行列の正定値性の確保されたモデルを算出し、Fisher情報行列の正定値性の確保された各モデルのうちから最適なモデルをＡＩＣによって選択するので、学習の結果得られたパラメータにおいてFisher情報行列が必ずしも正定値でない場合でも最適なモデル，中間層素子の個数を決定することができる。 これにより、パターン認識や制御、システム同定の問題に多層パーセプトロンを応用する際、期待誤差を最小にするような中間総素子数が選択でき、学習後の誤差を減少させることができる。

【図面の簡単な説明】

【図１】本発明に係る学習装置の一実施例の構成図である。

【図２】図１の学習装置の動作を説明するための図である。

【図３】図１の学習装置の動作を説明するための図である。

【図４】３層階層型ニューラルネットワークの一例を示す図である。

【図５】非線形性をもつシステムのモデルを示す図である。

【符号の説明】

１ 入力層 ２ 中間層 ３ 出力層 １０ 多層パーセプトロン １１ パラメータ推定部 １２ モデル選択部 １３ 素子削減機構