【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、多変数システムの構成方法およびその装置、特にパーセプトロンを使用した多変数システムの構成方法およびその装置に関する。

【０００２】

【従来の技術】入出力の関数関係が未知であるシステム（未知のシステム）の入出力関係の同定方法として、従来から、多層パーセプトロンを用い、誤差逆伝播法で学習させる方法が知られている。

【０００３】多層パーセプトロンは、多入力１出力の単位ユニットが、信号を伝達するリンクによって層状に多数結合されたネットワークである。 各々のリンクには結合の強さを表すウェイトと呼ばれる係数が定義されている。

【０００４】各単位ユニットは、リンクによって入力側に結合されている他のいくつかのユニットの出力にリンクのウェイトを乗じたものを入力として受け取る。 受け取られた入力は加算され、入力の総和が計算される。 この入力の総和と単位ユニットの入出力関数に従ってその単位ユニットの出力が決まる。 この出力は出力側リンクを通じて、次の単位ユニットへと伝えられてゆく。

【０００５】多層パーセプトロンにおいては、同じ層内にある単位ユニット間のリンクやフィードバックリンクはなく、信号の流れは、入力層→中間層→・・・→出力層の入力層側から出力層側に一方向である。 多層パーセプトロンとは、以上のような動作により、未知のシステムの入出力間の関数関係を推定する等の用途に使用されるものである。

【０００６】以上述べたような多層パーセプトロンのウェイトを教師信号と呼ばれる信号を用いて調整し、未知のシステムの入出力関係を推定可能な状態にすることを、学習するという。 この学習に使用される教師信号は、入出力関係を推定する未知のシステムの実際の入出力データをサンプリングして使用する。

【０００７】

【発明が解決しようとする課題】従来、多層パーセプトロンを用いた未知のシステムの入出力関係の同定方法は以上に述べたように行われるので、以下に述べるような問題点があった。 中間層の単位ユニットを必要以上に多く用意した場合、あるいは各層の結合の数に対して未知のシステムの入出力値のサンプル数が少ない場合、学習による調節の対象となる前記ウェイトの数が前記未知のシステムの入出力値のサンプル数に対して多過ぎることとなる。

【０００８】よって、学習に用いた前記入出力サンプルに対して、誤差を過剰に減らすことになり、また、同定した関数が過剰に複雑になる。 この結果、前記未知のシステムに対する前記入力サンプル以外の入力値に対応する出力値を、同定した関数を使用して推定しようとする場合、全く妥当でない推定値を出力するという現象が起きるという問題点があった。 この現象は過学習と呼ばれるものである。

【０００９】この過学習を防ぐためには、中間層の単位ユニット数を適正にし、これにより各層に含まれるユニット間の結合を減らし、この結合のパラメータであるウェイトを減らす必要がある。 しかし、多層パーセプトロンの中間層のユニット数の決定方法（多変数システム構成方法）はこれまで経験的なものが多く、適正な単位ユニット数を求めることは困難であるという問題点があった。

【００１０】本発明は以上に述べたような問題点に鑑みてなされたものであり、経験によらず適正な多層パーセプトロンの中間層の単位ユニット数を決定することができ、汎化性のよい多変数システム構成方法およびその装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】以上述べた目的を達成するために、本発明の多変数システム構成方法は、独立した１つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力し、これらの演算結果に対して第二の演算を行い、複数の演算処理結果を出力し、前記第二の演算結果に対して第三の演算を行い、複数の演算処理結果を出力する多層パーセプトロンを使用し、該多層パーセプトロン内の複数ノードのそれぞれに、独立した入力信号として学習用サンプルと評価用サンプルとを印加し、該サンプル印加手段からのサンプル、および、上記多層パーセプトロンから演算結果を入力して多層パーセプトロン内の中間処理手段における過学習を検出し、過学習を検出した場合、前記中間処理手段の中間ノードにおける第二の演算手段を修正して所定の中間ノードを減少させて学習および評価を行う。

【００１２】また、上記中間処理手段内の中間ノードは１段であり、上記第二の演算にウェイトを用い、上記学習・評価手段は過学習が検出されたときに上記ウェイトを調節することを特徴とする。

【００１３】また、上記学習・評価手段はサンプルと多層パーセプトロンの演算結果との差の緩和、もしくは差の２乗の総和が訂正値以上のとき過学習として検出する。

【００１４】また、上記学習・評価手段は過学習が検出されたとき、最大の誤差を生じさせる事を特徴とする。

【００１５】また、独立した１つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力する入力ノードを複数個有する入力処理手段と、該入力処理手段内の複数の入力ノードから複数の演算結果を入力して第二の演算を行い、複数の演算処理結果を出力する少なくとも１段の中間ノードを複数個有する中間処理手段と、該中間処理手段内の複数の中間ノードから複数の演算処理結果を入力して第三の演算を行い、１つの出力信号を出力する複数の出力ノードを有する出力処理手段とを有する多層パーセプトロンを有し、該多層パーセプトロン内の複数ノードのそれぞれに、独立した入力信号として学習用サンプルと評価用サンプルとを印加するサンプル印加手段と、該サンプル印加手段からのサンプル、および、上記多層パーセプトロンから演算結果を入力して多層パーセプトロン内の中間処理手段における過学習を検出し、過学習を検出した場合、前記中間処理手段の中間ノードにおける第二の演算手段を修正して所定の中間ノードを減少させる学習・評価手段とを有する。

【００１６】また、上記中間処理手段内の中間ノードは１段であり、上記第二の演算にウェイトを用い、上記学習・評価手段は過学習が検出されたときに上記ウェイトを調節することを特徴とする。

【００１７】また、上記学習・評価手段はサンプルと多層パーセプトロンの演算結果との差の緩和、もしくは差の２乗の総和が訂正値以上のとき過学習として検出する。

【００１８】また、上記学習・評価手段は過学習が検出されたとき、最大の誤差を生じさせることを特徴とする。

【００１９】

【作用】まず、未知のシステムの入出力値のサンプルは学習用入出力サンプルと評価用入出力サンプルに分類される。 この学習用入出力サンプルについて学習を行った多層パーセプトロンについて、上記学習用入力サンプルと上記評価用入力サンプルをそれぞれ入力した際の出力と、それに対応する出力サンプルの誤差を比較することにより、多層パーセプトロンにおける過学習の発生を検出する。

【００２０】過学習の発生が検出された場合、中間層の単位ユニット数を減らし、再び学習用入出力サンプルについて多層パーセプトロンに学習を行わせる。 この過学習の際の学習および単位ユニット数を減らす操作と上記過学習の発生の検出を、評価用入力サンプルに対する出力サンプルの誤差が学習用入力サンプルに対する出力サンプルの誤差よりも少なくなるまで繰り返し行うことにより適正な中間層の単位ユニットの数を求める。

【００２１】

【実施例】以下、本発明の多変数システム（ニューラルネットワーク）構成方法およびその装置について説明する。 図１は本発明の多変数システム構成方法に適用される多層パーセプトロン１０の構成を示す図である。 図１
において、多層パーセプトロン１０は、入力層１１、中間層１３、出力層１５から構成され、各層間が図１に示すような結合関係（入力層と中間層の結合１２、および中間層と出力層の結合１４）を有する３層パーセプトロンである。 入力層１１、中間層１３、および出力層１５
は、それぞれｋ個、ｍ個、ｎ個の単位ユニット（ノード）１１０ａ〜１１０ｋ、１３０ａ〜１３０ｍ、１５０
ａ〜１５０ｎから構成される階層である。

【００２２】ここで、入力層１１に含まれる単位ユニット１１０数は同定を行う未知の関数の入力変数の数であり、出力層１５に含まれる単位ユニット１５０の数は出力変数の数である。 中間層１３に含まれる単位ユニット１３０の初期の数は任意である。 また、単位ユニット１
１０ａ〜１１０ｋ、１３０ａ〜１３０ｍ、１５０ａ〜１
５０ｎは、それぞれ計算機（図示せず）上において、ソフトウェアで構成されるものである。

【００２３】以下、多層パーセプトロン１０の動作について説明する。 入力層１１と中間層１３は入力層と中間層の結合１２の矢印で示されるような結合関係を有し、
中間層１３と出力層１５は中間層と出力層の結合１４の矢印で示されるような結合関係を有している。

【００２４】ここで、中間層１３に含まれる単位ユニット１３０ｉ（ｉ＝１、２、．．．ｍ）について動作を説明する。 単位ユニット１３０ｉは、入力層１１に含まれる単位ユニット１１０ｊ（ｊ＝１、２、．．．ｋ）の出力Ｙ _jに、単位ユニット１１０ｊと単位ユニット１３０
ｉの結合の強さを表す数値、ウェイトＷ _ijを乗算した値の総和を入力とし、その入力に対してある非線形関数ｆ
を施した値Ｙ _iを出力する。 つまり、単位ユニット１３
０の出力Ｙ _iと単位ユニット１１０の出力Ｙ _jには、

【数１】

【００２５】中間層１３に含まれる単位ユニット１３０
ｉと出力層１５に含まれる単位ユニット１５０ _hの間にも同様の関係が成り立つ。 つまり、単位ユニット１５０
ｈの出力Ｙ _h （ｈ＝１、２、．．．ｎ）と単位ユニット１３０の出力Ｙ _iには、

【数２】

_hiは、上記ウェイトＷ

_ijに対応する結合の強さを表す数値である。

【００２６】未知のシステムの入力値と出力値の組み合わせのサンプルが充分多数存在する場合、以上述べた多層パーセプトロン１０に前記未知のシステムの入力値のサンプルを入力し、この入力値に対する多層パーセプトロン１０の出力と、対応する未知のシステムの出力値のサンプルを比較し、多層パーセプトロン１０の出力と未知のシステムの出力値のサンプルの値が一致するように上記ウェイトＷ _ijおよびウェイトＷ _ijを調節する（以下、これを学習するという）。 この操作を充分な回数繰り返すことにより、多層パーセプトロン１０は未知のシステムの入出力関係の同定を行う。

【００２７】多層パーセプトロン１０の形式において、
３層以上の階層を有するパーセプトロンについては、中間層（３層以上の多層パーセプトロンにおいて、入力層と出力層以外の階層）の単位ユニット数を充分に数多く用意すれば、あらゆる未知のシステムの入出力の関数関係が任意の精度で近似できることが知られている。

【００２８】また、多層パーセプトロン１０に上記学習をさせる方法としては、誤差逆伝播法と呼ばれる方法が有力なものとして知られている。 誤差逆伝播法は、未知のシステムのｐ番目の出力サンプルＺ _p 'と多層パーセプトロン１０の出力Ｚ _pの誤差の２乗の総和を最小にする方法である。 この２乗誤差の総和を損失関数Ｅとする。 損失関数Ｅは、

【数３】

と表すことができる。

【００２９】この各ウェイトＷ _hi 、Ｗ _ijに関する各勾配（ｇｒａｄｉｅｎｔ）方向に各ウェイトＷ _hi 、Ｗ _ijを修正する。 この方法は、最急降下法に相当する。 つまり、
学習前のウェイトＷ _hi 、Ｗ _hiと学習後のウェイトＷ _hi '、Ｗ _ij 'は、

【数４】

【数５】

【数６】

【数７】

【００３０】図２は、本発明の多変数システム構成方法のおよびその装置を実現する学習／評価ソフトウェア１
の構成を示す図である。 図２において、多層パーセプトロン１０は３層のパーセプトロンである。 学習／評価部３０は、各層の結合のウェイトＷ _hi 、Ｗ _ijを調節する部分である。

【００３１】入出力値のサンプル（入出力サンプル）２
０は、ある未知のシステム（図示せず）に与えられた（ｕ＋ｖ）組の入力値および、これに対する前記未知のシステムの出力値のサンプルデータである。 学習用サンプル２１は、入出力サンプル２０のうち、多層パーセプトロン１０の学習に使用されるｕ（ｕ＝整数）組の入力値および出力値のサンプルデータである。 評価用サンプル２２は、入出力サンプル２０のうち、多層パーセプトロン１０の評価に使用されるｖ（ｖ＝整数）組の入力値および出力値のサンプルデータである。 なお、学習用サンプル２１と評価用サンプル２２は、なるべく双方のサンプルデータの内容に偏りが生じないように入出力サンプル２０を２分割したものである。 以上述べた図２中に示される各部分は、計算機（図示せず）上にソフトウェアまたはデータの形で存在するものである。

【００３２】以下、学習／評価ソフトウェア１の動作について説明する。 まず、学習／評価部３０は未知のシステムから入出力サンプル２０を得る。 この入出力サンプル２０のうち、学習用サンプル２１の入力サンプルＩ
_21p （ｐ＝１、２、．．．ｕ）を多層パーセプトロン１
０に入力し、多層パーセプトロン１０での演算結果出力Ｚ _20p 'を得る。 これを全ての入力サンプルＩ _21pについて行う。 ここで、多層パーセプトロン１０の各単位ユニットで行われる演算は、上述したものと同じである。

【００３３】次に、学習／評価部３０は、入出力サンプル２０の出力サンプルＺ _21pと演算結果Ｚ _21p 'に基づき多層パーセプトロン１０の学習を行う。 つまり、ウェイトＷ _hiおよびＷ _ijをウェイトＷ _hi 'およびＷ _ijに置換し、ウェイトの調節を行う。 つまり、損失関数Ｅを

【数８】

_hiおよびＷ

_ijについて、（式４）、（式５）および、（式６）、（式７）の演算を行う。 ただし、ｉ＝１、２、． ． ． ｍ ｊ＝１、２、． ． ． ｋ ｈ＝１、２、． ． ． ｎ である。

【００３４】次に、学習／評価部３０は上記の学習を行った後の多層パーセプトロン１０に評価用サンプル２２
の入力サンプルＩ _22pを入力し、多層パーセプトロン１
０での演算結果Ｚ _22p 'を得る。 これを全ての評価用サンプル２２の入力サンプルについて行う。

【００３５】学習／評価部３０はこの各演算結果Ｚ _22p 'と評価用サンプル２２の出力サンプルＺ _22pの２乗平均Ｅ ₂₂を演算する。 つまり、

【数９】

【００３６】また同様に、学習／評価部３０は、学習用サンプル２１の入力サンプルＩ _21pを再度多層パーセプトロン１０に入力し、演算結果Ｚ _21p 'と学習用サンプル２１の出力サンプルＺ _21pの２乗平均Ｅ ₂₁を演算する。 つまり、

【数１０】

【００３７】学習／評価部３０は、上記２つの２乗平均Ｅ ₂₁およびＥ ₂₂により、多層パーセプトロン１０で過学習が発生していることを検出する。 つまり、ここで２乗平均Ｅ ₂₂がＥ ₂₁よりも大きい値（Ｅ ₂₂ ＞Ｅ ₂₁ ）である場合、過学習が起こっていると判断する。 また、ここで２
乗平均Ｅ ₂₂がＥ ₂₁と同値、または小さい値（Ｅ ₂₂ ≦
Ｅ ₂₁ ）である場合、過学習は起こっていないと判断し、
処理を終了する。

【００３８】過学習が起こっていると判断された場合、
中間層１３の単位ユニット１３０ｉを一つ減らす。 どの単位ユニット１３０ｉを取り去るかは任意であるが、ここでは例えば、添字の最も大きい単位ユニット１３０ｉ
から取り去るものとする。 つまり、単位ユニット１３０
ｉを減らす場合、単位ユニット１３０ｍ、１３０ｍ−
１、１３０ｍ−２、． ． ． の順番に取り去られる。

【００３９】次に、学習／評価部３０は学習用サンプル２１を用いて、再び多層パーセプトロン１０の学習を行う。 多層パーセプトロン１０の学習の手順は上記した手順と同様である。 この多層パーセプトロン１０の学習の後、学習／評価部３０は再び多層パーセプトロン１０の過学習の検出を行う。 過学習が検出された場合、学習／
評価部３０は単位ユニット１３０ｉを減らす手順を行う。 学習／評価部３０は、上記過学習の検出および単位ユニット１３０ｉを減らす手順を過学習が検出されなくなるまで繰り返す。 以上で多層パーセプトロン１０の学習、つまりウェイトＷ _hiおよびＷ _ijの最適化を終了する。

【００４０】この実施例では、過学習の検出条件として、上記２乗平均Ｅ ₂₁ 、Ｅ ₂₂の値を比較し、２乗平均Ｅ
₂₁がＥ ₂₂より大きいことをもって過学習が発生していると判断したが、判定条件はこれに限らず、例えば２乗平均Ｅ ₂₁をＥ ₂₂で除算した商が一定範囲、例えば１．３〜
０．７であることを判定条件としてもよい。 また、学習用サンプル２１を使用した際の誤差に比べ評価用サンプル２２を使用した際の誤差が大きくなり過ぎた場合、再び単位ユニット１３０ｉを増加させるように構成してもよい。 また、過学習の判定に使用する数値は２乗平均に限らず、例えば絶対値の平均であってもかまわない。

【００４１】図３は上述した学習／評価ソフトウェア１
の動作を示すフローチャートである。 図３において、ステップ００（Ｓ００）において、学習／評価部３０は未知のシステムから入出力サンプル２０を得る。 ステップ０１（Ｓ０１）において、学習／評価部３０は入出力サンプル２０を学習用サンプル２１と評価用サンプル２２
に２分割する。 ステップ０２（Ｓ０２）において、学習／評価部３０は学習用サンプル２１を使用し、多層パーセプトロン１０の学習を行う。

【００４２】ステップ０３（Ｓ０３）において、学習／
評価部３０は学習用サンプル２１および評価用サンプル２２を使用し、それぞれについての２乗平均を演算する。 ステップ０４（Ｓ０４）において、学習／評価部３
０はＳ０３で得た２乗平均の値から過学習の検出を行う。 過学習が検出された場合、Ｓ０５の処理に進み、過学習が検出されない場合、処理を終了する。 ステップ０
５（Ｓ０４）において、学習／評価部３０は中間層１３
の単位ユニット１３０ｉを１つ取り去る。

【００４３】以下、この実施例の多変数システム構成方法および装置を実際に未知のシステムの入出力関係の同定に適用した結果について説明する。 ここでは、未知のシステムＡとして射出成形用機械を例にとり、この機械に与える１０種類の設定値を入力値とし、１種類の出力値を得ている。

【００４４】従って、多層パーセプトロン１０の入力層１１に含まれる単位ユニット１１０の数は１０個、出力層１５に含まれる単位ユニット１５０の数は１個である。 また、中間層１３に含まれる単位ユニット１３０の初期の数は５個とした。 この多層パーセプトロン１０に学習／評価ソフトウェア１を適用することにより中間層１３に含まれる単位ユニット１３０の数は３個まで減少した。 また、非線形関数ｆ、ｇとして、シグモイド関数

【数１１】

【数１２】

【数１３】

【００４５】図４は、多層パーセプトロン１０により、
学習／評価ソフトウェア１を使用せずに未知のシステムＡの入出力関係の同定を行った結果を示す図である。 図５は、この実施例で説明した学習／評価ソフトウェア１
により、未知のシステムＡについて入出力関係の同定を行った結果を示す図である。

【００４６】学習／評価部３０は未知のシステムＡについて、１００組の入出力サンプル２０を得た。 この１０
０組の入出力サンプル２０の内、５サンプルおきに評価用サンプル２２とし、その他を学習用サンプル２１にするよう分割した。 つまり、１００組の入出力サンプル２
０を８０組の学習用サンプル２１と２０組の評価用サンプル２２に２分割したことになる。

【００４７】図４において、横軸は入出力サンプル２０
の入力サンプルに対する未知のシステムＡの出力値である。 縦軸は上記８０組の学習用サンプル２１により学習済の多層パーセプトロン１０における、入出力サンプル２０の入力サンプルに対する多層パーセプトロン１０の出力の値である。

【００４８】図５において、横軸は入出力サンプル２０
の入力サンプルに対する未知のシステムＡの出力値である。 縦軸はこの実施例の学習／評価ソフトウェア１を適用した多層パーセプトロン１０における、入出力サンプル２０の入力サンプルに対する多層パーセプトロン１０
の出力の値である。

【００４９】図４、図５において、白丸は評価用サンプル２２の入力サンプルに対する多層パーセプトロン１０
の出力を示し、黒丸は学習用サンプル２１の入力サンプルに対する多層パーセプトロン１０の出力を示す。 また、多層パーセプトロン１０が正しく未知のシステムＡ
を同定している場合、図中に示す斜線上に各点が乗ることになる。 つまり、この斜線に近い点ほど誤差が少ないということができる。

【００５０】図４においては、多層パーセプトロン１０
の中間層１３に含まれる単位ユニット１３０の数が減少していないため、学習用サンプル２１の入力サンプルに対する多層パーセプトロン１０の出力は誤差はごく少なくなっている。 しかし、評価用サンプル２２の入力サンプルに対する多層パーセプトロン１０の出力は全く妥当性を欠く値となっている。

【００５１】図５においては、学習用サンプル２１および評価用サンプル２２のそれぞれの入力サンプルに対する多層パーセプトロン１０の出力値の誤差の分布がほぼ同じになっている。 このような場合が、多層パーセプトロン１０において最も良い未知のシステムＡの同定をした場合に相当する。 よって、この際の多層パーセプトロン１０は未知のシステムＡ最適なモデルとみなすことができる。

【００５２】本発明の多変数システム構成方法および装置の学習／評価ソフトウェア１を適用し、中間層１３に含まれる単位ユニット１３０ｉの数を決定したモデル（多層パーセプトロン１０）は、未知のシステムＡについての未学習のデータ（学習用サンプル２１）に対しても妥当な出力が得られている。 よって、これ以外の未知のシステムついての未学習のデータに対しても妥当な出力が期待できる、汎化性のよいモデルになっていることが予想される。

【００５３】以上述べた実施例においては、多層パーセプトロンとして３層の多層パーセプトロンを例にして説明したが、中間層をさらに有する、例えば５層の多層パーセプトロンについても同様に本発明の多変数システム構成方法およびその装置を適用することが可能である。
また、多層パーセプトロンは同一計算機上にソフトウェア的に構成されるものに限らず、例えば、各単位ユニットを別の計算機上に構成し、それぞれの計算機を接続した、いわゆるマルチプロセッサ多変数システムにより構成されていてもよい。 本発明の多変数システム構成方法およびその装置は、以上述べた他に種々の構成をとることができる。 以上述べた実施例は例示である。

【００５４】

【発明の効果】以上述べたように、本発明の多変数システム構成方法およびその装置によれば、経験によらず適正な多層パーセプトロンの中間層の単位ユニット数を決定することができ、汎化性のよい多変数システム構成方法およびその装置を提供することができる。

【図面の簡単な説明】

【図１】多層パーセプトロンの構成を示す図である。

【図２】本発明の多変数システム（多変数システム）の構成方法およびその装置を実現する学習／評価ソフトウェアの構成を示す図である。

【図３】本発明の多変数システム構成方法およびその装置を実現する学習／評価ソフトウェアの動作を示すフローチャートである。

【図４】従来の技術の多層パーセプトロンにより、未知のシステムの入出力関係の同定を行った結果を示す図である。

【図５】本発明の多変数システム構成方法およびその装置を実現する学習／評価ソフトウェアを適用した多層パーセプトロンにより、未知のシステムについて入出力関係の同定を行った結果を示す図である。

【符号の説明】

１・・・学習／評価ソフトウェア １０・・・多層パーセプトロン １１・・・入力層 １２・・・入力層と中間層の結合 １３・・・中間層 １４・・・中間層と出力層の結合 １５・・・出力層 ２０・・・入出力サンプル ２１・・・学習用サンプル ２２・・・評価用サンプル ３０・・・学習／評価部