【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識，文字認識，
物体認識，ロボット制御，株価予測等の分野に利用されるニューラルネットワークの学習方法および学習装置に関する。

【０００２】

【従来の技術】従来、ニューラルネットワークの分野においては、その学習アルゴリズムとして、誤差逆伝播学習（バックプロパゲーション学習）が知られている。

【０００３】このバックプロパゲーションによる学習アルゴリズムは、入力ベクトルに対して出力の誤まりを訂正する方向にネットワークを構成するユニット間の結合の重みを修正して学習を行なうものであり、この修正を二乗誤差の評価関数に関する最急降下法により行なうようになっている。 すなわち、それぞれの入力ベクトルの組に関する二乗誤差を求めると、この二乗誤差はユニット間の結合の重みの関数となっているので、結合の重みを変数として二乗誤差の評価関数に関し最急降下法を行なうことにより、各入力ベクトルに関して二乗誤差を最も小さくするような方向へユニット間の結合の重みを修正することができる。

【０００４】さらに、従来ではこれを発展させた確率的降下法の理論（以下では、これをも含めて最急降下法と呼ぶ）も知られている。

【０００５】

【発明が解決しようとする課題】しかしながら、バックプロパゲーション学習では、出力層での誤差を出力層への入力として、出力層から入力層の方向へ逆方向に伝播させて学習がなされるので、必ずしも良い学習結果が得られるとは限らず、またたとえ良い学習結果が得られる場合でも、得られたネットワークの解釈が難かしく、また学習に相当時間がかかるという問題があった。 このため、入力データが複数のカテゴリのうちのどのカテゴリに属するかをニューラルネットワークを用いて実際に識別させようとする場合、それに先立ってなされる複数のカテゴリについてのニューラルネットワークの学習をバックプロパゲーションによって行なうとしたときには、
学習を信頼性良く高速に行なうことはできず、さらに識別したいカテゴリが後から増えた場合には、全ての学習を最初からし直す必要があり、効率的でないという欠点があった。

【０００６】本発明は、複数のカテゴリについてのニューラルネットワークの学習を信頼性良く高速にかつ効率的に行なうことの可能なニューラルネットワークの学習方法および学習装置を提供することを目的としている。

【０００７】

【課題を解決するための手段】上記目的を達成するために本発明のニューラルネットワークの学習方法は、入力データが複数のカテゴリのうちのどのカテゴリに属するかをニューラルネットワークを用いて識別するに際して、各カテゴリを分離する超平面を構成することにより、ニューラルネットワークの入力層から中間層への結合の重みの決定を行ない、複数のカテゴリについてのニューラルネットワークの学習を行なうようになっていることを特徴としている。

【０００８】各カテゴリを分離する超平面を構成するに際しては、先づ、各カテゴリの順番を各カテゴリの平均ベクトルの位置関係によって決定し、次いで、決定された順番ｎ（ｎ≧１）に従い、第（ｎ＋１）番目のカテゴリを第ｎ番目までのカテゴリから分離させるように超平面を構成するようになっていることを特徴としている。

【０００９】さらに、本発明では、各カテゴリを分離する超平面を構成することによってニューラルネットワークの入力層から中間層への結合の重みを決定した後、中間層から出力層への結合の重みを最小二乗法によって決定するようになっていることを特徴としている。

【００１０】また、本発明のニューラルネットワークの学習装置は、Ｎ個のユニットを有する入力層から（Ｍ−
１）個のユニットを有する中間層への学習を行なう第１
の学習手段と、（Ｍ−１）個のユニットを有する中間層からＭ個のユニットを有する出力層への学習を行なう第２の学習手段とを有し、前記第１の学習手段は、識別したいカテゴリの数がＭであり、各カテゴリのサンプルデータがＮ次元のベクトルであるときに、各カテゴリのサンプルデータであるＮ次元のベクトルに基づき、Ｍ個のカテゴリを各々分離する（Ｍ−１）種類の超平面を構成し、（Ｍ−１）種類の超平面を規定する（Ｍ−１）種類の各パラメータを中間層の対応した（Ｍ−１）個のユニットに割当てて入力層から中間層への学習を行なうようになっていることを特徴としている。

【００１１】

【実施例】以下、本発明の一実施例を図面に基づいて説明する。 図１は本発明の一実施例のブロック図である。
本実施例では、ニューラルネットワークが多層パーセプトロン型のネットワークＮＷとして構成されているとし、与えられた入力データ（入力パターン）が望ましいカテゴリ（種類）に識別されるようこのネットワークＮ
Ｗの学習を行なうようになっている。 このため、本実施例では、階層的なニューラルネットワークＮＷに対して、前段階，例えば初段の学習を行なう第１の学習手段１と、後段階，例えば２段目以後の学習を行なう第２の学習手段２とが設けられている。 第１の学習手段１は、
各カテゴリごとのサンプルデータに基づき前段階の学習を行なうようになっている。 また、第２の学習手段２
は、例えば最小二乗法を用いて後段階以後の学習を行なうようになっている。

【００１２】いま、例えば図２に示すような３層パーセプトロンのニューラルネットワークＮＷを用いて音声，
画像，文字等の対象，すなわち入力データの識別を行なうようとする場合を考える。 この際、音声，画像，文字等の対象はＮ次元ユークリッド空間Ｒ（Ｎ）に値をもつベクトルであるとする。 すなわち、音声，画像，文字等のデータをユークリッド空間Ｒ（Ｎ）の元として取り扱うものとする。 また、識別したい種類，すなわちカテゴリの数をＭ個，第ｉ番目のカテゴリのサンプル数をＭ _i
個とし、第ｉ番目のカテゴリの第ｊ番目のサンプルデータをｘ _i （ｊ）と書くと、この場合には、図２の３層パーセプトロンにおいて、入力層Ｐ ₁がＮ個のユニット、
中間層Ｐ ₂が（Ｍ−１）個のユニット、出力層Ｐ ₃がＭ個のユニットからなるものとして構成する。

【００１３】なお、図２において、ｗ _n （ｉ）は入力層Ｐ ₁と中間層Ｐ ₂のユニット間の結合の重みであり、Ｂ _j
（ｎ）は中間層Ｐ ₂と出力層Ｐ ₃のユニット間の結合の重みを表わしており、ｂ _nは中間層Ｐ ₂の各ユニットのバイアス値、ｔ _jは出力層Ｐ ₃の各ユニットのバイアス値を表わしている。

【００１４】図２のような３層パーセプトロンを用いて対象がどのカテゴリに属するかを識別させようとする際には、これに先立って、識別対象のカテゴリに合わせた形で３層パーセプトロンの学習が行なわれる。 この場合に、上記第１の学習手段１は、各カテゴリのサンプルデータであるＮ次元のベクトルに基づき、Ｍ個のカテゴリを各々分離する（Ｍ−１）種類の超平面を構成し、（Ｍ
−１）種類の超平面を構成する（Ｍ−１）種類の各パラメータを中間層Ｐ ₂の対応した（Ｍ−１）個のユニットに割当てて入力層Ｐ ₁から中間層Ｐ ₂への学習を行なうようになっている。 すなわち、入力層Ｐ ₁と中間層Ｐ ₂のユニット間の結合の重みｗ _n （ｉ）と中間層Ｐ ₂の各ユニットのバイアス値ｂ _nの学習を行なうようになっている。

【００１５】次に、本実施例の学習処理について図３のフローチャートを用いて説明する。 なお、以下では、この３層パーセプトロンにおいて、第１の学習手段１が入力層Ｐ ₁から中間層Ｐ ₂への学習を行ない、第２の学習手段２が中間層Ｐ ₂から出力層Ｐ ₃への学習を行なうものとする。 先づ、第１の学習手段１は、ｉ番目のカテゴリに属するサンプルデータｘ _i （ｊ）の平均値，すなわち平均ベクトルｘ _iを次式により計算する（ステップＳ
１）。

【００１６】

【数１】

【００１７】また、各カテゴリの平均ベクトルｘ（ｉ）
を平均した全ベクトルｘを次式のように計算する（ステップＳ２）。

【００１８】

【数２】

【００１９】次いで、各カテゴリに対し、次のようにして順番ｉを新たに設定する。 すなわち、平均ベクトルが全ベクトルｘに対して最も遠い位置にあるカテゴリを１
番目のカテゴリとし、平均ベクトルがｎ番目のカテゴリの平均ベクトルから最も近い位置にあるカテゴリを（ｎ
＋１）番目のカテゴリとして順番を設定し、カテゴリについてのサフィックスｉを上記の順番に入れ替える（ステップＳ３）。 なお、ここで、平均ベクトル間の遠近は、Ｎ次元のユークリッド空間におけるベクトル間のユークリッド距離，すなわちノルムによって決定される。

【００２０】このようにして、Ｍ個の各カテゴリについて順番を設定した後、入力層Ｐ ₁と中間層Ｐ ₂との間の学習処理を行なう（ステップＳ４乃至Ｓ８）。 すなわち、
順番カウンタｎを“１”に初期設定し（ステップＳ
４）、ｘ _n+1を｛ｘ ₁ ，…，ｘ _n ｝と分離させる超平面ｆ _n
を作る（ステップＳ５）。 なお、この際、｛ｘ ₁ ，…，
ｘ _n ｝のうちでｘ _n+1に最も近いｘ _nと分離させるよう超平面ｆ _nを作る。 次いで、この超平面を規定するパラメータｗ _n （ｉ），ｂ _nを中間層Ｐ ₂のｎ番目のユニットに対する結合の重み，ｎ番目のユニットのバイアス値としてそれぞれ割り当てる（ステップＳ６）。

【００２１】しかる後、順番カウンタｎを“１”だけ歩進し（ステップＳ７）、ステップＳ６，Ｓ７の処理を同様にして繰り返し行ない、ｎがＭとなった時点で、すなわち中間層Ｐ ₂の（Ｍ−１）個の全てのユニットに対して学習を行なった時点で（ステップＳ８）、入力層Ｐ ₁
と中間層Ｐ ₂との間の学習を終了する。

【００２２】具体的には、先づ、１番目のカテゴリと２
番目のカテゴリとを分離する超平面ｆ ₁を次式により構成する。 なお、以下では、ｗ，ｘはベクトルを表わし、
ｗ（ｉ），ｘ（ｉ）はベクトルｗ，ｘのｉ番目の成分を表わすものとする。

【００２３】

【数３】

【００２４】ここで、上記超平面ｆ _nを規定するパラメータｗ _n （ｉ）は次式のように決定される。

【００２５】

【数４】

【００２６】また、パラメータｂ ₁は、次のようにして決定される。 すなわち、数４によって求まったｗ
₁ （ｉ）（ベクトルｗ ₁ ）を用いて先づ、次式により分布関数ｑ（ｘ）を定義する。

【００２７】

【数５】ｇ（ｘ）＝ｗ ₁・ｘ

【００２８】そして、実数をとる２つの分布関数ｇ（ｘ
₁ （ｊ）），ｇ（ｘ ₂ （ｊ））の平均Ｅ ₁ ，Ｅ ₂と標準偏差σ ₁ ，σ ₂とを次式により計算する。

【００２９】

【数６】

【００３０】そこで、パラメータｂ ₁を次式のように決める。

【００３１】

【数７】 ｂ ₁ ＝−ｇ〔（σ ₁・ｘ ₂ ＋σ ₂・ｘ ₁ ）／（σ ₁ ＋σ ₂ ）〕

【００３２】パラメータｗ ₁を数４により決定し、またパラメータｂ ₁を数７のように定めると、数３の超平面（ｆ ₁ ＝０）は２つの平均ベクトルｘ ₁ ，ｘ ₂を最も良く分離するものとなる。 さらに分離の度合いを表わす実数Ｔを次式で定め、数３，数７により定めたパラメータｗ
₁ ，ｂ ₁をＴ倍して、これを最終的なパラメータｗ ₁ ，ｂ ₁
とする。

【００３３】

【数８】Ｔ＝‖ｘ ₁ −ｘ ₂ ‖／（σ ₁ ＋σ ₂ ）

【００３４】このようにして、パラメータｗ ₁ ，ｂ ₁が求まると、図２に示すように、パラメータであるベクトルｗ ₁の各成分ｗ ₁ （ｉ）（ｉ＝１〜Ｎ）を入力層Ｐ ₁のＮ
個の各ユニットから中間層Ｐ ₂の１番目のユニットへの結合の重みｗ ₁ （ｉ）（ｉ＝１〜Ｎ）として割り当て、
また、パラメータｂ ₁を中間層Ｐ ₂の１番目のユニットのバイアス値ｂ ₁として割り当てる。

【００３５】次いで、１番目，２番目のカテゴリと３番目のカテゴリとを分離する超平面ｆ ₂を数３と同様にして構成し、上述したと同様にして、超平面ｆ ₂を規定するパラメータｗ ₂ ，ｂ ₂を求めて、パラメータであるベクトルｗ ₂の各成分ｗ ₂ （ｉ）（ｉ＝１〜Ｎ）を入力層Ｐ ₁
のＮ個の各ユニットから中間層Ｐ ₂の２番目のユニットへの結合の重みｗ ₂ （ｉ）（ｉ＝１〜Ｎ）として割り当て、またパラメータｂ ₂を中間層Ｐ ₂の２番目のユニットのバイアス値ｂ ₂として割り当てる。

【００３６】以下同様の手順を帰納的に繰り返し、１番目〜ｎ番目のカテゴリと（ｎ＋１）番目のカテゴリとを分離する超平面ｆ _nを構成し、パラメータｗ _n ，ｂ _nを求め、パラメータｗ _nを入力層Ｐ ₁のＮ個の各ユニットから中間層Ｐ ₂のｎ番目のユニットへの結合の重みｗ _n （ｉ）
（ｉ＝１〜Ｎ）として割り当て、パラメータｂ _nを中間層Ｐ ₂のｎ番目のユニットのバイアス値ｂ _nとして割り当てる。

【００３７】そして、ｎが（Ｍ−１）となり、パラメータｗ _M-1を入力層Ｐ ₁のＮ個のユニットから中間層Ｐ ₂の（Ｍ−１）番目へのユニットへの結合の重みｗ _M-1 （ｉ
＝１〜Ｎ）として割り当て、パラメータｂ _M-1を中間層Ｐ ₂の（Ｍ−１）番目のユニットのバイアス値ｂ _M-1として割り当てた時点で、入力層Ｐ ₁から中間層Ｐ ₂への学習を終了する。

【００３８】しかる後、第２の学習手段２は、中間層Ｐ
₂から出力層Ｐ ₃への学習を行なう。 この学習では、先づ、ｉ番目のカテゴリのサンプルデータｘ _i （ｊ）に対する中間層Ｐ ₂での出力ベクトルｆを求めておく。 すなわち、中間層Ｐ ₂での出力ベクトルｆは、ステップＳ１
〜Ｓ８で学習のなされた入力層Ｐ ₁から中間層Ｐ ₂へのネットワークにより、次式のようになる。

【００３９】

【数９】ｆ＝sigmoid（ｗ・ｘ _i （ｊ）＋ｂ _i ）

【００４０】ここで、シグモイド関数sigmoid（ｘ）はニューロンの特性を表わす単調増加関数であって、この関数として、実際上は、〔１／（１＋ｅｘｐ（−
ｘ））〕等が用いられる。

【００４１】次いで、ｉ番目のカテゴリに属するデータが入力層Ｐ ₁に入力するとしたときに出力層Ｐ ₃の各ユニットから次式のような出力ベクトルｈが出力されるように学習を行なう。

【００４２】

【数１０】ｈ＝（０．０１，０．０１，…，０．９９，
…，０．０１，…，０．０１）

【００４３】すなわち、ｉ番目のカテゴリに対応したｉ
番目の成分が“０．９９”で、それ以外の成分が“０．
０１”となるような出力ベクトルｈが出力されるように学習を行なう。このような出力ベクトルｈは、出力層Ｐ
₃でシグモイド関数sigmoid（ｘ）を経た後での値となるので、シグモイド関数sigmoid（ｘ）を経る前の値として、この出力ベクトルｈをsigmoid（ｘ）で逆変換した次式のベクトルｙを求めておく。

【００４４】

【数１１】ｙ＝（sigmoid（０．０１），sigmoid（０．
０１），…，sigmoid（０．９９），…，sigmoid（０．
０１））

【００４５】このとき、中間層Ｐ ₂と出力層Ｐ ₃のユニット間の結合の重みＢ _j （ｎ），出力層の各ユニットのバイアス値ｔ _jは、次式Ｕを最小にするＺ，Ｃによりそれぞれ与えられる。 ここでＺはベクトルである。

【００４６】

【数１２】

【００４７】Ｕを最小にするようなＺ，Ｃは最小二乗法によって計算することができ、これにより、中間層Ｐ ₂
から出力層Ｐ ₃への学習を行なうことができる。

【００４８】上述のように、本実施例では、Ｍ個のカテゴリを各々分離する（Ｍ−１）種類の超平面を構成し、
（Ｍ−１）種類の超平面を規定する（Ｍ−１）種類の各パラメータを中間層Ｐ ₂の対応した（Ｍ−１）個のユニットに割り当てて入力層Ｐ ₁から中間層Ｐ ₂への学習を行なうようにしており、超平面を規定するパラメータを中間層Ｐ ₂の対応したユニットに割り当てるだけの簡単な処理で学習がなされるので、従来のバックプロパゲーション学習に比べて、学習を迅速に行なうことができ、また、中間層Ｐ ₂のユニットの各々に特定のカテゴリを分離させる機能を持たせることができるので、学習した結果のニューラルネットワークの解釈を簡単に行なうことができる。 さらに、識別したいカテゴリの種類が増加した場合にも、入力層Ｐ ₁と中間層Ｐ ₂との間の学習に関しては、既存の学習結果を維持し、新たに追加されたカテゴリについてのみ新たに学習を行なうだけで良く、カテゴリの種類の増加にも学習を煩雑なものにさせずに極めて簡単に対処することができる。 具体的には、（Ｍ＋
１）番目のカテゴリが新たに追加されたとき、中間層Ｐ
₂ ，出力層Ｐ ₃のユニットを１つだけ増加し、それぞれ、
Ｍ個，（Ｍ＋１）個のユニットとし、入力層Ｐ ₁と中間層Ｐ ₂との間の学習に関しては中間層Ｐ ₂のＭ番目のユニットについてだけ帰納的に新たに学習を行なえば良い。

【００４９】以上のようにニューラルネットワークＮＷ
の学習が行なわれた後、実際の入力データを入力層Ｐ ₁
に入力させ、出力層Ｐ ₃からこの入力データのカテゴリ識別結果を得ることができる。

【００５０】この際に、実際の入力データとして例えば３番目のカテゴリに属するデータが入力層Ｐ ₁に入力すると、中間層Ｐ ₂の２番目のユニットだけが他のユニットの出力ｆ ₁ ，ｆ ₃ ，〜ｆ _(M-1)とは異なる特性（符号あるいは値）の出力ｆ ₂を出力する。

【００５１】これにより、出力層Ｐ ₃において、３番目のカテゴリに対応した３番目のユニットからの出力が例えば“０．９９”となり、他のユニットからの出力が“０．０１”となって、入力データが３番目のカテゴリに属するものであると正確に識別することができる。

【００５２】なお、上述の実施例では、ネットワークを３層パーセプトロンとして構成し１つの中間層Ｐ ₂だけが設けられている場合について述べたが、ネットワークを４層以上のパーセプトロンで構成し、第１，第２…の複数の中間層が設けられている場合にも、本発明を同様に適用することができ、このときには、第１の学習手段１は、入力層と第１の中間層との間の学習を行ない、第２の学習手段２は、第１の中間層と第２の中間層との間の学習，第２の中間層と第３の中間層との間の学習等を最後が出力層となるまで、最小二乗法により行なう。 この際、第２の学習手段２が各段で最小二乗法を用いるときには、各段において望ましい出力ベクトルが必要となるが、それには最終段（出力層の段階）での望ましい出力ベクトルを用いれば良い。 但し、この場合に、第２の中間層から出力層までの各層は同じユニット数Ｍである必要がある。

【００５３】

【発明の効果】以上に説明したように本発明によれば、
入力データが複数のカテゴリのうちのどのカテゴリに属するかをニューラルネットワークを用いて識別するに際して、各カテゴリを分離する超平面を構成し、該超平面を構成するパラメータに基づき、ニューラルネットワークの入力層から中間層への学習を行なうようになっているので、複数のカテゴリについてのニューラルネットワークの学習を信頼性良く高速にかつ効率的に行なうことができ、この学習結果に基づき入力データのカテゴリを正しく識別することができる。

【００５４】また、各カテゴリを分離する超平面を構成することによってニューラルネットワークの入力層から中間層への学習を行なった後、中間層から出力層への学習を最小二乗法によって行なうようになっているので、
中間層から出力層までの学習をバックプロパゲーションによって行なう場合に比べ、ニューラルネットワーク全体の学習を高速にかつ効率的に行なうことができる。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】本発明が適用されるニューラルネットワークの一例を示す図である。

【図３】本発明の学習処理を説明するためのフローチャートである。

【符号の説明】

１ 第１の学習手段 ２ 第２の学習手段 ＮＷ ニューラルネットワーク Ｐ ₁入力層 Ｐ ₂中間層 Ｐ ₃出力層 ｗ _n （ｉ） 初段の結合の重み Ｂ _j （ｎ） ２段目の結合の重み ｂ _n中間層のバイアス値 ｔ _j出力層のバイアス値