【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、連想メモリとして用いられる人工的神経回路網のリンク学習装置に関する。

【０００２】

【従来の技術】コネクショニストモデルに基づく認識理解技術は、日本語ワープロの同音語選択や自然言語翻訳の訳語選択に適用できる。 このモデルでは、偏ったパターンで連想メモリを学習しなければならない。 しかし従来の連想メモリではランダムパターン（パターンをＮ個の０と１との列として表現すると、ｉ番目の値とｊ（ｊ
≠ｉ）番目の値とが互いに独立に決まるようなパターンをランダムパターンという。 この場合パターンは集合として偏りのないパターンとなる）の学習にしか適していないので、コネクショニストモデルに基づく認識理解技術に従来型連想メモリを適用することは困難であった。
以下これについて以下の手順で詳しく述べる。 １． コネクショニストモデルを用いたかな漢字変換の例 ２． パターンとは何か ３． コネクショニストモデルにおけるパターンの特徴 ４． 従来の実現方法とその問題点 ５． 共分散行列に用いた連想メモリ １． コネクショニストモデルを用いたかな漢字変換の例

【０００３】近年、コネクショニストモデルに基づく認識理解の研究が行なわれている（David L. Walts and J
ordan B. Pollack. Massively parallel parsing: A st
rongly interactive model of natural language inter
pretation. Cognitive Science, Vol. 9, pp. 51-74, 1
985, 田村他 Connectioninst modelを用いた自然言語処理システム。 情報処理学会，Vol. 28, No. 2,pp. 202
-210, 1987）。 この手法では、シンボルをノードとし、
シンボル間の関係をネットワークで表現し、ノードの活性値をネットワークを介して伝播させることにより、入力情報の話題を把握し意味理解を行なう。 この技術は自然言語処理、音声・文字認識の分野に適用が可能である。 これを日本語ワープロのかな漢字変換に適用する研究が行なわれている（特願平１−１５７１５９号），鈴岡他 神経回路網の連想機能を用いたかな漢字変換方式−ニューロワープロへの展望。 情報処理学会第４０回全国大会，Vol. 1C-3, pp. 105-106, 1990）。 ここでは、
大量の実文書からネットワークを学習し、ユーザの入力情報をキーとしてノードの活性値を伝播させ、入力文書話題を把握する。 この話題の情報を用いてかな漢字変換の精度向上を目指す。 このかな漢字変換のメカニズムを以下により詳しく説明する。

【０００４】ワープロでかな漢字変換する場合には、読みを表すひらがな列を入力して表記を表すかな漢字混じり文字列を出力する。 これは、入力されたひらがな列の読みを持つかな漢字候補の中から、ユーザの意図にあったものを選び出すことである。 これを行なうのに、まず語の使用上の近さを表すネットワークを作成しておく（このネットワークでは、よく同時に用いられる二語に対応するノードの間には正の大きな値のリンクが張られている）。 そしてある語が選択されたならばその語に対応するノードの活性値を強制的に引き上げる。 活性値の上がったノードから活性値の伝播が行なわれ、現在の話題に関係する語に対応するノードの活性値が高まる。 活性値の伝播はノードに接続されているリンクを介して行われ、リンクの値が大きい程よく活性値が伝わるものとする。 従って、文章をワープロに入力していくと、現在入力中の文章の話題に関係深い語に対応するノードの活性値が高まるように活性値が伝播されるようになる。 そこで同音語の中で最も活性値が高いものが現在の話題に最も関係が深いと考え、それをかな漢字変換の第一候補とする。 例えば、図３のネットワークを用いてかな漢字変換の例を説明する。 「クロックの立ち上がりにおいてこの信号はプロセッサに取り込まれる」までが正しくかな漢字変換されているとする。 このとき「クロック」，
「信号」，プロセッサ」といった語が選択されているので、それらに関連した計算機のハードウェア関係の語に対応するノードの活性値は高まる。 ここで「どうき」をかな漢字変換しようとした場合を考える。 「どうき」には「同期」，「動悸」，「動機」と同音語があるが、その中で計算機のハードウェア関係の語である「同期」に対応するノードの活性値が最も高まっているので、「同期」とかな漢字変換される。 ここで用いるネットワークは入力情報（入力語）から話題を想起するものであるので、機能として神経回路網の連想メモリに相当する。 ２． パターンとは何か

【０００５】ワープロのかな漢字変換の場合に、この連想メモリを学習するために使われるパターンについて説明する（特願平１−３１７７９１号）。 単語が１からＮ
の連続する整数の単語コードを持つとき（単語と単語コードとは一対一に対応する）、パターンはＮ個の０もしくは１の値を取るビットパターンで表現される。 このビットパターンは次の手順で決められる。 １． 文章を段落ごとに切り分ける。 ２． 段落ごとに文章を単語に分解し、単語を単語コードに変換する。

【０００６】３． ある段落に含まれる単語の単語コードに対応するビットの値は１とし、その段落に含まれない単語の単語コードに対応するビットの値は０とする。 例えば、「今日は天気が良い。」という非常に短い段落があった場合には、まずその文章を単語に分解し、その段落に含まれる単語コードの集合を作る。 例えば、以下のように単語と単語コードとの対応があるとすると、 「今日」＝１０１２０ 「は」 ＝１２３ 「天気」＝２２３７８ 「が」 ＝１０３４ 「良い」＝２８７６ 次のような単語コード集合ができる。 ｛１２３，１０３４，２８７６，１０１２０，２２３７
８｝ 単語数Ｎ＝１０００００とすると、このパターンは１０
００００ビットのパターンからなり、 ｛１２３，１０３４，２８７６，１０１２０，２２３７
８｝番目のビットのみが１で、それ以外のビットは０であるようなパターンである。 この場合重複は考慮されない。 即ち、ある段落中に同じ単語が二度以上出現しても二度目以降の出現は無視されビットは１のままとなる。 このように定められた学習パターンはノイズや偏りを含むことが本質的に避けられない。 例えば、「昨日僕は本を買った。」という文章では、「昨日」と「本」とは直接意味的なつながりはないが、同じ段落（この場合には同じ文）に「昨日」と「本」とが現れているため、共に対応するビットが１となる。 このように、実際の文章からのパターンはノイズや偏りを含むことが避けられないため、従来の連想メモリをそのまま適用することはできない。

【０００７】まず、学習パターンの特徴について述べる。 次に、そのような特徴があるパターンを従来の連想メモリでは適切に連想することが困難であったことについて説明する。 ３． コネクショニストモデルにおけるパターンの特徴

【０００８】言語知識を扱うネットワークの学習に、実際の文書を用いる場合、上述した手順で段落内に含まれる文章を単語（ネットワーク中のシンボルに相当）の集合に変換したものを、学習パターンとする。 これらのパターンには以下の特徴がある。 Ｐ１ ノイズを含まない厳密に正しい記憶パターン（ネットワーク中のシンボルを表すノードに１／０のビットを割り当てたもの）は存在しない。

【０００９】学習データとしてのパターン（実際の文章例）はたくさんあるが、それは殆どの場合ノイズ（話題と関係ない語）を含んでいる。 そこで大量のパターンを用いてノイズを避けた汎化パターンを学習しなければならない。 これは逆に言えば、厳密なパターンを記憶しておかなくてもよいということでもある。 Ｐ２ 一つのパターンは全語種に対して非常に少ない語種しか含まない。

【００１０】日本語には数十万の語があり、一人使う語に限っても数千語があるが、一つの段落に含まれるのは数百語である。 このようなパターンはスパースなパターンと言われている。 Ｐ３ 語の出現頻度差が大きい。

【００１１】「これ」という指示語は文章によらず頻繁に出現するが、「奥書」という専門語は特殊な場合にしか現れない。 この頻度差は入力文章の話題により顕著になることもあれば、話題によらず頻度の高い語，低い語もある。 Ｐ４ 学習が追加的にできなければならない。

【００１２】コネクショニストモデルでは大量の学習パターン（実際の文章例）が次々に与えられる。 これらに即応するには新たな学習パターンを追加的に、すなわち容易に学習できなければならない。 Ｐ５ パターンの出現頻度に偏りがある。

【００１３】話題を明示できないため、全ての話題について均等にパターンを集めることはできない。 例えば、
新聞記事からデータを集めれば、政治に関する文章を１
００集め、科学技術に関する文章を１０集めたことになる可能性がある。 このように話題によって出現頻度が異なるが、どのような話題がどのくらいの頻度で現れたかも知る術がない。 Ｐ６ パターン間の相関に偏りがある。

【００１４】一般に話題間は独立ではなく、どのような話題が密接に関係しているかは文章の状況によって異なる。 特に相関の程度にも話題によって偏りがあることに注意する必要がある。 例えば、「政治」と「科学技術」
とはあまり相関がないが、「政治」と「経済」とはかなり強い相関がある。 ４． 従来の実現方法とその問題点

【００１５】コネクショニストモデルに適した連想メモリとしては、多くの文章例から同時に良く出現する語群としての話題を調べ上げ、ある入力文章が与えられた時にその話題に相当する語群が提示できればよい。 神経回路網の連想メモリには、直交学習と相関学習とがある。
直交学習はノイズのないパターンを必要とする上に追加学習にも不向きである。 このような連想メモリには、ノイズを許容し、ノイズを含んだ多くのパターンから正しいパターンを汎化によって獲得する能力が必要である。
それには相関学習による連想メモリが適している。 相関学習ではネットワークとして用いる行列について、相関行列を用いた連想メモリと共分散行列を用いた連想メモリとがある。 しかし、相関行列を用いた連想メモリはスパースなパターンを記憶できない。 以下に従来型連想メモリの中で最も有望である共分散行列を用いた連想メモリについて述べる。 ５． 共分散行列を用いた連想メモリ

【００１６】ランダムスパースなパターン（Ｐ２）を記憶するために、共分散行列用いた連想メモリが提案されている(S. Amari. Neural theory of association and
concept-formation. Bio. Cybern, Vol. 26, pp. 185-1
75, 1977, S. Amari. Characteristics of sparsely en
coded associative memory. Neural Netwaorks, Vol.2,
pp. 451-457, 1989, CJ Perez-Vicente. Finite-si
ze capasity of sparse-coding models. Europhysics L
etters, Vol. 10, No. 7, pp. 627-631, 1989)。 この連想メモリではＮこのノードからランダム１つのノードを順次選び、（４）式に従ってその活性値を更新する。 活性値が変化するノードがなくなるまでこれを繰り返す。
ここで関数ｆは閾値関数である。 このとき、（３）式のエネルギーＥは計数ｋの符号が負（正）ならば単調減少（増加）することが保証される。

【００１７】

【数１】

【００１８】以下、図面を参照しながら従来手法である共分散行列を用いた連想メモリのリンクの学習装置について説明する。 図４は連想メモリのリンクの学習装置の構成例を示す図、図５はこの装置の処理の流れを表すフロー図である。

【００１９】図４の学習装置は、ネットワークのリンクの重みと各ノードの活性確率とを学習する。 そのためにこの学習装置は、リンクの重み格納部４６と活性確率格納部４３とを持つ。 これらに格納されている値は、学習を開始する前に初期化指示部４８からの指示により、０
に初期化される。 その後、パターン提示部４１において示された学習パターンについて、リンクの重み学習部４
５は古いリンクの値をリンクの重み格納部４６から取り出して、活性確率の情報も用いてリンクの値を更新し、
その結果をリンクの重み格納部４６に格納する。 同様に活性確率更新部４２は提示されたパターンについて、その古い値を活性確率格納部４３から取り出し、活性確率を更新した後にそれを活性確率格納部４３に戻す。

【００２０】次にリンクの値の更新アルゴリズムを詳しく図５のフロー図を用いて説明する。 まず、５０１〜５
０８は初期化ルーチンで、リンクの値Ｗｊｉを９に初期化し、活性値の平均値ａ _jを０に初期化する。 そして学習すべきパターンがある限り（５０９），５１０〜５２
２を繰り返す。 まず学習すべきパターンＶを入力する（５１０）。 ５１１〜５１８でＷｊｉの値を（６）式に従って更新する。 ここでΔは、０＜Δ＜＜１である。 但し、Ｗｉｉは０のままにするために、５１３によりＷｉ
ｉの値を変えないようにする。 ５１９〜５２２では、活性値の平均値ａ _jを更新する。 活性値の平均値の真の値はわからないので、５２０のようにａ _jの値を少しずつ修正しながら求める。 そして学習すべきパターンが尽きたならば（５０９）、リンクの値の配列Ｗと活性値の平均値ａとをファイル等に保存し（５２３）、処理を終了させる。

【００２１】記憶パターンはリンクの値として学習されるので、Ｐ１は問題ない。 この連想メモリはランダムスパースなパターンを記憶するために考案されたものであるので、Ｐ２のようなスパースにエンコードされたパターンの記憶には適している。 またＰ３の問題はノードの活性値の活性確率ａ _jの導入により解決されている。 さらに（６）式にあるように記憶パターンを追加的に学習できるので、Ｐ４も満たしている。

【００２２】しかし、この連想メモリはパターンの出現頻度が偏った場合（Ｐ５）には適していない。 なぜならば、良く現れるパターンのみを記憶する傾向にあるからである。 （６）式のリンク値を決める式からもわかるように、パターンが提示されるたびにそのパターンのためのリンク値（Ｖ _j −ａ _j ）（Ｖ _i −ａ _i ）が元のリンクの値Ｗｊｉに加算される。 これに良く出現するパターン程、よく学習が行なわれ、想起も良くなっていく。 しかし、出現頻度の低いパターンに対しては稀にしか学習しないため、正しい想起する確率は低い。

【００２３】また、この連想メモリはパターン間に相関に偏りがある場合（Ｐ６）にも適していない。 この連想メモリはパターン間に均質な相関がある場合（ランダムスパースなパターンはその一例）にのみ適しているのである。

【００２４】このことを以下に詳しく説明する。 パターンの出現頻度に偏りがある場合（Ｐ５）には、高頻度で出現するパターンしか記憶できないという問題がある。
これはエネルギー曲面により説明できる。 学習パターンが提示される度に従来型方式でリンクの値を更新すると、図６． ａ（横軸はパターンを表し、各パターンに対応するエネルギー値をプロットした概念図である）のように出現頻度の高いパターンＡの方が頻度の低いパターンＢよりエネルギー値が低くなる（以下の説明ではエネルギーの係数ｋが負の定数であるとする。勿論ｋが正の定数としても同様に説明ができる）。 一般に連想メモリはエネルギーが低い状態にほど陥り易いので、エネルギー値が低い出現頻度の高いパターンしか想起できない。

【００２５】パターン間の相関に偏りがある場合（Ｐ
６）の問題は二つある。 一つは、望ましいパターンではなく、相関の特に強い複数のパターンの中間のパターンを想起するという問題である。 しかし、この問題はあまり重要ではない。 なぜならば、パターン間の相関が弱ければこの問題は起こらないし、逆に強ければ中間のパターンを想起したとしても望ましいパターンとあまり違っていないからである。 もう一つは、相関のあまりないパターンを想起できないという問題である。 これもＰ５の場合と同様にエネルギー曲面で説明できる。 例えば、パターン１〜３があり、それらが全てのパターンが同じ頻度で出現した場合には、従来方式によりリンクの値を学習すると、図７． ａのようなエネルギー曲面になる。 このため、パターン１と２との中間パターンの想起は容易となるが、パターン１及び２とあまり相関のないパターン３の想起は困難となる。

【００２６】以上まとめると、人工的神経回路網における連想は、エネルギー値Ｅを極小化するようにノード（人工的ニューロン）の活性値を更新（伝搬）していくことにより行われる。 このため一般にエネルギー値が低い状態に各ノードの活性値は落ち着く。 学習パターンがランダムパターンである場合には、それらの従来型のリンクの重みの決め方で作られた連想メモリにおけるエネルギー値はほぼ一定を取るため、各ノードの活性値は適切なパターンに落ち着く。 しかし偏ったパターンの場合には、従来型連想メモリにおけるエネルギー値にはパターンによって差が出るため、各ノードの活性値はエネルギー値の低いパターン（Ａや１，２）にはなるが、それ以外の想起してほしいパターン（Ｂや３）にはなりにくい。

【００２７】

【発明が解決しようとする課題】このように従来の連想メモリは、学習パターンを提示してリンクの重みを最適化する際、パターンの出現頻度やパターン間の相関に偏りがあると、適切な連想を行えるようなリンクの重み学習により獲得することができないとう問題があった。

【００２８】本発明はコネクショニストモデルに基く認識理解で現れるような偏ったパターンを想起するのに適した、即ち上記Ｐ１〜Ｐ６の問題を同時に解決することのできる人工的神経回路網のリンク学習装置を提供することにある。

【００２９】

【課題を解決するための手段】本発明に係る人工的神経回路網のリンクを学習する装置は以下のように構成される。 即ち、複数のノードがリンクで結合されノードの活性値をリンクの重みに基づいて伝搬させて連想を行うための人工的神経回路網を備え、前記連想が適切に行われるよう前記リンクの重みを更新するものであって、各ノードに対応する活性値を学習すべきパターンとして入力する入力手段と、この入力手段により入力されたパターンの想起のされ易さの指標となるエネルギー値Ｅを計算するＥ計算手段と、このＥ計算手段で計算されたエネルギー値Ｅと所定のエネルギー値Ｅｔｈとの差に基づいてリンクの重みを更新させる度合いを決定する学習量決定手段と、前記入力手段により入力されたパターンに基づき、前記学習量決定手段により決定された度合いに従って、リンクの重みを更新する更新手段とを具備するものである。

【００３０】尚、入力された各ノードに対応する活性値の複数パターン分の平均値に基づいて各ノードの活性確率を求め、上記更新手段においてこの活性確率をも考慮してリンクの重みを更新してもよい。

【００３１】ここで言うエネルギー値Ｅとは（３）式のように決定され、リンクの重みを更新させる度合い（学習量δ）は（２）式のように決定され、リンクの重みは（１）式のように学習される。

【００３２】

【数２】

【００３３】

【作用】本発明によれば、学習パターンがどのようなものであってもエネルギー値をほぼ一定にするようにリンクの値を学習する。 これにより偏ったパターンについても適切に想起できるようになる。 以下にこれについて詳しく説明する。

【００３４】本発明では、全ての記憶パターンのエネルギーが同じ値を持つように（図６．ｂ，図７．ｂ）、全ての記憶パターンにおいてエネルギー値を一定の負の値Ｅｔｈとなるように学習を行なう。 このため、次のようなエネルギー値で重み付けをした学習をする。 まず学習を行なう前に、提示パターンのエネルギー値Ｅを求める。 その値が基準エネルギーＥｔｈよりも大きければ、
その大きさに応じて強く学習するよう学習量δを決定する。 ｇはｇ（０）＝０である、上下限のある単調増加関数である。 そしてδの値に応じて学習を行なう。

【００３５】これにより、不得意なパターンを積極的に学習するようになる。 なお、この学習則は現に提示されたパターンを覚えるのではなく忘れることもあることに注意されたい。 提示パターンのエネルギー値Ｅｔｈよりも低くなった場合には、（Ｅ−Ｅｔｈ）は負の値となり、δも負数になる。 このような場合には、過学習が行なわれていると考えそのパターンを忘却するように学習が働く。

【００３６】

【実施例】本発明の一実施例に係わる人工的神経回路網のリンク学習装置について以下の手順で説明する。 １． 一実施例についての概説 １．１ 構成図の説明 １．２ アルゴリズムの説明 ２． 実験 ２．１ パターンの出現頻度に偏りがある場合 ２．２ パターンの相関に偏りがある場合 ２．３ 学習の高速化についての実験 ３． 応用例 ３．１ ワープロのかな漢字変換技術に適用した例 ３．２ 自然言語翻訳における訳語選択に適用した例 １． 一実施例についての概説

【００３７】図面を参照して本発明の一実施例を説明する。 図１は連想メモリのリンクの学習装置の構成例を示す図、図２はこの装置の処理の流れを表すフロー図である。 １．１ 構成図の説明 図１の学習装置は、図４の従来型の学習装置と比較して、エネルギー計算部１０９と学習量δ算出部１１０がある点が異なる。

【００３８】ネットワークのリンクの重みと各ノードの活性確率とを学習する。 そのためにこの学習装置は、リンクの重み格納部１０６と活性確率格納部１０３とを持つ。 これらに格納されている値は、学習を開始する前に初期化指示部１０８からの指示により、０に初期化される。 パターン提示部１０１において示された学習パターンについて、エネルギー計算部１０９においてエネルギー値Ｅを計算する。 さらにその値Ｅと基準エネルギー値記憶部１１１のＥｔｈとの差から学習量δを学習量δ算出部１１０において求める。 そして、リンクの重み学習部１０５は古いリンクの値をリンクの重み格納部１０６
から取り出して、活性確率の情報も用いて学習量δ分だけリンクの値を更新し、その結果をリンクの重み格納部１０６に格納する。 同様に活性確率更新部４２は提示されたパターンについて、その古い値を活性確率格納部１
０３から取り出し、活性確率を更新した後にそれを確率格納部１０３に戻す。 ここで学習したものについて、リンクの重みはリンクの重み取出し部１０７を介して、また活性確率については活性確率取出し部１０４を介して、値を取出す。

【００３９】尚、ここでは活性確率をパターンを提示する毎に更新するようにしたが、活性確率を予め定められた値（例えば０．５）に固定しておいても、本方式はうまく機能する。 これら取出された値の用い方については後述する。 １．２ アルゴリズムの説明

【００４０】図２は本発明の実施例方式を適用した連想メモリのリンク値の学習方式を示したフロー図である。
図５と基本的に異なるのは、２１１〜２１３の追加である。 まず、２０１〜２０８は初期化ルーチンで、リンクのＷｊｉを０に初期化し、活性値の平均値ａ _jを０に初期化する。 そして学習すべきパターンがある限り（２０
９）、２１０〜２３５を繰り返す。 まず学習すべきパターンＶを入力する（２１０）。 ２１１〜２２１でＷｊｉ
の値を（１）式に従って更新する。 図５の従来技術ではＷの更新量はΔで固定であったが、実施例方式では更新量δがエネルギー値によって変わる。 ２１１で学習すべきパターンのエネルギー値Ｅを求める。 次に関数ｇを作用させて学習量δを計算する（２１２）。 もしそのδが０ならばリンクの値は変わらないので、２１４〜２２１
の処理を省略する（２１３）。 また、Ｗｉｉは０のままにするために、２１６によりＷｉｉの値を変えないようにする。 ２２２〜２２５では、活性値の平均値ａ _jを更新すると、活性値の平均値の真の値はわからないので、
２２３のようにａ _jの値を少しずつ修正しながら求める。 そして学習すべきパターンが尽きたならば（２０
９）、リンクの値は変わらないので、リンクの値の配列Ｗと活性値の平均値ａとをファイル等に保存し（４２
６）、処理を終了させる。

【００４１】ここで、上述したようにδが０の時には、
リンクの値を更新する処理を省略できる。 このδの値は関数ｇの出力である。 この関数ｇ（ｘ）は、ｘ＝０のときに０を出力する上下限のある単調増加関数である。 ここで、ｇ（ｘ）はｘ＝０のときのみ０を出力するとすると、ｘ＝０となる確率は非常に低いので、殆どの場合にδは非零となりリンクの値の更新処理を行わなければならない。 そこで、ｘの絶対値が０に近い場合にはｇ
（ｘ）の出力を０にすることにより、δが０となる確率が高くなる。 これによってリンクの更新処理を省略できる確率が高まり、学習速度の高速化を達成することができる。 ２． 実験 この方法による想起能力の向上を調べる為に、Ｐ５，Ｐ
６の条件下で実験を行った。 ２．１ パターンの出現頻度に偏りがある場合の実験

【００４２】従来手法の中で最も有望である共分散行列を用いた連想メモリ（以下、従来型連想メモリと称する）と本発明方式による連想メモリとの性能を比較するために、パターンの出現頻度に偏りがある状況（Ｐ５）
で実験した。 方法

【００４３】パラーメータとしては、学習回数，ノイズ，リンク密度がある。 学習回数とはリンクの値を学習するためのパターン提示回数である。 ノイズとは提示される学習パターン及び、テスト時に提示される初期パターンに含まれるノイズを意味する。 コネクショニストモデルでは、一つの段落といったある決まった量をデータとして与えるのが普通である。 そのため活性値が活性化しているノード数は与えられたデータ量に比例する。 従ってノイズを含んでいてもいなくとも、パターン中の活性化ノードの数は変わらないと考えるのが適切である。
ここでノイズがｎ（０≦Ｎ＜１）であることは、次のことを意味する。 活性値が１であるべきノードの活性値が確率ｎで０に反転しており、逆に活性値が０であるべきノードの活性値が確率ｐｎ／（１−ｐ）で１に反転している。 このようにすると、ノイズを含んだパターンにおける活性ノードの比率の期待値は、

【００４４】

【数３】

²

で与えられる。 なお、リンク数を減らす場合にはリンクの値の小さいリンクから順に削除した。

【００４５】ノイズを含まない記憶パターンとしてＮ＝
１０００要素（ノード）から成るＭ＝１００個のパターンをランダムに生成した。 但し、どのパターンも１００
０ノードのうち１００ノードの活性値が１であるようにした（Ｐ２）。 このときノードの活性値の平均値ｐは０．１であった。

【００４６】学習パターンにはノイズを含まない記憶パターンにノイズｎを学習時にランダムに与えた。 即ち有限個の学習パターン集合をあらかじめ用意しておくことはしなかった。 このためある程度ノイズがあるならば、
毎回異なったパターンが学習パターンとして提示されることになる。 更に、ｉ番目（１≦ｉ≦０）のパターンの出現確率を２ｉ／｛Ｍ（Ｍ／１）｝とした。 これにより最も出現しにくい１番目のパターンと最も出現しやすいＭ番目のパターンとでは、出現頻度に１００倍の差があることになる。 関数ｇとしては次のものを用いた。 この関数のグラフを図８に示す。

【００４７】

【数４】

【００４８】評価方法としては、ノイズを加える前の記憶パターンと、それにノイズを加えたものを初期パターンとして想起されたパターンとの間のハミング距離を用いた。 一条件の実験のために５０００回これを繰り返した。 学習時も想起時も提示パターンのノイズおよび出現確率は等しくした。 想起時に与えられるパターンも動的にランダム生成し、学習パターンとは異なるものとした。 尚、活性値が共にｐである二つのランダムパターンの間のハミング距離の平均値は、２Ｎｐ（１−ｐ）である。 ｐ＝０．１，Ｎ＝１０００の時、この値は１８０である。 従って、想起結果として真のパターンとの間のハミング距離が１８０近くになれば、想起に完全に失敗したと考えられる。 学習回数，ノイズ，リンク数を変えた実験

【００４９】学習回数を５０から５００００に変化させた場合の両連想メモリの想起能力を図４に示す。 但し、
ノイズｎ＝０．０；０．４；０．５，リンク密度１＝
０．２とした。 学習回数が少ない場合には、両連想メモリの想起能力はほぼ同じであったが、学習回数がある程度多くなると本連想メモリの方が従来型連想メモリよりも想起能力が高くなった。

【００５０】リンク密度１を０．００１から０．４に変化させた場合の両連想メモリの想起能力の図９に示す。
但し、学習回数を１００００，ノイズｎ＝０．０，０．
４，０．５とした。 リンク密度の増加と共に両連想メモリとも想起能力が高まったが、本連想メモリが常に従来型連想メモリより優れていた。

【００５１】また、図９，１０からわかるようにこの想起実験では、学習回数１００００回、リンク密度０．２
で十分であることが分かった。 そこで以降の実験ではこのパラメータを用いた。

【００５２】ノイズｎを０から０．８に変化させた割合の両連想メモリの想起能力を図１１に示す。 この場合には本連想メモリが常に従来型連想メモリより優れていた。 従来型連想メモリでは頻度の低いパターンの記憶ができないために、ノイズが０であっても完全な想起をすることができなかった。 これに対して本連想メモリでは提示パターンのノイズが小さくなればそれに従って想起結果も向上した。 この理由については後で述べる。 ノイズを含まない記憶パターンとのハミング距離が初期提示パターン（図１１の破線）よりも想起によって得られたパターンの方が向上していなければ想起の意味はない。
従来型連想メモリはノイズｎ＝０．２５〜０．６の範囲でのみ有効であったが、本連想メモリはノイズｎ＝０．
０〜０．６の範囲で有効であった。 本方式の特長

【００５３】学習時の提示頻度の違いがリンクの形成にどのような影響を与えるかを調べるために、学習時のパターン提示頻度とそのノイズを含まない記憶パターンにおけるエネルギー値との関係を調べた（図１２）。 ここでの考察では、学習回数１００００，リンク密度１＝
０．２の場合についてであるが、他の場合にも同様のことが言えた。

【００５４】提示頻度の高いパターン程、またノイズが小さい程、エネルギー値も低くなった。 これはノイズが大きいとリンクの値は様々なノイズを含んだ重みベクトルの和になるので、互いにある程度相殺しあってエネルギー値を高くしているからであると考えられる。

【００５５】本連想メモリの場合には、ノイズｎが０．
５以下では提示パターンの頻度に係わらずエネルギー値がほぼ一定になっていた（図１３）。 ノイズｎが０．６
になると従来型連想メモリのように提示頻度に従ってエネルギーが低くなった。 これは、ノイズｎ＝０．６以上では両者の連想メモリの性能の差はないという図１１の結果と符合している。 なお、従来型連想メモリではノイズが大きい程エネルギー値が高かったが、本連想メモリではこれと逆になっていった。 これは本連想メモリでは十分学習したと思われるパターンについては更に学習をしないため、そのようなパターンのためにリンクの値が更新されないので、エネルギーが低くなることがない。
このことを示すために、提示頻度と学習量との関係を図１４に示す。 ここで縦軸は一連の学習における学習総量（即ち（６）式のδの和）である。 図から明らかなようにノイズｎが０．５以下の場合には、提示パターンの頻度とは無関係に学習量が一定である。 しかし、ノイズｎ
が０．６以上になると共分散行列を用いた連想メモリの場合と同様に提示パターンの頻度に応じて学習量が増加する。 これは（６）式でδを定数に固定したことを相当し、本連想メモリが従来型連想メモリと等しくなっていることが確認できる。

【００５６】ノイズｎ＝０．４のときの学習時のパターンの提示頻度と想起の良さとの関係を図１５に示す。 従来型の連想メモリでは提示頻度が０．０１３以上でないと適切な想起ができなかったが、本連想メモリでは提示頻度が０．００３程度でも適切な想起ができた。 このように本連想メモリの方が提示頻度に偏りがある場合でも良い想起ができた。

【００５７】学習回数が２０００回と２００００回とのときの想起能力の関係について調べてみた。 いずれの連想メモリにおいても学習回数を増やすことにより想起能力は向上したが、本連想メモリの方が劇的に向上した。
本連想メモリでは提示頻度が０．００１程度でも学習の進行と共に想起能力は向上したが、従来型連想メモリでは、提示頻度が０．００７以下の場合には学習回数を増やしても想起能力は向上しなかった。

【００５８】リンク密度は０．２と０．００２とに変えて想起能力の違を調べた。 リンク密度を下げるとリンクの値の小さい方から順に削除される。 このとき従来型連想メモリでは出現頻度の低いパターンのリンクから順に削除されるので、学習時の提示頻度が低いものから順に想起能力が低下した。 これに対して本連想メモリでは均一にリンクが削除されるので、学習時の提示頻度に関係なく全体的に想起能力が低下した。 ２．２ パターンの相関に偏りがある場合の実験 従来型連想メモリと本連想メモリとについて、パターンの相関に偏りがある場合（Ｐ６）の実験を行なった。 方法

【００５９】この実験の場合にも予備実験を行ない、パタメータとして学習回数を１００００回，リンク密度１
＝０．２として十分であることを確認し、そのパラメータを用いた。 ノイズｎを０〜０．８の範囲で変化させて実験を行なった。

【００６０】ノイズを含まない記憶パターンとして前回の実験と同様にＮ＝１０００要素（ノード）から成るＭ
＝１００個のパターンについて実験した。 どのパターンも１０００ノードのうち１００ノードの出力値１であるようにした。 ｉ番目（１≦ｉ≦７５）の７５パターンはランダムに生成し、ｊ番目（７６≦ｊ≦１００）のパターンは、（ｊ−２５）番目のパターンとハミング距離が２０離れたランダムに生成したパターンとした。 つまり、１番から５０番までのパターンは独立なパターンであるが５１番から１００番までのパターンは２５組の相関のあるパターンとした。 学習パターンも前回の実験と同様にノイズを加えた。 また今回は学習時も評価時もパターンの提示頻度を等しくした。 ノイズを変えた実験

【００６１】ノイズｎを０〜０．８に変化させた場合の想起能力を図１６に示す。 この図では、両連想メモリついての相関のあるパターンとないパターンとを分けて想起能力を示している。

【００６２】相関のあるパターンに対する想起能力はいずれの場合もほぼ同じであった。 この場合ノイズが全くない場合でも想起パターンとそれからノイズを除いたパターンとの間のハミング距離は１０程度であった。 これは、５１〜１００番のパターンについてはハミング距離が２０離れたところにノイズを含まないパターンがあるので、その中間のパターン（真のパターンとハミング距離で１０だけ離れている）が記憶されているためである。

【００６３】独立なパターンに対しては両連想メモリの性能は全く異なった。 従来型連想メモリではノイズ量に無関係に初期提示パターンよりもハミング距離の点で悪い結果を得た。 これに対して本連想メモリでは良好な結果を得た。 ノイズｎが０．５以下では、５１〜１００番のパターンと同等の性能を得た。 この場合ノイズが０の場合にハミング距離も０となっているのは、近くに強い相関のあるパターンがないため、干渉が起こらないからである。

【００６４】この現象をノイズを含まない記憶パターンにおけるエネルギー値という観点から説明する。 従来型の連想メモリにおける相関のあるパターンとないパターンの平均エネルギー値の図を図１７に示す。 図からわかるように相関のないパターンのエネルギー値は、相関のあるパターンのエネルギー値の約半分である。 このため相関のないエネルギー値はノイズに埋もれ易く、想起することが困難であることがわかる。 同様に本連想メモリのエネルギー値を図１８に示す。 ノイズｎが０．５以下では相関があるパターンもないパターンもほぼ等しいエネルギー値を取り、一方のパターンを特に想起しやすいということはない。 ノイズｎが０．５以上で共にエネルギー値が上昇しているのは、パターンが急速に記憶できなくなっていることを表している。 ノイズｎ＝０．８ではエネルギー値は共に非常に高くなり、もはやノイズを含まないパターン付近で極小値を取り得なくなっていることがわかる。 ２．３ 学習の高速化についての実験 本実施例において、リンクの値の更新処理を省略すると、どの程度処理が高速化できるかを示す実験を行った。

【００６５】学習時間（学習回数ではない）について両連想メモリを比較する。 本連想メモリでは学習時に提示パターンのエネルギー値を求め、それが零でなければ実際にリンクの値を更新する。 ここで最も計算コストの高い浮動小数点の乗算の計算量で速度を考える。 リンク一本当たり、エネルギー値を更新するのに２回の乗算が必要であり、リンクの値を更新するのに３回の乗算が必要である。 従って、リンクの値を更新する（更新しない）
場合には、本連想メモリの学習則ではリンク当たり５回（２回）の乗算が必要である。 これに対して、従来型の連想メモリの学習則では常にリンク当たり３回の乗算が必要である。 リンクの値を更新しないのはδ＝０であるときである。 本実験では（７）式の関数ｇを用いているので、学習パターンのエネルギー値Ｅが目標エネルギー値Ｅｔｈに近い場合には学習を行わない（｜Ｅ−Ｅｔｈ
｜が一定値以下では学習しない）。 本実験の場合のリンク当たりの乗算回数のグラフを図１９に示す。 学習回数が多い程、またノイズ量が少ない程、本連想メモリの学習装置の方が従来型の学習装置よりも計算量が少なくて済むことが図からわかる。 ３． 応用例 ３．１ ワープロのかな漢字変換技術に適用した例

【００６６】従来技術の項で述べたコネクショニストモデルを用いたかな漢字変換方式で用いる連想メモリのリンクの値を、ユーザが作成した文章（同音語選択が終了した文章）から、学習する方法について説明する。 この場合以下の手順に従って学習を行う。 １． ユーザの文章を段落に分ける。 ２． 各段落について従来技術の２で述べたように、パターンを作る。 ３． 上記でできたパターンを学習パターンとして、それぞれ本学習装置にてリンクの値を学習する。 このようにして、リンクのＷ _jiとノードの活性確率ａ _j
とが求まる。

【００６７】次にかな漢字変換を行う手順について説明する。 初期状態として、ノードの活性値Ｖ _j ＝ａ _jとする。 そして、図１のリンクの重み取出部１０７、活性確率取出部１０４を介して、本リンク学習装置からかな漢字変換装置にリンクの値と活性確率とをロードしておく。 かな漢字変換時にシステムが提示した単語コードがｊである変換候補をユーザが選択キーを押すことにより受理（次候補キーを押すことにより拒否）した時には、
（４）式で閾値Ｉ _jと小さな（大きな）値としてノードｊの活性値Ｖ _jを大きく（小さく）する。 この後、
（４）式に従って活性値が変更するが、ここで本学習装置で求めたリンクの値Ｗ _jiと活性確率ａ _jとが用いられる。 活性値の更新により活性値が伝播する（詳しくは従来技術の１．コネクショニストモデルを用いたかな漢字変換の例を参照）。 そして、かな漢字変換する場合には同音語の中で最も大きな活性値Ｖを対応するノードに持つ語が、現在の話題に最も近いと考えて第一候補として選択される。 ３．２ 自然言語翻訳における訳語選択に適用した例 第一言語（入力言語）から第二言語（出力言語）へ翻訳する場合に、言語Ａの単語の曖昧さを解消することが問題となる。 例えば、 "The boys hasten to the playground with bats, ball
s, and gloves."という英文には次のような多義語が含まれており、 bat …野球のバット／動物のこおもり ball …野球のボール／舞踏会 glove …野球のグローブ／手袋 文法および品詞を解析しただけでは、日本語に適切に翻訳できない。そこで、コネクショニストモデルによる認識理解技術を用いて訳語選択を行う。

【００６８】まず、第二言語（ここの説明では日本語）
における語もしくは句の意味素の近さを表現する図２０
のようなネットワークを作成しておく。 図２０では関係の近いものの間にはそれぞれ近さに応じて異なる正の値のリンクが張られている。 逆に関係が近くないものの間には負の値のリンクが張られているが、図では省略してある。

【００６９】このネットワークを作成するのに、リンク学習装置を用いる。 すなわちかな漢字変換技術への応用で述べたように、第二言語の文例からパターンを段落ごとに取り出し、それらのパターンについてネットワークのリンクの値を学習する。

【００７０】次に訳語選択をする場合に、上記で求まったリンクの値Ｗ _jiと活性確率ａ _jで定められる人工的神経回路網を用いる。 まず、翻訳装置に、図１のリンクの重み取出部１０７、活性確率取出部１０４を介して、リンクの値と活性確率とをロードする。 そして、各ノードの活性値Ｖ _jの初期値をａ _jとする。 ある文章が正しく翻訳できた場合には、その翻訳文中に現れる語に対応するノードの閾値を下げて、そのノードの活性値を高める。 そして、（４）式に従って各ノードの活性値を更新していく。 第一言語のある語を第二言語に翻訳する場合に、文法的に不適切なものを除去した後にも、その語に対応する第二言語の語が複数ある場合には、それらの語の中で対応するノードの活性値Ｖが最も高い語を、現在の話題に最も関係する語であると考えそれを選択する。

【００７１】

【発明の効果】以上に説明したように、本発明によれば、コネクショニストモデルに基づく認識理解で、パターンの出現頻度が偏っていたり、パターンの相関が偏っていたりする場合にも適切に想起ができるようなリンク重みを持った人工的神経回路網を作成することができる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係わる人工的神経回路網のリンクの学習装置の構成例を示す図。

【図２】 本発明の一実施例に係わる人工的神経回路網のリンクの学習アルゴリズムを示すフロー図。

【図３】 連想メモリを用いたかな漢字変換方式の説明図。

【図４】 人工的神経回路網の従来のリンクの学習装置の構成例を示す図。

【図５】 人工的神経回路網の従来のリンクの学習アルゴリズムを示すフロー図。

【図６】 パターンの提示頻度に偏りのある場合のエネルギー局面の模式図。

【図７】 パターンの相関に偏りがある場合のエネルギー局面の模式図。

【図８】 関数ｇの性質を表す図。

【図９】 学習回数の想起能力との関係を表す図。

【図１０】 リンク密度と想起能力との関係を表す図。

【図１１】 ノイズと想起能力との関係を表す図。

【図１２】 従来型連想メモリにける提示頻度とハミング距離との関係を表す図。

【図１３】 本実施例方式による連想メモリにおける提示頻度とハミング距離との関係を表す図。

【図１４】 本実施例による連想メモリにおける提示頻度と学習量との関係を表す図。

【図１５】 提示頻度と想起能力との関係を表す図。

【図１６】 パターンの相関の有無と想起能力との関係を示す図。

【図１７】 従来型連想メモリにおけるパターンの相関の有無とエネルギー値との関係を示す図。

【図１８】 本実施例方式による連想メモリにおけるパターンの相関の有無とエネルギー値との関係を示す図。

【図１９】 学習回数と乗算回数との関係を示す図。

【図２０】 本発明を自然言語翻訳に適用した例を示す図。

【符号の説明】

１０１…パターン提示部、 １０２…活性確率更新部、１０３…活性確率格納部、 １０４…活性確率取出部、１０５…リンクの重み学習部、１０６…リンクの重み格納部、１０７…リンクの重み取出部、１０８…初期化指示部、１０９…エネルギー計算部、 １１０…学習量δ算出部、１１１…基準エネルギー値記憶部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年１０月２日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】

【数２】