权利要求

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この出願の発明は、第２次重みづけを持つ回帰形ニューラル回路網（ＲＮＮ）において耐障害性の決定性有限状態オートマトン（ＤＦＡ）を実現してこれらＲＮＮとＤＦＡとにより認識された言語が任意の長さの連鎖について同一であるようにする方法およびそのＲＮＮにおける耐障害性ＤＦＡに係わる。 くわしくは、この発明は、第２次重みづけされた散在ＲＮ
Ｎにおける耐障害性ＤＦＡの設計を実現する方法およびこのＲＮＮにおいて実現された耐障害性ＤＦＡに係わる。

【０００２】

【従来の技術】ニューラル回路網の好ましい特性として耐障害性がしばしば挙げられている。 しかし、ニューラル回路網の内部構造は、固有的に耐障害性はなく、回路網資源の多数の複製を作るとか障害に負けまいと努めるように回路網を学習させるとかして或る種の障害に回路網が耐えるようにすることができるだでけあった。 ただし、再学習によりニューラル回路網の内部構造における障害からは回復させることはできる。

【０００３】この発明の発明者すなわちオムリンおよびジャルスの論文すなわちＣｈｒｉｓｔｉａｎ Ｗ． Ｏｍ
ｌｉｎおよびＣ． Ｌｅｅ ＧｉｌｅｓがＩＥＥＥのニューラル回路網についての国際大会（ＩＣＮＮ １９９
４）に１９９４年に差しだし“Ｃｏｎｓｔｒｕｃｔｉｎ
ｇ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｆｉｎｉｔｅ−Ｓｔ
ａｔｅ Ａｕｔｏｍａｔａ ｉｎ Ｓｐａｒｃｅ Ｒｅ
ｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｎｋｓ”と題する論文には、第２次重みづきＲＮＮにおける耐障害ＤＦＡを、実現された回路網の動的特性が安定であるように、すなわち、Ｍにより構成されたＲＮＮとＤＦＡ
Ｍにより認識された正則言語Ｌ（Ｍ（ＤＦＡ））およびＬ（Ｍ（ＲＮＮ））とが同一であるように提供するこができることが述べてある。

【０００４】正則言語とは、チョムスキーの階層における形式的言語のうち最小の組を表わす。 正則言語は正則文法により記述される。 正則文法Ｇは、Ｓを出発シンボルとしＮおよびＴを非端子および端子シンボルとそれぞれするとき四重子（数１）として表わされる。

【０００５】

【数１】

ただし、Ｐは、（数２）および（数３）とするとき、

（数４）および（数５）という形式により作られる。

【０００６】

【数２】

【０００７】

【数３】

【０００８】

【数４】

【０００９】

【数５】

正則文法Ｇにより記述される正則言語を一般にＬ（Ｇ）

で表わす。

【００１０】おのおのの正則言語は、正則言語Ｌ（Ｇ）
を受けいれるようにすなわちＬ（Ｇ）＝Ｌ（Ｍ）となるようにＭにより構成されたＤＦＡ Ｍが関連させられる。 ＤＦＡ Ｍは、正則言語Ｌ（Ｇ）の構成要員である連鎖だけを受けいれる。 形式的にはＤＦＡ Ｍは五重子（数６）である。

【００１１】

【数６】

ここに、（数７）は言語Ｌのアルファベットであり、

（数８）はひと組の状態を表わすが、さらに（数９）は出発状態、（数１０）は受けいれられるひと組の状態、

（数１１）はＭにおける状態遷移を表わす。

【００１２】

【数７】

【００１３】

【数８】

【００１４】

【数９】

【００１５】

【数１０】

【００１６】

【数１１】

連鎖ｘは、この連鎖がＭにより読まれたのち受けとり状態が達成されるならば、ＤＦＡ Ｍにより受けいれられたのであり従って正則言語Ｌ（Ｍ）の構成要員である。

あるいは、ＤＦＡ Ｍを正則言語Ｌ（Ｍ）を生成する生成母体と考えることができる。

【００１７】ニューラル回路網は、人造物であり、処理要素であるニューロンを備える。 おのおののニューロンは入力を供給され、入力を処理し、出力を生ずる。 入力には重みづけを関連させる。 重みづけは、処理要素に対する入力の相対的重要さを定義する。 学習は回路網の重みづけを繰りかえすことにより行なわれる。 回路網は、
出力を生ずることにより学習する。 生じた出力を望まれた出力とくらべる。 このとき、重みづけを、生じた出力における誤差により調節する。 この過程が繰りかえされる。

【００１８】ニューラル回路網にはたくさんの処理ノードがある。 おのおののノードには最初に局部接続がある。 これらノードのうちの或るものが損傷または障害を受けても回路網すべてが働らかなくなるものではない。

【００１９】上記オムリンおよびジャルスの論文には、
決定性のシグモイド関数を持つＲＮＮを、内部のＤＦＡ
の状態が任意の長さの連鎖に対して安定でありつづけるように構成することができると述べてある。 このことの証明は、ＤＦＡの状態についての近似的に直交する内部表示、すなわち、この回路網の重みづけとバイアスとが正の重みづけ強さ値＋Ｈおよび負の重みづけ強さ値−Ｈ
とをプログラムすることにより内部ＤＦＡ表示が保存されることに依存する。

【００２０】ハードウエアによる実現に起こる特定の障害は、回路網の実現がデジタル技術に依るかアナログ技術によるかに依存する。 ＶＬＳＩウエーハのニューラル回路網モデルにおける障害の研究結果は、Ｎ． ＭａｙおよびＤ． Ｈａｍｍｅｒｓｔｅｉｎが１９８８年のオレゴン大学博士課程センタに“Ｆａｕｌｔ Ｓｉｍｕｌａｔ
ｉｏｎ ｏｆ ａ Ｗａｆｅｒ−ｓｃａｌｅ Ｉｎｔｅ
ｇｒａｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｅ”という題で出した技術報告に見いだすことができる。

【００２１】第２次重みづきＲＮＮにおいて、ＤＦＡ
を、ＤＦＡによって認識された言語もＲＮＮによって認識されたものも任意の長さの連鎖について同一であるように構成することができることは上に述べた。 このように望ましい有限状態動作は、重みづけＷ（ｉｊｋ）すべての部分組を正の重みづけ強さ値にも負の重みづけ強さ値にも一様にプログラムすることにより達成される。 この符号化により、ＤＦＡの状態を近似的に直交内部表示し、現在のＤＦＡの状態に対応する回帰形のニューロンだけが高出力（回路網の出力ニューロンが高出力になるかもしれない場合を除く）となるようにすることにより達成される。 このようなニューラルＤＦＡにおける重みづけの数はＤＦＡの状態の数に正比例して増す。

【００２２】

【発明が解決しようとする課題】この出願の発明により解決しようとする課題は、回帰形ニューラル回路網（Ｒ
ＮＮ）により該ＲＮＮの内部構造における障害に対して堅固な決定性有限状態オートマトン（ＤＦＡ）を実現することにある。

【００２３】この発明の目的は、第２次重みづけを持つＲＮＮにおいて耐障害性のＤＦＡを実現する方法および該ＲＮＮにおける耐障害性のＤＦＡを提供することにある。

【００２４】

【課題を解決するための手段】この発明のひとつの主な態様によると、第２次重みづき回帰形ニューラル回路網における重みづけを正の重みづけ強き値＋Ｈおよび負の重みづけ強さ値−Ｈにプログラムする工程と、正の重みづけ強さ値にプログラムした重みづけのすべてをｋ回複製する工程とを包含し、該回路網がニューロン１個あたり（ｋ − １）個の障害重みづけに耐えられるようにする、回帰形ニューラル回路網における耐障害性有限オートマトンを実現する方法が得られる。

【００２５】この発明の他の主な態様によると、正の重みづけ強さ値＋Ｈおよび負の重みづけ強さ値−Ｈを持つようにプログラムされた第２次重みづき回帰形ニューラル回路網と、この回路網がニューロン１個あたり（ｋ
− １）個の障害重みづけに耐えるように上記正の重みづけ強さ値にプログラムされた回路網のｋ個の複製とを備える、回帰形ニューラル回路網における耐障害決定性有限状態オートマトンが得られる。

【００２６】

【作用】この発明においては、離散時刻で第２次重みづけＷ（ｉｊｋ）を持つＲＮＮを使ってＤＦＡを実現する。 この回路網は、入力の時系列を供給され、（数１
２）および（数１３）すなわち上記オムリンおよびジャルスの論文における式（１）および（２）により定義される動作を展開する。

【００２７】

【数１２】

【００２８】

【数１３】

これら数式において、ｂ(i) は隠れ回帰状態ニューロンＳ(i) に関連するバイアス、Ｉ(k) はシンボルａ(k) に対する入力ニューロン、積（数１４）は状態遷移（数１

５）に直接対応するものである。

【００２９】

【数１４】

【００３０】

【数１５】

散在ＲＮＮのための符号化アルゴリズムは、入力シンボルに一元符号化が使われることを仮定している。 特定のニューロンＳ（０）はＲＮＮの出力（受けいれ／はねつけ）を表わす。 連鎖の終りにおいてこのＲＮＮの出力が０．５よりも大きいか否かにより回路網は連鎖を受けいれたとか、はねつけたとする。

【００３１】この発明は、上記式（１）および式（２）
により動作が支配されるような第２次重みづきＲＮＮだけに当てはまる。

【００３２】この発明による第２次重みづき散在ＲＮＮ
によるＤＮＡの設計方法においては次の障害に耐えるようにする。 （Ａ）製作された重みの値が設計された重みの値に同一ではないこと、すなわち、第２次重みづけが零ではないとき、重みづけＷ（ｉｊｋ）の摂動のパーセントをε（ｉｊｋ）として（数１６）であること。

【００３３】

【数１６】

或るニューロンの出力が零に刺しとめられ（「ニューロン・スタック・アット・ゼロ」となり）、このニューロンが回路網から実効的には除かれること。 および、

（Ｃ）重みが零に刺しとめられ（「ウエート・スタック・アット・ゼロ」となり）、このように障害の生じた重みを回路網から実効的には除くこと。

【００３４】重みの摂動がεに限られると仮定すると、
望ましい有限状態動作を安定に保つ条件が導かれる。 これら条件は、安定な低出力とεの関数としての極小重みづけ強さ値の絶対値Ｈとに対する回路網の極大の大きさを制限する。

【００３５】「ウエート・スタック・アット・ゼロ」の障害に耐えるには、回路網の第２次重みづけのすべてのうち正の重みづけ強さ値のものを複製する。 この設計により、正の重みづけ強さ値にプログラムされた重みづけすべてをｋ回複製すれば、ニューロン１個あたり丁度（ｋ − １）個の「ウエート・スタック・アット・ゼロ」障害に耐える。 負の重みづけ強さ値の重みづけのほうは複製しないでよい。 何故かというと、おのおののニューロンの判別シグモイド関数が、このニューロンが他のニューロンにより高出力駆動されないかぎり、既に低出力を与えるからである。

【００３６】「ウエート・スタック・アット・ゼロ」および「ニューロン・スタック・アット・ゼロ」障害に耐えるには、ふたとおりのやり方がある。 ひとつのやり方においては、与えられた連鎖の分類を別々の回路網で独立に計算する。 このとき全体のシステムの出力は多数決票決により計算する。 与えられた連鎖が多数の回路網に受けいれられるならば、その連鎖は受けいれられたとするのである。 回路網すべてを（２ｋ ＋ １）回複製すればｋ個の障害ニューロンに耐える。

【００３７】もうひとつのやり方においては、与えられたＤＦＡ状態のひとつに出力がなるような丁度ｋ個の回帰形状態ニューロンを配分する。 このようにすることは、ひとつの回路網における（数１７）個の回帰形状態ニューロンを備えてＤＦＡの状態に近似的に直交内部表示を持たせることにより達成される。

【００３８】

【数１７】

ＤＦＡの状態のひとつに対応するｋ個のニューロンすべてはそれぞれの第２次重みづけＷ（ｉｊｋ）を以て、次層に対応するｋ個のニューロンに接続されている。

【００３９】

【発明の実施の形態】回路網がニューロンまたは重みづけについて「スタック・アット・ゼロ」障害に耐えるようにするには、ＤＦＡの状態または遷移についての回路網の内部表示を幾つかのニューロンまたは重みづけに分散させなければならない。 耐障害性を実現するには典型的には（計算）システムの資源を複製する。 下に、回帰形回路網において耐障害性を実現する設計を述べる。

【００４０】図１は「ウエート・スタック・アット・ゼロ」障害に耐えるようにする好ましい設計を示す。 図１
を含めて以下の図において白丸および黒丸はニューロンの状態が能動的であることおよびないことをそれぞれ示す。 回路網における重みづけは正または負の重みづけ強さ値＋Ｈまたは−Ｈにプログラムされている。 枠１１に示したとおり、正の重みづけ強さ値すべてをｋ回複製してｋ個の複製を作ってある。 正の重みづけ強さ値をｋ回複製すれば、その回路網はニューロン１個あたり（ｋ
− １）個までの障害重みづけに耐える。 負の重みづけ強さ値にプログラムされた重みづけの障害に耐えるようにする特別な配慮は全く要らない。 図１にはＤＦＡの状態遷移が上記式（３）である間のニューロンの状態の変化を示してある。 この設計は次の属性を持つ。 すなわち、ＤＦＡ ＭからＬ（ＲＮＮ）＝ Ｌ（Ｍ）であるように構成された回帰形回路網は正の重みづけ強さ値にプログラムされた重みづけすべてをｋ回複製すれば、ニューロン１個あたり丁度（ｋ− １）個の「ウエート・スタック・アット・ゼロ」障害に耐える。

【００４１】この属性の証明は、正の重みづけ強さ値についてはＤＦＡの内部状態表示が安定であることを示す。 正の重みづけ強さ値すなわち＋Ｈのｋ個の複製を作ることは、重みづけ強さ値が＋ｋＨである回路網を作ることに等しい。 従って、この回路網は、ニューロン１個あたり（ｋ − １）個の障害重みづけがあっても、相かわらず与えられたＤＦＡを実現する。 負の重みづけ強さ値にプログラムされた重みづけを複製しないでもいいことは、そのような重みづけに障害があっても低出力が保存されるからである。

【００４２】代替的な耐障害性回路網の設計は、回路網すべてをｋ回複製することであって、これによりｋ個の独立な回路網により連鎖が受けられるかどうかを決めるのである。 図２は回路網を（２ｋ ＋ １）回複製した例を示し、ｋ個の障害ニューロンに耐える。 連鎖が受けいれられるかどうかは、これら（２ｋ ＋ １）個の回路網により、それらのうち少なくとも（ｋ ＋ １）個には障害がないとして、多数決票決により決める。 このようなシステムの耐障害性の程度は次のとおり表現することができる。 すなわち、Ｌ（ＲＮＮ） ＝ Ｌ（Ｍ）
であるＤＦＡＭから構成された（２ｋ ＋ １）個の独立な回帰形回路網のシステムは丁度ｋ個の「ニューロン・スタック・アット・ゼロ」障害に耐える。

【００４３】どんな回路網においても、ひとつの「ニューロン・スタック・アット・ゼロ」障害があれば特定の応答ニューロンは誤った出力を生じ、正の連鎖を分類しまちがえる。 ある連鎖が受けいれられるかどうかは、この独立な回路網の出力の多数決票決に基づいて決めなければならない。 複数の入力を供給されて、これら入力に論理レベルが“０”または“１”のものが多数あるかどうかを決める論理装置は市場で手にはいる。 ニューロンのｋ個（ふつうは異なるニューロン）の障害によるｋ個の誤った出力に耐えるためには、その回路網からの（ｋ
＋ １）個の正しい出力が障害なしに得られなければならない。 障害のあるｋ個の回路網により正の連鎖の分類が誤っているならば、障害のない回路網についての多数決票決は正の答を出す。

【００４４】上に述べたとおり、耐障害性の回帰回路網を設計する保存性の設計は有効である。 しかし、計算用資源をすべて複製するから、計算用資源の大部分が利用されないでいるように見える。 例えば、直交内部ＤＦＡ
状態表示のうち対のものを使うことは、内部ＤＦＡ状態表示が甚だしく散在していること、すなわち、内部表示に全く使われないものがたくさんあることになる。 ゆえに、ＤＦＡ状態の２進内部表示に役立つものはないかどうかは有益である。 次に、直交の対ではない２進ＤＦＡ
符号化の性質を述べよう。

【００４５】耐障害性への代替的設計を考えるまえに、
課題を単純にする次の考察を行なう。 すなわち、「ニューロン・スタック・アット・ゼロ」障害に耐えるのは「ウエート・スタック・アット・ゼロ」障害に耐えるのを意味するということ。

【００４６】耐障害性は、ＤＦＡ状態および状態遷移の符号化の余分を作ることに基づいて達成される。 回路網が障害ニューロンに耐えるには、健全なニューロンおよびそれらに関連させた重みづけが損失を補償しなければ、すなわち、機構が状態情報を回復ししかも望ましい状態遷移が存在しなければならない。 この機構によれば、状態遷移が、それら状態遷移にあづかる重みづけの幾分に障害があっても遂行される。

【００４７】次の記述は、「ニューロン・スタック・アット・ゼロ」障害だけに係わる。

【００４８】第２次重みづけのＲＮＮを支配する数式は、構成された回路網については上記式（１）および（数１８）と書ける。

【００４９】

【数１８】

ここに、正および負の重みづけ強さ値の符号はＤＦＡの符号化アルゴリズムにより決まる。 ＲＮＮの判別関数の固定点からＤＦＡ表示が導かれ、状態遷移が一様にプログラムされていれば、構成されたＲＮＮの動的安定さを分析できることになる。 好ましい実施例においてはその関数はシグモイド関数である。 ハード制限されたしきい値関数でシグモイド判別関数を近似できるならば上記式（１）および上記式（４）は、変数が２進値だけを持つ、すなわち（数１９）のブール論理により自然に解釈される。

【００５０】

【数１９】

ここに、ＲＮＮにおける変数の２進法による解釈に対応するものをそれら変数の小文字で表わしてある。 また、

２進符号で表わしたＤＦＡの状態の表記を単調増加の時間の代わりに使ってある。 ＤＦＡの実際的なＲＮＮ表示に対して、ｗ（ｉｊｋ）が１および０に等しいとき第２

次重みづけＷ（ｉｊｋ）をそれぞれ正および負の重みづけ強さ値にするが、第２次重みづけを負の重みづけ強さ値にプログラムするのは然るべきときだけで足りる。 Ｄ

ＦＡ状態ｑ(u) の２進符号化は（数２０）の符号（コード）となり、ここにｎは符号化の長さを表わすが、（数２１）は状態ｑ(u) の符号化の第ｉ番目の成分となる。

【００５１】

【数２０】

【００５２】

【数２１】

（数２２）はＤＦＡのすべての状態の符号化を表わす。

【００５３】

【数２２】

応答成分である成分（数２３）は、（数２４）により表わされるＤＦＡ状態が受けいれ状態であるかどうかを指示する。

【００５４】

【数２３】

【００５５】

【数２４】

ＤＦＡの出発状態ｑ(i) の符号ｓ

⁽¹⁾は符号化の出発符号である。 このとき、状態遷移（数２５）は（数２６）

という符号遷移（数２７）となる。

【００５６】

【数２５】

【００５７】

【数２６】

【００５８】

【数２７】

この符号遷移を具体化するやり方は次のとおりである。

すなわち、上記式（６）および（数２８）の成分が両方とも値１を持つならば、２進法による「重み」ｗ（ｉｊ

ｋ）は値１を持ち、上記式（６）および上記式（１０）

の成分はこの「重み」により「接続」される。

【００５９】

【数２８】

入力シンボルａ(k) を提示されると、「入力」ｉ(k) は値１を持ち上記式（６）を１にする。 この操作を成分（数２９）のすべてについて一斉に行なう。

【００６０】

【数２９】

さて、上記式（７）の値は、重み（数３０）を経て符号ｓ

^(v)から導かれ、状態ｑ(u) が受けいれの連鎖であるかないかに従って、値１および０をそれぞれ持つ。

【００６１】

【数３０】

このように、ＤＦＡ Ｍの符号化は対（数３１）となる。

【００６２】

【数３１】

ここに、ＤＦＡの状態（数３２）は符号（数３３）に自然に写像され、上記式（８）の状態遷移は上記式（９）

の符号遷移に写像される。

【００６３】

【数３２】

【００６４】

【数３３】

上記式（１１）で表わすことのできるＤＦＡ状態の数ｎ

（ＤＦＡ）は、長さｎ（ＤＦＡ）の相異なる２進連鎖の数に等しいのではないかという概念は間違いである。 図３および図４にＤＦＡを、ＤＦＡの２進符号化ができるものに変換するアルゴリズムを示す。 なお図４は図３からのつづきを示す。 判別関数を、上記オムリンおよびジャルスの論文に使ったｈなる記号で表わしてある（第３

項）。 当業者には、重みづけ強さ値Ｈを選ぶ数式を変形して雑音の強い重みづけに使えるようにすることができる。 すなわち、第３項の数式（数３４）で（数３５）に変形する。

【００６５】

【数３４】

【００６６】

【数３５】

以下においては、シンボルａ(k) が任意であるときの上記式（９）を記号ｓ

^(v

^{+ 1)}で書く。 一般的には、記号ｓ

^{(v + r)}で符号ｓ

^(v)から出発してｒシンボル目に到達した符号を表わす。

【００６７】上記式（１１）の２進符号化は、ＤＦＡの状態遷移の符号化（数３６）により、次次の符号遷移（数３７）の結果の符号ｓ ^{(v + r')}が現在のＤＦＡ状態ｑをいつもあいまいさなしに同定するならば、そのＤＦ
Ａを「実現」する。

【００６８】

【数３６】

【００６９】

【数３７】

ＤＦＡ状態の符号化ｓ

^(v)は任意ではない。 ＤＦＡ Ｍ

の入力シンボルの数がｍで、（数３８）が（数３９）のもとで成りたつ、すなわち、状態ｑ(v) からのふた筋の状態遷移が同じ状態ｑ(u) にはならないとする。

【００７０】

【数３８】

【００７１】

【数３９】

ＤＦＡ Ｍが２進符号化すなわち上記式（１１）で実現できるためには、現在のＤＦＡ状態ｑ(v) の符号化ｓ

^(u)に直交する少なくともｍ個の符号ｓ

^(u(1)) ，ｓ

^(u(2)) ，…，およびｓ

^(u(m))がなければならない。

【００７２】言いかえると、上記式（８）の遷移が存在するならば、ふたつの符号ｓ ^(u)およびｓ ^(v)は共通の成分を持たず（数４０）である。

【００７３】

【数４０】

サイクル（「ｒ′サイクル」）（数４１）を作るｒ′個のＤＦＡ状態があり、符号ｓ

^{(v + r)}およびｓ

^{(v + r + 1)}がひとつの符号（数４２）を正しく共有し、かしも、この引数ｃは、符号の対ｓ

^{(v + r)}およびｓ

^{(v + r + 1)}が異なれば異なるとしよう。

【００７４】

【数４１】

【００７５】

【数４２】

すると、成分ｓ(i)

^{(v + r)}およびｓ(i)

^{(v + r + 1)}

は、重さｗ（ｉｊｋ）＝１で接続されている。 上記のｒ′サイクルののち、このサイクルの間に能動化された符号ｓ

^(v)は、共通の成分（数４３）がｒ ＝ ０から始まるすべての状態遷移を通って伝播されるので、見わけがつかなくなる。

【００７６】

【数４３】

したがって、ｓ

^{(v + r)} ＝１の成分ｉの数は、符号ｓ

^{(v + r)}が同じ成分を共有するに至るまで、単調に増す。 最悪の場合でも、ｎ個の状態を持つＤＦＡが長さｎ

のサイクルを持つか、または、ｒ′サイクルの符号遷移の間々符号ｓ

^{（v +r)}が（数４４）におけるすべての成分ｓ

^{(v + r)}を変えるかするのであれば、見わけがつかなくなる。

【００７７】

【数４４】

上の議論は、シンボルａ

^{(r + r')}が符号遷移のすべてについて同じであることに依存することに注意すべきである。 すなわち、これらシンボルが同じであれば、同じ重みｗ（ｉｊｋ）が成分（数４５）は１とし、ｒ′サイクルの残りの部分に対して値を変えることは決してない。

【００７８】

【数４５】

上に述べたことはＤＦＡの上記式（８）の状態遷移における状態ｑ(u) およびｑ(v) の直交性が、ＤＦＡの２進符号化を実現する必要条件であることを示す。 ほかの条件も必要であることを次に示そう。

【００７９】上記式（８）のＤＦＡ状態遷移の符号化ｓ
^(u)およびｓ ^(v)が直交すれば、現在のＤＦＡ状態は現在の符号化ｓ ^(u)から常にあいまいさなしに同定できる。

【００８０】上記式（９）の符号遷移を考えよう。 符号ｓ ^(u)が符号ｓ ^(v)に直交すれば、符号化ｓ ^(u)およびｓ ^(v)はどんな成分（数４６）をも共有はしない。

【００８１】

【数４６】

すなわち、成分（数４７）は上記式（９）の符号遷移に際して値を１から０に常に変える。

【００８２】

【数４７】

ゆえに、現在のＤＦＡ状態は現在の符号化ｓ

^(u)によりあいまいさなしに常に同定できる。 ただし、上記式（９）の符号遷移だけは異なり、このとき符号化は変わらない。

【００８３】上のふたつの記述がＤＦＡの２進符号化を実現する必要条件を与える。

【００８４】長さｌｏｇ（ｎ）の２進符号がｎ個の符号の区別に必要である。 しかし、長さｌｏｇ（ｎ）の符号は一般にはＤＦＡの符号化の実現のためものではない。
すなわち、ｎ個の状態の何らかのＤＦＡ Ｍと競う符号（数４８）を持つ極小の２値符号化（数４９）はない。

【００８５】

【数４８】

【００８６】

【数４９】

ＤＦＡ符号化の原アルゴリズムはＤＦＡ状態遷移を一元２進ＤＦＡ状態符号の間での遷移として構成した。 これら符号は互に直交垂直であったから、正当な２進符号の必要条件を満たした。

【００８７】ＤＦＡ Ｍの土台となるグラフＧ（Ｍ）
は、頂点がＭの状態となり方向つき辺の状態遷移となるグラフである。 多重のＤＦＡ状態遷移（数５０）が存在するならば、グラフＧ（Ｍ）は、頂点ｕおよびｖを結ぶ一本の方向つき辺を持つ。

【００８８】

【数５０】

どんなＤＦＡでもｎ個の状態と少なくとも（ｎ −

１）個の入力シンボルとを持ち土台となるグラフＧ

（Ｍ）が完全に接続されているものは、長さ（ｎ ＋

１）の直交垂直な符号（特定の応答ニューロンの成分を含む）を要求する。 この法則は、土台となるグラフＧ

（Ｍ）が完全に接続されているＤＦＡ Ｍの耐障害ＲＮ

Ｎによる実現の直接を解を与える。

【００８９】土台となるグラフＧ（Ｍ）が完全に接続されているＤＦＡ ＭをＲＮＮで具体化することを考えよう。 構成された回路網は（ｋ − １）個の「ニューロン（それゆえ、ウエート）・スタック・アット・ゼロ」
障害に耐える。 ただし、符号ｓ ^(u)がｋ個の成分（数５
１）を持ち、状態ＭのＤＦＡの符号が互に直交するときである。

【００９０】

【数５１】

成分の組とＤＦＡ状態ｑ(u) およびｑ(v) に対する上記式（１２）および（数５２）との交点は（数５３）に対しては空であるから、（ｋ − １）個のニューロンに障害があっても現在の状態は一義的に同定される。

【００９１】

【数５２】

【００９２】

【数５３】

構成された回路網は障害のありなしに拘わらずに同じ言語Ｌ（Ｍ）を受けいれることは明らかである。

【００９３】ここに要求された具体化はＲＮＮの上に述べた率値な具体化すなわち回路網すべてを（２ｋ ＋
１）回複製してニューロンにおける（ｋ − １）個の障害に耐えるようにすることとは異なる。 それらはｋ個の独立な回路網（システムすべての出力に、おのおのの回路網の特定レスポンス・ニューロンについての多数決票決を必要とすることを除いて）であった。 只今の場合は、ｋ個の独立な回路網はなく、ｋｎ個のニューロンの唯一の回路網を使うだけであるが、接続回路網は（２ｋ
＋ １）個の独立な回路網におけるものより密である。

【００９４】次に、「ｎ個からｋ個を選ぶ」符号化アルゴリズムは、現在のＤＦＡ状態の表示を、構成された回路網に（ｋ − １）個の障害ニューロンに耐えさせるには、少なくともｋ個の能動状態のニューロンに渡って分布させなければならないという前提に基づく。 図５および図６は、このような「ｎ個からｋ個を選ぶ」符号化アルゴリズムの好ましい例を示す。 ただし、図６は図５
のつづきであり、これら図において第２、３、および７
項は図３および図４におけるものと同じであるので、項の番号だけを記した。

【００９５】さて、（２進の）（ｋ，ｍ，ｎ）符号化（上記式１１）は、ｍ個の入力シンボルを持ち状態ｑ
(u) に対するおのおのの符号ｓ ^(u)が丁度ｋ個の成分（上記式（１２）、ただしｉは正）を持つＤＦＡ Ｍの実現可能な符号化（上記式（１１）である。

【００９６】状態がｎ（ＤＦＡ）個でｍ個の入力シンボルを持つＤＦＡ Ｍが与えられると、（ｋ，ｍ，ｎ）符号化（上記式（１１）は、符号ｓ ^(u)の長さｎ（ＲＮ
Ｎ）（または、単にｎ）を（数５４）であるように選び、しかも丁度ｋ個の成分ｓ(i) ^(u)がおのおのの符号ｓ ^(u)に対して値１を持つようにして構成される。

【００９７】

【数５４】

符号遷移（数５５）を考えよう。

【００９８】

【数５５】

ここに、ＤＦＡの符号化は、符号ｓ

^(v)のほうに直交するｍ個の符号ｓ

^(u(1)) ，ｓ

^(u(2)) ，…，およびｓ

^(u(m))

があるときにだけ実現できる。 構成により、符号ｓ

^(u(k))のどれも符号ｓ

^(v)と共通の成分は持たない。 符号ｓ

^(v)の丁度ｋ個の成分はどれも１つであるから、

（ｎ − ｋ）個の成分だけが残り、それら残りのうちでｍ個の符号ｓ

^(u(k))のおのおのに対する丁度ｋ個の成分のおのおのの値は１でなければならない。 ゆえに、

（数５６）であることが要求される。

【００９９】

【数５６】

この式（１３）から、（数５７）という条件が導かれるが、この式（１４）における等号は、ふたつの状態とひとつの入力シンボルとを持つＤＦＡについてだけ成りたつ。

【０１００】

【数５７】

明らかに、符号ｓ

^(u)についての選択は、どんなＤＦＡ

Ｍについても上記式（１１）の符号化を実現する必要条件を満たす。 重みｗ（ｉｊｋ）は、上記式（９）の遷移の具体化により上記式（１１）がＭと競うようにプログラムされなければならない。

【０１０１】ＤＦＡ状態のための「ｎ個からｋ個を選ぶ」符号には面白い属性が幾つかある。 例えば、上記式（１１）の符号化の容量（数５８）は、ｋ，ｍ、およびｎが与えられたとき上記式（１１）の符号化における符号の極大な数である。

【０１０２】

【数５８】

構成できるＤＦＡ Ｍの大きさｎ（ＤＦＡ）の上限は次のとおり表わせる。 すなわち、符号（数５９）による（ｋ，ｍ，ｎ）符号化つまり上記式（１１）は容量（数６０）を持つ。

【０１０３】

【数５９】

【０１０４】

【数６０】

この事柄は符号ｓ

^(u)の設計と等式（数６１）とから出てくる。

【０１０５】

【数６１】

ＤＦＡ Ｍについての上記式（１１）という符号化はＭ

の状態が持つものよりも大きい容量を持つ。 すなわち（数６２）である。

【０１０６】

【数６２】

ＤＦＡ Ｍは、上記式（１１）の符号化の容量を使い尽さないでもよい。 符号化がｎ（ＤＦＡ）個の状態の特定のＤＦＡについて構成されているときは、（数６３）であるような値ｎ（ＲＮＮ）およびｋを見いだすことが常にできる。

【０１０７】

【数６３】

すなわち、上記式（１１）という符号化を構成し、その符号化の容量が、この符号化が導かれるＤＦＡによっては使い尽されないようにすることが常にできる。

【０１０８】重みｗ（ｉｊｋ）を「ｎ個からｋ個を選ぶ」符号化にプログラムするに当っては、回路網の状態の変化の２進法による近似は上記式（５）であることを考えなければならない。

【０１０９】図７を参照すると、上方に６個の状態を持つ単純な鎖状のＤＦＡを示してある。 状態のアルファベットは単一のシンボルから成るが、このＤＦＡを「５個から２個を選ぶ」アルゴリズムにより重みの間の矛盾なしに具体化することはできない。 図７の下方は、このようなＤＦＡの状態を２進法による状態で符号化したものを示す。 この図においても白丸および黒丸はニューロンの状態が能動的であることおよびないことを示し、おのおのの行がＤＦＡ状態の符号化を示す。 おのおののＤＦ
Ａ状態の符号は、ふたつだけの能動的なニューロン状態（ただし、応答ニューロンｓ(0）は除く）を持つ。 初期状態の符号（数６４）から始まって、重みｗ（ｉｊｋ）
を、次の入力シンボルのときには符号ｓ ⁽²⁾ ，ｓ ⁽³⁾ ，
ｓ ⁽⁴⁾ ，ｓ ⁽⁵⁾ 、およびｓ ⁽⁶⁾になるようにプログラムする。

【０１１０】

【数６４】

これら重みが、符号ｓ

⁽¹⁾からｓ

⁽²⁾へ、およびｓ

⁽²⁾

からｓ

⁽³⁾への遷移に対してプログラムされているとする。 符号ｓ

⁽³⁾からｓ

⁽⁴⁾への遷移に対しては重みｗ

（３１１），Ｗ（５１１），ｗ（３４１）、およびｗ

（５４１）は１にセットされる。 これら重みと符号ｓ

⁽¹⁾からｓ

⁽²⁾への遷移に対してプログラムされる重みとをくらべると、符号ｓ

⁽¹⁾からｓ

⁽²⁾への遷移の重みｗ（５４１）を０にセットしないと、おのおのの符号が能動的ニューロンをふたつ含むという約束から外れてしまう。 同じように、符号ｓ

^(2）からｓ

⁽³⁾への遷移には重みｗ（４３１）を１にセットし、符号ｓ

⁽⁴⁾からｓ

^(5）には重みｗ（４３１）を０にセットする。 さらに、

重みｗ（４１１）、ｗ（５１１）、ｗ（１２１）、ｗ

（３２１）、ｗ（２３１）、ｗ（４３１）、ｗ（２４

１）、ｗ（３５１）、および（４５１）は、「５個から２個を選ぶ」符号化に矛盾を生じないように決める。 一般に次の事柄が成りたつ。 すなわち、Ｍが（数６５）である長さｒ′の連鎖を含むＤＦＡ Ｍについては「ｎ個からｋ個を選ぶ」符号化には重みの間の矛盾が次第の符号遷移（数６６）に常に起こる。

【０１１１】

【数６５】

【０１１２】

【数６６】

重みの負の矛盾を回路網の大きさを増さずに解決するには、ふたつのやり方がある。 すなわち、第２次の重みＷ

（ｉｊｋ）について矛盾が起こるならば、２進法のほうの重みｗ（ｉｊｋ）を０にセットするかまたは１にセットするかである。 しかし、重みの負の矛盾を解決するどちらのやり方の結果からも、ＤＦＡ状態の或るものについては符号が見分けできなくなることはある。

【０１１３】状態の数がｎ（ＤＦＡ）に任意のＤＦＡについては、状態ニューロンの数が（数６７）であるときは、「ｎ個かにｋ個を選ぶ」符号化が存在しない。

【０１１４】

【数６７】

すなわち、この式（１５）の状態の数ｎ（ＤＦＡ）のＤ

ＦＡ Ｍに「ｎ個からｋ個を選ぶ」符号化があるとしよう。 すると、少なくともふたつの状態ｑ

^(u)およびｑ

^(v)があって、それらの符号ｓ

^(u)およびｓ

^(v)が直交しないことすなわち（数６８）であることになってしまう。

【０１１５】

【数６８】

また、相異なるふたつの符号ｓ

^{(u + 1)}およびｓ

^{(v + 1)}があっておのおのは応答成分を除いては丁度ｋ

個の値が１の成分を持ち（数６９）および（数７０）であると考えよう。

【０１１６】

【数６９】

【０１１７】

【数７０】

成分（数７１）は、重みｗ（ｉ(1) ｊｋ），ｗ（ｉ(2)

ｊｋ），…，およびｗ（ｉ(k) ｊｋ）を含む重みによりプログラムされるが、これら重みは成分（数７２）にも値１を持たせてしまう。

【０１１８】

【数７１】

【０１１９】

【数７２】

このことはもしも符号ｓ

^{(u + 1)}とｓ

^{(v + 1)}とが同一の符号ではないならば、「ｎ個からｋ個を選ぶ」符号化という仮定に矛盾してしまう。 なぜならば、これらの重みからは符号ｓ

^{(v + 1)}に値が１の成分をｋ個よりも多く持たせてしまうからである。 符号ｓ

^{(u + 1)}のほうも値が１の成分をｋ個よりも多くもつ符号で終わることになってしまう。 したがって、状態の数が不等式（数７

３）の符号遷移には「ｎ個からｋ個を選ぶ」符号化を望みどおり遂行する重みは存在しない。

【０１２０】

【数７３】

図８に、障害のあるニューロンに耐える「ｎ個からｋ個を選ぶ」設計を図式的に（はっきりさせるため入力ニューロンを除いて）示す。 この設計は図２に示したものと同様である。 ただし、図２の設計においてはｋ個の回路網が独立に働らくが、図７の設計では回路網の間の接続が密である。 おのおののＤＦＡ状態にはｋ個の状態ニューロンを割りあててあり、Ｓ（ｉｋ）＝１であるようにし、２進法による状態符号化が対ごとに直交するようにしてある。

【０１２１】状態の数ｎ（ＤＦＡ）のＤＦＡ Ｍの「ｎ
個からｋ個を選ぶ」符号化が（ｋ− １）個の障害ニューロンに耐えるには不等式（数７４）が成りたたなければならない。

【０１２２】

【数７４】

まとめると、「ウエート」および「ニューロン・スタック・アット・ゼロ」に耐るようにするには色々なやり方があって色々な耐障害性が得られる。 どの耐障害にする設計も内部ＤＦＡ状態の表示および遷移に使う資源を分散させることに基づいているから、ＤＦＡの２進法符号化に基づく具体化を、どんな条件のもとで２進法符号化によりＤＦＡを実現できるかについて述べ明示した。

「ニューロン・スタック・アット・ゼロ」に耐えることは、回路網すべてを複製せずには、できない。 耐障害性を持たせながら回路網の大きさを小さくする試みは、

「ｎ個からｋ個を選ぶ」符号化アルゴリズムより、ｎ個からｋ個を選んだ回帰状態ニューロンにＤＦＡ状態を表わさせることに基づく。 回路網の設計とそれらによる耐障害性とを表１にまとめて示す。

【０１２３】

【表１】

この表は、色々な設計が耐える障害ニューロンおよび障害重みの数を示す。 設計Ｄ１はＤＦＡ符号化の源アルゴリズム、Ｄ２は複製された重みづけの回路網、Ｄ３は複製された回路網、そしてＤ４は対ごとに直交する「ｎ個からｋ個を選ぶ」符号化である。 設計Ｄ２によれば、ニューロンひとつあたり（ｎ − １）個の障害に耐え、

障害重みづけの数はすべてでＯ（ｋｍｎ）となる。 設計Ｄ４は少なくとも（ｋ − １）個の障害ニューロンと（ｋ

² − １）個の障害重みづけとに耐える。 現在のＤＦＡ状態を一義的に同定するニューロンのうち（ｋ

−１）を超えない数のものだけに障害がある、すなわち同定するニューロンｋ個のうちのひとつがＤＦＡ状態のすべてに対して高出力を持つならば、この回路網は合計（ｋ − １）（ｎ ＋ １）個の障害ニューロンに耐える。 障害重みづけにも同じことが当てはまる。

【０１２４】この発明について、第２次重みづき回帰形ニューラル回路網において有限状態オートマトンを耐障害性であるように具体化することについて図面を使って述べてきたが、いろはろな変形ができることは当業者には明らかである。

【０１２５】

【発明の効果】この発明によれば、第２次重みづき回帰形ニューラル回路網において、構成するニューロンや重みづけにいろいろな程度までの耐障害のある有限状態オートマトンを実現できるという効果がある。

【図面の簡単な説明】

【図１】障害重みづけに耐える好ましい設計の概念図。

【図２】障害重みづけに耐える回路網の別な設計の概念図。

【図３】第２次重みづき回帰形ニューラル回路網における任意の決定性有限状態オートマトン（ＤＦＡ）の符号化アルゴリズムの初めの部分を示す。

【図４】図３に初めの部分を示したアルゴリズムの終りの部分を示す。

【図５】図３および図４に示したアルゴリズムのうち「ｎ個からｋ個を選ぶ」符号化アルゴリズムの初めの部分を示す。

【図６】図５に初めの部分を示したアルゴリズムの終りの部分を示す。

【図７】上方に一連のＤＦＡを図式的に示し下方に図３
および図４に示したＤＦＡの符号化における状態の一例をグラフ的に示す。

【図８】障害ニューロンに耐える「ｎ個からｋ個を選ぶ」設計を図式的に示す。

【符号の説明】

白丸および黒丸はニューロンの状態が能動的であることおよびないことをそれぞれ示す。 Ｓはニューロンの状態で、添字によりニューロンの区別を示す。 ｉは入力ニューロンを示し引数によりシンボルの区別を、肩つきにより時刻を示す。 小文字のｓはニューロンの状態を２進法でのものを示す。 １１は重みづけ強さ値Ｈの複数個の複製（コピー）を示す。