权利要求

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ファジィ有限状態オートマトンの、現在の状態が現在の入力と直前の状態に依存する動的プロセスをモデル化することのできるファジィ有限状態オートマトン（ＦＦＡｓ）に関する。 特に、本発明は、ファジィ有限状態オートマトンを符号化するとともに任意の精度をもって与えられたファジィレギュラー言語を認識する増再帰ニューラルネットワークに関する。

【０００２】

【従来の技術ならびに発明が解決しようとする課題】昨今、複合人工ニューラルネットワークやファジィシステムへの関心が高まっている。 ファジィ論理は、近似推論に数学的な基礎を与えるものである。 ファジィ論理制御装置は、可変翼をもった飛行機のロールや動きの制御、
温水プラントの制御、交通制御といった多様な分野において非常に有用であると証明されている。 ファジィシステムに適したパラメータは、その初期値の選択を容易にするような明確な物理的意味を持っている。 その上、規則に基礎付けられた情報もシステマチックにファジィシステムに統合することができる。

【０００３】人工ニューラルネットワークは単純な動作を実行するニューロンの協動と幾つかの例からの学習能力とに基づく生体機能（生体システム）にみられる情報処理メカニズムを小さいスケールでエミュレートするものである。 人工ニューラルネットワークは、パターン認識、制御、予報などのような仕事のための正確さにおいて貴重な計算ツールとなっている。

【０００４】ファジィシステムと多階層パーセプトロンとは、計量学的には等価である。 即ち、それらは共に、
一般的近似法だということである。 再帰ニューラルネットワークは、それが、“チューリングの同一性”が異論の多い問題を残しているかどうかという点で、チューリングマシーンと計量的同一性を有することが示されている。 ファジィシステムとニューラルネットワークとの基礎的方法論は全く異なるものである一方、それらの機能的形式は似通ったものである。 精力的なニューラルネットワークの学習アルゴリズムの開発は、学習機構（例えば、ニューラルネットワークの学習アルゴリズムと同様のファジィ論理システムのためのバックプロパゲーション学習アルゴリズム）を持つファジィシステムの分野においても有益である。

【０００５】いくつかの場合、ニューラルネットワークは、P. Goode et al entitled A hybrid fuzzy/neural
systems used to extract heuristic knowledge from
a fault detection problem"(Proc. Of the third IEEE
Conference on Fuzzy Systems, vol. III,pp.1731-173
6,1994" とC. Perneel et al entitled Fuzzy Reasoni
ng and Neural Networks for Decision Making Problem
s in Uncertain Environments" in Proc. Of the Third
IEEE Conference of Fuzzy Systems, vol. II, pp. 11
11-1125,1994. に記されるファジィ論理の原理上に構築される。 ファジィ論理を補間するニューラルネットワークの表現は、補強学習の状況にも用いられる。

【０００６】現在の入力と直前の状態に依存する再帰状態の主な問題は、有限状態オートマトンまたはそれらに同等の文法としてモデル化される。 次の段階では、再帰的ニューラルネットワーク決定する。 次の段階では、再帰的ニューラルネットワークもまたファジィ有限状態オートマトン（以降ＦＦＡｓ）を示すこと、ファジィ正規文法の認識に用いられるかどうかということを確定する。

【０００７】ファジィ文法は、Ｘ線解析、デジタル回路設計、および知的コンピュータインターフェースの設計などのような多様な分野で、その有用性が認められている。 ＦＦＡｓの基本理論は、B. Gaines 著 The Logic
of Automata" in Int l Journal of General Systems,
vol.2, pp. 191-208, 1976, E. Santos 著 "MaximumAu
tomata" in Information and Control, vol.13, pp. 36
3-377, 1968 , W. Wee 著 "A Formulation of Fuzzy A
utomata and its as a Model of Learning Systems," i
n IEEE Transactions on System Science and Cybernet
ics, vol.5, pp. 215-223, 1969上などで機器との統合のためのシステマティックな方法論抜きで議論されてきた。 また、ニューラルネットワークのファジィオートマトンへの適用は、J. Grantner 著 Synthesis and Ana
lysis of Fuzzy Logic Finite State Machine Models,"
in Proc. Of Third IEEE Conference on Fuzzy System
s,vol. I, pp. 205-210, 1994, や、J. Grantner 著
VLSI Implementations ofFuzzy Logic Finite State Ma
chine," in roc. Of the Fifth IFSA Congress,pp. 781
-784, 1993, S. Lee 著 Fuzzy Neural Networks," in
Mathematical Biosciences, vol. 23 pp. 151-177, 19
95, F. Unal著 A Fuzzy Finete StateMachine Implem
entation Based on a Neural Fuzzy System," in Proc.
Of theThird Int l Conf. On Fuzzy Systems, vol.3 p
p. 1749-1754, 1994 などで提案されている。 Ｇｒａｎ
ｔｎｅｒ等が前記論文に提案した統合の方法論は、その状態と出力のファジィ表現を実施するために、デジタル設計技術を用いている。 Ｕｎａｌ等による前記の論文では、ファジィ入力と状態を持つムーアマシンの適用（実施）は、バックプロパゲーションアルゴリズムを用いた状態遷移テーブル上の明示的フィードフォワード・ネットワークの学習によって実現されている。 入力と状態のファジィ化は、アンチロックブレーキシステムのようなマイクロ制御装置にオートマトンを適用する際に必要とされるメモリーサイズを削減することができる。 関連するものとして、加重一般言語に確率的ノードを持つニューラルネットワーク適用のためのアルゴリズムは、T. L
udermir 著 Logical Networks Capable of Computing
Weighted Regular Languages," in Proc. of the Intl
Joint Conf. on Neural Networks 1991, vol. II, pp.
1687-1692m 1991 で議論されてきた。 同期ファジィ連続回路の一般的統合方法については、 T. Watanabe 著
Synthesis of Synchronous Fuzzy Sequential Circu
its," in Proc. of the Third IFSA World Congress, p
p. 288-291, 1989. で議論されてきた。 グレイレベルのイメージ処理などに応用される多階層閾値ニューロンを有する離散時間（非連続時点）ニューラルネットワークのクラスのための統合方法については、J. Siet 著 A
nalysis and Synthesis of a Class of Discrete-Time
Neural networks with Multilevel Threshold Neuron
s," in IEEE Trans. On NeuralNetworks, vol. 6 no. 1
p.105,1995. で提案されている。

【０００８】

【課題を解決するための手段】本発明は、連続判別関数を持つ再帰ニューラルネットワークにおいてファジィ有限状態オートマトンの表現に関する。 ファジィ有限状態オートマトンは、再帰ネットワークにおいて符号化され、任意の精度を持ってステリング（文字列）メンバーシップ関数を計算する。 ファジィ有限状態オートマトンを同等の決定的有限オートマトン（ＤＦＡ）に変換しファジィステリングメンバーシップを計算するするアルゴリズムが使われる。 ファジィＦＦＡ状態は、クリスプな（歯切れのよい）ＤＦＡへ変換される。 ０＜μ _ｉ ≦１であるメンバーシップラベルμ _ｉは各受け付けＤＦＡ状態と関係する。 非受け付けＤＦＡ状態はラベルμ _ｉ ＝０を有する。 ステリング（文字）のメンバーシップは、最後に訪れたＤＦＡ状態のメンバーシップラベルに等しい。

【０００９】ファジィシステムのパラメータは、明確に物理的意味を持ち、規則に基礎付けられ言語学的な情報は、システマティックな方法において適用性のあるファジィシステムに組み入れられる。 また、多様なニューラルネットワークモデルを学習のための強力なアルゴリズムも存在する。 しかし、多くの提案されてきたファジィシステムとニューラルネットワークアーキテクチュアとのほとんどは、静的な入出力を制御することを可能にするだけのものである。 例えば、それらは、任意の長さの一時的入力列を処理することはできない。 ファジィ有限状態オートマトン（ＦＦＡ）は、その現在の状態が現在の入力と直前の状態に依存する動的プロセスをモデル化することができる。 決定的有限状態オートマトン（ＤＦ
Ａｓ）と違って、ＦＦＡｓはある固有の状態ではなく、
というよりも各々の状態がメンバーシップ関数によって規定されるいくつかの度合いに占められる。 本発明は、
ＦＦＡを符号化し、与えられた任意の精度をもってファジィ正規言語を認識する増再帰ニューラルネットワークを構築するアルゴリズムに関する。 つまり、ファジィシステムはニューラルネットワークと組み合わされ、結果としてのファジィニューラルシステムは両パラダイムの有利性を示す。

【００１０】再帰状態ニューロンと線形出力ニューロンを結合することによって、再帰ネットワークは、ＤＦＡ
符号化に用いられるオリジナルアーキテクチャで構築される。 それらの結合の重みづけは、ＤＦＡ状態のメンバーシップラベルの値にセットされる。 そのストリングメンバーシップ関数における計算の精度は、ネットワークサイズ、メンバーシップラベルμ _ｉ ＞０であるＤＦＡ状態の数、ならびにその再帰ネットワークにおいて有限状態力学を符号化する際に用いられる重み強さＨに依存する。 Ｈを大きくとることで、そのネットワークは、より正確にメンバーシップ関数を計算することができる。

【００１１】それ故、本発明の主な目的は、ファジィシステムをニューラルネットワークに組み合わせる規定（設備）を提供することにある。

【００１２】また、本発明の別の目的は、ＦＦＡｓへ適用するためのＤＦＡｓを表現することのできるニューラルネットワークを修正することにある。

【００１３】さらに、本発明の目的は、ＦＦＡｓを再帰ネットワークに符号化して構築されたネットワークが任意の精度をもって任意の長さのストリング（文字列）を生成するメンバーシップを割り当てることにある。

【００１４】加えて、本発明の目的は、以降の記述を添付の図と関連づけて読むことで、よりはっきり明らかになるであろう。

【００１５】

【発明の実施の形態】まず、図面、特に、図１を参照して、典型的な知的（インテリジェント）制御に用いられるファジィニューラルネットワークが示されている。 特に、このようなネットワークは、下記の数７式によって示される言語的規則によって初期化される。

【００１６】

【数７】

ここで、Ａ

₁ 、Ａ

₃ 、およびＣ

₁はファジィ集合（セット）であり、ｘ

₁ 、ｘ

₃ 、およびｙ

₁はそれぞれ、言語的入力および出力である。

【００１７】このネットワークは、実数の入力変数（例えば、言語学的変数）を備える入力階層、入力値ｘ _ｉをファジィ集合Ａ _ｉへマッピングするファジィ化階層、規則（例えば、差動ソフトミン（ｓｏｆｔｍｉｎ）動作）
において全ての先行する状態（条件）の結合を計算する書き換え階層、与えられた規則に対して出力を計算する非ファジィ化階層、及びルールベース（規則ベース：例えば、重み付き合計）において全てのファジィ制御規則から推奨値を組み合わせる出力階層を有する。 このように、ファジィニューラルネットワークは、ファジィロジックの書き換え機能を有する。 ファジィ推論という用語は、ファジィニューラルネットワークの機能を記述するために用いられることがある。 ファジィロジック書き換えという用語は、ファジィニューラルネットワークの機能とファジィロジック推論とを区別するために用いられる。 このファジィロジック推論では、その目的が推論スキームＡ ₁ ，Ａ ₂ ，…→Ｂ ₁ ，Ｂ ₂ ，…の助けをもってファジィ集合Ａ ₁ ，Ａ ₂ ，…の特徴からファジィ集合Ｂ
₁ ，Ｂ ₂ ，…の特徴を得るためであり、推論スキームは１セットの規則によって支配される。 この規則は、多階層パーセプトロンのための標準学習アルゴリズムを用いており、そして、細かく調整される。

【００１８】言語学的規則の変数が再帰的になるような応用もある。 例えば、以下の数８式に示す規則がある。

【００１９】

【数８】

ここで、ｕ（ｔ−１）およびｘ（ｔ−１）はそれぞれ、

および入力変数および状態変数を表す。 状態変数ｘ

（ｔ）の値は、入力ｕ（ｔ−１）と直前の状態ｘ（ｔ−

１）とに依存する。 フィードフォワード型のニューラルネットワークは、再帰の深さが予め知られていない際、

再帰的規則を表すための計算能力を備えていない。 再帰ニューラルネットワークは、無限期間に亘って情報を格納するための能力を備えており、これによって、再帰的言語学上の規則を表すため潜在的に有効である。

【００２０】規則的な言語は、チョムスカイ（Ｃｈｏｍ
ｓｋｙ）ハイアラーキーにおいて正規言語の最小クラスを表す。 規則的な言語は、規則的な文法から生成される。

【００２１】規則的な文法Ｇは、４成分から成る文法（クワドループ）Ｇ＝＜Ｓ，Ｎ，Ｔ，Ｐ＞として定義される、ここで、Ｓは開始符号、ＮおよびＴは非終端符号および終端符号、Ｐは形式Ａ→ａまたはＡ→ａＢの生成物であって、Ａ，Ｂ∈Ｎかつａ∈Ｔである。

【００２２】Ｇによって生成される規則的な言語は、Ｌ
（Ｇ）と表される。

【００２３】一つの決定的有限状態オートマトン（ＤＦ
Ａ） Ｍが各規則的な言語Ｌが関係しており、決定的有限状態オートマトン（ＤＦＡ） Ｍは言語Ｌ（Ｇ）、例えば、Ｌ（Ｇ）＝Ｌ（Ｍ）のためのアクセプターである。 ＤＦＡ Ｍは、規則的な言語Ｌ（Ｇ）のメンバーである文字列（ステリング）のみを受け付ける。

【００２４】ＤＦＡ Ｍは、５成分から成るものＭ＝＜
Σ，Ｑ，Ｒ，Ｆ，δ＞として定義される。 ここで、集合Σ＝｛ａ１，…，ａｍ｝は言語Ｌのアルファベット、Ｑ
＝｛ｑ１，…，ｑｎ｝は状態の集合、Ｒ∈Ｑは初期状態、Ｆ⊆Ｑは受容（受け付け）集合、ならびにδ：Ｑ×
Σ→ＱはＭにおける状態遷移を定義するものである。

【００２５】ストリングｘがＭによって読み込まれた後、受容状態が到達すると、ストリングｘは、ＤＦＭ
Ｍに受け付けられ、それ故、規則的な言語Ｌ（Ｍ）のメンバーである。 または、ＤＦＡ Ｍは、規則的な言語Ｌ
（Ｍ）を生成する生成器であると考えることもできる。

【００２６】種々の方法が再帰的ニューラルネットワークにおいてＤＦＡｓを用いるため提案されてきた。 我々の好ましい方法は、以下の数９式に示す方程式に応じてそれらの現在の状態を更新する積算判別関数を備える離散時間、第２次の再帰的ニューラルネットワークにおいてＤＦＡｓを用いることにある。

【００２７】

【数９】

ここで、ｂ

_ｉは隠れ再帰的状態ニューロンＳ

_ｉに関係するバイアスであり、Ｉ

_ｋは符号ａ

_ｋに対する入力ニューロンを示す。 数１０式で示す結果は、状態遷移δ

（ｑ

_ｊ ，ａ

_ｋ ）＝ａ

_ｋに直接的に対応する。 第２次の重みを備える再帰的ニューラルネットワークにおいて用いられるＤＦＡは、米国特許出願番号０８／４００，７３

２号に記述されており、これは引用例によってここに組み入れられている。

【００２８】

【数１０】

ＤＦＡｓは、積算判別関数を備える離散時間、第２次の再帰的ニューラルネットワークで符号化でき、これによって、構築されたネットワークが同一の規則的な言語を受け付ける。 望ましい有限状態力学は、ほぼ直交的な内部ＤＦＡ状態表記に導く値（＋Ｈと−Ｈ）に全ての有効な重みの小さな部分集合をプログラムすることによってネットワーク中へ符号化される。 同様に、正確なストリング分類のため、ネットワーク出力ューロンＳ

₀の重みは、＋Ｈまたは−Ｈにプログラムされる。 このことは、

ネットワーク力学を支配する以下の数１１式に導かれる。

【００２９】

【数１１】

ここで、ｘはニューロンＳ

_ｉへの入力である。

【００３０】構築されたネットワークの上記積算ニューロン中には、ただ２種類の信号のみが存在する。 再帰状態ニューロンが現在のＤＦＡ状態に対応するときにのみ、再帰状態ニューロンは高い出力信号を持ち、その他の全ての再帰ニューロンは低い出力信号を持つ。 低出力信号および高出力信号の度合いにはそれぞれ上限及び下限境界が存在する。

【００３１】ｎの再帰状態ニューロンを備える構築されたニューラルネットワークにおいて、低出力信号は、関数の固定点（数１２式）によって上方から制限される。
この関数は数１３式で示される。

【００３２】

【数１２】

【００３３】

【数１３】

同様に、高出力信号も定量化することができる。

【００３４】任意の数の再帰状態ニューロンを備えるニューラルネットワークにおいて高出力信号は、関数の固定点（数１４式）によって下方から制限される。 この関数は数１５式で示される。

【００３５】

【数１４】

【００３６】

【数１５】

ＤＦＡとそのＤＦＡと等価なニューラルネットワークの使用によって規則的な言語を認識するためには、そのネットワークの内部ＤＦＡ表現が、ストリングや任意の長さに対して十分な安定性を残していなければならない。

０．５より大きい高出力信号を持ちかつ残り全ての再帰ニューロンが０．５より小さい低出力信号を持つ一つの再帰ニューロンが厳密に存在すると、第２次の再帰的ニューラルネットワークにおいてＤＦＡの符号化は安定しているとされる。

【００３７】出力ニューロンＳ ₀は、再帰的でないので、上記の定義に含まれず、このため、ＤＦＡ符号化の安定性に影響がないことがわかる。

【００３８】高出力信号及び低出力信号それぞれの場合において、ニューロンの入力がある閾値を越える又はある閾値未満となることがなければ、そのネットワークの内部的ＤＦＡの表現は安定性している。 それらの二つの状態は、関数ｇΔ−およびｇΔ＋の固定点（数１６式および数１７式）上で定量的な境界に導く。

【００３９】

【数１６】

【００４０】

【数１７】

内部的有限状態力学の安定性という主張は、次の定義を用いる。 定義：Ｄ

_ikが入力符号ａ

_kに対して状態ｑ

_iへ遷移させる状態ｑ

_jの数を表すとする。 さらに、Ｄ

_i ＝

ｍａｘ｛Ｄ

_ik ｝（全ての入力符号に亘るｑ

_iへの遷移の最大数）ならびにＤ＝ｍａｘ｛Ｄ

_i ｝（全ての入力符号に亘るすべて状態への遷移の最大数）を定義する。 それから、ρ＝Ｄ／ｎはδ（｛ｑ

_j ｝，ａ

_k ）＝ｑ

_iとなるための全ての状態ｑ

_jの最大比を表す。

【００４１】定理１：ｎ個の状態とｍの入力符号を有するいくつかのＤＦＡ Ｍに対して、ＤはＭの全ての入力符号に亘るすべての状態への遷移の最大数を表し、かつρ＝Ｄ／ｎであるとする。 すると、Ｎ＋１の積算状態ニューロンとｍの入力ニューロンとを有する再帰ニューラルネットワークは、Ｍから構築され、その結果、内部状態の表現は安定性している。 例えば、ｑ _iが現在のＤＦ
Ａ状態であるときはＳ _i ＞０．５であり、一方、Ｈの適当な選択に対して数１８式で示す状態であると、Ｓ _i ＜
０．５となる。

【００４２】

【数１８】

上記の条件は、与えられたサイズのネットワークに対して安定的な有限状態力学を保証するＨの大きさに絶対的に下限の境界を与える。 このように、それらは、最悪のケースを表し、例えば、与えられたニューラルネットワークの使用における有限状態力学は、大変大きなネットワークにおいてでさえ、Ｈのより小さい値に対して安定性するだろう。

【００４３】決定的有限状態オートマトンとファジィ有限状態オートマトンとは、状態遷移によって表現された共通の基礎構成を共有しているので、ファジイ有限状態オートマトンを用いるためのＤＦＡｓに対してネットワーク力学の安定性によるの結果を用いることができる。

【００４４】まず、再帰的ニューラルネットワークのために開発された統合方法をファジィオートマトンのクラスに対して定義することから始めよう。

【００４５】数１９式に示すファジィ規則的言語は、数２０式に示す４成分から成るものとして定義される。

【００４６】

【数１９】

【００４７】

【数２０】

ここで、Ｓは開始符号、ＮおよびＴは、それぞれ非終端符号および終端符号、Ｐは数２１式または数２２式で示す形式の結果である。

【００４８】

【数２１】

【００４９】

【数２２】

ここで、Ａ，Ｂ∈Ｎ、ａ∈Ｔ、および０≦θ≦１である。

【００５０】ストリングがある規則的言語に属するか又は属さないかのＤＦＡｓの場合と異なり、ファジィ言語のストリングは階層メンバーシップを有している。

【００５１】数２３式に示す規則的なファジィ文法を与えられると、数２４式で示す規則的な言語においてストリングｘ∈Ｔのメンバーシップ階層μ _G （ｘ）は、ｘの全ての派生物の最大値として定義される。

【００５２】

【数２３】

【００５３】

【数２４】

ここで、ｘの特別な派生物の値は、数２５式を用いた結果の最小の重みに等しい。

【００５４】

【数２５】

これは、最大および最小演算子がそれぞれ積および合計演算子に置き換えられる確率的規則的な言語の定義に同様である。 ファジィ規則的な言語および確率的規則的な言語は共に、重みづけられた規則的な言語の例である。

【００５５】数２６式で示すファジィ有限状態オートマトン（ＦＦＡ）は、数２７式で示す６成分から成るものとして定義される。

【００５６】

【数２６】

【００５７】

【数２７】

ここでは、Σ、Ｑ、およびｑ

₀はＤＦＡｓの場合と同様であり、Ｚは有限出力のアルファベット、数２８式で示す記号はファジィ初期状態、δ：Σ×Ｑ×［０，１］→

Ｑはファジィ遷移マップ、ならびにω：Ｑ→Ｚは出力マップである。

【００５８】

【数２８】

本発明では、初期状態がファジィではなくかつωがＦからＺへの関数である制限タイプのオートマトンについて考えた。 ここで、Ｆは最終状態と呼ばれる非ファジィ部分集合である。 数２９式に示す（ＦＦＡ）の定義において述べたようなどのようなファジィオートマトンも、制限ファジィオートマトンに同等である。 ＦＦＡが遷移重みを１に制限することによって従来のＤＦＡに縮小することに気付く。

【００５９】

【数２９】

ＤＦＡｓや規則的な文法の場合のように、ＦＦＡｓとファジィ規則的な文法との間に対応が存在する。

【００６０】定理２：数３０式に示すファジィ文法に対して、数３２式のようなファジィオートマトン（数３２
式）が存在する。

【００６１】

【数３０】

【００６２】

【数３１】

【００６３】

【数３２】

この結論は、ＦＦＡｓのニューラルネットワーク使用（実行）に対して連続（積算および線形）判別関数でのみ使用できる。 以下の結果は、連続判別関数を有する再帰的ニューラルネットワークにおいてＦＦＡｓの符号化を大いに単純化する。

【００６４】定理３：数３３式で示すファジィ規則的な文法が与えられ、数３４式で示す言語のメンバーシップ関数μ：Σ ^* →［０，１］を計算する出力アルファベットＺ⊆｛θ：θは、積算重み｝∪｛０｝を有する決定的有限状態オートマトン Ｍが存在するとする。

【００６５】

【数３３】

【００６６】

【数３４】

この定理の中間結果は次のような結果である。 数３５式に示す規則的なファジィ文法が与えられると、結果（積算結果）が数３６式または数３７式に示す形式を有する等価的な明白な文法Ｇが存在する。

【００６７】

【数３５】

【００６８】

【数３６】

【００６９】

【数３７】

例えば、非終端符号Ｎ＝｛Ａ，Ｂ｝、終端符号Ｔ＝

｛０，１｝、ならびに数３８式に示す生成規則を有するファジィ規則的な文法を考えてみる。

【００７０】

【数３８】

上記文法によって生成されるストリング受け付けるＦＦ

Ａは、図２（ａ）に示されている。 生成規則に対応する遷移だけが示され、絶対的に、他の全ての遷移は拒絶廃棄の状態に達する。 同一のストリングメンバーシップを計算するＦＦＡの決定的アクセプターは、図２（ｂ）に示されている。 図２（ａ）において、重み付き状態遷移を有するファジィ有限状態オートマトンが示されている。 状態１は、オートマトンの開始状態で、受け付け状態が２重の円で描かれている。 受け付け状態に達することができるパスだけが示されている（廃棄状態への遷移は、全く描かれていない）。 図２（ｂ）では、メンバーシップ関数ストリングを計算する対応する決定的有限状態オートマトンが示されている。 受け付け状態は、メンバーシップの階級でラベル付けされている。 留意すべきことは、ＤＦＡにおいて全ての遷移が重み付け１を有していることである。

【００７１】プログラムされたネットワーク力学の安定性に関する定理１の結果は、その状態がクリスプ（ｃｒ
ｉｓｐ）、例えば、オートマトンの現在の状態が０または１であるような状態を持つ階層である有限状態オートマトンに当てはまる。 一方、ＦＦＡｓは、曖昧さの異なる度合い（階級）を備えて、どのような与えられた時刻においても幾つかの状態となる。 そして、曖昧さは［０，１］間の実数によって特定される。

【００７２】定理３は、どのようなＦＦＡも同一のメンバーシップ関数μ：Σ ^* →［０，１］を計算する決定的オートマトンにできる。 連続判別関数を有するμの計算をどのように使用（実行）するかを論証することが必要である。

【００７３】その目的のために、ＤＦＡｓを符号化するために用いられるネットワークアーキテクチャは、再帰状態ニューロンを線形出力ニューロンに結合する付加重みで増大される。 図３に示す再帰ニューロンは、望ましい有限状態力学、例えば、クリスプ（ｃｒｓｉｐ）状態間の遷移、を実行する。 任意の長さのストリングに対して有限状態力学を安定にすることは上述した。 再帰状態ニューロンを線形出力ニューロンに結合する重みは、Ｆ
ＦＡを同等のＤＦＡへの変換後ＤＦＡ状態に割り当てられたメンバーシップである。 第２次の再帰ニューラルネットワークにおいてＦＦＡｓを符号化するためのアルゴリズムが図４に示されている。

【００７４】ファジィオートマトンを実行するためのネットワークアーキテクチャが図３に示されている。 与えられたＦＦＡが等価な決定的アクセプターに変換されているとすると、入力は、入力ニューロン１２を通ってネットワーク１０に供給される。 オートマトンアルファベットの符号とネットワーク入力ニューロンとの間の１対１マッピングがある（“単一の最新の”符号化) 。 ストリングは、時間ステップあたりの一符号をネットワークに与えられる。 各再帰状態ニューロン１４の出力は、数１を用いるネットワークの現在の状態を計算するために積算判別関数１６を通過するそれら全ての入力の重み付き合計から計算される。 次の時間ステップに対して、状態ニューロン１４の現在の出力は、時間遅延Ｚ ^-1 １８を通してフィードバックされる。 この再帰的構造は、ＦＦ
Ａの有限状態力学を符号化する。 μ _j ＞０を有するＦＦ
Ａ状態ｑ _jに対応するＳ _jによって表された全ての再帰状態ニューロン１４は、０＜μ _j ≦１として表されるファジィメンバーシップ重み２２を通して線形ネットワーク出力ニューロン２０に結合される。 ネットワーク出力２０は、合計が全ての再帰状態ニューロン１４に亘って取られるところの数３９式を用いてその出力を計算する。

【００７５】

【数３９】

この構造は、ネットワーク出力ニューロン２０によって合計される前のファジィメンバーシップウェイトに従属するストリングメンバーシップを計算する。 ネットワーク出力ニューロンの出力は、ファジィ有限状態オートマトンの出力である。 第２次再帰ニューラルネットワークにおいて、ＦＦＡｓを符号化するアルゴリズムは図４に示されている。

【００７６】低出力信号および高出力信号上の上限および下限境界は、それぞれ上述した数１３及び数１４に関連して上述した。 μ _iがＤＦＡ状態ｑ _iに割り当てられた階層（階級）メンバーシップを表すとしよう。 最悪の場合、このネットワークは、与えられたストリングに対して、数４０式で示すファジィメンバーシップ関数を計算する。

【００７７】

【数４０】

ここで、ｎ

_accはμ

_i ＞０を有するＤＦＡ状態の数である。

【００７８】Ｈの値を増加させるために数４１式および数４２式がそれぞれ０および１に向かって収束するので、μ _RNNはμ _iに向かって収束する。 ｜μ _RNN −μ _i
｜がＨを増加させることによって任意に小さくできることに気付く。

【００７９】

【数４１】

【００８０】

【数４２】

シミュレーションにおいて、決定的アクセプターは次のように１００の状態を有するアルファベット｛０，１｝

に亘ってファジィ規則的な言語に対してランダムに生成される。 各ＤＦＡ状態に対して、遷移が２つの入力符号の各々に対して他の状態にランダムに発生された。 各受け付けＤＦＡ状態ｑ

_iはメンバーシップ０＜μ

_i ＜１を割り当てられた。 全ての非受容状態ｑ

_jに対して、μ

_j

＝０をセットする。 これらアクセプターは、１００の再起状態ニューロン、２つの入力ニューロン（２つの入力符号０および１の各々に対して一つ）、および１つの線形出力ニューロンを有する再起的ネットワークに符号化された。 これらの動作は、そのメンバーシップが決定的アクセプターから決定される長さ１００のランダムに発生された１００のストリングに基づいて測定される。 図５のグラフは、全ての状態の１％、５％、２０％、３０

％、５０％、および１００％がラベル０＜μ

_i ＜１を有するＤＦＡｓに対して有限状態力学を符号化するために用いられる重み強さＨの関数としてネットワーク出力の平均絶対誤差を示している。 当業者には、高強度Ｈの増加に伴い、誤差が指数的に減少していることがわかる。

つまり、平均出力誤差を任意に小さくできることは、当業者には明らかであろう。 ６つのＤＦＡｓ全ての力学が任意の長さストリングに対して安定しているＨの値は、

ほぼ数４３式で示される。

【００８１】

【数４３】

本発明では、連続再起ニューラルネットワークにおいてファジィ有限状態オートマトンの決定論的符号化の好ましい方法について説明したが、請求項の範囲によって限定されている本発明の精神および広い原則から逸脱することなく変更および修正が可能であることは、当業者には明らかであろう。

【図面の簡単な説明】

【図１】ファジィニューラルネットワークを示す概略図である。

【図２】その（ａ）および（ｂ）は、対応するＤＦＡへのＦＦＡの変換を示す図である。

【図３】ファジィ有限状態オートマトンのための再帰ネットワークアーキテクチァの概略図である。

【図４】秒オーダ再起ニューラルネットワークにおいて任意のＦＦＡｓを符号化するためのアルゴリズムである。

【図５】ネットワークの実行を示すグラフである。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成８年９月２７日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００６０

【補正方法】変更

【補正内容】

【００６０】定理２：数３０式に示すファジィ文法に対して、数３１式のようなファジィオートマトン（数３２
式）が存在する。

フロントページの続き (72)発明者 カーベル ソーンバー アメリカ合衆国，ニュージャージー 07922，ベーカリーハイツ，マーシャー プレイス 23