【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワークに関し、さらに詳細には、フィードフォワードネットワークとして知られるニューラルネットワークのクラスに関する。

【０００２】

【従来の技術】ニューラルネットワークは、一連のニューロン状処理要素（ＰＥ）の相互接続から構成される。
ＰＥ間の接続の強さは重みにより表される。 各ＰＥは状態として知られる値を格納する。 状態は、入力データにより特定されるか、あるいは、ＰＥの変換機能を用いて、ＰＥの入力と重みから計算される。 典型的には、変換機能がＰＥのネット入力、すなわちその入力の重み合計に付与されている。 総合的には、状態は短期間の情報を表すために用いられる。 長期間情報、すなわち学習は重みにより表される。 ニューラルネットワークはそれらの重みを修正することにより事例から学習を行う。 学習又は訓練が完了すると、これらのネットワークは各種の計算機用タスクを実行可能になる。

【０００３】ニューラルネットワークの大部分の使用は、フィードフォワードネットワークに向けられている。 これらのネットワークは、入力ノードのレイヤ、出力ノードのレイヤ、及び任意選択により、それらの間のいくつかの隠しレイヤから成るアーキテクチャを備えている。 入力データは、入力レイヤの状態を用いて表される。 このデータに対するネットワークの応答は、出力レイヤの状態により表される。 これらのネットワークのフィードフォワードの特質は、対話の間に、計算が入力レイヤから各隠しレイヤを通して出力レイヤに流れるという事実に起因している。 このアーキテクチャにより、ネットワークは、入力状態を、入力に対する正確な応答に近似する出力状態にマップすることを学習する。 例えば、入力状態が医療患者により示される容体を表す場合には、ネットワークは、これらの容体に対する正確な診断の評価を示す出力状態を発生することが可能である。

【０００４】ニューラルネットワークが広く受け入れられることに対する障害の一つは、ニューラルネットワークが主としてブラックボックスとして機能するという事実である。 特定の組の入力がどうして特定の出力を発生するのかを理解することが困難なことがしばしばある。
この困難性は、ネットワークの「知識」は、相互接続の複雑なウェブに関連する重みにコード化される。 ネットワークの入力の項目内の特定の出力を説明するための方法である、ニューラルネットワークの説明方法を見いだすことが好ましい。 例えば、ネットワークが貸出決定を行うために用いられる場合には、申請者を記述する入力データの項目内のこれらの項目を説明することが好ましい。 この種の説明は否定的な貸出決定に必要である。

【０００５】ブラックボックス問題は、２つのレイヤのフィードフォワードネットワーク、すなわち、隠しレイヤの存在しない場合には、そう深刻な問題ではない。 これらのネットワークでは、入力と出力の関係が直接的である。 入力ＰＥと出力ＰＥの間の状態の間の関係の大きさ及び方向は、２つのＰＥの間の接続の重みにより得られる。 各入力と出力の間の関係は固定されているので、
これらの単純なネットワークは、非単調関係ような、入力と出力の可変的関係を捕捉することができない。 さらにまた、複数の入力の間の相互独立をも捕捉することができない。 すなわち、かかるネットワークでは、ある出力に対するある入力の効果を他の入力の間とは独立にマッピングすることができない。 かかるネットワークは、
線形的なマッピング、すなわち、各出力が入力の重み付け合計に比例するようなマッピングを学習することのみである。 このように、これらのネットワークは、実世界に存在する関係の限定されたサブセットのみを学習するように制限されている。

【０００６】隠しレイヤを備えたネットワークは、入力と出力の間の非単調関係及び複数の入力の間の独立性を含むような、非単調的なマッピングを学習するために必要である。 これらのネットワークでは入力と出力の直接的関係は存在しないために、説明は困難な問題である。
説明の一つの試みでは、感度分析を用いる。 この技法は、入力の値を変更し、ネットワークと対話し、ネットワークの出力内に意味のある変更が存在するかどうかを調べることを含んでいる。 事例として、医療分野を用いれば、感度分析は、入力容体の１つの変更と、ネットワークの診断出力の変更が存在するかどうかを調べることを含んでいる。

【０００７】説明はまたエキスパートシステムの分野でも問題となる。 これらのシステムはしばしばニューラルネットワークと比較される。 というのも、この２つの技術はいくつかの同じ問題を解決するための試行だからである。 すなわち、分類、予想及び意思決定である。 説明は、エキスパートシステムにおいてはニューラルネットワークよりも直接的である。 というのも、エキスパートシステムにおける「知識」は、規則ベースとして知られている一連のIF-THEN規則に組み込まれる点でより正確である。 説明の他に、エキスパートシステムは、従来のニューラルネットワークには見られない他の好ましい性能を有している。 これらの性能には、意思決定をするために十分な入力情報が存在するかを判定すること；ユーザの情報獲得に対する知識方向を提供すること：及び付随する決定に対する信頼度測定を計算すること；が含まれる。

【０００８】不幸にして、エキスパートシステムは、ニューラルネットワークの最も特筆すべき特徴である事例からの学習の能力を欠いている。 学習能力をエキスパートシステムに持たせるためのいくつかの試みがなされてきたが、それらは未だに「知識」源としての手作業の規則に基本的には依存している。 このように、特定の問題を解決するためにエキスパートシステムを構築するためには、問題領域の人間の専門家を発見し、彼の知識をIF
-THEN規則に変換し、それから、規則ベースの欠陥を除去することが必要である。

【０００９】明らかに、ニューラルネットワークの学習能力と、エキスパートシステムの説明その他の能力とを組み合わせることが好ましい。 かかる組合わせに対する１つの公知の試行には、ニューラルネットワークを「知識」源として用い、それによりニューラルネットワークの学習の利点を得るエキスパートシステムが含まれる。
エキスパートシステムの説明のような能力に加えて、この混合型システムは、ネットワークに含まれる知識を一連の規則に変換するための機能を任意選択的に含んでいる。 このシステムは例えば、米国特許第４，７３０，２
５９号といった文献に記載されている。

【００１０】不幸にして、従来の混合型システムで用いられている技法は、いくつかの重要な限界を有している。 最も重要なのは、従来の混合型システムは、線形判別ネットワークとして知られているような、パーセプトロンネットワークのみに受け入れ可能である。 入力レイヤの可能な例外でもって、これらのネットワークのＰＥ
は、三次状態、すなわち、大まかに真、偽、未知に対応する、３つの可能な状態に制限される。 この結果、パーセプトロンネットワークは、連続状態ネットワーク、すなわち、状態が一連の計数値に限定されないようなネットワークのように正確にマッピングを計算することができない。 精度の損失以上に重要なことは、パーセプトロンネットワークは、隠しレイヤを備えたネットワークに関しては最もよく用いられる訓練である、バックプロパゲーション学習で訓練できないことである。

【００１１】従来の混合型システムの説明技法もまた制限を有している。 例えば、どのようにしてシステムが最終決定の前にある出力又は別の出力に向かって学習を行ったかについて説明をするための方法が存在しないために、説明は結果に対して行われるだけである。 説明は、
規則の左側の条件（入力又は隠しレイヤ状態）が右側の結論に関する説明として機能する、規則の形式をとる。
規則に含まれるこれらの条件は、省略されたものよりも、結果に対して大きく積極的に貢献する。 しかし、含まれた条件にしろ、省略された条件にしろ、貢献に対する正確な測定が行われることはない。

【００１２】従来の混合型システムは、また、ユーザの情報獲得を管理する方法において制限される。 システムは未知であるが重要な単一の入力を選択して、ユーザにかかる入力に関する値を入れるように尋ねる。 しかしながら、システムは、比較的重要な他の未知の入力についての情報を提供することはない。

【００１３】

【発明が解決しようとする課題】従って、本発明の目的は、説明を含むエキスパートシステムの機能にフィードフォワードニューラルネットワークの機能が付加されたようなシステムを提供することである。 さらに、本発明の目的は、従来技術の欠点を克服することである。 特に、本発明の目的は、連続状態のフィードフォワードネットワークに関する欠点を克服し、十分な入力情報が結論を作成するために存在知る場合に決定を行うことが可能であり；その決定及びどうしてこれらの決定のうちのあるものが結論になるかを正確に説明可能であり；その決定に伴う信頼度測定を計算可能であり；未知の値を備えた相対的に重要な入力を計算可能であるようなシステムを提供することである。 さらに、本発明の目的は、人間が規則の形式で知識を与えることに依存せずに、事例から学習可能である点で、現存のエキスパートシステムとは異なるシステムを提供することである。 さらに、本発明の目的は、線形関係を扱うことが可能なので、説明が２レイヤネットワークにおける説明に関する現存の技法とは異なるようなシステムを提供することである。 さらに、本発明は、例えば、連続状態フィードフォワードネットワークの強力なクラス上で動作する点において、
従来の混合型システムの欠点を克服可能なので、従来の混合型システムとも異なるようなシステムを提供することである。

【００１４】

【課題を解決するための手段】クレーム

【００１５】

【実施例】本発明を理解するためには、入力及び出力変数を理解することが重要である。 本発明のユーザは、変数の基礎となる入力及び出力状態を直接扱うのではなく、これらの変数を扱う。 本発明に基づく決定作成プロセスは、入力変数を１又は２以上の出力変数に対するマッピングとして見ることが可能である。 いくつかの又は全ての入力変数に関する値が与えられると、本発明は出力変数を決定する。 これらの値は、本発明に基づき作成された決定に直接対応する。 例えば、貸出決定を示す出力変数が存在したとすると、真の値は貸出許可の決定に対応することが可能である。

【００１６】本発明は３つのタイプの入力変数、すなわち、連続型、論理型（ブール演算型）及び記号型を備えている。 連続型入力変数は全ての数値を含むことが可能であり、それはその値に等しい状態を備えた単一のＰＥ
により示される。 変数の値が未知の場合には、状態はいくつかのデフォルト値、典型的には変数の平均値に設定される。 論理型入力変数は真又は偽の何れかの値を備えることが可能である。 それは、｛偽、未知、真｝に対応する、｛−Ｂ、Ｍ、Ｂ｝の組から引き出された状態を備えた単一のＰＥにより表される。 Ｂは典型的には１．０
に設定され、Ｍは典型的には０．０に設定される。 記号型入力変数は有限組の記号からその値を引き出す。 例えば、変数「地域」は、｛北東部、南東部、北西部、南西部｝からなる組に含まれる全ての値を備えることが可能である。 記号型変数は、複数のＰＥと１−ＯＵＴ−ＯＦ
−ｎコードを用いて表される。 ｎの可能値を備えた記号型変数はｎのＰＥにより示され、それぞれは異なる値に対応する。 変数の値が知られている場合には、現在値に対応するＰＥにはＢの状態が与えられ、他のＰＥには−
Ｂの状態が与えられる。 記号型変数の値が未知の場合には、全てのＰＥがＭの状態を備えている。 論理型変数の場合にように、Ｂは典型的には１．０に設定され、Ｍは典型的には０．０に設定される。

【００１７】出力変数は論理型又は記号型とすることが可能である。 これらの変数のタイプは、本発明の決定出力に適している。 というのも、これらの変数はカテゴリー値を備えており、決定は本質的にはカテゴリー的だからである。 訓練モードにおける動作の間、ネットワークは論理型及び記号型訓練値、すなわち、出力変数に対する正確な決定に対応する値で表される。 これらの訓練値は、｛−Ｂ、Ｍ、Ｂ｝組における状態を用いて、論理型又は記号型入力値と同様に表される。 しかしながら、連続状態フィードフォワードネットワークの出力レイヤ内で発生される状態は、定義により、連続的であり、｛−
Ｂ、Ｍ、Ｂ｝に限定されない。 従って、出力状態は、論理型及び記号型値の近似値として翻訳される。

【００１８】出力状態を翻訳する場合に、記号型出力変数には最高状態を備えた基本ＰＥに基づく値を与えられる。 このＰＥは選択されたＰＥと呼ばれる。 論理が他出力変数にはユーザ選択の論理型決定しきい値に応じた値が与えられる。 基本出力状態がしきい値よりも高い場合には、変数の値が真である。 そうでない場合には、変数の値が偽である。

【００１９】図１には、本発明の基本的要素が示されている。 これらの要素は本発明の構成要素として言及されており、これらは３つのカテゴリーに分割される。 すなわち、入力、出力及び内部構成要素である。 入力構成要素の１つは、選択された問題領域からの事例でネットワークを訓練した結果生じた重み組である。 重み９は領域についてのネットワークの「知識」をコード化する。 訓練の方法は本発明とは独立であり、ユーザは、フィードフォワードネットワーク用の学習アルゴリズムの中から任意選択可能である。 バックプロパゲーションは、最も広く用いられている、本発明が動作可能な隠しレイヤを備えた連続状態フィードフォワードネットワークの強力クラスに関する学習アルゴリズムである。

【００２０】別の主要な入力構成要素は、入力データ１
１であり、これは、本発明により分析されるべき各事例に関する入力変数の値を特定するものである。 各入力変数の値は、本発明が知能的に未知の値を処理することを意図しているために、特殊な場合には未知として特定することが可能である。

【００２１】さらに、別な入力構成要素は、いくつかの入力変数が連続的である場合にのみ受け入れ可能な入力変数統計量１３である。 これらの統計量は、各連続型入力変数に関する値の分散を記述する。 特に、このシステムは、各かかる変数に関する平均及び標準偏差か、あるいは、各変数の最小値及び最大値のいずれかを必要とする。 稀な場合には、(1) 平均値が連続型入力変数の値が未知の場合にデフォルト状態として用いられる場合、又は、(2) 説明モジュール２３が規則生成３１に関して用いられる場合には、平均値が必要となる。 必要な分散統計量は、訓練事例組又は分析される事例組のような、データ組から計算可能である。 代わりに、統計量を推定することも可能である。

【００２２】図１において示されるように、本発明は３
つの主な内部構成要素を備えている。 これらの構成要素のうちの最も基本的なものは、推論モジュール１５であり、これから３つの出力構成要素、すなわち、決定１
７、結論１９及び信頼度測定２１（解決度及び必然度）
が派生する。 推論モジュールは、単一の出力変数に関して図２の流れ図においてＨ説明される。 モジュールと図についは後述する。

【００２３】推論モジュールは、図２のブロック４１に記録されているように、入力変数の値が付加、削除、又は修正される場合には常に動作される。 新しい入力値に基づいて、ネットワークの出力状態がブロック４３で更新される。 さらに、モジュールは、ブロック４５においてこれらの出力状態の高低バウンドを更新する。 これらのバウンドは、各出力状態の可能範囲の上限及び下限であり、既知の入力値及び未知の入力変数のいくつか又は全てに関する値の組合わせにより与えられる。 これらのバウンドの計算には、連続型入力変数の可能な値に関してなされる仮定が必要となる。 これらの仮定の詳細及びバウンドを計算するための正確な方法を説明してから、
推論モジュールを概観する。

【００２４】更新された出力状態は出力変数の値を決定するために用いられる。 これらの値は本発明の決定１７
である。 上述のように、出力状態から出力変数値又は決定を判定する方法は、出力変数が論理型か記号型かに依存している。 論理型である場合には、基礎となる出力状態がユーザ選択論理型決定のしきい値とブロック４９において比較される。 状態がしきい値よりも大きい場合には、ブロック５１において決定が真となる。 そうでない場合には、ブロック５３において決定が偽となる。 出力変数が記号型である場合には、最高位の出力状態を備えた基礎となるＰＥがブロック５９で選択される。 ブロック６１において、決定は選択されたＰＥに対応した記号である。

【００２５】決定を更新した後に、本発明は、結論１９
されるべき決定を宣言可能であるかどうかを判定する。
入力値が未知の入力変数に関する可能な値のどの組合わせも決定に対応する出力変数の値を変更できないほど既知である場合に、結論に到達可能である。 記号型出力変数に関しては、この結論条件がブロック６３においてチェックされる。 選択されたＰＥの状態の低いバウンドが選択されなかった各ＰＥの状態の高いバウンドよりも大きい場合には、選択されたＰＥが未知の入力に対する値の全ての組合わせに対しても最高位の状態を備えていることが保証される。 結論条件が満たされると、決定が結論となることがブロック６７で宣言される。 そうでない場合には、結論はブロック６５で仮のものである言われる。

【００２６】論理型出力変数に関しては、結論条件を検査する方法は決定に依存している。 決定が真である場合には、結論条件がブロック５５で検査される。 条件が、
基礎となる出力ＰＥの状態の低いバウンドが論理型決定のしきい値よりも大きい場合に出会うと、ＰＥの状態が未知の入力に関する値の全ての組合わせに対してしきい値を越えているだろうことが保証される。 決定が偽の場合には、結論条件がブロック５７で検査される。 条件が、基礎となる出力状態の高いバウンドが決定しきい値より小さい場合に出会うと、状態がしきい値以下であろうことが保証される。

【００２７】全ての入力値が既知の場合には、結論条件に到達することが保証される。 しかしながら、実世界においては、いくつかの入力値が未知である場合がしばしば生じる。 医療診断においては、例えば、重要なデータが、獲得するためにコストや費用がかかったり、あるいは危険であったりして、欠けている場合がある。 本発明の結論生成能力によればこの欠落データの問題を克服できる。 本発明によれば、ユーザに対して、ユーザが計算された決定を確かなものにするに十分な入力データを備えた時を、知らせることが可能である。

【００２８】結論を得るために用いられる状態バウンドは、決定に関する必然度信頼度測定２１を計算するために用いられる。 必然度は、出力変数に関する結論が変数に関する現在の決定と同じであるかについての信頼度の測定である。 必然度の範囲は０％から１００％であり、
結論に到達した場合にのみ、ブロック７１において最大値に到達する。 その場合にのみ、別の入力が決定を変化しないことが保証される。 結論に到達する前に、必然度がブロック６９において計算される必要がある。 それは、決定が結論になるために必要な出力バウンドと実際の出力バウンドの間の距離に基づいて計算される。

【００２９】論理型出力変数に関して、必然度の割合は次式により計算される。

【００３０】真の決定については、 (S(o,lo)-L)*100/(TL) 偽の決定については、 (US(o,hi))*100/(UT) ここで、S(o,hi)及びS(o,lo)は、基礎となる出力ＰＥ
ｏの状態の高位バウンドと低位バウンドであり、Ｕ及びＬは、それぞれ、ｏの変換関数の出力の上限及び下限であり、Ｔは論理型決定しきい値である。

【００３１】記号型出力変数に関しては、必然度の割合は次式により計算される。

【００３２】[{(S(o,lo)-S(o',hi))/(U,L)}+1]*100 ここで、ｏは選択された出力ＰＥであり、ｏ'は最高位バウンドを備えた選択されなかったＰＥである。

【００３３】第２の信頼度測定２１、すなわち解決度は、決定の強さを測定し、ブロック７３で計算される。
最大の可能性決定強さは１００％の解決度数により示される。 ０％に近い数値は、弱い決定を示す。 解決度は、
出力状態と決定の境界との間の距離に基づいて計算される。 特に、論理型出力変数に関しては、解決度割合は、
真の決定については、 (S(o,lo)-L)*100/(TL) 偽の決定については、 (US(o,hi))*100/(UT) に等しい。 ここで、S(o)は基礎となる出力ＰＥ ｏの状態である。

【００３４】記号型出力変数に関して、解決度の割合は、 (S(o)-S(o'))*100/(UL) に等しい。 ここで、ｏは選択された出力ＰＥであり、
ｏ'は最高位バウンドを備えた選択されなかったＰＥである。

【００３５】医療領域は、上述の信頼度測定が有用であることの例を示す。 本発明が、診断決定を行うために用いられる場合には、これらの決定が生死の結論になる可能性がある。 特定の決定又はそれに対する行動を信頼する前に、医者はその決定に対してどれだけの信頼度を持つべきかを知りたい場合がある。 解決度は、医者にどの程度明確にその診断決定が他の診断よりも好ましいかを教えてくれるだろう。 必然度は、医者に、彼が他の情報を収集してもどの程度同じ決定であり続けるかの確からしさを示してくれるだろう。

【００３６】２つの信頼度測定は間接的に言及されているだけであることに留意すべきである。 高い必然度数を備えているが解決度数は少ない場合があるし、また逆もしかりである。 例えば、前者の事例は弱い決定が結論になっている場合に生じる。

【００３７】さて、出力状態のバウンドを計算するための正確な方法を考えてみると、この方法は、連続型入力変数の可能性のある数値について仮定がなされることを必要とする。 これらの仮定は、入力変数の分布統計量１
３に基づいている。 ユーザが最小及び最大の統計量を用いることを選択した場合には、本発明は、未知の連続型入力変数の可能値が最小値と最大値との間にあることを仮定する。 ユーザが平均値及び標準偏差を代わりに用いることを選択する場合には、彼は、全ての連続型入力変数に適応可能な正範囲値ｒを特定する必要がある。 本発明は、未知の連続型変数ｉの可能値が以下の限界により定義される領域に収まることを仮定している。 ： 下限＝平均値(i)-(r*Sd(i)) 上限＝平均値(i)+(r*Sd(i)) ここで、平均値(i)及びSd(i)は変数ｉの平均値及び標準偏差である。

【００３８】出力ＰＥの状態のバウンドは、非入力ＰＥ
の状態バウンドに関する以下の回帰方程式を用いて計算できる。

【００３９】S(p,lo)=T(Σ _S C(s,p,lo)) S(p,hi)=T(Σ _S C(s,p,hi)) ここで、Ｔはｐ及びC(s,p,hi)及びC(s,p,lo)は、各ソースｓによるｐの正味入力にされる貢献の高位バウンド及び低位バウンドである。 各ｓは、隠れＰＥ、すなわち入力変数か、又はバイアス（特に、状態が常に１．０である場合の入力ＰＥ）のいずれかである。

【００４０】３つのｓのいずれかは、どのようにして貢献バンドが計算されるかにより決定される。 ｓがバイアスの場合には、 C(s,p,hi)=C(s,p,lo)=W(s,p) であり、ここでW(s,p)はｓないしｐの連続の重みを示している。

【００４１】ｓが隠れＰＥである場合には、以下の方程式が用いられる。

【００４２】W(s,p)>0である場合には、 C(s,p,lo)=W(s,p)*S(s,lo) C(s,p,hi)=W(s,p)*S(s,hi) そうでない場合には、 Ｃ（ｓ，ｐ，ｌｏ）＝Ｗ（ｓ，ｐ）＊Ｓ（ｓ，ｈｉ） Ｃ（ｓ，ｐ，ｈｉ）＝Ｗ（ｓ，ｐ）＊Ｓ（ｓ，ｌｏ） ｓが入力変数である場合には、貢献バウンドの計算はｓ
のデータタイプ及びｓが既知か未知かに依存する。 ｓが論理型又は連続型であり、値ｖを備えていると知られている場合には、 Ｃ（ｓ，ｐ．ｌｏ）＝Ｃ（ｓ，ｐ，ｈｉ）＝ｖ＊Ｗ
（ｉ，ｐ） であり、ｉはｓに基づくＰＥである。

【００４３】ｓが論理型又は連続型であり、その数値が未知の場合には次の方程式が用いられる。

【００４４】W(i,p)>0である場合には、 C(s,p,lo)=W(s,p)*Min(s) C(s,p,hi)=W(s,p)*Max(s) そうでない場合には、 C(s,p,lo)=W(s,p)*Max(s) C(s,p,hi)=W(s,p)*Min(s) ここで、Max(s)及びMin(s)はｓの最大及び最小の可能値である。 ｓが論理型である場合には、Max(s)はＢであり、Min(s)は−Ｂである。 ここでＢ及び−Ｂは、それぞれ、真及び偽を示すために用いられる数値である。 ｓが連続型である場合には、Max(s)及びMin(s)は、分布統計量から得られた、ｓの仮定上の上限及び下限とされる。

【００４５】ｓが記号型であり、基礎となる選択グループ内のＰＥ ｖに対応する値を備えていると知られている場合には、 C(s,p,lo)=C(s,p,hi)=C(s,p,v) であり、ここで、C(s,p,v)は貢献ｓであり、ｓの値がｖ
に対応する場合に、ｐの正味入力となる。 特に、 C(s,p,v)=(W(v,p)-Σ _i <> _v W(i,p))*B であり、ここで、ｉは基礎となる選択グループ内のＰＥ
にわたり反復する。

【００４６】ｓが記号型であり、値が未知の場合には、 C(s,p,lo)=Min(C(s,p,i)) C(s,p,hi)=Max(C(s,p,i)) であり、ここでMax及びMinは、基礎となる選択グループ内の全てのＰＥ ｉにわたり計算される。

【００４７】例示の問題は、上述の推論モジュールの動作を説明するために用いられる必要がある。 例示には、
個人的な申請人のデータに基づく、個人の貸出決定に対する応用が含まれる。 ニューラルネットワークのアーキテクチャ及びこの問題に関して用いられるデータ流れは図７において説明される。 ネットワークは、コンピュータソフトウェアを用いてシミュレートされるが、本発明は、ハードウェアで実行されるネットワークに対しても等しく応用可能である。 ネットワークの入力レイヤ２０
３は１３のＰＥを含み、それぞれが１３の連続型入力変数に対応している。 入力レイヤは完全に単一の隠れレイヤ２０５に接続されており、隠れレイヤは３つのＰＥを備えており、それは単一のＰＥからなる出力レイヤ２０
７に完全に接続されている。 出力ＰＥは貸出決定２０９
に対応する値を備えた論理型変数を示してる。 真の値は貸出を認める決定に対応し、偽の値は断る決定に対応する。 出力及び隠れＰＥは従来の範囲［−１．０、１．
０］内の出力を備えたシグモイド変換関数を備えている。

【００４８】図７内のネットワークは、本発明が動作可能なニューラルネットワークのタイプの１つの例であるに過ぎないことを留意すべきである。 一般的に、本発明は、任意の数の隠れレイヤ（０を含む）と、隠れレイヤと入力レイヤと出力レイヤ内の任意の数のＰＥとＰＥに関する任意の変換関数（異なるＰＥは異なる変換関数を有することが可能である）を備えた、フィードフォワードネットワーク上で動作可能である。

【００４９】特定のネットワークが、重み２１１を修正する、バックプロパゲーション学習を用いて訓練される。 バックプロパゲーション学習のアルゴリズムは、本発明とは独立であり、図７に示したフィードフォワードフローに加えてバックワードデータフローを含んでいる。 図７のネットワークは、貸出結果が知られている以前の申請人の例を示しているデータ２０１上で訓練される。 各事例は、許可（１．０）又は不許可（−１．０）
の訓練値に、申請人がデフォルト値で貸出になっているかどうかにより、割当てられる。 申請人は、図８の表において説明される、１３の入力変数の値により記述される。 表は、また、試験データベース内の実際の申請人に関する入力値を含んでいる。

【００５０】図７のネットワークを用いて、本発明は、
図８に記述されている２つの欠落入力値にもかかわらず、この事例の申請人についての結論を作成することが可能である。 結論とされる決定は貸出の許可である。 この決定は出力変数の真値に対応し、申請人が実際のローンを満足に返済する限りに正しい決定である。 結論に到達すると、必然度は１００％となる。 解決度は、真の決定を与える解決度に関する上述の公式を用いて、１３．
４％と計算される（解決度は、通常は、試験データベースにおける事例では４０％以下である）。 さらに説明するために、信用報告（例えば、実際の預金口座、新しい預金口座、調査回数、公的記録項目、信用ファイルの時刻、及び３つの延滞変数）から得られる図８の値のみが知られていると仮定する。 ここでは、結論を得るためには多くの未知の入力が存在するが、本発明は、一時的な結論を発生する。 結論は、解決度１０．１％及び必然度４７．４％の許可である。 これらの値は真の決定に関する解決度及び必然度の公式を用いて計算される。

【００５１】図１を再び参照すると、第２の内部構成要素が説明モジュール２３であることが示されている。 このモジュールは２つのタイプの説明を生成する。 １つのタイプは、各既知の入力値がこの決定を作成するにあたっての貢献を計算することにより、決定が、一時的であるか、または結論であるかを説明する。 このタイプは決定説明２５であり、出力状態に基づく。 別のタイプは、
結論説明２７は、どのように結論に到達したかを説明するための出力バウンドを試験する。 結論説明は結論条件に到達する既知の入力によりなされる貢献を計算し、結論を支援するに十分な入力の最小のサブセットを決定する。

【００５２】貢献の２つのタイプは、入力値の現在の組の分脈で計算されることに留意する必要がある。 ある決定又は結論に対するある入力変数によりなされる貢献は、変数自身の値ではなくて、他の入力変数の値（又はその欠落）に依存している。 このように、説明の２つのタイプは、隠れレイヤを備えたフィードフォワードネットワークに見いだされる入力の相互依存性を捉えている。

【００５３】結論説明２７は、変数の値が未知であると仮定された場合の結論条件の強さにおける減少に等しい各既知の入力変数に対する貢献を計算する。 この強さは、結論条件を示すバウンドと、結論が到達する出力変数の基礎となる状態の実際のバウンドとの間の距離として測定される。 結論説明の動作は、図３の流れ図において、単一の出力変数に関連して説明される。 モジュールと図については下で述べる。

【００５４】図３のブロック８１においては、本発明は、結論が、説明が記述される出力変数に到達したかをチェックする。 どの結論も到達しない場合には、結論説明がブロック８３において不能となる。 そうでない場合には、結論説明が、値が知られている第１又は次の入力変数を試験することによりブロック８５に進む。 変数の値が一時的に未知であると仮定されると、出力状態のバウンドが一時的にブロック８７で調整されて、その仮定を反映するようにされる。 調整されたバウンドと（調整される前の）真の出力バウンドは、試験される入力バウンドの貢献を判定するために比較される。

【００５５】貢献を計算する方法は、ブロック８９において、出力変数が論理型か記号が高に依存している。 出力変数が論理型である場合には、貢献は、さらに、ブロック９１において、変数に関する決定が真か偽かに依存している。 決定が真である場合には、結論条件は、論理型出力変数を基礎とするＰＥの状態の低位バウンドに基づき、こうして、ブロック９３における貢献は、真の低位バウンドから基礎となる状態の調整された低位バウンドを引いた値に等しくなる。 決定が偽である場合には、
結論条件は高位バウンドに基づき、こうして、ブロック９５の貢献が、調整された高位バウンドから基礎となる状態の真の高位バウンドを引いた値となる。 公式的には、貢献は、真の決定に関しては、 S(o,lo)-S'(o,lo) 偽の決定に関しては、 S'(o,hi)-S(o,hi) に等しくなる。 ここでｏは基礎となる出力ＰＥであり、
Ｓは真のバウンドを表し、Ｓ'は調整されたバウンドを示す。

【００５６】出力変数が記号型である場合には、結論条件は、選択されたＰＥの状態の低位バウンドと選択されないＰＥの中の最高位バウンドの間のギャップに基づく。 こうして、記号型出力変数に関しては、ブロック９
７の貢献は、真のバウンドを与えるギャップから調整されたバウンドを引いた値になる。 公式的には、貢献は、 (S(o,lo)-S(o',hi))-(S'(o,lo)-S'(o'',hi)) に等しくなる。 ここでｏは選択された出力ＰＥであり、
ｏ'は最高位の真の高位バウンドを備えた選択されなかったＰＥであり、ｏ''は最高位の調整された高位バウンドを備えた選択されなかったＰＥである。

【００５７】結論説明により計算された全ての貢献は負ではないことに流利すべきである。 これは、次の事実の組合わせに起因する。 １． 変数は、未知である変数に関連して計算される。 ２． 入力変数の値が既知である場合には、各出力状態のバンドが同じままか、狭くなり、その場合に狭いバウンドは高位バンドが減少したか、及び／又は、低位バンドが減少したかを意味する。 ３． 狭いバウンドは、結論条件を、強化できるが、弱めることはできない。 ４． 貢献は結論条件の強さを測定する。

【００５８】特定の入力変数に関する貢献を計算した後に、本発明は、ブロック９９において、全ての入力変数が試験されたかどうかを判定するためにチェックを行う。 試験されていない場合には、次の既知の変数が試験される。 そうでない場合には、結論説明はブロック１０
１に進み、そこで、全ての既知の入力変数に関する貢献が、スケーリング定数により積算されて、最大のスケーリング貢献が１００．０であると判定される。 定数は、
１００．０をスケーリングされない貢献の最大値により割ることにより計算される。 ブロック１０３において、
スケーリングされる貢献は、対応する変数名及び変数と共に、出力として生成される。 出力は貢献により数値的に順序づけられる。

【００５９】結論説明は、さらに、それ自体で到達するに十分な既知の入力値のサブセットである、最小前提を発見することにより、結論を説明する。 最小前提にない既知の入力は、未知であるとも言え、結論は保持される。 結論と最小前提は、現在分析される事例とは独立に、結論に到達するための十分な条件の組を述べる規則として、見ることも可能である。

【００６０】最小前提を発見する場合の結論説明の動作は図４において説明される。 第１のステップは、ｋを既知の入力変数の数に設定し、カウントｃをブロック１１
１で初期化することである。 ブロック１１３に到達するごとに、ｃは１だけインクリメントされる。 ブロック１
１５を通る最初に、本発明は最小の貢献を有する既知の入力を選択する。 ブロック１１７において、変数の値は未知であると仮定される。 ブロック１１９において、それは、結論条件が、推論モジュールにより決定されたように、まだ仮定の下におかれているかどうかをチェックする。 結論がまだ支持されている場合には、２番目に小さな貢献を有する既知の入力変数がブロック１１５にもどって選択される。 この変数の値は未知であると仮定される。 この処理が、ｃが未知であると仮定された既知の入力変数の数を計数しながら、返付腐れる。 結論がブロック１１９を保持しなくなった場合に、最小前提がブロック１２１において決定される。

【００６１】図１０は、図８に示されたローン申請人の例及び図７に記述されたネットワークの例を用いて、結論説明の出力の例を含んでいる。 各既知入力に関して、
出力は貢献をリストアップして、変数が最小前提に属するかどうかを示す。 貢献が真の決定を与える貢献に関する上述の公式を用いて計算される。 最小前提は見出し十分条件に示されるように出力において区別される。 最小前提にない既知の入力変数は付帯条件においてリストアップされる。 図１０は、この場合には最小前提が、信用ファイルの時刻を除いて、全ての既知の入力変数を含んでいる。 ３０日の現時点での延滞と調査の数が、認可の結論に到達するために最も重要であることを示している。

【００６２】説明の第２のタイプである、決定説明２５
は、貢献が既知の入力変数により結論にされたかを測定する。 このタイプの説明は、結論説明２７と比較することにより最良に説明される。 両方のタイプの説明は、変数が未知であると仮定された場合に、出力の変化を試験することにより各既知の入力変数により形成される貢献を測定する。 しかしながら、結論説明は出力バウンドにおける変化を試験するのに対して、決定説明は出力状態における変化を試験する。 この違いは、結論説明が出力バウンドに基づく結論条件に対する貢献を測定するのに対して、決定説明が出力状態に基づく決定に対する貢献を測定するという事実により動機付けられる。

【００６３】別の相違は貢献の符号に関している。 上述のように、結論説明における貢献は、入力変数の値が結論条件を強化するかそのままにしておくかを知るだけで、値を知るのではないために、負の値をとることがない。 しかしながら、入力変数の値を知ることは、解決度信頼度測定における増減により示されるように、決定を弱めるばかりでなく強めることができる。 このように、
決定説明における貢献は負の値も正の値をも取り得る。
実際に、入力変数に関する特定の値は、１つの入力に関する分脈で特定の決定に対する正の貢献を形成することが可能であるが、別の分脈では同じ決定に対する負の貢献を形成することも可能である。 これは、隠れレイヤを備えたフィードフォワードネットワークに見いだされる入力の相互依存性のためである。

【００６４】決定説明の動作は、単一の出力変数に関して図５の流れ図において説明される。 モジュール及び図は次のように説明される。 ブロック１３１において、本発明は値が既知である第１の及び次の入力変数を試験する。 その変数の値が一時的に未知であると仮定され、出力状態がブロック１３３においてその仮定を反映するように一時的に調整される。 調整された出力状態と（調整される前の）真の出力状態が、試験される入力変数の貢献を決定するために比較される。

【００６５】貢献を計算する方法は、ブロック１３５において、出力変数が論理型であるか記号型であるかに依存している。 出力変数が論理型である場合には、貢献はさらに、ブロック１３７において、変数が真であるか偽であるかについての決定に依存している。 決定が真である場合には、ブロック１３９において、貢献は、真の状態から論理型出力変数を基礎とするＰＥの調整された状態を引いたものに等しくなる。 決定が偽である場合には、ブロック１４１において、貢献は、調整された出力状態から真の出力状態を引いたものである。 公式的には、貢献は、真の決定に関しては、 S(o)-S'(o) 偽の決定に関しては、 S'(o)-S(o) に等しくなる。 ここで、ｏは基礎となる出力ＰＥであり、Ｓは真の状態を示し、Ｓ'は調整された状態を示す。

【００６６】出力変数が記号である場合には、ブロック１４３において、貢献は、選択されたＰＥの状態と選択されなかったＰＥの中の最高位の状態の間のギャップに基づく。 貢献は、真の状態を与えるギャップから調整された状態を与えるギャップを引いたものに等しい。 公式的には、貢献は、 （Ｓ（ｏ）−Ｓ（ｏ'））−（Ｓ'（ｏ）−Ｓ'
（ｏ''）） に等しくなる。 ここで、ｏは選択された出力ＰＥであり、ｏ'は最高位の真の状態を備えた選択されなかったＰＥであり、ｏ''は最高位の調整された状態を備えた選択されなかったＰＥである。

【００６７】特定の入力変数に対する貢献を計算した後で、本発明は、ブロック１４５において、全ての入力変数が試験されたかどうかを見るためにチェックを行う。
行われない場合には、次の既知の変数が試験される。 そうでない場合には、決定試験がブロック１４７に進み、
そこで、全ての既知の入力変数に関する貢献が、スケーリング定数により積算されて、貢献の最大の絶対値が１
００．０となるように決定される。 定数は、１００．０
をスケーリングされない貢献の最大の絶対値で割ることにより計算される。

【００６８】ブロック１４９において、スケーリング貢献は、対応する変数名及び数値と共に出力として生成される。 出力は貢献により数値的に順序付けられる。 さらに、出力は既知の入力変数の３つのグループに区別される。 １． 決定に対して重要な貢献をしないもの、すなわち、絶対値がユーザが選択した重要度しきい値より下になるもの。 ２． 決定を支援するのに重要であるもの、すなわち、しきい値以上の正の貢献を有するもの。 ３． 決定を弱めるために重要であるもの、すなわち、絶対値がしきい値以下となる負の貢献を有するもの。

【００６９】図９は、再び、図８に示した貸出申請人及び図７に示したネットワークを用いて、決定説明の出力を例を含んでいる。 出力は、２０．０の重要度しきい値を用いて生成される。 出力にリストアップされる貢献は、真の決定を与える貢献に関して示された上述の公式を用いて計算された。 出力は、許可の決定を支持するために４つの重要な要因があることを示している。 他の３
つの要因は延滞変数を含んでいる。 許可に対して重要な重み付けを行う要因のみが、信頼度ファイルにおける時刻の値であった。 図１０において留意すべきは、信頼度ファイルの時刻は、結論説明に示される最小の支持入力変数であった点である。 それは最小の貢献をなし、最小前提内にはない既知の入力変数であった。 しかしながら、一般的に、各測定は異なる特性を有するから、２つのタイプの説明に基づいた変数のランキングの間には間接的な関係が存在するのみである。

【００７０】決定説明における貢献の判定には、既知の入力変数が未知であるとの仮定に基づいて、調整された出力状態を計算する必要がある。 しかしながら、調整された状態の計算はネットワークの反復を必要としない。
これは、従来の感度分析において入力変化の効果が変化を生じた後にネットワークを反復することにより決定されたことと対称的である。 本発明は、入力の変化から生じた修正された出力を発見すると共に、ネットワークの反復により計算コストを上昇を回避するための方法を含んでいる。

【００７１】ネットワークの反復の計算は、ネットワーク内の全ての重みを含んでいるが、本発明によれば、重みのサブセットのみを含む簡便な部分重み方法が用いられる。

【００７２】これは、計算に必要な計算時間がほぼ用いられる重みの数に比例するために重要である。 特に、本発明に基づく重み方法は、状態が変化された入力ＰＥの１つと状態変化が測定された出力ＰＥの１つとの間の経路にある接続に関する重みのみを用いる。

【００７３】かかる経路にある接続の精度は、隠れレイヤの数とネットワークの接続性に依存している。 特殊な例を提供するために、図７に示すネットワークを参照する。 ｖからｖ'に入力ＰＥの状態を変更することに起因するこのネットワークの修正出力状態を発見することが必要であると仮定してみよう。 この部分重み方法は、ｉ
から３つの隠れＰＥのそれぞれに対する接続及び各隠れＰＥから出力ＰＥに対する接続に関する重みのみを用いる。

【００７４】図７のネットワークに関する部分重み計算における第１のステップは３つの隠れＰＥのそれぞれの結果の正味入力を計算することである。 各隠れノードｈ
に関する結果正味入力Ｉ'（ｈ）は、I(h)+((v'-v)*W
(i,h))に等しい。 ここで、W(i,h)はｉからｈへの接続の重みであり、I(h)はｈに関する元の正味入力である。 次の段階は、隠れＰＥのそれぞれの結果状態を計算することである。 S'(h)はｈの新しい状態であり、T(I'(h))に等しい。 ここで、Ｔは図７のネットワークで用いられる従来のシグモイド変換関数である。 修正出力状態は、Ｔ
を各S'(h)の重み付け合計に加えることにより計算される。

【００７５】本発明に基づいて、部分重み方法を用いることで、図９の決定貢献の各々が６つの重みのみで計算される。 この方法なしでは、各貢献は、４２の重みを用いるネットワーク反復を計算する必要がある。 部分重み方法はまた、決定における変化と、ユーザが入力値を付加、修正又は削除した結果の解決度を計算するためにも用いられる。

【００７６】決定及び結論を説明することに加えて、説明モジュール２３は規則発生３１を行う能力も有する。
この処理は、一組のif-then規則を生成する。 各規則は、ある数の可能入力値と決定とから成る。 規則は、決定が入力値が真であると知られる場合の結論として支持されることを意味するように翻訳される。 これらの規則は、ネットワークの重みに含まれる知識をほぼ表すように意図される。 入力値と決定の精度の間の関係を形成することにより、ネットワーク内の知識が正確にされる。
重みから規則に変換することにより、幾分精度が犠牲にされるが、規則は、ネットワーク内に含まれる知識を分析しようとするユーザの目的のみを意図するものであって、本発明の他の能力に必要なものではない。

【００７７】規則発生のキーは上述の最小前提２９である。 規則内の入力値は、規則内の結論に到達するための一組の最小前提である。 換言すれば、規則発生は、規則内のいずれかの入力値が除去された場合に、規則の結論がもはや保持されないような規則を構成することである。 規則発生は、一組の最小前提を生成して仮説的な結論を支持することにより規則性構成する。 この場合に、
前提は仮設（しかし可能な）入力値から構成される。 特に、規則は、結論としての変数に関する可能な決定の１
つを支持可能な一組の仮説的最小前提を発見することにより、出力変数に関して生成される。 発見された最小前提の各固有組が規則になる。 全ての可能な組が発見されて、全ての可能な規則が発生されるが、それは規則当たりの前提の最大数を特定するユーザの選択により制限を受けるのみである。

【００７８】最小前提の全ての可能な組が入力空間の調査を行うことにより発見される。 特に規則発生は従来のデプス−ファースト・ツリー（depth-first tree）調査を用いる。 本発明の分脈においては、シミュレートされたツリーを通る経路は入力値の可能な組合わせに対応する。 ツリーの各レベルは異なる入力変数入力変数に対応する。 ツリー内の各ノードはｎ＋１のブランチを有しており、ここで、ｎはノードが存在するレベルに対応する入力変数に関する可能な値の数である。 １つのブランチは各可能値に対応し、余分のブランチは未知の値に対応する。 論理型入力変数に関しては、可能値は真及び偽であり、従って、ｎは２である。 記号型変数に関しては、
ｎは可能な記号の数である。 連続型変数に関しては、非常に多くの可能値が存在し、そのため値の代表的サンプルを選択する必要がある。 本発明の解決はある連続型入力変数の数値範囲内の異なる領域を代表する３つの値を選択することである。 これらの値を選択するための特定の方法については後述する。

【００７９】ツリー内の特定経路に沿った調査は、経路内の各ブランチに対応する値（場合によっては未知である）の選択として解釈される。 こうして、調査がツリーをｍレベル下ったときに、ｍ入力変数の値が設定されるか、あるいは未知であると宣言される。 調査は、組値が結論になるか、ツリーの底部に到達するまで、各可能経路について行われる。 結論なしに底部に到達した場合には、経路は何の規則も生成しない。 しかし、結論に到達した場合には、経路内の既知の値の組が、結論と共に候補規則を構成する。 候補規則は、その前提が最小である場合、すなわち、経路内の全ての既知の値の組が結論を支持するために必要とされる場合にのみ選択される。 規則発生は、既知の値が、結果的に結論を欠落させずに、
未知であると仮定できるかどうかを判断するためにチェックを行う。 その場合には、前提は最小ではなく、候補規則は捨てられる。 そうでない場合には、候補規則は規則発生の出力内に含まれる。

【００８０】各連続型入力変数に関する３つのサンプル値を選択するための正確な方法について考えてみるに、
規則発生は、変数の値範囲の上部、下部及び中部の範囲から値を選択する。 選択された値は、高位、低位及び中位として言及され、入力変数統計量１３から計算される。 中位値は入力変数の平均に等しい。 高位及び低位に関する数値は、どの統計量が用いられるかに依存している。 最小及び最大の統計量が用いられた場合には、後続の値が連続型入力変数ｉに関して選択される。

【００８１】低位=(3 Min(i)+Max(i))/4 高位=(3 Max(i)+Min(i))/4 ここで、Min(i)及びMax(i)はｉの最小値及び最大値である。 選択された値は間隔[Min(i),Max(i)]の間の４分の１及び４分の３の点に対応する。

【００８２】平均値及び標準偏差統計量を用いる場合には、次の値が選択される。

【００８３】低位=平均値(i)-(z*Sd(i)) 高位=平均値(i)+(z*Sd(i)) ここで平均値(i)及びSd(i)は変数ｉの平均値及び標準偏差値であり、ｚは全ての連続型入力変数に適応すべくユーザにより選択された可能値である。

【００８４】図１２は、上述の方法を用いて、規則発生器により生成された典型的な規則を含んでいる。 貸出記録問題が再び例として用いられている。 この問題は連続型入力変数を含むから、本発明の、規則前提として連続型変数を用いるための方法、すなわち、高位、低位及び中位を用いる方法の良好な事例となる。 図１２に示す規則は、許可結論を支持するために十分な６つの入力値を特定する。 申請人がこれらの６つの値を有する場合には、彼は、残りの７つの入力変数に関する彼の値いかんにかかわらず、許可が保証される。

【００８５】再び図１を参照すると、第３の内部構成要素は知能知識獲得モジュール３３である。 用語「知能知識獲得」は、どの知識が目的にとって有益であるかを決定するための組織的な方法について言及している。 本発明の分脈において、これは、どの未知の入力変数が、それらの値が既知になった場合に、特定の出力変数に最も大きなインパクトを有するかについての評価を含んでいる。 最も大きな影響力を有する未知の入力変数に関する値を追うことにより、ユーザは結論の調査に必要とされる別の入力の数を減じることが可能になる。 これは、特に、情報の収集に関して、非常にコストと危険がかかり、時間の遅れが生じる医療診断のような分野において重要である。

【００８６】知能知識獲得（ＩＫＡ）モジュールの動作は図６の流れ図において説明される。 モジュールは、ユーザ選択の出力変数に関する各未知の入力変数３３の潜在的な影響を測定する。 図６のブロック１６１においては、ＩＫＡモジュールは、値が未知である第１の又は次の入力変数を試験する。 試験値は、ブロック１６３において、変数に関して決定される。 変数が論理型又は記号型である場合には、変数の各可能値が試験値として用いられる。 それらは、規則発生３１において連続型入力変数に関して高位及び低位の値が選択された公式と同様の公式を用いて計算される。

【００８７】入力変数に関する試験値が決定された後に、影響のトータルが、ブロック１６５においてゼロに初期化される。 第１及び次の試験値がブロック１６７において選択されて、入力変数が、一時的に、その値を備えているものと仮定される。 モジュールは、ユーザ選択の出力変数に関する決定に対する入力値により形成される貢献を計算する。 貢献は、決定説明２５が貢献を計算する公式と同様の公式を用いて計算される。 計算された貢献の絶対値は、ブロック１６９において影響の総計に加算される。 全ての試験値がブロック１７１で用いられると、入力変数に関する影響測定が、ブロック１７３において、試験値の数により影響総計を割ることにより、
計算される。 未知の変数の影響は、このようにして、変数の試験値により形成された貢献の平均値の絶対値となるように、計算される。

【００８８】変数の影響を計算した後に、ＩＫＡモジュールが、ブロック１７５において、全ての未知の入力変数が試験されたかどうかを判定するためにチェックされる。 試験されなかった場合には、次の未知の変数が試験される。 そうでない場合には、モジュールはブロック１
７７に進み、そこで、全ての未知の入力変数に関する影響測定が、最大の測定値が１００．０になるように決定されたスケーリング定数により積算される。 定数が、１
００．０をスケーリングされなかった測定値の最大値で割ることにより計算される。 ブロック１７９において、
スケーリングされた影響の測定値が、対応する変数の平均値と共に、出力として生成される。 出力は影響測定値により数値的に順序付けられる。

【００８９】図１１は、再び、図８に示す貸出に対する応用例と、図７に示すネットワークとを用いて、ＩＫＡ
の出力の例を含んでいる。 前掲の例にように、この例は、私たちが、信用報告書に由来する図８にリストアップされた値のみを知っていることを仮定する。 ここでは、５つの未知の入力変数が存在する。 図１１の出力は、これらの５つの変数に関して計算された影響の測定値を、図６の流れ図に示した方法を用いて、示している。 測定値は、銀行カード口座、又は就労年月が結論に到達するための最大の変数であることを示している。 その場合に、居住年月値を知ることが最も価値がないことを示している。

【００９０】ＩＫＡモジュールにより計算された影響の測定は、説明モジュール２３により計算された貢献と同様に、入力値の現在の組に依存している。 こうして、未知の入力変数が、大きな影響測定値に示されているように、同じ状況において重要なものとなり、他のものが重要でなくなる可能性があることを示している。

【００９１】

【発明の効果】以上のように、本発明は、説明を含むエキスパートシステムの機能にフィードフォワードニューラルネットワークの機能が付加されたようなシステムである。 本発明は、従来技術の欠点を克服する。 特に、本発明は、連続状態のフィードフォワードネットワークに関する欠点を克服し、十分な入力情報が結論を作成するために存在知る場合に決定を行うことが可能であり；その決定及びどうしてこれらの決定のうちのあるものが結論になるかを正確に説明可能であり；その決定に伴う信頼度測定を計算可能であり；未知の値を備えた相対的に重要な入力を計算可能である。 本発明は、人間が規則の形式で知識を与えることに依存せずに、事例から学習可能である点で、現存のエキスパートシステムとは異なる。 本発明の説明は、本発明が非線形関係を扱うので、
２レイヤネットワークにおける説明に関する現存の技法とは異なる。 本発明は、例えば、本発明は連続状態フィードフォワードネットワークの強力なクラス上で動作する点において、従来の混合型システムの欠点を克服可能なので、従来の混合型システムとも異なっている。

【図面の簡単な説明】

【図１】本発明に基づく、入力及び出力を含む、主な構成要素の概略図である。

【図２】本発明に基づく、推論モジュールの動作を示す流れ図である。

【図３】本発明に基づく、結論説明の動作を示す第１の流れ図である。

【図４】本発明に基づく、結論説明の動作を示す第２の流れ図である。

【図５】本発明に基づく、決定説明の動作を示す流れ図である。

【図６】本発明に基づく、知能知識獲得の動作を示す流れ図である。

【図７】貸出評価問題で動作する本発明に基づくニューラルネットワークアーキテクチャとデータフローの概略図である。

【図８】図７に示す動作において、事例の値と共に、貸出評価問題における入力変数を示している。

【図９】図７及び図８に示す貸出評価問題における決定説明の出力の例を示している。

【図１０】図７及び図８に示す貸出評価問題における結論説明の出力の例を示している。

【図１１】図７及び図８に示す貸出評価問題における知能知識獲得の出力の例を示している。

【図１２】図７及び図８に示す貸出評価問題における規則発生の出力の例を示している。

【符号の説明】