【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人工ニューロン、
ニューラルネットワークおよびコンピュータシステムに関し、特に、生物の神経系における情報処理機能の模擬、とりわけ脳の学習や記憶などの高次情報処理機能を模擬した情報処理方式に関する。

【０００２】

【従来の技術】哺乳類の脳を微視的にみると、多数の神経細胞がそれぞれ神経線維を張り巡らし、その神経線維同士が相互にシナプスで結合した複雑な神経回路を構成している。 脳の高次情報処理機能は、この神経回路内を情報が伝達され、処理されることで実行されている。 そこで、脳を模擬した情報処理方法である従来のニューラルネットワークは、実際の神経細胞の性質を簡略化して模擬した図５に示す様な人工ニューロンで構成されていた。 この従来のニューラルネットワークで用いられている人工ニューロンは、一つまたは複数の入力人工ニューロン104から伸びた軸索105、各々の軸索末端に存在するシナプス503、人工ニューロン501、人工ニューロン501
から伸びた軸索502から成る。 該人工ニューロン501は多入力一出力の素子である。 一般に、m個の入力人工ニューロン104から入力を受ける該人工ニューロン501の入出力関係は下記の（数１）で与えられる。

【０００３】

【数１】

【０００４】ここで u _iは i 番目の入力人工ニューロン i からの入力、v は該人工ニューロン501の出力、w _i
は i 番目の入力人工ニューロン i からの入力に掛かるシナプス結合度である。 該人工ニューロンはm個の人工ニューロン i から入力を受け、そのシナプス結合度
w _iによる加重加算結果に対し、f を作用させて出力 v
を出す。 ここで、f は

【０００５】

【数２】

【０００６】を満たす単調増加関数または非単調関数である。 また、一般に、シナプス結合度w _iの変化量 dw _i
は、

【０００７】

【数３】

【０００８】で与えられる。 gは学習アルゴリズムと呼ばれる該シナプス結合度の更新手段を示す。 該シナプス結合度はシナプス結合度の変化量を用いて、

【０００９】

【数４】

【００１０】によって更新される。 ここで c ₀は定数である。 上記シナプス結合度を変化させる方法には様々なものがある。 その一つに自己生成的な学習アルゴリズムであるHebb則（連合作用則）がある。 これは、シナプスを挟んで隣接した２つの人工ニューロンが双方とも高い活動度を持つとき、このシナプス結合度を上昇させるというアルゴリズムである。 また、非自己生成的ないわゆる「教師付き学習アルゴリズム」の代表的なものとして、バックプロパゲーション法がある。 これは、上記の入力人工ニューロン104、人工ニューロン501を構成要素とし、入力層・中間層・出力層から成る階層ニューラルネットワークにおいて、ある入力に対する出力と、あらかじめ用意された教師信号との差をフィードバックし、
上記のシナプス結合度を変化させるアルゴリズムである。

【００１１】

【発明が解決しようとする課題】上記の様な、従来の人工ニューロンで構成されたニューラルネットワークは、
その表現力や柔軟性に乏しい、あるいは学習の速度が遅い、という問題があった。

【００１２】本発明は上記問題に鑑みてなされたものであり、その課題は、従来の人工ニューロンで構成されたニューラルネットワークでは実現が困難であった、表現力や柔軟性に富んだ学習の早いニューラルネットワークと、その構成要素である新規な人工ニューロンを提供することにある。

【００１３】

【課題を解決するための手段】本発明は、上記課題を解決するための手段として、実際の脳の情報処理方式に発想を得た新規な人工ニューロンと、該人工ニューロンで構成されるニューラルネットワークとを提供する。

【００１４】近年、脳は、神経細胞が構成する神経回路を用いた情報処理だけでなく、この神経回路の構造に依存しない別の情報伝達方式も併用していることが報告された。 例えば、視床下部や下垂体の神経細胞が化学物質を血液や脳脊髄液に放出することで脳内の広範囲に渡る神経細胞に情報を直接伝達する方法である（Volume Tra
nsmission in the Brain: Novel Mechanisms for Neura
l Transmission, edited by Kjell Fuxe and Luigi F.
Agnati. Raven Press, Ltd., New York, pp.1 - 9, 19
91）。 また、間脳や松果体などで分泌されるセロトニンが大脳皮質の90 % 以上の神経細胞に発現しているセロトニンレセプタ（5HT2A receptor）に作用し、シナプスの維持やシナプス可塑性の促進を行うという報告もある（ShunHamada, Nobuo Okado and Kouji Senzaki, Inter
national Workshop on Brainware, Tokyo, pp. 98 - 10
0, 1996）。 本発明では、以降、上記の神経線維とシナプスを介した神経細胞間の情報伝達を「結合性の情報伝達」と呼び、上記の様なシナプスを介さない情報伝達を「非結合性の情報伝達」と呼ぶことにする。 結合性の情報伝達の特長は、情報を特定の細胞だけに数ミリ秒程度の時間遅れで伝達できる点にある。 その機能は、整った構造を有する神経回路を用いて確実な情報処理を行うことであると考えられる。 一方、非結合性の情報伝達の特長は、情報を脳内の広範囲に渡る多数の細胞に一度に伝達可能で、しかも作用持続時間が長い点にある。 その機能は、ホルモン等の物質を用いて脳全体の状態を調節することであると考えられる。 現実の脳はこれら２種類の情報伝達の機能を巧く組み合わせて高次情報処理を実現していると考えられる。 実際の脳における上記の非結合性の情報伝達の役割を具体的に示すと、例えば、ある行為の結果多くの報酬が得られた際、気分を高揚させることでその行為や状況の記憶を強く定着させることが考えられる。 また、状況判断の誤りにより危険な目に合った場合、恐怖感を脳全体に伝えることで、その経過と正しい判断を強力に学習させることが考えられる。 即ち、これらの場合における非結合性の情報伝達の本質的役割は、行為や状況判断の結果に関する脳全体への強力な学習教師信号であると考えられる。 また、例えば、やる気を出した時は多くの事項を短時間に容易に記憶できるが、この場合における非結合性の情報伝達の本質的役割は、効率を上げるために脳の全体あるいは一部分を活性化しておく、事前の調節であると考えられる。

【００１５】本発明の人工ニューロンやニューラルネットワークは、上記の様な実際の脳の性質に学び、個々の人工ニューロンが結合性の情報伝達信号だけでなく非結合性の情報伝達信号に相当する外部入力信号をも受容する手段を有することを特長とする（図１参照）。 本発明の人工ニューロンおよびニューラルネットワークを用いることで、個々の人工ニューロンの細胞体やシナプスの調節とは独立に、該ニューラルネットワーク全体の状態を直接的に制御することが可能となる。 即ち、入力人工ニューロンからの入力とは異なる外部入力を制御することで、該ニューラルネットワーク全体の状況を迅速に切り替えたり、全体の整合性を調整して協調させることが可能となる。 これらの特性を生かすことで、例えば「人間に似た応答をするコンピュータ」や「しなやかで人に優しいマンマシンインターフェイス」等の感性工学（北原義典、電子情報通信学会誌、81巻、60-67ページ、199
8年を参照）の分野への応用が可能である。 これは例えば、ネットワーク全体の状態を様々なレベルに速やかにスイッチできる機能を用いて、コンピュータの使用者の感情や生理的状態に合せて応答を変えるコンピュータシステム、あるいは使用者の反応に合わせて出力を変えるコンピュータシステム（図３参照）等を構成できる。 また、全体的な入出力結果を価値判断し、これを該外部入力としてニューラルネットワークの全体あるいは特定の部分に迅速にフィードバックして、フィードバック部分の活性を高めてシナプスが可塑的変化を受けやすい状態にすることで、ネットワーク全体の学習を加速することができる。 さらに、ニューラルネットワークの学習段階で系がローカルミニマムの状態に陥って学習が進行しない場合、該外部入力を用いて容易にこれを開放することができる。

【００１６】該非結合性の情報伝達信号は一種類に限定されず、複数の異なる外部入力の受容体を用いて複数の外部入力を使い分けることができる。 実際の脳でも非結合性の情報伝達に用いられる化学物質は一種類だけではなく、上記のセロトニンの他ノルアドレナリン等の複数の物質が用いられ、作用部位に応じて使い分けていると考えられる。 また、該外部入力の作用時間は任意に設定してよい。 実際の脳においても、非結合性の情報の作用時間は数秒から数分間におよぶ。

【００１７】本発明における、細胞体部分にシナプス以外の入力受容器を有する新規な人工ニューロンは、下記の（数5）の様に記述される。

【００１８】

【数５】

【００１９】ここで、F は

【００２０】

【数６】

【００２１】を満たす単調増加関数または非単調関数である。 また h は非結合性の外部入力信号を表す。 a は該外部入力信号の該人工ニューロンへの影響の強さを規定する関数である。 つまり、該外部入力信号の該人工ニューロンへの影響の強さは常に一定である必要はなく、
系の環境に応じて変化する場合やある時間では入力がない場合があってもよい。

【００２２】本発明における、シナプス以外の入力受容器を細胞体および／またはシナプス部分に有する新規な人工ニューロンは、下記の（数7）の様に記述される。

【００２３】

【数７】

【００２４】ここでh _iはi番目の入力人工ニューロンにつながるシナプスに並立した該外部入力の受容器に入力する外部入力信号を表す。 h _iはそれぞれのシナプスに並立する該受容器ごとに異なっていても同一であってもよい。 また b _iはi番目の入力人工ニューロンにつながるシナプスに並立する該受容器へ入力する該外部入力信号の該人工ニューロンへの影響の強さを規定する関数である。 この場合も、該外部入力信号の該人工ニューロンへの影響の強さは常に一定である必要はなく、系の環境に応じて変化する場合やある時間では入力がない場合があってもよい。

【００２５】本発明に掛かる人工ニューロンのシナプスの学習アルゴリズムは、自己生成的なものでも非自己生成的な教師付き学習アルゴリズムに従うものでも良い。

【００２６】以上の様な実際の脳の性質に学びその性質を模擬した本発明の人工ニューロンの特長により、本発明の結合性および非結合性の情報伝達手段を有する人工ニューロンで構成されるニューラルネットワークは、従来の結合性の情報伝達手段のみを有する人工ニューロンからなるニューラルネットワークに比して、豊かな表現力や柔軟性、あるいは迅速な学習能力を持つことが可能となる。

【００２７】

【発明の実施の形態】（実施例１）以下、本発明の実施例を図面を参照しながら詳細に説明する。

【００２８】図１は本発明の実施例の一例である。 本発明の人工ニューロンにおける構成上の第一の特長は、図１に示す様に、細胞体部分101および／またはシナプス部分106に、特定の外部入力信号のみを受容し応答する受容体108、109、110、111、112が存在することである。 この時、シナプス部分に並立する外部入力受容体10
8、109、110は、並立する入力人工ニューロン104の後シナプス部分へ作用し、短期的な影響および／または長期に渡る可塑的変化を及ぼすことができる。 さらに、該外部入力受容体108、109、110は入力人工ニューロン104からの入力がなくても、単独で外部入力情報に応答できる。 一つの人工ニューロンに存在する該受容体は必ずしも一種類である必要はなく、図中の後シナプス部分10
8、109、110、あるいは細胞体101に作用する外部入力受容体111、112の様に、それぞれ異なる外部入力情報α、
β等に応答する該受容体を使い分けることができる。 さらに、後シナプス部分109の様に、複数の該外部入力情報に応答する受容体が並立してもよい。 本発明の人工ニューロンの出力は、入力人工ニューロン104からの入力の他に、上記の受容体を介した外部入力情報をも統合して決定される。

【００２９】本発明の人工ニューロンの細胞体101は、
別の表現をすれば、多数の入力を統合して所定の演算を行い出力を決定する加算器、入力人工ニューロン104は入力部、軸索102は出力部への経路に相当する。

【００３０】（実施例２）図２は本発明の実施例の異なる一例である。 図２は、本発明の人工ニューロンへ入力する外部入力信号がどの様な情報を用いて決定されるかを示す。 図２のブロック図におけるニューラルネットワーク201は、少なくとも一つの図１に示した本発明の人工ニューロンで構成される。 該ニューラルネットワーク
201には外部入力制御部202で作られた信号が外部入力信号として入力する。 該外部入力制御部202には、予め定められた制御予定のメモリに相当する初期設定部203、
外部環境モニタ部204、ニューラルネットワーク201の状態検出部205、ニューラルネットワーク201への入力部20
6、あるいはニューラルネットワーク201からの出力部20
7の情報が入力する。 この時、外部入力制御部202には、
制御目的に応じて、各部203、204、205、206、207からの情報のうち、少なくとも一つの情報が入力していればよい。 また、上記各部203、204、205、206、207の全てあるいはいくつかの情報が外部入力制御部202に同時に入力し、これらの情報を用いてニューラルネットワーク
201への外部入力信号が決定されてもよい。

【００３１】なお、図中の実線の矢印は入力することが必須である情報の結合関係を示し、破線の矢印は入力してもよい情報の結合関係を示す。

【００３２】（実施例３）図３は本発明の実施例の異なる一例である。 図３のニューラルネットワークは、少なくとも一つの図１に示した本発明の人工ニューロンで構成される。 該ニューラルネットワークは、入力層302、
０または１または複数の中間層303、出力層304のいずれについても、その構成要素全てが該人工ニューロンであっても良く、一部分のグループのみ該人工ニューロンで構成されていても良い。 さらに、図中の入力層302や出力層304の様に、複数の外部入力に応答する該人工ニューロンを含んでも良い。 なお、本図中における各層の人工ニューロン間の結合関係を示す線305は、図を見やすくするために大幅に省略してある。

【００３３】図中のニューラルネットワークを用いて、
ニューラルネットワーク内の特定のブロックのニューロンやシナプスの活性を上げることで、特定の情報に注意を集中する様な作動をさせることが可能である。 例えば、聴覚情報処理を行うニューラルネットワークにおいて、入力層の人工ニューロンに対し、音源の方向、例えば左右の区別を設けるために、該外部入力を用いて図の様に特定のブロックの人工ニューロンだけを活性化することで、カクテルパーティ効果の様に特定の方向からの音入力にのみ感度を上げる様な情報処理を行わせることが可能となる。

【００３４】（実施例４）図４は本発明の実施例の異なる一例である。 図４は、「人間に似た応答をするコンピュータ」や「しなやかで人に優しいマンマシンインターフェイス」を実現するシステムの構成図の一例である。
本発明のニューラルネットワーク401を含むコンピュータの使用者の表情・口調や脈拍等の生理的パラメータを検出し、これを統合・評価した後、本発明に掛かるニューラルネットワークに経路402を介してフィードバックする。 使用者の状態の観察結果を評価して与えられるこのフィードバック信号は本文中の（数5）におけるh、あるいは（数7）のh _iに相当する。 ネットワーク全体の機能を該外部入力情報を介して制御できるため、使用者の感情や生理状態を検出して予め使用者が望むと予測される応答を提示する制御戦略、および／または提示した応答に対する使用者の反応を検出・評価して次に提示する応答を変えて行く制御戦略をとることができる。 また、
この様な特定の使用者とのコミュニケーションの経験を学習し、これをデータとして蓄積し利用することで、より使用者になじむ優しい応答を示すことが可能となる。

【００３５】上記の構成を有するコンピュータシステムは、一人暮らしの人を対象とした会話装置、医療福祉機器のインターフェイスや特定の使用者に特化したユーザーフレンドリーなコンピュータ等に応用することができる。

【００３６】

【発明の効果】本発明により、実際の脳の性質を模擬した性質を有する人工ニューロンと、その人工ニューロンで構成されたニューラルネットワークの実用的な使用方法が与えられる。 本発明の結合性および非結合性の情報伝達手段を有する人工ニューロンで構成されるニューラルネットワークを用いて、入力人工ニューロンからのシナプス入力とは異なる外部入力を制御することで、該ニューラルネットワーク全体の状況を急変させたり、全体の整合性を調節して協調させることが可能となる。 これらの特性を生かすことで、例えば「人間に似た応答をするコンピュータ」や「しなやかで人に優しいマンマシンインターフェイス」等の感性工学の分野への応用が可能となる。

【００３７】本発明の人工ニューロンの実用上の別の利点は、系の入出力結果の全体的な価値判断結果をニューラルネットワークの全体あるいは特定の部分に迅速にフィードバックすることができる点である。 これは、例えば、学習の加速、あるいはニューラルネットワークの学習段階で系がローカルミニマムの状態に陥り学習が進行しない場合の開放等に応用できる。

【図面の簡単な説明】

【図１】細胞体および／またはシナプス部分に外部入力の受容体を有する人工ニューロンの実施例を示す模式図。

【図２】人工ニューロンへの外部入力信号を決定する情報の流れの実施例を示すブロック図。

【図３】人工ニューロンを少なくとも一つ含むニューラルネットワークの実施例を示す模式図。

【図４】ニューラルネットワークを含むコンピュータシステムの実施例を示す模式図。

【図５】従来の人工ニューロンの構造の一例を示す模式図。

【符号の説明】

101 … 本発明の人工ニューロンの細胞体、102 … 細胞体101から伸びた軸索、103 … 細胞体101につながる樹状突起、104 … 一つまたは複数の入力人工ニューロン、105 … 入力人工ニューロン104から伸びた軸索、10
6 … 本発明の人工ニューロンのシナプス部分、107 …
軸索105につながる前シナプス部分、108… 入力人工ニューロン104と外部入力信号αの受容体が並立した後シナプス部分、109 … 入力人工ニューロン104と外部入力信号αおよびβの受容体が並立した後シナプス部分、11
0 … 入力人工ニューロン104と外部入力信号βの受容体が並立した後シナプス部分、111… 細胞体101に直接つながる外部入力情報αの受容体、111… 細胞体101に直接つながる外部入力情報βの受容体、201 … 本発明の人工ニューロンを少なくとも一つ有するニューラルネットワーク、202 … ニューラルネットワーク201への外部入力信号を発生する外部入力制御部、203 … 予め定められた制御予定を蓄積した初期設定部、204 … 外部環境モニタ部、２０５… ニューラルネットワーク201の状態検出部、206 … ニューラルネットワーク201への入力部、207 … ニューラルネットワーク201からの出力部、301 … ニューラルネットワークを構成する人工ニューロン、302 … ニューラルネットワークの入力層、3
03 … ニューラルネットワークの０または１または複数の中間層、304 … ニューラルネットワークの出力層、3
05 … 各層の人工ニューロン間の結合関係を示す線、30
6 … 右からの入力に対応する外部入力信号γの受容体を有する人工ニューロン、307 … 左からの入力に対応する外部入力信号δの受容体を有する人工ニューロン、
401 … 本発明のニューラルネットワーク、402 …本発明のニューラルネットワークへのフードバック入力、50
1 … 従来の人工ニューロンの細胞体、502 … 細胞体50
1から伸びた軸索、503 … 入力人工ニューロン104からの入力を受けるシナプス。