首页 / 专利库 / 人工智能 / 人工神经网络 / 前馈神经网络 / 多层感知器 / Method and device for sampling teacher signal in multivariable system

Method and device for sampling teacher signal in multivariable system

阅读:312发布:2021-01-19

专利汇可以提供Method and device for sampling teacher signal in multivariable system专利检索,专利查询,专利分析的服务。并且PURPOSE:To provide method/device for sampling a teacher signal by which time required for a calculation processing is appropriate and the convergence of an input/ output relation is satisfactory by sampling a part with much quantity of information in the output signal waveform of an unknown system and setting the number of the teacher signals which are to be learned by a multilayered perceptron to be appropriate. CONSTITUTION:An input part 21 samples a time sequential information signal xj which the unknown system 3 outputs at the interval of prescribed time. An output signal xj is inputted to a differential part 22, and the differential vector xj of the output signal xj is operated. An inner product operation part 24 calculates the cosine values of the differential vector xj of the output signal xj and a differential vector xj-1 at a previous sampling point. A comparison part 25 operates an angle thetaj which the two differential vectors make based on the cosine values. When the angle thetaj is compared with a reference value theta0 and the angle thetaj is equal or larger than the reference value theta0 the sample value xj is adopted as the teacher signal. When it is smaller, it is not adopted as the teacher signal. The teacher signal of the time sequential information which is thus selected is used for the learning of the multilayered perceptron.,下面是Method and device for sampling teacher signal in multivariable system专利的具体信息内容。

【特許請求の範囲】
  • 【請求項1】独立した1つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力し、これらの演算結果に対して第二の演算を行い、複数の演算処理結果を出力し、前記第二の演算結果に対して第三の演算を行い、複数の演算処理結果を出力する多層パーセプトロンを使用し、 時系列信号を、ある時間間隔を有するサンプリング点でサンプリングし、そのサンプリング値から前記時系列情報の前記サンプリング点での微分ベクトルを順次演算し、一時記憶し、 前記サンプリング点以前のサンプリング点での前記時系列情報の前記微分ベクトルと、前記サンプリング点での前記時系列情報の微分ベクトルに基づいて、前記サンプリング点での前記時系列情報のサンプリング値の有意性を判定し、 前記有意性の判定において、有意と判定されたサンプリング値を多層パーセプトロンの教師信号として使用する多変数システムにおける教師信号のサンプリング方法。
  • 【請求項2】請求項1記載の多変数システムにおける教師信号のサンプリング方法において、 前記時系列情報のサンプリング値の有意性の判定を、前記サンプリング点の前記時系列情報の微分ベクトルと、
    前記サンプリング点以前のサンプリング点での前記時系列情報の微分ベクトルの作る角度を、この二つの微分ベクトルの内積の値に基づいて演算し、前記角度が一定の値以上であることをもって行うことを特徴とする多変数システムにおける教師信号のサンプリング方法。
  • 【請求項3】独立した1つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力する入力ノードを複数個有する入力処理手段と、該入力処理手段内の複数の入力ノードから複数の演算結果を入力して第二の演算を行い、複数の演算処理結果を出力する少なくとも1段の中間ノードを複数個有する中間処理手段と、該中間処理手段内の複数の中間ノードから複数の演算処理結果を入力して第三の演算を行い、1つの出力信号を出力する複数の出力ノードを有する出力処理手段とを有する多層パーセプトロンを有し、 未知のシステムから出力される時系列信号を、ある時間間隔を有するサンプリング点でサンプリングし、そのサンプリング値から前記時系列情報の前記サンプリング点での微分ベクトルを順次演算し、一時記憶し、 前記サンプリング点以前のサンプリング点での前記時系列情報の前記微分ベクトルと、前記サンプリング点での前記時系列情報の微分ベクトルに基づいて、前記サンプリング点での前記時系列情報のサンプリング値の有意性を判定し、 前記有意性の判定において、有意と判定されたサンプリング値を多層パーセプトロンの教師信号として使用し、 未知のシステムの入出力関係を同定する多変数システムにおける教師信号のサンプリング方法。
  • 【請求項4】請求項3記載の多変数システムにおける教師信号のサンプリング方法において、 前記時系列情報のサンプリング値の有意性の判定を、前記サンプリング点の前記時系列情報の微分ベクトルと、
    前記サンプリング点以前のサンプリング点での前記時系列情報の微分ベクトルの作る角度を、この二つの微分ベクトルの内積の値に基づいて演算し、前記角度が一定の値以上であることをもって行うことを特徴とする多変数システムにおける教師信号のサンプリング方法。
  • 【請求項5】独立した1つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力する入力ノードを複数個有する入力処理手段と、該入力処理手段内の複数の入力ノードから複数の演算結果を入力して第二の演算を行い、複数の演算処理結果を出力する少なくとも1段の中間ノードを複数個有する中間処理手段と、該中間処理手段内の複数の中間ノードから複数の演算処理結果を入力して第三の演算を行い、1つの出力信号を出力する複数の出力ノードを有する出力処理手段とを有する多層パーセプトロンを有し、 時系列信号を、ある時間間隔を有するサンプリング点でサンプリングする手段と、そのサンプリング値から前記時系列情報の前記サンプリング点での微分ベクトルを順次演算し、一時記憶する手段と、 前記サンプリング点以前のサンプリング点での前記時系列情報の前記微分ベクトルと、前記サンプリング点での前記時系列情報の微分ベクトルに基づいて、前記サンプリング点での前記時系列情報のサンプリング値の有意性を判定する手段と、 前記有意性の判定において、有意と判定されたサンプリング値を多層パーセプトロンの教師信号として使用する手段を有する多変数システムにおける教師信号のサンプリング装置。
  • 【請求項6】請求項5記載の多変数システムにおける教師信号のサンプリング装置において、 前記時系列情報のサンプリング値の有意性の判定する手段は、前記サンプリング点の前記時系列情報の微分ベクトルと、前記サンプリング点以前のサンプリング点での前記時系列情報の微分ベクトルの作る角度を、この二つの微分ベクトルの内積の値に基づいて演算し、前記角度が一定の値以上であることを検出する手段によることを特徴とする多変数システムにおける教師信号のサンプリング装置。
  • 说明书全文

    【発明の詳細な説明】

    【0001】

    【産業上の利用分野】本発明は、ニューラルネットワーク等の多変数システムにおける教師信号のサンプリング方法およびその装置、特にパーセプトロンを使用した多変数システムにおける教師信号のサンプリング方法およびその装置に関する。

    【0002】

    【従来の技術】入出の関数関係が未知であるシステムの入出力関係の同定方法として、従来から、多層パーセプトロンを用い、誤差逆伝播法で学習させる方法が知られている。

    【0003】多層パーセプトロンは、多入力1出力の単位ユニットが、信号を伝達するリンクによって層状に多数結合されたネットワークである。 各々のリンクには結合の強さを表すウェイトと呼ばれる係数が定義されている。

    【0004】各単位ユニットは、リンクによって入力側に結合されている他のいくつかのユニットの出力にリンクのウェイトを乗じたものを入力として受け取る。 受け取られた入力は加算され、入力の総和が計算される。 この入力の総和と単位ユニットの入出力関数に従ってその単位ユニットの出力が決まる。 この出力は出力側リンクを通じて、次の単位ユニットへと伝えられてゆく。

    【0005】多層パーセプトロンにおいては、同じ層内にある単位ユニット間のリンクやフィードバックリンクはなく、信号の流れは、入力層→中間層→・・・→出力層の入力層側から出力層側に一方向である。 多層パーセプトロンとは、以上のような動作により、未知のシステムの入出力間の関数関係を推定する等の用途に使用されるものである。

    【0006】以上述べたような多層パーセプトロンのウェイトを教師信号と呼ばれる信号を用いて調整し、未知のシステムの入出力関係を推定可能な状態にすることを、学習するという。 この学習に使用される教師信号は、入出力関係を推定する未知のシステムの実際の入出力データをサンプリングして使用する。 ここで、この未知のシステムから得られる出力情報が時系列情報である場合について述べる。

    【0007】以下、多層パーセプトロン10に入力される時系列情報のサンプリング方法について説明する。 図7は、サンプリング間隔を短くして時系列情報Aをサンプリングする場合を示す図である。 図8は、サンプリング間隔を長くして時系列情報Aをサンプリングする場合を示す図である。 ここで、図7および図8のいずれにおいても、それぞれサンプリング間隔は一定となっている。

    【0008】未知のシステムの出力する時系列情報A
    は、図7および図8に示す(...、t j-1 、t j 、t
    j+1 、. . . )(j=整数)のタイミングで順次サンプリング(標本化)され、計算機に接続された測定装置(図示せず)から前記計算機にサンプリングデータ(出力サンプル)として入力される。 この出力サンプルは、
    対応する未知のシステムに入力されるデータ(入力サンプル)とともに前記計算機に記憶される。

    【0009】この記憶されたサンプリングデータは、上述したような多層パーセプトロン10に学習を行わせる際の教師信号(入出力サンプル)として使用される。 実際には、未知のシステムの出力する時系列情報は、多層パーセプトロン10の入力層11の単位ユニット110
    の数だけ存在し、時系列情報Aと同様に計算機に記憶され、対応する未知のシステムへの入力サンプルとともに多層パーセプトロン10の入出力サンプルとして使用される。

    【0010】

    【発明が解決しようとする課題】以上述べたように、従来の多変数システム(多層パーセプトロン)における教師信号のサンプリング方法およびその装置においては、
    教師信号(入出力サンプル)を予め設定された一定時間間隔で、未知のシステムの出力信号波形を標本化するように構成されていたので、未知のシステムの入出力関係の同定の精度を上げようとしてサンプリング間隔を短くした場合、多層パーセプトロンが学習すべき教師信号の数が著しく増大し、計算処理に長時間を要し、また、いわゆる過学習等が発生し、多層パーセプトロンの入出力関係が収束しにくいという問題がある。 一方、サンプリングの時間間隔を長くした場合、計算処理に要する計算処理に要する時間は短くなる。 しかし、この場合、誤った学習を行う可能性が高くなる。

    【0011】本発明は以上に述べたような問題点に鑑みてなされたものであり、未知のシステムの出力信号波形の内、信号の変化の大きい部分(情報量の多い部分)を主にサンプリングし、多層パーセプトロンに学習させようとする教師信号の数を適正にすることが可能であり、
    この結果、計算処理に要する時間が妥当で、しかも多層パーセプトロンにおける入出力関係の収束のよい多変数システムにおける教師信号のサンプリング方法およびその装置を提供することを目的とする。

    【0012】

    【課題を解決するための手段】上記の目的を達成するために、本発明の多変数システムにおける教師信号のサンプリング方法およびその装置は、独立した1つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力し、これらの演算結果に対して第二の演算を行い、複数の演算処理結果を出力し、前記第二の演算結果に対して第三の演算を行い、複数の演算処理結果を出力する多層パーセプトロンを使用し、時系列信号を、ある時間間隔を有するサンプリング点でサンプリングし、そのサンプリング値から前記時系列情報の前記サンプリング点での微分ベクトルを順次演算し、一時記憶し、前記サンプリング点以前のサンプリング点での前記時系列情報の前記微分ベクトルと、前記サンプリング点での前記時系列情報の微分ベクトルに基づいて、前記サンプリング点での前記時系列情報のサンプリング値の有意性を判定し、
    前記有意性の判定において、有意と判定されたサンプリング値を多層パーセプトロンの教師信号として使用する。

    【0013】また、前記時系列情報のサンプリング値の有意性の判定を、前記サンプリング点の前記時系列情報の微分ベクトルと、前記サンプリング点以前のサンプリング点での前記時系列情報の微分ベクトルの作る度を、この二つの微分ベクトルの内積の値に基づいて演算し、前記角度が一定の値以上であることをもって行うことを特徴とする。

    【0014】また、独立した1つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力する入力ノードを複数個有する入力処理手段と、該入力処理手段内の複数の入力ノードから複数の演算結果を入力して第二の演算を行い、複数の演算処理結果を出力する少なくとも1段の中間ノードを複数個有する中間処理手段と、該中間処理手段内の複数の中間ノードから複数の演算処理結果を入力して第三の演算を行い、1つの出力信号を出力する複数の出力ノードを有する出力処理手段とを有する多層パーセプトロンを有し、未知のシステムから出力される時系列信号を、ある時間間隔を有するサンプリング点でサンプリングし、そのサンプリング値から前記時系列情報の前記サンプリング点での微分ベクトルを順次演算し、一時記憶し、前記サンプリング点以前のサンプリング点での前記時系列情報の前記微分ベクトルと、前記サンプリング点での前記時系列情報の微分ベクトルに基づいて、前記サンプリング点での前記時系列情報のサンプリング値の有意性を判定し、前記有意性の判定において、有意と判定されたサンプリング値を多層パーセプトロンの教師信号として使用し、未知のシステムの入出力関係を同定する。

    【0015】また、前記時系列情報のサンプリング値の有意性の判定を、前記サンプリング点の前記時系列情報の微分ベクトルと、前記サンプリング点以前のサンプリング点での前記時系列情報の微分ベクトルの作る角度を、この二つの微分ベクトルの内積の値に基づいて演算し、前記角度が一定の値以上であることをもって行うことを特徴とする。

    【0016】また、独立した1つの信号入力に対して第一の演算を行い、複数の演算処理結果を出力する入力ノードを複数個有する入力処理手段と、該入力処理手段内の複数の入力ノードから複数の演算結果を入力して第二の演算を行い、複数の演算処理結果を出力する少なくとも1段の中間ノードを複数個有する中間処理手段と、該中間処理手段内の複数の中間ノードから複数の演算処理結果を入力して第三の演算を行い、1つの出力信号を出力する複数の出力ノードを有する出力処理手段とを有する多層パーセプトロンを有し、時系列信号を、ある時間間隔を有するサンプリング点でサンプリングする手段と、そのサンプリング値から前記時系列情報の前記サンプリング点での微分ベクトルを順次演算し、一時記憶する手段と、前記サンプリング点以前のサンプリング点での前記時系列情報の前記微分ベクトルと、前記サンプリング点での前記時系列情報の微分ベクトルに基づいて、
    前記サンプリング点での前記時系列情報のサンプリング値の有意性を判定する手段と、前記有意性の判定において、有意と判定されたサンプリング値を多層パーセプトロンの教師信号として使用する手段を有する。

    【0017】また、前記時系列情報のサンプリング値の有意性の判定する手段は、前記サンプリング点の前記時系列情報の微分ベクトルと、前記サンプリング点以前のサンプリング点での前記時系列情報の微分ベクトルの作る角度を、この二つの微分ベクトルの内積の値に基づいて演算し、前記角度が一定の値以上であることを検出する手段によることを特徴とする。

    【0018】

    【作用】未知のシステムの出力信号を一定時間間隔でサンプリングし、それぞれのサンプリング点での出力信号波形の微分値ベクトルを演算する。 この微分値ベクトルと、それぞれのサンプリング点の一つ前のサンプリング点での信号波形の微分値ベクトルから未知のシステムの出力信号波形の変化点を抽出し、この変化点のみを教師信号として計算機に記憶することにより、未知のシステムの出力信号の内、情報量が多い点のみを多層パーセプトロンの入力とすることができる。 この結果、単に等時間間隔でサンプリングする場合に比べて教師信号の数が適正となり、計算橇時間が妥当なものとなる。 また、それぞれの教師信号のもつ情報量が多い(有意である)ため多層パーセプトロンの同定する入出力関係が収束しやすく、また、その精度は高くなる。

    【0019】

    【実施例】以下、実施例を説明する。 図1は本発明の多変数システムにおける教師信号のサンプリング方法およびその装置に適用される多層パーセプトロン10の構成を示す図である。 図1において、多層パーセプトロン1
    0は、入力層11、中間層13、出力層15から構成され、各層間が図1に示すような結合関係(入力層と中間層の結合12、および中間層と出力層の結合14)を有する3層パーセプトロンである。 入力層11、中間層1
    3、および出力層15は、それぞれk個、m個、n個の単位ユニット(ノード)110a〜110k、130a
    〜130m、150a〜150nから構成される階層である。

    【0020】ここで、入力層11に含まれる単位ユニット110の数は同定を行う未知の関数の入力変数の数であり、出力層15に含まれる単位ユニット150の数は出力変数の数である。 中間層13に含まれる単位ユニット130の初期の数は任意である。 また、単位ユニット110a〜110k、130a〜130m、150a〜
    150nは、それぞれ計算機(図示せず)上において、
    ソフトウェアで構成されるものである。

    【0021】以下、多層パーセプトロン10の動作について説明する。 入力層11と中間層13は入力層と中間層の結合12の矢印で示されるような結合関係を有し、
    中間層13と出力層15は中間層と出力層の結合14の矢印で示されるような結合関係を有している。

    【0022】ここで、中間層13に含まれる単位ユニット130i(i=1、2、...m)について動作を説明する。 単位ユニット130iは、入力層11に含まれる単位ユニット110j(j=1、2、...k)の出力Y jに、単位ユニット110jと単位ユニット130
    iの結合の強さを表す数値、ウェイトW ijを乗算した値の総和を入力とし、その入力に対してある非線形関数f
    を施した値Y iを出力する。 つまり、単位ユニット13
    0の出力Y iと単位ユニット110の出力Y jには、

    【数1】

    の関係が成り立つ。

    【0023】中間層13に含まれる単位ユニット130
    iと出力層15に含まれる単位ユニット150 hの間にも同様の関係が成り立つ。 つまり、単位ユニット150
    hの出力Y h (h=1、2、...n)単位ユニット1
    30の出力Y iには、

    【数2】

    の関係が成り立つ。 ここで、関数gは、上記関数fに対応する非線形関数であり、通常g=fである。 また、W


    hiは、上記ウェイトW

    ijに対応する結合の強さを表す数値である。

    【0024】未知のシステムの入力値と出力値の組み合わせのサンプル(教師信号)が充分多数存在する場合、
    以上述べた多層パーセプトロン10に前記未知のシステムの入力値のサンプルを入力し、この入力値に対する多層パーセプトロン10の出力と、対応する未知のシステムの出力値のサンプルを比較し、多層パーセプトロン1
    0の出力と未知のシステムの出力値のサンプルの値が一致するように上記ウェイトW hiおよびウェイトW ijを調節する(以下、これを学習するという)。 この操作を充分な回数繰り返すことにより、多層パーセプトロン10
    は未知のシステムの入出力関係の同定を行う。

    【0025】多層パーセプトロン10の形式において、
    3層以上の階層を有するパーセプトロンについては、中間層(3層以上の多層パーセプトロンにおいて、入力層と出力層以外の階層)の単位ユニット数を充分に数多く用意すれば、あらゆる未知のシステムの入出力の関数関係が任意の精度で近似できることが知られている。

    【0026】また、多層パーセプトロン10に上記学習をさせる方法としては、誤差逆伝播法と呼ばれる方法が有力なものとして知られている。 誤差逆伝播法は、未知のシステムのp番目の出力サンプルZ p 'と多層パーセプトロン10の出力Z pの誤差の2乗の総和を最小にする方法である。 この2乗誤差の総和を損失関数Eとする。 損失関数Eは、

    【数3】

    ただし、(式3)においてwは入力サンプル数である。


    と表すことができる。

    【0027】この各ウェイトW hi 、W ijに関する各勾配(gradient)方向に各ウェイトW hi 、W ijを修正する。 この方法は、最急降下法に相当する。 つまり、
    学習前のウェイトW hi 、W hiと学習後のウェイトW hi '、W ij 'は、

    【数4】

    【数5】

    および、

    【数6】

    【数7】

    のような関係となる。

    【0028】図2は、本発明を実現するサンプリング装置1の構成を示す図である。 図2において、計算機2
    は、サンプリング装置1を実現する、CPU、メモリ、
    I/O回路等(図示せず)から構成される一般的なディジタル計算機である。 以下、説明の便宜のため、サンプリング装置1のハードウェアの動作は適宜省略して記述する。 未知のシステム3は入出力関係の同定の対象となるシステムである。 説明の便宜上、この実施例においては、未知のシステム3が1入力、1出力のシステムの場合について述べる。 従って、多層パーセプトロン10も1入力、1出力の多層パーセプトロンとなる。 サンプリング部20は、未知のシステム3に入力信号を与え、その出力信号をサンプリングする部分である。

    【0029】図3は、サンプリング部20の構成を示す図である。 図3において、入力部21は、未知のシステム3の出力信号を一定時間間隔でサンプリングする部分である。 微分部22は、入力部21でサンプリングされた未知のシステム3の出力信号を微分し、微分ベクトルを演算する部分である。 記憶部23は、微分部22から得られた微分ベクトルを次のサンプリング点まで記憶する部分である。

    【0030】内積演算部24は、微分部22で得られた微分ベクトルと、記憶部23に記憶された前回のサンプリング点の微分ベクトルの内積を演算し、これら二つのベクトルのつくる余弦(コサイン)値cosθを演算する部分である。 比較部25は、内積演算部24で得られた余弦値を基準値(cosθ 0 )と比較する部分である。 記憶部26は、基準値(cosθ 0 )を記憶する回路である。

    【0031】記憶部27は、比較部25から出力されるサンプリング点決定信号に基づき、入力部21から出力される未知のシステム3の出力信号のサンプリング値(出力サンプル)を、それに対応する未知のシステム3
    の入力値(入力サンプル)とともに記憶する部分である。 出力部28は、上記入力サンプルを未知のシステム3に出力する部分である。 以上述べたサンプリング装置1の各部分は、ハードウェア的に構成されているか、ソフトウェア的に構成されているかを問わないものとする。 また、出力部28とその他の部分は、同一計算機上に構成されているか、別々の計算機に構成されているかを問わないものとする。

    【0032】以下、動作について説明する。 図4は、本発明のサンプリング方法の原理を説明する図である。 以下、図4を参照して説明する。 出力部28から一定時間間隔で出力される、未知のシステム3への入力信号Yに対して、図4(A)に示すような信号(時系列情報)が未知のシステム3より出力されている。

    【0033】入力部21は、一定時間間隔で、図4中に示す(...、t j-1 、t j 、t j+1 、...)の各点で未知のシステム3の出力信号をサンプリングする。 この時点でのサンプリング点はt jであり、上記各点でのサンプリング値はそれぞれx j-1 、x j 、x j+1である。 つまり、入力部21でのサンプリング点は図7および図8に示したサンプリング点と同様に、等時間間隔に並んでいることになる。

    【0034】サンプリングされた出力信号x jは微分部22に入力され、出力信号x jの微分ベクトルx j 'が演算される。 ここで、微分ベクトルx j 'の演算方法には種々のものが考えられる。 例えば、上記各サンプリング点(...、t j-1 、t j 、t j+1 、...)の近傍に、さらにサンプリング点を設け、未知のシステム3の出力信号をサンプリングし、各サンプリング点と、その近傍のサンプリング点のサンプル値から微分ベクトルx
    j 'を近似する。 あるいは、サンプリング点とその一つ前のサンプリング点でのサンプル値から微分ベクトルx
    j 'を近似するといった方法が考えられる。

    【0035】微分部22で演算された微分ベクトルx j
    は、記憶部23および内積演算部24に入力される。 記憶部23では、微分ベクトルx j 'を次のサンプリング点まで記憶する。 内積演算部24は、上記微分ベクトルx j 'の他に記憶部23より、一つ前のサンプリング点での微分ベクトルx j-1 'が入力される。 内積演算部2
    4では、微分ベクトルx j 'と微分ベクトルx j-1 'の内積を計算し、両者の余弦値を計算する。 つまり、

    【数8】

    の演算を行う。

    【0036】内積演算部24で計算された余弦値cos
    θ jは比較部25に入力され、角度θ jが演算される。
    この角度θ jは記憶部26に記憶される基準値θ 0と比較される。 角度θ jが基準値θ 0より同値か大きい場合、サンプル点決定信号が活性化され、記憶回路27は未知のシステム3の出力信号のサンプル値x jを教師信号の出力サンプルとして記憶し、また、この時点での未知のシステム3への入力信号Y jを教師信号の入力サンプルとして記憶し、多層パーセプトロン10に対して出力する。

    【0037】角度θ jが基準値θ 0より小さい場合、サンプリング点t jでのサンプリング値x jは記憶されず、教師信号として採用されない。 以上で一つのサンプリング値についての処理を終了する。 このような処理が各サンプリング値について行われる。 なお、角度θ jと基準値θ 0が同値の場合のサンプリング値x jの取扱は以上述べた限りではなく、このサンプリング値x jを記憶せず、教師信号として採用しないよう構成してもよい。

    【0038】図4においては、サンプリング点t jにおけるサンプリング値x jは、微分ベクトルx j-1 'と微分ベクトルx j 'のなす角度θ jが基準値θ 0より小さいため、教師信号として採用されない。 一方、サンプリング点t j+1におけるサンプリング値x j+1は、微分ベクトルx j 'と微分ベクトルx j+1 'のなす角度θ j+1
    が基準値θ 0より大きいため、教師信号として採用される。

    【0039】多層パーセプトロン10に入力された教師信号の入力サンプルおよび出力サンプルは多層パーセプトロン10の学習に使用される。 多層パーセプトロン1
    0での学習の際の動作は、上述の通りである。

    【0040】図5は、サンプリング装置1を図7および図8に示す未知のシステム3の出力信号波形に適用した場合に、教師信号として採用されたサンプリング値に対応するサンプリング点を示す図である。 図5において、
    教師信号として採用されたサンプリング値に対応するサンプリング点は図中に縦の点線で示してある。 図5
    (A)に示す、未知のシステム3の出力信号の変化が多い部分においては、教師信号として採用されるサンプリング値に対応するサンプリング点の現れる頻度が高くなっている。 一方、変化の比較的少ない図5中の(B)に示す部分においては、教師信号として採用されるサンプリング値に対応するサンプリング点の現れる頻度は少なくなっている。

    【0041】図6は、この実施例におけるサンプリング装置1の処理を示すフローチャートである。 図6において、ステップ00(S00)において、入力部21は、
    一定時間間隔で未知のシステム3の出力信号x jをサンプリングする。 ステップ01(S01)において、サンプリングされた出力信号x jは微分部22に入力され、
    出力信号x jの微分ベクトルx j 'が演算される。 ステップ02(S02)において、微分部22で演算された微分ベクトルx jは記憶部23および内積演算部24に入力される。 記憶部23では、微分ベクトルx j 'を次のサンプリング点まで記憶する。 内積演算部24は、上記微分ベクトルx j 'の他に記憶部23より、一つ前のサンプリング点での微分ベクトルx j-1 'が入力され、
    微分ベクトルx j 'と微分ベクトルx j-1 'の内積を計算し、両者の余弦値を計算する。 つまり、

    【0042】ステップ03(S03)において、内積演算部24で計算された余弦値cosθ jは比較部25に入力され、角度θ jが演算される。 角度θ jは記憶部2
    6に記憶される基準値θ 0と比較される。 角度θ jが基準値θ 0より同値か大きい場合、S04の処理に進み、
    小さい場合、処理を終了する。 ステップ04(S04)
    において、サンプル点決定信号が活性化され、記憶回路27は未知のシステム3の出力信号のサンプル値x jを教師信号の出力サンプルとして記憶し、また、この時点での未知のシステム3への入力信号Y jを教師信号の入力サンプルとして記憶し、多層パーセプトロン10に対して出力する。

    【0043】この実施例においては、未知のシステム3
    は1入力、1出力の場合について述べたが、複数入力、
    複数出力のシステムについてもサンプリング装置1を同様の構成で適用できる。 この場合、前記複数の出力信号のうち、いずれか一つに有意なサンプリング値が発生したことをもって前記サンプリング点決定信号を活性化するように構成する。 あるいは、前記複数の出力信号のうち、重要な信号に有意なサンプリング値が発生したことをもって前記サンプリング点決定信号を活性化するように構成する等の種々の構成が考えられる。

    【0044】上記実施例においては、中間層が1層の多層パーセプトロンを例に説明したが、中間層を2層以上有する多層パーセプトロンについても本発明の多変数システムにおける教師信号のサンプリング方法およびその装置は適用可能である。 また、多層パーセプトロンを計算機上でソフトウェア的に実現したが、他の構成、例えば、1つ、または複数の単位ユニットを1つの計算機上で実現し、この計算機を多数接続する、いわゆるマルチプロセッサシステムにおいて多層パーセプトロンを実現してもよい。 本発明の多変数システムにおける教師信号のサンプリング方法およびその装置は、以上述べた他に種々の構成をとることができる。 以上述べた実施例は例示である。

    【0045】

    【発明の効果】以上述べたように、本発明によれば、未知のシステムの出力信号波形の内、信号の変化の大きい部分(情報量の多い部分)を主にサンプリングし、多層パーセプトロンに学習させようとする教師信号の数を適正にすることが可能であり、この結果、計算処理に要する時間が妥当で、しかも多層パーセプトロンにおける入出力関係の収束のよい多変数システムにおける教師信号のサンプリング方法およびその装置を提供することができる。

    【図面の簡単な説明】

    【図1】本発明の多変数システムにおける教師信号のサンプリング方法およびその装置が適用される多層パーセプトロンの構成を示す図である。

    【図2】本発明を実現するサンプリング装置の構成を示す図である。

    【図3】本発明のサンプリング部の構成を示す図である。

    【図4】本発明のサンプリング方法の原理を説明する図である。

    【図5】本発明のサンプリング装置を図7および図8に示す未知のシステムの出力信号波形に適用した場合に、
    教師信号として採用されたサンプリング値に対応するサンプリング点を示す図である。

    【図6】本発明のサンプリング装置の処理を示すフローチャートである。

    【図7】従来の多変数システムにおける教師信号のサンプリング方法およびその装置において、サンプリング間隔を短くして時系列情報Aをサンプリングする場合を示す図である。

    【図8】従来の多変数システムにおける教師信号のサンプリング方法およびその装置において、サンプリング間隔を長くして時系列情報Aをサンプリングする場合を示す図である。

    【符号の説明】

    1・・・サンプリング装置 2・・・計算機 3・・・未知のシステム 10・・・多層パーセプトロン 11・・・入力層 110・・・単位ユニット 12・・・入力層と中間層の結合 13・・・中間層 130・・・単位ユニット 14・・・中間層と出力層の結合 15・・・出力層 150・・・単位ユニット 20・・・サンプリング部 21・・・入力部 22・・・微分部 23・・・記憶部 24・・・内積演算部 25・・・比較部 26・・・記憶部 27・・・記憶部 28・・・出力部

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈