Neural network learning device
专利汇可以提供Neural network learning device专利检索，专利查询，专利分析的服务。并且PURPOSE:To provide a high-speed neural network learning device by detecting and deleting unnecessary cells in a neural network part after learning a neural network without restrictions. CONSTITUTION:A neural network part 11 consists of links and cells. An example storage part 12 holds examples. A detecting part 13 detects unnecessary cells in the neural network part 11. A learning control part 14 controls learning of the neural network part 11 and restricts erasing of cells.，下面是Neural network learning device专利的具体信息内容。
前記例題記憶部に保持された例題を前記ニューラルネットワーク部の入力とし学習の制御をし、前記ニューラルネットワーク部のセル消去時には、前記検出部で検出された前記ニューラルネットワーク部中のセルを消去する学習制御部とから構成されることを特徴とするニューラルネットワーク学習装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワーク部中の不必要なセルを検出し、それらを削除することにより高速なニューラルネットワーク学習装置に関する。
【０００２】
【従来の技術】従来、ニューラルネットワークに例題を提示することによって行なう学習には、バックワードプロパゲーション法などがあり、例えば「Ｐａｒａｌｌｅ
ｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎ
ｇ」、Ｒｕｍｅｌｈａｒｔ Ｄ． Ｅ． ｅｔ． ａｌ、ＭＩ
Ｔ Ｐｒｅｓｓ、（１９８６）（以下引用文献１と称す）に記載されている。
【０００３】ニューラルネットワークの不必要なセルの作成をしない方法として、例えば、「忘却をもちいたコネクショニストモデルの構造学習アルゴリズム」、石川真澄、人工知能学会誌、Ｖｏｌ． ５、Ｎｏ． ５、ｐｐ．
５９５−６０３、（１９９０）（以下引用文献２と称す）に記載されているような技術が知られている。 この方法では、バックワードプロパゲーション法を用いる学習に従来から用いられている２乗誤差にニューラルネットワークの複雑度を付け加える。
【０００４】
【発明が解決しようとする課題】上述した従来法では、
例題の学習時にニューラルネットワークの複雑度を低減するような制約を付け加えるので、制約の強さを問題に応じて試行錯誤で適当に設定しなければならないという問題点がある。 これは、制約がきつすぎる場合には学習が進まないし、弱過ぎる場合には不必要なセルが残ってしまうからである。
【０００５】本発明の目的は、学習を下記の様な制約なしで行なった後にニューラルネットワーク部中の不必要なセルを検出し、それらを削除することにより高速なニューラルネットワーク学習装置を提供することにある。
【０００６】
【課題を解決するための手段】本発明のニューラルネットワーク学習装置は、リンクとセルで構成されるニューラルネットワーク部と、例題を保持する例題記憶部と、
前記ニューラルネットワーク部中の不必要なセルを検出する検出部と、前記ニューラルネットワーク部の学習時には、前記例題記憶部と保持された例題を前記ニューラルネットワーク部の入力とし学習の制御をし、前記ニューラルネットワーク部のセル消去時には、前記検出部で検出された前記ニューラルネットワーク部中のセルを消去する学習制御部とから構成されることを特徴とする。
【０００７】また本発明によれば、前記検出部が、セルへの入力の平均からセルへの重みベクトルと閾値で形成される超平面への距離が入力ベクトルの分散以上であればセルが常に活性または非活性の状態にあることより、
そのセルを不用なセルと見なすことが出来ることを用いて、不用なセルを検出することを特徴とする。
【０００８】
【作用】本発明では、例題を保持する例題記憶部より例題を取り出して、リンクとセルで構成されるニューラルネットワーク部を学習させる。 この学習の方法は、例えば以下引用文献１に記載されているバックワードプロパゲーション法が使える。 また、例題記憶部の全ての例題について十分学習を行ない学習が完了したニューラルネットワーク部中の不必要なセルを検出部により検出する。
【０００９】これは、中間層のセルがすべての入力に対しても常に活性あるいは非活性になる可能性がある。 この場合、中間層のセルは出力が伝搬する方向の層のセルに対しては常に同じ出力を伝搬する。 従って、次の層のセルのバイアスを変更することによって、セルを消去可能である。 検出部では、この入力に対してもその出力が変化しないセルを検出する。
【００１０】学習制御部では、ニューラルネットワークの学習の制御と消去可能なセルを検出する検出部の制御と消去可能なセルを消去し、消去した影響が現われないように次の層のセルのバイアスの変更を行なう。
【００１１】
【実施例】本願の発明の実施例について図面を参照して説明する。
【００１２】図１は発明のニューラルネットワーク学習装置の一実施例を示す構成図である。 このニューラルネットワーク学習装置は、リンクとセルで構成されるニューラルネットワーク部１１と、例題を保持する例題記憶部１２と、ニューラルネットワーク部中の不必要なセルを検出する検出部１３と、ニューラルネットワーク部の学習を制御する制御部１４を有している。
【００１３】ニューラルネットワーク部１１は、例えば、階層型ニューラルネツトワークなどがあり、セルとセル間を接続するリンクで構成されている。
【００１４】例題を保持する例題記憶部１２は、学習すべき例題を保持している。 各例題は、入力とそれに対応する出力より構成されている。
【００１５】検出部１３は、学習修了後にニューラルネットワーク部中の不必要なセルを検出する。
【００１６】制御部１４は、ニューラルネットワークの学習の制御と消去可能なセルを検出する検出部の制御と消去可能なセルを消去し、消去した影響が現われないように次の層のセルのバイアスの変更を行なう。
【００１７】次に、本願の発明の実施例の動作を説明する。 動作は、例題記憶部１２の例題を用いてニューラルネットワーク部１１の学習を行なう学習フェーズと、学習修了後にニューラルネットワーク部中の不必要なセルを検出し、消去可能なセルを消去する消去フェーズからなる。 これらのフェーズの切り替えも制御部１４によって行われる。
【００１８】（１）発明の学習フェーズ 発明の学習フェーズについて、図１と、ニューラルネットワーク部１１の内部を詳しく表した図２を用いて説明する。
【００１９】図２では構成例として、３層型のニューラルネットワークについて示している。 このニューラルネットワークは引用文献１で記載されている技術と同じである。
【００２０】学習制御部１４は例題記憶部１２より例題を選択し、ニューラルネットワークの入力とする。 入力層のセル２４の出力関数は線形で、入力の値をそのままそのセルの出力値とする。 これらの値は、中間層のセル２５へのリンクを通して中間層へ重み付きで伝搬する。
中間層のセル２５の出力は、伝搬してきた値にそのセルの敷居値θを足し合わせた値にシグモイド関数を用いて計算する。
【００２１】同様にして出力層のセル２６についてもその出力を計算する。 この様にして得られた値と、例題により示されている正解を比較してニューラルネットワークのリンクの重みの更新を行なう。 このアルゴリズムについては引用文献１に詳細に解説されているバックワード・プロパゲーションを用いて実行することができる。
【００２２】これによって、ニューラルネットワークの学習は修了する。 学習が修了したニューラルネットワーク部は、例題の入力に対して正しい答を出すことが出来る。
【００２３】（２）消去フェーズ 消去フェーズについて、図３を用いて説明する。
【００２４】消去フェーズでは、学習が完了したニューラルネットワーク部中の不必要なセルを検出部１３により検出する。 すべての入力に対して、常に活性あるいは非活性になる中間のセルを見つける。
【００２５】簡単の為に、中間層のセル２５について説明する。 また、入力層２１が２つのセルにより構成されている場合について説明する。 ここで、２つのセルに対する入力をｘ 1とｘ 2とする。 この場合、入力ベクトルｘはｘ 1 ｘ 2平面上の点として表現される。
【００２６】ここで、例題記憶部１２の各例題の入力を調査することにより、ｘ 1とｘ 2の取り得る範囲を算出する。 簡単のために、この範囲が［０，１］であったとして説明する。 この場合、入力ベクトルｘの取り得る範囲は図３中で斜線で囲まれた部分に相当する。
【００２７】学習が修了すると、中間層のセル２５に対する重みベクトルｗと敷居値θが決定する。 中間層のセル２５の入力ｎｅｔは、
【００２８】
【数１】
【００２９】で決まる。 この時、入力ｎｅｔが常に０の集合は、重みベクトルｗと敷居値θで決められる直線となる。
【００３０】ここで、仮に直線が３１であったとする。
この場合、直線３１が図３中で斜線で囲まれた部分を横切っている。 従って、ｎｅｔの取り得る範囲は、負と正のどちらの値も取り得る。
【００３１】また、仮に直線が３２であったとする。 この場合、直線３２が図３中で斜線で囲まれた部分を横切っていない。 従って、全ての入力ベクトルに対してｎｅ
ｔの取り得る範囲は、負または正のどちらか一方である。 このセルは、すべての入力に対して常に活性あるいは非活性になる中間層のセル２５である。
【００３２】消去可能なセルを検出するためには、中間層のセル２５の重みベクトルｗと敷居値θで決められる直線と、ｘ 1とｘ 2の取り得る範囲の関係を調べれば良い。 このために、
【００３３】
【００３４】と直線との距離ｄの関係を求める。
【００３５】
【数３】
【００３６】ここで、距離ｄが
【００３７】
【００３８】とｘ 1とｘ 2の取り得る範囲との距離の
【００３９】
【００４０】よりも大きければ、入力ｎｅｔが常に０の直線は図３中で斜線で囲まれた部分を横切らない。 この関係を用いることによって、すべての入力に対して常に活性あるいは非活性になる中間層のセル２５を検出することができる。
【００４１】学習制御部１４は検出部１３で検出された不要なセルを消去し、消去可能なセルを消去した影響が現われないように、次の層のセルのバイアスを消去したセルの影響分だけ増加する。
【００４２】
【発明の効果】本発明のニューラルネットワーク学習装置により、ニューラルネットワーク部中の不必要なセルを検出し、それらを削除することにより高速なニューラルネットワーク学習装置が実現できる。
【図１】本願発明のニューラルネットワーク学習装置の一実施例を示す構成図。
【図２】ニューラルネットワーク部１１の構成を示す図。
【図３】ニューラルネットワーク部１１中の不必要なセルを検出する方法を示す図。
１１ ニューラルネットワーク部 １２ 例題記憶部 １３ 検出部 １４ 制御部 ２１ 入力層 ２２ 中間層 ２３ 出力層 ２４ 入力層のセル ２５ 中間層のセル ２６ 出力層のセル ３１ 入力が取り得る空間に含まれる場合 ３２ 入力が取り得る空間に含まれない場合
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种多层神经网络辅助的罚对偶分解信道译码方法 | 2020-05-11 | 566 |
| 一种沥青路面裂缝类型的自动识别方法 | 2020-05-12 | 745 |
| 对程序竞赛型源代码按照解题方法做自动分类与评分的方法 | 2020-05-13 | 175 |
| 一种基于投票集成学习的心电数据智能分类方法 | 2020-05-11 | 292 |
| 基于局部可变形部件模型融合特征的驾驶姿态识别方法 | 2020-05-11 | 974 |
| 锂电池火灾危险性综合测试系统及方法 | 2020-05-12 | 359 |
| 一种基于支持向量机和V-I曲线特征的负荷识别方法 | 2020-05-11 | 562 |
| 基于迁移学习的最小二乘多分类方法、装置和存储介质 | 2020-05-14 | 487 |
| 一种基于多特征最优融合的图像显著性检测方法 | 2020-05-12 | 340 |
| 一种基于彩色图像的青椒识别方法 | 2020-05-14 | 666 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
