Processor for network

阅读:312发布:2021-06-21

专利汇可以提供Processor for network专利检索,专利查询,专利分析的服务。并且PROBLEM TO BE SOLVED: To provide a processor for a network which is made fast by making a look-up table small-sized. SOLUTION: The network processor which actualizes a neural network by using the look-up table (12) performing output regarding a radial base function deforms the radial base function, inputs xK-ajK (K=1, 2...) to the look-up table (12), and holds a value exp(-bjuK2) in the look-up table (12).,下面是Processor for network专利的具体信息内容。

【特許請求の範囲】
  • 【請求項1】動径基底関数 【数1】 に係る出力をするルックアップテーブルを用いてニューラルネットワークを実現するネットワーク用プロセッサにおいて、 前記動径基底関数を 【数2】 と変形して、x K −a jK(K=1,2,…)を前記ルックアップテーブルの入力とし、exp(−b jK 2 )の値を前記ルックアップテーブルに保持させることを特徴とするネットワーク用プロセッサ。
  • 说明书全文

    【発明の詳細な説明】

    【0001】

    【発明の属する技術分野】本発明は、ニューラルネットワークによる推論や学習に適用されるネットワーク用プロセッサに関する。

    【0002】

    【従来の技術】図2は、RBFネットワークを示す図である。 図2に示すように、RBF(Radial Ba
    sis Function;動径基底関数)ネットワークは、入層21、中間層22、出力層23からなり、
    中間層22のユニットとして、下記式(1)に示すガウシアン型の動径基底関数を用い、出力層23のユニットではその出力値が線形結合される。

    【0003】すなわち、入力ベクトルをX=(x 1
    2 ,…,x K )、重みをW jとすると出力値は式(2)
    で与えられる(参考文献:佐藤,山田,“ニューラルネットによるパターン認識[IV]−学習ベクトル量子化とRBFモデル−”,信学会誌,Vol.82,No.1
    2,pp. 1248−1255,1999. )。

    【0004】

    【数3】

    【0005】図3は、従来のRBFネットワーク専用ハードウェア(プロセッサ)におけるRBFコアのブロック図である。 図3に示すRBFコアは、入力演算部3
    1、LUT(ルックアップテーブル)部32から構成される。

    【0006】入力演算部31は、上記式(1)の動径基底関数において、引数部の入力

    【0007】

    【数4】

    【0008】を計算する。 入力演算部31は、通常、乗算器と積算器から構成されるが、特に高速性が要求される場合は、パイプライン化された並列型積和演算器により高速化を施す。

    【0009】LUT部32は、入力

    【0010】

    【数5】

    【0011】を与えた時に動径基底関数の出力、つまり上記式(1)の右辺の値を返すようなテーブルからなる。 テーブル化するのは、関数値を事前に計算しておくことにより高速化を図るためである。 なお、LUT部3
    2は、後で上記式(1)の動径基底関数のタイプを変更できるようにするため、RAMで構成される。

    【0012】図4は、従来のRBFネットワーク専用ハードウェアにおいて、RBFコアの出力の線形結合を計算する回路の構成を示す図である。 図4に示すように、
    高速化するためには、RBFコア41、乗算器42、及び加算器43を複数個ならべて並列化する。

    【0013】RBFネットワーク専用ハードウェアにおける高速化のための重要なポイントの一つは、1チップに何個のRBFコアを実装できるかである。 なぜなら、
    1チップに実装できるRBFコアの個数が多いほど、1
    システム当たりに実装可能なRBFコアの全個数が多くなり、並列度を上げることができるからである。

    【0014】

    【発明が解決しようとする課題】従来のRBFコアにおいては、動径基底関数値を格納するLUTが大容量となってしまうため、並列度を上げることが困難であった。
    ここで、入力ベクトルxの成分数をK個、成分のビット長をmビット、定数ベクトルa jの成分のビット長をm
    ビット、LUTの出力をCビットとすると、入力値

    【0015】

    【数6】

    【0016】のビット長L 1は、 L 1 ={(m+1)×2+1}+(K−1) となる。

    【0017】ここで仮に、m=16,K=8とすると、
    1 =42となる。 よって、LUTの容量Pは、C=1
    6とした場合、P=C×2 L1 =16×2 42 =2 46 =64
    T(テラ)ビットとなる。 この場合、256MビットD
    RAMが256個必要となるため、1チップに1個のR
    BFコアを実装することさえも困難となる。

    【0018】したがって従来では、実際にハードウェアを構成する場合は、動径基底関数の代表点の値をLUT
    に保存しておき、代表点の間の値を補完等により求め、
    動径基底関数を計算していた。

    【0019】本発明の目的は、ルックアップテーブルの小型化を可能とし高速化を図るネットワーク用プロセッサを提供することにある。

    【0020】

    【課題を解決するための手段】上記課題を解決し目的を達成するために、本発明のネットワーク用プロセッサは以下の如く構成されている。

    【0021】本発明のネットワーク用プロセッサは、動径基底関数

    【0022】

    【数7】

    【0023】に係る出力をするルックアップテーブルを用いてニューラルネットワークを実現するネットワーク用プロセッサにおいて、前記動径基底関数を

    【0024】

    【数8】

    【0025】と変形して、x K −a jK(K=1,2,…)を前記ルックアップテーブルの入力とし、exp(−b jK
    2 )の値を前記ルックアップテーブルに保持させる。

    【0026】

    【発明の実施の形態】図1は、本発明の実施の形態に係るRBFネットワーク専用ハードウェア(プロセッサ)
    におけるRBFコアのブロック図である。 図1に示すR
    BFコアは、加算器11、LUT(ルックアップテーブル)部12、及び乗算器13から構成され、上述した従来例と同様、上記式(1)を計算する。 ただし、上記式(1)を下式(3)のように変形してから計算する。

    【0027】

    【数9】

    【0028】ここで、 u K =x K −a jK …(4) とする。 また、 v jK =exp(−b jK 2 ) …(5) h j =v j1 ×v j2 ×…×v jK …(6) とする。

    【0029】加算器11は、上記式(4)を計算する。
    LUT部12は、加算器11から入力u Kが与えられた時に、上記式(5)の右辺の値を返すテーブルからなる。 乗算器13は、LUT部12から逐次入力されるv
    jKを乗算していき、最終的に上記式(6)の値を求める。

    【0030】本実施の形態によるRBFコアでは、LU
    T部12の容量を大幅に削減して1チップ内に実装できるようにしている。 上述したように従来では、

    【0031】

    【数10】

    【0032】を計算してからLUTの入力としていたため、LUTの容量が大きくなっていた。

    【0033】そこで本実施の形態では、上記式(3)のように変形し、x K −a jKをLUT部12の入力とし、
    LUT部12の出力を乗算器13に入力して上記式(1)の動径基底関数の値を計算することにより、LU
    Tの大きさを従来と比較して大幅に小さくしている。

    【0034】この場合、LUTへの入力ビット長L
    2は、x Kおよびa jKのビット長をともにmとすると、 L 2 =m+1 となる。

    【0035】上述したと同様に、m=16とすると、L
    2 =17となる。 また、LUTの出力をC=16ビットとすると、LUTの容量Pは、P=C×2 L2 =16×2
    17 =2 21 =2Mビットとなり、従来の1/2 25になる。

    【0036】このようにLUTの容量を大幅に削減することで、RBFコアを1チップに実装可能なレベルまで小型化することができる。 また、1システムに実装可能なRBFコアの個数を増加させることが可能となるため、並列度を上げることができ、高速化が達成できる。

    【0037】なお、本発明は上記実施の形態のみに限定されず、要旨を変更しない範囲で適宜変形して実施できる。

    【0038】

    【発明の効果】本発明のネットワーク用プロセッサによれば、動径基底関数を高速に演算するために不可欠なルックアップテーブルを小型化して1チップに実装可能な大きさにすることができ高速化を図れるとともに、ニューラルネットワークの高速化を実現することができる。

    【図面の簡単な説明】

    【図1】本発明の実施の形態に係るRBFネットワーク専用ハードウェアにおけるRBFコアのブロック図。

    【図2】従来例に係るRBFネットワークを示す図。

    【図3】従来例に係るRBFネットワーク専用ハードウェアにおけるRBFコアのブロック図。

    【図4】従来例に係るRBFネットワーク専用ハードウェアにおいて、RBFコアの出力の線形結合を計算する回路の構成を示す図。

    【符号の説明】

    11…加算部 12…LUT(ルックアップテーブル)部 13…乗算器 21…入力層 22…中間層 23…出力層 31…入力演算部 32…LUT(ルックアップテーブル)部 41…RBFコア 42…乗算器 43…加算器

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈