Neural network simulation device
专利汇可以提供Neural network simulation device专利检索，专利查询，专利分析的服务。并且PURPOSE: To simulate a high-speed Boltzmann machine.
CONSTITUTION: A node vector holding means 4 holds the outputs of all nodes of a neural network. A partial weight matrix holding means 5 holds the weight of a link to be inputted to the node group of a partial network that this device takes charge of. A temperature register 7 holds the operation temperature of the Boltzmann machine. An arithmetic control unit 3 calculates the outputs of the nodes asynchronously with other processors and performs simulation according to the temperature of the partial network that the device takes charge of in the neural network which is set in the temperature register 7. A communication control unit 6 sends the calculated outputs of the nodes to the node vector holding means 4 of other processors asynchronously. The processor 1c sets temperature for annealing according to a temperature cooling schedule and rewrites the values of temperature registers 7 of all other processors 1a-1b asynchronously.
COPYRIGHT: (C)1993,JPO&Japio，下面是Neural network simulation device专利的具体信息内容。
前記各ノードが非同期に確率的に動作するニューラルネットワークモデルであるボルツマンマシンのシミュレーションを行うニューラルネットワークシミュレーション装置であって、前記プロセッサが、（Ａ）前記ニューラルネットワークの全ノードの出力を保持するノードベクトル保持手段、（Ｂ）自己が担当する前記部分ネットワークに含まれるノード群への入力となるリンクの重みを保持する部分重み行列保持手段、（Ｃ）前記ボルツマンマシンの動作温度が保持される温度レジスタ、（Ｄ）前記ニューラルネットワークのノードベクトルと部分重み行列とから、前記ニューラルネットワークの中の自己が処理を担当する部分ネットワークのノードの出力を他の前記プロセッサとは非同期に計算し、かつ前記温度レジスタに設定された前記ニューラルネットワークの中の自己が処理を担当する部分ネットワークの温度に従って前記部分ネットワークのシミュレーションを行う演算制御ユニット、（Ｅ）前記演算制御ユニットが計算したノードの出力を前記通信路を介して他のプロセッサの前記ノードベクトル保持手段に非同期に送出し前記ノードベクトル保持手段の値を書き換える通信制御ユニット、を備え、さらにボルツマンマシンの焼きなまし処理を行うとき、前記プロセッサのうちの１個のプロセッサの前記演算制御ユニットが、温度の冷却スケジュールに従って温度を決定し、その温度を前記通信制御ユニットを使用して前記他の全プロセッサの前記温度レジスタの値を前記全プロセッサとは非同期に書き換えることを特徴とするニューラルネットワークシミュレーション装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はニューラルネットワークシミュレーション装置に関する。
【０００２】
【従来の技術】従来、複数のプロセッサでボルツマンマシンのシミュレーションを並列処理する場合、焼きなまし処理において温度のスケジューリングに従って温度を変化させるには、各プロセッサが担当する複数ノードの１ステップのシミュレーションを完了後、全プロセッサが同期して次ステップにおける温度を設定していた。
【０００３】
【発明が解決しようとする課題】上述した従来のシミュレーション処理では、並列処理において複数のプロセッサの同期はオーバーヘッドとなり、並列処理による処理速度の向上を防げるという欠点を有していた。
【０００４】本発明の目的は、高速なボルツマンマシンのシミュレーションを行うことができるニューラルネットワークシミュレーション装置を提供することにある。
【０００５】
【課題を解決するための手段】本発明のニューラルネットワークシミュレーション装置は、相互にデータを転送するための通信路で接続されたＭ個（２以上の正の整数）のプロセッサを備え、シミュレーションの対象となるニューラルネットワークのＮ個（２以上の正の整数）
のノードの出力を１次元のノードベクトルとして表現し、前記ニューラルネットワークのＮ×Ｎ個の重みつきリンクはＮ×Ｎの２次元の重み行列として表現し、前記ニューラルネットワークをＭ個の部分ネットワークに分割し、分割された前記部分ネットワークを前記Ｍ個のプロセッサに割り当てて、前記各ノードが非同期に確率的に動作するニューラルネットワークモデルであるボルツマンマシンのシミュレーションを行うニューラルネットワークシミュレーション装置であって、前記プロセッサが、（Ａ）前記ニューラルネットワークの全ノードの出力を保持するノードベクトル保持手段、（Ｂ）自己が担当する前記部分ネットワークに含まれるノード群への入力となるリンクの重みを保持する部分重み行列保持手段、（Ｃ）前記ボルツマンマシンの動作温度が保持される温度レジスタ、（Ｄ）前記ニューラルネットワークのノードベクトルと部分重み行列とから、前記ニューラルネットワークの中の自己が処理を担当する部分ネットワークのノードの出力を他の前記プロセッサとは非同期に計算し、かつ前記温度レジスタに設定された前記ニューラルネットワークの中の自己が処理を担当する部分ネットワークの温度に従って前記部分ネットワークのシミュレーションを行う演算制御ユニット、（Ｅ）前記演算制御ユニットが計算したノードの出力を前記通信路を介して他のプロセッサの前記ノードベクトル保持手段に非同期に送出し前記ノードベクトル保持手段の値を書き換える通信制御ユニット、を備え、さらにボルツマンマシンの焼きなまし処理を行うとき、前記プロセッサのうちの１個のプロセッサの前記演算制御ユニットが、温度の冷却スケジュールに従って温度を決定し、その温度を前記通信制御ユニットを使用して前記他の全プロセッサの前記温度レジスタの値を前記全プロセッサとは非同期に書き換えるように構成されている。
【０００６】
【作用】本発明においては、装置を構成するプロセッサは、シミュレーションの対象であるネットワークの全ノードの出力を保持するノードベクトル保持手段を持ち、
またそのプロセッサが処理を担当する部分ネットワークに含まれるノード群への入力となるリンクの重みを保持する部分重み行列保持手段を持つので、そのプロセッサの担当する部分ネットワークに含まれるノードの出力を、他のプロセッサとは非同期に計算することができる。 そのプロセッサのノードの出力の計算結果は、他のプロセッサの保持するノードベクトル保持手段に転送する必要があるが、ボルツマンマシンはそれぞれのノードが非同期に出力を変化させる非同期な計算モデルなので、あるプロセッサのノードの出力は他のプロセッサのシミュレーションの進行とは非同期に行うことができる。 それぞれのプロセッサは他のプロセッサのノードベクトル保持手段の値を、他のプロセッサとは非同期に書き換える通信制御ユニットを持ち、プロセッサ間の非同期のデータ転送をこれで実現している。
【０００７】また、ボルツマンマシンの焼きなまし処理において、複数のプロセッサのうち１台は、温度の冷却スケジュールに従って温度を決定し、その温度を通信ユニットを使用して全プロセッサの温度レジスタに送り、
全プロセッサの温度レジスタの値を全プロセッサとは非同期に書き換えることにより、全プロセッサが同期することなく温度を変更することができる。
【０００８】以上の動作により、複数のプロセッサが非同期に処理を進めることができるボルツマンマシンの並列シミュレーションを実現している。
【０００９】
【実施例】次に、本発明の実施例について図面を参照して説明する。
【００１０】図１は、本発明のニューラルネットワークシミュレーション装置の一実施例を示すブロック図である。
【００１１】図１に示す本実施例のニューラルネットワークシミュレーション装置は、Ｍ個（２以上の正の整数）のプロセッサ１ａ〜１ｃ、プロセッサ１ａ〜１ｃを相互に接続するプロセッサ間通信路２から構成されている。
【００１２】また、プロセッサ１ａ〜１ｃは、ニューラルネットワークの全ノードの出力を保持するノードベクトル保持手段４、自己が担当する部分ネットワークに含まれるノード群への入力となるリンクの重みを保持する部分重み行列保持手段５、ボルツマンマシンの動作温度が保持される温度レジスタ７、ニューラルネットワークのノードベクトルと部分重み行列とから、ニューラルネットワークの中の自己が処理を担当する部分ネットワークのノードの出力を他のプロセッサとは非同期に計算し、かつ温度レジスタ７に設定されたニューラルネットワークの中の自己が処理を担当する部分ネットワークの温度に従って部分ネットワークのシミュレーションを行う演算制御ユニット３、演算制御ユニット３が計算したノードの出力をプロセッサ通信路２を介して他のプロセッサのノードベクトル保持手段４に非同期に送出しノードベクトル保持手段４の値を書き換える通信制御ユニット６から構成されている。
【００１３】また、プロセッサ１ｃは、ボルツマンマシンの焼きなまし処理を行うとき、焼きなまし処理の温度を制御する温度マスタプロセッサとして動作し、内蔵する演算制御ユニット３が、温度の冷却スケジュールに従って温度を決定し、その温度を通信制御ユニット６を使用して他の全プロセッサ１ａ〜１ｂの温度レジスタ７の値を全プロセッサ１ａ〜１ｂとは非同期に書き換えるように動作する。
【００１４】なお、本発明のニューラルネットワークシミュレーション装置は、シミュレーションの対象となるニューラルネットワークのＮ個（２以上の正の整数）のノードの出力を１次元のノードベクトルとして表現し、
ニューラルネットワークのＮ×Ｎ個の重みつきリンクはＮ×Ｎの２次元の重み行列として表現し、ニューラルネットワークをＭ個の部分ネットワークに分割し、分割された部分ネットワークをＭ個のプロセッサ１ａ〜１ｃに割り当てて、各ノードが非同期に確率的に動作するニューラルネットワークモデルであるボルツマンマシンのシミュレーションを行うものである。
【００１５】次に、動作を説明する。
【００１６】図１において、演算制御ユニット３は、同じプロセッサ内のノードベクトル保持部４の値と部分重み行列保持部５の値とから、そのプロセッサが担当する部分ネットワークに含まれるノードの出力を計算する。
この値を他のプロセッサの保持するノードベクトル保持部４に転送しなければならない。
【００１７】また、演算制御ユニット３は、同じプロセッサ内の通信制御ユニット６に、転送すべきノード識別番号（ノードアドレス）と計算した出力値とを伝える。
通信制御ユニット６は、ノード識別番号を元にプロセッサ間通信路２を介して他のプロセッサのノードベクトル保持部４に保持されたノードベクトルの要素のうち、ノード識別番号で指定される要素の値を、自プロセッサ内の演算制御ユニット３で計算された出力値に書き換える。 このとき、ノードベクトル保持部４の値を書き換えられる他のプロセッサは、ノードの出力を計算しその値を送ってきたプロセッサとは非同期に同様のシミュレーションを続行する。 ボルツマンマシンは各ノードが非同期動作をすることができるニューラルネットワークモデルなので、シミュレーションを行っているプロセッサが、別のプロセッサにより書き換えられたノードベクトル保持部を同時に参照していたとしてもシミュレーションは不正確にはならない。
【００１８】また、ボルツマンマシンの焼きなまし処理において、複数のプロセッサのうち温度マスタプロセッサとして動作するプロセッサ１ｃは、温度の冷却スケジュールに従って温度を決定し、その温度を自己の通信制御ユニット６を使用して全プロセッサの温度レジスタ７
の値を他のプロセッサとは非同期に書き換える。 温度マスタプロセッサ１ｃ以外のプロセッサ１ａ〜１ｂは、温度レジスタ７に保持された温度を参照しながらシミュレーションを行う。 これにより全プロセッサ１ａ〜１ｃが同期することなく、温度を変更することができ、複数のプロセッサが非同期に処理を進めながら焼きなまし処理を行うことができる。
【００１９】このように、各プロセッサが、他のプロセッサと非同期に、自己の担当する部分ネットワークに含まれるノードの出力を計算して通信路を介して他のプロセッサに転送し、また焼きなまし処理における温度の設定を行うために、特定のプロセッサが温度マスタプロセッサとして他のプロセッサと非同期に、設定温度を決定し通信路を介して他のプロセッサに転送するように構成することにより、全プロセッサが同期することなく設定温度を変更でき、非同期に処理を進めることができるので、プロセッサ間での同期のオーバーヘッドのない高速なボルツマンマシンのシミュレーションを行うことができる。
【００２０】
【発明の効果】以上説明したように、本発明のニューラルネットワークシミュレーション装置は、各プロセッサが、他のプロセッサと非同期に、自己の担当する部分ネットワークに含まれるノードの出力を計算して通信路を介して他のプロセッサに転送し、また焼きなまし処理における温度の設定を行うために、特定のプロセッサが温度マスタプロセッサとして他のプロセッサと非同期に、
設定温度を決定し通信路を介して他のプロセッサに転送するように構成することにより、全プロセッサが同期することなく設定温度を変更でき、非同期に処理を進めることができるので、プロセッサ間での同期のオーバーヘッドのない高速なボルツマンマシンのシミュレーションを行うことができるという効果を有している。
【図１】本発明のニューラルネットワークシミュレーション装置の一実施例を示すブロック図である。
１ａ〜１ｃ プロセッサ ２ プロセッサ間通信路 ３ 演算制御ユニット ４ ノードベクトル保持部 ５ 部分重み行列保持部 ６ 通信制御ユニット ７ 温度レジスタ
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于机器学习的物理层可见光通信方法 | 2020-05-08 | 429 |
| 基于反斯托克斯光自解调的高精度光纤拉曼温度检测方法 | 2020-05-11 | 38 |
| 基于差分温度补偿的分布式光纤拉曼双端温度解调方法 | 2020-05-11 | 932 |
| 一种基于深度学习的智能家居入侵检测方法 | 2020-05-13 | 937 |
| 一种太阳能电池开路电压分布的检测装置及其检测方法 | 2020-05-14 | 565 |
| 一种基于动力电池SOC和SOH联合估计的算法 | 2020-05-16 | 309 |
| 基于深度信念网络的计量装置故障溯源方法 | 2020-05-16 | 377 |
| 一种物联网边缘节点安全的神经网络监测模型 | 2020-05-11 | 52 |
| 一种基于深度学习储能电池参与的电网快速调频控制方法 | 2020-05-14 | 1022 |
| 基于径向基函数神经网络的气体标志物检测方法及应用 | 2020-05-16 | 587 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
