用于执行LSTM运算的装置和方法
专利汇可以提供用于执行LSTM运算的装置和方法专利检索，专利查询，专利分析的服务。并且本 发明 提出一种用于执行循环神经网络和LSTM的装置，包括指令存储单元、 控制器 单元、数据 访问 单元、互连模 块 、主运算模块以及多个从运算模块。所述从运算模块用于将输入数据进行乘加得到部分和并保存，直到神经元数据全都输入将结果返回给主运算模块；主运算模块用于在正向过程时对从运算模块返回的和进行插值激活，在反向过程时插值得到激活导数并且与梯度相乘。本发明能够解决CPU和GPU运算性能不足，前端译码开销大的问题，有效提高了对多层 人工神经网络 正向运算的支持。，下面是用于执行LSTM运算的装置和方法专利的具体信息内容。
1.一种用于执行LSTM运算的装置，包括控制器单元、数据访问单元、互连模块、主运算模块和从运算模块，其中，所述LSTM运算的一个块block包括：输入门、输出门、忘记门和单元cell；所述输入门和所述忘记门，用于控制cell的输出里对于当前时间输入和上一时间cell的权重；所述输出门，用于控制cell的输出；
所述数据访问单元，用于访问外部地址空间，完成数据的加载和存储，读入指令；
所述控制器单元，用于读取指令，将指令译码成控制其他单元或模块行为的微指令，然后将各自的微指令分发至各个单元或模块；
所述互连模块，用于将所述主运算模块的输入向量发送给所述从运算模块，以及将从运算模块的运算结果返回给主运算模块；
所述从运算模块，用于将输入数据进行乘加得到部分和并保存，直到神经元数据全都输入后将所有的部分和通过所述互连模块返回给主运算模块；
所述主运算模块，用于在正向运算时对计算结果进行插值激活；
所述装置用于执行LSTM单层计算，所述LSTM单层计算包括：
所述装置，用于计算出输入门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算上一时刻单元状态与对应权值的乘积和以及上一时刻隐层与对应权值乘积和都存在神经元缓存单元，最后将它们三个相加并且激活得到输入门值；
所述装置，用于计算出忘记门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算上一时刻单元状态与对应权值的乘积和以及上一时刻隐层与对应权值乘积和都存在神经元缓存单元；最后将它们三个相加并且激活得到忘记门值；
所述装置，用于计算出输入门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算上一时刻隐层与对应权值乘积和都存在神经元缓存单元，最后将它们两个个相加并且激活得到单元状态中间值缓存到神经元缓存单元；然后让中间值和输入门值对应相乘，缓存在运算单元的缓存单元内，再让上一时刻的单元状态和忘记门值对应相乘，在运算单元与上一次缓存对应相加，得到单元状态值；
所述装置，用于计算出输出门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算当前时刻单元状态与对应权值的乘积和以及上一时刻隐层与对应权值乘积和都存在缓存单元，最后将它们三个相加并且激活，得到输出门值；将单元状态和输出门值对应相乘得到LSTM单层输出。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括：指令存储单元，用于缓存读入的指令。
3.根据权利要求1所述的装置，其特征在于，所述装置包括多个从从运算模块，所述互连模块，将所述主运算模块的输入向量分发给所述从运算模块，以及将从运算模块的运算结果逐级拼接成运算结果返回给主运算模块。
4.根据权利要求3所述的装置，其特征在于，所述互连模块包括多个节点构成的二叉树通路；
每个节点将上游的数据同样地发给下游的两个节点，将下游的两个节点返回的数据进行合并，并返回给上游的节点。
5.根据权利要求4所述的装置，其特征在于，
所述主运算模块，还用于在反向运算时，将计算结果进行插值激活并求导得到的导数与梯度相乘。
6.如权利要求5所述的装置，其特征在于，所述主运算模块包括：运算单元、数据依赖关系判断单元和神经元缓存单元，其中，
所述运算单元，用于接收控制器单元发出的微指令并进行算数逻辑运算；
所述数据依赖关系判断单元，用于对神经元缓存单元进行读写操作，保证指令之间所用的数据不存在读写一致性冲突；
所述神经元缓存单元，用于缓存输入神经元数据和输出神经元数据。
7.如权利要求4所述的用于执行LSTM运算的装置，其特征在于，所述从运算模块包括运算单元、数据依赖关系判断单元、从神经元缓存单元、权值存储单元和权值梯度存储单元，所述数据依赖关系判断单元，用于对从神经元缓存单元进行读写操作，保证指令之间所用的数据不存在读写一致性冲突；
所述从神经元缓存单元，用于缓存输入神经元数据和输出神经元数据；
所述权值存储单元，用于缓存该从运算模块在计算过程中需要的权值数据；
所述权值梯度存储单元，用于缓存相应从运算模块在更新权值过程中需要的权值梯度数据；
所述运算单元，用于接收控制器单元发出的微指令并对输入神经元数据以及权值数据进行算数逻辑运算。
8.根据权利要求6或7所述的装置，其特征在于，
所述数据依赖关系判断单元，具体用于判断未执行的控制信号的第一数据与正在执行过程中的控制信号的第二数据之间是否存在依赖关系，如果不存在依赖关系，允许该未执行的控制信号立即执行，如果存在依赖关系；在与未执行的控制信号存在依赖关系的所有控制信号全部执行完成后，允许该未执行的控制信号执行。
9.一种执行LSTM运算的方法，其特征在于，所述方法应用于LSTM运算装置，所述装置包括控制器单元、互连模块、数据访问单元、主运算模块和从运算模块，所述LSTM运算的一个块block包括：输入门、输出门、忘记门和单元cell；所述输入门和所述忘记门，用于控制cell的输出里对于当前时间输入和上一时间cell的权重；所述输出门，用于控制cell的输出；所述方法包括如下步骤：
所述数据访问单元访问外部地址空间，完成数据的加载和存储，读入指令；所述控制器单元读取指令，将指令译码成控制其他单元或模块行为的微指令，然后将各自的微指令分发至各个单元或模块；
所述互连模块将所述主运算模块的输入向量发送给所述从运算模块，以及将从运算模块的运算结果返回给主运算模块；所述从运算模块将输入数据进行乘加得到部分和并保存，直到神经元数据全都输入后将所有的部分和通过所述互连模块返回给主运算模块；所述主运算模块在正向运算时对计算结果进行插值激活；
所述方法还包括：用于执行LSTM单层计算，所述LSTM单层计算包括：
所述装置计算出输入门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算上一时刻单元状态与对应权值的乘积和以及上一时刻隐层与对应权值乘积和都存在神经元缓存单元，最后将它们三个相加并且激活得到输入门值；
所述装置计算出忘记门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算上一时刻单元状态与对应权值的乘积和以及上一时刻隐层与对应权值乘积和都存在神经元缓存单元；最后将它们三个相加并且激活得到忘记门值；
所述装置计算出输入门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算上一时刻隐层与对应权值乘积和都存在神经元缓存单元，最后将它们两个个相加并且激活得到单元状态中间值缓存到神经元缓存单元；然后让中间值和输入门值对应相乘，缓存在运算单元的缓存单元内，再让上一时刻的单元状态和忘记门值对应相乘，在运算单元与上一次缓存对应相加，得到单元状态值；
所述装置计算出输出门对应的当前时刻输入与权值的乘积和，缓存在神经元缓存单元，再计算当前时刻单元状态与对应权值的乘积和以及上一时刻隐层与对应权值乘积和都存在缓存单元，最后将它们三个相加并且激活，得到输出门值；将单元状态和输出门值对应相乘得到LSTM单层输出。
10.根据权利要求9所述的方法，其特征在于，所述装置还包括：指令存储单元，用于缓存读入的指令。
11.根据权利要求9所述的方法，其特征在于，所述装置包括多个从运算模块，所述互连模块将所述主运算模块的输入向量发送给所述从运算模块，以及将从运算模块的运算结果返回给主运算模块具体包括：
所述互连模块将所述主运算模块的输入向量分发给所述从运算模块，以及将从运算模块的运算结果逐级拼接成运算结果返回给主运算模块。
12.根据权利要求11所述的方法，其特征在于，所述互连模块包括多个节点构成的二叉树通路；所述互连模块将所述主运算模块的输入向量分发给所述从运算模块，以及将从运算模块的运算结果逐级拼接成运算结果返回给主运算模块具体包括：
每个节点将上游的数据同样地发给下游的两个节点，将下游的两个节点返回的数据进行合并，并返回给上游的节点。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
所述主运算模块在反向运算时，将计算结果进行插值激活并求导得到的导数与梯度相乘。
14.如权利要求12所述的方法，其特征在于，所述主运算模块包括：运算单元、数据依赖关系判断单元和神经元缓存单元，所述方法具体包括：
所述运算单元接收控制器单元发出的微指令并进行算数逻辑运算；
所述数据依赖关系判断单元对神经元缓存单元进行读写操作，保证指令之间所用的数据不存在读写一致性冲突；所述神经元缓存单元缓存输入神经元数据和输出神经元数据。
15.如权利要求12所述的方法，其特征在于，所述从运算模块包括：运算单元、数据依赖关系判断单元、从神经元缓存单元、权值存储单元和权值梯度存储单元，所述方法具体包括：
所述数据依赖关系判断单元对从神经元缓存单元进行读写操作，保证指令之间所用的数据不存在读写一致性冲突；
所述从神经元缓存单元缓存输入神经元数据和输出神经元数据；
所述权值存储单元缓存该从运算模块在计算过程中需要的权值数据；
所述权值梯度存储单元缓存相应从运算模块在更新权值过程中需要的权值梯度数据；
所述运算单元接收控制器单元发出的微指令并对输入神经元数据以及权值数据进行算数逻辑运算。
16.根据权利要求14或15所述的方法，其特征在于，所述方法还包括：
所述数据依赖关系判断单元判断未执行的控制信号的第一数据与正在执行过程中的控制信号的第二数据之间是否存在依赖关系，如果不存在依赖关系，允许该未执行的控制信号立即执行，如果存在依赖关系；在与未执行的控制信号存在依赖关系的所有控制信号全部执行完成后，允许该未执行的控制信号执行。
用于执行LSTM运算的装置和方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于求取车辆的车灯的状态的方法和设备 | 2020-05-08 | 170 |
| 基于通信受限的神经网络系统远程状态估计方法及装置 | 2020-05-12 | 196 |
| 一种基于人脸关键点识别的身高检测方法 | 2020-05-13 | 78 |
| 基于双神经网络的睡眠呼吸声检测方法及系统 | 2020-05-13 | 353 |
| 一种人工神经网络运算的装置及方法 | 2020-05-13 | 770 |
| 一种复合材料异形壳的纤维路径与几何形状一体化设计方法 | 2020-05-12 | 399 |
| 一种基于虚拟现实技术的自闭症训练系统、方法及装置 | 2020-05-14 | 350 |
| 基于人工神经网络的视觉测试系统 | 2020-05-14 | 734 |
| 一种东阿阿胶、福胶、鹿角胶定量研究的方法 | 2020-05-13 | 683 |
| 线路可移动监控方法及装置及计算机可读介质 | 2020-05-08 | 308 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
