首页 / 专利库 / 电脑零配件 / 计算机系统 / 硬件 / 存储器 / 用于循环神经网络自然语言处理的稀疏矩阵乘法加速器

用于循环神经网络自然语言处理的稀疏矩阵乘法加速

阅读:1055发布:2020-06-25

专利汇可以提供用于循环神经网络自然语言处理的稀疏矩阵乘法加速专利检索,专利查询,专利分析的服务。并且本 发明 属于集成 电路 技术领域,具体为一种用于循环神经网络 自然语言处理 的稀疏矩阵乘法 加速 器。本加速器包括:16组乘累加单元,用于同时计算循环神经网络中的16个输出通道;4个输入 存储器 ,用于存储循环神经网络中的4个输入通道的特征值;1个权重存储器;16个输出存储器,用于暂存计算中间结果以及对应16个输出通道的最终结果;16个二级累加器,用于读取输出存储器中的中间结果与乘累加单元的计算结果累加,更新输出结果;16个4输入选择器,用于选择压缩后权重对应的输入特征值。本发明利用循环神经网络中权重的稀疏性,对稀疏权重进行压缩,在减少权重存储空间的同时,加快了循环神经网络的计算速度,并降低了计算功耗。,下面是用于循环神经网络自然语言处理的稀疏矩阵乘法加速专利的具体信息内容。

1.一种用于循环神经网络自然语言处理的稀疏矩阵乘法加速器,其特征在于:
16组乘累加单元,用于同时计算循环神经网络中的16个输出通道;
4个输入存储器,用于存储循环神经网络中的4个输入通道的特征值;
1个权重存储器,用于存储循环神经网络压缩后的权重;
16个输出存储器,用于暂存计算中的中间结果以及对应16个输出通道的最终结果;
16个二级累加器,用于读取输出存储器中的中间结果与乘累加单元的计算结果求和,更新中间结果,直到得到16个输出通道的最终结果;
16个4输入选择器,用于选择压缩后权重对应的输入特征值;
所述16组乘累加单元,每组含一个主计算单元和一个次计算单元;次计算单元的乘法结果流入主计算单元的加法器,与主计算单元的乘法结果求和,从而完成不同输入通道的乘累加计算,得到一个输出通道的计算结果。
2.根据权利要求1所述的用于循环神经网络自然语言处理的稀疏矩阵乘法加速器,其特征在于,一组计算单元中的主计算单元中的加法器与二级累加器构成两级加法结构;一组计算单元中的主计算单元与次计算单元完成两个输入通道的乘累加操作;二级累加器对不同时刻产生的乘累加结果进行累加;该两级加法器结构可满足含不同输入通道数量的循环神经网络计算要求。
3.根据权利要求2所述的用于循环神经网络自然语言处理的稀疏矩阵乘法加速器,其特征在于,4输入选择器输入端与4个输入存储器连接;通过配置选择器的选择通道配合计算单元完成2个非稀疏输入通道的乘累加,或2组2个输入通道列组合压缩的乘累加,或1组3个输入通道列组合压缩的乘累加,或1组4个输入通道列组合压缩的乘累加;满足不同稀疏性的循环神经网络计算要求。
4.根据权利要求3所述的用于循环神经网络自然语言处理的稀疏矩阵乘法加速器,其特征在于,在计算1组3个压缩后输入通道的乘累加或1组4个压缩后输入通道的乘累加时,只有主计算单元在工作;此时次计算单元关闭,降低功耗。
5.根据权利要求2所述的用于循环神经网络自然语言处理的稀疏矩阵乘法加速器,其特征在于,在稀疏权重矩阵压缩算法中,权重矩阵含8个输入通道,4个输出通道;裁剪后的稀疏权重矩阵每4个输入通道分为一组,同一组内不输出通道只含一个非零权重;对余下的非零权重进行压缩得到压缩权重矩阵,其仍含4行对应4个输出通道,2列对应8个输入通道;
或者稀疏权重按照2个或3个输入通道进行分组压缩。

说明书全文

用于循环神经网络自然语言处理的稀疏矩阵乘法加速

技术领域

[0001] 本发明属于集成电路技术领域,具体涉及一种用于循环神经网络自然语言处理的稀疏矩阵乘法加速器。

背景技术

[0002] 循环神经网络在文本分类机器翻译以及语音合成等自然语言处理任务上展现了优异的性能。在循环神经网络中,一组权重向量与输入特征值向量完成向量积操作,得到一个输出通道的输出。为追求更高的性能,循环神经网络中有多组权重向量,进而得到多个输出通道的输出。多组权重构成了权重矩阵与多个输入特征值向量构成的特征值矩阵,进行矩阵乘运算操作。
[0003] 循环神经网络的权重矩阵含大量的零权重或趋向零的权重,通过将趋向零的权重裁剪为零可以到的稀疏性很高的权重矩阵。传统的计算平台CPU/GPU可以优化加速矩阵乘运算,但不能利用权重矩阵中的稀疏性。大量的零权重在存储单元与计算单元之间交互,增加了计算延迟和能耗。
[0004] 为充分利用循环神经网络中权重矩阵的稀疏性,我们将稀疏的权重矩阵的不同输入通道进行组合得到压缩的权重矩阵,并用专用的稀疏矩阵乘法加速器加速循环神经网络计算。与CPU/GPU相比,该发明可以压缩权重所需的存储空间,同时降低计算时间和功耗。

发明内容

[0005] 本发明的目的在于提供一种可以压缩存储空间,降低计算时间和功耗的用于循环神经网络自然语言处理的稀疏矩阵乘法加速器。
[0006] 本发明提供的用于循环神经网络自然语言处理的稀疏矩阵乘法加速器,包括:16组乘累加单元,用于同时计算循环神经网络中的16个输出通道;
4个输入存储器,用于存储循环神经网络中的4个输入通道的特征值;
1个权重存储器,用于存储循环神经网络压缩后的权重;
16个输出存储器,用于暂存计算中的中间结果以及对应16个输出通道的最终结果;
16个二级累加器,用于读取输出存储器中的中间结果与乘累加单元的计算结果求和,更新中间结果,直到得到16个输出通道的最终结果;
16个4输入选择器,用于选择压缩后权重对应的输入特征值。
[0007] 所述16组乘累加单元,每组含一个主计算单元和一个次计算单元。次计算单元的乘法结果流入主计算单元的加法器,与主计算单元的乘法结果求和,从而完成不同输入通道的乘累加计算,得到一个输出通道的计算结果。
[0008] 本发明中,一组计算单元中的主计算单元中的加法器与二级累加器构成两级加法结构。一组计算单元中的主计算单元与次计算单元完成两个输入通道的乘累加操作。二级累加器对不同时刻产生的乘累加结果进行累加。该两级加法器结构可满足含不同输入通道数量的循环神经网络计算要求。
[0009] 本发明中,4输入选择器输入端与4个输入存储器连接。通过配置选择器的选择通道配合计算单元完成2个非稀疏输入通道的乘累加,或2组2个输入通道列组合压缩的乘累加,或1组3个输入通道列组合压缩的乘累加,或1组4个输入通道列组合压缩的乘累加。满足不同稀疏性的循环神经网络计算要求。
[0010] 本发明在计算1组3个压缩后输入通道的乘累加或1组四个压缩后输入通道的乘累加时,只有主计算单元在工作。此时次计算单元关闭,降低功耗。
[0011] 本发明充分利用循环神经网络中权重矩阵的稀疏性,将稀疏的权重矩阵的不同输入通道进行组合得到压缩的权重矩阵,并用专用的稀疏矩阵乘法加速器加速循环神经网络计算。与CPU/GPU相比,本发明可以压缩权重所需的存储空间,同时可大大降低计算时间和功耗。附图说明
[0012] 图1是本发明的电路框图
[0013] 图2是本发明的稀疏矩阵压缩示意图。

具体实施方式

[0014] 在下文中结合图示在参考实施例中更完全地描述本发明,本发明提供优选实施例,但不应该被认为仅限于在此阐述的实施例。
[0015] 实施例是一个用于循环神经网络自然语言处理的稀疏矩阵乘法加速器。图1为其电路框图。包括:16组乘累加单元,每组乘累加单元包括一个主计算单元和一个次计算单元。4个用于存储不同输入通道特征的输入存储器。1个用于存储压缩后权重矩阵的权重存储器。16个用于暂存中间结果后输出通道输出的输出存储器。16个二级累加器,用于读取输出存储器中的中间结果与乘累加单元的计算结果求和。16个4输入选择器,用于选择稀疏权重中的非零权重。
[0016] 图2是本发明所采用的稀疏权重矩阵压缩算法的示意图。权重矩阵含8个输入通道,4个输出通道。裁剪后的稀疏权重矩阵每4个输入通道分为一组,同一组内不输出通道只含一个非零权重。对余下的非零权重进行压缩得到压缩权重矩阵,其仍含4行对应4个输出通道,2列对应8个输入通道。稀疏权重也可以按照2个或3个输入通道进行分组压缩。
[0017] 通过4输入的选择器选择非零权重对应输入特征值。
[0018] 当2个输入通道分组压缩时,一个乘累加单元的主次计算单元分别接受2个输入存储器的输入,完成4个输入通道乘累加计算。当3个或4个输入通道分组压缩时,只有主计算单元接受3个或4个输入存储器的输入,完成3个或4个输入通道乘累加计算,此时次计算单元关闭,减少功耗。若权重矩阵稀疏性较低,主次计算单元分别接受2个输入存储器的输入,完成2个非稀疏的输入通道乘累加计算。如此,本矩阵乘法计算器可满足不同稀疏性的循环神经网络计算要求。
[0019] 累加单元的结果与暂存在输出存储器的中间结果在二级累加器中进行累加,更新中间结果直到得到最后的输出特征值。
[0020] 以上通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈