1.一种用于训练神经网络的系统，所述系统包括：
处理器电路系统；
通信接口，耦合至所述处理器电路系统，所述通信接口可耦合到神经网络；以及存储设备，耦合至所述处理器电路系统，所述存储设备包括机器可读指令，所述指令在由所述处理器电路系统执行时使所述处理器电路系统进行以下操作：
生成神经网络训练张量，所述神经网络训练张量包括：
多个16位浮点值，所述多个16位浮点值中的每一个包括：
形成对应浮点数的尾数的第一多个位；和
形成所述对应浮点数的指数的第二多个位；以及
由所述训练张量中所包括的所述16位浮点值中的每一个所共用的五位共享指数。
2.如权利要求1所述的系统，其中，所述神经网络训练张量中所包括的所述多个16位浮点值中的每一个都包括：
由所述第一多个位提供的十位尾数；
由所述第二多个位提供的五位指数；以及
一位符号。
3.如权利要求1所述的系统，其中，所述神经网络训练张量中所包括的所述多个16位浮点值中的每一个都包括：
由所述第一多个位提供的可变位长尾数；
由所述第二多个位提供的可变位长指数；以及
一位符号；
其中，所述指令进一步使所述处理器电路系统基于一个或多个神经网络参数来选择：
用于表示所述可变位长尾数的位的数量；以及
用于表示所述可变位长指数的位的数量。
4.如权利要求3所述的系统，其中，所述一个或多个神经网络参数包括指示以下各项中的至少一项的趋势：所述网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值中的下溢状况或上溢状况。
5.如权利要求1所述的系统，其中，所述神经网络训练张量中所包括的所述多个16位浮点值中的每一个都包括：
由所述第一多个位提供的所述尾数；
由所述第二多个位提供的所述指数；
一位符号；以及
用于选择性地将所述对应16位浮点数的所述指数部分与所述共享指数组合的一位开关。
6.一种训练神经网络的方法，所述方法包括：
由处理器电路系统生成神经网络训练张量，所述神经网络训练张量包括：
多个16位浮点值，所述16位浮点值中的每一个包括：
形成对应浮点数的尾数的第一多个位；和
形成所述对应浮点数的指数的第二多个位；以及
由所述训练张量中所包括的所述16位浮点值中的每一个所共用的五位共享指数；以及将所述训练张量中所包括的所述多个16位浮点值中的至少一个提供为所述神经网络的输入。
7.如权利要求6所述的方法，其中，生成所述神经网络训练张量包括：
生成包括所述多个16位浮点值和所述五位共享指数的所述神经网络训练张量，其中，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的十位尾数；
由所述第二多个位提供的五位指数；以及
一位符号。
8.如权利要求6所述的方法，其中，生成所述神经网络训练张量包括：
生成包括所述多个16位浮点值和所述五位共享指数的所述神经网络训练张量，其中，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的可变位长尾数；
由所述第二多个位提供的可变位长指数；以及
一位符号。
9.如权利要求8所述的方法，进一步包括：
由所述处理器电路系统基于一个或多个神经网络参数来选择：
用于表示所述可变位长尾数的位的第一数量；以及
用于表示所述可变位长指数的位的第二数量。
10.如权利要求9所述的方法，进一步包括：
由所述处理器电路系统检测所述训练张量中所包括的所述多个16位浮点值中的一个或多个浮点值的趋势，所检测的趋势指示以下各项中的至少一项：所述网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值中的下溢状况或上溢状况。
11.如权利要求9所述的方法，其中，选择用于表示所述可变位长尾数的位的第一数量、以及用于表示所述可变位长指数的位的第二数量包括：
由所述处理器电路系统响应于检测到指示以下各项中的至少一项的趋势而选择包括在所述第一多个位中的位的第一数量以及包括在所述第二多个位中的位的第二数量：所述网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值中的下溢状况或上溢状况。
12.如权利要求6所述的方法，其中，生成所述神经网络训练张量包括：
生成包括所述多个16位浮点值和所述五位共享指数的所述神经网络训练张量，其中，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的所述尾数；
由所述第二多个位提供的所述指数；
一位符号；以及
用于选择性地将所述对应16位浮点数的所述指数部分与所述共享指数组合的一位开关。
13.一种神经网络训练系统，包括：
用于由处理器电路系统生成神经网络训练张量的装置，所述神经网络训练张量包括：
多个16位浮点值，所述16位浮点值中的每一个包括：
形成对应浮点数的尾数的第一多个位；和
形成所述对应浮点数的指数的第二多个位；以及
由所述训练张量中所包括的所述16位浮点值中的每一个所共用的五位共享指数；以及用于将所述训练张量中所包括的所述多个16位浮点值中的至少一个提供为所述神经网络的输入的装置。
14.如权利要求13所述的系统，其中，所述用于生成所述神经网络训练张量的装置包括：
用于生成包括所述多个16位浮点值和所述五位共享指数的所述神经网络训练张量的装置，其中，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的十位尾数；
由所述第二多个位提供的五位指数；以及
一位符号。
15.如权利要求13所述的系统，其中，所述用于生成所述神经网络训练张量的装置进一步包括：
用于生成包括所述多个16位浮点值和所述五位共享指数的所述神经网络训练张量的装置，其中，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的可变位长尾数；
由所述第二多个位提供的可变位长指数；以及
一位符号。
16.如权利要求15所述的系统，进一步包括：
用于选择以下各项的装置：
用于表示所述可变位长尾数的位的第一数量；以及
用于表示所述可变位长指数的位的第二数量。
17.如权利要求16所述的系统，进一步包括：
用于检测所述训练张量中所包括的所述多个16位浮点值中的一个或多个浮点值的趋势的装置，所检测的趋势指示以下各项中的至少一项：所述神经网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值的潜在下溢状况或潜在上溢状况。
18.如权利要求16所述的系统，其中，所述用于选择用于表示所述可变位长尾数的位的第一数量、以及用于表示所述可变位长指数的位的第二数量的装置进一步包括：
用于响应于检测到指示以下各项中的至少一项的趋势而选择包括在所述第一多个位中的位的第一数量以及包括在所述第二多个位中的位的第二数量的装置：所述网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值中的下溢状况或上溢状况。
19.如权利要求13所述的系统，其中，所述用于生成所述神经网络训练张量的装置进一步包括：
用于生成包括所述多个16位浮点值和所述五位共享指数的所述神经网络训练张量的装置，其中，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的所述尾数；
由所述第二多个位提供的所述指数；
一位符号；以及
用于选择性地将所述对应16位浮点数的所述指数部分与所述共享指数组合的一位开关。
20.一种非暂态计算机可读存储介质，包括机器可读指令，所述指令在由处理器电路系统执行时使所述处理器电路系统进行以下操作：
生成神经网络训练张量，所述神经网络训练张量包括：
多个16位浮点值，所述多个16位浮点值中的每一个包括：
形成对应浮点数的尾数的第一多个位；和
形成所述对应浮点数的指数的第二多个位；以及
由所述训练张量中所包括的所述16位浮点值中的每一个所共用的五位共享指数。
21.如权利要求20所述的非暂态计算机可读存储介质，其中，使所述处理器电路系统生成包括多个16位浮点值的神经网络训练张量的所述机器可读指令进一步使得所述处理器电路系统进行以下操作：
生成包括多个16位浮点值的神经网络训练张量，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的十位尾数；
由所述第二多个位提供的五位指数；以及
一位符号。
22.如权利要求20所述的非暂态计算机可读存储介质，其中，使所述处理器电路系统生成包括多个16位浮点值的神经网络训练张量的所述机器可读指令进一步使得所述处理器电路系统进行以下操作：
生成包括多个16位浮点值的神经网络训练张量，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的可变位长尾数；
由所述第二多个位提供的可变位长指数；以及
一位符号；并且
基于一个或多个神经网络参数来选择：
用于表示所述可变位长尾数的位的数量；以及
用于表示所述可变位长指数的位的数量。
23.如权利要求22所述的非暂态计算机可读存储介质，其中，使所述处理器电路系统基于一个或多个神经网络参数来选择用于表示所述可变位长尾数和所述可变位长指数的位的数量的所述机器可读指令进一步使所述处理器电路系统进行以下操作：
基于以下各项中的一项或多项来选择用于表示所述可变位长尾数和所述可变位长指数的位的数量：所述网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值中的下溢状况或上溢状况。
24.如权利要求20所述的非暂态计算机可读存储介质，其中，使所述处理器电路系统生成包括多个16位浮点值的神经网络训练张量的所述机器可读指令进一步使得所述处理器电路系统进行以下操作：
生成包括多个16位浮点值的神经网络训练张量，所述多个16位浮点值中的每一个包括：
由所述第一多个位提供的所述尾数；
由所述第二多个位提供的所述指数；
一位符号；以及
用于选择性地将所述对应16位浮点数的所述指数部分与所述共享指数组合的一位开关。
25.一种基于处理器的设备，包括：
印刷电路板；处理器电路系统，耦合到所述印刷电路板；输入/输出接口，可耦合到神经网络；以及
存储设备，耦合至所述处理器电路系统，所述存储设备包括机器可读指令，所述指令在由所述处理器电路系统执行时使所述处理器电路系统进行以下操作：
生成神经网络训练张量，所述神经网络训练张量包括：多个16位浮点值，所述多个16位浮点值中的每一个包括：
形成对应浮点数的尾数的第一多个位；和
形成所述对应浮点数的指数的第二多个位；以及
由所述训练张量中所包括的所述16位浮点值中的每一个所共用的五位共享指数。
26.如权利要求25所述的基于处理器的设备，其中，所述神经网络训练张量中所包括的所述多个16位浮点值中的每一个都包括：
由所述第一多个位提供的十位尾数；由所述第二多个位提供的五位指数；以及一位符号。
27.如权利要求25所述的基于处理器的设备，其中，所述神经网络训练张量中所包括的所述多个16位浮点值中的每一个都包括：
由所述第一多个位提供的可变位长尾数；
由所述第二多个位提供的可变位长指数；以及
一位符号；
其中，所述指令进一步使所述处理器电路系统基于一个或多个神经网络参数来选择：
用于表示所述可变位长尾数的位的数量；以及
用于表示所述可变位长指数的位的数量。
28.如权利要求27所述的基于处理器的设备，其中，所述一个或多个神经网络参数包括指示以下各项中的至少一项的趋势：所述网络训练张量中所包括的所述16位浮点值中的一个或多个浮点值中的下溢状况或上溢状况。
29.如权利要求25所述的基于处理器的设备，其中，所述神经网络训练张量中所包括的所述多个16位浮点值中的每一个都包括：
由所述第一多个位提供的所述尾数；
由所述第二多个位提供的所述指数；
一位符号；以及
用于选择性地将所述对应16位浮点数的所述指数部分与所述共享指数组合的一位开关。
30.一种张量数据结构，包括：
多个16位浮点寄存器，所述多个16位浮点寄存器中的每一个包括：
与尾数值相对应的第一多个位；
与指数值相对应的第二多个位；和
符号位；以及
共享指数寄存器，所述共享指数寄存器与所述多个16位浮点寄存器中的每个对应浮点寄存器相关联。
31.如权利要求30所述的张量数据结构，其中，所述多个16位浮点寄存器中的每一个包括：
由所述第一多个位提供的十位尾数；
由所述第二多个位提供的五位指数；以及
一位符号。
32.如权利要求30所述的张量数据结构，其中，所述多个16位浮点寄存器中的每一个包括：
由所述第一多个位提供的可变位长尾数；由所述第二多个位提供的可变位长指数；以及
一位符号。
33.如权利要求30所述的张量数据结构，其中，所述多个16位浮点寄存器中的每一个包括：
由所述第一多个位提供的所述尾数；
由所述第二多个位提供的所述指数；
一位符号；以及
用于选择性地将所述对应16位浮点数的所述指数部分与所述共享指数组合的一位开关。