技术领域
[0001] 本
发明涉及光子神经网络训练方法技术领域，尤其涉及一种基于正向传播的光子神经网络训练方法。
背景技术
[0002] 2017年，麻省理工学院的研究人员提出了一种典型的光子神经网络芯片(参见Y.Shen，et al.“Deep learning with coherent nanophotonic circuits，”Nat.Photonics 11，441(2017).)，此芯片运用SVD
算法将任意矩阵分解为2个酉矩阵和1个对
角矩阵，然后用
马赫—曾德干涉仪(Mach-Zehnder interferometer，MZI)组成的阵列模拟这3个矩阵，从而实现了全光任意矩阵相乘计算，为全连接神经网络的计算
加速提供了一种
光子学的解决思路。同时，将光子回路不擅长的存储、控制、非线性计算等部分放在外接的
电路中进行，通过光电集成的方式实现一个理想智能功能的神经网络。然而，这种光子神经网络目前更多是应用在推理端，其训练则严重依赖于传统
电子计算机对这一系统的模拟，因此光子神经网络芯片的实际性能受到模拟
精度的制约。发展在片上直接训练光子神经网络的技术是提升其性能表现的关键。
[0003]
人工神经网络的训练实际上对应着一个通过调整不同神经元之间连接权重提升网络输出结果准确性的过程。这一准确性可以通过神经网络模型的预测值f(x)与真实值Y的不一致程度，即损失函数(Loss function)来估量。损失函数的表达有交叉熵损失，平方损失，指数损失，hinge损失等。无论选择何种损失函数，通过训练更新权重使所使用的损失函数不断减小，总是意味着人工神经网络的分析判断与真实结果不断接近。最终损失函数无法通过训练继续减小时，认为人工神经网络的训练完成。
[0004] 光子神经网络包含若干关联连接的MZI，光从光子神经网络输入并输出，对应着一个人工神经网络分析加载有信息的光
信号并给出分析结果的过程(相关具体技术细节可参考论文Y.Shen，et al.“Deep learning with coherent nanophotonic circuits，”Nat.Photonics 11，441(2017))。而从这个意义上来讲，光子神经网络实际上是由一系列MZI的
相位参数来描述，训练光子神经网络就是要通过不断的调整MZI的相位参数来降低损失函数，使之达到最小。即，
[0005] Min L(θ1,φ1,θ2,φ2......θn,φn)其中n为MZI数量
[0006] 人工神经网络训练的一个核心工作在于如何获得网络参数的梯度，从而实现整个网络的更新。在论文Y.Shen，et al.“Deep learning with coherent nanophotonic circuits，”Nat.Photonics 11，441(2017)中，麻省理工学院的研究人员提出了一种基于简单的片上原位(in-situ)训练方法：逐一扰动光子回路中各个器件的参数，比较被扰动前后计算结果的差别测量损失函数的梯度。这种逐个器件量测的方法对于大规模的光子神经网络是极为低效的。鉴于此，斯坦福大学的研究人员(Hughes T W，Momchil M，Yu S，et al.Training of photonic neural networks through in situ backpropagation and gradient measurement.Optica，2018，5(7)：864.)提出了一种基于反向传播的片上训练方法。这种方法某种程度上可认为是当前基于电子计算芯片的人工神经网络反向传播训练方法的“光学”版本，可以基于链式法则的特性逐层同步更新网络参量。然而，要实现这种方法需要对光子回路中的所有器件(或者其附近)的场分布进行无损的监测(即监测器的存在不能影响到光子回路的实际传播行为)。同时，基于反向传播来进行训练意味着光子神经网络芯片中，所有的端口都需要同时引入
光源和探测器。这些都使得系统的复杂性大大增加。
[0007] 有鉴于此，需要提供一种使得系统复杂性较低的训练方法。
发明内容
[0008] 本发明的目的是为了克服
现有技术的不足，提供了一种基于正向传播的光子神经网络训练方法，仅通过一次正向传播即可实现对整个网络所有参数的并行更新，解决了现有技术中对光子神经网络芯片训练增加系统复杂性的问题。
[0009] 本发明是通过以下技术方案实现：
[0010] 一种基于正向传播的光子神经网络训练方法，其中，光子神经网络包含若干关联连接的MZI干涉仪；包括以下方法或步骤：
[0011] A：向光子神经网络输入
光信号，将该光子神经网络的光信号输出进行光电转换，并处理为代表该光子神经网络损失函数的
电信号或电信息；各MZI干涉仪对应的调制信号记为初始信号S0；
[0012] B：在各MZI干涉仪的调制信号上分别
叠加扰动调制信号，各扰动调制信号互为
正交信号，且
频率各不相同，扰动调制信号组记为ΔS；将该光子网络的损失函数记为L(s)；
[0013] C：获取或分析计算初始信号S0处所述损失函数的梯度，并记为
[0014] D：选择合适的比例参数α及扰动调制信号ΔS的大小，更新各MZI干涉仪对应的调制信号,更新公式为:
[0015] E、将调制信号更改为S2＝S1+ΔS，按照步骤A至D进行反复
迭代，直至所得到的梯度趋近于0或无法进一步减小，则训练完成。
[0016] 由于各个MZI分析仪的权重由其传输函数对应不同光通道的相位参数θ和φ共同决定，而θ和φ的具体数值可以由一组调制信号的状态组合来定义，因此，本技术方案通过对调制信号的处理，使得损失函数成为一种同时包含多个频点信息的含时函数，调制信号的正交性便于同时提取各个MZI分析仪的梯度分量信息。以泰勒展开进行分析，扰动调制信号已知，获取梯度信号及海塞矩阵即基本近似还原了损失函数。
[0017] 进一步的，所述初始信号S0及扰动调制信号为同类信号，包含
电压信号、
电流信号、
声波信号中的其中一种。
[0018] 进一步的，所述扰动调制信号为电压信号，其电压表达式为ΔVsinωt或ΔVcosωt，其中，ΔV为幅值，ω为频率，t为时间因子。
[0019] 进一步的，设置若干
锁相
放大器；在步骤C中，任一
锁相放大器的参考通道仅唯一对应输入一个MZI干涉仪的相位调制信号，锁相放大器的信号通道输入损失函数的电信号或电信息L(s)；锁相放大器
输出信号的电压幅值则正比于该MZI干涉仪对应梯度分量值的大小。
[0020] 通过锁相放大器的设置，使得每一个MZI干涉仪对应损失函数的分量梯度都能够方便的获取，且电压幅值与分量梯度成正比关系，比例系数的调整也相对灵活，容错性更高，简单调整相位调制信号，还可提取海塞矩阵信息。
[0021] 与现有的技术相比，本发明有以下有益之处：
[0022] 1)仅通过一次正向传播即可实现对整个网络所有参数的并行更新，优于现有电子芯片中训练神经网络所常用的反向传播-逐层更新网络的方法；
[0023] 2)本
申请所述的基于前向传播的方案是一种端到端的训练方案，优于Hughes T W，Momchil M，Yu S，et al.Training of photonic neural networks through in situ back propagation and gradient measurement.Optica，2018，5(7)：864.一文所述的光子芯片反向传播训练方案----需要对光子回路中的所有器件(或者其附近)的场分布进行无损的监测，且芯片的每一个端口都需要同时引入光源和
光探测器----本发明仅在光子神经网络的输入端引入光源，在输出端配置光探测器即可实现参数梯度的获取或计算；
[0024] 3)利用训练和推理都同样是通过正向传播来完成的特征，基于本方案的光子神经网络芯片可以实现训练和推理的同步进行；
[0025] 4)本方案可以给出海塞矩阵等额外的线索，帮助避免网络参数的训练陷入某些不正确的局域极值点，从而获得更好的训练效果。
附图说明
[0026] 图1为
实施例中光子神经网络训练示意图。
[0027] 图2为实施例中一个锁相放大器对应的
信号处理示意图。
具体实施方式
[0028] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0029] 已有的通过训练实现损失函数最小化的方法主要是反向传播算法。它通过链式法则，从神经网络的
输出层开始，逐层反推网络中每一个权重的梯度，根据梯度给出的信息更新权重。区别于反向传播算法，本实施例提供的方法基于前向传播的信息来获取梯度进行权重的更新，从而达到训练神经网络的目的。
[0030] 参见图1，本实施例中光子神经网络1包含若干关联连接的MZI干涉仪2；图1中的MZI干涉仪成矩形网格连接关系，其他如三角网格、FFT网格连接关系原理相同；基于此，本实施例提供的一种基于正向传播的光子神经网络训练方法，包括以下方法或步骤：
[0031] A：向光子神经网络输入光信号，将该光子神经网络的光信号输出进行光电转换，并处理为代表该光子神经网络损失函数的电信号或电信息；各MZI干涉仪对应的调制信号记为初始信号S0；
[0032] B：在各MZI干涉仪的调制信号上分别叠加扰动调制信号，各扰动调制信号互为正交信号，且频率各不相同，扰动调制信号组记为ΔS；将该光子网络的损失函数记为L(s)；
[0033] C：获取或分析计算初始信号S0处所述损失函数的梯度，并记为
[0034] D：选择合适的比例参数α及扰动调制信号ΔS的大小，更新各MZI干涉仪对应的调制信号,更新公式为:
[0035] E、将调制信号更改为S2＝S1+ΔS，按照步骤A至D进行反复迭代，直至所得到的梯度趋近于0或无法进一步减小，则训练完成。
[0036] 所述初始信号S0及扰动调制信号为同类信号，包含电压信号、电流信号、声波信号中的其中一种。MZI干涉仪的相位调制方式包括热光调制、电光调制或基于
等离子体色散效应进行光调制的其中一种，由于原理相同，本实施例以热光调制方式予以说明。
[0037] 在采用热光调制的方式时，相位参数由MZI干涉仪的加热电压决定：θ,φ＝γVθ,φ2(γ为取决于器件制作工艺和结构尺寸的固定参数，Vθ,φ为加热电压)。因此，损失函数的最优化Min L(θ1,φ1,θ2,φ2......θn,φn)可被改写为寻找合适的电压组合[0038] 输入光信号被光探测器接收后转换成电信号，并处理为光子神经网络的损失函数L，将损失函数在S0附近进行泰勒展开：
[0039]
[0040] 其中，S0处的海塞矩阵为H(S0)；O(n)为高阶项；由于主动添加了扰动调制信号，因此(1)式中(S-S0)T是已知的，为ΔS。
[0041] 当扰动调制信号是ΔVsinωt时(扰动调制信号是ΔVcosωt时作对应替换即可，同时S0对应为电压V0)，将上述损失函数表示成关于调制电压信号的含时函数：
[0042]
[0043] 其中， 为电压调制所使用的频率，对L(V(t))进行低通滤波，即可得L(V0)。
[0044] 使 取不同值，则利用正弦函数的正交性，梯度的每一个分量都可以通过锁相放大的方法得到(只差一个系数ΔV/2)。具体来说，将含时的损失函数L(V(t))与调制电压信号的一个分量 相乘并积分，经过积分时间T后，除了与ωθi同频的成分，其余部分的积分均为0，即：
[0045]
[0046] 其中 对φi的处理与之类似
[0047] 通过公式(3)即可计算分析获得MZI干涉仪梯度各个分量值的大小。
[0048] 在上述步骤C中，我们使用多路锁相放大器基于公式(3)来达成光子神经网络芯片中所有MZI干涉仪的加热电压同步跟新的效果。这其中，如图2所示，任一锁相放大器的参考通道仅唯一对应一个输入MZI干涉仪的相位调制信号，锁相放大器的信号通道输入损失函数的电信号或电信息L(V(t))；在本实施例中，某一MZI干涉仪的相位受到加热电压信号的调制，则损失函数为于该正弦函数相关的信号，参考通道信号为正弦函数时，参考通道与信号通道输入的损失函数电信号或电信息经过锁相放大器的混频，低通滤波后，和参考通道输入的 同频的信号得以输出，实现了与公式3相同的输出效果，锁相放大器输出信号的电压幅值则正比于该MZI干涉仪对应梯度分量值的大小，而锁相放大器输出信号中
相位差决定了梯度分量值的符号：相位差接近0，意味着梯度应为正，相位差接近π，意味着梯度应为负。
[0049] 由于所有的θ和φ共享同一个损失函数L(V(t))，同上述公式所示，锁相放大操作方式对所有的相位参量都是一致的，即n个MZI的相位参数所对应电压的梯度可以并行化(同步)获得；即得到梯度
[0050] 从损失函数表达式(2)中还可以看到，L(V(t))与 有关，这一项包含各个MZI干涉仪相位的加热电压调制频率
中任意两个频率的和频信号，即ω1+ω2(ω1,ω2为任意两个MZI干涉仪的调制频率)，因此当锁相放大器的参考通道信号为正弦函数sin(ω1t+ω2t)时，通过与损失函数的电信号或电信息L(V(t))的混频和低通滤波，得到的就是海塞矩阵H(V0)各个分量的值，同样的，由于所有的和频信号都共享一个损失函数L(V(t))，海塞矩阵H(V0)各个分量的分析可以并行化(同步)获得----即在一轮前向传播训练中得到整个海塞矩阵H(V0)，由此可以给出海塞矩阵等额外的线索，帮助避免网络参数的训练陷入某些不正确的局域极值点，从而获得更好的训练效果。
[0051] 总之在本实施例中，在对相位参数进行合理调制的情况下，直接对正向传播的输出结果做分析处理就可以获得损失函数的梯度，进而在片上实现对光子神经网络的训练；通过分析过程的并行化，可以在一个循环中完成所有参数的更新；这一过程支持损失函数海塞矩阵的提取，有助于避免网络参数的训练陷入某些局域极值，这在主流的反向传播算法
框架中是没能提供的；此外，在实现训练的同时，推理也同步完成；由于无需反向传播的信息，本实施例中仅需在输入端引入光源，在输出端配置光探测器即可实现参数梯度的计算。
[0052] 不同于论文Y.Shen，et al.“Deep learning with coherent nanophotonic circuits，”Nat.Photonics 11，441(2017)中给出的简单通过逐一扰动光子回路中各个器件的参数，比较被扰动前后计算结果的差别测量损失函数梯度的方法----这种方法在扰动过小时，差别可能淹没在噪声中，而加大扰动则不可避免的增加差分近似微分的数值误差，得益于锁相放大器强大的微弱信号检测能
力，本实施例在ΔV很小的情况下也能够工作，大大减小了梯度提取的数值误差。
[0053] 本实施例中的调制方案不限于正弦信号，其他满足正交性的调制方案，即满足强自相关和弱互相关的模拟或数字调制方法也同样可用于梯度的分析。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
