技术领域
[0001] 本
发明涉及
人工神经网络领域，具体涉及一种基于变参收敛神经网络的线性方程求解器设计方法。
背景技术
[0002] 人工神经网络，作为模拟动物神经系统的一种并行分布式
信号处理的数学模型方法，在过去的几十年间引起了众多研究人员和工程师的注意。在科学、工程以及经济等领域及其相关领域中，大规模实时数学问题频繁出现，如何求解时变矩阵/矢量/代数方程运算、自动控制、最优化计算、
信号处理、
机器人逆运动学求解等相关问题已成为了解决实际应用的关键所在。随着近代神经网络的发展与深入，各领域研究者已设计出众多具有不同特性的神经网络结构模型。
[0003] 在收敛神经网络方面，基于梯度法的神经网络模型被应用于众多的领域和学科之中。特别是应用于静态定常数学问题求解或变化缓慢的时变问题求解中，且已在模拟
硬件电路上获得了实现，但实践证明其并不适用于求解时变问题。
[0004] 方程AXB-C＝0在线性代数和控制理论中是一种重要的线性矩阵方程，在模型降阶与
图像处理中起到了重要的作用，例如图像融合、聚类、线性最小二次回归、系统能控能观性分析和最优化等。而基于固定参数的张零化神经网络在面对复杂的时变系统时，经常会受到外界噪声的干扰，导致系统求解出现不可预知的误差，不能很好地满足人们对于控制系统
稳定性的要求。
[0005] 由于固定参数收敛神经网络方法要求收敛参数需要被设定得尽可能的大以得到更快的收敛性能。当神经网络应用在实际的系统中时，或是制成相应神经网络电路甚至芯片，这是不实用的以及难以满足的。除此之外，在实际系统中，特别是大型的电
力电子系统、交流
电机控制系统、电力网络电容投切等，电感参数值和电容参数值的倒数通常是时变的，系统参数被设定为固定值是不合理的。
发明内容
[0006] 本发明的目的是针对
现有技术的不足，提供了一种基于变参收敛神经网络的线性方程求解器设计方法，所述方法在求解实数域光滑时变线性矩阵问题中使用了时变参数矩阵，具有超指数收敛性能和强鲁棒性。
[0007] 本发明的目的可以通过如下技术方案实现：
[0008] 一种基于变参收敛神经网络的线性方程求解器设计方法，所述方法包括以下步骤：
[0009] 1)建立具有实数域光滑时变线性矩阵方程形式的实际物理系统或数值求解系统的数学模型；
[0010] 2)通过步骤1)所述系统的
传感器获取数学模型的时变参数矩阵，并通过微分器求解其时间导数；
[0011] 3)设计所述系统的误差函数方程；
[0012] 4)通过实数域变参收敛神经网络方法以及所获得的时变参数矩阵及其导数，利用单调递增奇激励函数，设计实数域光滑时变线性矩阵方程求解器，通过方程求解器得到系统的实数域光滑时变线性矩阵方程的唯一最优解，系统的执行端接受该最优解指令并执行。
[0013] 进一步地，步骤1)中，所述实际物理系统或数值求解系统的实数域光滑时变线性矩阵方程形式为线性或者近似线性，将所述系统利用数学建模方法进行模型公式化后，得到如下的实数域光滑时变线性矩阵方程：
[0014]
[0015] 其中，t表示时间；在实数域中，定义 以及 是时变参数矩阵；假设未知的矩阵 存在，以及它们各自的时间导数
被认为是已知、时变且光滑的，通过设计一种变参收敛神经网络模型，能够寻找到满足矩阵方程(1)的唯一最优解
[0016] 为使上述实数域光滑时变线性矩阵方程(1)的求解过程更为简单，首先需要将实数域光滑时变线性矩阵方程从矩阵形式转换为矢量形式；矩阵形式的实数域光滑时变线性矩阵方程(1)等价于如下的矢量形式方程：
[0017]
[0018] 其中，符号 表示克罗内克积，这意味着 是一个通过替换矩阵A中的第(i，j)单元的元素aij为aijB的大维度矩阵；算子 是一个将矩阵 的所有列向量重组为一个1维的长列向量的重构列向量算子；
[0019] 此外，为了保证能够得到唯一解，实数域矩阵方程需要满足唯一解存在条件；实数域光滑时变线性矩阵方程(1)有唯一最优理论解当且仅当其满足其系数矩阵A(t)，B(t)，C(t)为非奇异矩阵，即矩阵A(t)，B(t)，C(t)的所有特征值均不为零。
[0020] 进一步地，步骤2)中，实数域光滑时变线性矩阵方程(1)中的时变参数矩阵A(t)，B(t)，C(t)由实际系统传感器获取的信号与系统预期运行状态信号组合构成；时变参数矩阵A(t)，B(t)，C(t)，以及它们的时间导数矩阵 和C(t)＝dC(t)/dt是可知的或者能够通过系统的微分器被精确地估计出来。
[0021] 进一步地，步骤3)中，所述误差函数为矩阵形式，方程具体如下：
[0022] E(t)＝A(t)X(t)B(t)-C(t) (3)
[0023] 当误差函数E(t)达到0时，即E(t)所有的元素eij，i＝1，...，m；j＝1，...n均达到0时，实数域光滑时变线性矩阵方程(1)的唯一最优解X*(t)能够被获得。
[0024] 进一步地，步骤4)中，在利用实数域变参收敛神经网络方法设计实数域光滑时变线性矩阵方程求解器的过程中，引入时变参数Φ(t)，将变参收敛神经网络模型中误差函数的时间导数设计如下：
[0025]
[0026] 其中， 表示矩阵形式的实数值激励函数阵列， 根据不同的映射函数关系具有不同的形式；Φ(t)为一个正定的用于衡量该求解过程的收敛率的时变参数，为幂型或者指数型，并能够根据实际硬件系统需要，及时调整以获得更好的收敛效果；此处采用指数型时变参数，即Φ(t)＝(ψ+ψt)t∈[0，+∞)，将变参收敛神经网络模型中误差函数的时间导数设计如下：
[0027]
[0028] 从而实数域变参收敛神经网络用如下的隐式网络方程表达：
[0029]
[0030] 其中， 为偏导数信息，X(t)具有初始值 根据矢量形式方程(2)，实数域变参收敛神经网络的隐式网络方程(6)转化为如下的矢量形式实数域光滑时变线性矩阵方程求解器：
[0031]
[0032] 其中矩阵 矢量x(t)：＝vec(X(t))，c(t)：＝vec(C(t))；根据方程(7)得到实数域变参收敛神经网络的系统
框图以及网络实现，网络的输出结果即为实数域光滑时变线性矩阵方程(1)的唯一最优解。
[0033] 进一步地，所述矩阵形式的实数值激励函数阵列 个单调递增奇激励函数f(·)组成；能够使用的实数值激励函数如下列所示：
[0034] (1)线性型激励函数：f1(eij)＝eij，其中标量参数
[0035] (2)双极S函数型激励函数： 其中标量参数ξ≥2并且
[0036] (3)幂函数型激励函数：f3(eij)＝(eij)k，其中k≥3并且
[0037] (4)幂函数-双极S型激活函数：
[0038]
[0039] 其中标量参数ξ≥2，k≥3，且
[0040] 本发明与现有技术相比，具有如下优点和有益效果：
[0041] 本发明提供的基于变参收敛神经网络的线性方程求解器设计方法，在求解实数域光滑时变线性矩阵问题中使用了时变参数矩阵，具有超指数收敛性能和强鲁棒性，它的设计方法从方法和系统层面上充分利用了误差的导数信息，具有一定的预测指导能力，因此采用变参收敛神经网络方法所得的解可以快速收敛到实时“运动”的理论解上去，可以很好地解决矩阵、向量、代数以及优化等多种时变问题，克服了传统定参收敛神经网络方法在求解时变问题时易受干扰的缺点。
附图说明
[0042] 图1为本发明
实施例基于变参收敛神经网络的线性方程求解器设计方法
流程图。
[0043] 图2为本发明实施例实际系统求解器的实现
框架。
[0044] 图3为本发明实施例基于变参收敛神经网络方法的线性矩阵方程求解网络框图。
[0045] 图4(a)为本发明实施例状态解矩阵的第(1，1)个元素仿真结果，图4(b)为状态解矩阵的第(1，2)个元素仿真结果，图4(c)为状态解矩阵的第(1，3)个元素仿真结果，图4(d)为状态解矩阵的第(2，1)个元素仿真结果，图4(e)为状态解矩阵的第(2，2)个元素仿真结果，图4(f)为状态解矩阵的第(2，3)个元素仿真结果。
[0046] 图5(a)为本发明实施例求解器在线性激励函数下的求解效果图，图5(b)为求解器在双极S函数型激励函数下的求解效果图，图5(c)为求解器在幂函数型激励函数下的求解效果图，图5(d)求解器在幂函数-双极S型激励函数下的求解效果图。
[0047] 图6(a)为本发明实施例求解器在脉冲型干扰下的求解效果图，图6(b)为求解器在三
角波型干扰下的求解效果图。
具体实施方式
[0048] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0049] 实施例：
[0050] 本实施例提供了一种基于变参收敛神经网络的线性方程求解器设计方法，所述方法流程如图1所示，包括以下步骤：
[0051] 1)建立具有实数域光滑时变线性矩阵方程形式的实际物理系统或数值求解系统的数学模型；
[0052] 2)通过步骤1)所述系统的传感器获取数学模型的时变参数矩阵，并通过微分器求解其时间导数；
[0053] 3)设计所述系统的误差函数方程；
[0054] 4)通过实数域变参收敛神经网络方法以及所获得的时变参数矩阵及其导数，利用单调递增奇激励函数，设计实数域光滑时变线性矩阵方程求解器，通过方程求解器得到系统的实数域光滑时变线性矩阵方程的唯一最优解，系统的执行端接受该最优解指令并执行。
[0055] 图2所示为本实施例实际系统求解器的实现框架，包括如下模
块：
数据采集部分，包括外部传感器对外界环境进行传感器获取以及预期实现的目标状态数据，这两部分为构成时变参数矩阵的
基础内容；输入
接口电路为外部设定数据以及处理器间的接口通道，根据传感器的不同由不同接口电路与协议实现；处理器部分包括时变参数矩阵以及基于变参收敛神经网络方法的实数域时变光滑线性矩阵方程求解器，其中时变参数矩阵部分完成对外部输入数据的矩阵或矢量化，为线性矩阵方程求解器为系统核心部分；线性矩阵方程求解器通过预先对系统的建模、公式化、分析以及设计构成，包括数学建模得到系统模型、设计误差方程，利用变参收敛神经网络方法构造神经网络求解器；输出接口为求解器求解数据同系统最优理论解
请求端的接口，其中该接口可以是电路接口也可以是程序的返回值，根据设计系统的不同而不同；最优理论解请求端为需要获得实际物理系统或数值求解系统的实数域光滑时变线性矩阵方程最优理论解的请求端，该端口在需要得到求解参数时像求解系统发出指令请求，并接受求解结果。
[0056] 图3为本实施例基于变参收敛神经网络方法的线性矩阵方程求解网络框图，根据实数域光滑时变线性矩阵方程的隐式网络方程，实数域变参收敛神经网络的框图实现如图3所设计。图3不仅仅是等式的隐式网络方程的展示，同时也是所提出的实数域变参收敛神经网络的实现。值得一提的是实数域便参数收敛神经网络能够通过使用电子元件实现，以实现神经网络电路甚至是芯片，并且框图能够促进并指导神经网络的物理实现的设计过程。在图3中，∑表示累加器而∫表示积分器，左乘和右乘代表着矩阵的两种不同乘法运算。
[0057] 根据设计流程图的相关步骤，针对本发明进行详细的
算法解析：
[0058] 步骤1)中，所述实际物理系统或数值求解系统的实数域光滑时变线性矩阵方程形式为线性或者近似线性，将所述系统利用数学建模方法进行模型公式化后，得到如下的实数域光滑时变线性矩阵方程：
[0059]
[0060] 其中，t表示时间；在实数域中，定义 以及 是时变参数矩阵；假设未知的矩阵 存在，以及它们各自的时间导数
被认为是已知、时变且光滑的，通过设计一种变参收敛神经网络模型，能够寻找到满足矩阵方程(1)的唯一最优解
[0061] 为使上述实数域光滑时变线性矩阵方程(1)的求解过程更为简单，首先需要将实数域光滑时变线性矩阵方程从矩阵形式转换为矢量形式；矩阵形式的实数域光滑时变线性矩阵方程(1)等价于如下的矢量形式方程：
[0062]
[0063] 其中，符号 表示克罗内克积，这意味着 是一个通过替换矩阵A中的第(i，j)单元的元素aij为aijB的大维度矩阵；算子 是一个将矩阵 的所有列向量重组为一个1维的长列向量的重构列向量算子；
[0064] 此外，为了保证能够得到唯一解，实数域矩阵方程需要满足唯一解存在条件；实数域光滑时变线性矩阵方程(1)有唯一最优理论解当且仅当其满足其系数矩阵A(t)，B(t)，C(t)为非奇异矩阵，即矩阵A(t)，B(t)，C(t)的所有特征值均不为零。
[0065] 步骤2)中，实数域光滑时变线性矩阵方程(1)中的时变参数矩阵A(t)，B(t)，C(t)由实际系统传感器获取的信号与系统预期运行状态信号组合构成；时变参数矩阵A(t)，B(t)，C(t)，以及它们的时间导数矩阵 和C(t)＝dC(t)/dt是可知的或者能够通过系统的微分器被精确地估计出来。
[0066] 步骤3)中，所述误差函数为矩阵形式，方程具体如下：
[0067] E(t)＝A(t)X(t)B(t)-C(t) (3)
[0068] 当误差函数E(t)达到0时，即E(t)所有的元素eij，，i＝1，...，m；j＝1，...n均达到0时，实数域光滑时变线性矩阵方程(1)的唯一最优解X*(t)能够被获得。
[0069] 步骤4)中，在利用实数域变参收敛神经网络方法设计实数域光滑时变线性矩阵方程求解器的过程中，引入时变参数Φ(t)，将变参收敛神经网络模型中误差函数的时间导数设计如下：
[0070]
[0071] 其中， 表示矩阵形式的实数值激励函数阵列， 根据不同的映射函数关系具有不同的形式；Φ(t)为一个正定的用于衡量该求解过程的收敛率的时变参数，为幂型或者指数型，并能够根据实际硬件系统需要，及时调整以获得更好的收敛效果；此处采用指数型时变参数，即Φ(t)＝(ψ+ψt)t∈[0，+∞)，将变参收敛神经网络模型中误差函数的时间导数设计如下：
[0072]
[0073] 从而实数域变参收敛神经网络用如下的隐式网络方程表达：
[0074]
[0075] 其中， 为偏导数信息，X(t)具有初始值 根据矢量形式方程(2)，实数域变参收敛神经网络的隐式网络方程(6)转化为如下的矢量形式实数域光滑时变线性矩阵方程求解器：
[0076]
[0077] 其中矩阵 矢量x(t)：＝vec(X(t))，c(t)：＝vec(C(t))；根据方程(7)得到实数域变参收敛神经网络的系统框图以及网络实现，网络的输出结果即为实数域光滑时变线性矩阵方程(1)的唯一最优解。
[0078] 此处，为了展示实际的系统设计过程，利用一个实际例子对问题进行说明，假设系统的时变参数矩阵已被得到，并考虑假定具有如下时变矩阵的一个实数域时变AXB-C＝0方程(1)，其中
[0079]
[0080]
[0081] 为了更好比较算法设计结果，将上述的矩阵代入方程(1)，以下的AXB-C＝0方程的理论解X*(t)能够被计算出来：
[0082]
[0083] 对于实数域变参收敛神经网络，可以得到神经网络的状态解X(t)为：
[0084]
[0085] 其中xij表示X(t)的第(i，j)个元素，考虑以下的初始值：
[0086]
[0087] 其中x0a，x0b，…，x0f是通过随机函数在区域[-2，+2]上生成的。假设当计算误差||X(t)-X*(t)||F小于0.06，线性矩阵方程的求解过程认为已经完成。此外，我们假定在随机重复试验中，所有的计算误差||X(t)-X*(t)||F都小于0.06时的时间为花费时间。对于激励函数，在双极S型激励函数中设定参数ξ＝4以及在幂函数型激励函数中设定指数k＝3。实例仿真结果如图4(a)-4(f)，图5(a)-5(d)和图6(a)-6(b)所示。
[0088] 图4为AXB-C＝0方程求解器实例求解收敛效果，仿真实例使用时变参数Φ(2)在2×3维度的线性矩阵方程上进行了6次重复试验，理论解由虚线表示；图4(a)为状态解矩阵的第(1，1)个元素仿真结果，图4(b)为状态解矩阵的第(1，2)个元素仿真结果，图4(c)为状态解矩阵的第(1，3)个元素仿真结果，图4(d)为状态解矩阵的第(2，1)个元素仿真结果，图4(e)为状态解矩阵的第(2，2)个元素仿真结果，图4(f)为状态解矩阵的第(2，3)个元素仿真结果。
[0089] 图5为AXB-C＝0方程求解器不同激励函数下实例求解效果。图5(a)为求解器在线性激励函数下的求解效果图，图5(b)为求解器在双极S函数型激励函数下的求解效果图，图5(c)为求解器在幂函数型激励函数下的求解效果图，图5(d)求解器在幂函数-双极S型激励函数下的求解效果图。
[0090] 图6为AXB-C＝0方程求解器实例求解鲁棒效果，其中虚线代表张零化神经网络而实线代表本发明中提出的变参收敛神经网络。图6(a)为求解器在脉冲型干扰下的求解效果图，图6(b)为求解器在三角波型干扰下的求解效果图。
[0091] 以上所述，仅为本发明
专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。
