本发明涉及神经网络信息处理系统，并且特别涉及多内核神经网络 计算体系结构，配置成用于当网络监视和估算(impute)测得的输入 值并且也预测未来输出值之时学习特征值之间的相关性。

在计算机技术正处于当前的蓬勃发展之时，很多注意力集中于顺序 信息处理系统，如从手持个人计算机到大型计算机的广阔领域内的各种 系统。一般讲，多数“平面文件”顺序信息处理系统在执行预先已知的 输入、输出和操作任务时可以是很有效的。但它们不太适合执行输入、 输出和操作响应变化的环境因素、变化的物理特性等而随时间变化的 自适应任务。换言之，典型的“平面文件”顺序信息处理系统不太适合 执行涉及学习的任务。

神经网络是一种可用于实现学习系统的计算机技术。特别是神经 网络计算机的体系结构是为了模拟在思维机体中发生的信息过程而开 发的。神经网络技术的实现经常利用专用的硬件处理器，如并行处理逻 辑阵列。一般讲，神经网络是一个具有输入和输出的互连节点系统，其中 一个给定节点的输出是由该节点的输入的加权和来驱动的。神经网络 很适合输入和输出值与可在一系列时间试验期间进行测量的物理参数 相对应的监视、预报和控制应用。对同样一些值进行监视和预报容许 输入和输出值之间的关系可通过对应用于测量的输入和输出值进行经 验分析而得到学习。之后可将学习的关系应用于从测量的输入值预测 的输出值。

为了将一个典型的神经网络系统应用于物理应用，神经网络配置有 适合于给定的应用的输入和输出。神经网络一旦构成就使其在训练阶 段暴露于包含输入和输出两者的测量值的一系列时间试验。通过在训 练阶段的经验分析，网络学习测量的输入和输出值之间的关系。在网络 经过训练之后，就可在预测阶段中在其后时间试验期间从测量的输入计 算预测的输出。就是说，在预测阶段，网络根据在训练阶段所学习的关系 利用测量的输入计算预测的输出。在预报应用中，网络一般接收与在未 来时间试验期间的输出值相对应的测量值。之后将这些测量的输出值 与预测的输出值进行比较以测定网络的性能或预测精度。

神经网络也可以经常接收再训练，结果形成训练-预测操作周期。 虽然这种通常的神经网络可有效地应用学习的输入输出关系来执行预 测分析，但网络在执行预测分析之前要求一个明确的训练阶段。换言之， 此网络在预测阶段不能学习关系。由于此同一表征，网络在训练阶段不 能进行预测分析。这一缺点限制了通常的神经网络在某些情况下的用 途。

特别是，通常的神经网络不能同时学习和预测限制了这些网络在那 些应当尽快查清输入和输出之间的关系但又不了解为学习这些关系需 要多少时间试验的应用中的有效性。在这种情况下，很难判断训练此网 络需要多少时间试验。与此类似，通常的神经网络不太适合其中的输入 和输出之间的关系可以以一种未知或不可预测的方式变化的应用。在 这种情况下，难于判断何时对网络进行再训练。

结果，通常的神经网络在应用于其中的输入和输出之间的关系必须 尽快查清并且其中的这些关系是以一种未知或不可预测的方式变化的 监视、预报和控制任务时受到严重的限制。当然，很多监视、预报和控 制任务属于这些范畴。比如，像导弹控制器和信息包路由器这些机器在 应当很快查清的输入和输出之间的关系上经受迅速的变化。其他一些 涉及可能发生根本性失效，如结构件被破坏或导弹变向失去控制，的机器 的监视和控制操作经常表现出以一种未知或不可预测的方式变化的输 入和输出关系。

通常的神经网络在其中的输入和输出关系在时间上响应未测量及 在很多情况下是不可测的变化因素而变化的应用中其有效性也受到限 制。比如，可以预期一种商品的价格指数在时间上会以不可预测的方 式响应像存货水平、商品需求、货币供应量、交易商心理等变化因素 而变化。与此类似，可以预期供电需求和天气之间的关系会以不可预 测的方式响应像人口统计数据、采暖及制冷技术、经济情况等变化因 素而变化。

通常的神经网络碰到的另一种限制的根源在于网络的物理配置通 常是为特定的一组输入和输出而定制的。虽然网络容易学习这些输入 和输出之间的关系，网络不是为响应测量的性能重新定义其输入和输出 而配置。这是因为网络所使用的输入输出关系权值在网络经受再训练 时会发生变化，但输入和输出保持不变。没有有效的输入输出改进过程， 网络不能识别和去除无效或冗余的输入和输出。结果，网络不能适应变 化的情况或连续地改进对某一应用的预测。

有意思的是与上述通常的神经网络相联系的这两个缺点(不能同 时学习和预测及缺乏有效的输入输出改进(refinement)过程)却是甚至 在最原始的思维机体中都已明显克服了的缺点。的确，同时预测和学习 的能力是思维机体中的醒觉或认知状态的一个重要方面。并且能够响 应任务的重复而分配在量上不断增加的输入输出处理能力是思维机体 中的学习的一个重要方面。可以说是实践产生完美。结果，缺乏这种属性 的通常的神经网络在模拟思维机体的智能行为时就受到严重的限制。

所以，在技术上现在普遍需要可同时学习和预测的监视、预报和控 制系统。另外，在技术上现在还需要包含有效的输入输出改进过程的监 视、预报和控制技术。

本发明就是用于满足在配置为用来在网络监视和估算测得的输入 值并且也预报未来输出值之时学习特征值之间的相关性的多内核神经 网络计算体系结构中的上述需要。这种计算体系结构称为并发学习信 息处理器(CIP)，包含一个具有同时学习和预测能力的多内核神经网 络阵列。这一并发学习信息处理器CIP还包含一个管理器和一个可用 于输入输出改进的输入输出转换器。这些部件容许响应测量的性能或 其他因素来重新赋予多内核阵列的计算能力。由多内核阵列计算和由 转换器的输出处理器处理的特征值提供给一个可配置成为响应计算的 输出值而执行各种监视、预报和控制操作的响应单元。此并发学习信 息处理器的重要特性，如特征函数规范(specification)、连接规范、学 习权值图等可由技术员通过图形用户接口设定。

多内核阵列同时“实时”地学习和预测，在阵列的每个内核对每 个时间试验执行预测学习循环。并发学习信息处理器的“实时”同时 学习和预测能力代表在神经网络技术方面的重大进步。管理器与输入 输出转换器一起经常对多内核阵列的输入输出关系改进的能力代表另 一个重大的进步。多内核阵列可组织成为各种子阵列以编制并发学习 信息处理器使其适应各种物理应用。多内核阵列通常包含至少一个监 视子阵列和至少一个预报子阵列。监视子阵列估算当前时间试验的输 入和输出的特征值。这些估算的特征值用来计算当前时间试验的偏差 值并在需要时将估算的输入特征值提供用于丢失或超出容许误差的测 量输入值。预报子阵列对未来时间试验预报输出特征值。

在包含监视子阵列和预报子阵列的多内核阵列中的每个时间试验 的操作循环都是估算预测(在监视子阵列中预测)、预报学习(在预报 子阵列中学习)、预报预测(在预报子阵列中预测)及估算学习(在监 视子阵列中学习)。这一序列容许监视子阵列在学习前对当前时间试验 执行其估算功能并在其后容许预报子阵列在预测之前从当前时间试验 中学习。在监视子阵列中学习延迟到预报子阵列结束其循环之后以加 速预测输出值的获得。

监视和预报内核可集合成为子阵列以定制并发学习信息处理器使 其适应各种物理应用。比如，多内核阵列的组织可对应于输入和输出的 空间配置、输入和输出的时间配置或输入和输出的空间和时间配置。 作为特例，可定制一个空间配置使其适应一个图像处理应用，可定制一个 时间配置使其适应一种商品价格预报的应用，或可定制空间和时间组合 配置使其适应能量需求预报应用。

一般讲，本发明是一种用于对根据在当前时间试验期间和在一个或 多个历史时间试验期间接收的测量输入值的计算输出值进行响应的方 法。测量输入值是为当前时间试验接收的，并且输入特征值矢量是根据 测量的输入值组合。输入特征值提供给多内核处理器。处理器的每个 内核都可用于接收一个或多个输入特征值和利用输入特征值执行大量 的运算操作。

特别是，每个内核检索(retrieve)出用来定义数学关系的连接规范， 以根据接收的输入特征值计算一个或多个输出特征值。内核还检索出 一组表示接收的输入特征值和计算出的输出特征值之间的回归系数的 连接权值。内核还检索出一组用来定义数学关系的学习权值，以根据 接收的输入特征值更新连接权值。之后内核根据接收的输入特征值、 连接权值和连接规范计算输出特征值。

内核还根据接收的输入特征值、连接权值、连接规范和学习权值 计算更新的连接权值。连接权值可定义逆协变矩阵的元素，并且计算更 新的连接权值的步骤可包含更新逆协变矩阵。另外的方法是计算更新 的连接权值的步骤可包含更新对应于逆协变矩阵的协变矩阵并在其后 将更新的协变矩阵求逆。

输出特征值通常包含用于当前时间试验的估算输出特征值和用于 未来时间试验的预测输出特征值。每个内核都提供对其输出特征值的 访问。这容许计算输出值矢量根据由每个内核计算出的输出特征值进 行组合。之后响应计算出的输出值的矢量而执行一个运算操作，比如偏 差运算操作或控制运算操作。

根据本发明的一个方面，输入特征值矢量可根据测量的输入值和输 入的特征规定计算。比如，输入特征值可根据测量的输入值的代数组 合、与由测量的输入值所定义的函数的近似多项式相应的系数、与对 应于由测量的输入值定义的函数的微分方程所对应的系数、或与对应 于由测量的输入值定义的函数的频域相对应的系数。与此类似，输出值 可根据输出特征值和输出特征规范计算。特别是，输出值可借助执行对 相应的测量输入值执行的数学运算的数学逆运算而计算出。

根据本发明的另一个方面，输出特征值可包含根据用于一个或多个 历史时间试验的输入特征值的估算输出特征值。输出特征值还可包含 根据用于当前时间试验的输入特征值的监视的输出特征值。偏差值可 通过从监视的输出特征值减去估算输出特征值而计算。之后可将此偏 差值与阈值进行比较来判断报警情况或执行控制操作。输出值通常是 根据监视的输出特征值。

如偏差值中有一个超过其相关阈值，可执行一偏差操作，如指示报警 情况或将计算的输出值的根据确定于估算输出特征值之上而非与超过 其相关阈值的偏差值相联系的输出特征值的监视输出特征值之上。也 可响应计算输出值而执行控制操作，如在显示器件上显示计算的输出值 的表示或启动一个控制参数来补偿由计算输出值指示的情况。

根据本发明的再一个方面，可以执行改进操作。这些改进操作可包 含删除无效的输入或输出特征值、合并冗余的输入或输出特征值，指定 新输入或输出特征值、根据对多个时间试验的测量输入值和计算出的 输出值重新计算特征值规范、根据对多个时间试验的测量输入值和计 算出的输出值重新计算学习权值、根据对多个时间试验的测量输入值 和计算出的输出值重新计算连接规范、根据对多个时间试验的测量输 入值和计算出的输出值重新计算输出特征规范以及在内核之间重新分 配功能性。

多内核处理器可包含一个或多个监视子阵列及一个或多个预报子 阵列。对于一个包含监视和预报内核两者的配置首先根据一个或多个 历史时间试验的输入特征值、连接权值及连接规范计算出监视子阵列 的估算输出特征值。之后根据接收的当前时间试验的输入特征值、连 接权值、连接规范、学习权值及估算输出特征值计算出预报子阵列的 更新连接权值。其次，根据一个或多个历史时间试验的输入特征值、 更新的连接权值及连接规范计算出预报子阵列的输出特征值。之后根 据接收的输入特征值、连接权值、连接规范及学习权值计算出预报子 阵列的更新连接权值。

可定制多内核处理器的配置使其适应特定的物理应用。比如，多内 核处理器可包含数个子阵列，每个子阵列包含一个监视内核和数个预报 内核。在第1种配置中，多内核处理器包含一个与空间连续区相对应的 空间专用内核阵列，从其中测量输入值并对其预测输出值。在此配置中， 每个内核都配置成为用来根据一组邻接的测量输入值计算输出值之 一。特别是，多内核处理器的每个内核可与视觉图像的一个像素相对应， 每个测量输入值可与视觉图像的像素之一的测量亮度相对应，并且每个 计算输出值可与视觉图像的像素之一的计算亮度相对应。

在第2种配置中，多内核处理器包含一个与基于时间的指数相对应 的时间专用内核阵列，从其中测量输入值并对其预测输出值。在此配置 中，每个内核都配置成为用来根据测量输入值预测基于时间的互斥指数 值之一。比如，多内核处理器的每个内核可相应于对于一种商品的价格 指数的互斥时间特定的预报，并且每个内核可配置成为用于根据测量的 输入值预测其相应的互斥时间特定的价格预报。在这种场合，测量的输 入值通常除了通货和其他商品的价格指数之外还包含该商品价格指 数。

在第3种配置中，多内核处理器包含数个每个包括与基于时间的指 数相对应的多个时间专用内核的内核组，从其中测量输入值并对其预测 输出值。每个内核组都包含数个每一个都配置成为用来根据测量输入 值预测基于时间的互斥指数值的一个成分的单独的内核。这些时间专 用内核组定义其中每个内核组都配置成为用来计算基于时间的指数的 一个成分的空间专用内核组阵列。比如，基于时间的指数可包含电力需 求指数，每个内核组可对应于数个电力供应点，并且测量的输入值可包含 电力需求和短期天气预报。

本发明还提供一种包含配置成为接收当前时间试验的测量输入值 的迭代并根据测量的输入值组合输入特征值矢量的计算机系统。本计 算机系统还包含一个与输入处理器连接并配置成为用来接收输入特征 值矢量的多内核处理器。处理器的每个内核都可用来接收一个或多个 输入特征值。

内核也可用来根据接收的输入特征值检索定义用于计算一个或多 个输出特征值的数学关系的连接规范。内核也可以用来检索一组表示 所接收的输入特征值和计算的输出特征值之间的回归系数的连接权 值。内核也可以用来检索一组定义数学关系的学习权值以根据接收的 输入特征值更新连接权值。内核也可以用来根据接收的输入特征值、 连接权值及连接规范计算输出特征值。

内核也可以用来计算根据接收的输入特征值、连接权值及连接规 范学习权值来更新连接权值。为更新连接权值，每个内核可更新一个逆 协变矩阵。另外一种办法是每个内核可更新一个协变矩阵并且之后对 更新的协变矩阵求逆。内核也可用来存储更新的连接权值。每个内核 也都可用来提供对计算的输出特征值的访问。

此计算机系统还包含一个连接到多内核阵列并配置成为用来根据 由每个内核计算出的输出特征值组合计算出的输出值矢量的输出处理 器。此计算机系统还包含一个连接到输出处理器并配置成为用来响应 计算出的输出值矢量的响应单元。

此计算机系统还可包含一个配置成为用来根据多个时间试验的测 量输入值及计算输出值重新计算学习权值的管理器。此管理器也可配 置成为用来根据一系列时间试验的测量输入值及计算输出值重新计算 连接规范。此管理器也可配置成为用来根据多个时间试验的测量输入 值及计算输出值删除无效的输入或输出特征值、合并冗余的输入或输 出特征值、指定新的输入或输出特征值、重新计算输入或输出特征规 范，并在内核之间重新赋予功能性。

此计算机系统还可包含一个连接到多内核阵列并可用来从多内核 阵列接收连接权值、存储连接权值及为多内核阵列提供连接权值的学 习的参数存储器。计算机系统的响应单元可用来在显示器件上显示计 算出的输出值的表示，指示报警情况及启动控制参数以补偿由计算出的 输出值指示的情况。

关于本发明对通常的神经网络系统的缺点的改进及实现上述的优 点这一点可由下面对本发明的实施例描述及附图和权利要求得到了 解。

图1为根据本发明的一个实施方案的并发学习信息处理器的功能 框图。

图2示出并发学习信息处理器的子阵列结构。

图3示出并发学习信息处理器和思维机体的信息处理过程之间的 类比。

图4A示出内核组织成为与输入和输出的空间配置相对应的并发学 习信息处理器的多内核阵列的内核。

图4B示出内核组织成为与输入和输出的空间配置相对应的并发学 习信息处理器的多内核阵列。

图5示出内核组织成为与输入和输出的时间配置相对应的并发学 习信息处理器的多内核阵列。

图6示出内核组织成为与输入和输出的空间和时间组合配置相对 应的并发学习信息处理器的多内核阵列。

图7A示出并发学习信息处理器的一个典型的学习权值图。

图7B示出较近时间试验的权值比图7A中的学习权值的更积极的 并发学习信息处理器的一个学习权值图。

图7C示出学习是基于仅仅在循环基础上出现的某些时间试验的并 发学习信息处理器的一个学习权值图。

图7D示出对图7C进行修改使较近时间试验的权值的学习权值更 积极的一个学习权值图。

图8A示出在并发学习信息处理器的转换器中应用的典型输入特征 函数。

图8B示出配置成为用来从电力需求测量和天气预报数据计算电力 需求预报的并发学习信息处理器。

图9为示出并发学习信息处理器的操作的逻辑流程图。

图10为示出并发学习信息处理器的监视、预报及学习例程的逻辑 流程图。

图11为示出并发学习信息处理器的输入-输出改进例程的逻辑流 程图。

本发明是一个可由专用硬件计算设备或由通常的顺序处理计算设 备上运行的软件实现的并发学习信息处理器。专用硬件实施方案最适 合要求很快处理速度的应用，而软件实施方案最适合容许处理速度低得 多的应用。一般讲，软件实施方案实现的成本低得多，因为软件可在购置 的现成计算机上运行。另一方面，硬件实施方案要求专门制作的专用硬 件计算设备。但是，因为并发学习信息处理器结构包含允许对输入输出 关系重新配置的管理器和转换器，所以单个一个硬件实施方案就可以配 置成为可执行广泛范围的不同任务。由于这一原因，硬件和软件实施方 案两者都可用作多目的的，并且在很多方案中是通用的，处理器。

软件实施方案最好是配置成为并发学习信息处理器的分立部件以 分立对象进行编程的面向对象的体系结构。每个对象包含预先定义的 用来定义与对象进行通信和交换数据的协议的接口。通过以分立对象 配置软件实施方案，每个对象可具有相应的分立物理元件或硬件类似系 统中的元件组。这种软件和硬件实施例之间的关系有利于提高和测试 软件中的模块，并且一旦是完好的，则大批生产硬件实施方案。不过， 应当了解，本发明也以其他类型的面向对象的体系结构实现并且可以采 用面向对象编程以外的软件技术。

并发学习信息处理器中的主要部件为输入输出转换器、多内核神 经网络阵列、管理器、响应单元及用户接口。对一个具体时间试验的 处理顺序开始于转换器接收测量输入值之时。转换器包含一个将测量 输入值根据由管理器提供的输入特征规范变换为输入特征值的输入处 理器。多内核阵列根据输入特征值、由1管理器提供的连接规范及存 储于经过学习的参数存储器中的回归系数计算输出特征值。输出特征 值返送到转换器，其中包含一个根据由管理器提供的输出特征规范将输 出特征值变换为计算输出值的输出处理器。之后将该计算输出值传送 到可响应输入值而执行各种监视、预报和控制操作的响应单元。

多内核阵列的每个内核对每个时间试验执行预测操作和学习操 作。此阵列通常包含一个或多个称为监视子阵列的监视内核以及一个 或多个称为预报子阵列的预报内核。监视子阵列估算输入特征值并根 据估算的输入特征值计算偏差值。在此意义上的估算意味着根据存储 在最近特征存储器中的历史数据预测输入特征值。之后根据当前时间 试验的测量输入值计算估算输入特征值和输入特征值之间的差值作为 偏差值。将该偏差值与容差值进行比较以触发偏差操作，如指示报警情 况或在其后的计算中利用估算特征值而非测量特征值。在其后的计算 中利用估算特征值在测量输入值丢失或被破坏时特别有用。

预报子阵列预测未来时间试验的输出特征值。因为预报子阵列只 与未来时间试验有关，可以将其配置成为在对未来时间试验的输出数据 进行预测之前从当前时间试验的输入数据进行学习。另一方面，监视子 阵列首先借助当前时间试验的估算值进行预测，之后从当前时间试验的 输入数据进行学习。由此，每个时间试验过程的操作循环为估算预测(在 监视子阵列中预测)、预报学习(在预报子阵列中学习)、预报预测(在 预报子阵列中预测)及估算学习(在监视子阵列中学习)。这一顺序允 许监视子阵列在学习之前对当前时间试验执行其预测功能，并允许预 报子阵列在执行其预测功能前从当前试验学习。对监视子阵列的学习 延迟到预报子阵列结束其循环之后以加速输出值的获得。

并发学习信息处理器在稳定状态模式下对多个时间试验重复上面 的操作循环，直到指明改进操作为止。通常在改进操作之间重复成千上 万次操作循环。在改进操作期间，管理器可在很多方面重新配置并发学 习信息处理器，通常是响应通过用户接口接收的参数和其他指令。特别 是，管理器可输出描述性统计数据，删除无效特征值，合并冗余特征值，指 定新特征值，重新定义多内核阵列连接规范，重新定义转换器输入处理器 的输入特征规范，重新定义转换器输出处理器的输出特征规范，重新定 义用于更新连接权值的学习权值规范，重新配置转换器的功能性及重新 赋予多内核阵列的计算能力。改进操作使并发学习信息处理器获得响 应测得的性能、用户指示及其他因素而对其本身进行重新配置的能力。

图1及下面的讨论的目的是提供一种可以实施本发明的合适的计 算体系结构的一般描述。本发明的描述将在专用硬件神经网络计算机 或在顺序处理计算机上运行的功能类似的面向对象的软件程序的上下 文中进行。就是说下面的描述适用于专用硬件神经网络和类似的面向 对象的软件程序两者。然而，本专业的人士应当认识到本发明也可利用 其他种类的计算系统和软件体系结构实施。此外，本发明也可在利用通 讯网络连接的远程处理装置来完成任务的分布式计算环境中实现。在 分布式计算环境，如因特网，之中程序模块既可位于本地存储器存储装置 中，也可位于远程存储器存储装置中。

下面参考附图描述本发明的实施例。在此描述中，在这几个附图中， 同样的元件自始自终采用同样的标号。

图1为一个并发学习信息处理器CIP 10的功能框图。并发学习信 息处理器10的主要部件为输入输出转换器12、多内核神经网络阵列 14、管理器16、响应单元18及用户接口20。多内核阵列14包含一个 或多个称为监视子阵列22的监视内核以及一个或多个称为预报子阵列 24的预报内核。监视子阵列22和预报子阵列24每一个分别具有相关 的学习参数存储器26a和26b。实际上，如图3所示，每个子阵列的每个 内核最好是具有有关相关的学习参数存储器。

并发学习信息处理器10在一系列时间试验的每一个期间都接收测 量输入值30。一个具体的时间试验的处理顺序在转换器12接收测量 输入值30的迭代时开始。在每个时间试验期间接收的测量输入值可认 为是形成多个时间试验的二维阵列的一维矢量。测量输入值30可表示 来自并发学习信息处理器10被配置的多种物理应用的任何一个中的 值。例如，测量输入值30可表示视频图像中的像素亮度，应变仪或槽位 的读数，数据包的路由信息，商品价格和其他经济指数，电力需求及天气 预报数据等等。

转换器12包含根据由管理器16提供的输入特征规范35将测量输 入值变换为输入特征值34的输入处理器32。表示其后的处理过程中 的测量输入值的输入特征值34用作多内核阵列14中的独立变量。在 最简单的场合，输入处理器32可将测量输入值30组合成为矢量并将组 合的矢量送往多内核阵列14。

在更为复杂的场合，输入处理器32在数学上操作测量输入值30以 计算输入特征值34。这些计算是根据由管理器16提供的输入特征规 范35执行。例如，输入特征值34的根据可以是测量输入值30的代数 组合、与近似由测量输入值定义的函数的多项式相对应的系数、与对 应于由测量输入值定义的函数的微分方程相对应的系数、与对应于由 测量输入值定义的函数的频域函数相对应的系数等等。其他类型的输 入特征规范对本领域技术人员会是很明显的，因为并发学习信息处理器 可配置用于不同类型的专门的物理应用。

与测量输入值30类似，一个具体时间试验的输入特征值34可被认 为是一个一维矢量。输入处理器12在最近特征存储器36中存储一系 列历史时间试验的输入特征值34的二维阵列。另外一种方法是最近特 征存储器36可存储一系列历史时间试验的测量输入值30的二维阵列。 输入处理器12可利用最近特征存储器36中的历史数据来在计算输入 特征值34时应用输入特征规范35。这种输入特征值的计算的一个例 子将在下面参考图8A-B描述。

输入处理器12也可利用最近特征存储器36中的历史数据来检测 丢失的或被破坏的输入测量结果。在响应时，输入处理器12可忽略被 破坏的输入测量并计算一个可通知内核阵列14当前时间试验的某些测 量已丢失的值。例如，如多个测量输入值30相加成为一个输入特征值34， 则输入处理器12可计算出一个指示包含在输入特征值中的有效测量数 的的量化计数。另外一种方法是输入处理器12可将输入特征值34归 一化以消除丢失的测量输入值30的作用。于是输入处理器12就可以 将归一化的输入特征值34送往内核阵列14。

输入处理器12将输入特征值34传送到多内核阵列14。在硬件实 施方案中，可对每个输入特征值34提供单独的导体以使输入特征值可 同时传送到用作并行处理神经网络的多内核阵列14。多内核阵列14 根据存储在学习参数存储器26中的输入特征值34和连接权值40计算 输出特征值38。因为多内核阵列14的每个内核的输入输出配置可由 管理器16经常改变，所以多内核阵列14接收由管理器16提供的连接 规范42。连接规范42通常指示每个内核的输入和输出数，并且还可以 判断将哪些输入特征值34提供给每个内核。所以，在硬件实施方案中 连接规范42可驱动控制将输入特征值34传送到多内核阵列14的各个 内核的逻辑门。

连接权值40表示基于将被当作因变量的输出特征值38与被当作 自变量的输入特征值34联系起来的协变矩阵的学习回归系数。换言之， 多内核阵列14计算每个输出特征值38作为其中的连接权值40是协变 矩阵的元素的输入特征值34的加权和。连接权值40的学习是通过应 用到历史时间试验的输入特征值34及输出特征值38的回归分析。为 了在与输出特征值预测同时执行连接权值学习，在每个时间试验期间将 连接权值40从学习参数存储器26中检索出，用于预测输出特征值及针 对在时间试验期间检索出的新信息更新。之后将更新的连接权值40存 储回学习的参数存储器。

更具体讲，多内核阵列14的每个内核将协变矩阵的逆应用于其相 应的各输入特征值34以计算其相应的输出特征值38。内核可通过更 新协变矩阵并在之后使更新的协变矩阵求逆而执行这一操作。在此场 合，存储在学习参数存储器26的连接权值40是基于协变矩阵的元素的 求逆。然而，使协变矩阵求逆是计算强度很大的处理，最好是避免。代替 的办法是内核可以直接更新逆协变矩阵，在这种场合存储于学习参数存 储器26的连接权值40是直接基于逆协变矩阵的元素。因为避免了执 行矩阵求逆所要求的硬件连接，保持逆协变矩阵而非协变矩阵可显著提 高内核操作的速度并简化内核的硬件实施方案的物理配置。

由此，多内核阵列14的每个内核最好是在每个时间试验的预测- 学习循环中利用逆协变矩阵来计算学习回归系数。单个内核硬件实施 方案这种配置被用来更新逆协变矩阵的、采用逆协变矩阵来计算回归 系数及支持这种结构的数学推导描述在共同所有的美国专利No. ＿＿＿中，其标题为“Concurrent Learning And Performance Information Processing System(并发学习及执行信息处理系统)”， 发明人为Robert J.Jannarone，申请日期为1994年11月2日，公布日 期为＿＿＿＿。这一专利现在是未决美国专利申请，其申请号为 No.08/333,204，此处援引作为参考。

多内核阵列14可组织成为各种子阵列以定制并发学习信息处理器 10来适应各种物理应用。专用的子阵列结构的例子参考图4-6进行 描述，并且在本领域技术人员将来为各种物理应用设计并发学习信息处 理器时其他的专用结构对他们将会是显而易见的。各种子阵列的每个 内核的操作是类似的，除了监视内核的操作与预报内核的操作稍微有些 不同。为方便描述这一区别，示于图1的多内核阵列14带有一个监视 子阵列22和预报子阵列24。

在每个时间试验期间，监视子阵列22估算该当前时间试验的输入 和/或输出特征值38。这些估算特征值用来计算当前时间试验的偏差值 及在需要时提供丢失或超出容许的特征值38的估算特征值。预报子阵 列24预测未来时间试验的输出特征值。因为监视子阵列22估算当前 时间试验的输入和/或输出特征值38，如果监视子阵列22在其估算当前 时间试验的输入和/或输出特征值38之前经过学习(即更新其相应各 连接权值)，其目的将不能达到。由于这一原因，监视子阵列22对每个 时间试验的预测学习循环进行操作。另一方面，预报子阵列24对未来 时间试验的输出特征值38作出预测。因此，预报子阵列24对每个时间 试验的学习-预测循环进行操作，因为它在预测之前可从当前时间试验 的学习中受益。

此外，监视子阵列22最好是在预报子阵列24学习之前预测。尽管 预报子阵列24最好是利用基于当前时间试验的有效测量数据的输出特 征值38而非估算输出特征值38进行学习，监视子阵列22可以检测出 丢失或被破坏的数据。对相应于当前时间试验的丢失或被破坏的数据 的输入和/或输出特征值38而言，预报子阵列24最好是利用由监视子 阵列22计算出的估算输入和/或输出特征值38而不是利用基于无效测 量数据的输入和/或输出特征值38来学习。因为估算输入和/或输出特 征值38是由监视子阵列22计算的，预报子阵列24最好是在监视子阵 列22(最好是)预测之后进行学习。

为加速获得由预报子阵列24预测的输出特征值24，可将对监视子 阵列22的预测-学习循环的学习阶段延迟到预报子阵列的学习-预测 循环的结束。即监视子阵列22最好是在预报子阵列24结束其对当前 时间试验的学习-预测循环之后进行学习。结果得到的每个时间试验 的操作循环是估算预测(监视子阵列22中的预测阶段)、预报学习(预 报子阵列24中的学习阶段)、预报预测(预报子阵列24中的预测)及 估算学习(监视子阵列22中的学习阶段)。

输出特征值38返回到将输出特征值根据由管理器16提供的输出 特征规范49变换为计算输出值46的转换器12的输出处理器44。尽 管输出处理器44可执行极为多种多样的操作，至少某些操作通常是由 输入处理器32执行的数学运算的逆运算。这就容许至少有一些计算输 出值46与一些测量输入值30相对应。将预测值与测量值进行比较使 并发学习信息处理器10可测量其预测性能的精度。例如，在配置成为 预测基于天气预报数据的电力需求的并发学习信息处理器中，测量输入 值30可包含计测的电力需求数据和天气预报数据。在这种场合，计算 输出值46可包含预测的电力需求数据。这就容许将对当前时间试验计 算出的预测电力需求数据与在未来时间试验期间接收到的相应计测电 力需求数据进行比较。于是并发学习信息处理器就配置成为用来测量 其电力需求预报的精度。

之后将计算输出值46传送到可响应输出值执行多种监视、预报及 控制操作的响应单元18。例如，响应单元18通常在显示装置上显示计 算输出值46。简单显示计算输出值46对于在根据输出值采取任何具 体行动之前用户的进一步的解释是适当的系统而言可能已足够。对于 配置成为用来预报商品价格指数的并发学习信息处理器，比如，交易商可 在作出投资决定之前与并发学习信息处理器未提供的其他有关信息，如 可用于投资的款额，一起参考输出值。

在其他情况下，响应单元18可响应计算输出值46而自动采取行 动。响应单元18可自动执行偏差操作，比如响应计算输出值46超出预 先确定的容许范围而指示报警情况。并发学习信息处理器10可响应其 他超出容差值的情况，如计测的测量输入值30和输入特征值34，而自动 采取其他偏差操作。特别是，并发学习信息处理器10可响应超出容差 值的输入值而在之后的计算中采用估算值代替基于无效的测量数据或 丢失数据。

响应单元18也可配置成为响应计算输出值46而采取自动控制操 作。当然，具体的自动控制操作将取决于并发学习信息处理器10为其 配置的物理应用。在城市给水系统中，供水阀门可响应预测的槽中水位 而自动动作。在应力试验装置中应力施加设备可响应预测的应变仪值 而自动反向。在电力需求预报系统中，发电机可响应预测的电力需求值 而自动并网。其他的适用于为其他物理应用而配置的并发学习信息处 理器的自动控制操作在本领域技术人员将来为各种不同的物理应用设 计并发学习信息处理器时对他们来讲将会是显而易见的。

并发学习信息处理器10在稳定状态模式下对多个时间试验重复上 述的操作循环，直到指明改进操作为止。通常在改进操作之间重复成千 上万次操作循环。在改进操作期间，管理器16可在很多方面重新配置 并发学习信息处理器10，通常是响应通过用户接口20接收的参数和其 他指令。为帮助用户，管理器16可向用户接口20输出描述性统计数据 和其他信息并通过由用户接口20使用的选项单驱动的实用程序为预先 选定的参数接收可由用户定义的数值。管理器16包含一个将从用户接 口20接收的信息与管理器16的其他元件集成的协调器48。

由管理器16执行的改进操作可由用户定义或由管理器16自动计 算。改进操作通常包含删除无效特征值、合并冗余特征值及指定新特 征值。这些操作在分析连接权值40的连接控制器50中执行。接近零 的连接权值指明连接控制器50可取消的无效特征值。接近同一值的连 接权值可指明连接控制器50通常利用一个具有各冗余值的平均值的单 个特征值进行替换的冗余特征值。当无效特征值取消并且冗余特征值 合并时，连接控制器50使内核阵列14中的特征值容量可用及转换器12 中的输入输出容量可用。因此连接控制器50可配置成为可自动为这一 释放容量(freed-up)选择新的测量输入值、特征值及输出值。

这些新的测量输入值、特征值及输出值通常是从通过用户接口20 提供的预先选定的表单中选择。这样，并发学习信息处理器10就可配 置成为可系统地估计大量输入输出组合，消除几乎不具有预测价值的，并 且保留具有高度预测价值的。因此，经过一定时间，并发学习信息处理器 10就可从浩瀚的候补输入中识别对给定物理应用最有用的测量输入。 这是一种在可获得大量候补输入但却不了解哪些输入值具有预测价值 的情况下的功能强大的改进技术。例如，这种改进技术在从大量经济统 计资料挑选识别最有用的统计资料来预测某一种具体商品的价格时将 很有用。在这种情况下，并发学习信息处理器10可识别在经济统计资 料和该具体商品价格之间直观上不明显的协变关系。

连接控制器50也可执行称为“技术校正”的操作来处理那些会在 连接权值变得太大或太小从而使某些数值量或计算变得不稳定时在多 内核阵列14中出现的数字问题。连接控制器50被配置成为可识别趋 向不稳定状态的连接权值并限制其数值，通常是通过以预先确定的极小 值或极大值代替该计算连接权值。

管理器16还包含一个可为转换器12的输入处理器32提供输入特 征规范35，为输出处理器44提供输出特征规范49的特征函数控制器 52。管理器16还包含一个为更新连接权值40提供学习权值图55的学 习权值控制器54。下面参考图7A-D描述几个学习权值图的例子。 管理器16还包含一个控制并发学习信息处理器10的各种部件的操作 定时的执行器56。虽然改进操作可以是自动的，但并发学习信息处理器 10也可配置成为容许技术人员通过用户接口20控制改进操作。这种 可由用户接口20启动来控制改进操作的灵活性可因用户的需要而有所 不同。

图2示出并发学习信息处理器10的典型子阵列结构200。这一结 构包含由内核“A”202a至“N”202n表示的大量的内核，每一个都具 有由学习参数存储器“A”204a至“N”204n表示的相关学习参数存 储器。这一子阵列结构可在各单个内核及其相关学习参数存储器位于 同一芯片中的硬件实施方案中提供连接权值交换。因为软件实施方案 最好是配置成为与相应的硬件实施方案类似的面向对象的软件实施方 案，所以本发明的软件实施方案最好是采用子阵列结构200。虽然如此， 对其他配置也可使用其他子阵列结构。

图3示出并发学习信息处理器10和思维机体的信息处理过程300 之间的类比。这一类比并不企图断言并发学习信息处理器10的功能精 确地与思维机体的信息处理过程类似。不如说这一类比是企图指出对 了解并发学习信息处理器的结构可能有意义的一些对比。参考图1和 3，并发学习信息处理器10的测量输入值30可与思维机体的感觉输入 302类比。并发学习信息处理器10的计算输出值46可与思维机体的 认知响应304类比。并发学习信息处理器10的最近特征存储器36可 与思维机体的短期记忆类比。并发学习信息处理器10的转换器12可 与思维机体的感觉过程类比。内核阵列14可与思维机体的自动过程类 比。学习参数存储器26可与思维机体的长期记忆类比。而管理器16 可与思维机体的大脑过程类比。

在这种类比中，并发学习信息处理器10的稳态学习-预测循环可 与思维机体的醒觉、认知功能类比。另一方面，并发学习信息处理器10 的改进操作可与在睡眠期间思维机体的功能类比。与醒觉思维机体类 似，并发学习信息处理器10在接收和对输入响应时可同时学习和预测。 并且与睡眠思维机体类似，并发学习信息处理器10响应历史经验的分 立单元周期地改进其信息过程。这样，与思维机体类似，并发学习信息处 理器10的生活周期是一个“醒觉”稳态周期之后接着“睡眠”改进周 期的重复过程。

图4A示出内核组织成为与输入和输出的空间配置相对应的多内核 阵列的内核结构400。这种类型的结构对配置成为用来估算其亮度信 息丢失或被破坏的像素亮度的图像处理系统可以很有用。比如，在视频 图像系列中，图像处理系统利用一系列时间试验的相邻像素的有效数据， 在此场合为视频帧，来估算丢失或被破坏的像素数据的值。

内核结构400是供位于图4A中心的单个像素402专用的。像素 404a-h表示光栅图像中的8个相邻的像素。每个相邻像素404a-h的亮 度作为对内核406的输入被提供。内核406的输出可用来驱动中心像 素402的亮度。这样，内核406可用来根据相邻像素404a-h的亮度估 算像素402的亮度。这就容许内核406在测量亮度数据丢失或被破坏 时估算中心像素402的亮度。

图4B示出内核结构400a-n组织成为与输入和输出的空间配置相 对应的多内核处理阵列408。每个内核结构400a-n配置成为与对图4A 所描述的内核结构400类似。于是多内核阵列408就包含一个与底下 的光栅图像的像素结构相对应的内核结构400a-n的栅格。应当了解， 为表示清楚起见图4B示出的内核结构400只是光栅图像的一半像素。

图5示出内核组织成为与输入和输出的时间配置相对应的多内核 处理阵列500。这种类型的结构可能对商品价格预报系统根据商品的 历史价格趋势预测商品的价格。虽然商品的历史价格趋势是图5中示 出的唯一的测量输入，但也可包含其他的输入，如其他商品的指数、货币 及其他类信息。

多内核处理阵列500包含监视内核502及数个预报内核504a-n，其 中每一个都是专门用于计算互斥未来时间点的商品价格指数506。比 如在当前时间试验“t”期间，监视内核502估算当前时间试验的商品价 格指数506，内核504a预测未来时间试验“t+1”的商品价格指数，内核 504b预测另一未来时间试验“t+2”的商品价格指数，依此类推。测量 值以空心点示出，而预报值以实心点示出。

监视内核502还计算当前时间试验的估算值512的容差值510a-b。 通常是计算与估算值512的一个或两个标准偏差作为容差值510a-b。 监视内核502还计算当前时间试验的商品价格指数的估算值512和测 量值514之间的差值516作为偏差值。偏差值516可用来判断何时测 量值514最可能丢失或被破坏。在测量值514丢失或被破坏的场合，可 在其后的计算，如在当前时间试验期间由预报内核504a-n进行的计算， 中使用估算值512。估算值512也可在其后的时间试验中由监视内核502 及预报内核504a-n使用。

图6示出内核组织成为与输入和输出的空间和时间结合配置相对 应的多内核处理阵列600。这种类型的结构对配置成为用来根据当前 电力需求水平、当前天气数据及天气预报数据预测电力需求的电力预 报系统可以很有用。多核处理阵列600包含一组子阵列602a-n，其中每 个子阵列都包含一个监视内核及数个预报内核。这样，每个子阵列在结 构上都与参考图5所描述的多内核处理阵列500类似。每个子阵列 602a-n根据在有关地理区域计测的电力需求数据、计测的天气数据及 天气预报数据生成针对地理区域，如由通常的电力分配站或供应点服务 的区域，的电力需求预报。

此外，子阵列602a-n组织成为的空间配置与参考图4A-B描述的内 核阵列408类似。然而，对多核处理阵列600而言，每个子阵列覆盖特定 的地理区域。因此这一结构可用来构造整个电力服务区域的电力需求 预报系统，对每个电力分配子站或供应点赋予一个子阵列。于是子阵列 602a-n的输出可相加而生成整个服务区的总体电力需求预报604。应 当了解，多核处理阵列600不一定要应用于地理上连续的服务区，也可以 应用于包含大量地理上独立的服务供应点，如单个都市、单个分立的商 业或工业点、多个岛屿等等。

图7A-D示出用于更新并发学习信息处理器10中的连接权值40 的典型的学习权值图。一个共用的学习权值图可应用于所有的连接权 值，一个单个的学习权值图可应用于每个单个的连接权值，或者可将连接 权值组织成为多个组，每个组有一个共用的学习权值图。

图7A所示的学习权值图702是一个积极的权值图，因为它对在更 近的时间试验期间所接收的测量赋予更大的权值。图7B中所示的学习 权值图704比学习权值图702更积极，因为学习权值图704它对在更近 的时间试验期间所接收的测量赋予还要大的权值。当计算输出值在学 习权值图所表示的多个时间试验期间倾向改变相当迅速时，积极的学习 权值图是合适的。

图7C示出的学习权值图706中学习是仅仅根据在循环基础上发 生的某些时间试验。这一类型学习权值图可能对加权时间试验与高峰 负载期间相对应的高峰负载电力预报系统是合适的。图7D示出学习 权值图708与图706类似，除了做了改变使较近时间试验的权值更为积 极。在本领域技术人员将来为各种物理应用设计并发学习信息处理器 时其他类型的学习权值图对他们将会是显而易见的。

图8A示出在并发学习信息处理器10的转换器12中应用的典型 输入特征函数。在这一输入特征函数中输入特征值与近似由测量的输 入值所定义的函数的多项式804的系数相对应。例如，电力需求信号可 以是测量输入值806，而与多项式804相对应的系数可以是由转换器12 计算的输入特征值808。这一类型的输入特征函数依靠经过相当大的 数量的时间试验的测量输入值来构建具有合适长度的多项式804。因 此，测量输入值的历史记录存储于图1所示的最近特征存储器36中。

在图8A中示出的输入特征函数对定义可以可靠地由多项式近似的 重复模式的一系列测量输入值，如典型地理区域的电力需求信号，是合适 的。其他类型的测量输入值可在其他函数域形成重复模式。由于这一 原因，由转换器12计算的输入特征值可相应于微分方程、频域函数或 其他类型的适合具体测量输入值的函数的系数。

图8B示出配置成为用来从电力需求测量和天气预报数据(最好是 包含测量的当前天气数据及短期天气预报数据)计算电力需求预报的 并发学习信息处理器820。于是并发学习信息处理器820可以根据包 含计测电力需求数据、计测天气数据和天气预报数据的输入值824生 成电力需求预报822。现在可以相信参考图6所描述的多内核阵列结 构参考图7A-D所描述的学习权值图及参考图8A所描述的输入特征函 数803适合电力需求预报并发学习信息处理器820。

图9-11为示出并发学习信息处理器10的操作的逻辑流程图。对 这些图的描述也参考示于图1的并发学习信息处理器10的功能框图。 图9为示出并发学习信息处理器10的典型操作例程900的逻辑流程 图。例程900在步骤902开始，在该步骤并发学习信息处理器10判断 是否接收了终止命令，比如通过检查“文件尾”记录。虽然并发学习信 息处理器10在学习-预测循环的开始检查终止命令，这一查询可以同 样地出现于学习-预测循环的结束或在例程900的其他位置。例如，并 发学习信息处理器10可检查可使处理在稳态处理时期之后并在并发学 习信息处理器10进行改进操作之前停止的终止命令。如已经接收终止 命令，则从步骤902经分路“是”转向“结束”步骤，而例程900终止。

如未接收终止命令，则从步骤902经分路“否”转向步骤904，在该 步骤中并发学习信息处理器10接收在转换器12的输入处理器32的当 前时间试验的测量输入值30。步骤904后转向例程906，在该例程906 中并发学习信息处理器10执行短期时间试验的并发监视、预报及学习 操作。下面参考图10描述例程906。

在例程906中执行步骤908，在其中并发学习信息处理器10判断是 否执行偏差操作。如并发学习信息处理器10判断应该进行偏差操作， 就从步骤908经分路“是”转向步骤910，在该步骤中并发学习信息处 理器10执行偏差操作。这些偏差操作通常包含指示报警情况和/或利 用估算或预测值而非在其后的计算中的测量值。应当了解，偏差操作(比 如利用估算值而非根据其后的计算中根据测量输入值的特征值)也会 出现于监视子阵列22中的估算阶段之后和预报子阵列24中的学习阶 段之前。

如并发学习信息处理器10在步骤908判断不应该进行偏差操作， 则经分路“否”转向步骤912，在该步骤中并发学习信息处理器10判断 是否该进行控制操作，通常是通过响应单元18。步骤912也可接着步骤 910。如并发学习信息处理器10判断应该进行控制操作，就经分路“是” 从步骤912转向步骤914，在该步骤中并发学习信息处理器10执行控制 操作。这些控制操作通常包含显示预测输出值46，并可能也包含采取自 动响应动作，如开启阀门、改变数据包路由指示、启动开关等等。

如并发学习信息处理器10在步骤912判断不应该进行控制操作， 就经“否”分路转向步骤916，在该步骤中并发学习信息处理器10判断 是否应该由管理器16进行改进操作。步骤916也可接着步骤914。如 并发学习信息处理器10确定应该进行改进操作，则经分路“是”从步 骤916转向步骤918，在该步骤中并发学习信息处理器执行控制操作。 下面参考图11描述例程918。在例程918之后，例程900转回步骤902， 并且例程900对另一时间试验在稳态模式下重复执行。

图10为示出并发学习信息处理器10中的监视、预报及学习例程 906的逻辑流程图。例程906接着示于图9的步骤904。在步骤1002， 并发学习信息处理器10读入并检查包含当前时间试验的测量输入值30 的记录。如在步骤1002进行的检查指示记录无效，则例程906可跳过 该记录，中断处理，指示报警情况或采取其他预先确定的动作。步骤1002 后面是步骤1004，在该步骤中转换器12的输入处理器32根据测量输入 值30和由特征函数控制器52提供的输入特征规范35组合输入特征值 34的矢量。上面参考图8A已描述过典型的输入特征规范。

步骤1004后面是步骤1006，在该步骤中监视子阵列22执行估算预 测。步骤1006涉及估算当前时间试验的输入和/或输出特征值。对示 于图5的示例，在步骤1006，监视子阵列22估算当前时间试验的输出特 征值512。为估算当前时间试验的输入和/或输出特征值，监视子阵列22 从学习参数存储器26a检索连接权值40a并将连接权值40a应用于输 入特征值34以便计算估算输出特征值38。

步骤1006后面是步骤1008，在该步骤中监视子阵列22计算估算 特征值的容差带。对示于图5的示例，在步骤1008中监视子阵列22计 算当前时间试验的容差值514a-b。通常是计算与当前时间试验的估算 值的一个或两个标准偏差作为容差值510a-b。

步骤1008后面是步骤1010，在该步骤中预报子阵列24利用当前时 间试验的输入特征值34执行学习和技术校正。步骤1010涉及更新存 储于学习参数存储器26b中的连接权值40b，最好是通过利用由学习权 值控制器54所提供的学习权值图55更新基于逆协变矩阵的回归系数。 存储于学习参数存储器26b中的连接权值40b最好是与基于逆协变矩 阵的回归系数相对应。预报子阵列24检索并更新连接权值40b。之后， 更新的连接权值40b送回学习参数存储器26b。

在更新的连接权值40b送回学习参数存储器26b之前，连接控制器 50可对更新的连接权值40b执行技术校正以避免否则会使并发学习信 息处理器10停止的数字问题。如前所述，连接控制器50是配置成为可 识别趋向不稳定状态的连接权值并限制其数值，通常是通过以预先确定 的极小值或极大值代替该计算连接权值。

步骤1010后面是步骤1012，在该步骤中预报子阵列24执行预报预 测。步骤1012涉及未来时间试验的输出特征值38的预测。对示于图 5的示例，在步骤1012中预报子阵列24预测未来时间试验“t+1”到 “t+n”的输出值518a-n。为预测未来时间试验的输出特征值38，预报 子阵列24从学习参数存储器26b检索更新的连接权值40b并将连接权 值40b应用于输入特征值34以计算预测的输出特征值38。

步骤1012后面是步骤1014，在该步骤中预报子阵列24计算预测的 输出特征值38的容差带。对示于图5的示例，在步骤1014中预报子阵 列24计算未来时间试验“t+1”到“t+n”的容差带520。通常是计 算与未来时间试验的预测输出特征值38的一个或两个标准偏差作为容 差带。

步骤1014后面是步骤1016，在该步骤中转换器12的输出处理器44 根据由预报子阵列24及监视子阵列22计算的输出特征值38计算输出 值46。尽管输出处理器44在步骤1016可执行极为多种多样的操作，至 少某些操作通常是由输入处理器32在步骤1004执行的数学操作的逆 操作。这就容许至少有一些计算输出值46与一些测量输入值30相对 应。将预测值与测量值进行比较使并发学习信息处理器10可测量其预 测性能的精度。

步骤1016后面是步骤1018，在该步骤中监视子阵列22利用当前时 间试验的输入特征值34执行学习和技术校正。步骤1018涉及更新存 储于学习参数存储器26a中的连接权值40a，最好是通过利用由学习权 值控制器54所提供的学习权值图55更新基于逆协变矩阵的回归系数。 存储于学习参数存储器26a中的连接权值40a最好是与基于逆协变矩 阵的回归系数相对应。监视子阵列22检索并更新连接权值40a。之后， 更新的连接权值40a送回学习参数存储器26a。

在更新的连接权值40a送回学习参数存储器26a之前，连接控制器 50可对更新的连接权值40a执行技术校正以避免否则会使并发学习信 息处理器10停止的数字问题。步骤1018后面是步骤1020，在该步骤中 对最近特征存储器36中的历史数据进行更新，通常是按照先进先出原 则。其他参数可在步骤1020中保存或更新，看怎样合适怎样办，以使并 发学习信息处理器10为下一个时间试验作准备。步骤1020后面是步 骤1022，它在图9中返回步骤908。

图11为示出并发学习信息处理器的输入-输出改进例程918的逻 辑流程图。例程918在示于图9的步骤916之后。应当了解，不是例 程918的所有步骤每次并发学习信息处理器10执行改进操作时都一定 要执行。而不如说是例程918是并发学习信息处理器10在需要时可执 行的改进操作的表单。具体的改进操作是否需要可由管理器16自动判 断，或是由用户判断并经过用户接口20通知并发学习信息处理器10。 可根据用户的需要由用户接口20以不同程度的灵活性处理改进操作。

在步骤1102，管理器16的协调器48向用户接口20输出描述性的 统计资料。步骤1102后面是步骤1104，在该步骤中协调器48接收从用 户接口20发出的用户定义的指令及其他参数。步骤1104后面是步骤 1106，在该步骤中连接控制器50消除无效特征值。步骤1106后面是 步骤1108，在该步骤中连接控制器50合并冗余的特征值。步骤1108后 面是步骤1110，在该步骤中连接控制器50指定新的特征值。

当无效特征值被取消并且冗余特征值被合并时，连接控制器50使 内核阵列14中的特征值容量可用及转换器12中的输入输出容量可用。 因此连接控制器50可配置成为可自动为这一释放容量选择新的测量输 入值、特征值及输出值。这些新的测量输入值、特征值及输出值通常 是从通过用户接口20提供的预先选定的表单中选择。这样，并发学习 信息处理器10就可配置成为可系统地估计大量输入输出组合，消除几 乎不具有预测价值的，并且保留具有高度预测价值的。因此，经过一定时 间，并发学习信息处理器10就可从浩瀚的候补输入中识别对给定物理 应用最有用的测量输入。

因此，步骤1110后面是步骤1112，在该步骤中连接控制器50重新定 义连接规范42。步骤1112后面是步骤1114，在该步骤中特征函数控制 器52重新定义输入特征规范35。特征函数控制器52将新的输入特征 规范35传送到转换器12的输入处理器32。步骤1114后面是步骤1116， 在该步骤中特征函数控制器52重新定义输出特征规范49。特征函数 控制器52将新的输出特征规范49传送到转换器12的输出处理器44。 步骤1116后面是步骤1118，在该步骤中学习权值控制器54重新定义学 习权值图55。

考虑到上述的多种多样的改进操作，最好是管理器16可在很大范 围重新配置转换器12的功能性及在很大范围重新配置多内核阵列14 的功能性。换言之，上述的改进操作的全体可使管理器16能够针对不 同的物理应用从根本上重新配置并发学习信息处理器10。这一灵活性 是通过步骤1120表示的，在该步骤中管理器16重新配置转换器12的 功能性，及通过步骤1120，在该步骤中管理器16重新赋予多内核阵列14 的计算能力。步骤1122后面是步骤1124，从该步骤返回示于图9的步 骤902。

这样本发明就可提供一种可实时同时进行学习和预测的多核神经 网络监视、预报和控制系统。此系统包含容许系统响应测量的性能和 其他因素重新配置系统本身的高效的输入输出改进过程。改进过程也 容许系统根据用户的命令针对不同的物理应用重新配置系统。应当了 解，上述内容仅仅是本发明的优选实施例，并且在不脱离本发明的精神和 范围的条件下可对此处描述的实施例进行多种改变。