本申请涉及人工智能技术，特别涉及用于组织大批模式数据以便组 织模式数据从而便于理解特性的系统。

所说的这个系统有对已获得的例如化学特性信息等经验数据进行分 析的特殊应用，并将利用本文引证的特定参考文献来描述。可是，应该 懂得，本系统适用于分析任何相关数据集合以便允许其构成单元的可视 化和理解。

难以了解大量多特征模式数据含义。实际上该批数据不必较大；即 使400个模式的组，六个特征的每一个都相当难以“理解”。自组织的概 念涉及这种情况并可利用接近那个任务的两个主要途径进行理解。在一 种情况下，努力发现在模式空间中数据是如何分布的，目的是利用多维 群集或如果合适的话，利用某些其它的分布更简单地描述大批模式。这 是构成适应性共振理论(Adaptive Resonance Theory(ART)和其它群集 分析方法基础的主要概念。

在另一种情况中，致力于减少维数。相应的理论是，具有大量特征 的初始表达，在其具有彼此几乎重复的几个特征的表达上是多余的。在 这种情况下，伴随维数减少的主要特征析取可简化各描述和所有模式。 然后在减小的维数空间中适当地实现群集。Karhunen-loeve(K-L)变换、 K-L变换的神经网络实施方案、和自动相关映射方法都涉及主要成分分析 (PCA)、特征析取和维数减少。

实际上，两个活动流程并不是完全独立的。例如，ART方法在形成其 群集中具有强“谁胜谁占有”机理。这种方法被适当看作为“析取的” 主要原型，并利用这些较少的主要原型构成较少的描述。特征映射方法 的目的是通过横向激励-抑制把类似的模式汇集在一起，以便具有类似特 征的模式在减少维数的特征映射中被映射成相邻的区域。该方法群集并 减少了维数。共同的目标是使数据自组织成更简单的表达。

本说明书中描述了自组织该相同任务的新方法。其想法是对数据进 行非线性映射，使其从原始表达映射成为减少维数的一种表达。利用多 层前馈神经网络可适当地实施这种映射。以未监控的方式根据模式描述 中总方差恒定的原理可获悉网络参数。

维数减少的概念本身有些奇怪。它允许用一批模式数据的减少维数 的描述来表示原始的该批数据。对于线性情况已知其相应的答案，但在 一般非线性的情况下细节描述起来更困难。

注意到基于Karhunen-loeve(K-L)变换的主要成分分析(PCA)的概 念，标志着导致本发明的进程的开始。数据协方差矩阵的特征向量提供 相关数据的非相关表示的基础。主要成分是具有较大特征值的特征，即 从一个模式到另一个模式变化较大的那些特征(在已变换的表达中)。如 果仅几个特征值较大，那么利用相应于特征向量的那几个特征适当地塑 造减少维数的表达，但仍然保持数据中几乎所有的信息。已经发现，利 用用于PCA目的的Karhunen-loeve变换涉及许多非平凡问题因而是有价 值的。但是在模式识别中，在下列方面是失败的，即所保留的不必是有 助于级间辨别的。

随后的某些相关的发展寻求链接PCA、K-L变换和线性神经网络的观 点。这种努力寻求通过神经网络计算、利用完全连接的多层前馈网络、 借助用于获得权(weights)的反向传播算法、或利用Generalized Hebbian Learning算法，实现线性K-L变换。在这种系统中，给出一个正确的目 标函数，可以注意到，用于线性链接到任何隐蔽层节点的权为协方差矩 阵的特征向量的成分。早期的工作还描述了主要成分随后如何被发现， 和该方法如何避免评价可能非常大的协方差矩阵的所有元素的繁杂任 务。

早期的工作期望解决：如果允许网络中的神经元也为非线性可能实 现的是什么这个问题。其它的努力是寻求解决该问题的答案。在一种情 况下，在多层前馈网络中对原始数据模式矢量进行多层变换，但具有非 线性内层节点。这种网络的输出层有与输入层相同数量的节点，目的是 训练网络以便输出层可复制所有输入端的输入。这提供了所谓的自动相 关学习形态。此外，内层之一用作瓶颈层，可能具有强烈减少的节点数。 由于节点数量减少的输出可接近地再生输入，因而在所有情况下，在瓶 颈层中的节点可被认为是主要成分集合。可以证明这是可接受的观点， 只是存在这样的事实，即在这种学习中获得的解答不是唯一的并且根本 上不同，这取决于初始条件和在学习阶段中出现的数据模式的顺序。尽 管结果是令人感兴趣的，但没有唯一的主要成分集合。

在另一个早期的特征映射方法中，是以另一种方式获得维数的减少。 减少维数的空间被适当地限定为两维。然后用点的格网(a grid of points)旋转减少维数的空间，并将模式矢量附着于每一个这些格网点 上。从与该问题的模式空间相同的模式空间随机选择n个这些模式矢量。 然后根据类似于附着于格网上的参考矢量，分配该问题的模式矢量到减 少维数的空间的格点上。这导致过程的生物激励方案，即横向兴奋-抑制 的过程。当模式矢量分配到格点时，首先它本质上是随机的因为格网点 偶然具有最类似于模式矢量的参考矢量。但一旦进行了分配，那么参考 矢量就被修改为还更象输入模式矢量，并且，横向接近格点的所有参考 矢量都被修改为更类似于输入模式。以这种方式，模式不久就不再有机 会保留；在初始模式空间中类似的模式在减少维数的空间中被有效地汇 集在一起。取决于偶然性，有时两个或更多完全不同的区域可组合用于 下面的模式：如果事情稍有不同地发展，那么它们应该归属于邻接区域。 另一方面，这种性质的结果不妨碍计算任务的目标。

由于MAX-NET在建立群集中执行谁胜谁占有法，并且即使与群集空 间中群集中心之间的距离无关，也确实存在横向抑制，因而在本文中涉 及数据自组织的ART方法。存在数据压缩，但没有维数减少

按照本发明的第一方案，致力于上述问题和其它问题，提供利用高 效率系统将模式维数数据自主缩减到很明确的二维表示的系统。

可以理解，工程中的许多任务都包括从无组织的原始数据中提取有 用信息的过程。但是，如上所述，了解多维数据的大量集合的含义是挑 战性的任务。困难主要在于不能容易地掌握内部模式关系。可视显示已 经成为指导这种分析的一种最有用的工具。可惜，对于维数大于三的情 况，不可能以有意义的方式直接实现。

如上所述，为了明白原始数据的意义，必须降低原始数据的复杂性。 一般来说，两个主要类型的方法被用于解决这个问题。在第一类型中， 使用例如数据模式之间的欧几里德距离的信息，以便利用例如群集或 Kohonen自组织映射(SOM)的方法来推断数据模式如何分布在多维空间 中。这些方法的重点在于用群集属性或一些其它分布更简明地描述大量 数据模式。

方法的第二类型强调维数的缩减，即描述每个数据模式和所有数据 模式所必须的特征数量的缩减。想法是原始数据空间的维数或许不都是 彼此独立的，即尽管未必在那些已知的维数中，但这些维数可以是正好 几个独立固有维数的某些复杂函数。因此，目的在于使用该缩减维数空 间来描述模式。属于这种类型的一些方法有通过Karhunen-Loeve(K-L) 转换的线性主要成分分析(PCA)、PCA的神经网络的实现、自动相关的映 射方法和非线性方差保存(NLVC)映射。这些方法一般试图把高维数空 间映射成较低的维数空间。还有相反的方法。一个实例是生成拓扑映射 (GTM)，披露于C.M.Bishop，M.Svensen和C.K.I.Williams的名为“GTM： The generative topographic mapping”的论文中。

但是，应该理解，上述两个类型不是完全不同的。群集随后可能用 于缩减维数的空间，以进一步帮助数据的理解。SOM方法同时通过在缩减 维数特征映射中横向激励限制来收集相似的模式。因此，SOM群集并缩减 维数。

除了通过其线性性质进行限制的线性PCA方法以外，把高维数数据 映射成更低维数空间中的离散格点或更低维数外形的上述其它方法完全 取决于映射参数或两者的初始(通常为随机)选择。

格点映射一般在例如分类和编码应用中是有用的，其中，只要原始 数据空间中接近的点在映射中保持靠近，那么数据点的精确相对位置并 不十分重要。例如，GTM方法从较低维数中点的格点和一套非线性基础函 数开始，假设该函数放射状对称的高斯分布是均匀分布在较低维数空间 中。把从较低维数至较高维数的格点的映射假设为这些基础函数的线性 加权之和。然后，建议通过以刚刚映射到高维数的那些格点为中心的放 射状对称的高斯分布来形成较高维数的概率密度。在有关GTM的Bishop 的著作中，假设Bayes规则可以用于颠倒映射和对于较高维数空间中的 分布估计各格点的响应性。接着可以用响应性信息再估计较高维数中数 据点的似然性。通过把该结果最优化以形成较高维数中已知数据点的分 布，获得映射的权参数的迭代学习过程和形成密度分布的高斯分布的宽 度参数。利用在学习收敛项上的响应性信息，可以产生观察数据点的较 低维数的映射。如果映射函数是平滑和连续的，那么在较低维数中的相 邻点在较高维数中将映射成相邻点。但由于对于在较高维数中指定的数 据点来说，格点上高斯分布的响应性因映射函数产生的多种形状可能是 多种形式的，所以颠倒不一定是真实的。代替一个或几个相邻格点的响 应性，数据点在较低维数映射上可以是几个远的格点的响应性。尽管这 种映射对于某些分类和相似目的来说还有用，但由于它可能难以解释该 映射上格点之间的内插，所以对于最优化来说，使用这种映射可能不恰 当。例如由SOM获得的其它格点映射在解释格点之间的内插上也可能有 同样类型的困难。

尽管例如自动关联结的映射或NLVC映射的非线性PCA类型的映射没 有内插困难，但较低维数映射的外观一般仍取决于初始参数的选择。下 面利用NLVC映射作为一个实例说明该相关性。为了获得具有数据点良好 分布的映射，多个试验是必要的，直至可以发现令人满意的试验。

按照本发明的第二方案，解决上述复杂性降低问题和其它问题。在 这点上，这里说明称为均衡正交映射(EOM)的方法。该方法属于第二类 型，并随着考虑内插能力和初始参数的相关性的降低而发展。

EOM方法可以通过反向传播学习过程来实施。下面推导和说明该过程 的详细方程式。还论述在获得缩减维数映射中采用EOM的实例以及与采 用SOM和NLVC方法的比较。此外，给出两种情况的结果。在一种情况下， 输入数据表面上为五维但实际在本质上为2维。在另一情况下，映射用 于一批汽油混合物数据，并论证最优化的最终映射的潜在应用。

应该理解，本发明的以下论述针对缩减维数表示为2维情况下的映 射，使该表示容易可视化，而且本发明还同样适合其它维数。

发明的公开

按照本发明，提供将多维模式数据组织成为包括神经网络的维数表 达的系统。神经网络由神经元节点层组成。这些层包括输入层和输出层 以及在它们之间布置的一个或多个隐蔽层。输出层由共用公共内部网络 表示的第一和第二非线性节点组成。多维模式数据被接收在神经网络的 输入层中。该系统在神经网络的输出层上产生输出信号，该输出信号与 接收的多维模式对应。

按照本发明的另一方案，提供使多维模式数据组织成为两维表达， 还包括完成神经网络加权的监督学习的系统。

按照本发明的另一方案，提供使多维模式数据组织成为两维表达的 方法，该方法包括接收多维模式数据进入神经网络内的步骤，和通过已 经被反向传播训练的神经网络输出一个输出信号的步骤。输出信号由一 个输出层产生，该输出层由共用公共内部网络表示的第一和第二非线性 节点组成。

按照本发明方法的一个有更多限定的方案，提供完成实现上述那样 的神经网络训练的步骤。

按照本发明的另一方案，提供将多维模式数据的维数缩减映射的新 的方法。该方法通过普通单隐蔽层前馈神经网络施行映射，神经网络带 有非线性神经元，但带有不同的目标函数，该函数通过把输出的协方差 矩阵简化成对角矩阵或常数乘以单位矩阵的形式来均衡和正交化较低维 数的输出，而不指定输出在函数计算中使用的普通网络中应该是什么。 由于在该映射中不使用属性信息，所以基本上是非监督的学习过程。这 里说明这种映射的详细反向传播学习过程。

按照本发明的另一方案，提供把相对“拓扑结构校正”低维数近似 中大量复杂的多维数据可视化的方法，以降低与类似目的的其它方法有 关的随机性，同时保持高效率计算的映射。这里说明在获得有意义的2 维映射中使用该方法的实例，以及与使用自组织映射(SOM)方法和非线 性方差保存(NLVC)映射方法的比较。    

本发明的优点在于提供神经网络，该网络允许模式数据的两维表示 自动形成。

本发明的再一优点在于产生模式数据的两维表示，该两维表示以明 确方式隔离模式数据内配置的有关特性，以便允许人工可视化和编排特 征目录。

本发明的又一优点在于供给高效率组织模式数据的神经网络，以便 用普通处理硬件进行实时计算。

本发明的另一优点在于供给这样的系统，该系统通过控制方差缩减 模式数据维数。

本发明的另一优点在于供给这样的系统，该系统通过把输出的协方 差矩阵缩减成对角矩阵或常数乘以单位矩阵的形式缩减模式数据维数。

此外，对于本领域技术人员来说，通过阅读和理解以下详细说明， 本发明的其它优点和好处会变得明显。

附图的简要说明

在某些部分和部件的配置中本发明采用物理的形式，在本说明书中 将详细描述优选实施例及其方法并在构成说明书一部分的附图中进行展 示。

图1表示本发明优选实施例采用的与具有维数缩减的所说非线性方 差保存(NLVC)映射相关的初期自动关联网络；

图2表示具有描绘81点的螺旋线的两个周期的三维曲线；

图3表示螺旋线的Karhunen-Loeve(K-L)变换的两维表示；

图4表示具有自动关联映射的螺旋线的两维表示；

图5表示具有非线性方差保存映射的螺旋线的两维表示；

图6表示具有非线性方差保存映射的汽油混合物数据的两维表示；

图7表示相对于催化裂化的异戊烷和重整油含量水平的混合物位置 的灵敏度；

图8表示带有非线性方差保存映射的传感器数据的两维表示；

图9表示从“无故障”至“故障”监视连续的传感器分布的轨迹；

图10展示具有非线性方差保存映射的能带隙数据的两维表示；

图11表示基准汽油混合数据表；

图12表示随时间变化的传感器数据分布表；

图13提供半导体晶体结构参数和能带隙的表；

图14表示均衡正交映射(EOM)的网络结构；

图15表示对于具有两个固有维数的五维函数提供解答等式的理论上 的两维映射；

图16A-16D表示由自组织映射(SOM)获得的具有两个固有维数的5 维函数的缩减维数映射；

图17A-17D表示由非线性方差保存映射获得的同一5维函数的缩减 维数映射；

图18A-18D表示由均衡正交映射(EOM)获得的同一5维函数的缩减 维数映射；

图19A-19D表示由SOM获得的图11所示的汽油混合数据的缩减维数 映射；

图20A-20D表示由NLVC获得的图11所示的汽油混合数据的缩减维 数映射；

图21A-21D表示由EOM获得的图11所示的汽油混合数据的缩减维数 映射；

图22A表示由EOM获得的六个模式的缩减维数映射；和

图22B表示图22A所示区域的模式值。

优选实施例的详细说明

下面参照用于说明本发明优选实施例目的而非限定目的附图，图1 表示在部分(a)中自动相关的方法，而部分(b)表示具有优选实施例 提供的维数缩减的非线性方差保存映射。下面单独说明这两个部分。同 时说明在初期尝试方法(a)和本优选实施例结构之间的结构上的优点和 区别。

在部分(a)中，神经网络10有输入层12和输出层14。在部分(a) 的图示中，输入层12由五个节点20、22、24、26和28组成，各节点有 其相关的输入。输出层14也如图所示由五个节点30、32、34、36和38 组成。各输入层12和输出层14中图示节点的数量不限定于五个。对于 这种层，可以选择任何一个大于1的数目，而且这些数值也不必相等。 节点的指定数量是非常特殊的应用。神经网络10内配置的任意内层40 被缩窄至两个内部节点42和44。根据该图，可以理解存在图示层40形 成的所有模式数据的漏斗和颈缩。

转向优选实施例的部分(b)，神经网络100包括输入层102。仅为了 说明目的，把输入层102表示成由五个输入神经元110、112、114、116 和118形成的多个输入组成。可以理解，所披露的神经网络100的结构 不包括与由部分(a)提供的内层40类似的内部。

结构(b)设有由第一神经元132和第二神经元134组成的输出层130。 借助于优选实施例的实例，在输出层130上选择两个神经元。该选择允 许模式数据的两维表示和可视化。从以下说明中可以理解，优选实施例 的输出层完全由共用公共内部网络表示的初期非线性节点组成。与(a) 的说明一样，可以理解，按照特定的应用和硬件选择来选择形成输入层 102的节点数量。

下面，为了说明的目的，假设从5至2的维数缩减。在自动相关的 方法中，应该使用例如图1(a)所示的网络，并应该训练它，使网络用 作恒等算子。网络的输出矢量应该总是几乎与输入模式矢量相同。如果 数据的固有维数大于2维，那么网络与恒等算子明显不同。该网络按有 时称为自监督的方式来训练。

在目前新方法中使用的网络不大复杂，意图在于利用二维表达代替 五维表达尽可能保存更多的数据信息。计算2维表达的网络就是图1(b) 所示的网络，按照2维表达中方差几乎与5维表达的方差相同的准则来 训练。在该方法中，关键在于输出节点是非线性的，而且它们共用公共 的内部网络表达。

假设{xp}，p=1，2，…，P，是数据模式矢量的集合，其中，P被限 定为正整数，并且数据模式矢量的集合有用下式表示的总方差： 其中：最初维数S=5，

< >符号表示在各显示分量的输入数据模式矢量的集合上获得的平均 值或平均数(即<xi>表示在数据模式矢量的集合上计算的xip的平均值)， 和

xip是数据模式矢量集合的第p成员xp第i分量。

应该理解，总方差的“度量”是总方差的线性或非线性函数。

下面训练图1(b)所示的网络，以便对于数据模式矢量的相同集合来 说，在缩减维数表示中计算的方差尽可能接近V。

利用训练的反向传播算法，逐渐改变输出节点权的表达式通常为：

其中，所有符号有其通常的普通含义。在这方面，Opj是来自属于第p 输入数据模式在输出层之前的层中第j节点的输出信号，η是选择为可提 供有效收敛但防止振荡的适当常数值，而δpk是对于第p输入数据模式(即 方差的灵敏度度量)与对由输出层的第k节点的输出引起的误差E有贡 献的成分成正比的值。

当前情况和标准监督的神经网络计算的学习任务之间的差产生在δpk 的表达式中，在这种情况下(即S形)该表达式被表示为：

在式(3)中，V是输入数据模式的训练集合的计算方差，而在矩形 括号内的双求和产生输出、缩减维数、同一数据表示的方差。学习过程 的效果在于试图降低增量值，同时尽量使最初的方差和缩减维数的方差 之间的差最小。

根据图1的说明，我们记得隐蔽节点显示在网络100的区域150中。 如上所述，对于隐蔽层节点来说，对这些节点逐渐提高权的表达式为： 其中，Opi是在第p输入数据模式的第j层之前的层的第i节点的输出信 号。

应该理解，“隐蔽层”可以是非线性函数转换层，例如练习函数链和 径向基本函数结构。

数据模式可以被看成模式空间中的矢量，其分量可以根据描述矢量 使用的坐标系统在数值上变化，或等效于跨越该空间使用的基矢量。

事实上，数据协方差矩阵的轨迹相对于跨越模式空间的基矢量的线 性转换是不变的。本方法允许非线性转换，但设法保存总方差。

在式(3)和式(4A，4B)规定的学习过程中可以进行一些简化。由 于主要关心各种模式的相对位置，所以在最初全维数表达中各特征的平 均值没有意义。这些值在式(3)中可以被设定为零。这相当于模式矢量 的整个分布的作为一个刚性体整体移动，而不损失相对位置信息。

类似地，在式(3)中，适当提前决定模式矢量的缩减维数分布将是 一个零均值。这消除了随着继续学习需一直计算改变的平均值的有些麻 烦的步骤。在学习中设定作为条件的平均值相当于施加相对分布的整体 移动。

尽管式(3)被这样保留，但方差限制实际上相当于信号强度限制。 学习包括学习权的单集，该单集将按相同的方式映射所有模式矢量，在 尽量接近零的缩减维数空间中努力获得各特征值，仍保存总信号强度或 等效的(零均值)方差。

此外，正在进行理论研究，但目前的实践必须考虑更多的是通过结 果而不是通过理论来推动和证明。一些表示结果呈现在本论述的这一部 分和后续部分中。

对于3维数据缩减至2维数据来说，在本部分中呈现缩减维数自组 织的三种不同方法的结果。当然，如果数据本身是3维，那么这是一个 要从事的不可思议的行动。另一方面，固有维数在多数情况下一般是未 知的，因而这种简单和良好控制的练习可以提供当新的表示维数小于固 有维数的表示时会出现什么有关的一些见识。

如果沿三维螺旋线的点按“自组织”2维表达来表示，那么该表达 应该象什么呢？换句话说，什么信息被放弃和什么信息被保存呢？

图2表示沿螺旋线的数据点。图3表示该数据的2维自组织K-L描 述，图4表示用自动关联映射获得的描述，而图5表示用本方法获得的 2维表示。

至少对于这种特殊情况来说，用本非线性方差保存(NLVC)方法获 得的缩减维数表示比用自动关联方法获得的这个表示有较少不确定性。

本工作产生维数缩减，同时尽量保存有关交互模式差别的信息。K-L、 自动关联和非线性方差保存方法的优点和缺点如下。

K-L转换方法

优点：有很好理解的理论基础。

缺点：协方差矩阵的冗长计算；线性限制导致维数缩减增大时信息 有损失。

自动关联方法

优点：理论上基础概念可靠；如果需要可非线性。

缺点：训练时间长，容易过度训练产生误导映射。

非线性方差限制方法

优点：概念上可靠，计算效率高，在没有失真的情况下明显的维数 缩减。

缺点：附加的理论研究在推广这个方法和在揭示映射的“拓扑”校 正的方面可能是有用的；所有计算结果表明顺序按某些不普通的方式来 保存，但该计算结果难以比在该点上的计算结果更精确。

在文献中，有各种研究人员用于评定其群聚效率或分类过程的大量 汽油混合数据。这种数据的实例展示在表1中(图11)，其中，各汽油混 合物根据其五个组分的量还通过其探测辛烷数来说明。大量五维数据利 用本NLVC方法被映射成两维空间。如图6所示，最终的这批数据在两维 中容易立刻显示和观察，在理解数据符号化中具有重大的收益。

该曲线适合用作存储器，同时适合用作分类规则公式表示器件，如 图6中的直线所示，这些直线好象把高辛烷混合物从低辛烷混合物中分 离出来。此外，在该曲线中，容易看出，三个混合物不符合建议的“规 则”。值得注意的是在用K-L和自动关联方法获得的映射中观察出对于规 则的相似的违反情况。

对于初始五维空间中的改变来说，可以容易地探测两维空间中点位 置的灵敏度，该灵敏度的某些表示在图7中描述。该信息在各种不同的 合成区域如何中按配方制造其它改善的混合物方面提供指导。

本NLVC维数缩减系统还适合用于把复杂的随时间变化的传感器输出 分布图映射成两维空间中的点。此外，随着缩减维数空间中该点的运动， 可以检测分布图的性质的改变。

在某个工业设备中，工艺条件由传感器来检测，随时间变化的传感 器输出分布图可以用于提供操作是否可能处于或接近“故障”条件的有 关信息。在这种学习中，来自一个传感器的分布图被缩减至如表2(图 12)所示的五个特性的各模式。制备两批该数据，一批用来“训练”解 释方式，另一批用来测试解释方案的有效性。

利用NLVC映射，各分布模式被缩减至2维点，如图8所示，训练集 合分布图的整个集合可以在单一2维曲线中显示。

所谓“训练”动作相当于显示在两维空间中已知的各点，无论表示 传感器输出分布图的点与“故障”条件有关或与“无故障”条件有关。

对于处理过的数据来说，可以证明，分布图确实是“故障”或“无 故障”条件的代表。在图8的曲线中，虽然是非直线地分开，但表示分 布图的两种类型的点确实清楚地分开。假设这种情况下，可以容易地用 公式表示把新分布图划分为“故障”或“无故障”的规则。如图9所示， 该规则根据来自分布图测试集合的点被很好地证实。 

对于大量半导体材料来说，表3(图13)中列出四个代表性晶体结 构参数的值。还列出了这类材料的电子能带结构中“能带隙”的值。

四个特征晶体结构模式的NLVC映射产生如图9所示的映射。低能带 隙材料看来处于映射的左上部分，该分布的研究可能给出关于晶体结构 的某些组合可能与低能带隙有关的某些提示。

由于两维显示特别容易理解，在披露本系统时所以特别强调两维显 示。三维显示同样由人适当地调节。但所有更高维数的显示对于可视化 和“理解”是不透明的。

该新方法在计算上效率非常高。实验结果表明，它是某些强大和有 吸引力的“拓扑校正确”方法。

该系统设法保存所有原有方差，同时对缩减维数空间进行非线性映 射。按上述方式获得的映射适合用于各种任务，甚至可以用作可视关联 存储器，适合存储对象的相似描述和关联方式中对象演变的时间经历描 述，以致该存储器区域中新对象的映射应该给出提醒其它什么事情的提 不。

在基于方差的方法中，目的在于发现数据的缩减维数映射，对于该 映射来说，数据的许多方差被保留，而且对于该映射来说，在新的表示 中数据模式矢量的分量尽可能不相关。

可以看出，该方法按一种感兴趣的方式产生与特征映射方法相似的 结果。具有相似研究辛烷值的模式在2维缩减维数映射中刚好自动地映 射到相邻的区域内。不必考虑群集。相反可以容易地用公式表示很普遍 的种类识别规则。但是，缩减维数映射的确向改进的混合物的公式提供 指导。

对复杂传感器数据采用的方法再次表示：表现故障条件的模式明显 位于2维映射的自组织区域，不同于表现“无故障”的模式。

在上述情况下，种类或特性值必须已经与模式描述强烈有关。缩减 维数映射仅使该情况更明显和更容易显现。在另一情况下，把相同的方 法应用于稀疏的一批数据，稀疏不仅指没有许多的样品而且指有许多特 征值损失了，以致事实上对于该练习来说只有特征的小子集是可用的。， 数据是用于一批半导体晶体结构参数，在观察晶体结构“空间”的某些 区域是否与低能带隙有关上有意义。缩减的2维映射给出有关对于进一 步探测来说哪个区域可能有效果的提示。

下面参照图14至图22说明本发明均衡正交映射(EOM)的第二方案。 EOM的目的在于，在尽可能多地映射保护数据的拓扑结构情况下发现和显 示数据模式之间的内部模式关系。通过在学习过程期间抑制输出的协方 差矩阵的元素值来实现该目的。在训练结束时，输出的协方差矩阵被缩 减成常数乘以单位矩阵的形式。这保证了缩减的维数同等重要和相互正 交。

如图14所示，EOM方法可以用带有一层隐蔽层的普通的三层前馈网 络N来实现。网络N表示均衡正交映射的网络结构，该结构包括输入层、 隐蔽层和输出层。节点之间的线是表示相邻层的节点之间的“链”。如上 所述，“隐蔽层”可以是非线性函数转换层，例如练习函数链和径向基本 结构。

利用反向传播算法来训练网络N。开始时，网络的权随机地产生在区 间[-W，W]中。这些权通过学习过程被迭代地调整。

假设{xp}，p=1，2，…，P，是S维数的输入数据模式矢量的集合。 这些数据模式矢量的所有维数的平均方差用下式表示为： $V_{\mathrm{in}}=\frac{1}{\mathrm{SP}}\underset{i=1}{\overset{S}{\Sigma }}\underset{p=1}{\overset{P}{\Sigma }}{(x_{\mathrm{ip}}-⟨x_i⟩)}^2$

                                  (式5) 其中，“< >”表示在各显示分量的所有输入数据模式矢量上获得的平均值 或平均数(即<xi>表示在数据模式矢量的集合上计算的xip的平均值)，而 xip是数据模式矢量集合的第p成员xp第i分量。

为了具有说明的一般性，假设在缩减维数的表示中维数为K。因此， 输出的协方差矩阵是K×K矩阵。输出的协方差矩阵的各元素(即输出信 号)可以写成： 其中：

p=1，2，…，P；

是第p输入数据模式矢量的输出层的第k1节点的输出信号；

是第p输入数据模式矢量的输出层的第k2节点的输出信号；

是在输入数据模式矢量集合上计算的Ok1p平均值；

是在输入数据模式矢量集合上计算的Ok2p平均值；

k1=1至K；

k2=1至K；

K是缩减维数表达中维数的数量；和

< >表示对于各显示分量在输入数据模式矢量的集合上计算的平均 值。

由于协方差矩阵的对称性，所以仅需要考虑矩阵的上三角形中的项。 目标是使误差E最小，用下式表示为： 其中， 根据元素是否在主对角线上按下式给出。 应该指出，rkk是正的常数，它有提高训练速度的效果， 是正的常数， 它有提高训练速度的效果。此外，应该理解，通过最小化上述误差函数， 在常数乘以实际选项的识别矩阵的情况下，输出的协方差矩阵将按常数 乘以对角矩阵的期望形式结束。

常数Vout，kk把与平均输入方差Vin成正比作为目标。式(8)中常数r 是松弛因子，该因子通常小于一。通过缩减各维数的输出方差，导致进 一步加速训练。由于几乎由来自二次项的信息组成的方差类似系统的能 量，所以缩减该方差对应于缓和各维数的能量需要。这缩减了网络的迭 代数量，从而实现了期望的误差容差。由于方差还捕获数据的内部模式 关系，所以通过使各输出维数的方差与输入方差成正比，这种方法设法 尽量保护更多相对位置信息。为了归一化，引入分母，使规定的误差目 标与输入方差值无关。

用迭代方法更新权的表达式可以根据求出与权相关的误差E的导数 来获得。对于第k和第j层之间的权来说，利用隐蔽的(第j)层和输出 (第k)层两者的S形神经元，该权按下式给出： 其中，Δwkj，1是来自对角项的成分，Δwkj，2是来自第k行的非对角项的成 分，而Δwkj，3是来自第k列的非对角项的成分。这三项的表达式如下： 其中，δkp是对于第p输入数据模式矢量的与对由输出层的第k节点的输 出引起的误差E有贡献的成分成正比的值，而δkp，1、δkp，2和δkp，3是δkp 的分量。δkp，1、δkp，2和δkp，3(相对于S形函数)按下式给出：

δkp，1=4(Vout，kk-rkkVm)(<Ok>-Okp)Okp(1-Okp) 其中，Okp是对于第p输入数据模式矢量的来自输出层中第k节点的输出 信号，<Okp>是在输入数据模式矢量的集合上计算的Okp的平均值，而Ojp是 对于第p输入数据模式矢量的来自输出层之前的层中第i节点的输出信 号。

为了简化符号，组合式(13)、(14)和(15)，并表示为：

δkp=δkp，1+δkp，2+δkp，3

                                              (式16) 然后，式(7)可以被写成更常见的广义增量规则形式

对于第j和第i层之间的权的误差的另一反向传播如普通网络中那 样保持相同，表达式为： 其中，δjp按下式给出： ${\delta }_{\mathrm{jp}}=\left(\underset{k=1}{\overset{K}{\Sigma }}{\delta }_{\mathrm{kp}}{w}_{\mathrm{kj}}\right)O_{\mathrm{jp}}(1-O_{\mathrm{jp}})$。

                                   (式19)

EOM方法从NLVC映射方法进化而来。在NLVC映射中，学习的目标在 于保存数据模式说明上的总方差，就是说，学习网络的权，以便输出的 总方差和输入的总方差之间的差在某个规定的限度内，即NLVC的误差函 数简化为： 其中，Vout按下式给出： 而Vin与式(5)相同。利用精确的相同网络结构和反向传播学习算法，参 数δkp按下式给出：

δkp=(Vout-Vin(<Ok>-Okp)Okp(1-Okp)

                                                           (式22) 迭代更新的网络权公式与式(17)至(19)的形式相同。

NLVC方法计算效率高，产生的缩减维数映射在例如分类、编目、监 视和最优化应用中已显示出作用。

NLVC方法高效率的一个理由在于，方差保存限制相当宽松。的确， 式(22)中给出的限制甚至比式(13)给出的限制都弱。但这也有副作 用。对于经由不同随机数量仔晶的网络来说，假设有初始权随机产生的 不同集合，对于相同输入形成的映射好象完全不同，映射上点的分布常 常不均匀，与缩减维数之间强相关。尽管即使从具有点的不均匀分布的 映射中仍可以获得一些定性信息，但一般必须进行一些试验，以得到具 有点的良好分布的映射。

降低缩减维数之间相关关系的好方式是在映射的学习期间使网络的 输出正交化。为了实现该目的，开始的自然点是为了限制网络输出的协 方差矩阵的元素值。如果所有非对角项目趋于零，那么输出就彼此正交。 利用所有非对角项降低至零，通过把在协方差矩阵的主对角线上的所有 元素设定成相等的值，还容易使所有缩减维数有相等的优势。这促使协 方差矩阵有相等的特征值和各缩减维数的方差相同。为了在映射期间尽 可能多地保存拓扑信息，对于所有通过松弛因子的输入维数来说，可以 把主对角线的各元素分配给与输入方差的平均值有关的值。这正是EOM 方法所作的事情。

与NLVC方法比较，这种当前用的方法把强得多的限制放在学习过程 上。而且，效率的牺牲相当小。例如，当缩减维数为2维，即对于可视 显示最有用的K=2时，输出的协方差矩阵是2×2矩阵，与必须按照两种 方法计算的两个对角项相比，仅有需要计算的一个非对角项。对于训练 的各迭代来说，与采用NLVC相比，在采用EOM的ΔWkj的计算上，这仅导 入大致50％的辅助操作。ΔWkj的计算对于两种方法来说是相同的。

下面参照图15-图22说明与SOM和NLVC的实例相比采用EOM的实例。 对于EOM和NLVC来说，S形神经元在隐蔽层和输出层中都使用。为了使 最终的映射可视化，把输出神经元的数量选为2。由于对于真正的多维数 据来说，固有维数可以不对应于任何简单的物理量，仅有数据点的相对 位置令人感兴趣，所以两个缩减维数的绝对标度不重要。因此，输出被 线性映射成512×512象素的图象，而对两个轴未进行标记。

由于理论解是已知的，所以带有两个固有维数的以下简单的5维函 数被用作第一测试。 $z=\sin \left(\frac{\pi }{2}(x_1+x_2+x_3)\right)\cos \left(2\pi (x_4+x_5)\right)$

                                        (式23) 在式(23)中，五个变量不都是独立的，而按以下方式相关：

x1=t1，x2=2t1-1，x3=1-t1，x4=t2，x5=1-2t2 其中，t1和t2表示函数的两个固有维数，并在区间[0，1]内。在指定范 围中随机地产生一百个数据模式，并用作原始数据集。

利用t1和t2作为两个轴，用分析方法产生的2维映射如图15所示。 在各正方形标记内所示的灰度等级反映(t1，t2)对应对的z值。这些数 据点的z值范围被线性地映射到白色表示最小和黑色表示最大的256个 灰度等级上。

图16-图18表示SOM、NLVC方法和EOM方法的映射结果。用相同的 四个随机数仔晶(seed)来获得四个映射。对于SOM来说，使用20×20 格栅，把高斯函数用作相邻(横向激励)函数。在映射的学习期间，学 习比率因数α(t)从O.9线性减小至0，而相邻核的宽度6(t)则从映 射侧长度的一半线性减小至格点之间的1个单位长度。

对于NLVC和EOM来说，隐蔽神经元的数量为15。初始网络权参数对 于这两种方法是相等的。对于EOM映射来说，松弛因子r被选择为O.1。

图16A、16B、16C和16D分别表示由SOM获得的式(23)中所示函 数的缩减维数映射，其中仔晶=7；仔晶=8；仔晶=4；和仔晶=3。应该理 解，“仔晶”是用于产生初始基准矢量的参数。

图17A、17B、17C和17D分别表示由NLVC方法获得的式(23)中所 示函数的缩减维数映射，其中仔晶=7；仔晶=8；仔晶=4；和仔晶=3。应 该理解，“仔晶”是用于产生初始网络权的参数。

图18A、18B、18C和18D分别表示由EOM方法获得的式(23)中所 示函数的缩减维数映射，其中仔晶=7；仔晶=8；仔晶=4；和仔晶=3。应 该理解，“仔晶”是用于产生初始网络权的参数。

应该理解，黑点和亮点在由SOM获得的映射中趋向分开，但它们几 乎不象理论映射，并且它们彼此也不相似。由于数据点在映射上受限于 格点，所以如用分析方法产生的映射所示，有关数据点的五个相对位置 的信息被损失。不同的随机数量仔晶也造成最终的映射显得不同。但是， 尽管受格点限制，SOM映射一般仍形成映射区域的良好覆盖。

用NLVC方法获得的四个映射中的明显差别表明在初始权的选择和映 射的结果之间存在强相关性。但是，根据四个映射的每个映射和用分析 方法产生的映射之间紧密的比较，可以看出，尽管四个映射明显不同， 但它们通过旋转、反射和压缩都可以从分析上产生的映射中转换出来。 就是说，与用分析方法产生的映射相比，尽管作为整体的数据点的分布 在这些映射中被扭曲至不同的程度，但数据点的相对位置看来仍保存在 其中。换句话说，数据点的拓扑结构看来按某些局部方式保存在这些映 射中。但是，图17B、17C、17D的映射中展示的分布的对角线带形状对 于较小程度的17A来说意味着在两个缩减维数之间强相关。因此，这些 映射未能利用缩减维数的全部能力。尽管根据数据点的相对位置对这些 映射进行拓扑校正，但图17D的映射根本没有价值，图17B和17C的映 射仅可以用于数据点的某些定性描述。只有图17A的映射显示数据点的 相对良好的分布，该分布可以用于例如最优化的定量任务。这四个映射 用作说明需要更好的映射方法的实例，该方法不仅要保持映射的拓扑校 正，而且还要降低映射的随机性，并充分地利用缩减的维数。

另一方面，用EOM方法获得的四个映射显示出彼此明显的相似性和 与分析产生的映射的相似性。除了旋转、反射和自动拟合图象的标度上 的差别以外，所有四个映射与分析产生的映射基本上相同。这表明在处 理不同的初始条件中EOM方法的可靠性。应注意的一个小细节在于，这 些映射中旋转的角度在45°或0°左右。由于理论上数据点的分布形成正方 形区域，和在这两个角度上的正方形使两个维数有相等的优势，所以该 观察再次保证EOM方法的确实现了充分利用缩减维数的目标。

就计算效率而言，7个用作随机数仔晶的情况用作经验比较的实例。 EOM方法对于在178次迭代中收敛来说少用6秒。NLVC方法对于在12次 迭代中收敛来说少用2秒，而SOM方法对于100次迭代来说少用117秒。 SOM的效率的提高是明显的。尽管EOM比单独NLVC运行的时间长，但如 果在NLVC运行的最初不多的试验中未发现令人满意的映射，那么EOM仍 可以作为优胜者结束。

在文献中有一批汽油混合物数据，它的一个子集包括具有图11表中 给出的所有属性的那些数据。利用自动关联方法和NLVC方法，在维数缩 减至2维时，已经表示数据的这种集合使之“自组织”成具有辛烷值大 于100的模式和辛烷值在100以下的模式的两个几乎明显不同的区域。

图19A-19D表示分别在仔晶=7、仔晶=8、仔晶=4和仔晶=3情况下按 SOM获得的图11表中所示的汽油混合物数据的缩减维数映射。图20A-20D 表示分别在仔晶=7、仔晶=8、仔晶=4和仔晶=3情况下按NLVC获得的图 11表中所示的汽油混合物数据的缩减维数映射。图21A-21D表示分别在 仔晶=7、仔晶=8、仔晶=4和仔晶=3情况下按EOM获得的图11表中所示 的汽油混合物数据的缩减维数映射。图22A和图22B表示基于高辛烷值 的六个汽油混合物数据模式的缩减维数映射。图22A表示按EOM方法获 得的六模式的映射，而图22B表示该区域的模式值。

对于SOM来说，使用10×1O网格，选择的α(t)和σ(t)与上述相 同。对于NLVC和EOM来说，使用精确相同网络结构，以获得缩减维数映 射。甚至使用相同随机数仔晶。图19至图21表示SOM、NLVC方法和EOM 方法的映射结果。各正方形标号内的灰度等级用对应于高辛烷值的较亮 的正方形反映该模式的辛烷值。由于仅有26个模式，所以还示出模式序 号。

SOM映射再次表示在提供最好结果的图19A的映射下基于辛烷值的数 据点的分离达到某种程度。由于映射完全不同，所以初始参数的相关性 仍然明显。

NLVC映射再次表明：表示存在相互关系的数据点的分布。然而，所 有四个映射表示映射区域的合理覆盖范围以使它们有用，至少用于定性 讨论。通过检查正方形标号的灰度等级，可以看出，所有四个映射显示 在提供最好结果的图20B的映射情况下亮阴影点和暗阴影点之间分离的 某种程度。这与采用不同映射的上述NLVC结果一致。

如期望的那样，EOM映射显示映射区域的更好覆盖范围。高辛烷值数 据点和低辛烷值的那些数据点的分离在这些映射上更加明显。但是，在 采用ULVC和EOM两种方法获得的映射中，十分明显，如在数学实例的情 况中那样，在EOM映射显示比NLVC映射方差小的情况下，在这四个映射 中数据点的相对位置未保持相同，尤其如映射所示那样的彼此靠近的那 些点。但是，这并不意味着这些映射不能保护数据集的拓扑结构，而是 表示数据集的固有维数确实大于2。由于对于更高固有维数的数据集来 说，在一个二维映射中不可能显示所有拓扑结构信息，所以不同的映射 正好表示来自不同“角度”的投影。这与需要从三侧进行投影的一个部 分的方案类似，以显示该部分的拓扑结构。可是，投影过程对于这些维 数缩减映射来说是非线性投影过程。

由于数学实例证明：EOM方法基本上维持具有两个固有维数数据的映 射不变性，所以在从不同的初始权中获得的映射中除了旋转和反射以外 的任何改变都是一种暗示，即数据集的固有维数大于映射的维数。但是， 即使某些改变明显，如果这些方差未完全占有优势，那么就不必表达产 生的无用映射。由于数据集的不同固有维数可以没有相等的重要性，所 以还可以聚集更多的信息。这正是汽油混合数据的情况。与EOM方法获 得的四个映射相比，可以看出，具有高辛烷值的模式2、3、13、14、16 和22在所有四个映射中都形成独特的群。此外，除了模式13以外的所 有上述模式在映射的边缘上至少露面一次。这可以表明目前为止给出最 高辛烷值的模式13被五个高辛烷值模式包围，而且与在该区域中可能发 现的更高辛烷值混合。由于来自初始网络参数产生的失真，所以这在NLVC 映射上不大明显。

这六个模式从集合的剩余部分中分离出来，而EOM映射则从这些模 式中产生。图22A表示这种情况。由于相对于辛烷值强度的单独映射， 所以六个模式的精确阴影与图21所示的阴影不同。映射确实表明模式13 被其它五个模式包围。

二维函数模式利用函数链网的随机矢量来学习。该模式用于在图22A 所示的区域中预测辛烷值。图22B表示该结果。该结果表明甚至于更高 的辛烷值的点都位于：

d1=85.51，d2=173.5。 对应期望的辛烷值为：

z=102.4。

(d1，d2)值可以被反向映射在具有另一随机矢量函数链路网的最初 5-维空间。该结果为：

x1=0.226，x2=0.096，x3=0.058，x4=0.022，x5=0.599。 应该指出，由于限定在构成网络模式中可获得的模式数量，所以应该认 为，上述结果在将来的公式中提供的指导比给出精确的预测更多。

本发明提供新颖独特的方法，以获得按拓扑方式校正缩减维数的映 射，该映射可能有助于可视化多维数据模式。由于在初始网络权的选择 上明显不同于有类似目的的其它方法，所以该方法被证明可以在最终的 映射中缩减随机性。此外，该方法利用选择不同的初始权缩减维数映射， 可以容易地显示原来的数据集是否可以被满意地描述。由该方法获得的 映射充分利用映射区域，并可以用来代替在各种应用中采用相似目的的 其它方法获得的映射。

已经参照优选实施例说明了本发明。显然，对于本领域人员来说，通 过阅读和理解本说明书会产生改进和变更。应该指出，所有这些改进和 变更都包括在所附权利要求书或其等价物的范围内。

相关申请    

本申请是1995年9月29日申请的共同待审的申请序号为 No.08/536059的美国专利的部分继续申请(CIP)。

发明背景