计算能力已成为像电和水源一样的、文明社会必需的资源。计算 能力是必需的，以处理不断增加的商业数据、工程及科学问题和增强 数字多媒体及娱乐体验，以及在影响大多数人的生活的许多其它方面 也是必需的。由于计算机被首先提出，对计算能力的需要逐渐增加。 计算机厂家受到不断增加的计算能力需求的挑战。每年均有新的软件 应用程序发布且通常要求更多的计算资源。计算机厂家每年必需升级 其产品以提供更好的性能、更多图形能力及更大的内存和存储器。为 在不断变化的市场中保持竞争力，厂家必需持续采用最快及更高密度 的处理器和芯片组。对更快计算能力的需求推动计算机供应链向更高 性能、更大容量及更低价格的方向发展。这些趋势在服务器工业甚至 更加明显，因为IT机构需要更强大的服务器以满足不断增加的计算 能力需求及其机构中的数据处理。
相比于纯硅质量和体积，目前技术的计算机和服务器密度低。由 于硅是平台“净荷”，其中发生计算和存储，计算机的其余部分可被 视为“开销”如互连、冷却、外壳和电源功能。该低密度由基于形成 母板的印刷电路板(PCB)的二维结构引起。在典型的桌面计算机中， 只有不到1％的计算机体积和质量是硅净荷，其余99％均为开销。低 效率源自芯片互连、PCB及其它连接器和接线的二维特性。一些垂直 的板可提高装置密度，但体积效率和质量效率通常仍然很低。
现有技术中已知的一种选件是刀片服务器，其为机架和垂直底板 的结合，所述机架可容纳几个并行的模块(刀片)，所述背板将这些 刀片互连到一个或多个管理模块、电源和网络交换机。在这种选件增 加装置体积和质量效率的同时，其遭遇冷却问题、标准化问题及更高 成本的问题。消散在刀片芯片及功率部件处产生的热量所必需的气流 要求宽的流动路径并产生强声噪。目前技术的刀片服务器的另一缺点 在于缺乏任何层次的标准化。芯片、板和模块在厂家之间或在同一厂 家的不同模型之间不可互相连接。随着刀片服务器的密度增加，散热 问题也增加。对于已增大的组件密度，需要更快地通过空气同时空气 路径更小。这向模块和机架设计提出挑战并明显影响系统性能和可靠 性。
体积效率很关键的区域处于数据中心中。数据中心的每机架垂直 空间的成本高。每机架空间的性能或容量的任何增加均立即转换为成 本节省。在其数据中心运行大量服务器核心的机构总是寻求使他们能 在其机架中的每U(相当于1.75英寸/44.5mm的垂直标准)获得更大 性能的技术。
互连总线技术、内存技术、CPU技术和存储器的快速发展降低了 在平台之间标准化组件的能力。因此，在3年前还是最好技术的平台 在今天已成为非标准及过时的平台。每年有大量计算机装置被作为废 物扔弃，这已成为环境废物的最有问题的类型之一。计算机装置包含 许多污染及危险材料，这种装置的短命周期产生大量废弃材料。增加 计算装置的生命周期连同减小体积和质量可大大减少与计算机有关 的废物，因此将更具环境安全性。关于废弃电子装置的新法规和规章 已颁布以减少污染和废物。与电子有关的产品已成为全球污染源，减 小其体积的任何创新将被欧洲共同体及许多其它政府欢迎。
目前技术的二维计算机和服务器的另一主要缺点在于信号迹线 长度。为桥接母板上的不同部件，需要较长的PCB迹线。较长迹线设 计限制总线速度、导致更大的等待时间、导致信号之间串扰、增加噪 声拾音、因寄生电容和寄生电感恶化信号形状、及导致可影响附近的 其它装置的电磁噪声。
目前二维计算机和服务器的另一设计问题在于低密度互连。在设 计中需要包括连接母板上的另外的模块或组件的选件，这种需要要求 设计包括许多已用或未使用的低密度连接器。当为PCB模块建立这些 连接器时，每侧的最大可能节距约为0.5mm。使用目前的64和128 位总线，这将导致长连接器。如果连接器保持未使用，问题甚至变得 更严重。这样，许多快速信号可能保持曝露而没有适当的端接。
现有技术中已知的建立更高性能和更高密度计算机的另一选择 是整体并行处理(MPP)系统。计算系统由数百或数千个由公共高速 通信网络互连的处理元件(PE)组成。所述PE按3D阵列结构排列使 PE之间具有更好的连通性因而在这些苛求应用中产生更高的性能。 典型的例子是Cray XT3并行处理巨型计算机，其依赖于AMD Opteron 商用64位处理器和Cray的SeaSta三维互连技术。在该体系结构提 供更高密度和3-D核心连通性方案的同时，其相比于传统服务器仍然 成本高且密度提高有限。这种目前的技术MPP通常在母板层建立为三 维格网结构，及用作PE的每一核心仍然为具有传统PCB结构的二维 结构。这些设计难题及目前二维计算机设计方法的许多其它固有问题 产生有限的总线及互连性能，因而产生有限的系统总性能及更低的可 靠性。参考的专利包括：
1、Kenneth R.Smith的题为“Integrated circuit package，and method of forming an integrated circuit package”的美国专利 4647959。
2、Richard B.Salmonson的题为“Method and Apparatus for cooling daughter card module”的美国专利5801924。
3、Birrittella等的题为“System for allocating messages between virtual channels to avoid deadlock and to optimize the amount of message traffic on each type of virtual channel” 的美国专利5583990。
4、Kessler等的题为“Massively parallel processing system using two data paths：one connecting router circuit to the interconnect network and the other connecting router circuit toI/O controller”的美国专利5864738。
5、Alan J Schiffleger的题为“System and method for distributed multiprocessor communications”的美国专利5920714。
6、Bradley W Bartilson的题为“Large area，multi-device heat pipe for stacked MCM-based systems”的美国专利6055157。
7、Passint等的题为“Hybrid hypercube/torus architecture” 的美国专利6230252。
8、Gregory W.Pautsch的题为“Method and apparatus for cooling electronic components”的美国专利6580609。
9、Park等的题为“Distributed computing system using virtual buses and data communication method for the same”的美国专利 6680915。
10、Randall A.Law的题为“Cooling arrangement for electronic systems”的美国专利6835070。
11、Feiertag等的题为“Substrate for an electric component and method for the production thereof”的美国专利6909183。
12、Miyamoto等的题为“Method of manufacturing a semiconductor device having plural semiconductor chips， wherein electrodes of the semiconductor chips are electrically connected together via wiring substrate of the semiconductor chips”的美国专利6900074。
13、Guttag等的题为“Circuits，systems，and methods for communicating computer video output to a remote location”的 美国专利6,219,695。
14、Mondal的题为“Systems and methods for capturing screen di splays from a host comput ing system for di splay at a remote terminal”的美国专利6,825,846。
15、Sivertsen的题为“Housing for in-line video，keyboard and mouse remote management unit”的美国专利6,894,906。
8、Burrell的题为“Systems，methods，and computer program products for managing the display of information output by a computer program”的美国专利6,906,721。
其它参考文献包括：
1.AMD Specification-″Open Platform Management Architecture Specification″，AMD Publication # 32200，Revision： 1.02，Issue Date：May 2005
2.White Paper-Portals 3.3 on the Sandia/Cray Red Storm System，Ron Brightwell et al.Sandia National Laboratories，PO Box 5800，Albuquerque，NM 87185-1110，May 18，2005
3.Data Sheet-AMD-8131TM HyperTransportTM PCI-X Tunnel， AMD 24637 Rev 3.02-August 10，2004.
4.Data Sheet-AMD-8111TMHyperTransportTM I/O Hub，AMD Publication # 24674 Revision：3.03，Issue Date：July 2004
5.HyperTransportTM I/O Link Specification Revision 1.03， HyperTransportTM Technology Consort ium，10/10/2001
6.HyperTransportTM I/O Link Specification Revision 2.00b， HyperTransportTM Technology Consort ium Document* HTC20031217-0036-0009，4/27/2005
7.Broadcom BCM5703 Product Brief，Broadcom 5703-PB03-R， 1/5/05
8.Presentation-The New Generation of Cray Tools to Support Sustained Performance，Luiz DeRose，Sr.Principal Engineer Tools Manager，SC’2004 APART Workshop，November 12， 2004
9.Cray XT3 Datasheet-Cray Inc.，May 2005
10.Cray XD1 Datasheet-Cray Inc.，June 2005
11.Research paper-″Developing Custom Firmware for the Red Storm SeaStar Network″，Kevin T.Pedretti，Scalable Computing Systems Department，Sandia National Laboratories Interface and Trammell Hudson OS Research，May 16，2005
12.Research paper-″Portals 3.3on the Sandia/Cray Red Storm System″Ron Brightwell et al.Sandia National Laboratories for United States Department of Energy’s， National Nuclear Security Administration under contract DE-AC04-94AL85000.
13.AMD Technical document-″Builder’s Guide for AMD OpteronTM Processor-Based Servers and Workstations″，AMD Publication# 30925，Revision：3.04，Issue Date：February 2004
14.AMD Technical document-″BIOS and Kernel Developer’s Guide for AMD AthlonTM 64 and AMD OpteronTM Processors″，AMD Publication# 26094 Revision：3.24，Issue Date：January 2005
15.AMD Technical document-″AMD OpteronTM Processor Power and Thermal Data Sheet″，AMD Publication # 30417 Revision：3.05， Issue Date：May 2004
16.AMD OpteronTM Product Data Sheet，Publication # 23932 Revision：3.11，Issue Date：June 2004
17.AMD Functional Data Sheet，940 Pin Package，Publication #31412 Revision：3.05，Issue Date：June 2004
18.AMD Brochure-AMD OpteronTM Processor with Direct Connect Architecture 4- Socket Server Comparison，AMD Publication # 31342B，Issue Date：June 2004
19.Celestica product data-sheet-A8440 4U 4 Processor SCSI System
20.International Rectifier data-sheet-Data Sheet No. PD94710，IR3082-XPHASETM AMD OPTERONTM/ATHLON 64TM Control IC，17/12/2004
21.Linear Technology design note-3-Phase LTC3733 Provides High Performance Power Solutions for AMD OpteronTM and AthlonTM 64Processors-Design Note 326，Henry J.Zhang and Wei Chen
22.Silicon Laboratories-Advanced Information- Si8250/1/2Digital Power Controller，Preliminary Rev.0.24/05
23.Intersil data-sheet-，HIP6301-Microprocessor CORE Voltage Regulator
24.Multi-Phase Buck PWM Controller，December 27，2004 FN4765.6
25.Presentation-Red Storm，by Robert Alverso，Red Storm Hardware Architect，March 2003，Cray Computers Inc.
26.Specification-HyperTransport Cave IP-GDA Technologies，Inc，June 2002，version 1.0
27.Specification-HyperTransport Host IP-GDA Technologies，Inc，June 2002，version 1.0
28.Specification-HyperTransport Bridge IP-GDA Technologies，Inc，June 2002，version 1.0

本发明的目标涉及用于提供可扩缩计算平台的方法和装置，其减 少了一个或多个先前确定的现有技术存在的问题。
本发明的另一目标涉及提供高密度计算平台的方法和装置。
本发明的另一目标涉及提供将多个CPU和内存模块组装和互连 在一起的方法和装置。
本发明的另一目标涉及用作模块化计算机的方法和装置，其使厂 家甚至用户能够容易地组装和混合多个不同的CPU内存和I/O结构。
本发明的另一目标涉及用于提供改进的高密度垂直信号互连的 方法和装置，其不需要大量及不可靠的印刷电路板和接线。
本发明的另一目标涉及具有更短信号路径的模块化电子系统及 构建该系统的方法。
本发明的另一目标涉及模块化电子系统，其中两个芯片之间、两 块基片之间或芯片和基片之间的至少部分信号经电容性耦合进行连 通。
本发明的另一目标涉及模块化电子系统，其中两个芯片之间、两 块基片之间或芯片和基片之间的至少部分信号经磁性耦合进行连通。
本发明的另一目标涉及模块化电子系统，其中模块电容性及传导 地耦合到其它模块。
本发明的另一目标涉及模块化电子系统，其中模块磁性及传导地 耦合到其它模块。
本发明的另一目标涉及将物理上不相容材料的模块集成为模块 化电子系统的方法和装置，其中邻近的、物理上不相容的模块之间的 信号经电容性或磁性装置耦合。
因此，根据本发明的优选实施例提供了按并行层堆叠的三维多层 模块化计算机(3DMC)装置，包括：
适于执行各种数据处理任务的CPU功能块；
适于暂时保存运行所述CPU功能块所需要的数据的易失性存储 器功能块；
用于通信的输入/输出I/O接口功能块；
管理功能块；
适于向其它功能块供电的电源功能块；
其中，平行的多层被电连接以产生计算装置。
还提供了每一层构造及冷却系统的描述。
附图说明
本发明的示例性实施例在下面结合附图进行描述。
同样的附图标记用于指代不同附图上的相同或相关特征。附图总 体上未按比例绘制。在此参考附图描述本发明，但仅作为例子。关于 对附图的具体参考，要强调的是，所示细节仅作为例子且仅用于例证 性描述本发明优选实施例的目的，且是为了提供本发明原理和概念的 最有用和容易理解的描述而呈现这些附图。这样，不试图示出比基本 理解本发明所需的更详细的结构细节，结合附图的描述使本领域技术 人员能明白本发明的几种形式怎样在实施时具体化。
图1为根据本发明优选实施例的典型3DMC服务器的外部接口。
图2为根据本发明实施例的3DMC的简化截面图。导热杆被固定 到基础层及嵌入在基础层中的电源功能块。
图2a为根据本发明另一实施例的3DMC的简化截面图，其具有单 独的电源层。
图2b为根据本发明另一实施例的3DMC的简化截面图，其具有单 独的电源层且导热杆通过基础层。
图3为根据本发明优选实施例的3DMC的截面图，其示出了典型 的堆叠高度。
图4为根据本发明优选实施例的3DMC基础层的典型电学框图。
图5为根据本发明优选实施例的典型3DMC层的俯视图，其示出 了层表面结构。
图6为根据本发明实施例的典型互连层的截面侧视图。
图7为根据本发明实施例的典型3DMC互连层的俯视图的放大图。
图8a为根据本发明优选实施例的用引线接合法实现层的侧视截 面图。
图8b为根据本发明优选实施例的用倒装法实现层的类似侧视截 面图。
图8c为根据本发明优选实施例的具有两个引线接合的芯片的 3DMC典型层的俯视截面图。
图8d为根据本发明优选实施例的具有两个倒装芯片及集成电容 器的3DMC典型层的俯视截面图。
图9a-j为根据本发明优选实施例的具有倒装接合芯片的3DMC典 型层的生产方法的不同阶段和视图。
图10a为根据本发明的实施例的与其周围的层交叉并连到基础 层的3DMC绝热管型导热杆(TCR)，其中示出了从层安装的芯片到基 础层处的冷却液体的热传递路径。
图10b为根据本发明的另一实施例的与其周围的层交叉的3DMC 内部循环型TCR，其中示出了使用杆中的冷却液体同轴循环进行热传 递。
图10c为与其周围的层交叉的3DMC内部冷却液体流型TCR，其 中示出使用杆中及覆盖层中的冷却液体流进行热传递。
图11a为根据本发明优选实施例的具有嵌入在基础层中的电源 功能块的3DMC装置的截面图，其中突出显示功率分布元件。
图11b为根据本发明优选实施例的具有位于单独底层中的电源 功能块的3DMC装置的截面图，其中突出显示功率分布元件。
图11c为根据本发明优选实施例的具有位于单独顶层中的电源 功能块的3DMC装置的截面图，其中突出显示功率分布元件。
图12为根据本发明实施例的基础/底/顶层电源子系统的高级框 图，其陈列了从一根或多根DC电源线供电的3个电源块。
图13为根据本发明实施例的基础层冷却子系统的简化图。
图14为根据本发明实施例的典型单CPU层的框图。
图15为根据本发明实施例的典型单一存储器层的功能框图。
图16为根据本发明实施例的单CPU核心体系结构3DMC的各个核 心部件。
图17为根据本发明优选实施例的单CPU 3DMC平台的核心体图。
图18为根据本发明的具有3个类似存储器层的优选单路单CPU 核心3DMC平台的核心体图。
图19为根据本发明优选实施例的由两个单CPU层建立的双CPU 核心3DMC平台的核心体图。
图20a-b分别为根据本发明的由四个单CPU层建立的优选四CPU 核心3DMC平台的核心体图及核心体逻辑图。
图21为根据本发明的基于每层双CPU体系结构的本发明典型实 施例的主要组件。
图22a-b为根据本发明的交叉存储器块以使能交叉侧面处理器 间链路的简化框图，分别示出一般模式的交叉存储器层及交叉模式的 交叉存储器层。
图23为根据本发明的两个堆叠的存储器块，两个存储器块均按 交叉模式构造，例如与双CPU核心组件一起使用。
图24a-b为根据本发明实施例的具有一个CPU层和一个存储器层 的双处理器(双路)结构的典型核心体，分别为核心体侧视图和核心 体逻辑图。
图25a-b为根据本发明实施例的具有一个CPU层和三个存储器层 的双处理器(双路)结构的典型核心体，分别为核心体侧视图和核心 体逻辑图。
图26为根据本发明实施例的具有按两个双CPU层排列的四个CPU (4路)的本发明典型3DMC实施例的另一结构，其中侧面CPU互连 通过该CPU层下面和上面的存储器层中的回送实现；图26a示出核心 体侧视图，图26b示出核心体逻辑图。
图27a-b为根据本发明优选实施例的具有按四个同样双CPU层排 列的八个CPU(8路)的3DMC的结构，分别为核心体侧视图和核心体 逻辑图。
图28为根据本发明优选实施例的MPP PE 3D结点接口层框图。
图28a为根据本发明优选实施例的使用三个8路3DMC MPP PE的 2D环形网的简化框图。
图29为根据本发明优选实施例的实施3DMC MPP PE 3D结点接口 的平面图，示出了在所述接口固定到3DMC立方体面之前的6个3D柔 软PCB接线。
图30为根据本发明实施例的组装在3DMC上的MPP PE 3D结点接 口，示出了连到3DMC立方体各面的MPP PE 3D结点接口的柔软PCB。
图31为根据本发明实施例的使用具有PE 3D结点接口的3DMC的 MPP系统3D格网实施例。
图32为根据本发明实施例的3DMC HyperTransport到双PCI-X I/O层的例子的框图。
图33为根据本发明另一实施例的3DMC PCI-XI/O集线器和双 LAN层的例子的框图。
图34为根据本发明优选实施例的具有18个核心(16个已安装) 及内置冗余冷却能和LAN交换机模块的典型3DMC 3U机架安装的服务 器实施例。
图35为根据本发明优选实施例的构造为具有40个3DMC核心的 自动唱机的另一典型3DMC4U机架安装的服务器实施例。
图36a为图35中所示服务器的侧视图，电动头位于3DMC堆叠的 上方。
图36b为图35中所示服务器的侧视图，电动头镊子保持将要移 除的3DMC堆叠层。
图36c为图35中所示服务器的侧视图，其中电动头正向上提升 3DMC堆叠层。
图37为根据本发明优选实施例的单循环3DMC冷却系统。
图38为根据本发明优选实施例的单循环多3DMC冷却系统。
图39为根据本发明优选实施例的双循环多3DMC冗余冷却系统。
图40为根据本发明优选实施例的具有两个液体回路的3DMC单循 环液体冷却系统的简化示意图。
图41为本发明3DMC堆叠的人工组装过程的流程图。

下面的详细描述是目前最佳的实现本发明的方式。该描述不被视 为限制，而是仅用于说明根据本发明的一般原理的目的。本发明的范 围由所附权利要求进行最佳定义。为清晰起见，非实质的元件可能已 在部分附图中省略。如在此使用的，元件或步骤中的单数和词“一” 应当理解为不排除多个元件或步骤，除非所述排除被明确指出。
现在将进一步参考附图，其中示出了本发明的示例性实施例。
现在参考图1，其示出了具有外部接口的本发明典型3DMC实施 例500的侧视图。在该图中，3DMC可用堆叠高度(ASH)被6层占用， 共同标记为504。基础层302用作整个3DMC系统的机械基座。连接 到底架或机壳通过可选安装凸缘514实现。这些凸缘将3DMC通过紧 固件可拆卸地固紧到机壳或底架(未在此示出)。可选可拆卸电连接 器501使能快速及简单地进行基础层连接/断开连接。
去往及来自3DMC的所有外部输入和输出均被集中在基础层的较 低侧，在该典型实施例中示为基础层302，以便于容易组装和移除。 这些连接至少一个或多个主LAN接口506、管理LAN接口505、一个 或多个存储器接口507、DC电源输入510及冷却液体输入和输出512。 可添加另外的接口以支持遗留接口或任何其它所需功能。
更具体地，LAN接口505可使用标准100Base-T、千兆LAN或更 快的LAN协议、HyperTransport或Infiniband在铜线、光纤或其它 适当的介质上实施。
万一用户不能与管理计算机通信时，电源、复位和恢复开关515 使能系统打开和关闭功能、系统硬复位功能及系统恢复到出厂默认 值。这些开关可另外位于覆盖层306处以使用户更容易从上面接近。
存储器接口507可以是标准接口如SCSI、并行ATA、串行ATA (SATA)、光纤通道、HyperTransport、Infiniband或任何其它标 准或专用存储器互连协议。
冷却液体附属装置512可被实施为具有快速连接-断开连接配件 513以有助于系统的组装和维护。断开连接配件513还可包括冷却液 体过滤器以保护内部冷却系统免遭微粒污染。
图2示出了本发明一3DMC实施例300的简化侧视截面图。在该 图中，基础层302是整个堆叠的机械基座。四个垂直导热杆(TCR) 中的两个304a和304b均可通过该截面图看见。热传导路径穿过所有 其它堆叠的层并在覆盖层306的上方终止，所述覆盖层用作所有堆叠 层的压力表面。四个压力螺帽308中的两个可以看见。在堆叠组装过 程期间，这些螺帽308用于在堆叠上施加适当及均匀的压力。可选地， 弹簧(未示出)放在压力螺帽308和覆盖层306之间以提供均匀的压 力并允许热膨胀。可选地，这些弹簧被预加应力，及可以是螺帽或覆 盖层的一部分。
压力螺帽308可具有不同的压头形状以使能用手、螺丝刀、Allen 工具、扳手、自动化电动工具等组装和拆卸所述堆叠。
可选地，顶层用于回送和终止总线。用每层在其上方均有另外的 层的假设来设计所有层是有利的。因而，回送和终止最好在顶层处完 成。
另外，顶层提供并可特别设计以提供有效的主要或辅助热路径以 帮助冷却其下面的层。
可选地，覆盖层可具有用于与外部装置如测试设备或编程装置等 进行连接的连接器和接触件。
可选地，覆盖层可具有用于构造其或下面的层的开关或跨接线。
可选地，覆盖层可具有指示器如发光二极管(LED)或小的LCD 板，其指示装置的状态如：电源开/关、运行模式、故障、温度、计 算负载等。
在该例子中，所示的堆叠由两个I/O层310a和310b及上面的四 个核心层320建立。四个核心互连层322a、322b、322c和322d分别 放在每一核心层320a、320b、320c和320d的上面以使能与下一层电 连接。核心层320可以是CPU层和存储器层的任何适当组合。
在本说明书中，I/O为输入/输出。其通常包括主LAN、磁盘/存 储器接口和引导程序存储器。3个I/O互连层312a、312b和312c连 接I/O层。上I/O互连层312a使上I/O层310a与最下面的核心层 320d连接。中间I/O互连层312b连接上I/O层310a和下I/O层310b。 下I/O互连层312c连接最下面的I/O层310b和基础层302。如图2 中所见，所述层可以为不同的厚度。然而，优选地，可用堆叠高度(ASH) 被所述层完全填满。当没有足够的层填充可用堆叠高度时，空的衬垫 层可被组装在覆盖层306的上方，或者如果需要的终止可在空白衬垫 层处，则也可组装在覆盖层306的下面。
另外类型的层可以组装在3DMC堆叠中以使能多个另外的功能， 如特殊计算核心、通信、路由、模数转换、数模转换、视频处理、信 号处理等。
图2a示出了本发明的一3DMC实施例314的简化侧视截面图。在 该特定例子中，电源功能块不位于基础层302中，而是位于基础层上 方的第一层311处。输入给电源层311的高电流DC功率通过互连基 础层302和电源层311的大功率插脚313馈送。这种实施方式使厂家 能按模块化方式建立电源功能块从而有助于可扩缩性和可维护性。来 自电源层311的功率输出使用上述相同的四个TCR传给每一层中的用 电器件。
实施分布式电源方案也是可能的，其中一个以上电源层在某一位 置组装在3DMC堆叠中以向一个或多个邻近的层提供所需功率。在这 种情况下，这些所述层的功率输出可使用专用电力接触件、同轴TCR 层或其它高电流互连装置传给邻近的层。
图2b示出了本发明的另一实施方式317，其具有安装在基础层 302下面的系统机架中的4个TCR304a、304b、304c和304d。冷却液 体入口315和出口316在4个TCR周围提供冷却水流。这种安排的一 个明显优点是冷却液体不进入基础层，因而相比于上面所示的TCR固 定到基础层的结构，泄漏风险和流动问题被大大减少。
图3示出了本发明的一3DMC实施例的类似截面图301，其示出 了示例性的层厚度值。在图3的示例性实施例中所示的堆叠结构包括 5个核心层320a、320b、320c、320d和320e。在核心层下面有2个 I/O层310a和310b。
从基础层302到覆盖层306的下部的垂直距离称为可用堆叠高度 (ASH)。可选地，该高度可被任意划分，但标准垂直高度称为SH。 在该例子中，ASH为7×SH，及空间由1个1×SH I/O层310b、1个 2×SH I/O层310a、2个1/2×SH核心层320a和320b、及3个1×SH 核心层320c、320d和320e占用。在该例子中，所有这些层加在一起 等于7×SH的ASH。
所述高度标准化可有利地提供灵活地堆叠宽范围的不同层的方 法，且还保持固定的3DMC大小。这与标准机架安装的装置类似，其 具有1或2U—等于1.75英寸的标准垂直测量。
层生产厂家可选择从1/2×SH到3×SH的适当高度以适合其芯片 组和组件。类似地，3DMC厂家可提供不同大小的3DMC堆叠，例如其 范围从3×SH到12×SH的ASH。随着厂家改进层制造工艺及冷却技 术，层预期将占更小的垂直高度，因而将使同一ASH能容纳更大数量 的层从而更好地利用所述ASH。
应意识到，“空白层”或几层“空白层”可添加在有效层的上面 或插在其间，以使装置达到正确的总高度和结构。这些层还有助于散 热。
另外或者作为备选，套管或弹簧可添加在螺帽下面以允许低总高 度的固紧结构。
另外或者作为备选，可准备具有几种大小的导热杆组以适应不同 的结构。
典型尺寸的例子是1U机架安装的服务器具有4.44cm的总高度。 其净高度为3.44cm，基础高度为1.00cm，覆盖层高度为0.44cm，其 余2cm为4×SH的ASH。在该例子中，1×H＝5mm。重要地，应注意 目前的1U结构总体上不能被优化成3DMC，因为其垂直尺寸有限，但 是在未来，由于层高度将降低，3DMC可能适合1U或更小的机架。
另一例子是3U机架安装的服务器具有13.335cm的总高度。其净 高度为12.0cm，基础高度为5.00cm，覆盖层高度为1.0cm，其余6cm 为12×SH的ASH。在该例子中，1×H＝5mm。该结构使能堆叠4个双 处理器核心，每一核心具有一个或多个存储器层。因此，所述堆叠能 用单核心处理器实现8路或用双核心处理器实现16路最佳服务器核 心。
在40cm宽度时，8个3DMC核心可安装在标准19″机架安装的外 壳中。在27.5″(56cm)深的外壳时，可安装8行3DMC，其中所述每 一核心为5×5cm。因而，在保持适当空间用于电源、冷却和LAN交 换机的同时，可安装共8×8＝64个3DMC核心。这使能使用单核心处 理器建立具有64×8(512)个核心的3U服务器或使用双核心处理器 建立具有64×16(1024)个核心的3U服务器。
高度标准化对于使该方法成为工业标准“开放体系结构”是有利 的。为了避免非标准尺寸，形状和大小为3DMC标准专用，而垂直空 间对厂家开放使得只要为SH、1/2×SH或1/4×SH的整数倍均可实施。 在任何情况下，可插入适当的空白层以使部分填充的堆叠能用于未来 系统扩充。
由于存在更少的由硅橡胶制成的热传导互连层，迫使层产生的热 量从旁侧流到TCR并从那里向下流到基础层。由于层的垂直热传导不 是很关键，层基片的热设计可被改进和简化。
现在参考图4，其示出了典型的3DMC基础层电学框图800。在优 选实施例中，3DMC基础层通常由几个主要组件建立：负责3DMC控制、 监视、远程管理、登录、热管理、功率管理及许多其它任务的系统管 理计算机(SMC)模块338、可选电源850、853和854(在该实施例 中有3个电源，但实际上这可扩展到任何数量的电源)。或者，电源 功能块可驻留在如上所述的其它层中。
可选电源850、853和854负责将适当的功率传给位于不同层中 的功耗组件。电源功能块可按需从功率调整、计时、配电和保护变为 线性调节、DC-DC及AC-DC功能块。通常，电源负责将3DMC输入AC 或DC功率降低和调整为不同层所需要的电压和稳定性。这些电源通 常由系统管理计算机338控制以设定其运行参数及监视其活动；可选 的冷却泵或阀859基于功耗和测得的温度调节冷却液体流。该可选阀 或泵可由系统管理计算机338控制；如果泵或阀未被组装在基础层 中，同一SMC也可控制外部的泵或阀。这种体系结构是符合需要的， 其可消除基础层中的活动部件。
导热杆TCR304a、304b、304c和304d从基础层的上表面延伸。 或者，所述TCR可从基础层下面的下部结构延伸并穿过基础层。
这些TCR用于三个主要功能：
a、用作功率传导功能—将功率传给堆叠的层；及
b、用作热传导功能—将来自层的热量通过TCR内部结构移到 3DMC的较低侧；
c、用作机械结构件，其在所有层上施加相等的压力并使它们的 侧边准确地对齐。
TCR电连接到不同的电源850、853和854以向堆叠层处的用电 设备传送3种不同的电源电压。此外，TCR可被安装变形测定器以检 测由覆盖层上方的所述锁定螺帽308和堆叠的热膨胀引起的应变；基 础层外部接口501使能将电源和其它输入/输出连接到该3DMC；基础 层顶部互连820使能与基础层上方的堆叠层电连接。
应意识到，调制解调器计算装置要求低电压和高电流(例如典型 的现代AMD制造的64位处理器要求1.3V、100A)，因而使用重的导 体如TCR用于传送功率是有利的，其可降低电源层寄生电阻和电感。 TCR304a-d的任意使用对散热和功率传送而言均节约了空间。
在该实施例中，导热杆在基础层处通过绝缘材料如塑料或陶瓷零 件而被电绝缘。可选地，冷却液体也被电绝缘以避免腐蚀、泄漏和电 解问题。
或者，功率通过层中的导体或通过层周围的外壳。
下面更详细地描述位于基础层处的系统管理计算机功能块。系统 管理计算机338通常运行小的嵌入操作系统如Linux、PSOS、VxWorks 或Windows CE以使能通过基于网络的入口及其它远程管理应用进行 用户交互。
在优选实施例的服务器实施中，SMC还用作远程管理系统客户机， 其通过标准管理协议如简单网络管理协议(SNMP)及其它标准和非标 准协议提供远程监视、配置、资产管理及控制。
即使主机CPU未运行，处理器801仍然持续运行。所述处理器通 常为低功率RISC处理器如MIPS核心、ARM或PowerPC。其基于位于 非易失性存储器805上的固件程序计算和运行所有I/O交互。非易失 性存储器通常基于闪存以使在部署3DMS时能进行固件打补丁和升 级。非易失性存储器优选被装入适当的用于所有堆叠层的层驱动器。 用户或管理员可经管理网络852将新的固件更新安装到管理计算机。
经存储器网桥802连接到处理器801的易失性存储器804暂时保 存处理及I/O活动所需要的数据。易失性存储器可以是SDRAM、DDR 类型或任何其它适当的存储器技术。
内部总线810经所述网桥802将接口和外设电路连接到管理处理 器801。该总线可以是16、32位、PCI总线或任何其它适当的技术。
连接到内部总线810的LAN控制器835使能连网连接到管理计算 机338。通过该端口，所有管理任务如配置、更新、监视、远程复位、 KVM(使用键盘、视频及鼠标功能遮蔽及远程交互)均可远程执行。 LAN控制器通常为10/100Mbps以太网以使能标准网络接口。管理计 算机固件和操作系统可支持所有标准网络行为，包括静态及动态IP、 DNS、甚至驻留VPN以提高管理通信安全性。一侧连接到LAN控制器、 另一侧连接到外部接口501的LAN收发器836处理LAN协议的物理层。 链路852是管理LAN接口，通常包括几个双绞线导体以与标准CAT5 或更高的LAN成缆连接。链路852可使用无线LAN或光纤LAN实施以 适合特殊运行要求。
实时时钟838包含精确时钟参考及计数器以保持管理系统时间 和日期。时间和日期对于加密协议如SSL、对于记录目的、事件报告 及更新主机是必需的。管理计算机时间可通过管理LAN由连接的时间 服务器或其它精确时钟参考从外部进行重新调节。可能需要独立电源 以在关机时保持时间和日期。为了该目的及其它目的，小功率储存装 置840可被连接到RTC以向必要的电路供电。该功率储存装置840可 以是一次电池、可再充电电池、特大电容器或任何其它适当的功率储 存装置。
可选冷却系统接口电路845用作系统管理计算机内部总线810和 基础层中的受控冷却系统元件(如果已安装)之间的接口。这些受控 冷却系统元件859可包括可选的用于冷却液体的DC电动机泵、阀及 调节器、以及不同位置处的热和流传感器。典型的冷却系统要求对一 个或多个DC泵进行脉宽调制控制及对位于基础层中的冷却液体输入 和输出处的几个温度传感器进行数/模输入。流传感器可用于测量冷 却液体流。位于非易失性存储器805中的固件负责管理平台在不同正 常及异常情形时的热方面。热管理一方面通过控制计算平台实现，其 通过：
a、改变CPU参数如时钟频率、核心电压等
b、从某些核心去除或添加计算任务(应用负载调整)
c、完全关闭热核心以避免热损害
d、关闭整个3DMC以避免来自支持系统侧的热损害，SMC可影响 下述参数：
e、改变冷却液体流速度
f、增加或减少辅助冷却系统流
g、在异常情形时使用单一冷却系统运行系统
SMB接口821在管理计算机内部总线810和连接到堆叠层的基础 层上表面互连焊盘820之间进行连接。一个或多个SMB在3DMC初始 化及运行中扮演许多重要角色。在向3DMC主计算机通电之前，管理 计算机可通过SMB与不同的层交互作用以检测层类型和型号、获得关 键运行参数如电源电压、功耗、兼容层的列表、在堆叠中的位置、关 键温度、时钟参数等。在装置运行期间，SMB可从层传递实时运行参 数，其报告热参数、功率、健康及机能信息。SMB穿过所有堆叠层及 并行连接到位于每一层中的特殊SMB接口。SMB的另一重要功能是在 层处切换不同的功能。这种切换是必要的，以使能通过在不同的层编 程不同的片选或地址范围而实现适当的层堆叠结构。
可选地，可编程时钟和锁相环(PLL)822也连接在系统管理计 算机内部总线810和连接到堆叠层的基础层上表面互连焊盘820之 间。该模块的目的在于对不同层产生所需集中式时钟信号。典型地， 8个或更多个不同的时钟信号可由管理计算机编程以驱动位于层处的 不同电路。系统管理计算机不仅可编程产生的频率，而且可编程各个 时钟电压电平、占空比、启动顺序、及不同时钟输出之间的相差。可 添加扩展频谱功能块以减少电磁干扰发射(EMI)。另外的频率可由 层处的特定电路通过层内分频器和PLL得到。
由于新处理器需要同步差分时钟源，将敏感性时钟信号从基础层 穿过所有其它层发送到CPU层是不切实际的，因此在CPU层的局部可 编程时钟发生器可行使该功能。这些分布式时钟发生器的主要控制仍 属于系统管理计算机。
内置操作系统(BIOS)及实时时钟(RTC)仿真器823也连接在 系统管理计算机内部总线810和连接到堆叠层的基础层上表面互连 焊盘820之间。该电路的功能是通过使用主机侧的遗留寄存器及网络 管理的先进结构和管理计算机仿真遗留x86BIOS和RTC。如果不需 要x86遗留兼容性，则不需要该模块。BIOS功能块823和I/O或CPU 层之间的连接通过上表面互连功能块820使用标准PC BIOS接口如 LPC(低插针数)接口或FWH(固件集线器)接口(Intel Spec rev1.1) 或任何其它标准或非标准接口实现。BIOS不仅可保存初始设置，而 且通常用作引导装入器以在可装入操作系统之前启动主机。引导程序 代码可本地保存在管理计算机非易失性存储器805上，甚至通过管理 LAN连接852远程装入以使能远程启动进程。特殊的BIOS段可由管 理计算机使用以选定给堆叠层及所选3DMC体系结构的引导程序和设 置。
变形测定器模-数接口826可连接在管理计算机内部总线810和 位于每一TCR304a、304b、304c和304d根部的4个或更多个变形测 定器之间。变形测定器可由管理计算机监视以在3DMC组装期间及在 运行期间确保适当的层压力。
遗留视频和USB控制器仿真器828可连接在管理计算机内部总线 810和连接到堆叠层的基础层上表面互连焊盘820之间。该电路的功 能是仿真遗留x86视频控制器和USB主机控制器以使能通过内置键盘 视频鼠标(KVM)功能进行远程用户交互及使能远程遮蔽。视频控制 器及USB主机控制器均可实施在I/O层中以使能本地视频产生及USB 外设。在典型的服务器3DMC实施例中，KVM功能使用基于IP方法的 KVM实施，因而使经授权的远程用户能看见3DMC视频及使用USB外 设控制它。该模块的另一可能增强是使能通过本地软盘或CD仿真进 行远程软盘或CD连接。
内置测试(BIT)接口830可连接在管理计算机内部总线810和 连接到堆叠层的基础层上表面互连焊盘820之间。该电路的功能是在 主机关闭时运行某些测试以确保适当的互连及层功能性。通常，该模 块支持NAND树、JTAG和片上测试报告。
在该具体实施例中，电源接口832是系统管理计算机内部总线 810和基础层主要电源850、853和854之间的接口。该接口使能控 制全部电源参数如启动顺序和斜度、电压、电压公差、电流限制及其 它参数。所述接口还使能不同的实时功率测量如纹波水平、实际电流、 电流容量、输入电压、温度及其它基本参数。
给3个或更多个基础层电源的初始DC功率通过链路844从基础 层外部接口501提供。
直接接口842使能将外部装置直接连接到堆叠层，其通过将某些 基础层上表面互连焊盘820与基础层外部接口501处的某些接口相连 接实现。通常，该直接接口用于一个或多个主LAN，但其也可用于通 过IDE、SATA、SCSI、串行、并行、USB、模拟视频、DVI、火线、光 纤通道及任何其它标准或非标准接口连接外部装置。
管理计算机电源846通常由单独的电源供电以使其能总是保持 开启。该电源仅向系统管理计算机电路供电且其产生这些电路需要的 低电压。可能地，以太网供电(POE)电路可用于将该功率从管理LAN 连接派生为独立的永远开启电源。
图5示出了根据本发明示例性实施例的典型3DMC层330的俯视 图，其中示出了层表面结构。层的上表面可不同以适于随许多设计考 虑而变的具体层I/O要求，所述设计考虑如电连接的数量、冷却要求、 功率要求、芯片大小及其它考虑。总之，3DMC层厂家可自由开发层 接口标准以与其提出的平台配套，只要这些标准坚持一些基本的层功 能、机械、热及电特征即可。
层上表面332通常由陶瓷、玻璃或塑料基片制成，在层主要互连 区(PIA)338中具有几百个镀金焊盘。另外的通过互连区，也称为 服务互连区(SIA)337，包含系统管理总线及一些其它服务如时钟和 电力线路。PIA和SIA之间的差别在于PIA对每层互连均可不同而SIA 是同一接口且其用同一引出线垂直地穿过所有层。另一区别在于PIA 仅在主机通电时通电，而SIA可一直通电。
PIA中的信号可根据信号特征按不同的格式安排，例如：
a、总线可按矩阵或直行排列
b、模拟信号可与其它模拟或数字信号分开并由接地焊盘包围
c、差动信号可安排成由接地焊盘包围的两个靠近的焊盘
d、功率可用较宽直径焊盘或多个较小直径焊盘实施
位于每一角落的四个孔334适于4个导热杆(TCR)。孔由金属 环包围以提高到层基片的热连通性。
可选地，至少一个孔包含特殊的定向栓335以防止无意旋转或颠 倒层堆叠。标准情形下所述栓通过所有层。一个另外的栓称为构型栓 336提供在顶面处以确保堆叠在上面的层将是与电规范一致的匹配 层。由于3个导热杆可用，每一导热杆具有36个角位置，可能选择 的数量为363＝46656。这些栓或孔对于同一层的上及下表面可以不 同，因为电接口可能不同。该简单的栓及匹配孔系统确保不匹配的接 口将不被堆叠在一起，因为所述栓将阻止层相互接触。
或者，导热杆的不均匀定位或大小可在组装期间用于层的定向 (旋转)、倒置(上/下)。
或者，可使用兼容性检查电装置。
另外，多个销/孔可同时使用，从而增加较小数量孔的排列数量。
另外，版本和可接受性可被编程在孔内以确保可接受的层顺序、 版本兼容性等。例如，使用不同电压或通信协议的层可使用特别的孔 /销组合。
层的侧板339通常被喷绘颜色编码以识别层类型。开发颜色约定 以识别某一颜色的存储器层、另一颜色的CPU层。层制造商批次和类 型可被印刷并做成条形码以使人及机器能读。
图6为本发明的典型互连层350的截面侧视图。重要的是应该注 意，互连层也可分开。用互连功能块实施3DMC实施例是可能的，所 述互连功能块为内置的一个或两个配合层。这些互连可以是连接的柔 软导电层或任何类型和结构的电接触件形式。
在该图中，上层352和下层355由互连层358互连。上层，优选 在其上表面-含陶瓷表面基于金印刷的焊盘矩阵354，及在其下表面 具有一样的焊盘360。下层355在其上表面具有与相对焊盘360对齐 的镜像焊盘354。
硅橡胶材料的非导电薄层形成互连层358，其具有垂直位于该层 内的成形为导电列的岛362的矩阵。每一导电岛电学上桥接上层焊盘 和匹配的下层焊盘。当层被堆叠在一起时，层上的压力压缩互连柔软 层。该压力由每一导热杆周围的金属套管调节和限制。当每一下面的 套管334接触其相应的上部套管355时，层运动及该互连压缩过程停 止。每层包括不同的套管以调节层互连距离和调节互连层上的压缩 力。
优选地，使用金焊盘上的导电硅，因为其卓越的长期性能。其在 目前的许多应用中均有使用。硅的自密封特性使得没有湿气污染。
或者，使用可变形软金属如铟。在这种情形下，互连层350可能 不能够再次使用。
另一备选方案是使用散布在互连层358的整个表面周围的无定 形导电列。这种结构要求不太准确的边定位及压力，但其电学特性不 太合意。
图7为典型3DMC互连层370的详细俯视图。为清晰起见，只呈 现了层的一个角落。
互连层358a由柔软非导电材料薄层制成。典型的材料为硅酮和 氟硅酮。这种材料化学特性一直稳定且趋于产生像密封层的衬垫以保 护接触区域。按矩阵排列在主要互连区(PIA)和辅助互连区(SIA) 中的小的导电材料圆岛362未在此示出。PIA通常包含几百个这样的 导电岛以桥接相邻层的互连焊盘。导电岛通常由类似的基础材料与导 电材料如银、率、碳或铜的细粉混合而成。导电岛材料的例子为： CONSIL-C(含硅酮)及银-铜粉、CONSIL-CF(含氟硅酮)及银-铜粉、 CONSIL-A(含硅酮)及银-铝粉、SC-CONSIL(含硅酮)及碳粉、及 CONSIL-RHT(含硅酮)及纯银粉。最后一种材料的特性为抗高温—符 合3DMC互连层实施需要的特性。
相似基础材料的使用确保岛和基体之间良好结合及确保更好的 短和长期机械和温度稳定性。相似材料也是符合需要的特征，以在层 经受宽的运行温度范围时确保相似的CTE(热膨胀系数)。
在互连层372中切割四个大孔以适合前面附图中所示的层导热 杆套管353或359。在四个角落的这些孔可与其它销及插座一起使用 以将柔软互连层固紧到所附装的层并限制层堆叠压力下的边侧移动。 为了进一步限制互连层边侧在压力下位移，可使用一些机械销。
互连层最好附着到层上以有助于堆叠过程。可定义标准以将其或 附着到层的下表面或附着到上表面。由于互连层的成本远小于层本身 的成本，使互连层能在现场或实验室拆除和更换是符合需要的。可使 用特殊的插件或插头以使能进行准确的层附着，同时还允许简单的拆 除和替换。
当含硅酮基体表现就像不可压缩液体时，过大的压力可导致列变 短，所述压力增加列直径。典型的可允许偏差值在5％和25％之间。 更轻的压力或未压缩层可导致更高的接触电阻、更低的电流容量、过 热及开路。
互连层厚度通常为约1mm。在该厚度，导电岛可传送50mA以上 的电流，及接触电阻通常小于5mili-Ohm。
典型的制造工艺使用细的喷射喷嘴挤压出具有导电岛的连续同 质管，然后用激光或刀切为适当的片，而不重压或损坏精密基体。另 一制造方法是先产生适当厚度的大硅片，然后通过激光钻孔或机械冲 孔形成用于导电岛的孔。之后，在正压力或真空状态下执行液体状态 的导电材料的扩散以填充所有片孔。在导电材料已固化之后，将所述 片上的多余材料清除，至此所述片已准备好用于测试和使用。之后， 其被切为单个的片。显然，在本发明范围内，也可使用其它制造方法 以提供类似或更好的结果。
导电岛的数量取决于层体系结构。第一例子是单CPU层的核心互 连。在该例子中，有1条存储器总线(240信号)及多达3条 HyperTransport总线(每一总线80信号)。这指示PIA处的480个 信号+大约100个控制及其它信号。按1mm的节距，这将需要580mm2。 由于节距可降低到低于0.5mm，因而有大量余量。
第二例子是双CPU层的核心互连。在该例子中，有2条存储器总 线(480信号)及多达4条HyperTransport总线(每一总线80信号)。 这指示PIA处的480个信号+大约200个控制及其它信号。按1mm的 节距，这将需要1000mm2。由于节距可降低到低于0.5mm，因而有大 量余量。
在只产生很少热量的层中，例如包含低速电子电路如非易失性闪 存或无源组件如导体和端接器的层，层设计更简单，及为散热设计的 结构可被制造得更薄或者省略。类似地，不需要部分或所有电源电压 的层可具有绝缘甚或非金属套管。
应注意，现有技术中已知或即将开发的用于在层之间提供互连的 其它技术也可使用，而不背离本发明的范围。
图8a为具有结合的芯片的本发明优选层实施例的侧视截面图。 典型的层600在四个角落(在该截面侧视图中只有两个可见)具有 TCR孔602。TCR用作到基础层的热传导元件及将高电流低电压从电 源传到位于每层处的电负载的配电导体。
在上表面的热套管353及在下表面的359降低层热阻力及电阻。 除了这些功能之外，这些套管还调节相邻堆叠层之间的间距以确保在 互连层上形成适当且均匀的压力。
层(上)基片601是层结构的机械基础。其通常由电介质材料如 陶瓷材料、玻璃-陶瓷、塑料或环氧树脂的子层制成。基片结构通常 内置在薄的子层中，所述子层具有薄的金属化导电层611以在内部互 连信号。导电层可通过电镀通路618垂直连接在子层之间。用于层基 片的好材料是高性能玻璃-陶瓷(HPGC)。另一可能的方法和材料是 杜邦绿带低温共燃陶瓷(LTCC)951或943。另一基片工艺为高温共 燃陶瓷(HTCC)和厚膜技术。这些及其它工艺均可用于产生精细导体 和通路，但也将通路和电子组件埋在层内。另一可用工艺如ALOX， 其使用铝代替铜作为内部导体611，其相比于上面提及的传统多芯片 模块(MCM)技术可进一步降低制造成本。典型的基片子层厚度在 1.5-10mil之间。一些基片工艺使能热通路，其可进一步改善从芯片 到热板的内部热传递。
由于层温度在运行期间趋于上升，应使用具有相似CTE的材料以 使基片组件膨胀与硅片膨胀匹配从而避免过大热应力。为使层中的芯 片互连，可使用上和下互连焊盘多层陶瓷(MLC)基片技术或类似技 术。
刚性或柔性印刷电路板(PCB)也可在上表面和/或下表面处组合 在层基片中。其它材料也可由层厂家使用以实现所希望的价格和物理 目标。
层的上表面被互连焊盘354覆盖以使能与上部堆叠层互连。类似 地，下层表面用互连焊盘360覆盖以使能与上部堆叠层互连。通过的 信号可由直接通路如620或通过不同导电层611、埋置通路618和层 基片601内的功能部件的间接信号连接。
金属板604与所述左侧导热杆套管353和359热及电耦合。该板 通常由延伸到层中心的厚铜层或板制成并用作该层内的硅片和其它 电组件的机械基座。由于在其它角落的其它套管可能承载不同的电 压，从四个层角落延伸的热板通常垂直间隔开以避免电源层短路。该 优选结构的另一选择是另外的电介质板608，其分隔从左侧延伸的板 604和从右侧延伸的板605。适当的电介质材料和厚度选择可产生强 大的大尺寸电容器，其通过更好的阶跃响应和更低的电压纹波而使电 源稳定性更好。另外类型的电容器可集成在层中以进一步降低电源路 径ESR。这些电容器可以是陶瓷或电解类型。
在典型的层实施例中，上面的板通常为接地板以使能将芯片612 直接连接到该板。第二板通常为Vcore供给板以使能适当地将电容解 耦到上面的接地板。在四个板中形成孔以使信号通路能在表面互连焊 盘和层内部及外部焊盘之间通过。
热(及电)传导粘合剂610用于将芯片固定到上板610上。典型 的粘合剂为Ablest ik粘合剂Ablebond 2100A，其具有良好的电及热 传导性。另一例子为Ablestik ABLEFLEX 5206系列材料，其为电绝 缘材料。在宽温度范围的良好机械强度、应力消除容量及低湿气吸收 均为芯片附着粘合剂需要的特性。芯片612可以是单一芯片或多个芯 片，及其它组件可用于执行层需要的功能性。芯片也可被堆叠以进一 步增加层芯片密度和减少芯片间结合长度。
不同的芯片连接技术可在层内实施。为更好地说明本发明的层， 在此提供两种典型的技术。图8a中所示的第一种为较老的引线接合 技术。该技术对快速及高密度芯片而言效率不太高，但其仍然用于垂 直芯片堆叠及其它技术的其它内部接线结构或者用作主要技术。使用 引线接合，芯片612上的电源焊盘通过焊线如624连接到适当的电源 板如604，所述板的暴露部分可用于使能大量电源压焊接线连接到一 个或多个芯片。使用的焊线可以是金(Au)、铝或铜0.9mil或类似 的导电金属丝。
类似地，芯片上的信号焊盘如所示的613可通过焊线614连接到 基片信号焊盘615且所述信号通过导电层功能部件和通路如618可从 该焊盘前进到上或下表面焊盘。层基片内的某些内部压焊和导电层也 可被形成以使能在芯片之间进行适当的信号互连。
为在层制造过程中的组装之后保护芯片，封装材料624完全密封 管芯及芯片侧面。该材料可以是环氧树脂或任何其它适当的树脂。将 装配好的芯片完全密封是必要的，及下面的子层需要通过许多侵蚀性 电化学方法由另外的子层覆盖。适当的芯片封装使过程完成而不损害 里面的芯片。
图8b为与图8a类似的本发明另一优选层实施例的侧视截面图， 但在该特定例子中，所实施的芯片连接使用倒装芯片技术。代替焊线， 小的金属柱(称为凸点)616从基片表面610延伸，桥接在该表面上 的金属焊盘和芯片622下侧处的对齐焊盘之间。倒装芯片可由一种或 多种下述方法实施：
a、焊料凸点—形成焊料凸点的方法首先要求凸点下金属化层 (UBM)通过溅射、电镀或其它手段放在芯片焊盘上，以代替绝缘氧 化铝层并形成和限制焊料弄湿区域。焊料可通过蒸发、电镀丝网印刷 焊膏或针沉积法沉积在UBM上。在形成焊料凸点之后，圆片被锯为凸 状芯片。凸状芯片放在基片焊盘上，及组件被加热以进行焊接连接。
b、电镀凸点—电镀凸点倒装芯片使用湿化学方法去除氧化铝并 将导电金属凸点电镀在圆片焊盘上。电镀的镍-金凸点通过芯片的铝 焊盘的无电镀镍形成在半导体圆片上。在镀覆所需厚度的镍之后，添 加浸入金层进行保护，及圆片被锯为凸状芯片。附着通常通过焊接或 粘合剂，其可通过各种技术施加到凸点或基片焊盘上。
c、钉头凸点倒装芯片—金钉头凸点倒装芯片方法通过经修改的 标准引线接合技术抬高芯片。该技术通过熔化金丝端部形成球状而形 成用于引线接合的金球。金球作为引线接合的第一部分附着到芯片焊 盘上。为形成金凸点而不是引线接合，引线接合器被修改以在将球附 着到芯片焊盘上之后中断金属丝。金球或保留在焊盘上的“钉头凸点” 通过氧化铝提供到下面的金属的永久连接。在容易施加到各个单芯片 或圆片方面金钉头凸点方法是独特的。金钉头凸点倒装芯片可用粘合 剂或通过热超声金-金连接附着到基片焊盘上。
在这种情形下，由于连接通过下侧完成—在该结构中芯片622面 向下进行组装。底部填充材料619填充芯片622下面的凸点之间的间 隙并在芯片和基片610之间进行热及机械桥接。倒装芯片和下面的基 片之间的热膨胀失配，也称为CTE(热膨胀系数)由保护小的凸起接 头的底部填充材料吸收。底部填充材料还保护芯片免遭湿气、离子污 染、辐射、及不利运行环境如热及机械条件、冲击和振动。
倒装芯片组件的基片610可以是陶瓷、有机材料(刚性FR4或柔 性杜邦Kapton)或任何其它适当的材料。
图8c为用引线接合的典型3DMC层俯视截面图630，其露出了芯 片612、内部压焊614和通路620。图中所示的层基片601在一半厚 度处被切割及在该水平处切口暴露用于一个或多个硅片612的底板。 下表面互连焊盘(未在此示出)内部连接到排列在芯片612周围的信 号焊盘615或通过内部通路620穿到上表面焊盘(未在此示出)。内 部通路620可在没有热板604的区域穿过层630。
四个下部导热杆套管359位于四个层角落处并热耦合到从每一 角落延伸到层中心的四个热板604。四个板均被电绝缘以使在每层可 具有不同的电压。
芯片612通过特殊粘合剂(未在此示出)固定到上热板604。通 常，上板接地。在不同热板的一些暴露区域处的电源焊盘被用作附着 焊线614的电源焊盘632以将电源连接到芯片电源焊盘622。
图8d为具有金属丝倒装芯片的典型3DMC的俯视截面图649，其 露出了两个芯片622和内部通路620。图中所示的层基片601在一半 厚度处被切割且在该水平切口暴露用于一个或多个硅片622的底板。 下表面互连焊盘(未在此示出)内部连接到排列在芯片622下面的信 号倒装芯片焊盘604(在此示为小的正方形，尽管实际上位于芯片622 的下面)。内部通路620可在没有热板604的区域穿过层630。
几个电解电容器637和陶瓷电容器638被集成在层中以保存电源 板电压及滤波电源噪声。所使用的电解电容器可以是钽、铝或任何其 它适当的电介质衬底。电容器可以是X7R、NPO、X5R或任何其它适当 的电介质衬底。
四个下部导热杆套管359位于四个层角落处并热耦合到从每一 角落延伸到层中心的四个热板604。四个板均被电绝缘以使在每层可 具有不同的电压。
图9a-9j简要地描述了具有一个倒装芯片的典型3DMC层的制造 过程。很清楚的是，实际制造过程及厂家实施的方法和技术可大大变 化。
还很明显的是，该描述仅提供过程步骤的概览，因为为成功满足 层组件大量生产还需要许多其它步骤和细节。
图9a所示为准备层的下半部分623。陶瓷、硅石或氧化铝子层 620用作电介质材料或基片。某些导电金属功能部件被印刷在每一子 层上以产生所需线路电路径。下部焊盘360使用光致抗蚀剂涂覆和蚀 刻方法印刷在金层中。
具有一个或多个用于层的夹具的制造夹具666用于将子层保持 在一起并使其对齐。
四个TCR孔602用作用于匹配导向销667的对准孔以使能准确定 位被堆叠的每一子层的边侧。另外的更小的销可用于确保子层的精细 对齐。制造夹具666还有助于制造过程期间的层处理。
由于子层制造过程可指示极端温度和腐蚀处理，通常需要向一些 层施加一些保护性涂层以保护其在制造期间免遭损害。
在下半部分623的制造期间，堆叠一些金属板(在此示出一个板 605)。这些板通常终止于TCR孔中，具有电镀孔以使能适当地热连 接到热套管。
图9b示出了倒装芯片612a。组装芯片的准备工作要求更多在此 未示出的步骤。首先，凸点下金属化层(UBM)被形成在所有芯片I/O 焊盘上以准备用于形成凸点的芯片表面。大多数芯片I/O焊盘的最终 金属层为铝，为传统的引线接合提供了令人满意的表面，但该表面通 常不直接兼容于大多数导电凸点。铝在暴露于空气中时立即形成氧化 物，且该原生氧化物是电绝缘体。为使能成功形成凸点，第一步是用 更稳定且导电的材料UBM替换氧化的铝表面。适当的UBM实施通常要 求多层不同的金属层，如附着层、扩散阻挡层、可焊接层及氧化阻挡 层。
典型的多层UBM形成包括下述步骤：
1、溅射蚀刻原生芯片表面氧化物以去除氧化物并暴露新鲜铝表 面。
2、沉积100nm的Ti/Cr/Al作为附着层。
3、沉积80nm的Cr:Cu作为扩散阻挡层。
4、沉积300nm的Cu/Ni:V作为可焊接弄湿层。
5、沉积50nm的Au作为氧化阻挡层(可选)。
在UBM形成在芯片上之后，被测试的圆片开始形成凸点过程，其 中小凸点616被添加在每一芯片焊盘处。焊接凸点典型成分通常为 63Sn/37Pb、95Pb/5Sn或对于无铅工艺为97.5Sn/2.5Ag。焊料凸点使 用与制造集成电路类似的薄膜金属沉积或电镀及蚀刻操作形成。其它 形成凸点的方法如铜柱结构形成凸点或“被动集成”方法可用于产生 所需凸点。在形成凸点之后，凸点通常使用有机复合物如聚酰亚胺、 Dow 或其它材料钝化。
在凸点形成过程结束之后，圆片被仔细地切成方块以分隔每一好 的芯片。在测试和形成凸点结束之后，倒装芯片准备好组装在3DMC 层下半部分623中。
图9c示出了倒装芯片612a组件的层下半部分623的完成和准 备。在这些步骤期间，所有子层均被形成且完成的下半部分基片被测 试以确保具有适当的连通性。焊料施加到倒装芯片焊盘上以在芯片组 装之前短时间内改善金属接合。
图9d示出了实际的芯片放置—倒装芯片612a仔细地对齐在基片 610上，然后堆叠好的组件通过回流炉。另一选择是使用热超声头施 加热-声压力。其它处理可用于获得适当的凸点与基片焊盘之间的粘 合及连接。多个倒装芯片可组装在同一层中。此外，多个引线接合的 或倒装法压焊的芯片可相继堆叠在相互之上以实现所需层功能性。除 了倒装芯片放置之外，无源组件如电解或陶瓷电容器可组装在芯片周 围。
这些处理的最后结果如图9e中所见—凸点616熔化在基片焊盘 610内以形成所需的从芯片到基片的电连接。典型地，在大芯片中， 形成几百个凸点以使能适当的电连接。类似地，另外的表面安装技术 无源部件如陶瓷电容器638通过回流工艺用焊膏放在基片上。
典型地，在该阶段，具有芯片的下半部分被再次测试以确保集成 的部件形成适当的电路。在成功测试之后，倒装芯片准备好进行底部 填充和封装步骤。
在测试失败的情况下，在该阶段还可能进行一些与标准倒装工艺 类似的一些返工。这可节省整个组装或仅恢复芯片。
图9f示出了下一步骤，其中施加底部填料619以保护凸点616 并将芯片固紧到基片610上。底部填料可沿芯片612a的边缘用针散 布。其通过毛细管作用引入芯片下空间，然后热固化以形成永久结合。 在固化过程结束之后，芯片612a牢固地固紧到基片610上。
图9g示出了下一步骤，其中施加封装材料621以密封倒装芯片 612a。在进一步测试和检查之后，下半部分623准备好与上半部分集 成。
不需要提及的是，多个芯片和不同的其它电部件可以类似的方式 集成在下半部分中以形成所需层功能性。
图9h示出了上半部分668的制造过程。该制造过程用与下半部 分制造非常类似的方法完成。
为了使能下半部分623和上半部分668之间的适当电连接，焊盘 被印刷在上半部分的底部以与下半部分中的类似焊盘匹配。微型凸点 或焊接材料球611被形成以使能焊接两半配合层。
图9i示出了两半配合层627和668的连接过程。层的两半的连 接类似于倒装法的BGA。两半被准确地对准在一起然后通过回流炉， 其中凸点或球被焊接在一起。在焊接结束之后，组装的部件被全部测 试。一旦检测到问题，可进行一些返工以恢复部件。
图9j示出了层的最后组装过程。在完全电测试之后，底部填充 材料631固化，间隙被密封且整个层变为单一实心部件。四个上部金 属套管353被压入所完成层的所述TCR孔内，然后压入四个下部套管 359。
最后的层被再次测试和检查，然后为了运输而包装在适当的容器 中。
应注意，压焊技术(即倒装法及引线接合法)可组合在同一层中。 应注意，术语“上半部分”和“下半部分”是任意的，不必指示沿垂 直轴的方向。实际上，电组件可被压焊到上半部分及下半部分中。通 常，层可包括多个(例如两个以上)组件承载表面。
图10a示出了3DMC导热杆(TCR)，热管结构与其周围的层交叉 并连到基础层。该图示用于说明从层安装的芯片到基础层处的冷却液 体的热传递路径。
优选实施例的导热杆(TCR)被建立为具有极高有效热传导性的 热管，以将热量从堆叠层传到基础层302处的热交换器。应注意， TCR304可被固定到基础层下方的结构以使能简单地实施多个3DMC矩 阵。TCR304为封闭、抽空的圆柱形容器，其内壁644线状排列毛细 管结构，其内充满工作液体646。由于TCR在密封之前被抽空然后充 填工作液体，内部压力由液体的水汽压力设定。工作液体646可以是 水、甲醇、锂、铯、钾、钠或任何其它适当的液体。TCR通常用铜制 成，其内表面644被完成为网筛毛细作用表面或粉末金属毛细作用表 面以提高工作液体抽吸效应。
由硅片612及层内的其它组件产生的热量经芯片粘合层610传给 下方的热板604。热量也被传给其它3个热板以将热量传给层的四个 角落。在每一角落，TCR套管353和359热耦合到热板604，将热量 传给穿过套管的TCR304。
当在TCR650的蒸发器侧输入热量时，工作液体被蒸发，在管中 产生压力梯度。该压力梯度迫使蒸汽沿管流到底部646处的冷却器部 分，在那里蒸汽通过奉献其潜在的蒸发热量而浓缩。之后，工作液体 借助于毛细作用结构644中发展的毛细作用力向上返回到(648)蒸 发器。在TCR侧壁的内侧上，毛细作用结构在工作液体的液相上施加 毛细作用力。通常，其为烧结的金属粉末或平行于管轴的一系列凹槽， 但原则上其可以是能够吸收冷却剂的任何材料。
TCR通常被设计为在其设计限制内良好运行。特殊的TCR特征可 被编程在管理计算机内以使能进行有效的热管理。总的来说，有五种 主要的TCR热传送限制。这些热传送限制，其随TCR运行参数变化， 包括：粘性、音速、毛细抽吸、夹带或溢流、及沸腾。这些限制可编 程在管理计算机固件内以有效和可靠地管理热循环。不能控制TCR热 传递可导致热失控且这可导致3DMC关闭甚或永久热损坏。
TCR304的冷凝器侧646安装冷却翼片645以增加TCR壁和热交 换器室647中的冷却液体之间的接触面积。冷却液流体通过下部的入 口管643进入热交换器室647。液体在TCR冷凝器翼片645周围循环， 热量被传给所述液体然后通过冷却液流体出口642离开上部的室。
在TCR的顶部建立螺纹以使压力螺帽308能安装在TCR上。
从上面对优选实施例的冷却系统的描述可以明显看出，整个堆叠 结构可反向组装。这种颠倒安装可具有热好处，因为在TCR中流动的 热量向上移动。使基础层堆叠在最下面还有其它考虑，主要是因为组 装期间的重力作用。类似地，如果需要，也可向一旁组装3DMC堆叠。
或者，厚的导热杆或块用于去热及用于功率传递(可选)。在该 实施例中，这些导热元件处于层的外围。
图10b示出了具有内部冷却液流体流1640的TCR的示例性实施 例。优选地，具有循环液体1640的TCR具有两个内腔：内腔1641传 导冷的输入液体1643，及内腔1642传导热的排出液体1644。在所示 实施例中，内腔1642处于1641的中央。然而，流动方向可被反向或 者内腔可并排定位。相比于上面公开的热管实施例，这种结构可以更 高的速率传递热量，因为冷却液流体可在TCR内高速循环。
图10c所示为3DMC的另一示例性实施例1650，其中使冷却液流 体通过入口管1651流入TCR1652，然后所述流体按1655通过管。流 体通过侧孔1653从覆盖层进入相对侧的TCR并向下流过TCR1654和 排出管1656。更具体地，冷的入口液体可在底部进入两个相对的TCR， 及热的排出液体可向下通过另两个TCR流到基础层。或者，冷却液流 体可在一侧(例如基础层)进入，并在另一侧(例如覆盖层)离开 3DMC。
或者，TCR循环回路可使用层间液体通路甚或层内通路封闭。
或者，冷却液体被迫使在3DMC堆叠周围流动。
图11a示出了在基础层具有电源的3DMC装置的优选实施例的截 面图，突出显示配电元件660。
为说明目的，单一电源板位于基础层的电源和上面堆叠层的芯片 耗电元件之间。另外的电源板和层配电方法实质上一样。
5V或更高电压的主DC电源510通过可选可拆卸电连接器501按 照链路844连接到基础层302。电源850通过来自管理计算机(未在 此示出)或CPU直接命令的可编程设置将功率输入转换为更低的电 压，其中CPU直接命令使用VRM或任何其它CPU-电源协议。电源850 的负输出连接到底架及接地TCR304a，而正输出通过功率导体851连 接到第二TCR304b。电源连接使用厚的金属板实施以降低从电源到层 的迹线中的电阻和电感。当TCR设计为非常好的电导体时，左侧 TCR304a变为接地板，右侧304b变为电源板(在该例子中为Vcore) 之一。
可实施类似的体系结构以使能从位于专用层中的电源传送功率。
本发明的另一设计使来自两个分开的DC电源的冗余功率输入通 过可选可拆卸电导体501。在这种结构中，在主电源故障时3DMC可 自动切换到辅助DC电源或者3DMC持续对一个或两个电源起作用。
本发明的另一设计使能将电源850实施为从两个分开的DC电源 馈电的两个单独电源。在这样的结构中，一个电源发生故障将不影响 3DMC运行。
顶层320通过下侧套管359a和359b及上侧套管353a和353b电 连接到TCR。在层内部，左侧TCR304a连接到热板—该板变为一直延 伸到芯片612的接地板。类似地，在右侧，Vcore热板605连接到右 侧TCR304b，因而将电源板的正侧传给芯片612。焊线614用于将功 率连接从基片传给芯片上的电源焊盘。在该例子中，622a为芯片接 地焊盘，622b为芯片Vcore焊盘。为补偿TCR和层压降，可在耗电 芯片处实施可选的电压检测。该模拟或数字信号可被连接回到基础层 302或图2a的电源层311以更准确地闭合电源反馈回路。
图11b示出了3DMC装置的另一实施例的截面图，其使用定位为 3DMC堆叠中的底层的可交换电源层，突出显示配电元件1660。
为说明目的，单一电源板位于底层的电源和上面堆叠层的芯片耗 电元件之间。另外的电源板和层配电方法实质上一样。
可编程电源1850位于底部电源层1660中。
电源线路(或电源板)1851a(1851b)从电源1850分别引导到 套管1304a(1304b)。
电源连接器1844将电源1510连接到电源层1160，该连接器可 包括控制信号。
接地电势2858连接到至少一TCR。
该实施例的优点包括：交换电源以满足模块的功率需要的能力； 及容易更换故障电源的能力。
图11c示出了3DMC装置的另一实施例的截面图，其使用定位为 顶层的可交换电源层，突出显示配电元件2660。
为说明目的，单一电源板位于顶层的电源和上面堆叠层的芯片耗 电元件之间。另外的电源板和层配电方法实质上一样。
可编程电源2850位于顶部电源层2662中。
电源线路(或电源板)2851a(2851b)从电源2850分别引导到 套管2304a(2304b)。
位于电源层2662上方的电源连接器2844将外部DC电源2510连 接到电源层2662，该连接器可包括控制信号。
接地电势2858连接到至少一TCR。
来自电源2850的热量通过电源板或层2662中的其它元件流到 TCR。可选地，冷却翼片2100有助于从电源层2662去除热量。
可选地，信号连接器2102将电源层2662连接到下面的层。可选 地，该连接器包括端接器或循环连接器使得顶部电源层可用作覆盖层 306的功能。或者，包括端接器和循环连接器的层放在顶层2660的 下面。
该实施例的优点包括：交换电源以满足模块的功率需要的能力； 及容易更换故障电源和容易消除顶部电源层的热量的能力。
图12为基础层电源或底层/顶层电源的高级框图，突出显示为电 源子系统849。在该图中，层302的俯视图暴露了所有均从一个或多 个DC电源线844供电的3个电源块。该3个电源输出均电连接到TCR：
Vcore电源850通过电源线851与TCR304d电连接。该电源线应 尽可能的短和宽以减少寄生电阻。
Vio电源852输出通过电源线853与TCR304c电连接。
Vmem电源854输出通过电源线855与TCR304b电连接。
所有3个电源的返回(接地)输出339均连接到第四TCR304a。
3个或更多个电源的控制和监视通过模拟或数字连接链路340由 管理计算机338完成。在层中测量的关键实时参数如电压反馈、温度 均可由各个层测量和传输并通过服务互连区(SIA)337传给管理计 算机338或直接传给电源。
如果需要，可增加另外的电源以使能产生另外的供电电压或提供 备用电源。在电压板的数量超过TCR的数量时，需要另外的传送板。 在这种情形下，另外的功率传送可通过堆叠外壁或在较低电流时通过 服务互连区(SIA)337信号进行。
随着电源小型化及扁平式高电流电源平面电感器的开发，在层中 设计另外的电源或功率转换是可能的。这使能从层内的主要电源板产 生另外的电源板。
如果只需要一个或两个电压，同一电压可被连接到两个TCR以减 少电源寄生电阻。
图13示出了基础层冷却子系统的简图。尽管一个系统可提供足 够的冷却以支持整个3DMC冷却需要，但为了备用建立两个独立的冷 却系统是符合需要的。在一个系统发生故障时，第二系统可以更高的 强度运行以将3DMC保持在正常运行温度。可选地，为了实现该备用， 四个TCR被分为两个交叉组—TCR302a和302c由系统A冷却，TCR302b 和302d由系统B冷却。
为避免使图复杂化，仅示出了系统A。很明显的是，系统B为类 似系统。
冷却液体通过装配在基础层634中而进入3DMC。所述装配最好 包括细过滤器以避免冷却系统被可随冷却液体行进的松散粒子污染。 所述过滤器最好设计为可从3DMC的外面服务。
在冷却液体进入基础层之后，其被分为两个管道—其中之一636a 导通到TCR302a周围的热交换器室647a。第二管道636c导通到 TCR302c周围的热交换器室647c。冷却器冷却液体在输入643a和643c 进入热交换器室，在那里其循环流过TCR底部冷却翼片645。在其从 TCR吸收热量之后，较热的液体通过输出端口642a和642c离开热交 换器室。返回管道635a和635c将更热的液体传给可选的电泵850a。 该可选电泵由管理计算机控制并根据散热要求设定液体流率。可选的 泵850a可由电或恒温控制流量调节器或阀代替。此外，可选泵可在 热交换器室提供正压力之前安装。在基础层外面的位置安装冷却液流 体泵以降低维护复杂性是有利的。在这种情形下，基础层冷却系统变 为被动循环，因而液体压力由外部泵产生。流量控制仍然在基础层中 使用恒温或电动调节阀或旁路阀进行调节。
较热液体在配件633处离开基础层时再次通过可选过滤器。输入 和输出配件通常连接到快速连接-断开连接功能部件512(未在此示 出)。过滤器可位于配件633中以使能容易的接近和服务。
为了监视热效率和热条件，冷却液体温度由在热交换器室输入 643a处的热探针331测量。冷却液体输出温度由在第二热交换器室 输出333处的类似探针333测量。如果具体设计需要，可增加另外的 温度或流量传感器。冷却液体和各个连接管道必须不导电以避免电流 泄漏及TCR的电化学腐蚀。可选地，热传感器可安装在一层或多层内 并用于监视和/或调节冷却系统。
可选地，调节阀可安装在一层或多层内以使能进行每层热管理和 温度控制。
具有8个处理器的基于典型高性能AMD Opteron的3DMC在最坏 情形下可消耗400-600W—这要求快速液体流及高的温度差以保持容 许温度。一个系统的任何瞬时缩减或故障应被管理计算机立即检测到 并通过增加其它系统容量进行补偿。在容量处于临界或第二系统受影 响时，管理计算机可通过降低3DMC运行频率而降低功耗。如果这不 能起作用，则3DMC应立即关闭3DMC以避免过热层永久损坏。
或者，一个或几个泵可将恒温的冷却液体提供给多个3DMC。应 意识到，热量由足够大容量的冷却器从系统去除，例如空调装置或热 交换器。
图14示出了本发明的典型单CPU层40的详细框图。在该层中， CPU核心401负责主要的3DMC数据处理。典型的实施可包括x86可 兼容处理器如Intel Xeon或64位处理器如AMD Opteron。为更好地 说明本发明的体系结构，将使用AMD Opteron处理器，尽管许多其它 当前及未来的处理器均可用于每层单或多处理器结构中。处理器核心 401通常连接到快速片上L1指令高速缓存402。该高速缓存通过将可 用指令保存在相比标准存储器更快的存储器上而提高处理器性能。该 高速缓存可被组织在64KB或更大的双路集合联想结构中。为增强核 心可靠性，L1高速缓存和CPU可实施差错检验码(ECC)保护功能。 该功能在服务器实施时是符合需要的。
第二L2数据及指令高速缓存403通常连接到处理器以使能更快 地存储和取回指令和数据集。L2数据及标记可被保存并用ECC保护。 ECC位也可用于保存预解码及转移预测信息以进一步提高处理器性 能。
存储器控制器405连接在CPU及连接的存储器组之间。典型的存 储器控制器支持带存储器ECC保护的128位总线DDR、DDR2和SDRAM。 存储器控制器405通过上表面141上的连接而连接到位于其上方的外 部存储器层。可选地，一定数量的存储器可被嵌入在CPU层上。
在层下表面147处的存储器总线连接使可选的存储器总线终止 于下部存储器层。总线由端接块413主动或被动终止。重要地应注意， 通过存储器层处的适当逻辑终止存储器总线并完全避免在覆盖层端 接是可能的。当该实施方式可提供一些总线信号负载电容、电感和可 靠性方面的优点的同时，其也具有额外的成本和复杂性的缺点。由于 稳定HyperTransport总线不可被终止，而是收发器被禁止，建立覆 盖层完全无源(没有端接)的平台是可能的。
可包括北桥410以执行主机-I/O功能。在该例子中使用AMD Opteron核心的情况下，处理器间的通信及I/O通信均通过一个或多 个HyperTransport链路完成。HyperTransport是低等待时间快速芯 片-芯片互连技术，因为其理想地适于使用在开放体系结构系统如 3DMC中。目前在芯片-芯片技术中其总共提供高达22.4千兆字节/秒 CPU-I/O或CPU-CPU带宽，代替现有的复杂多层总线。除了传送高带 宽、频率可扩缩性及低实施成本之外，HyperTransport技术与遗留 外围组件互连(PCI)和PCI-X及新兴PCI Express技术软件上兼容。 HyperTransport技术借助于低电压差分信号(LVDS)点对点链路传 送高带宽及低等待时间，传送高数据吞吐量并使信号串扰和EMI最 小。其采用基于包的数据协议以消除许多边带(控制及命令)信号并 支持非对称、可变带宽数据路径。
组件401、402、403、405、410、414和415共同指示为计算机 核心142。
根据CPU层功能性及可能根据商业原因，厂家可能对单处理器平 台仅使能一个链路、对双处理器使能2个链路或者对多个处理器使能 3个链路。部分或所有链路可支持相干高速缓存事务以使能进行有效 的处理器间高速缓存共享。
HyperTransport收发器#0414可用于允许HyperTransport链路 连到低层如CPU或I/O。该链路通过层下表面144处的 HyperTransport连接进行连接。
第二可选HyperTransport收发器#1415使HyperTransport链 路能连到位于所述CPU层上方的另外的处理器或I/O层。该链路通过 层上表面143处的HyperTransport连接进行连接。
第三可选HyperTransport收发器#2419使HyperTransport链 路能连到位于所述CPU层下面的另外的处理器或I/O层。该链路通过 层下表面149处的HyperTransport连接进行连接。
HyperTransport链路可工作为通道以使数据包能通过该层从不 同的源传到其它目的地。
除了1-3个HyperTransport链路之外，可以有一个或多个通过 HyperTransport总线430。该总线可通过所述层以使能回送来自不同 层的总线。所述总线连接在层下表面145处和上表面146处的通过 HyperTransport总线连接之间的层内。
锁相环(PLL)和时钟块425通过基于局部晶体的频率发生器或 通过使用传自基础层的衍生集中式时钟产生必须的频率和相位。集中 式频率可通过来自位于基础层的管理计算机338的外部命令按需加 倍或减倍。
穿过的一个或多个系统管理总线(SMB)422通过从基础层到覆 盖层的所有层。SMB通过层下表面423处的SMB连接和上表面424处 的SMB连接连接到CPU层。在CPU层内，SMB连接到ID及配置存储 器模块420。该模块提供必需的识别和运行参数如供电电压、供电电 流、体系结构和处理器类型、冷却要求、临界温度等。SMB还内部连 接到JTAG和调试端口426以使能进行集中测试和查找故障。SMB还 连接到功率及热管理模块428，其监视芯片温度并将实时健康信息传 给管理计算机338。
四个穿过的TCR440(在此仅示出一个)使能进行层散热和功率 传送。优选地，所有层芯片和组件均热耦合到这4个导热杆以使能有 效地将热量流到基础层。所有其它层电路的配电441连接到这4个导 热杆并在内部分布。陶瓷或电解电容器可嵌入在层基片中以降低供电 线路ESR因而降低纹波电压。
应注意，该图不意于示出各个元件的实际位置或大小，而是仅示 出其互连，但除部分连接在下或上面之外。
现在参考图15，其示出了本发明的典型单存储器层30的功能框 图。来自该层下面的CPU或存储器层的存储器总线通过层下表面135 处的存储器总线互连与所述层互连。存储器接口总线根据平台体系结 构和实施不同可以是不同类型。存储器总线通过垂直选路的导体452 穿过层内部并在存储器层132的上表面处连接到存储器互连。在内 部，存储器总线还连接到存储器矩阵131。存储器矩阵131可以是双 数据速率(DDR)SDRAM类型、RAMBUS存储器或任何其它易失性存储 器技术。大多数存储器层实施使能每一个连接的处理器层堆叠一个以 上存储器层。为实现该功能，使用无需人工设置和配置的相同存储器 层，存储器组选择逻辑455建立在存储器层内以使能预先定义将由基 础层处的管理计算机338静态控制的配置。典型实施将存储器芯片选 择信号切换到每一存储器层以用该层仿真单DIMM。更复杂的组选择 逻辑可使在连接的存储器层的数量及支持的类型方面具有更大的灵 活性。组选择逻辑455由穿过的SMB456及穿过的存储器总线452控 制。
SMB456从下表面互连457到上表面互连459而穿过存储器层。 在存储器层内，SMB连接到：负责层测试和故障查找的JTAG和测试 模块460；保存必需层数据的ID和配置存储器模块462，所述层数据 如型号、速度、电压、功率设置、计时、热参数等。
一个或多个CPU互连总线可穿过存储器层以在处理器之间提供 适当的连接。在所示特定实施例中，一根互连总线138从下表面连接 469穿过层而到达上表面连接470。第二穿过互连总线105从下表面 连接476穿过层而到达上表面连接477。
添加多个相同组件的类似组件结构可被建立以在如上所示的单 层中支持双CPU(或更多CPU)。
图16示意性地示出了单CPU核心体系结构3DMC的各个核心组 件。
现在参考图16—覆盖层20是整个堆叠的上层。其包括各个连接 的有效总线(在于此所示的典型实施例的结构中为一根存储器总线) 的被动或主动端接121。返回的HyperTransport总线在下表面101 进入所述层并在下表面102离开以使能如下所述的多个CPU核心结 构。
存储器层30是简化的单处理器可兼容存储器的例子。存储器层 包括连接到CPU核心142的RAM组131。存储器组可以是任何易失性 存储器类型如DDR SDRAM或RAMBUS。
具有64、128位的存储器总线或实施的任何其它类型的存储器总 线从下侧连接135穿过存储器层而到达上侧连接132。下侧总是从连 接的CPU开始，上侧总是用端接结束。该端接可以是覆盖层端接121 或多处理器平台中的CPU端接147。一个以上存储器层30可堆叠在 单CPU层40的上面以使能存储器可扩缩性和升级。左侧上的穿过 HyperTransport相干总线138使平台能扩展到放在存储器层上方的 另外的处理器。存储器模块中心上的另一穿过的HyperTransport相 干总线105使能用于多处理器实施的环形网类型HyperTransport总 线拓扑。
CPU核心142包含CPU如AMD Opteron、与连接的存储器和快速 总线链路连接从而与I/O和其它CPU互连的存储器控制器。快速总线 链路通常为具有到其它CPU的相干互连的HyperTransport，其使每 一CPU能在访问较慢存储器组之前搜索其它CPU高速缓存中的最新数 据。CPU层上侧上的连接141使存储器层能与CPU核心142连接。
CPU核心142通过HyperTransport总线143(对单处理器层可能 不被实施)连接到上述另外的处理器及通过HyperTransport总线144 连接到下面的另外的处理器或I/O装置。该HyperTransport链路组 合连同通道实施产生主机接口，其是使能处理器间相干运行的高度有 效的低等待时间多处理器体系结构。
另外的侧部HyperTransport总线连接149可被实施以使能有效 的多处理器实施。厂家为商业或技术原因可选择禁止该连接以产生型 号分化。
HyperTransport总线从上CPU层回送可经穿过总线105穿过存 储器层30，然后从上表面连接146穿过CPU层到达下表面连接145。
I/O层50在此示出仅用于参考目的，因为其不是核心堆叠的一 部分。上侧HyperTransport回送连接153使能跨接在左侧 HyperTransport及用于位于上面的CPU层的中心HyperTransport之 间。I/O HyperTransport连接151通常连接到位于I/O层堆叠中的 核心堆叠下方的HyperTransport穴或通道。
总的来说，为了获得链式结构中的任2个结点之间的最快链路， 环形网式拓扑结构是符合需要的。因此，最后及第一结点通常连接在 一起。
尽管避免在覆盖层端接是可能的，其通过在每一存储器层中添加 端接逻辑实现，但当前实施例是优选实施例，因为其允许模块性。或 者，覆盖层20的功能组合在最后的层中，例如存储器层30。
图17示出了通过将图16的元件放在一起形成的单CPU 3DMC平 台的优选实施例的核心堆叠图。该实施是可能的最简单核心堆叠，CPU 层40和一个存储器层30形成核心堆叠。覆盖层20使堆叠终止。该 拓扑结构使2个I/O链能连接到核心，第一链151直接连接到处理器 核心142，第二链153通过覆盖层20回送总线连接。
右侧所示的等效核心堆叠逻辑图17b示出了该简单结构，其具有 单一CPU核心142和单一连接的存储器块131。
图18示出了具有3个相似存储器层的优选单路单CPU核心3DMC 平台的核心堆叠图。该图的核心堆叠类似于图17的核心堆叠，只是 该实施例使用3个相似存储器层30a、30b和30c堆叠在单CPU核心 层40的上面。存储器层30a、30b和30c穿过并连接到存储器总线， 直到其在上层20终止为止。图18b为核心堆叠逻辑图，其示出了CPU 核心142及连接在上面的3个存储器块131a、131b和131c。I/O直 接总线151及回送总线153使能在I/O层进行不同的I/O连接。
本领域技术人员应清楚的是，使用根据本发明实施例的同一总结 构，存储器层的数量可变化，例如，1(如图17)、2、3(如图18)、 4或更多层可被放在CPU和覆盖层之间。
尽管避免在覆盖层端接是可能的，其通过在每一存储器层中添加 端接逻辑实现，但当前实施例是优选实施例，因为其允许模块性。或 者，覆盖层20的功能组合在最后的层中，例如存储器层30c。
图19示出了两个单CPU层建立的优选双CPU核心3DMC平台的核 心堆叠图。在该图中，每一CPU层40a和40b相应连接到单一存储器 层30a和30b。I/O总线151直接连接到下部CPU核心142a。另外的 I/O总线153可连接在通过覆盖层20的回送中。下部CPU核心存储 器总线通过端接121b在上部CPU核心处终止。
双CPU核心的第三HyperTransport总线通常不被连接，尽管如 果另外的I/O穴需要其可在I/O层中使用。
第二CPU主要通过覆盖层处的回送连接与连接的I/O通信，但也 可通过第一CPU。HyperTransport实现通道—该类型的传送不需要任 何CPU干预，因此其是透明传送。HyperTransport的带宽为3.2GBps， 且对于4个以下处理器情形，其不是考虑因素。
在本发明实施例中，每一CPU具有至少一专用存储器层。因而， 在实际实施中，对于每一CPU层有一个以上存储器层。
图20为根据本发明的由四个单CPU层建立的优选4CPU核心3DMC 平台的核心堆叠图。图20a示出核心堆叠图，图20b示出核心堆叠逻 辑图。
图20a和20b按与先前图类似的方式示出了由四个单CPU层建立 的优选4CPU核心3DMC平台的核心堆叠图。单CPU核心层40a、40b、 40c和40d中的每一个相应连接到单存储器层30a、30b、30c和30d。 为优化处理器互连，上处理器核心142d回送到下处理器142a侧部总 线连接。该称为垂直环形网的拓扑结构使能最低等待时间的相干处理 器互连，尽管为商业或技术原因也可实施其它拓扑结构。为实施所述 拓扑结构，特殊回送52建立在顶部I/O层51内。这种结构使单一总 线能通过151连接到核心堆叠。如果希望另外的I/O连接，下部CPU 核心142a或任何更高的CPU核心可通过侧部总线连接连接在一起以 实现该功能性。
尽管避免在覆盖层端接是可能的，其通过在每一存储器层中添加 端接逻辑实现，但当前实施例是优选实施例，因为其允许模块性。或 者，覆盖层20的功能组合在最后的层中，例如存储器层30d。
图21示出了基于每层双CPU体系结构的本发明典型实施例的主 要组件。标为图1a的左侧部件为组件示意图。标为图1b的右侧部件 为相同层实施的简化连接图。为清晰起见，两种类型的图将并排使用。
同样，为进一步简化附图，基础设施组件如导热杆、电源总线、 管理总线及传感器、测试电路等均未在此示出。下面的图集仅表现层 的高级体系结构，因此许多细节均被省略。
在图21中，覆盖层120是整个堆叠的上部顶层。其包括各个连 接的有效总线(在于此所示的典型实施例结构中为2根 HyperTransport及2根存储器总线)的被动或主动端接121。
存储器层130是简化的双处理器可兼容存储器的例子。存储器层 包括2个分开的RAM组：连接到CPU核心A侧的左侧RAM 131a和连 接到CPU核心B侧的右侧RAM 131b。具有64、128位的存储器总线 或实施的任何其它类型的存储器总线从底侧连接135b穿过存储器层 而到达上侧连接132b。穿过的存储器总线的镜像图像实施在左侧上。
左侧上的穿过HyperTransport相干总线138a和右侧上的138b 用作处理器间互连总线。这些总线用于使下层的互连CPU A与上层的 CPU核心A侧互连，类似地，使B侧上的CPU互连。存储器层136的 下侧上的HyperTransport总线的回送设计为从下部CPU层返回 HyperTransport总线信号。按类似的方式，存储器层137的上侧上 的HyperTransport总线的回送设计为从位于该存储器层上面的CPU 层返回HyperTransport总线信号。
CPU层140包括双CPU核心—图中左侧上的CPU核心A142a和右 侧上的CPU核心B142b。每一CPU核心包含CPU如AMD Opteron、与 连接的存储器和快速总线链路连接从而与I/O和其它CPU互连的存储 器控制器。快速总线链路通常为具有到其它CPU的相干互连的 HyperTransport，其使每一CPU能在访问较慢存储器组之前搜索其它 CPU高速缓存中的最新数据。CPU层上侧上的连接141a和141b使存 储器层能与左侧CPU核心A142a和右侧CPU核心B142b连接。 HyperTransport上侧连接143a和143b使位于上面的CPU层能互连 到两个CPU核心。下侧HyperTransport连接144a和144b以类似方 式使位于下面的CPU层能互连到两个CPU核心。端接147a和147b为 设计来终止来自位于下面的存储器层的存储器总线的被动或主动端 接。向上的HyperTransport互连总线148使能在CPU核心B和CPU 核心A之间进行侧面连接。类似地，在右侧，向下的HyperTransport 互连总线149使能通过其它层回送在CPU核心A和CPU核心B之间进 行侧面连接。
I/O层150在此示出仅用于参考目的，因为其不是核心堆叠的一 部分。上侧HyperTransport回送连接152使能跨接在左侧 HyperTransport及用于位于上面的CPU层的中心HyperTransport之 间。2个I/O HyperTransport连接151a和151b连接到位于I/O层 堆叠中所述堆叠下方的HyperTransport穴或通道。
SMB为“带外”管理总线—其控制层运行而不干扰该层主要I/O。 SMB还可在所有其它主要3DMC电源板均断电时通电以使能进行某些 检测、测试和配置活动。
图22为根据本发明的交叉存储器模块以使能交叉边侧处理器间 链路的简化框图。
图22a为标准模式的交叉存储器层，图22b为交叉模式的交叉存 储器层。
图22示出了交叉存储器块以使能交叉边侧处理器间链路的简化 框图。该类型的连接在具有3个或更多个双处理器层(6路核心)的 计算机/服务器核心中是必需的。交叉边侧连接对于确保处理器间链 路将通过每两个处理器之间的可能最短路线是必要的。短的链路对于 确保高速缓存一致和I/O事务中的低等待时间是必要的。
图22a示出了交叉存储器模块160b，2个总线开关136s和137s 处于正常模式(未交叉)。在该模式中，下部开关136s被定位为使 下部右边总线连接136r与下部中心总线连接136c连接。上部开关 137s定位为使上部左边总线连接1371与上部中心总线连接137c连 接。
图22b示出静态交叉存储器模块160f，两个存储器组131a和 131b相应连接到穿过的存储器总线135a-132a及135b-132b。右下表 面总线连接136r被交叉到左上表面连接1371。下部中间表面总线连 接136c连接到上表面中间连接137c。
在该类型的层简单的同时，不允许将这样的层使用为标准存储器 层。独特的交叉功能不可与堆叠中的其它存储器层互换。为解决该问 题，交叉的层可包含某些总线开关以使能以额外的电路为代价而可互 换及自由堆叠。总线开关可使用近零传播时延CMOS开关实施。
总线开关实施使能在一个CPU层上堆叠多个存储器层，同时保持 交叉总线结构。层开关由管理计算机338静态管理并在建立后系统设 置期间进行适当配置。
图23示出了根据本发明实施例的两个堆叠的存储器模块160c和 160d，二者均按交叉模式构造，例如与双CPU核心组件一起使用。
图24示出了具有一个CPU层140和一个存储器层130的双处理 器(2路)结构200的典型核心堆叠。处理器边侧互连通过下侧上的 I/O层150和上侧上的存储器层130实现。在I/O层150有两个I/O 总线可用。
在该典型双处理器体系结构中实施的结构提供高度标准化和可 扩缩的解决方案。其使能使用相同的CPU层和相同的存储器层建立宽 范围的计算机/服务器组合。相同的层可用于组装从2路到12路核心 中的任何一种，每一CPU层对应一个或多个相同的存储器层。将这些 能力与强大的64位处理器和快速HyperTransport相干总线结合可提 供强大的计算核心。
图25示出了与图24中所示类似的结构，只是在该特定核心结构 201处有3个存储器层130a、130b和130c堆叠在双CPU层140的上 面。该结构通过存储器扩展说明3DMC可扩缩性。
现在参考图26，其示出了本发明的典型3DMC实施例的另一结构 202，其中在两个双CPU层中安排4个CPU(4路)，其中边侧CPU互 连通过该CPU层上面及下面的存储器层中的回送实现。图26a示出了 核心堆叠侧视图，而图26b示出了核心堆叠逻辑图。
该特定结构具有安排在两个双CPU层140a和140b中的4个CPU (4路)。边侧CPU互连通过该CPU层上面及下面的存储器层中的回 送实现。再次地，在I/O层150有两个I/O总线可用。
图27示出了根据本发明优选实施例的具有8个CPU(8路)排列 在4个同样双CPU层中的3DMC结构，其中这些双CPU层中的每一个 连接到一个双存储器层，其中第二存储器层切换到交叉存储器模式以 使能适当的CPU互连布局。图27a示出核心堆叠侧视图，而图27b示 出核心堆叠逻辑图。
该图示出了本发明的较大优选3DMC实施结构203。该特定结构 具有排列在4个同样的双CPU层140a、140b、140c和140d中的8个 CPU(8路)。这些双CPU层中的每一个连接到一个双存储器层130a、 130b和130c。第二存储器层160切换到交叉存储器结构以使能适当 的CPU互连布局。交叉结构使CPU层140b中的CPU核心A142c与CPU 层140c中的CPU核心B142f互连，类似地，CPU核心142d与CPU核 心142e互连。该3DMC实施还在下部I/O层150提供两个I/O总线。
图28为3DMC大规模并行处理(MPP)处理元件(PE)3D接口层 的层截面图。该层可被添加在核心堆叠和I/O堆叠之间以使3DMC特 别适于用作MPP系统中的处理元件结点。因为更高的密度和更容易的 3D实施，3DMC可理想地适合MPP。由于3DMC可在内部实施多处理器 相干平台，所得的模型对于在同一系统中实施多处理器和多计算机体 系结构非常有效。
下面描述用作第一相大规模并行处理(MPP)系统中的PE结点的 3DMC核心的体系结构和功能。整个MPP系统通常包括几百个或几千 个微处理器，每一微处理器伴随局部存储器。这些系统通常设计成支 持两种风格的MPP编程：数据并行和消息通行。数据并行程序如高性 能Fortran(HPF)，设计成向程序员提供易用性同时还利用MPP理 论最佳性能的合理百分比。消息通行程序，如并行虚拟机(PVM)消 息接发，提供最佳MPP性能的更高百分比。下面的3DMC实施在3D格 网拓扑中优化为适于消息通行。进行最小变化，该实施即可适于数据 并行模式中的功能。
在多计算机MPP中，每一PE被视为具有其自己的中央处理器、 局部存储器及相关控制逻辑的独立计算机。每一PE仅可寻址其自己 的局部存储器。其不能直接读或写与另一PE相关联的局部存储器， 而是必需通过在类似I/O的包中向目标PE发送消息而从另一PE的存 储器读数据，所述消息请求将目标PE的存储器的部分数据格式化并 发送回给发出请求的PE，对于写反之亦然。因而，在多计算机系统 中，每一远程访问实质上是涉及目标PE的I/O操作。这种风格的处 理器间通信称为“消息通行”。消息通行是众所周知的且为流行的 MPP编程模型，因为多个计算机相对容易建立。多计算机MPP的易于 构建源自商品微处理器在非常类似其“自然生活环境”(即微处理器 设计者预期的硬件和软件实施)的环境中的使用，即小的自治计算机 网络。为使能3DMC结构中的消息通行接口，特殊接口层180可被添 加到3DMC核心堆叠。
接口层包括HyperTransport穴183以连接在上面的CPU核心和 下面的消息通行网络之间。HyperTransport穴183通过2个直接存 储器存取(DMA)传送数据—一个用于传输的数据184，另一个用于 接收的数据185。DMA引擎对在网络和存储器之间传送数据提供支持， 同时对网络需要的消息分包提供支持。它们还对可靠性功能如端到端 32位CRC检查提供硬件支持。这增大了由在每一单独链路上执行的 16位CRC检查(具有重试)提供的超高可靠性。
为优化网络任务，小的微处理器186与快速SRAM阵列187集成， 其暂时保存流量部分和可靠性数据。微处理器186可以是RISC体系 结构如MIPS、ARM或PowerPC。该微处理器使能快速包首部及可靠性 特征处理，而不用主机处理器。另外，微处理器186负责必要的3DMC PE支持功能以提供可靠性、可用性及可服务性(RAS)和启动服务。
连接到2个DMA引擎184和185的路由器186具有6个下行端口 以使能3D格网连网。输出的包通过最佳定向的输出使用格网3D映射 发送给其目的地PE结点。对该PE有意的进入包被接收并传给DMA引 擎184和185进行进一步处理。3D拓扑中的典型物理链路在每一方 向支持高达2.5GB/s的数据净荷。这说明路由器使用的64字节包和 各个链路上的可靠性协议中的开销。连接到Opteron通常使用800MHz 的HyperTransport，其可提供每方向3.2GB/s的理论峰值，在协议 开销之后峰值净荷速率为2.8GB/s(实际速率稍低于此)。路由器通 过柔性PCB190使用+X、-X、+Y、-Y、+Z和-Z端口定向连接到相邻的 PE结点。尽管路由器的6个定向端口可通过基础层选择路径，在该 特定例子中，定向选路通过层中间弯曲PCB接线实现，如下两个附图 将详细描述的，其连接到3DMC的6个面。
如果需要，另外的HyperTransport穿过总线191使能连接下面 的另外的标准I/O层。
图28a示出了本发明的使用3个8路3DMC MPP PE140的2D环形 网156的简化框图。3个PE在X轴与互连175交叉连接。PE140a-X 轴和PE140c+X轴使用水平线缆链路177互连。
该简化结构可在垂直和水平平面进行复制以形成具有3D环形网 形式的大的3维MPP PE格网。由于每一PE由多个紧密连接的CPU制 成，组合的系统为3D格网内的2D格网。为了密集的并行处理，该结 构可使用适当的操作及控制系统和特殊的编译器高度优化。
图29示出了3DMC MPP PE 3D结点接口180的优选实施方式的平 面图199。该图示出了在固定到3DMC立方体各面之前的6个3D柔性 PCB接线。
柔性接线190a和互连刚性PCB焊盘195a延伸到接口层180的外 面并延伸到+X轴。柔性接线190b和互连刚性PCB焊盘195b延伸到 接口层180的外面并延伸到-X轴。柔性接线190c和互连刚性PCB焊 盘195c延伸到接口层180的外面并延伸到-Y轴。柔软部分190c较 长以使其能到达基础层下面的3DMC下表面。柔性接线190d和互连刚 性PCB焊盘195d延伸到接口层180的外面并延伸到+Y轴。柔软部分 190d较长以使其能到达3DMC的上表面。柔性接线190e和互连刚性 PCB焊盘195e延伸到接口层180的外面并延伸到+Z轴。柔性接线190f 和互连刚性PCB焊盘195f延伸到接口层180的外面并延伸到-Z轴。 6个柔性PCB和连接的刚性焊盘区使能松散附着到3DMC各面。每一 刚性焊盘区上的两个或多个导向插座198使能与连接的相邻3DMC准 确地机械对齐。
图30示出了MPP PE3D结点实施140，包括在其上组装接口层 199的3DMC堆叠。在该图示中，MPP PE 3D结点接口180的柔性PCB 附着到3DMC立方体的6个面以使能6个方向的3DMC链接。柔性 PCB190a、190b、190e和190f向下弯曲并附着在3DMC的侧面以使刚 性部分与网络连接焊盘或连接器195a、195b、195e和195f连接。2 个较长的柔性PCB190c和190d上下弯曲并连接到位于3DMC上及下表 面的刚性部分。所述刚性部分使用自由位移(浮动连接)功能部件固 紧到3DMC各面以使能通过导向销进行某些引导从而在互连配合之前 准确地定位这些表面。
图31示出了基于3DMC的MPP系统3D格网实施178，其使用通 过3D结点接口195互连到相邻PE的多个3DMC PE140。现在参考图 中的较下面的行。基于右下3DMC的MPP PE 3D结点140经互连刚性 PCB焊盘195b、PE互连层175和相邻3DMC结点140的左侧互连刚性 PCB焊盘195b互连到相邻的下部中间3DMC MPP PE 3D结点140。类 似地，3DMC MPP PE 3D结点140经互连刚性PCB焊盘195c、PE互 连层175和下侧互连刚性PCB焊盘195a互连到位于下面的相邻3DMC MPP PE 3D结点140。在该二维图中，每一3DMC MPP PE 3D结点140 在X和Y轴连接到其相邻的结点。尽管在该图中不可见，3DMC MPP PE 3D结点140还在Z轴互连到相邻的结点。为了产生环形网拓扑，每 行和列中的外侧结点互连到该列或行的相对端。例如，右上结点140 经下侧互连刚性PCB焊盘195c、垂直环形网互连线缆176和右下结 点的上侧互连刚性PCB焊盘195d互连到右下结点。类似地，水平环 形网互连线缆177使外部上结点与外部下结点连接。
图32示出了3DMC IO层的例子。该图特别示出了HyperTransport 到双PCI-X I/O层框图。该相对简单的层可与如图16-20和24-27中 所示的每层单CPU核心堆叠或每层双CPU核心堆叠连接，只需进行较 小变化。
层155设计为通过层上表面的主机HyperTransport总线互连焊 盘157与核心堆叠连接的上部I/O层。该HyperTransport总线151 通常为16位进/16位出以提供最大6.4GBps的总带宽。主机 HyperTransport总线151内部连接到HyperTransport通道159。所 述通道将来自HyperTransport的两个网桥馈给PCI-X总线，所述网 桥指示为网桥A161和网桥B162。网桥的PCI-X侧连接到层下表面处 的PCI-X总线互连焊盘，对A指示为164，对B指示为163。这些PCI-X 总线在下部I/O层用于不同的I/O连接如网络和存储。
HyperTransport通道159的另一端通过HyperTransport总线 165连接到层下表面处的HyperTransport总线互连焊盘166。该总线 通常限制为8位进/8位出以提供最大3.2GBps的总带宽。该总线可 由下部I/O层用于另外的HyperTransport通道或穴。
为了提供多处理器3DMC堆叠需要的另外的下行PCI-X总线，包 括HyperTransport主机接口的一个以上的通道是可能的。
SMB总线456穿过与图15中所示的存储器层类似的层。连接的 模块可提供层识别和参数、热条件、所需功率、测试服务等。
回送HyperTransport总线52可被实施以互连上面的核心堆叠处 的处理器。
在该示例性I/O层中描述的HyperTransport通道和双PCI-X网 桥功能性169可在标准芯片组如AMD8131中找到。
图33示出根据本发明另一实施例的3DMC PCI-XI/O集线器和双 LAN层框图的例子。
图33示出了I/O层的第二例子。该层220可堆叠在先前图中所 示的层470的下面。该层的主要输入为上面的I/O通道的受限I/O HyperTransport总线及该层的一个或多个PCI-X。为简化该图，省略 SMB总线及连接的模块。
受限I/O HyperTransport总线通过所述层上表面处的互连焊盘 221连接到所述层。HyperTransport总线223通常为8位进/8位出。 连接的遗留I/O集线器224主要为内部连接到PCI/LPC网桥的 HyperTransport穴。集线器可类似于AMD8111或其它标准芯片组。 集线器通过AC97类型接口连接到KVM230的音频编解码器或编解码器 仿真器。编解码器231的音频进和音频出连接到层下表面处的遗留端 口互连焊盘240。这些端口通常连接到基础层，但如果需要，可穿过 另外的I/O层。
连接到I/O集线器224的另外的模块是视频控制器232。该控制 器可具有连接的视频存储器RAM233以保存显示的页面。视频控制器 输出234通常为LCD数字视频、LVDS、模拟视频或DVI。如果不需要 本地视频输出，视频控制器功能块可被仿真以简化到基础层处的KVM 功能块的接口。视频输出通过遗留端口240传到基础层。在需要更强 的视频性能时，视频控制器可被实施在PCI-X总线上而不是连接到 I/O集线器的PCI总线。该类型的体系结构将确保更好的从视频控制 器到主机存储器的图形带宽。
连接到I/O集线器224的另一模块为USB主机控制器235。该控 制器235使能连接本地或远程USB装置如键盘和鼠标。控制器可仅具 有一个端口，或者如果需要可具有多个端口。支持的USB协议236可 以是USB1.1、标准USB2.0或任何其它公用标准。USB端口也被连接 到遗留端口240以连接到基础层。
连接到I/O集线器224的另一(可选)模块为连接到遗留端口 240的IDE接口237。该端口内部可具有512MB到10GB的启动闪存以 使能本地OS启动。
I/O集线器224的两个下行总线—低引线数(LPC)总线227和 PCI总线225也通过下面互连焊盘228和226连接。
一个或两个PCI-X241和239从上表面240和245穿过层220到 达下表面互连焊盘224和248。该64位总线通常支持133、100和66MHz 传输速率。
第一总线241连接到LAN接口A242。该LAN接口通常为千兆LAN 或更高的MAC、RAM及物理层模块。如果需要，第二主要LAN接口B246 可被添加。2个LAN端口通过层下表面互连焊盘243和247连接以使 能将LAN线缆连接到基础层。LAN滤波及磁学通常位于基础层处以避 免I/O层中的高电压绝缘模块。
存储接口模块250被可选地添加以使能连接到SATA、光纤通道 (FC)、Infiniband或SCSI远程磁盘。存储接口模块250可具有另 外的SRAM249以支持缓冲器和固件存储。
由于该层的结构，堆叠在其下面的任何层必须通过所有遗留端 口、LAN、存储、LPC、PCI和PCI-X总线。
图34示出了典型的3DMC3U机架安装的服务器实施700，其具 有18个核心及内置备用冷却电源和LAN交换机模块。该服务器的优 选实施例展示了3DMC技术的高密度特征，其使高达128个AMD Opteron核心能安装在标准19″3U机架安装的外壳中。
金属外壳704包容各个服务器组件并连接到前面板702。前面板 702和服务器外壳704可使用标准的安装孔703和柄部701安装在标 准19″机架上。18个3DMC500在体系结构轨道上方排成3行，总线将 3DMC互连到位于外壳704背侧的模块。3DMC通过可拆卸紧固件固紧 到金属外壳上以有利于维护和容易升级。
通过打开4个顶部螺帽308并拆卸覆盖层和堆叠层，可关闭和拆 卸特定3DMC。为进一步说明该选择，3DMC之一500a在图中被示为层 也被移除。
如果维护和升级需要，即使该服务器中的其它3DMC仍在运行时， 也可拆卸整个3DMC，通过将其关闭然后插入螺丝刀以释放将3DMC基 础层安装凸缘514连接到外壳底架704的安装螺钉。该选择在图中示 出，其示出拆卸3DMC后的一个3DMC位置714，暴露下面的体系结构 连接。4个安装螺钉孔717及两个冷却管715和716及基础层电连接 总线718均可见。基础层冷却液流体配件的连接通过插入的快速解开 配件完成以确保冷却液流体溢出最少。
在外壳704的背侧，可拆卸地组装几个服务模块以支持18个 3DMC。电源705从通过背侧连接器712供电的DC输入提供3DMC需要 的DC功率。电源705可从外部源切换DC功率并直接馈给3DMC，或 者可运行为具有一个或多个冗余通道的AC-DC转换器以允许外部AC 功率输入。冷却系统A模块708向所有3DMC提供一个除热液体冷却 通道。第二冷却系统B模块709向所有3DMC提供第二冗余除热液体 冷却通道。该设计使能故障切换机制—在一个通道发生故障时，另一 通道可满足18个3DMC的全部冷却需求。
24端口LAN交换机710使能灵活地将18个3DMC的主要LAN连 接连接到外界。此外，该交换机可提供辅助的20个端口以支持与第 一24个端口分开或结合的第二主要LAN连接。此外，LAN交换机还 可支持3DMC的管理LAN的另外的20个端口。该功能也可支持光纤通 道切换以使能将远程存储器的外部连接连接到3DMC。显然地，如果 需要，这些功能可由分开的及备用的模块执行以提高系统可靠性和性 能。
图35示出了构造为投币式自动电唱机的另一典型3DMC4U机架 安装的服务器实施例750。该服务器实施例具有40个核心及内置备 用冷却电源和LAN交换机模块。该服务器的优选实施例展示了3DMC 技术的高密度特征，其使高达320个AMD Opteron核心能安装在标准 19″4U机架安装的外壳中。该特定实施例按投币式自动电唱机结构进 行建立以使电动头能半自动或自动更换故障层。
该服务器由金属外壳和底架704及金属板702建立，其具有标准 4U尺寸、安装孔703及柄部701以使能安装在标准机架中。
40个3DMC模块500排列成5行，每行8个3DMC。位于滑动桥 734上的电动头740使能从上面接近40个3DMC中的每一个。滑动桥 可借助于步进电机723、丝杆724和滑动轴承730及732沿Y轴移动。 滑动轴承使滑动桥能在左侧上的滑动轨道735及右侧上的737上沿Y 轴自由移动。滑动轨道固紧到外壳和底架704。滑动桥可通过步进电 机移动以使桥位于每一3DMC位置的上方。滑动桥沿Y轴方向的移动 通过来自激励步进电机723的电动头控制器722的命令实现。步进电 机旋转Y轴丝杆724，其通过连接到滑动桥的螺杆轴承移动滑动桥。 适当的位置反馈通常适于准确检测滑动桥位置并将其传给控制两个 步进电机723和725的电动头控制器722。
电动头740的移动按类似的方式完成，其通过步进电机725旋转 X丝杆726、X轴螺杆轴承744进行。电动头通过在滑动桥734的边 侧轨道上滑动而沿X轴自由移动。沿X轴的移动由激励X轴步进电机 725的电动头控制器722命令，所述X轴步进电机旋转X轴丝杆726。 滑动螺钉744因而沿X方向移动电动头。
电动头可准确地定位在每一所选3DMC上方。4个螺钉旋转单元 741使能打开和固定3DMC TCR螺帽308。通过执行来自电动头控制器 722的命令，电动头可拆卸和组装任何3DMC堆叠以进行维护和升级。 当电动头移到右侧时，其可使用堆叠升降机742卸掉所述堆叠。层可 通过固定到前面板702的电动层插槽745进行安装或拆卸。所述堆叠 升降机742也可保存备用层以使在层故障时能进行自动化层更换。
连接到前面板702的人机接口743使能监视和执行具体的自动化 或半自动化操作。
现在参考图35，其示出了完成的服务器的俯视图；及参考图 36a-36c，其示出了故障3DMC的侧视图。全自动化拆卸故障层的例子 将在此进一步描述。首先，故障3DMC被远程管理系统关闭。在3DMC 完成断电之后，参考图35，电动头740通过丝杆726和724移到具 体故障3DMC775上方的位置，如图36a中所示。
现在参考图36a，一旦电动头740准确地定位在故障3DMC的上 方，电动头通过两个步进电机762和两个垂直丝杆765降低以使能拧 下盖。四个螺钉旋转单元741旋转螺帽套741从而打开拧下4个螺帽 308。
现在参考图36b，两个镊子766被降低到由两个垂直线性执行机 构767电动和监视的具体垂直位置。故障层的垂直位置基于系统管理 计算机计算的堆叠数据进行计算。之后，执行机构767内的螺线管在 侧面推动两个镊子到达故障层772的下面。
现在参考图36c，在镊子766适当定位之后，电动头向上垂直移 动以借助于两个步进电机762和两个丝杆765提升堆叠。在所述堆叠 被提升到TCR的上面时，电动头侧向自由移动以将拆卸的堆叠带到电 动层插槽区，在那里颠倒所述过程以将所述堆叠放入电动头内并留下 最低的层(所述故障层772)。之后，按类似的方式，所述堆叠可被 定位在完好层的上方以使能将该层添加到拆卸的堆叠中。
使用电动头和两个层组，所述系统可用于自动更换、升级和维护 所有类型的层。
不想要的层拆除堆叠可被带到堆叠升降机742a，在那里对其进 行分类，且故障层通过电动层插槽745弹出。电动头可等待用户将交 换层插入电动层插槽中然后反向执行所述过程以再次组装堆叠。
自动操作可被编程在电动头控制器内以使在发现故障时电动头 可自动更换故障层。该特征使能服务器的自动自修理特征。该特征对 于无人数据中心或在远处的数据中心是符合需要的。
图37示出了3DMC单循环液体冷却系统900的简化示意图。本发 明的该优选实施例基于单一系统，在其设计中没有任何冗余。
冷的冷却液流体512a如水通过快速断开配件513进入3DMC500。 在基础层内或直接在基础层下面，由TCR传递的热量提升冷却液流体 温度。热的冷却液流体516通过同一配件513离开3DMC并通过管道 流到散热器905，在那里更冷的空气912被连接到电动机907的风扇 910迫使流过。由于通过的空气912从冷却液流体带走热量，因而所 述空气被加热。离开散热器905的冷的冷却液流体通过储蓄器/蓄积 器903。储蓄器/蓄积器保持恒定的系统液体水平和压力。其还用于 减少空气或蒸汽泡的风险。冷的冷却液流体通过管理系统控制的电泵 915。之后，高压力的冷的冷却液流体512被送回3DMC以完成闭合循 环。
单循环的实际例子，单一3DMC具有16个AMD Opteron处理器及 对每一CPU具有4GB的DDR存储器，在100％负载时产生大约2.4KW 的热量。使用水循环和基于水的热管消除该热量的冷却热量提供下 述：
水运行前温度：12℃
水运行后温度：18℃
水压力损耗：0.5bar
水流：0.01l/sec
水入口压力：6bar
现在参考图38，其示出了支持2个3DMC的3DMC单循环液体冷 却系统的另一简化示意图514。本发明的该优选实施例基于与图37 中所示系统类似的单循环，但具有另外的入口歧管922和出口歧管 920。通过增加歧管，一个以上的3DMC可被并行连接。
为了避免对层的热应力，希望在这样的系统中为每一3DMC甚或 CPU层增加调节阀。该调节阀(未在此示出)可用于调节冷却液流体 流动速率，从而改变热量捕获速率。
图39示出了具有两个冗余冷却液流体循环514a和514b的3DMC 液体冷却系统的简化示意图，其对两个3DMC500c和500d提供冷却。 在本发明的该实施例中，左侧3DMC500d通过快速断开配件518d从下 面的冷却系统514b接收冷的冷却液流体。同一3DMC还通过快速断开 配件513d从另一冷却循环514a接收冷的冷却液流体。
右侧3DMC500c通过快速断开配件518c从下面的冷却系统514b 接收冷的冷却液流体。同一3DMC还通过快速断开配件513c从另一冷 却循环514a接收冷的冷却液流体。
系统可被设计为具有足够的冷却容量以使能仅运行一个冷却系 统即可完全运行两个3DMC。冷却容量可通过改变通过风扇和电动机 907a和907b的气流速度912a和912b进行控制。冷却也可通过改变 泵速915a和915b进行控制。
图40示出了与上面图37中所示系统900类似的3DMC单循环液 体冷却系统918的简化示意图，但其具有两个液体回路—主要冷却回 路921和辅助冷却回路919。
冷的冷却液流体通过管512s和快速连接513进入3DMC500。在 从TCR吸收热量之后，热的冷却液流体通过同一快速连接513和辅助 回路热管516s离开3DMC。之后，热的冷却液流体进入液-液热交换 器617，其中将热量释放到主要冷却回路冷却液流体中。主要冷却回 路通过热交换器617提供更冷的工作液体流，之后通过主要冷却回路 热管516p，热的液体通过冷却器或液体-空气热交换器905p。在将热 量释放到周围空气912p中之后，冷却液流体由主要回路冷却泵915p 泵回到液-液热交换器917。在主要及辅助回路的工作液体通常为水。 水可与高达30％的防冻剂混合。
两个独立的冷却回路的使用使能将3DMC机架连接到标准建筑物 冷却回路。水-水或液-液热交换器517的使用使能在主要的建筑物冷 却回路921(通常用水作为工作液体并连接到外部冷却器)及连接到 3DMC500的辅助冷却回路之间进行有效的连接，并可以不同压力、流 动速率、温度甚至不同的工作液体运行。因为下述原因该回路隔离是 有利的：
-使用现有冷却基础设施—建筑物空调系统
-故障安全冷却系统
-更好地控制3DMC的运行参数
-相比空气-水冷却方法高得多的效率
-由于回路隔离污染风险更低
-由于在辅助回路的更好的温度和流动控制，较冷部分凝露风险 更低
-由于较大的主要回路质量，热量起伏可吸收性更好
图41示出了3DMC人工层堆叠过程的流程图。所述过程以用户从 3DMC堆叠拆卸覆盖层开始，即步骤1002。在下一步骤1004，用户添 加第一I/O层。在一些实施方式中，在添加I/O层之前用户可首先添 加基础层和/或电源层。
在下一步骤1007，用户添加第一CPU层，然后在步骤1008添加 一个或多个存储器层，直到在步骤1010添加最后一存储器层为止。 前述3个步骤可重复以组装多CPU层的堆叠。在下一可选步骤1012， 如果需要，用户添加垫片层以填满堆叠直到覆盖层为止。
在下一步骤1014，用户添加覆盖层，及在步骤1016，施加启动 功率。在步骤1018，在3DMC启动顺序期间，用户使用系统测量和产 生的音频或可视扭矩信息固紧4个TCR螺帽。
在步骤1022，在堆叠被适当固紧之后，用户从远程管理系统取 回关于堆叠内容、层可兼容性、功率方面、层互连状态及自测试状态 的详细信息。
在步骤1025，如果过程成功完成，则管理系统通知用户该构造 被批准且开始全3DMC启动过程。
在步骤1026，如果加电成功完成，则管理系统通知用户及3DMC 完全运行。
在本发明已结合某些示例性实施例描述的同时，对本领域技术人 员而言多种修改显而易见且可容易地完成，而不会背离上述示教的精 神和范围。
应当理解，结合一实施例描述的特征和/或步骤可用于其它实施 例，且不是本发明的所有实施例均具有在特定附图中所示或结合实施 例之一所述的所有特征和/或步骤。本领域技术人员将可对所描述的 实施例进行变化。
应注意，部分上述实施例描述了发明人预期的最佳模式，因此包 括可能对本发明不是必需及作为例子描述的结构、步骤或结构和步骤 的细节。如本领域公知的，在此所述的结构和步骤可由执行相同功能 的等效方案代替，即使结构或步骤不同。因此，本发明的范围仅由权 利要求中使用的元件和限制进行确定。在此使用的术语“包括”、“包 含”及其语法变化意为“包括但不必限于”。