【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、メモリシステム用の高速バスの提供に関し、より具体的には、バスの実効キャパシタンスを減少させることによってバス上のトランザクション速度を高め、メモリモジュール間の分離を改善することによって高稼働率の機能を使用可能にする高稼働率サーバ用のメモリシステムを提供することに関する。

【０００２】

【従来の技術】コンピュータとその中央処理装置「ＣＰ
Ｕ」が命令をより高速で実行できるようになるにつれて、メモリ命令の処理速度を高めることが同時に必要になっている。 メモリデバイスの代表的なデータ読取り動作を実行する際、メモリコントローラ（通常はＣＰＵ、
またはより大きなシステムでは専用メモリコントローラ）は、特定のメモリチップに読取りコマンドを送る。
このコマンドは、コマンドバスの１つまたは複数の線に沿ってチップに伝えられる。 特定のチップがコマンドを受け取ると、そのコマンドにより、チップは、メモリコントローラ用のリターンデータ信号として内部メモリアレイからの出力をデータバス上に位置づけて送る。 次に、この出力は、データバスに沿って伝わる。 この出力は、コマンドバスと同じ経路を移動する場合、または同じ経路を移動しない場合がある。 前述の例において、コントローラからチップへの読取りコマンドの伝播時間、
チップがその内部レジスタに電力を供給してデータバス上に適切な出力を伝えるのに必要な時間、およびコントローラに出力が戻るのに必要な伝播時間を含む３つの時間遅延の原因がある。

【０００３】同様に、メモリデバイスに典型的なデータ書込み動作を行う際、メモリコントローラは、特定のメモリチップに、書き込まれるべきデータと一緒に書込みコマンドを送る。 このコマンドは、コマンドバスの１つまたは複数の線に沿ってチップに伝えられ、データは、
データバスの１つまたは複数の線に沿ってチップに伝えられる。 特定のチップがコマンドを受け取ると、チップは、そのコマンドにより、データバスからその内部メモリアレイの指定場所にデータを伝える。 データバスに沿って伝わるデータは、コマンドバスに沿って伝わるコマンドと同じ経路を進むか、または同じ経路を進まないことがある。 前述の例では、コントローラからチップへの書込みコマンドの伝播時間、データがコントローラから伝わるのに必要な時間、およびチップがその内部レジスタに電力を供給しデータバスからデータを伝えるのに必要な時間を含む３つの時間遅延の原因がある。

【０００４】一般に、設計努力は、主にメモリチップ内の命令の内部経路指定および命令処理の改善に傾けられてきた。 しかしながら、そのような設計努力は、より応答の速いメモリデバイスを提供し続けるが、データバスに沿った伝播遅延の主な原因であるデータバスの固有キャパシタンスには対処していない。 その結果、多くのシステムは、データバスを介してＣＰＵの動作速度よりもはるかに低い転送速度でデータを送っている。

【０００５】図１Ａと図１Ｂを参照して、データバスの固有キャパシタンスの問題をさらに詳しく説明する。 図１Ａと図１Ｂは、メモリシステム１００内のデータ経路を示す。 図示されたメモリシステム１００は、ＳＤＲ
（Single Data Rate：シングルデータレート）またはＤ
ＤＲ（Double Data Rate：ダブルデータレート）のＳＤ
ＲＡＭメモリシステム用に構成される。 データ経路は、
メモリコントローラ１０２、マザーボード１０３、メモリチップ１０４、メモリモジュール１０５、およびデータバス１０６を含む。 データバス１０６は、ボードトレース部分１０７、モジュールトレース部分１０８、コネクタ１０９および終端器１１０を含む。

【０００６】メモリコントローラは、マザーボードに取り付けられ、メモリモジュールが並列に接続されるようにデータバスを介してメモリチップに電気的に接続される。 メモリチップは、メモリモジュールに取り付けられる。 データバスのボードトレース部分が、マザーボードに取り付けられ、データバスのモジュールトレース部分が、メモリモジュールに取り付けられる。 コネクタ１０
９は、ボードトレース部分をモジュールトレース部分へ電気的に接続し、メモリモジュールをマザーボードに機械的に取り付ける。

【０００７】図１Ｂは、図１Ａに示したデータ経路の電気的等価物１１１を示す。 参照を容易にするために、図１Ａに示された構成要素を表す図１Ｂの各電気的等価物は、図１Ａに示した構成要素に接尾文字「Ａ」を付けた参照数字で示している。 ボードトレース部分１０７Ａ
が、１組のインピーダンス特性と伝送遅延特性を有する伝送線１１２として共に挙動する誘導要素と容量要素からなることに注意されたい。 同様に、各モジュールトレース部分１０８Ａは、それ自体のインピーダンス特性と伝送遅延特性の組をそれぞれ有する伝送線１１３として共に挙動する誘導要素と容量要素からなる。

【０００８】ボードトレース部分１０７Ａは、抵抗器１
１０Ａによって適切に終端されたとき、固有キャパシタンスのないほぼ完璧な伝送線（図示せず）としての役割を果たし、それ自体はメモリシステムの動作速度を制限しない。 しかしながら、ボードトレース部分１０７Ａがモジュールトレース部分１０８Ａと結合されるとき、モジュールトレース部分１０８Ａは、ボードトレース部分１０７Ａから分かれる伝送線スタブとしてはたらく。 そのようなスタブは互いに、メモリシステムにおいて信号の完全性を低下させる著しい信号反射を含む「くし型フィルタ」効果を有する。 この「くし型フィルタ」効果は、データバスに負荷をかけ、実質的にボードトレース部分１０７Ａを個々のボードトレース部分の伝送線１１
３に分割する。

【０００９】「くし型フィルタ」効果によってもたらされた負荷は、ボードトレース部分１０７Ａとモジュールトレース部分１０８Ａの両方にデータが伝わる最大伝送速度を制限する。 スタブによってもたらされる「くし型フィルタ」効果は、一般に、それぞれのモジュールトレース部分１０８Ａの長さが長くなるほど大きくなる。 同様に、スタブによってもたらされる「くし型フィルタ」
効果は、一般に、それぞれのモジュールトレース部分１
０８Ａの長さが短くなるほど小さくなる。 メモリコントローラ１０２Ａからメモリチップ１０４Ａへ送られるデータ信号の伝播遅延の第２の原因は、各メモリチップに関連する誘導要素１１４と容量要素１１５である。 誘導要素と容量要素は共に、モジュールトレース部分１０８
Ａとボードトレース部分１０７Ａの両方を含むデータバスに容量性負荷をかける。 「くし型フィルタ」効果によってもたらされる負荷およびメモリチップ素子によってもたらされる容量性負荷は一緒になって、メモリバス上に固有の分布キャパシタンス負荷を形成する。

【００１０】コンピュータメモリシステム用の別の一般的メモリ構成は、ＲＡＭＢＵＳメモリ構成である。 図２
は、従来のＲＡＭＢＵＳメモリシステムのデータ経路の電気的等価物を示す概略図を示す。 データ経路は、メモリコントローラ２０２、メモリモジュール２０５、およびデータバス２０６を含む。 データバスは、ボードトレース部分２０７、モジュールトレース部分２０８、コネクタ２０９、および終端抵抗器２１０を含む。 メモリモジュールが並列に接続された図１Ａと図１Ｂに示したメモリ構成とは異なり、図２に示したＲＡＭＢＵＳ構成では、メモリモジュールは、直列に接続される。 さらに、
コネクタ誘導要素２０９は、図１Ａと図１Ｂに示した同じ数のメモリモジュールを有する等価なメモリ構成の２
倍の頻度で生じる。

【００１１】ボードトレース部分２０７は、１組のインピーダンス特性と伝送遅延特性を有する伝送線として共に作用する誘導要素と容量要素からなる。 同様に、各モジュールトレース部分２０８は、それぞれがインピーダンス特性と伝送遅延特性の組をそれ自体有する伝送線２
１３として共に作用する誘導要素と容量要素からなる。
しかしながら、ボードトレース部分２０７がモジュールトレース部分２０８と結合されるとき、モジュールトレース部分２０８は、信号の速度と完全性を低下させるボードトレース部分２０７から分かれる伝送線スタブとしてはたらく。

【００１２】図１Ａと図１Ｂに示した構成は、図２に示した構成と比べて、ボードトレース部分によるデータバス上への負荷の影響を減少させる。 しかしながら、図２
に示した構成では、モジュールトレース部分２１３によるデータバス上への実効負荷が大きくなるため、一般に、バスのインピーダンスは減少しない。 実際に、ＲＡ
ＭＢＵＳ構成のメモリモジュールは、並列ではなく直列に接続されるため、データバス上の実効負荷は、一般に、図１Ａと図１Ｂに示した構成よりも実質的に大きくなる。

【００１３】一般に、図１Ａと図１Ｂに示した並列構成は、部分的にはメモリデータバス上の容量性負荷が比較的小さいため、図２に示したＲＡＭＢＵＳ構成よりも好ましい。 しかしながら、ＲＡＭＢＵＳ構成には他の問題がある。 １つの大きい問題は、有効なＤＩＭＭ分離がないことである。 データバスに接続されるＤＩＭＭモジュールの数が多くなるほど、ＤＩＭＭが故障する可能性が大きくなる。 図２に示した並列構成は、ＤＩＭＭ分離を提供するが、ＲＡＭＢＵＳ構成の直列の特徴は、事実上ＤＩＭＭ分離を提供しない。 したがって、たとえばスタック出力ビットで１つのＤＩＭＭモジュールが故障すると、ＲＡＭＢＵＳメモリシステム全体が故障する。 同様に、直列ＲＡＭＢＵＳ構成でのコネクタの故障は、メモリシステムの故障の原因となる。 さらに、ＲＡＭＢＵＳ
モジュールが取り外されると、バスが切断される。 故障の可能性があるため、ＲＡＭＢＵＳ構成は、企業顧客の人気のある選択肢になりつつある高稼働率システムの好ましい選択肢でなない。

【００１４】他のメモリ構成は、メモリバスにおける固有キャパシタンスの問題をいくつかの方法で解決しようとしている。 １つの解決策は、バスのモジュールトレース部分をボードトレース部分から電気的に分離するために、データバスのモジュールトレース部分に直列抵抗器を入れることである。 この技法は、６６ＭＨｚまでの周波数には首尾良く使用されたが、それよりも高い周波数ではあまり良好ではない。 もう１つの解決策は、データバスをセクションに分割するＦＥＴスイッチをマザーボード上に提供することである。 たとえば、４つのメモリモジュールの１組を電気的に独立した２つのグループの２つのモジュールに分離するためにスイッチマルチプレクサが使用された。 この手法は、それぞれが元の大きいバスの固有キャパシタンスよりも小さい固有キャパシタンスを生じさせる２つの小さいメモリバスを作成する。
しかしながら、そのような小さいバスのそれぞれは、依然としてデータバス上に固有のキャパシタンス負荷を有し、スイッチ自体が容量性負荷を増大させ、ひいては信号の伝播速度が制限されていた。

【００１５】図３Ａと図３Ｂを参照して、メモリバスにおける固有のキャパシタンスに関する問題のもう１つの解決策について示し説明する。 図３Ａは、1997年10月30
日に出願された米国特許出願第０８／９６０，９４０号の「Capacitance Reducing Memory System Device,and
Method」と題する関連特許出願に記載されたスイッチ制御式メモリモジュール構成の側面図である。 図３Ｂは、
図３Ａに示したスイッチ制御式メモリモジュール構成の電気的等価物を示す概略図である。 分かりやすくするために、図３Ｂに示した項目の電気的等価物は、図３Ａの項目と同じ参照番号に接尾文字「Ａ」が付けられている。

【００１６】図３Ａを参照すると、メモリデバイス３２
２とスイッチ３２９は、モジュールを単に追加するか、
またはモジュールのうちのいくつかまたはすべてを交換することによりメモリシステム構成を容易に変更することができる脱着可能なメモリモジュール３２４に取り付けられることが好ましい。 各メモリモジュール３２４
は、コネクタ３２６によってメインボード３２５に機械的に取り付けられる。 コネクタは、メモリコントローラとメモリデバイスとの間のすべての電気接続を提供する。 電気接続は、メインボード３２７上のデータバス部分とモジュール３２８上のデータバス部分との間の相互接続を含む。

【００１７】図３Ｂを参照すると、スイッチ３２９Ａが開いた位置にある（端子３３５と３３６が電気的に切り離されている）場合、開いたスイッチと関連するメモリデバイス３２２Ａは、スイッチとメモリデバイスとの間のデータバス部分であるようにデータバスから切り離される。 これは、データバスから電気的に切り離されたメモリデバイスが、データを送ったり受け取ったりすることができないということを意味する。 また、これは、スイッチとメモリデバイスとの間のデータバス部分がデータバスから切り離され、モジュール部分３２８Ａのスタブの長さを増大させないことを意味する。 さらに、スイッチが開かれていることによりデータバスから切り離されたメモリデバイス３２２Ａの容量性負荷は、データバス上の全体の容量性負荷にもはや奇与しなくなり（メモリコントローラおよび結合されたメモリデバイスから見たとき）、メモリコントローラと結合されたメモリデバイスとの間のデータ転送速度が速くなる。

【００１８】ボード部分３２７Ａは、直列の伝送線３３
３を含む。 モジュール部分３２８Ａはそれぞれ、ボード部分３２７Ａから分かれる伝送線スタブを形成する伝送線３３４を含む。 そのように形成された各スタブは、ボード部分３２７Ａとモジュール部分３２８Ａを含むデータバス上に負荷をかける「くし型フィルタ」効果をデータバス上に生じさせる。 この「くし型フィルタ」効果によって生じる負荷は、通常、ボード部分３２７Ａに取り付けられたモジュール部分３２８Ａの数と各モジュール部分３２８Ａの長さの両方に比例する。 図１Ａ、図１Ｂ
および図２に示したメモリ構成と比べて、図３Ａと図３
Ｂに示した各メモリモジュール上にＦＥＴスイッチを有するメモリ構成は、データバスから切り離されるかまたは電気的に結合されていないメモリデバイスの容量性負荷をなくすことによって、メモリモジュールによる容量性負荷を減少させるのに役立つ。 これにより、くし型フィルタ効果が減少し、それによりデータバスのデータ転送速度が速くなる。

【００１９】図３Ａと図３Ｂに示した構成は、図２に示した実施態様よりも分離を改善するが、コネクタが故障した場合のシステムの故障を防ぐのに十分な分離をまだ提供していない。 さらに、図３Ａと図３Ｂに示した実施態様は、２つ以上のメモリモジュールに同時の書き込みを行う能力を提供しない。 これらの特徴は両方とも、高稼働率コンピュータシステムにおいては望ましい。

【００２０】しかしながら、図３Ａと図３Ｂに示した実施態様の問題は、図１Ａと図１Ｂに示した実施態様と比べてくし型フィルタ効果を減少させるが、図３Ａと図３
Ｂに示した実施態様におけるアクティブＤＲＡＭへのトレースが、データバス上にスタブをまだ形成していることである。 図３Ａと図３Ｂに示した実施態様のさらなる問題は、メモリシステムのボード部分３２７Ａのために容量性負荷があまり減少しないことである。 しばしば、
これは、信号遅延の最も大きな要因となり、図３Ａと図３Ｂの構成によって大幅に減少するメモリデバイスの容量性負荷ではない負荷（３２７Ａ）である。 ボード３２
７Ａによる容量性負荷は、特にコンピュータシステム内のボードとＤＩＭＭの数が増えるほど大きな問題となる。 ハイエンドサーバにおける大容量メモリの顧客需要が増大しているため、小型サーバまたはローエンドサーバよりも大型サーバまたはハイエンドサーバの方が低いメモリシステム性能を有するという異常な挙動が見られることがある。 この低い性能は、おおくの場合大きいＣ
ＰＵキャッシュを追加することによって補償することができる。 しかしながら、大きいＣＰＵキャッシュを追加すると、システムのコストが大幅に高くなることがある。

【００２１】

【発明が解決しようとする課題】高稼働率機能を提供し、改善された分離を提供し、メモリデバイスへの容量性負荷の影響を依然として最小限に抑えつつボードトレースによる容量性負荷を大幅に最小にするメモリシステムが必要である。

【００２２】

【課題を解決するための手段】本発明は、メモリデバイスによる容量性負荷の影響を依然として最小限に抑えつつボードトレースによる容量性負荷を最小にするメモリ構成を提供し、高稼働率機能を提供し、および改善された分離を提供する。 メモリ構成は、メモリコントローラと、データバス上の容量性負荷を減少させるようにメモリコントローラをＮ個のメモリモジュールに接続するために使用される単一の中央１：Ｎスイッチを含む。 このメモリ構成は、メモリコントローラ、中央スイッチ、メモリコントローラと中央スイッチに電気的に結合されたデータバス、および複数のＮ個のメモリモジュールを含み、複数のＮ個のメモリモジュールはそれぞれ、独立したメモリモジュールバスによって中央スイッチング手段に放射状に電気接続される。

【００２３】好ましいメモリ構成において、中央スイッチは、Ｎ個のメモリモジュールのすべてに対するスイッチとしてはたらく。 中央スイッチは、マザーボード上のメモリモジュールの中央とそのメモリモジュール間に物理的に配置されることが好ましい。 このメモリ構成により、事実上、メモリコントローラとメモリモジュール上のメモリデバイスとの間のポイントツーポイントバスが得られる。 このメモリ構成により、本質的に、データバスに電気的に接続されていないメモリモジュール間のボードトレースによるインピーダンスがなくなる。 この構成によってそのようなモジュール間のインピーダンスがなくなることは、メモリモジュールのアクティブＤＲＡ
Ｍへのボードトレースがバス上にスタブを形成せず、くし型フィルタ効果がなくなることを意味する。

【００２４】メモリモジュール間のボードトレースの容量性負荷の影響が事実上なくなるため、データバスの速度を低下させることなく多数のメモリモジュールをシステムに追加することができる。 これは、メモリのニーズが高くなっている今日では特に重大である。 したがって、本発明の構成によれば、データバスの速度を低下させることなくシステムメモリサイズを実質的に大きくすることができる。

【００２５】このメモリ構成によって提供されるポイントツーポイントバスは、伝送線反射が大幅に減少されるため、メモリシステムの設計をより容易にする。 さらに、このメモリ構成の「スタブレス」ポイントツーポイントアームは、容量性負荷が大幅に減少するため、データ転送速度をより高速にする。 くし型フィルタ効果がなくなるため、システムは、メモリモジュールの最大周波数の近くで動作することができる。 したがって、ポイントツーポイントバス構成によって、コアＤＤＲ周波数の「近く」でクロッキングすることができる。 代替として、ＳＤＲ周波数が使用される場合は、一定の速度でマージンを大幅に大きくすることができる。

【００２６】中央１：Ｎスイッチは、データ選択回路とデコーディング回路とを含むことが好ましい。 データ選択回路とデコーディング回路の組合せは、アクセスするメモリモジュールを選択するのに役立つ。 データ選択回路は、データフローの方向を決定し、アクティブなメモリチャネルを選択するトランシーバ回路を含むことが好ましい。

【００２７】このメモリ構成は、改善された分離を提供する。 一般に、モジュールのうちの１つまたはモジュールコネクタに関する問題は、主データバスに影響を及ぼさない。 たとえば、２つのコネクタピンが短絡した場合、故障したコネクタを有するメモリモジュールはメモリシステムにおいて使用できなくなるが、残りのメモリモジュールは、コネクタの短絡による影響を受けない。
さらに、本発明のメモリ構成は、メモリモジュールを互いに分離するのに役立ち、その結果、適切なサポートにより、中央スイッチの１つのアーム（arm）に挿入されたモジュールが他のアームを妨害しないため、メモリボードを容易にホットスワップ（hot swap：通電状態で交換する）することができ、それにより、メモリシステムの高稼働率機能が高くなる。 各モジュールが、データバスの独立したアームまたはチャネル上に配置され、より高レベルの冗長性が実現可能なため、ホットスワップが部分的に実行可能になる。

【００２８】さらに、このメモリ構成は、冗長なメモリ機構を実現する際の柔軟性を可能にする。 メモリモジュール構成によって提供される分離は、実質的に性能に影響を及ぼすことなく直列バスまたは並列バスでは不可能な同時のメモリ動作（読取り、書込み）を可能にする。
メモリ構成は、システムが、同一のデータを複数のメモリモジュールに同時に一度に書き込むことを可能にする。 これは、メモリのミラーリングのとき、冗長系において「予備」モジュール上にデータを再構築するとき、
あるいは複数のメモリチャネルに同一のデータが同時に書き込まれるメモリ初期化（ＥＣＣメモリ初期化など）
を実行するときに有効である。 また、より高い性能の用途では、中央スイッチにレジスタが使用される場合に、
一度に複数のメモリモジュールから中央スイッチに読み取ることができ、また、コントローラからメモリチップまでの遅延が２つに分断されるためより高いクロック周波数で動作することができる。 また、ＣＭＯＳ ＳＳＴ
Ｌ−２中央スイッチは、通過するデータバス信号の信号レベルを復元する。

【００２９】本発明の特徴と利点は、本明細書の残りの部分と図面を参照してさらによく理解することができる。

【００３０】

【発明の実施の形態】図４Ａは、本発明による放射状アームメモリバス構成４００の側面図である。 本発明のメモリ構成４００は、メモリコントローラ４２１と、データバス４２７上の容量性負荷を減少させるようにメモリコントローラ４２１をメモリモジュール４２４上のメモリデバイス４２２に接続するために使用されるインテリジェント中央１：Ｎスイッチ４２９とを含む。 図４Ｂを参照すると、メモリ構成は、メモリコントローラ４２
１、中央スイッチ４２９、メモリコントローラと中央スイッチング手段に電気的に結合されたデータバス、および複数のＮ個のメモリモジュール４２４を含み、複数のＮ個のメモリモジュール４２４はそれぞれ、その対応するメモリモジュールバス４６０ａ、４６０ｂ、４６０
ｃ、４６０ｄによって中央スイッチに放射状または個別に電気接続される。

【００３１】好ましい実施態様において、メモリモジュール４２４は、データバスに放射状に接続される。 図５
Ａは、図３Ａと図３Ｂに示したような並列バス構成の高レベルな代表図を示す。 図５Ｂは、図４Ａ〜図４Ｃに示したような放射状アームバス構成の高レベルな代表図を示す。 図５Ａを参照すると、並列構成は、データバスに沿った分布負荷を有し、図示した構成では、メモリモジュール間のボードトレースの長さはｑである。 これと対照的に、放射状構成は、各負荷に接続されたアームを有する中央ハブまたはスイッチを含み、メモリコントローラから見た図５Ａのボードトレースｑの有効長はゼロであり、ポイントツーポイントバスを提供する。

【００３２】図４Ａを参照すると、中央スイッチング手段４２９は、マザーボード４２５に取り付けられることが好ましく、様々なメモリモジュールへの接続のトレース密度を小さくするためにメモリモジュールの中心位置にあることが好ましい。 メモリデバイス４２２は、メモリモジュールを単に追加するか、またはメモリデバイスのうちの一部またはすべてを交換することによりメモリシステムの構成を容易に変更することができる脱着可能なメモリモジュール４２４に取り付けられることが好ましい。 各メモリモジュール４２４は、コネクタ４２６によってマザーボード４２５に機械的に結合される。 コネクタ４２６もメモリコントローラとメモリデバイスとの間のすべての電気接続を提供する。 電気接続は、メモリモジュール上のデータバス部分４２８の間の相互接続を含む。 電気接続はまた、アドレスバス接続（図示せず）
とスイッチ制御線接続（図示せず）を含む。

【００３３】図４Ａを参照すると、メモリコントローラ４２１（ＣＰＵでも専用メモリコントローラでもどちらでもよい）は、データバス４２７に電気接続される。 コントローラ４２１は、メモリモジュール上の多数のメモリデバイス４２２に選択的にアクセスする。 メモリモジュール上のデバイス４２２は、データバス４２７に沿って、直列、並列、またはその２つのなんらかの組合せで接続されてもよい。 メモリデバイスは、読取り専用メモリ（ＲＯＭ）またはランダムアクセスメモリ（ＲＡＭ）
を含むことができ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）であることが好ましい。 メモリコントローラはまた、中央スイッチング手段を使用して、それぞれのメモリデバイスを、個別にまたは小さいグループで、データバスから選択的に電気的に結合し分離する。
中央スイッチは、データバスに電気接続される他に、制御線（図４Ａには図示せず）によってコントローラに電気的に接続される。

【００３４】図４Ｂは、図４Ａに示した放射状アームメモリバス構成の電気的等価物を示す概略図である。 図４
Ｂは、データバスが一連の伝送線と電気的に等価であることを示すのに役立つ。 分かりやすくするために、図４
Ａに示した項目の電気的等価物を、図４Ｂに、接尾文字「Ａ」を付けて図４Ａの項目と同じ参照番号で示す。 さらに、分かりやすくするために、データバスは、１つのデータ線として示す。 実際には、データバスは、一般に、並列に延びる多数のデータ線を含む。

【００３５】図４Ｂを参照すると、中央スイッチ４２９
Ａに電気的に結合されたメモリコントローラ４２１Ａが示される。 終端抵抗４６３は、コントローラ４０２Ａと中央スイッチ４２９に電気的に直列に接続される。 図４
Ｂに示した実施態様において、中央スイッチは、各メモリモジュールが２つのメモリデバイスを含む４つ（Ｎ＝
４）のメモリモジュールに電気接続される。 しかしながら、代替の実施態様において、メモリモジュールの数と各メモリモジュール上のメモリデバイスの数は、システム要件を満たすように変更することができる。

【００３６】本発明によるメモリ構成は、拡大縮小が可能であり、したがって、Ｎが小さいほど必要なトレース面積が小さくなるため、メモリシステムが小さくなるほどシステムの複雑さとそれによるシステムコストは少なくなる。 各チャネルからの同じデータビット（すなわち、データビット０チャネル４６０ａ〜４６０ｄ）を一緒に経路指定することによって使用される面積をさらに小さくするためにトレース密度が高められる。 図４Ｂに示した実施態様において、メモリ構成は、４つのスポークまたはアームを有する。 すなわち、メモリバスは、４
つの異なるデータメモリチャネルを有し、また４つの異なるメモリモジュールに結合される。 しかしながら、アームの数は、システム要件により容易に修正することができる。

【００３７】現在のコンピュータシステムの場合、ローエンドシステムは、２〜４つのアームを有することが好ましく、ハイエンドシステムは、４〜８つのアームを有することが好ましい。 しかしながら、この数は９以上に拡大されることが可能である。 本発明の１つの実施態様において、サーバシステムは、９つのＤＩＭＭ（対）を含むハイエンドシステムである。 ６４ＧＢのメモリの場合、９対のＤＩＭＭの実施態様は、１６個の４ＧＢ Ｓ
ＤＲＡＭ ＤＩＭＭを使用して実現される。 あるいは、
３２ＧＢのメモリの場合、８対のＤＩＭＭの実施態様は、１６個の２ＧＢ ＳＤＲＡＭを使用して実現される。 冗長系における予備メモリとして、６４ＧＢメモリにおいて７２ビットバスセクションごとに２つの追加のＤＩＭＭが使用されることがある。

【００３８】インピーダンス４２８Ａは、中央スイッチ４２９からメモリデバイス４２２への伝送負荷を表す。
したがって、インピーダンス４２８Ａは、中央スイッチからコネクタまでのボードトレースによるインピーダンスと、コネクタによるインピーダンスと、コネクタからアクセスされているメモリデバイスまでのボードトレースのインピーダンスとを含む。 一般に中央スイッチからメモリモジュールのコネクタまでのボードトレースの長さ（ひいてはそれに対応する遅延）が異なるため、様々なメモリモジュール４３４ａ、４３４ｂ、４３４ｃ、４
３４ｄまでの伝送線遅延は異なることがあるが、４つのデータビットの各グループ内のデータおよびデータストローブの長さは同じである。

【００３９】図４Ｂと図３Ｂに示したメモリ構成のスイッチング要素とメモリコントローラの接続を比較すると、図４Ｂに示したメモリ構成には、メモリモジュール間のボードトレースを表すインピーダンスであるインピーダンス３３３ｂ、３３３ｃ、および３３３ｄがないことが明らかである。 これらのインピーダンス３３３ｂ、
３３３ｃおよび３３３ｄの除去により、データバス上の容量性負荷が明らかに減少し、一般にバスのデータ伝播速度が実質的に速くなる。 このモジュール間インピーダンス（３３３ｂ、３３３ｃ、３３３ｄ）の除去は、ボードに接続されたメモリモジュールの数が増えるほど大幅に大きくなり、過去においてはシステムメモリサイズを制限する要因であった。

【００４０】さらに、モジュール間インピーダンスの除去は、図３Ａと図３Ｂに示したメモリ構成において重大な問題であった「くし型フィルタ」効果をなくすのに役立つ。 前に説明したように、くし型フィルタ効果は、ボード部分４２７Ａから分かれるモジュール部分４２８Ａ
によって形成される伝送線スタブによるものである。 図３Ａと図３Ｂに示した実施態様において、ボード部分３
２７Ａは、要素３３３ａ、３３３ｂ、３３３ｃ、３３３
ｄから構成される。 図４Ｂの構成からモジュール間要素３３３ｂ、３３３ｃおよび３３３ｄの除去により、モジュール部分が分かれるボード部分がなくなり、本質的にくし型フィルタ効果がなくなる。 アクティブＤＲＡＭまでのトレースがバス上にスタブを形成しないため、くし型フィルタ効果がなくなる。

【００４１】図４Ａ〜図４Ｄに示したメモリ構成によって提供されるポイントツーポイントバスは、伝送線反射を大幅に減少させるためメモリシステム設計をより容易にする。 さらに、このメモリ構成の「スタブレス」ポイントツーポイントアームは、容量性負荷を大幅に減少させるため、より高速なデータ転送速度を可能にする。 くし型フィルタ効果がなくなるため、システムをメモリモジュールの最大周波数の近くで動作させることができる。 したがって、ポイントツーポイントバス構成は、コアＤＤＲ周波数「近く」でのクロッキングを可能にする。 あるいは、ＳＤＲ周波数が使用される場合は、一定の速度でマージンを大幅に大きくすることができる。

【００４２】中央スイッチからコントローラまでの直接リンクと中央スイッチからメモリデバイスまでの直接リンクの組合せ（メモリモジュールの中央スイッチへの放射または接続による）は、ポイントツーポイントバスを提供する。 コントローラと中央スイッチの接続によるインピーダンスについては、前の節で説明した。 中央スイッチは、単一のメモリモジュール上のメモリデバイスをデータバスに選択的に結合するために、メモリコントローラと協働で動作する。 メモリデバイスがアクセスされていないとき、メモリモジュールは、データバスから切り離される。 アクセスされているメモリモジュールだけがデータバスに電気的に結合されるため、スイッチング手段と並列に接続された他のメモリモジュールの容量性負荷は、データバスに負荷をかけない。 このデータバスへのメモリデバイスの選択的な結合により、個別のメモリモジュールによるデータバス上の容量性負荷の影響が減少する。

【００４３】図４に示した単一の中央スイッチ構成により、バスは、図１〜図３に示した分布負荷システムではなく事実上ポイントツーポイント接続になることを可能にする。 さらに、データバスの１つのアームに何かが生じる場合に、基本的に各アームが互いに独立しているという簡単な理由により、他のモジュールに影響を及ぼすことはない。 これは、システムの信頼性を高める。 これは、サーバが大量のメモリを必要とするためサーバシステムにおいて特に重要であり、したがって、これは、多くのメモリモジュールのうちの１つが故障してもシステムの残りの部分が依然として機能できる場合に大きな利益となる。 一般に、モジュールのうちの１つに関する問題は、主データバスに影響を及ぼさない。 たとえば図２
および図３Ａ〜図３Ｂに示した構成では、２つのコネクタピンが短絡するとバス全体が短絡する。 しかしながら、図４Ａ〜図４Ｃのメモリ構成において、故障したコネクタを有するメモリモジュールは、メモリシステムにおいて利用できなくなるが、残りのメモリモジュールは、コネクタ短絡による影響を受けないままである。

【００４４】さらに、本発明のメモリ構成は、メモリモジュールを互いに分離するのに役立ち、したがって適切なサポートにより、メモリモジュールを容易にホットスワップすることができ、これによりメモリシステムの高稼働率機能が高くなる。 各モジュールが、データバスの独立したアームまたはチャネル上に配置され、より高レベルの冗長性が可能になるため、ホットスワップが部分的に実現可能である。 ホットスワップを可能にするデータバスと同じようにコマンドアドレスバスを修正し、またはサポートしなければならないことがある。

【００４５】図４Ｃの中央スイッチ構成が、メモリモジュールバス４６０ａ、４６０ｂ、４６０ｃ、４６０ｄ間の分離を提供するため、冗長なメモリ機構を柔軟に実現することができる。 メモリモジュール構成の分離は、実質的に性能に影響を及ぼすことなしに、直列または並列バスでは不可能である冗長システムまたはより高性能なシステムにおいて使用することができる同時のメモリ動作（読取り、書込み）を可能にする。 図４Ｃに示した構成により、システムは、複数のメモリモジュールに同時に同じデータを一度に書き込むことができる。 これは、
メモリミラーリングのとき、冗長システムにおいて「予備」モジュール上にデータを再構築するとき、あるいは複数のメモリチャネルに同じデータを同時に書き込むメモリ初期化（ＥＣＣメモリ初期化など）を実行するときに有効である。 また、より高い性能の用途の場合、複数のメモリモジュールから中央スイッチへ一度に読み取ることができる。

【００４６】中央の１：Ｎスイッチング手段４２９Ａ
は、データ選択手段４４４とデコーディング手段４４２
とを含むことが好ましい。 中央スイッチング手段は、好適には中央スイッチが従来のメモリコントローラまたはＣＰＵで実行されていた論理機能の一部を実行するインテリジェントスイッチである。

【００４７】図４Ｃを参照し、スイッチング手段の好ましい実施態様をより詳細に示す図４Ｂに示された放射状アームメモリバス構成の概略図を示す。 中央スイッチング手段は、デコーディング手段４４２とデータ選択手段４４４とを含む。 デコーディング手段４４２は、一般に、デコーダへの入力が、アクセスされるモジュールを示す２ビットアドレスである２：４デコーダである。 デコーディング手段への入力４４３は、アクセスされるべきメモリモジュールをスイッチに示す２ビットアドレスである。 好ましい実施態様において、複数のメモリモジュールに同時にアクセスすることができる。

【００４８】デコーディング手段の出力は、クロック信号４６０とチャネルイネーブル信号４６２の２つの信号を含むことが好ましい。 データ選択回路４４４は、一般に、（この場合はＮ＝４の）複数のチャネル選択回路４
４５を含む。 クロック信号４６０とチャネルイネーブル信号４６２は両方とも、チャネル選択回路４４５への入力である。 各チャネル選択回路は、双方向のデータフローを可能にするトランシーバ回路を含む。 トランシーバは、２つのＣＭＯＳバッファ回路４６５、４６７を含むことが好ましい。 一方のＣＭＯＳバッファ回路にデータが流れているとき、他方のＣＭＯＳバッファ回路は高レベルである。

【００４９】例として、高レベル信号がイネーブルされていると仮定する。 チャネルイネーブル信号が高レベルのとき、両方のＣＭＯＳバッファ回路がイネーブルになる。 特定のアームまたはチャネルが選択された場合、クロック信号とチャネルイネーブル信号は両方とも、その特定のメモリモジュールに関して高レベルでなければならない。

【００５０】中央スイッチ回路の各チャネルは、１対の刻時レジスタ４６６を含んでもよいが必ずしも必要ではない。 待ち時間をきわめて少なくしなければならない場合は、実施において刻時レジスタ４６６はなくてもよい。 刻時レジスタ４６６は、データバス４２７とメモリモジュールバス４６０ａ、４６０ｂ、４６０ｃ、４６０
ｄのデータ転送速度に差があるときに、データをバッファリングするのに有効である。 さらに、中央スイッチは、１対の終端抵抗器４６３を含むことが好ましい。 したがって、メモリ構成は、基本的に、終端抵抗器４６３
ａから４６３ｂへの一方のポイントツーポイントバスと、終端抵抗器４６３ｃから４６３ｄへの他方のポイントツーポイントバスの２つのポイントツーポイントバスで説明することができる。

【００５１】図４Ｄを参照すると、図４Ｂに示した放射状アームメモリバス構成の代替の実施態様の概略図が示される。 図４Ｄに示した実施態様は、複数のＦＥＴスイッチを中央スイッチの実施に使用する。 示された４つのアームメモリチャネル構成の場合、デコーディング手段４４２は、２：４デコーダであることが好ましい。 デコーダ４４２への入力は、４つのＦＥＴスイッチ４５１
ａ、４５１ｂ、４５１ｃおよび４５１ｄのうちのどのスイッチがオンであるかをスイッチに示す２ビットアドレスである。 本発明の中央スイッチによる制御は、デコーディングがＤＩＭＭモジュール上のＤＩＭＭレジスタの前に実行されるため、図３Ａと図３Ｂに示した実施態様よりも好ましい。 この早期のデコーディングは、このデコーディングが一般にタイミングのクリティカルパスにおいて生じるため重要である。

【００５２】図４Ｄに示した実施態様において、中央スイッチのデータ選択回路は、複数（一般にＮ個）のＦＥ
Ｔスイッチ４５１ａ〜４５１ｄを含む。 各ＦＥＴスイッチ４５１ａ〜４５１ｄは、電気的に結合された状態と電気的に切り離された状態に切り換えることができる２つの端子４５０、４５４と、データ選択端子４５２の３つの端子を含む。 データ選択端子は、デコーダの出力に電気接続される。 好ましい実施態様において、１つのデコーダ出力だけが高レベルであり、これは、結合されたメモリデバイスと共にメモリ動作中に４つのＦＥＴスイッチのうちのどのスイッチが閉じられているかを示す（電気的に結合された端子４５０と４５４）。 ＦＥＴスイッチが開いている場合（デコーダ出力が低レベルであり、
端子４５０および４５４が電気的に切り離されている）、開いたスイッチと関連したメモリデバイス４２２
Ａは、中央スイッチ４２９Ａとメモリデバイス４２２Ａ
との間のデータバス部分であるようにデータバスから切り離される。 すなわち、データバスから電気的に切り離されたメモリデバイスは、データを送ったりまたは受け取ったりすることができない。 さらに、データバスから切り離されたメモリデバイス４２２Ａの容量性負荷は、
スイッチが開いているためデータバスの全体の容量性負荷に奇与しなくなる（メモリコントローラおよび結合されたメモリデバイスから見たとき）。

【００５３】図４Ｄに示したスイッチング手段の実施態様では、複数のＦＥＴスイッチが使用されることが好ましい。 しかしながら、代替の実施態様が可能である。 たとえば、好ましい実施態様において、最大の通し遅延（through delay）を２．０ナノ秒未満に制限できる場合は、ＳＳＴＬ−２論理スイッチを使用することができる。 一般に、ＳＳＴＬ−２論理スイッチは、一般に方向制御用に追加のピンを必要とする場合でも好ましく、追加の高稼働率機能をサポートする。 さらに、ＳＳＴＬ−
２論理の実施は一般に、バスをセグメント化することになり、内蔵ＶＴＴターミネータの備えを必要とする。 図４Ｄに示した代替の実施態様の場合、メモリモジュールバス４６０ａ、４６０ｂ、４６０ｃ、４６０ｄが分離されていないため一度に１つのメモリモジュールからしか読み取ることができず、したがってメモリチャネルバスによって速度、ひいてはシステムの性能が制限される。
さらに、図４Ｄに示した実施態様では、同時の読み書きを行うことができない。

【００５４】好ましい実施態様において、各ビットスライス中央スイッチングデバイスは、長方形の９６ボールＪＥＤＥＣ ＬＦ ＢＧＡロジックパッケージの内部に収まる。 ９６ボールＬＦＢＧＡパッケージはそれぞれ、
９×５ビットデータ部分に割り振られた５０個のボールと、ＳＳＴＬ−２クロックおよびクロックに割り振られた２個のボールと、選択制御線に割り振られた１０個のボールと、リセット制御線に割り振られた１個のボールを含む。 パッケージ内の残りのボールは、電源とアースに割り振られたものである。 チェックビット、データおよびストローブを含む７２ビット幅バスを提供するのに１８個の装置で十分である。 １８のＤＩＭＭを有する１
４４ビット幅のシステムには、３６個のデバイスを必要とすることになる。 さらに、内部スイッチ４４４制御部を駆動する前に外部選択ロジックの同期をとりなおすことができるように、各デバイスには、ＣＬＫおよびＣＬ
Ｋ＿ＩＮＰＵＴによって駆動されるＳＥＬ線上の内部レジスタがなけばならない。

【００５５】この放射状メモリデータバス構造の総合的な目標は、各アームのメモリモジュールが現場交換可能ユニット（field replaceable unit）すなわちＦＲＵであり他のモジュールから独立しているように小さいメモリシステムと同じ待ち時間および帯域幅を有する大きいメモリシステム（すなわち、６４ＧＢ）をサポートすることである。 有利な目標は、様々なメモリチャネルまたはアームが１４４ビット幅バス（ポイントツーポイント）において２００ＭＨｚで動作することである。 これは、ａ）サーバ内の待ち時間を減少させ、ｂ）グラフィックサブシステム性能を提供する７．２ＧＢ／秒のデータ転送速度を提供する。 この構成は、メモリデータバスの容量性負荷を減少させると、データがメモリコントローラからメモリデバイス（ダイナミックランダムアクセスメモリチップ等）へまたはその逆に伝わる全体の速度が速くなるという概念に基づく。 さらに、データバスの容量性負荷が小さいため、データバスを構成する各データ線は、状態をより速く変化させることができる。 データをより迅速にデータバスに流すことができるようにすることにより、ＣＰＵ速度とメモリチップ速度の進歩をより有効に利用することができる。

【００５６】メモリ構成の好ましい実施態様において、
各ＤＩＭＭモジュールに終端回路が接続される。 終端回路の機能は、データバス上のインピーダンスをインピーダンス整合させて伝送線反射を最小にすることである。
一般に抵抗器である終端回路は、データバスの端部に配置されることが好ましい。

【００５７】図４Ｃを参照すると、好ましい実施態様において、終端回路は、メモリデバイス４２２Ａと直列に接続された抵抗器である。 代替の実施態様において、終端回路は、メモリデバイス４２２Ａに最も近い各モジュール部分４２８Ａの端部の間にあるポイントＴ１においてメモリデバイス４２２Ａと並列に接続される。

【００５８】以上の説明が例示することを意図しており、制限することを意図していないことを理解されたい。 たとえば、ＲＡＭＢＵＳ構成において並列のメモリデバイスは、直列のメモリデバイスと置き換えられる。
したがって、本発明の範囲は、以上の説明を参照して決定されるべきではなく、特許請求の範囲により権利が与えられる全範囲の等価物と共に特許請求の範囲を参照して決定されるべきである。

【００５９】以下においては、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。 １． メモリコントローラと、データバスによって前記メモリコントローラに電気的に結合された単一の中央スイッチと、それぞれが少なくとも１つのメモリデバイスを含む、複数のＮ個のメモリモジュールとを含み、前記単一の中央スイッチと前記メモリコントローラとがマザーボードに取り付けられ、前記複数のＮ個のメモリモジュールのそれぞれが、その対応するメモリモジュールバスによって前記単一の中央スイッチに放射状に接続される、メモリ構成。 ２． 前記単一の中央スイッチが、デコーディング手段とデータ選択手段とを含む上記１に記載のメモリ構成。 ３． 前記単一の中央スイッチが、双方向のデータフローを可能にするトランシーバ回路を含む上記２に記載のメモリ構成。 ４． 前記トランシーバ回路が、並列に反対方向に向いて接続された一対のＣＭＯＳバッファ回路を含み、前記Ｃ
ＭＯＳバッファ回路への入力が、クロック信号とチャネルイネーブル信号を含む上記３に記載のメモリ構成。 ５． 前記ＣＭＯＳバッファ回路と直列に接続された刻時バッファレジスタをさらに含む上記４に記載のメモリ構成。 ６． 前記メモリコントローラと前記中央スイッチとの間に直列に接続された第１の終端回路と、前記中央スイッチと各メモリモジュール上の前記メモリデバイスとの間に直列に接続された、各メモリモジュール用の第２の終端回路とをさらに含む上記１に記載のメモリ構成。 ７． 前記単一の中央スイッチが、各メモリモジュールごとに第３と第４の終端回路を含み、前記第３の終端回路が、前記メモリコントローラとチャネル選択回路のそれぞれの入力との間に直列に接続され、前記第４の終端回路が、前記チャネル選択回路のそれぞれの出力と各メモリモジュール上の前記メモリデバイスとの間に直列に接続された上記６に記載のメモリ構成。 ８． 前記データ選択手段が、並列に接続された複数のＦ
ＥＴスイッチを含み、前記ＦＥＴスイッチへの入力が、
前記デコーディング手段の出力である上記２に記載のメモリ構成。

【００６０】

【発明の効果】本発明により、メモリデバイスによる容量性負荷の影響を依然として最小限に抑えつつボードトレースによる容量性負荷を最小にするメモリ構成が提供される。 また、本発明により高稼働率の故障許容システムにおいて使用できるように、高稼働率機能も提供され、メモリモジュールの改善された分離も提供される。

【図面の簡単な説明】

【図１Ａ】従来のＤＤＲまたはＳＤＲ構成メモリシステムの側面図を示す。

【図１Ｂ】図１Ａに示したメモリシステムの電気的等価物を示す概略図である。

【図２】従来のＲＡＭＢＵＳメモリシステムの電気的等価物を示す概略図である。

【図３Ａ】スイッチ制御式モジュール構成の側面図である。

【図３Ｂ】図３Ａに示したスイッチ制御式モジュール構成の電気的等価物を示す概略図である。

【図４Ａ】本発明の放射状アームメモリバス構成の側面図である。

【図４Ｂ】図４Ａに示した放射状アームメモリバス構成の電気的等価物を示す概略図である。

【図４Ｃ】スイッチング手段の好ましい実施態様を詳細に示す図４Ｂに示した放射状アームメモリバス構成の概略図である。

【図４Ｄ】スイッチング手段の代替実施態様をより詳細に示す図４Ｂに示した放射状アームメモリバス構成の概略図である。

【図５Ａ】図３Ａと図３Ｂに示したような並列バス構成の高レベルの代表図である。

【図５Ｂ】図４Ａ〜図４Ｃに示したような放射状アームバス構成の高レベルの代表図である。

【符号の説明】

421 メモリコントローラ 422 メモリデバイス 424 メモリモジュール 425 マザーボード 426 コネクタ 429 中央スイッチ 442 デコーディング手段 444 データ選択回路 445 チャネル選択回路 463 終端抵抗器 465、467 ＣＭＯＳバッファ回路 466 刻時レジスタ