RTX3090 4枚+EPYC 7742水冷化事例

CPUとして64コアAMD EPYC 7742 (TDP 225W)、GPUとして4枚のNVIDIA GeForce RTX 3090 (TDP 350W)をタワー型ケースに搭載し、当社仕様水冷にて負荷テストを行った際の事例です。

概要

タワー型ケース内に64コアEPYC 7742を1基搭載、GPUとしてGeForce RTX 3090を4枚搭載して、CPUとGPUの両方を水冷化して負荷テストを実施しました。負荷テストではOSにUbuntu 20.04 LTSの最新版を用いています。CPUに高負荷をかけるために、分子動力学アプリケーションのNAMD(STMVベンチマークの入力ファイルを改変)を実行させています。また、GPUに負荷をかけるためのツールとしてはオープンソースのgpu-burnを使用しています。CPUおよびGPUの両方に高負荷をかけた状態を保って48時間以上連続稼動させています。負荷テスト中はnvidia-smiを用いて各GPU温度、消費電力をはじめとした各種GPU情報を30秒毎に取得し、lm-sensorsを用いてEPYC CPUの温度 (Tctl, Tdieなど)を取得しています。

負荷テストの結果、室温25℃以下の環境であれば以下のようにCPUおよびGPU 4枚の全てを80℃未満に抑えることができました。また負荷テスト中の温度変化の傾向から、室温がCPUおよびGPUの温度に及ぼす影響が非常に大きいことも分かりました。

部品 温度
CPU(水冷)

NAMDのSTMV benchmarkを64コアで並列計算
(※SMTはDisabledに設定済)
CPU温度:最大76.9℃
GPU(水冷)

gpu-burnをfp32モードで実行
GPU0温度:最大75℃
GPU1温度:最大78℃
GPU2温度:最大78℃
GPU3温度:最大76℃

テスト結果

下のグラフは負荷テスト時のCPUおよびGPUの温度の時間変化を示しています。グラフ中のGPU 0 TempからGPU 3 Tempはnvidia-smiで取得した各GPUの温度、EPYC 7742 Tempはlm-sensorsで取得したCPU温度(Tdie)です。

画像をクリックすると別ウィンドウで拡大表示されます

48時間連続稼動させてGPUの温度が最大78℃、CPUの温度が最大77℃でした。室温は最大25℃程度ですが一定に保たれてはおらず、他のGPU計算機での負荷テストによって室温が若干上がったり、室内の換気を行った際に室温が低下するなど多少の変動があります。特に39時間経過後は長時間換気を行ったためGPU温度が大きく低下し、換気を終えた後は室温上昇に伴ってGPU温度も上がっています。室温が25℃を超えるとGPUの冷却が追いつかずにGPUの性能が低下する可能性があるため、本システムの稼動時は室温を25℃以下に保つことが重要となります。

CPU EPYC 7742とGPU GeForce RTX 3090 4枚を水冷にした場合でもCPUおよびGPUの温度を80℃未満に抑えてフル稼働させることできます。動作音は多少大きいですが、サーバー筐体に空冷のRTX 3090を4枚搭載した際のように比較的口径の小さなファンが高速回転するわけではなく高周波数帯の音はそれほど大きくないため、少し場所の離れた居室の隅や実験室等に置かれる分には支障のないレベルと思われます。

GPU水冷モデル

実際の構築事例としてご紹介しましたようにEPYC CPU (TDP 225W) 1基+RTX 3090 (TDP 350W) 最大4枚の水冷に対応しております。GPUの搭載枚数等に応じて搭載するストレージや電源等に制約がありますので詳細な仕様はお見積りの際にご相談となります。

また、GeForce RTX 3090、RTX 3080を最大4枚搭載可能なモデルの他に、NVIDIA A100を最大5枚まで搭載可能なモデルもあります。各モデルの詳細に関しては製品ページをご参照ください。

AMD EPYC
GeForce RTX 3090 最大4枚搭載
タワー型GPU計算機

  • AMD EPYC 7002を1基搭載
  • NVIDIA RTX 3090/RTX 3080を最大4台搭載可能なタワー型
  • 4台のGPUをPCI-E Gen4 X16フルレーン接続

製品モデル一覧

Intel Core i9
GeForce RTX 3090 最大4枚搭載
タワー型GPU計算機

  • Intel Core i9を1基搭載
  • NVIDIA RTX 3090/RTX 3080を最大4台搭載可能なタワー型
  • 4台のGPUはPCI-E Gen3 X16でPCI-Eスイッチ経由での接続

製品モデル一覧

AMD Threadripper Pro
GeForce RTX 3090 最大4枚搭載
タワー型GPU計算機

  • AMD Threadripper Proを1基 搭載
  • GeForce RTX 3090を最大4台搭載可能、研究室で利用できるように騒音を低減したタワー型
  • 4台のGPUをPCI-E Gen4 X16フルレーン接続

製品モデル一覧

AMD EPYC / Threadripper Pro
PCI-E NVIDIA A100 最大5枚搭載
タワー型GPU計算機

  • AMD EPYC or Threadripper PROを1基 搭載
  • NVIDIA A100 PCIeを最大5台搭載可能、研究室で利用できるように騒音を低減したタワー型
  • 5台のA100をPCI-E Gen4 X16フルレーン接続

製品モデル一覧

Intel Xeon 1基
PCI-E NVIDIA A100 最大2枚搭載
タワー型GPU計算機

  • Intel Xeon Scalable Processor (Icelake)を1基搭載
  • PCI-E NVIDIA A100を最大2台搭載可能、研究室で利用できるように騒音を低減したタワー型
  • 2台のGPUをPCI-E Gen4 X16フルレーン接続

製品モデル一覧