NVIDIA HGX™ Supercomputing

End-to-End beschleunigte Computing-Plattform

Das NVIDIA HGX™ B200 kombiniert B200 Tensor Core GPUs mit Hochgeschwindigkeitsverbindungen, um die hochoptimierte und performante Server zu bilden. Konfigurationen von bis zu acht GPUs bieten eine Beschleunigung mit bis zu 1.4 Terabyte (TB) GPU-Speicher und einer aggregierten Speicherbandbreite von 14.4 Terabyte pro Sekunde (TB/s). Dies kombiniert mit 144 PetaFLOPS Leistung schafft eine beschleunigte leistungsstarke Scale-up-Serverplattform für KI und Hochleistungs-Computing (HPC).

Sowohl HGX™ B200 als auch HGX™ H200 beinhalten Netzwerklösungen mit Geschwindigkeiten von bis zu 400 Gigabit pro Sekunde (Gb/s) und nutzen NVIDIA Quantum-2 InfiniBand und Spectrum™-X Ethernet für optimierte KI-Leistung. HGX™ B200 und HGX™ H200 beinhalten auch NVIDIA® BlueField®-3 Data Processing Units (DPUs), um Cloud-Netzwerke, zusammensetzbaren Speicher, Zero-Trust-Sicherheit und GPU-Compute-Elastizität in hyperskalierbaren KI-Clouds zu ermöglichen.

1.4 TB aggregierter HBM3e-Speicher sorgen für außerordentliche Beschleunigung von HPC- und Inferenzworkloads.

Bis zu 8 B200 SXM GPUs können in einem HGX™ System verbaut werden, und stellen in Kombination mit zwei leistungsstarken AMD / Intel Server Prozessoren eine enorme Rechenleistung für eine große Bandbreite an möglichen Workloads zur Verfügung.

B200 Datenblatt Beratung anfordern

Deep Learning Inferenz: Leistung und Vielseitigkeit

KI löst eine Vielzahl von geschäftlichen Herausforderungen mit ebenso vielfältigen neuronalen Netzwerken. Ein KI-Inferenz-Beschleuniger muss nicht nur hohe Leistung erbringen, sondern auch die Vielseitigkeit bieten, die erforderlich ist, um diese Netzwerke an jedem Ort zu beschleunigen, an dem Kunden sie einsetzen möchten – vom Rechenzentrum bis hin zum Edge.

HGX™ B200 und HGX™ H200 erweitern NVIDIAs Martkplatzierung im Bereich Inferenz.

Echtzeit-Inferenz für die nächste Generation großer Sprachmodelle

Die HGX B200 erreicht eine bis zu 15-fach höhere Inferenzleistung im Vergleich zur vorherigen NVIDIA Hopper™-Generation für große Modelle wie GPT MoE 1.8T. Die zweite Generation der Transformer Engine nutzt die maßgeschneiderte Blackwell Tensor Core-Technologie in Kombination mit TensorRT™-LLM und den Innovationen des NVIDIA NeMo™-Frameworks, um die Inferenz für LLMs und Mixture-of-Experts (MoE)-Modelle zu beschleunigen.

Next-Level Trainingsleistung

Die zweite Generation der Transformer Engine, die FP8 und neue Präzisionsformate unterstützt, ermöglicht ein beeindruckend 3-mal schnelleres Training für große Sprachmodelle wie GPT MoE 1.8T. Dieser Durchbruch wird durch die fünfte Generation von NVLink mit 1,8 TB/s GPU-zu-GPU-Verbindung, den NVSwitch-Chip, InfiniBand-Netzwerke und die NVIDIA Magnum IO-Software ergänzt. Zusammen gewährleisten diese Technologien eine effiziente Skalierbarkeit für Unternehmen und umfangreiche GPU-Computing-Cluster.

Nachhaltiges Computing

Durch die Einführung nachhaltiger Computing-Praktiken können Rechenzentren ihren CO₂-Fußabdruck und Energieverbrauch senken, während sie gleichzeitig ihre Wirtschaftlichkeit verbessern. Das Ziel des nachhaltigen Computings kann durch Effizienzsteigerungen mit beschleunigtem Computing auf Basis von HGX erreicht werden. Bei der Inferenzleistung für große Sprachmodelle (LLMs) steigert die HGX B200 die Energieeffizienz um das 12-fache und senkt die Kosten um das 12-fache im Vergleich zur Hopper-Generation.

Beschleunigung von HGX™ mit NVIDIA Networking

Das Rechenzentrum ist die neue Recheneinheit, und Netzwerke spielen eine integrale Rolle bei der Skalierung der Anwendungsleistung. In Kombination mit NVIDIA Quantum InfiniBand liefert HGX™ herausragende Leistung und Effizienz, was die volle Nutzung der Rechenressourcen sicherstellt.

Für KI-Cloud-Rechenzentren, die Ethernet einsetzen, wird HGX™ am besten mit der NVIDIA Spectrum-X Netzwerkplattform verwendet, die hohe KI-Leistung über Ethernet ermöglicht. Sie verfügt über Spectrum-X-Switches und BlueField-3 DPUs für optimale Ressourcennutzung und Leistungsisolation und liefert konsistente, vorhersehbare Ergebnisse für Tausende von gleichzeitigen KI-Aufgaben in jeder Größenordnung. Spectrum-X ermöglicht fortschrittliche Cloud-Mandantenfähigkeit und Zero-Trust-Sicherheit. Als Referenzdesign hat NVIDIA Israel-1 entwickelt, einen generativen Hyper-Scale KI-Supercomputer, der mit Dell PowerEdge XE9680 Servern auf Basis der NVIDIA HGX™ 8-GPU-Plattform, BlueField-3 DPUs und Spectrum-4 Switches gebaut wurde.

Technische Spezifikationen

Jetzt Kontakt aufnehmen und von unseren GPU Server Experten beraten lassen