NVIDIA HGX™ Supercomputing

End-to-End beschleunigte Computing-Plattform

Das NVIDIA HGX™ H200 kombiniert H200 Tensor Core GPUs mit Hochgeschwindigkeitsverbindungen, um die hochoptimierte und performante Server zu bilden. Konfigurationen von bis zu acht GPUs bieten eine Beschleunigung mit bis zu 1.1 Terabyte (TB) GPU-Speicher und einer aggregierten Speicherbandbreite von 38 Terabyte pro Sekunde (TB/s). Dies kombiniert mit 32 PetaFLOPS Leistung schafft eine beschleunigte leistungsstarke Scale-up-Serverplattform für KI und Hochleistungs-Computing (HPC).

Sowohl HGX™ H200 als auch HGX™ H100 beinhalten Netzwerklösungen mit Geschwindigkeiten von bis zu 400 Gigabit pro Sekunde (Gb/s) und nutzen NVIDIA Quantum-2 InfiniBand und Spectrum™-X Ethernet für optimierte KI-Leistung. HGX™ H200 und HGX™ H100 beinhalten auch NVIDIA® BlueField®-3 Data Processing Units (DPUs), um Cloud-Netzwerke, zusammensetzbaren Speicher, Zero-Trust-Sicherheit und GPU-Compute-Elastizität in hyperskalierbaren KI-Clouds zu ermöglichen.

1.1 TB aggregierter HBM3e-Speicher sorgen für außerordentliche Beschleunigung von HPC- und Inferenzworkloads.

Bis zu 8 H200 SXM GPUs können in einem HGX™ System verbaut werden, und stellen in Kombination mit zwei leistungsstarken AMD / Intel Server Prozessoren eine enorme Rechenleistung für eine große Bandbreite an möglichen Workloads zur Verfügung.

H200 NVL Datenblatt Beratung anfordern

Deep Learning Inferenz: Leistung und Vielseitigkeit

KI löst eine Vielzahl von geschäftlichen Herausforderungen mit ebenso vielfältigen neuronalen Netzwerken. Ein KI-Inferenz-Beschleuniger muss nicht nur hohe Leistung erbringen, sondern auch die Vielseitigkeit bieten, die erforderlich ist, um diese Netzwerke an jedem Ort zu beschleunigen, an dem Kunden sie einsetzen möchten – vom Rechenzentrum bis hin zum Edge.

HGX™ H200 und HGX™ H100 erweitern NVIDIAs Martkplatzierung im Bereich Inferenz.

Deep Learning Training: Leistung und Skalierbarkeit

NVIDIA H200 und H100 GPUs verfügen über die Transformer Engine mit FP8-Präzision, die bis zu 5-mal schnelleres Training für große Sprachmodelle im Vergleich zur vorherigen GPU-Generation bietet. Die Kombination aus der vierten Generation von NVLink – die 900 GB/s GPU-zu-GPU-Verbindung bietet – PCIe Gen5 und der NVIDIA Magnum IO™-Software ermöglicht eine effiziente Skalierbarkeit, von kleinen Unternehmen bis hin zu riesigen, einheitlichen GPU-Clustern. Diese Infrastrukturfortschritte, die in enger Zusammenarbeit mit der NVIDIA AI Enterprise-Software-Suite arbeiten, machen HGX™ H200 und HGX™ H100 zu einer leistungsstarken KI-Computing-Plattform.

Beschleunigen Sie Ihre HPC-Performance

Die Speicherbandbreite ist entscheidend für Hochleistungsrechenanwendungen, da sie schnellere Datenübertragungen ermöglicht und komplexe Verarbeitungsengpässe reduziert. Bei speicherintensiven HPC-Anwendungen wie Simulationen, wissenschaftlicher Forschung und künstlicher Intelligenz sorgt die höhere Speicherbandbreite der H200 dafür, dass Daten effizient abgerufen und verarbeitet werden können. Dies führt zu einer bis zu 110-mal schnelleren Zeit bis zu den Ergebnissen im Vergleich zu CPUs.

Beschleunigung von HGX™ mit NVIDIA Networking

Das Rechenzentrum ist die neue Recheneinheit, und Netzwerke spielen eine integrale Rolle bei der Skalierung der Anwendungsleistung. In Kombination mit NVIDIA Quantum InfiniBand liefert HGX™ herausragende Leistung und Effizienz, was die volle Nutzung der Rechenressourcen sicherstellt.

Für KI-Cloud-Rechenzentren, die Ethernet einsetzen, wird HGX™ am besten mit der NVIDIA Spectrum-X Netzwerkplattform verwendet, die hohe KI-Leistung über Ethernet ermöglicht. Sie verfügt über Spectrum-X-Switches und BlueField-3 DPUs für optimale Ressourcennutzung und Leistungsisolation und liefert konsistente, vorhersehbare Ergebnisse für Tausende von gleichzeitigen KI-Aufgaben in jeder Größenordnung. Spectrum-X ermöglicht fortschrittliche Cloud-Mandantenfähigkeit und Zero-Trust-Sicherheit. Als Referenzdesign hat NVIDIA Israel-1 entwickelt, einen generativen Hyper-Scale KI-Supercomputer, der mit Dell PowerEdge XE9680 Servern auf Basis der NVIDIA HGX™ 8-GPU-Plattform, BlueField-3 DPUs und Spectrum-4 Switches gebaut wurde.