Nach Volta und Ampere stellt NVIDIA auf der hauseigenen KI-Konferenz, der GTC 2022, ihre neue Enterprise GPU H100 auf Basis der Hopper Architektur vor. Laut NVIDIA handelt es sich bei der H100 um die "komplexeste GPU" der Firmengeschichte, deren Fokus stärker denn je auf KI und Machine-Learning liegt.

80 Milliarden Transistoren

Der GH100-Chip kommt mit einer Fläche von 814mm², 12mm² kleiner als der GA100, und das bei eineinhalbfacher Transitoranzahl. Gefertigt wird dieser wieder von TSMC, in einem eigens für NVIDIA optimierten Fertigungsverfahren mit dem Namen 4N, welches eine weiterentwickelte Form des N5-Prozesses darstellt.

4. Gen Tensor Cores: Wesentlich mehr Leistung für KI, Deep Learning und HPC Anwendungen

Die Hopper-Architektur arbeitet mit Tensor-Kernen der vierten Generation, und bietet Geschwindigkeiten, die die der A100 um das bis zu sechsfache übertreffen. So leistet die H100 bei FP64-Geschwindigkeiten 60 TeraFLOPS (SXM) bzw. 48 TeraFLOPS (PCIe), im FP16-Bereich schafft die SXM-Version 2.000 TeraFLOPS, die PCIe-Version 1.600 TeraFLOPS, ca. die dreifache Leistung der A100.

Bei den INT8-Geschwindigkeiten setzt sich die H100 noch weiter von ihrem Vorgänger ab. So kommt die SXM-Variante auf Geschwindigkeiten von bis zu 4.000 TOPS, PCIe auf 3.200 TOPS. Beide Ausführungen kommen mit einem internen GPU-Arbeitsspeicher von 80 GB. Die ausführlichen Spezifikationen der NVIDIA H100 PCIe finden Sie auf unserer Produktseite.

NVIDIA H100 vs A100 - technische Daten auf einen Blick

Modell NVIDIA-H100-SXM-Grafikkarte
H100 SXM
NVIDIA-H100-PCIe-Grafikkarte
H100 PCIe
NVIDIA-A100-PCIe-Grafikkarte
A100 PCIe
FP6430 TFLOPS24 TFLOPS9,7 TFLOPS
FP64-Tensor-Core60 TFLOPS48 TFLOPS19,5 TFLOPS
FP3260 TFLOPS48 TFLOPS19,5 TFLOPS
Tensor Float 32 (TF32)1.000 TFLOPS*800 TFLOPS*156 TFLOPS*
BFLOAT16-Tensor-Core2.000 TFLOPS*1.600 TFLOPS*312 TFLOPS*
FP16-Tensor-Core2.000 TFLOPS*1.600 TFLOPS*312 TFLOPS*
INT8-Tensor-Core4.000 TOPS*3.200 TOPS*624 TOPS*
GPU-Speicher80 GB HBM380 GB HBM2e80 GB HBM2e
GPU-Speicherbandbreite3.072 GB/s2.048 GB/s1.935 GB/s
Max Thermal Design Power (TDP)700 W350 W300 W
Mehr-Instanzen-GPU (MIG)Bis zu 7 MIG's mit 10 GBBis zu 7 MIG's mit 10 GBBis zu 7 MIG's mit 10 GB
FormfaktorSXMPCIe Gen5PCIe Gen4
Verfügbarkeit-
KonnektivitätNVLink: 900 GB/s / PCIe Gen5: 128 GB/sNVLink: 600 GB/s / PCIe Gen5: 128 GB/sNVLink: 600 GB/s / PCIe Gen4: 64 GB/s
ServeroptionenNVIDIA HGX H100-Partner und NVIDIA-zertifizierte Systeme mit 4 oder 8 GPU's, NVIDIA DGX H100 mit 8 GPU'sPartner und NVIDIA-zertifizierte Systeme mit 1–8 GPU'sPartner und NVIDIA-zertifizierte Systeme mit 1-8 GPUs
* Mit geringer Dichte dargestellt. Die Spezifikationen sind ohne geringe Dichte um die Hälfte niedriger. Vorläufige Spezifikationen. Änderungen vorbehalten.

Multi-Instance GPU (MIG)

Dank der NVIDIA H100 mit MIG können Infrastrukturmanager ihre GPU-beschleunigte Infrastruktur standardisieren und gleichzeitig GPU-Ressourcen mit größerer Granularität bereitzustellen, um Entwicklern sicher die richtige Menge an beschleunigter Rechenleistung zur Verfügung zu stellen. So kann die Nutzung der GPU-Ressourcen optimiert werden.

Möglich wird dies durch das Aufteilen der GPU in kleinere, vollständig voneinander isolierte Instanzen mit eigenem Speicher, eigenem Cache sowie Recheneinheiten. Die Hopper Architektur Hopper erweitert die Funktionalität von MIG durch die Unterstützung von Multi-User-Konfigurationen in virtualisierten Umgebungen - ideal für Cloud-Service-Provider-Umgebungen (CSP).

NVIDIA Confidential Computing

Moderne vertrauliche Computing-Lösungen sind CPU-basiert, was für rechenintensive Workloads wie KI und HPC zu begrenzt ist. NVIDIA Confidential Computing ist eine integrierte Sicherheitsfunktion der NVIDIA Hopper-Architektur, die NVIDIA H100 zum weltweit ersten Beschleuniger mit vertraulichen Computing-Funktionen macht. Nutzer können die Vertraulichkeit und Integrität Ihrer Daten und Anwendungen schützen und gleichzeitig von der unübertroffenen Beschleunigung der H100-Grafikprozessoren für KI-Workloads profitieren. Es entsteht eine hardwarebasierte vertrauenswürdige Ausführungsumgebung (TEE), die den gesamten Workload schützt und isoliert. Dieser wird auf einer einzigen H100-GPU, mehreren H100-GPUs innerhalb eines Knotens oder einzelnen MIG-Instanzen ausgeführt. GPU-beschleunigte Anwendungen können im TEE unverändert ausgeführt werden und müssen nicht partitioniert werden. Nutzer können die Leistungsfähigkeit von NVIDIA-Software für KI und HPC mit der Sicherheit einer Hardware-Root-of-Trust-Anwendung kombinieren, die von NVIDIA Confidential Computing angeboten wird.


ERFAHREN SIE MEHR ÜBER CONFIDENTIAL COMPUTING VON NVIDIA


Kontakt Presse

Marcus Altehenger, Marketing primeLine Solutions - Die Server Experten

Marcus Altehenger

Marketing

Tel.: 0049 5731 8694-450
m.altehenger@primeline.org

Marcus Altehenger auf Xing

Kontakt Vertrieb

Petar Crnkovic, Field Sales Engineer bei primeLine Solutions

Petar Crnkovic

Field Sales Engineer

Tel.: 0049 5731 8694-450
p.crnkovic@primeline.org

Petar Crnkovic auf Xing


Über primeLine Solutions

Die primeLine Solutions GmbH mit Sitz in Bad Oeynhausen NRW hat Ihren Fokus auf der lösungsbasierten Fertigung und dem Vertrieb von Server-, Storage- und Industrie Systemen. Workstations- und Desktops befinden sich ebenso im Portfolio wie Thin-Client- und Mobile Systeme. Neben etablierten Produktlinien wird auch individuell nach Kundenwunsch gefertigt. Mit langjähriger Erfahrung am IT-Markt sieht sich das Unternehmen als zuverlässiger, flexibler Hersteller und Partner mit Schwerpunkt auf unkompliziertem Service und Support. Kunden sind öffentliche Einrichtungen, KMU, Systemhäuser und der Einzelhandel.