AMD Instinct MI350P Enterprise GPU

Fast die doppelte KI-Leistung ohne zusätzliche GPUs

Die Skalierung von KI-Infrastruktur beläuft sich häufig auf die Anschaffung weiterer GPUs, größerer Server und somit mehr Rechenleistung. Was wäre, wenn ein erheblicher Teil des Potenzials in der bereits vorhandenen Hardware steckt, und nur herausgeholt werden muss? Unser AI Engineer Florian Zimmermeister hat sich mit dem Thema beschäftigt und zeigt in seinem Optimierungsprojekt, was möglich ist.

Er hat sich die AMD Instinct MI350P zur Brust genommen und dank seiner Optimierungen +93 % mehr Inferenz-Durchsatz aus der GPU geholt.

Flo's Optimierungen ziehen sich durch den Inferenz-Stack, den GPU-Kernel sowie das Zusammenspiel zwischen KI-Modellen und Hardware. Diese Anpassungen haben es ermöglicht, die aggregierte Ausgabeleistung bei 32 parallelen Streams von rund 1.168 auf 2.257 Tokens pro Sekunde steigern.

Und das ohne zusätzliche GPUs oder Server.

Der wirtschaftliche Nutzen liegt auf der Hand

Die beinahe doppelte Verarbeitungskapazität bei gleicher Hardware ermöglicht eine erhebliche Reduktion der Kosten pro verarbeitetem Token. Rechnerisch ergibt sich aus Flo's Testszenario eine Ersparnis von 48% pro Output-Token bei gleichbleibendem GPU-Stundensatz.

Diese Optimierung liefert vor allem beim Skalieren großer KI-Infrastrukturen einen entscheidenen Unterschied in Sachen Effizienz sowie den laufenden Kosten.

Mitarbeitende wie unser Florian beweisen, dass unsere Arbeit bei primeline solutions nicht mit der Lieferung eines GPU-Servers endet. Projekte wie diese sind ein wichtiger Bestandteil unserer Unternehmensphilosophie. Wir blicken über den Tellerrand, und liefern Lösungen, die weit über den Standard hinausgehen.

Auf Wunsch gestalten wir gemeinsam mit unseren Kunden eine für sie maßgeschneiderte KI-Lösung - Hardware, Software, Deployment und Betrieb aus einer Hand:

• Hardware: Individuelle Beratung, Auswahl und Konfiguration leistungsfähiger GPU-Server und KI-Infrastruktur.
• Software: Installation, Integration und Optimierung des gesamten KI-Software-Stacks.
• Performance: Workload-spezifisches Tuning von Inferenz-Engines, Modellen und GPU-Kernels.
• Betrieb: Unterstützung bei Deployment, Skalierung und produktivem Einsatz.

Unser Ziel ist nicht, einfach möglichst viel Rechenleistung zu verkaufen. Unser Ziel ist, dass unsere Kunden aus ihrer Investition möglichst viel nutzbare KI-Leistung herausholen.

Florians Optimierungen beweisen, dass der entscheidende Faktor nicht allein die leistungsfähige Hardware ist, sondern ein optimal abgestimmtes Zusammenspiel aus Hardware, Software und Anwendung.

Wichtiger Disclaimer: Das aktuelle Ergebnis ist ein konkretes Benchmark-Beispiel, kein pauschales Leistungsversprechen für alle Workloads.

Die vollständigen technischen Hintergründe sowie Messergebnisse finden Sie unter den beiden folgenden Quellen:

• Florians TechHub (Englisch)
• Huggingface BlogPost (Englisch)

Kontakt Presse

---

Isabell Biesemeier

Marketing

Tel.: 0049 5731 8694-450
[email protected]

Über primeLine Solutions GmbH

Die primeLine Solutions GmbH ist ein führender Hersteller von IT-Lösungen für Rechenzentren, Handel, Industrie, Forschung sowie Bildungs- und öffentliche Einrichtungen. Der Fokus liegt auf der individuellen Fertigung von hochverfügbaren Server- und Storage-Systemen, High-Performance-Computing (HPC) Lösungen, Workstations sowie IP-zertifizierter Hardware. Maßgeschneiderte Sonderanfertigungen, beispielsweise für den Automobilsektor, ergänzen seit Jahren das Portfolio. Als Teil der core.two Unternehmensgruppe bietet primeline solutions in Kooperation mit Ihrer Schwesterfirma partimus GmbH auch IT-Consulting, Service und ein eigenes, hochmodernes Rechenzentrum – alles aus einer Hand. So bietet die primeLine Gruppe die gesamte Infrastruktur für Anwendungsfälle wie KI, wissenschaftliches Rechnen und Rendering. Das Unternehmen bietet fortschrittliche, maßgeschneiderte Lösungen kombiniert mit einer starkes know-How in Sachen Systemintegration und HPC mit flexiblen Cloud- und Colocation Lösungen.

Mit diesem Schritt festigt primeLine Solutions GmbH seine Position als Vorreiter in der Technologiebranche und setzt neue Maßstäbe für Exzellenz und Innovation.