AMD MI350P: 144 GB Speicher und 4 TB/s
AMD Instinct MI350PHBM3Eинференс LLM
Was der AMD MI350P tatsächlich bietet
Beginnen wir mit der wichtigsten Zahl: Der AMD Instinct MI350P verfügt über 144 GB HBM3E-Speicher mit einer Spitzenbandbreite von 4 TB/s. AMD nennt diese Daten auf der Produktseite zusammen mit einem 4096-Bit-Speicherinterface. Für einen einzelnen PCIe-Beschleuniger ist das ein ernstzunehmendes Angebot für die Inferenz großer Modelle.
Die Speicherkapazität ist hier wichtiger als ein abstrakter Vergleich von Recheneinheiten. Mit 144 GB steigt die Chance, ein Modell, einen erweiterten Kontext oder einen größeren Anfrage-Batch auf einem Gerät unterzubringen. Das garantiert keine hohe Generierungsgeschwindigkeit, verringert aber den Druck, ein Modell auf mehrere Beschleuniger aufzuteilen.
Die Bandbreite von 4 TB/s ist besonders für Operationen relevant, die durch das Lesen der Gewichte aus dem Speicher begrenzt sind. Sie ist jedoch ein Spitzenwert aus dem Datenblatt und keine zugesagte Geschwindigkeit für ein bestimmtes LLM. Die tatsächliche Leistung hängt vom Gewichtsformat, der Batch-Größe, der Kontextlänge, den Inferenz-Kernels und der Reife des Software-Stacks ab.
Der MI350P gehört zum ROCm-Ökosystem und zur CDNA-4-Architekturlinie mit AMD Infinity. AMD positioniert ihn als Serverbeschleuniger für standardmäßige luftgekühlte Systeme, nicht als Grafikkarte für eine Workstation. Ein direkter Vergleich mit einer RTX 6000 allein anhand der Speichermenge kann daher zwar eindrucksvoll wirken, vermischt aber unterschiedliche Geräteklassen.
Beim Preis bleibt die Lage unklarer. Am 20. August 2026 hatte AMD auf der öffentlich verfügbaren Produktseite keinen offiziellen Endkundenpreis genannt. Die Schätzung von rund 20.000 US-Dollar erscheint als Marktannahme; für Infrastrukturkostenrechnungen ist sie daher noch keine belastbare Grundlage.
Warum 144 GB die Ausgangslage wirklich verändern
Für die Inferenz ist dies kein kosmetisches Update: Zusätzlicher Speicher kann eine komplexe Mehrkartenkonfiguration durch einen einzelnen Beschleuniger ersetzen. Weniger Kommunikation zwischen Geräten bedeutet eine einfachere Bereitstellung und potenziell besser vorhersehbare Latenzen, auch wenn das Endergebnis für das jeweilige Modell geprüft werden muss.
Den größten Vorteil bieten Szenarien, in denen ein Modell fast in einen kleineren Speicher passt oder in denen Kontext und Batch die Reserve rasch aufbrauchen. Kapazität allein beseitigt jedoch weder ROCm-Einschränkungen noch Kompatibilitätsfragen bei Frameworks oder den Bedarf an hochwertigen optimierten Kernels. Ich würde zuerst die Unterstützung des benötigten Modells und die Stabilität seines Betriebsprofils prüfen und erst danach auf die attraktiven Terabyte pro Sekunde schauen.
Der MI350P wirkt wie eine realistische Alternative zu NVIDIA-Beschleunigern für große Inferenzaufgaben, ist aber noch kein offensichtlicher Ersatz. Entscheidend werden nicht nur die 144 GB sein, sondern auch Verfügbarkeit, der tatsächliche Preis und die Frage, wie leicht sich diese Spezifikationen in Tokens pro Sekunde umsetzen lassen.