Raptor: 3D-DRAM mit mehr als 100 TB/s Bandbreite

Was d-Matrix in Raptor integriert hat

Interessant ist nicht nur die Zahl von mehr als 100 TB/s, sondern der Weg, auf dem d-Matrix sie erreichen will. In der Ankündigung der Zusammenarbeit mit Alchip bezeichnet das Unternehmen Raptor als ersten kommerziellen Inferenzbeschleuniger für Rechenzentren auf Basis seiner 3DIMC-Architektur: dreidimensionaler DRAM mit Berechnungen direkt im Speicher.

Ein Logik-Die sitzt unmittelbar über kundenspezifischem DRAM und ist über vertikale Mikrokontakte mit einem Abstand von 36 Mikrometern verbunden. Diese Anordnung macht den herkömmlichen PHY überflüssig und verkürzt den Datenweg. Das Unternehmen beschreibt Konfigurationen mit bis zu vier DRAM-Schichten.

Nach veröffentlichten Unterlagen zur Präsentation auf der Hot Chips 2026 enthält ein Raptor-Chiplet rund 4 GB DRAM und liefert etwa 12,5 TB/s. Die Gesamtbandbreite des Beschleunigers übersteigt 100 TB/s, während der angegebene Energieaufwand für die Datenübertragung bei rund 0,37 pJ pro Bit liegt. Das ist keine kosmetische Speicherbeschleunigung, sondern ein Versuch, die Verbindung zwischen Speicher und Rechenblöcken physisch neu zu gestalten.

d-Matrix strebt gegenüber Lösungen der HBM4-Klasse etwa den zehnfachen Vorteil bei Bandbreite und Energieeffizienz an. In der Berichterstattung zur Präsentation werden zudem ungefähr die zwanzigfache Bandbreite pro Flächeneinheit gegenüber NVIDIA Rubin und ein 13,5-mal niedrigerer Leistungsbedarf pro übertragenem Gigabyte genannt. All diese Vergleiche stammen bislang aus Unternehmensmaterial, nicht aus unabhängigen Tests.

Das markanteste Szenario der Präsentation lautet: rund 1.000 Token pro Sekunde und Nutzer für ein Modell der 3T-Klasse bei 1M Kontext. Für GLM 5.2 werden bei 32 Nutzern etwa 2.121 Token pro Sekunde und Nutzer genannt, für Kimi K3 bei gleicher Parallelität rund 785. Die gemeldete effektive Bandbreitenauslastung lag bei 83–85 %.

Die Speicherwand könnte tatsächlich niedriger werden

Wenn die behaupteten Eigenschaften in realen Systemen erhalten bleiben, verändert Raptor die Lage bei Inferenz mit langem Kontext und hoher Anfrageparallelität. Hier wird die Leistung oft weniger durch Rechenoperationen als durch das Verschieben von Gewichten und KV-Cache begrenzt. Lokale Bandbreite ist deshalb wichtiger als ein weiterer Anstieg der Spitzenrechenleistung.

Der Preis des Ansatzes ist ebenfalls sichtbar: Ein spezialisierter Beschleuniger tauscht universelle Flexibilität gegen hohe Bandbreitendichte und niedrige Latenz. Ich würde zuerst auf dauerhafte statt auf Spitzenleistung, die Skalierung zwischen Chiplets und darauf schauen, ob der Software-Stack die behauptete Auslastung bei unterschiedlichen Modellen erreichen kann.

In den gesammelten Materialien finden sich keine öffentlichen Codebeispiele für Raptor, und die wichtigsten Daten betreffen weiterhin Architektur und Präsentationsergebnisse. Mehr als 100 TB/s ist daher technisch bereits interessant. Die entscheidende Frage bleibt jedoch: Welcher Anteil dieser Bandbreite hält der Begegnung mit realen Modellgraphen und betrieblichen Einschränkungen stand?

Wir haben zuvor analysiert, wie Confidential Computing die Infrastruktur für KI-Inferenz, ihre Kosten und Datenschutzanforderungen verändert. Speicher mit mehr als 100 TB/s ergänzt dieses Bild auf Hardwareebene und beseitigt eine der zentralen Einschränkungen generativer Modelle.