Raptor : une 3D-DRAM dépassant 100 To/s de bande passante

Ce que d-Matrix a intégré à Raptor

Ce qui retient l'attention n'est pas seulement le chiffre de plus de 100 To/s, mais la manière dont d-Matrix compte l'atteindre. Dans l'annonce de sa collaboration avec Alchip, l'entreprise présente Raptor comme le premier accélérateur commercial d'inférence pour centres de données reposant sur son architecture 3DIMC : de la DRAM tridimensionnelle avec calcul directement en mémoire.

La puce logique est placée directement au-dessus d'une DRAM sur mesure et reliée par des microconnexions verticales au pas de 36 microns. Cette disposition supprime le PHY traditionnel et raccourcit le chemin des données. L'entreprise décrit des configurations allant jusqu'à quatre couches de DRAM.

D'après les éléments publiés sur sa présentation à Hot Chips 2026, un chiplet Raptor embarque environ 4 Go de DRAM et fournit près de 12,5 To/s. La bande passante totale de l'accélérateur dépasse 100 To/s, et l'énergie annoncée pour le transfert de données est d'environ 0,37 pJ par bit. Il ne s'agit pas d'une simple amélioration de la mémoire, mais d'une tentative de repenser physiquement son lien avec les blocs de calcul.

d-Matrix vise un avantage d'environ dix fois en bande passante et en efficacité énergétique par rapport aux solutions de classe HBM4. La couverture de la présentation évoque aussi près de vingt fois plus de bande passante par unité de surface que NVIDIA Rubin, ainsi qu'une puissance 13,5 fois plus faible par gigaoctet transféré. Pour l'instant, ces comparaisons proviennent de l'entreprise et non de tests indépendants.

Le scénario le plus ambitieux présenté annonce environ 1 000 tokens par seconde et par utilisateur pour un modèle de classe 3T avec un contexte de 1M. Pour GLM 5.2, l'entreprise revendique environ 2 121 tokens par seconde et par utilisateur avec 32 utilisateurs ; pour Kimi K3, à concurrence identique, environ 785. L'utilisation effective de la bande passante annoncée atteignait 83 à 85 %.

Le mur de la mémoire peut réellement s'abaisser

Si les caractéristiques annoncées se vérifient dans des systèmes réels, Raptor peut changer la donne pour l'inférence à long contexte et à forte concurrence. Dans ces cas, les performances sont souvent limitées moins par l'arithmétique que par le déplacement des poids et du cache KV ; la bande passante locale compte donc davantage qu'une nouvelle hausse du calcul de pointe.

Le compromis est également clair : un accélérateur spécialisé échange la polyvalence contre une forte densité de bande passante et une faible latence. Je regarderais d'abord les performances soutenues plutôt que les pics, la montée en charge entre chiplets et la capacité de la pile logicielle à reproduire l'utilisation annoncée sur différents modèles.

Les éléments réunis ne contiennent pas d'exemples de code Raptor publics, et les données essentielles restent des résultats d'architecture et de présentation. Plus de 100 To/s est donc déjà intéressant sur le plan de l'ingénierie, mais la question centrale demeure : quelle part de cette bande passante résistera aux graphes de modèles réels et aux contraintes d'exploitation ?

Nous avons déjà analysé comment le calcul confidentiel transforme l'infrastructure d'inférence IA, son coût et ses exigences de confidentialité. Une mémoire dépassant 100 To/s complète ce tableau côté matériel en levant l'une des principales contraintes des modèles génératifs.