AMD MI350P : 144 Go de mémoire et 4 To/s

Ce que propose réellement l’AMD MI350P

Commençons par le chiffre clé : l’AMD Instinct MI350P embarque 144 Go de mémoire HBM3E avec une bande passante de pointe de 4 To/s. AMD indique ces caractéristiques sur sa page produit, avec une interface mémoire de 4096 bits. Pour un seul accélérateur PCIe, c’est une proposition sérieuse pour l’inférence de grands modèles.

La capacité mémoire compte ici davantage qu’une comparaison abstraite des unités de calcul. Avec 144 Go, il devient plus probable de placer un modèle, un contexte étendu ou un lot de requêtes plus important sur un seul appareil. Cela ne garantit pas une génération rapide, mais réduit la nécessité de répartir le modèle sur plusieurs accélérateurs.

La bande passante de 4 To/s est particulièrement importante pour les opérations limitées par la lecture des poids en mémoire. Il s’agit toutefois d’une valeur de pointe issue de la fiche technique, et non d’une vitesse garantie pour un LLM précis. Les résultats réels dépendront du format des poids, de la taille des lots, de la longueur du contexte, des kernels d’inférence et de la maturité de la pile logicielle.

Le MI350P appartient à l’écosystème ROCm et à la lignée architecturale CDNA 4 avec AMD Infinity. AMD le positionne comme un accélérateur serveur destiné aux systèmes standard refroidis par air, et non comme une carte graphique de station de travail. Une comparaison directe avec une RTX 6000 sur le seul critère de la mémoire peut donc sembler séduisante, mais elle mélange des catégories de produits différentes.

Le prix est moins clair. Au 20 août 2026, AMD n’avait pas publié de tarif officiel sur la page produit accessible. L’estimation d’environ 20 000 dollars semble relever d’une hypothèse de marché ; il est donc trop tôt pour l’utiliser dans un calcul de coût d’infrastructure.

Pourquoi 144 Go changent vraiment la donne

Pour l’inférence, il ne s’agit pas d’une simple mise à jour cosmétique : cette mémoire supplémentaire peut remplacer une configuration complexe à plusieurs cartes par un seul accélérateur. Moins de communication entre appareils signifie un déploiement plus simple et une latence potentiellement plus prévisible, même si le résultat final doit être validé pour chaque modèle.

Le gain le plus important concernera les cas où un modèle tient presque dans une mémoire plus réduite, ou ceux où le contexte et les lots consomment rapidement la marge disponible. La capacité seule ne supprime ni les limites de ROCm, ni les enjeux de compatibilité des frameworks, ni le besoin de kernels optimisés de qualité. Je vérifierais d’abord la prise en charge du modèle requis et la stabilité de son profil d’exécution, avant de m’attarder sur les téraoctets par seconde.

Le MI350P paraît être une alternative crédible aux accélérateurs NVIDIA pour l’inférence à grande échelle, mais pas encore un remplaçant évident. Les 144 Go ne seront pas les seuls critères décisifs : disponibilité, prix réel et facilité à transformer ces caractéristiques en jetons par seconde compteront tout autant.

Nous avons précédemment analysé Cocoon et la façon dont le calcul confidentiel transforme l’économie et la confidentialité de l’inférence IA. Les nouveaux chiffres d’AMD sur la capacité HBM3E et la bande passante montrent pourquoi l’infrastructure de ces charges de travail devient un terrain concurrentiel.