AMD MI350P: 144 ГБ памяти и 4 ТБ/с

Что именно предлагает AMD MI350P

Я бы начал с главной цифры: AMD Instinct MI350P получил 144 ГБ памяти HBM3E с пиковой пропускной способностью 4 ТБ/с. Именно такие характеристики AMD указывает на странице продукта вместе с 4096-битным интерфейсом памяти. Для одного PCIe-ускорителя это серьезная заявка на инференс крупных моделей.

Большой объем памяти здесь интереснее абстрактного сравнения вычислительных блоков. 144 ГБ повышают шанс разместить модель, увеличенный контекст или более крупный пакет запросов на одном устройстве. Это не гарантирует высокую скорость генерации, но уменьшает давление на разбиение модели между несколькими ускорителями.

Пропускная способность 4 ТБ/с особенно важна для операций, упирающихся в чтение весов из памяти. Однако это пиковое значение из спецификации, а не обещанная скорость конкретной LLM. Реальный результат будет зависеть от формата весов, размера пакета, длины контекста, ядра инференса и зрелости программного стека.

MI350P относится к экосистеме ROCm и архитектурной линии CDNA 4 с AMD Infinity. AMD позиционирует его как серверный ускоритель для стандартных систем с воздушным охлаждением, а не как видеокарту для рабочей станции. Поэтому прямое сопоставление с RTX 6000 по одной лишь памяти выглядит эффектно, но смешивает разные классы устройств.

С ценой пока туманнее. На 20 августа 2026 года AMD не указала официальную розничную цену в доступной странице продукта. Оценка около 20 тысяч долларов фигурирует как предположение рынка, поэтому строить на ней расчеты стоимости инфраструктуры рано.

Почему 144 ГБ действительно меняют расклад

Для инференса это не косметическое обновление: дополнительная память может заменить сложную многокарточную конфигурацию одним ускорителем. Меньше обмена между устройствами означает более простое развертывание и потенциально более предсказуемую задержку, хотя итог еще нужно подтверждать на конкретной модели.

Главный выигрыш получат сценарии, где модель почти помещается в меньший объем памяти или где контекст и пакет быстро съедают запас. Но емкость сама по себе не отменяет ограничений ROCm, совместимости фреймворков и качества оптимизированных ядер. Первым делом я бы проверял поддержку нужной модели и стабильность ее рабочего профиля, а уже потом смотрел на красивые терабайты в секунду.

MI350P выглядит реальной альтернативой ускорителям NVIDIA для крупного инференса, но пока не очевидной заменой. Решающими окажутся не только 144 ГБ, а доступность, фактическая цена и то, насколько легко эти характеристики превращаются в токены в секунду.

Ранее мы разбирали Cocoon и то, как конфиденциальные вычисления меняют экономику и приватность AI-инференса. Новые показатели AMD по HBM3E и пропускной способности показывают, почему инфраструктура для таких задач становится конкурентным полем.