Kimi K3 passt auf einen B300 x8, aber nicht ganz

Was tatsächlich auf den B300 x8 passt

Kimi K3 auf einem einzelnen Server mit 8 NVIDIA B300 sieht nach einem schönen Moment aus, aber das Schlüsselwort hier ist MXFP4. Im Blog von Fixstars, im Fall Deploying Kimi K3 on Day 0, geht es genau darum, ein 2,8-Billionen-Parameter-Modell auf einem einzigen B300 x8-Knoten auszuführen, nicht um die freie Wahl eines beliebigen Gewichtsformats.

Laut Materialien von vLLM und technischen Aufschlüsselungen bewältigt ein einzelner B300 x8-Knoten das Basisszenario für MXFP4. Für BF16 und MXFP8 sieht das Bild anders aus: Ein B300-Server kann das vollständige K3-Modell in dieser Genauigkeit nicht mehr halten. Hier wird aus Hype technische Speicherbuchhaltung.

Die einfache und unangenehme Wahrheit: Der MXFP4-Checkpoint für 2,8T Parameter wird auf etwa 1,4 TB allein für die Gewichte geschätzt. Der betrachtete 8-GPU-B300-Knoten verfügt über 2304 GB HBM3e, es gibt also Spielraum, aber er ist nicht unendlich. KV-Cache, Aktivierungen und Overhead verschwinden nicht einfach.

Das vLLM-Rezept für Kimi K3 sagt es auch ziemlich direkt: 8 NVIDIA B300 oder 8 AMD MI355X, Tensorparallelität 8, Kimi-spezifische Parser für Tool Calling und Reasoning, fastsafetensors, Prefix Caching. Das ist kein spielerischer Notebook-Lauf, sondern eine sorgfältige Verteilung eines riesigen MoE auf acht Beschleuniger.

Warum das die Lage verändert

Die wichtigste Veränderung ist, dass der lokale Einsatz eines Modells dieser Klasse nicht mehr automatisch einen Schrank voller Hardware bedeutet. Für MXFP4 sieht ein einzelner B300 x8 bereits wie ein praktisches Minimum aus, nicht wie eine Fantasie aus einer Präsentation.

Aber ich würde das Laden des Modells nicht mit einem guten Produktions-Serving verwechseln. In den Quellen gibt es keinen formal reproduzierbaren Benchmark zu Tokens pro Sekunde oder Latenz für Kimi K3 auf einem einzelnen B300 x8. Also ist bisher die Kapazität und das grundlegende Startschema bewiesen, nicht eine komfortable hohe Parallelität.

Für einen Ingenieur ist die schärfste Frage nicht, ob der Prozess startet. Diesen Daten zufolge startet er für MXFP4. Die Frage ist, wie viel Kontext, wie viele gleichzeitige Anfragen und welchen Latenzschwanz diese Konfiguration aushalten kann, besonders wenn man langen Kontext wie max-model-len 1048576 aus den Anleitungen aktiviert.

Der Gewinner hier ist offensichtlich: Hardware der Blackwell-Klasse mit großem HBM erhält ein echtes Argument für lokale SOTA-LLM-Inferenz. Verlierer ist die Illusion, dass man ein 2,8T-Modell einfach auf jeden modernen Acht-GPU-Server werfen und das Gewichtsformat vergessen kann. Kimi K3 auf einem einzelnen B300 x8 ist gerade deshalb interessant, weil die Grenze sichtbar geworden ist, nicht weil sie verschwunden wäre.

Wir haben zuvor Rust LocalGPT untersucht — einen kompakten lokalen Assistenten, der vollständig auf Ihrer Hardware läuft. Dies zeigt, dass der Trend zur KI-Bereitstellung ohne Cloud sowohl kleine als auch riesige Modelle umfasst.