Technischer Kontext
Ich habe sofort die Spezifikationen geprüft, denn die Formulierung „118B, aber lokal“ klingt gut, bis man auf die Gewichte schaut. Poolside’s neue Laguna S 2.1 ist ein MoE-Modell mit 118B Parametern, aber pro Token sind nur 8B aktiv. Für die praktische KI-Automatisierung ist das ein gutes Muster: günstiger zu rechnen als ein dichtes Modell dieser Klasse, und die Qualität fürs Coden wird als sehr hoch versprochen.
Danach geht es nicht um Marketing, sondern um Physik. Der BF16-Checkpoint wiegt etwa 236 GB, passt also definitiv nicht auf eine einzelne Consumer-GPU. Nimmt man den offiziellen Weg für den lokalen Betrieb, dann geht es um quantisierte Gewichte, und für q4_k_m braucht man rund 75 GB Speicher.
Hier habe ich innegehalten. Das ist keine Geschichte von „auf eine RTX 4090 packen und los“, sondern eher von Maschinen mit 128 GB gemeinsam genutztem Speicher, insbesondere Apple Silicon, oder von sehr sorgfältigem Offloading. In den verfügbaren Materialien von Poolside werden Formate wie BF16, FP8, INT4, NVFP4, GGUF und MLX genannt, aber das bequeme Single-GPU-Consumer-Szenario wird nicht bestätigt.
Die Benchmarks zeigen, dass das Modell kein Spielzeug ist. Poolside gibt 70,2 % bei Terminal-Bench 2.1 und 40,4 % bei DeepSWE an, also ist es klar auf lange Coding-Workflows ausgelegt, nicht auf eine hübsche Autovervollständigungs-Demo. Mir gefällt genau diese Richtung: weniger Gerede über „Agenten allgemein“, mehr über echte mehrschrittige Entwicklung.
Was das für Unternehmen und Automatisierung verändert
Nüchtern betrachtet profitieren Teams, die lokale KI-Integration in die Entwicklung brauchen: privater Code, interne Repositories, Agenten für Review, Refactoring und lange Engineering-Aufgaben. Der Gewinn stellt sich aber nur ein, wenn Hardware und Architektur auf das Modell abgestimmt sind, nicht umgekehrt.
Verlierer sind diejenigen, die „8B aktiv“ als „fast kostenlos“ lesen. Nein, der Speicher wird immer noch durch den vollen 118B-Fußabdruck des Modells begrenzt, und ein Fehler bei der Wahl von Format oder Hardware macht das Projekt schnell zu einem teuren Experiment.
In meinem Nahornyi AI Lab sehe ich ständig genau diese Weggabelung: Das Modell allein löst selten die Aufgabe; es ist das Zusammenspiel von Quantisierung, Laufzeit, Speicher, Anfragen-Routing und UX für das Team. Wenn Sie KI-Automatisierung rund um lokale Code-Modelle aufbauen möchten, ohne unnötige Anschaffungen und Fehlstarts, können wir gemeinsam Ihren Stack analysieren und ein funktionierendes Schema für echte Lasten entwerfen, nicht für eine schöne Anbieterfolie.