Technischer Kontext
Ich schätze solche Tests nicht wegen der schönen Grafiken, sondern wegen der bodenständigen Frage: Kann man eine funktionierende KI-Automatisierung lokal aufbauen, ohne für jede Kleinigkeit einen eigenen Server zu kaufen? Hier wurde genau das getan: kleine Open-Source-Modelle von 3B-9B wurden auf drei Aufgaben getestet, die man auch einem echten Entwickler geben würde.
Die Szenarien waren praxisnah: kleine Features im Frontend und Backend hinzufügen, Daten im Internet finden, filtern und als JSON speichern und dann separat das Tool Calling testen. Und genau bei diesem dritten Punkt scheitern meist alle Diskussionen über "lokale Agenten zum Spartarif".
Beim VRAM ist das Bild ermutigend: In der Diskussion kam auf, dass einige dieser Modelle mit maximal 4 GB auskommen, insbesondere bei 4-Bit-Quantisierung. Für 3B-Modelle ist das bereits ein praktikabler Bereich, solange man den Kontext nicht aufbläht oder einen schweren agentenbasierten Zyklus mit vielen Werkzeugen aufsetzt.
Bei den Modellen würde ich mir Familien wie SmolLM3-3B, Gemma 3 4B und einige 7B-9B-Varianten nur ansehen, wenn Sie den Speicher sehr sorgfältig verwalten. Bei einfachem Code und der Datenverarbeitung wirken kleine Modelle nicht mehr wie Spielzeug. Ihr Tool Calling ist jedoch immer noch unzuverlässig: Bei einfachen Werkzeugen halten sie sich gut, aber bei mehrstufiger Logik fangen sie schnell an, sich den Weg auszudenken.
Genau hier würde ich zwischen "kann eine Funktion aufrufen" und "kann stabil in einem agentenbasierten Workflow arbeiten" unterscheiden. Das sind zwei sehr unterschiedliche Messlatten.
Auswirkungen auf Unternehmen und Automatisierung
Die erste Erkenntnis ist einfach: Lokale KI-Integration ist für eng gefasste Aufgaben realistischer geworden. Wenn Sie Daten parsen, filtern, in JSON umwandeln, kleinere Entwickleroperationen durchführen oder interne Dienstprogramme erstellen müssen, kann ein kleines Modell unter 4 GB VRAM bereits günstiger und bequemer sein als die Cloud.
Der zweite Punkt ist weniger erfreulich: Wenn Ihr Prozess von zuverlässigem Tool Calling abhängt, insbesondere mit mehreren Schritten und Ergebnisprüfung, ist der Einsatz kleiner Modelle ohne Sicherheitsnetz riskant. Ich würde strenge Validatoren, eine Retry-Logik und ein Routing zu einem leistungsfähigeren Modell als Fallback hinzufügen.
Teams, die On-Device-Betrieb, Datenschutz und niedrige Betriebskosten benötigen, gewinnen hier. Diejenigen, die hoffen, einen Produktionsagenten durch ein einziges "leichtes" Modell ohne angemessene technische Einbettung zu ersetzen, werden verlieren.
Bei Nahornyi AI Lab lösen wir genau solche Grenzfälle für unsere Kunden: Wir bestimmen, wo ein lokales Modell ausreicht und wo eine richtige KI-Architektur mit hybridem Routing erforderlich ist. Wenn Ihre Prozesse durch manuelle Routinen oder teure API-Aufrufe blockiert sind, können mein Team und ich Ihnen helfen, eine KI-Lösungsentwicklung ohne Hokuspokus und mit klarer Wirtschaftlichkeit aufzubauen.