Technischer Kontext
Ich würde die Idee, „einfach alles in 256k zu halten“, sofort verwerfen. Das sieht nur auf dem Papier gut aus. Für einen Gaming-Assistenten, der Fakten aus alten Sitzungen benötigt, bricht dieses System genau in dem Moment zusammen, in dem ein neues Spiel beginnt oder die alte Geschichte nicht mehr hineinpasst.
Ich habe das immer wieder in KI-Implementierungsprojekten gesehen: Zusammenfassungen retten das Kontextfenster, zerstören aber allmählich die Genauigkeit. Nach der dritten oder vierten Sitzung erinnert sich das Modell nicht an die Geschichte, sondern an eine Zusammenfassung einer Zusammenfassung. Und hier beginnt die stille Amnesie.
Praktisch gesehen würde ich das Gedächtnis in drei Schichten aufbauen. Die erste Schicht ist der „heiße“ Kontext der aktuellen Sitzung. Die zweite ist eine kompakte Zustandszusammenfassung: Charaktere, Quests, Inventar, unbeendete Handlungsstränge, Weltregeln. Die dritte ist ein lokaler RAG über Rohdaten vergangener Sitzungen, nicht nur eine zusammengebastelte Markdown-Datei.
Es geht also nicht darum, „in md zu exportieren und irgendwie zu zerstückeln“, sondern um ein richtiges ereignisbasiertes Gedächtnis. Jedes wichtige Ereignis wird als separater Eintrag geschrieben: wer was wo, wann und mit welchen Konsequenzen getan hat. Dann würde ich dies mit Embeddings indizieren und Standard-Metadatenfilter hinzufügen: session_id, npc, location, quest, item.
Zusammenfassungen sind immer noch notwendig, aber nicht als einzige Quelle der Wahrheit. Ich würde die Zusammenfassung bei etwa 70-80 % der Fensterkapazität aktualisieren, sie aber kurz und streng strukturiert halten. Keine literarische Nacherzählung, sondern fast ein JSON-Gehirn: Ziele, Fakten, Beziehungen, Weltveränderungen.
Wenn die Infrastruktur es zulässt, ist es besser, Gemma 4 über vLLM oder eine ähnliche Laufzeitumgebung mit Paged Attention auszuführen. Dies löst das Langzeitgedächtnis nicht von allein, vereinfacht aber das Leben mit langem Kontext und dem KV-Cache erheblich, insbesondere wenn Sie mehr als eine aktive Sitzung haben.
Was ändert das für Unternehmen und Automatisierung?
Der Hauptgewinn liegt hier nicht darin, dass „das Modell klüger geworden ist“, sondern dass es aufhört, kritische Details zu vergessen. Für Gaming-Assistenten, Support-Mitarbeiter, CRM-Agenten und interne Copilots ist dies keine Kosmetik mehr, sondern die Grundlage der KI-Automatisierung.
Wer profitiert? Diejenigen, die Genauigkeit bei vergangenen Ereignissen benötigen: Gaming-Projekte, Serviceteams, Produkte mit einem langen Benutzerlebenszyklus. Wer verliert? Diejenigen, die hoffen, alles mit einer einzigen Zusammenfassung zu lösen und sich dann wundern, warum ihr Agent selbstbewusst halluziniert.
Ich würde es so machen: eine Zusammenfassung für die Kontinuität, RAG für präzise Fakten und einen separaten State-Store für Entitäten und Regeln. Genau solche Lösungen entwickeln wir für Kunden im Nahornyi AI Lab, wenn sie eine funktionierende KI-Integration ohne Gedächtnislücken benötigen, nicht nur eine Demo.
Wenn Ihr Agent bereits begonnen hat, Kunden, Aufgaben oder Spielzustände zu „vergessen“, versuchen Sie nicht, dies mit einem weiteren langen Prompt zu beheben. Es ist besser, das Gedächtnis in Schichten zu organisieren und eine KI-Lösung für Ihr spezifisches Szenario zu entwickeln. Wenn Sie möchten, kann ich mit meinem Team im Nahornyi AI Lab dabei helfen, ein System zu entwerfen, das sich an Wichtiges erinnert, lokal funktioniert und nicht nach ein paar Sitzungen auseinanderfällt.