Skip to main content
LLMтокенизацияprompt engineering

Warum LLMs keine Buchstaben zählen können

LLMs irren sich oft beim Zählen von Buchstaben, nicht aus Dummheit, sondern aufgrund der Tokenisierung: Das Modell sieht Tokens, nicht einzelne Zeichen. Für Unternehmen ist dies bei der KI-Implementierung entscheidend, da Aufgaben mit symbolgenauer Anforderung direkt an Code oder externe Tools delegiert werden müssen.

Technischer Kontext

Ich sehe regelmäßig denselben 'Erdbeertest': Wie viele Buchstaben hat ein Wort, wie viele 'r', warum das Modell Unsinn redet. Und ja, für Prompt Engineering ist das ein nützlicher Test, aber nicht für die Intelligenz des Modells, sondern für das Verständnis seiner Architektur und wie man KI-Automatisierung darum herum aufbaut.

Das Problem ist sehr bodenständig: Ein LLM liest ein Wort nicht als Zeichenkette. Es erhält Tokens, normalerweise Wortstücke, die von einem Tokenizer wie BPE zusammengestellt werden. Für es muss 'strawberry' nicht als s-t-r-a-w-b-e-r-r-y existieren. Oft sind es 1–2 Tokens mit bereits 'verpackter' innerer Struktur.

In solchen Fällen bremse ich sofort Teams, die die 'Klugheit' des Modells mit Alltagsaufgaben messen wollen. Das Zählen von Buchstaben, Zeichenpositionen, präzisen Masken, einfachen String-Operationen ohne Werkzeug bricht selbst bei großen Modellen oft zusammen. Das ist kein Bug à la 'das Training war nicht ausreichend', sondern eine grundlegende Einschränkung der Textrepräsentation.

Es gibt eine Nuance: Mal antwortet das Modell auf Englisch besser, mal schlechter, aber der Kern ändert sich nicht. Die Sprache beeinflusst die Tokenisierung, sie hebt sie nicht auf. Wenn eine Aufgabe Zeichengenauigkeit erfordert, ist es fast immer schlechter, das Modell zum 'nochmal Nachdenken' aufzufordern, als es einen kurzen Skript schreiben und ausführen zu lassen.

Genau dort beginnt echte KI-Integration: Ich zwinge das LLM nicht, das zu zählen, was ein Interpreter zählen sollte. Ich gebe dem Modell die Rolle des Orchestrators. Lass es Python, SQL oder JS generieren, und die Laufzeitumgebung führt die präzise Operation aus.

Was das für Unternehmen und Automatisierung ändert

Die praktische Erkenntnis ist einfach: Leiten Sie Zeichenketten-, arithmetische und überprüfbare Operationen nicht direkt über die Modellantwort. Sonst erhalten Sie schön klingenden Text mit Zufall darin.

Die Teams, die gewinnen, bauen KI-Lösungen für Unternehmen als 'LLM + Tools'-Kombination und nicht als magischen Chat. Diejenigen, die versuchen, Argumentation und präzise Ausführung in einen einzigen Prompt zu packen, verlieren.

Ich sehe dieses Muster ständig bei Kunden in der Verarbeitung von E-Mails, Verträgen, Katalogen und Support-Logs. Sobald man die exakten Schritte in Code auslagert, schnellt die Qualität nach oben und die Fehlerkosten sinken. Wenn Sie eine ähnliche Geschichte haben und nicht einen weiteren Chatbot, sondern eine kohärente Automatisierung mit KI benötigen, können wir bei Nahornyi AI Lab einen solchen Kreislauf für Ihren Prozess aufbauen – ohne überflüssige Magie und mit ordentlicher Überprüfbarkeit der Ergebnisse.

Wir haben bereits erläutert, wie LLM-Proxys und eine Abstraktionsschicht helfen, Vendor Lock-in zu reduzieren, und warum Moderatoren technische Artikel oft fälschlicherweise als KI-generierten Inhalt kennzeichnen. Dies ist ein weiteres Beispiel dafür, wie Sprachmodelle Text falsch interpretieren können, ähnlich wie die Tokenisierung sie daran hindert, Buchstaben zu zählen.

Diesen Artikel teilen