Der technische Kontext
Ich habe mich in das Stanford-Paper vertieft, nachdem ich wieder einmal die These hörte, „bis 10.000 Vektoren funktioniert RAG, ab einer Million ist es Müll“. Hier musste ich sofort innehalten: Eine solche empirische Schwelle gibt es in dieser Arbeit nicht.
Das Dokument, auf das sich alle beziehen, ist Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Es untersucht juristische RAG-Tools wie Westlaw und LexisNexis, vergleicht sie mit GPT-4 bei juristischen Aufgaben und prüft, wie oft die Systeme Fakten erfinden, Quellen verwechseln oder Schlussfolgerungen verzerren.
Das Ergebnis ist ernüchternd, aber nützlich: Retrieval reduziert die Anzahl der Halluzinationen im Vergleich zu einem Basismodell, eliminiert sie aber nicht. Je nach Tool sind die Fehlerquoten mit etwa 17-33 % immer noch erheblich.
Die Geschichten über eine „10k-Vektor-Grenze“ oder eine „1M-Rauschgrenze“ konnte ich in diesem Paper jedoch nicht finden. Es gibt weder Grafiken zur Indexgröße noch Benchmarks zu precision@k bei großen Datensätzen oder eine Analyse der Retrieval-Degradation bei wachsendem Korpus. Als Ingenieur würde ich das nicht als bewiesene Tatsache zitieren.
Aber die Idee kommt nicht von ungefähr. In der Praxis habe ich unzählige Male gesehen, wie eine schlecht konzipierte Vektorsuche semirelevanten Müll liefert: schwache Embeddings, falsches Chunking, fehlerhafte Metadatenfilter oder ein zu großzügiges top-k. Und dann geben die Leute dem Modell die Schuld, obwohl das Problem in der KI-Architektur und der Retrieval-Schicht liegt.
Kurz gesagt: Stanford hat keine 10k-Vektor-Grenze aufgezeigt, sondern etwas viel Praxisnäheres. Selbst ein teures juristisches RAG-System gibt einem keinen Freibrief, die Überprüfung der Antworten zu überspringen und anzunehmen, das Zuverlässigkeitsproblem sei gelöst.
Was bedeutet das für Unternehmen und die Automatisierung?
Für Teams, die KI-Automatisierung auf Basis von Dokumenten entwickeln, ist die Schlussfolgerung einfach: Der Ansatz „wir fügen RAG hinzu und alles wird zuverlässig“ funktioniert nicht. Dies gilt insbesondere für die Bereiche Recht, Compliance, Richtlinien und interne Wissensdatenbanken.
Die Gewinner sind diejenigen, die Retrieval als Gesamtsystem konzipieren: hybride Suche, strenge Filterung, Reranking, Kontextbegrenzung und Quellenverfolgung. Die Verlierer sind diejenigen, die einfach Millionen von Chunks in eine Vektordatenbank werfen und auf ein Wunder hoffen.
Im Nahornyi AI Lab analysieren wir genau solche Engpässe in der Praxis: Wo ist RAG sinnvoll, wo ist ein Knowledge Graph besser und wo ist eine andere KI-Integrationsschicht günstiger und zuverlässiger als das endlose Hinzufügen von Vektoren. Wenn Ihre Dokumentsuche bereits rauscht oder unzuverlässige Antworten liefert, lassen Sie uns Ihre Architektur überprüfen und eine robuste KI-Lösung ohne fragile Annahmen entwickeln.