Contexto Técnico
Decidí leer el paper de Stanford después de oír de nuevo la tesis de que "RAG funciona hasta 10,000 vectores, pero con un millón es basura". Y ahí me detuve: en el estudio no existe tal umbral empírico.
El documento al que todos se refieren es Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Investiga herramientas de RAG jurídico como Westlaw y LexisNexis, las compara con GPT-4 en tareas legales y analiza con qué frecuencia los sistemas inventan hechos, confunden fuentes o distorsionan conclusiones.
El resultado es incómodo pero útil: el retrieval reduce el número de alucinaciones en comparación con un modelo base, pero no las elimina. Dependiendo de la herramienta, los errores siguen siendo notables, en un rango aproximado del 17-33%.
Sin embargo, no encontré ninguna mención a un "límite de 10k vectores" o un "umbral de ruido de 1M" en este paper. No hay gráficos sobre el tamaño del índice, ni benchmarks de precision@k en grandes colecciones, ni análisis sobre la degradación del retrieval al crecer el corpus. Como ingeniero, no lo citaría como un hecho probado.
Pero la idea no surgió de la nada. En producción, he visto innumerables veces cómo una búsqueda vectorial mal diseñada empieza a arrastrar basura semirrelevante: embeddings débiles, chunking incorrecto, filtros de metadatos mal aplicados o un top-k demasiado generoso. Y luego la gente culpa al modelo, cuando el problema está en la arquitectura de IA y la capa de retrieval.
En resumen: Stanford no demostró un límite de 10k vectores, sino algo más práctico. Incluso un costoso RAG jurídico no te da permiso para saltarte la verificación de las respuestas y asumir que el problema de la fiabilidad está resuelto.
¿Qué Significa Esto para el Negocio y la Automatización?
Para los equipos que construyen automatización con IA sobre documentos, la conclusión es simple: la idea de "añadir RAG y todo será fiable" no funciona. Especialmente en los sectores legal, de cumplimiento, normativo y en bases de conocimiento internas.
Ganan quienes diseñan el retrieval como un sistema completo: búsqueda híbrida, filtrado estricto, reranking, limitación de contexto y trazabilidad de fuentes. Pierden quienes simplemente vierten millones de fragmentos en una base de datos vectorial esperando magia.
En Nahornyi AI Lab, nos especializamos en resolver estos cuellos de botella. Determinamos dónde usar RAG, dónde es mejor un grafo de conocimiento o dónde una capa de integración de IA diferente es más barata y fiable que inflar vectores sin fin. Si tu búsqueda de documentos ya genera ruido o respuestas poco fiables, analicemos tu arquitectura y construyamos una solución de IA robusta y sin suposiciones frágiles.