Contexto técnico
Veo regularmente la misma 'prueba de la fresa': cuántas letras hay en una palabra, cuántas letras 'r', por qué el modelo dice tonterías. Y sí, para el prompt engineering es una prueba útil, pero no sobre la inteligencia del modelo, sino sobre la comprensión de su arquitectura y de cómo construyes la automatización de IA a su alrededor.
El problema es muy mundano: un LLM no lee una palabra como una secuencia de caracteres. Recibe tokens, normalmente fragmentos de palabras ensamblados por un tokenizador como BPE. Para él, 'strawberry' no tiene por qué existir como s-t-r-a-w-b-e-r-r-y. A menudo son 1 o 2 tokens con la estructura interna ya 'empaquetada'.
En estos casos, freno inmediatamente a los equipos que quieren medir la 'inteligencia' del modelo con tareas cotidianas. Contar letras, posiciones de caracteres, máscaras precisas, operaciones de cadenas simples sin herramientas a menudo fallan incluso en modelos grandes. No es un error del tipo 'el entrenamiento no fue suficiente', sino una limitación fundamental de la representación del texto.
Hay un matiz: a veces el modelo responde mejor en inglés, a veces peor, pero la esencia no cambia. El idioma afecta a la tokenización, no la elimina. Si una tarea requiere precisión a nivel de caracteres, pedirle al modelo que 'piense otra vez' es casi siempre peor que pedirle que escriba y ejecute un breve script.
Ahí es donde comienza la integración real de IA: no obligo al LLM a contar lo que debería contar un intérprete. Le doy al modelo el papel de orquestador. Que genere Python, SQL o JS, y que el entorno de ejecución realice la operación precisa.
Qué cambia esto para el negocio y la automatización
La conclusión práctica es sencilla: no encamines operaciones de cadenas, aritméticas o verificables directamente a través de la respuesta del modelo. Si no, obtendrás un texto bonito con aleatoriedad dentro.
Ganan los equipos que construyen soluciones de IA para empresas como un combo 'LLM + herramientas', no como un chat mágico. Pierden quienes intentan meter en un solo prompt tanto el razonamiento como la ejecución precisa.
Veo este patrón constantemente en los clientes al procesar correos, contratos, catálogos y registros de soporte. En cuanto pasas los pasos exactos al código, la calidad sube como la espuma y el coste de los errores baja. Si tienes una historia similar y necesitas no otro chatbot más, sino una automatización clara con IA, en Nahornyi AI Lab podemos construir ese circuito para tu proceso sin magia innecesaria y con una verificabilidad adecuada de los resultados.