Contexto técnico
Me centré en una pregunta muy práctica: ¿es posible crear un asistente local de DM con Gemma 4 que genere misiones, recuerde una sesión larga y no requiera la nube? Para este tipo de implementación de IA, mi respuesta es simple: sí, pero no sobrecargando todo el historial en el contexto.
Por lo que veo en benchmarks y discusiones, Gemma 4 26B-A4B y 31B ya funcionan en llama.cpp en RTX 3050/3060, especialmente con cuantización. Pero no hay magia: aunque el MoE solo active unos 4B de parámetros por token, el modelo sigue siendo pesado en memoria y un contexto largo empieza a ahogar el hardware.
Con una 3060 de 12 GB, me inclinaría por una 26B-A4B muy comprimida o incluso modelos más pequeños como E2B/E4B si se necesita un escenario local estable. Con una 3050 de 8 GB, habrá que moderar mucho las expectativas: la velocidad disminuye, parte de la carga se va a la RAM y las consultas largas provocan los bloqueos de los que se quejan los usuarios.
Y aquí es donde la idea popular de "simplemente démosle un contexto de 128K o 256K" no me convence. Suena bien en teoría. En una sesión real de DnD o cualquier juego largo, el modelo empieza a olvidar detalles importantes o gasta demasiados recursos computacionales en reprocesar todo el historial.
Yo implementaría la memoria de forma más sencilla. No una búsqueda agéntica completa para cada detalle, sino una estructura externa adaptada al caso de uso: archivos Markdown, SQLite, un registro de eventos de solo adición, más resúmenes breves después de cada sesión. Al modelo no le daría el mundo entero, sino 5-15 datos clave sobre los personajes, el arco argumental actual, las misiones activas y los últimos cambios de estado.
Si se necesita búsqueda, un FAISS o HNSW local sobre las notas ya resuelve la mitad del problema. Para un modo de muy bajo presupuesto, se puede prescindir del RAG clásico usando reglas de inyección: quién es importante, qué ha cambiado y qué puntos de la trama no se pueden romper.
Qué significa esto para los negocios y la automatización
Mi principal conclusión es esta: la búsqueda agéntica es más inteligente, pero no siempre se justifica en hardware de gama baja. Para productos locales y automatización con IA en PCs económicas, a menudo gana una arquitectura de memoria más simple pero predecible.
Ganan aquellos que diseñan un asistente para la tarea, no para la moda del contexto largo. Pierden los equipos que intentan reemplazar la arquitectura con una única y gran ventana de tokens.
Regularmente construyo este tipo de soluciones intermedias también para clientes: determinando dónde es suficiente la memoria estructurada, dónde se necesita RAG y dónde realmente vale la pena construir una integración de IA con agentes y herramientas. Si tienes un caso similar y tu asistente local necesita funcionar rápido, de manera estable y sin dependencia de la nube, analicemos tu escenario en Nahornyi AI Lab y construyamos una solución de IA sin exceso de cómputo ni complejidad decorativa.