Inferencia local: 90 W frente a GPU caras

La ejecución local ahorra donde menos se espera

No reduciría la decisión al precio por token. En el caso descrito, un sistema local consumía unos 90 W y permitía experimentar sin temor a una factura inesperada de la nube. En la discusión original, el participante 144406 citó Spark como ejemplo de esta configuración.

Sin embargo, 90 W no debe considerarse una cifra universal para la IA local. Es el resultado de un modo de operación, un modelo y un hardware concretos, no una referencia para servir modelos grandes. Cuanto mayores sean las exigencias de memoria y rendimiento, más rápido una instalación local pasa de ser un banco eficiente a convertirse en un rack caro con necesidades de refrigeración.

Aquí aparece la paradoja del ecosistema open-weight. Los lanzamientos casi diarios de modelos chinos amplían las opciones, pero también impulsan la demanda de GPU con gran capacidad de memoria. En el momento de la discusión, los precios de la RTX PRO 6000 habían subido de 11–13 mil a 16–17 mil dólares.

La nube elimina la inversión inicial, pero se paga por cada sesión activa. Las referencias de precios de mediados de 2026 situaban las H200 en torno a 4,50–5,50 dólares por hora en tarifas estándar y entre 1,80 y 2,80 dólares en algunas ofertas spot. Para ejecuciones pesadas y poco frecuentes, esa cuenta puede ser más razonable que comprar un acelerador.

El contraste se aprecia en el artículo de Anthropic del 28 de agosto de 2026, “Automated researchers can reliably mitigate alignment failures”. Allí se usaron H200 para investigadores automatizados: es una clase de tarea para la que un modo local compacto de 90 W no es una alternativa directa.

La utilización, no la ideología, define ahora la elección

La inferencia local gana con trabajo continuo, datos sensibles y necesidad de controlar por completo el entorno. La nube sigue siendo más fuerte ante cargas irregulares, picos repentinos y experimentos que requieren temporalmente aceleradores de la clase H200.

El primer cálculo debe incluir más que electricidad y tarifa por hora. El coste local contempla el precio de la GPU, tiempo inactivo, refrigeración, mantenimiento y el riesgo de obsolescencia rápida. El coste en la nube incluye almacenamiento, transferencia de datos y horas perdidas por una mala gestión del ciclo de vida de los recursos.

El alza de la RTX PRO 6000 demuestra que los modelos open-weight no solo democratizan la inferencia. Trasladan la escasez de las API al hardware. La pregunta principal ya no es dónde se ejecuta el modelo, sino qué porcentaje de uso tendrá realmente el acelerador adquirido.

Antes analizamos Cocoon y cómo la computación confidencial cambia los costes de inferencia y los requisitos de privacidad. Este caso amplía el debate sobre cuándo conviene tener infraestructura propia ante la subida de precios de las GPU.