Por qué algunos modelos de IA son rápidos en pruebas pero lentos en producción

Algunos modelos de IA parecen rápidos en las pruebas pero se ralentizan en producción, no por un fallo, sino por la brecha entre el comportamiento real y el rendimiento en los benchmarks. Este fenómeno es una característica estructural de la infraestructura de IA más reciente.

A los equipos de desarrollo les pasa continuamente: los modelos rinden de maravilla en el entorno de staging, pero al desplegarlos se vuelven lentos.

Las respuestas parecen rápidas en un entorno controlado, pero la latencia aumenta drásticamente a medida que más usuarios interactúan con el sistema. En algunos casos, la latencia puede multiplicarse por diez.

La ilusión de los benchmarks

Un desarrollador que quiera entender este fenómeno debe mirar más allá de la velocidad bruta de los modelos. Hay que examinar todo el pipeline de inferencia, incluidas la arquitectura del sistema, el enrutamiento de la infraestructura, las capas de seguridad y otras dinámicas.

La mayoría de las pruebas de rendimiento de IA analizan un conjunto reducido de métricas, como:

• Tokens por segundo (rendimiento)
• Tiempo hasta el primer token (TTFT)
• Tiempo total de respuesta

Estas métricas se analizan con solicitudes individuales, poca carga en el sistema, prompts básicos y el mínimo procesamiento de seguridad. En estas condiciones ideales y controladas, es lógico esperar resultados impresionantes.

La velocidad de generación de tokens puede variar: algunos despliegues alcanzaron 135 tokens por segundo, mientras que en otros se registraron 70 tokens por segundo . Incluso en condiciones controladas, se registró un rendimiento 2 veces mayor .

Pero estas cifras se obtienen en condiciones controladas y no reflejan la carga de trabajo en producción, con distintos usuarios haciendo solicitudes.

El tiempo hasta el primer token es una métrica clave

El tiempo hasta el primer token (TTFT) es más importante que el rendimiento en las aplicaciones orientadas al usuario. Para un usuario, la capacidad de respuesta de un modelo de IA depende de lo rápido que el sistema empiece a responder. No le importa la velocidad a la que se procesan los tokens restantes.

El TTFT puede ser inferior a un segundo en la fase de pruebas, pero mucho mayor en producción real. Las pruebas han demostrado que el TTFT puede aumentar de unos 4–5 segundos hasta 40–50 segundos aunque el modelo no cambie.

Con un TTFT de unos 4–5 segundos, el tiempo total de respuesta fue de 20 segundos, pero llegó a 120 segundos cuando el TTFT fue de 40–50 segundos. Este enorme cambio en el tiempo de respuesta indica que la velocidad de inferencia del modelo es solo uno de los muchos componentes de la latencia total.

Capas ocultas en un sistema de IA en producción

Cuando los modelos de IA se despliegan en entornos reales, entran en juego varias capas que no suelen estar presentes en la fase de pruebas. Aunque estas capas adicionales mejoran el cumplimiento normativo, la seguridad y la fiabilidad del sistema, también añaden latencia.

1. Pipelines de seguridad empresariales

La moderación de contenidos, el registro de cumplimiento, la validación de las respuestas y muchos otros procesos se aplican como parte del procesamiento de seguridad. Los proveedores de IA empresarial suelen aplicar:

• Controles de seguridad del contenido
• Evaluación de políticas
• Puntuación de riesgos

Estas comprobaciones son fundamentales en los despliegues reales, pero también retrasan la respuesta a cada solicitud.

2. Aislamiento de inquilinos y arquitectura multiinquilino

Para probar los modelos de IA se usan infraestructuras dedicadas o poco compartidas. En cambio, los sistemas de producción se ejecutan en entornos multiinquilino, ya que muchas organizaciones pueden compartir el mismo sistema.

Pero, incluso para controlar costes, los proveedores de IA empresarial garantizan la equidad y la seguridad aplicando:

• Aislamiento de inquilinos
• Control de cuotas
• Limitación de solicitudes
• Modelado del tráfico

Antes de llegar al modelo, cada solicitud tiene que pasar por varias capas y por la planificación; el objetivo es garantizar la estabilidad, pero también provoca retrasos en las respuestas.

3. Observabilidad y registro de cumplimiento

En producción, los proveedores de IA recopilan muchos datos para auditoría, facturación, depuración y cumplimiento normativo. Los sistemas de registro capturan los prompts de entrada, los metadatos, el número de tokens y otros detalles mientras procesan las solicitudes.

Estos pipelines suelen añadir solo milisegundos de retraso, pero sumados a otros factores, el impacto se nota.

Pruebas frente a producción – Diferencias de infraestructura

La topología de transferencia es otro factor importante. Los entornos de prueba funcionan con un enrutamiento mínimo, poco tráfico y acceso directo al modelo. En producción hay capas de red complejas, como:

• Pasarelas de API
• servicios de autenticación
• enrutamiento de solicitudes
• balanceadores de carga
• gestores de tráfico regionales

Te sorprenderá saber que la latencia entre nubes no es el principal cuello de botella. Los análisis muestran que los retrasos de red entre nubes pueden ser de solo 1–10 milisegundos, valores casi insignificantes que no tienen un impacto importante.

Los tiempos de inferencia de la IA pueden ir de 500 milisegundos a más de 30 segundos. Es decir, el problema no es la red: la mayor parte de la latencia se origina dentro de la pila del servicio de IA.

Rendimiento frente a capacidad de respuesta

La diferencia entre optimizar el rendimiento y optimizar la capacidad de respuesta interactiva es otro factor importante. Algunos modelos de IA están optimizados a propósito para cargas de trabajo por lotes, no para la interacción en tiempo real.

• Una vez que empieza la generación, un modelo de IA puede generar tokens extremadamente rápido
• Pero ese mismo modelo puede tardar más en iniciar el proceso de inferencia

Ahora entiendes por qué algunos modelos logran cifras impresionantes de tokens por segundo en los benchmarks, pero se quedan atrás en las interacciones reales. Elegir el modelo equivocado puede afectar mucho al rendimiento.

Concurrencia y picos de tráfico

No es habitual que los entornos de prueba simulen el comportamiento real de los usuarios, mientras que en las aplicaciones reales los sistemas de IA deben gestionar picos repentinos de tráfico, solicitudes simultáneas y retrasos por colas.

Antes de que empiece la inferencia, las solicitudes pueden esperar en colas a medida que aumenta el tráfico. Ninguna optimización evita la latencia si el modelo está esperando detrás de otras solicitudes. Para afrontar estos retos, los proveedores de IA aplican:

• límites de despliegue por región
• limitación de solicitudes (throttling)
• protección frente a ráfagas

Complejidad de los prompts y cargas de trabajo reales

Como en las pruebas de benchmark los prompts son cortos y predecibles, obtienes resultados más rápidos. Los prompts reales suelen ser largos y más complejos. La carga de trabajo en producción puede incluir:

• ventanas de contexto largas
• salidas estructuradas
• pipelines multiagente
• razonamiento encadenado
• llamadas a herramientas
• procesamiento de visión

El análisis de la entrada, la recuperación de contexto, el procesamiento posterior, el aumento del prompt y otras etapas retrasan las respuestas. Una consulta de benchmark de ejemplo no puede reflejar la complejidad de las cargas de trabajo reales.

Conclusión

La percepción de que los modelos de IA se vuelven más lentos en producción no es una ilusión: refleja la complejidad de desplegar sistemas de IA a escala. Los benchmarks suelen destacar el rendimiento bruto del modelo, pero es la escala de la pila de infraestructura la que determina el comportamiento en la aplicación real.

Para mejorar el rendimiento, los equipos deben optimizar todo el sistema, no solo los modelos de IA. Los equipos de IA deberían evaluar los modelos en condiciones de producción realistas.