Inferencia de IA: dimensionar memoria antes de contar GPU

Las conversaciones largas ocupan memoria, las solicitudes esperan y los datos deben alcanzar los aceleradores. Una carga de trabajo concreta aclara la decisión de compra.

Empezar por las solicitudes del usuario

Defina contexto, solicitudes simultáneas, latencia del primer token y ritmo de salida. Un modelo de siete mil millones de parámetros a dos bytes requiere unos 14 GB decimales solo para pesos. Búferes, activaciones, asignación y caché KV son adicionales. La cuantización cambia el presupuesto, pero exige validar calidad en la aplicación; un archivo menor no demuestra igual precisión ni mayor velocidad integral.

Dónde se consume la memoria

Ejemplo: bytes KV ≈ 2 × capas × cabezas KV × dimensión × bytes × tokens × lote. Con 32 capas, 8 cabezas KV, dimensión 128, dos bytes, 8.192 tokens y lote 8 resultan 8 GiB. Depende de esa arquitectura y organización de caché, no es universal. La admisión debe contemplar secuencias crecientes, cancelaciones y fragmentación, además de cargar el modelo.

Mantener los aceleradores alimentados con datos

Separe tráfico de cómputo, almacenamiento y gestión según cargas y dominios de fallo. Añadir GPU eleva la comunicación y puede dejar aceleradores esperando datos. Mida prefill y decode por separado y pruebe distribuciones reales con entradas largas. Registre p95/p99, tokens por julio, saturación y recuperación. Compare servicio local y distribuido con igual calidad y latencia objetivo. Elija el sistema mínimo que cumpla con margen operativo.

Fuentes

Revisado: 2026-10-07

ADNET / Interconexión de centros de datos

Una decisión para redes regionales

Derive la red del plan de servicio: dónde se guardan los datos, qué nodos se comunican y cuánto retraso admite la aplicación. Así se define la función de la interconexión.

Explorar solución ↗

Adaptado para ADNET a partir del ensayo del autor en Black Rock Academy. Se conservan la discusión técnica y las referencias; la nota de aplicación añade el contexto de planificación de corredores.

Leer el ensayo original ↗