Длинные разговоры занимают память, запросы ждут, данные должны попасть к ускорителям. Конкретная нагрузка и измеримая цель делают закупку понятнее.
Начать с запросов пользователей
Задайте длину контекста, число запросов, задержку первого токена и скорость выдачи. Семь миллиардов параметров по два байта требуют около 14 ГБ десятичного хранения только весов. Буферы, активации, аллокатор и KV-кэш добавляются отдельно. Квантизация меняет бюджет, но качество проверяется на прикладных задачах: меньший файл не доказывает прежнюю точность или ускорение всего сервиса.
Куда расходуется память
Пример оценки KV в байтах: 2 × слои × KV-головы × размер головы × байты × токены × пакет. Для 32 слоёв, 8 KV-голов, размера 128, двухбайтных значений, 8 192 токенов и пакета 8 получается 8 ГиБ. Это относится к указанной архитектуре и размещению кэша, а не ко всем моделям. Контроль допуска должен учитывать рост последовательностей, отмены и фрагментацию, а не только загрузку модели.
Вовремя снабжать ускорители данными
Разделяйте вычислительный, дисковый и управляющий трафик по нагрузке и областям отказа. Дополнительные GPU повышают требования к обмену и могут ждать данные. Измеряйте prefill и decode отдельно, затем проверяйте реальные распределения, включая длинные запросы. Учитывайте p95/p99, токены на джоуль, насыщение и восстановление. Сравнивайте локальное и распределённое обслуживание при одинаковых требованиях к качеству. Выбирайте минимальную систему, выполняющую цель с резервом, а не максимальное число ускорителей.
Источники
ADNET / Соединения дата-центров
Решение для региональных сетей
Требования к сети следуют из плана сервиса: где хранятся данные, какие узлы общаются и какая задержка допустима. Так определяется назначение межцентрового соединения.
Изучить решение ↗Адаптировано для ADNET из статьи автора в Black Rock Academy. Техническая часть и источники сохранены; прикладное замечание ниже связывает материал с планированием коридоров.
Исходная статья ↗Поделиться статьёй или сослаться
Hamid Reza Assariha. Инференс ИИ: сначала память, затем количество GPU. ADNET, 2026-10-09. https://www.adnetinternet.com/ru/insights/gpu-ai-inference-memory-network/