گفت‌وگوهای طولانی حافظه می‌خواهند، درخواست‌ها در صف می‌مانند و داده باید به شتاب‌دهنده برسد. گفت‌وگوی خرید از جایی دقیق می‌شود که بار کاری و هدف خدمت روشن باشند.
از درخواست واقعی کاربر شروع کنیم
طول زمینه، درخواست هم‌زمان، تأخیر اولین توکن و نرخ تولید خروجی را مشخص کنید. مدل هفت‌میلیاردپارامتری با دو بایت برای هر پارامتر، فقط برای وزن‌ها حدود ۱۴ گیگابایت ده‌دهی می‌خواهد. بافر اجرا، فعال‌سازی‌ها، سربار تخصیص و کش KV جدا هستند. کوانتیزه‌سازی بودجه را تغییر می‌دهد، اما کیفیت باید در کاربرد واقعی سنجیده شود؛ فایل کوچک‌تر اثبات دقت یکسان یا سرویس سریع‌تر نیست.
حافظه کجا مصرف می‌شود؟
برای یک پیکربندی نمونه، حجم KV تقریباً برابر است با ۲ × لایه‌ها × سرهای KV × بُعد هر سر × بایت × توکن × اندازهٔ batch. با ۳۲ لایه، ۸ سر KV، بُعد ۱۲۸، مقادیر دوبایتی، ۸۱۹۲ توکن و batch برابر ۸، حاصل ۸ GiB است. این محاسبه به همان معماری و چیدمان کش وابسته است و قانون همهٔ مدل‌ها نیست. کنترل پذیرش درخواست باید رشد توالی، لغو درخواست و تکه‌تکه‌شدن حافظه را هم لحاظ کند.
داده را به‌موقع به شتاب‌دهنده برسانیم
ترافیک پردازش، ذخیره‌سازی و مدیریت را متناسب با بار و دامنهٔ خرابی جدا کنید. افزودن GPU می‌تواند نیاز ارتباطی را بالا ببرد و شتاب‌دهنده‌ها را منتظر ورودی بگذارد. prefill و decode را جدا و سپس با توزیع واقعی درخواست و پرامپت بلند آزمایش کنید. تأخیر p95/p99، توکن بر ژول، اشباع و بازیابی را ثبت کنید. اجرای تک‌نود و توزیع‌شده را با هدف کیفیت یکسان مقایسه کنید. انتخاب مهندسی، کوچک‌ترین سیستمِ پاسخ‌گو با ظرفیت احتیاطی است.
منابع
ADNET / اتصال میان دیتاسنترها
یک تصمیم برای شبکه‌های منطقه‌ای
شرح نیاز شبکه باید از طرح سرویس پیروی کند: داده کجا نگهداری می‌شود، کدام گره‌ها با هم حرف می‌زنند و برنامه چه تأخیری را تحمل می‌کند. این پرسش‌ها به اتصال میان دیتاسنترها معنا می‌دهند.
بررسی راهکار ↗برگرفته و بازپرداخت‌شده برای ADNET از مقالهٔ نویسنده در آکادمی بلک‌راک. بحث فنی و منابع حفظ شده و یادداشت کاربردی زیر، موضوع را به طراحی کریدور ارتباطی پیوند می‌دهد.
مطالعهٔ مقالهٔ اصلی ↗اشتراک‌گذاری و ارجاع به مقاله
Hamid Reza Assariha. استنتاج هوش مصنوعی: پیش از شمارش GPU، حافظه را محاسبه کنید. ADNET, 2026-10-09. https://www.adnetinternet.com/fa/insights/gpu-ai-inference-memory-network/