تستهلك المحادثات الطويلة الذاكرة، وتتراكم الطلبات، وتنتظر المسرّعات البيانات. يصبح قرار الشراء أوضح حين نحدد عبء العمل والهدف القابل للقياس.
البدء بطلبات المستخدم الفعلية
حدد طول السياق وعدد الطلبات المتزامنة وزمن الوصول إلى أول رمز وعدد رموز الإخراج في الثانية. يحتاج نموذج من سبعة مليارات معلمة، مخزّن ببايتين لكل معلمة، إلى نحو 14 غيغابايت بالنظام العشري للأوزان وحدها. وتُضاف إليها مخازن التشغيل والتنشيطات وكلفة تخصيص الذاكرة وذاكرة KV. يغير التكميم ميزانية الأوزان، لكنه يتطلب فحص الجودة على مستوى التطبيق؛ فصغر الملف لا يثبت ثبات الدقة أو تحسّن سرعة الخدمة من البداية إلى النهاية.
أين تُستهلك الذاكرة؟
في إعداد انتباه توضيحي، حجم KV بالبايت ≈ 2 × عدد الطبقات × رؤوس KV × بُعد الرأس × بايتات القيمة × الرموز × حجم الدفعة. مع 32 طبقة و8 رؤوس KV وبُعد 128 وقيم من بايتين و8,192 رمزاً ودفعة من 8، تكون النتيجة 8 GiB. يفترض ذلك المعمارية وتخطيط الذاكرة المذكورين، ولا يمثل متطلباً عاماً لكل نموذج. يجب أن تراعي آلية قبول الطلبات نمو التسلسلات وإلغاء الطلبات وتجزؤ الذاكرة، لا مجرد نجاح تحميل النموذج.
إيصال البيانات إلى المسرّعات في الوقت المناسب
افصل حركة الحوسبة والتخزين والإدارة وفق الأحمال ونطاقات الأعطال. فقد تؤدي زيادة عدد وحدات GPU إلى رفع متطلبات الاتصال وترك المسرّعات المكلفة تنتظر البيانات. قِس مرحلتي معالجة المدخلات وتوليد الرموز على حدة، ثم اختبر توزيعاً واقعياً للطلبات، بما فيه المدخلات الطويلة. سجّل كمون p95/p99 والرموز لكل جول والتشبع والتعافي. قارن التشغيل على عقدة واحدة والتشغيل الموزع عند هدف الجودة والكمون نفسه. القرار الهندسي هو أصغر نظام يحقق ذلك الهدف مع هامش تشغيلي، وليس أكبر مجموع معلن للمسرّعات.
المصادر
ADNET / ربط مراكز البيانات
قرار للشبكات الإقليمية
يجب أن تتبع متطلبات الشبكة خطة الخدمة: مكان تخزين البيانات، والعقد المتواصلة، والتأخير المقبول. بذلك تتضح وظيفة الربط بين مراكز البيانات.
استكشف الحل ↗أُعيد إعداد المقال لـ ADNET انطلاقاً من مقال الكاتب في Black Rock Academy. حُفظ النقاش التقني والمراجع، وأضيفت ملاحظة تطبيقية تربط الموضوع بتخطيط ممرات الاتصال.
اقرأ المقال الأصلي ↗مشاركة المقال أو الاستشهاد به
Hamid Reza Assariha. استدلال الذكاء الاصطناعي: حدّد الذاكرة قبل عدّ وحدات GPU. ADNET, 2026-10-09. https://www.adnetinternet.com/ar/insights/gpu-ai-inference-memory-network/