Yapay zekâ çıkarımı: GPU saymadan önce belleği boyutlandırın

Uzun konuşmalar bellek tüketir; istekler sıraya girer, veri hızlandırıcılara ulaşmayı bekler. Satın alma kararı, gerçek iş yükü ve hizmet hedefi tanımlanınca netleşir.

Kullanıcının göndereceği isteklerden başlayın

Bağlam uzunluğu, eşzamanlı istek, ilk token gecikmesi ve saniyelik çıktı hedefini tanımlayın. Parametre başına iki baytla yedi milyar parametre yalnızca ağırlıklar için yaklaşık 14 GB ondalık alan ister. Çalışma tamponları, aktivasyonlar, tahsis gideri ve KV önbelleği eklenir. Nicemleme bütçeyi değiştirir; fakat kalite uygulama düzeyinde sınanmalıdır. Küçük dosya, aynı doğruluk veya hızlı hizmet kanıtı değildir.

Bellek nereye gidiyor?

Örnek KV bayt hesabı: 2 × katman × KV başlığı × başlık boyutu × bayt × token × parti. 32 katman, 8 KV başlığı, 128 boyut, iki bayt, 8.192 token ve 8 istek için sonuç 8 GiB’dir. Bu, belirtilen mimari ve önbellek düzenine dayanır; evrensel değildir. Kabul kontrolü yalnızca modelin yüklenmesini değil, uzayan dizileri, iptalleri ve bellek parçalanmasını da hesaba katmalıdır.

Hızlandırıcılara veriyi zamanında ulaştırmak

İşlem, depolama ve yönetim trafiğini iş yükü ve arıza alanlarına göre ayırın. GPU eklemek iletişim talebini büyütüp hızlandırıcıları veri bekletir hale getirebilir. Prefill ve decode’u ayrı, sonra uzun istemleri de içeren gerçekçi dağılımlarla ölçün. p95/p99 gecikme, joule başına token, doygunluk ve kurtarmayı kaydedin. Tek düğüm ve dağıtık sunumu aynı kalite hedefiyle karşılaştırın. Amaç en büyük GPU sayısı değil, hedefi işletim payıyla karşılayan en küçük sistemdir.

Kaynaklar

İnceleme: 2026-10-07

ADNET / Veri merkezi bağlantıları

Bölgesel ağlar için bir karar

Ağ tasarımını sunum planına bağlayın: veri nerede tutuluyor, hangi düğümler konuşuyor ve uygulama ne kadar gecikmeye izin veriyor? Veri merkezi bağlantısının amacı burada ortaya çıkar.

Çözümü inceleyin ↗

Yazarın Black Rock Academy yazısından ADNET için uyarlanmıştır. Teknik inceleme ve kaynaklar korunmuş; aşağıdaki uygulama notuna güzergâh planlama bağlamı eklenmiştir.

Özgün yazıyı okuyun ↗