KI-Inferenz: Speicher vor GPU-Anzahl dimensionieren

Lange Gespräche belegen Speicher, Anfragen warten, Daten müssen zu den Beschleunigern gelangen. Ein benannter Workload und ein messbares Serviceziel machen die Beschaffung konkreter.

Mit den tatsächlichen Anfragen beginnen

Definieren Sie Kontextlänge, parallele Anfragen, Zeit bis zum ersten Token und Ausgaberate. Sieben Milliarden Parameter mit je zwei Byte benötigen allein für Gewichte ungefähr 14 dezimale GB. Laufzeitpuffer, Aktivierungen, Allokation und KV-Cache kommen hinzu. Quantisierung verändert das Budget, erfordert aber anwendungsbezogene Qualitätsprüfungen. Eine kleinere Datei beweist weder unveränderte Genauigkeit noch schnelleren Gesamtbetrieb.

Wofür der Speicher gebraucht wird

Beispiel: KV-Bytes ≈ 2 × Schichten × KV-Köpfe × Kopfdimension × Bytes × Tokens × Batch. Bei 32 Schichten, 8 KV-Köpfen, Dimension 128, zwei Byte, 8.192 Tokens und Batch 8 ergeben sich 8 GiB. Dies setzt genau diese Architektur und Cache-Anordnung voraus. Die Zugangskontrolle muss wachsende Sequenzen, Abbrüche und Fragmentierung berücksichtigen, nicht nur das erfolgreiche Laden.

Beschleuniger rechtzeitig mit Daten versorgen

Trennen Sie Compute-, Speicher- und Verwaltungsverkehr nach Last und Fehlerdomänen. Mehr GPUs erhöhen den Kommunikationsbedarf und können auf Eingaben warten. Messen Sie Prefill und Decode getrennt und prüfen Sie reale Anfragemuster einschließlich langer Prompts. Erfassen Sie p95/p99, Tokens pro Joule, Sättigung und Wiederherstellung. Vergleichen Sie Einzelknoten und verteilte Bereitstellung bei gleichem Qualitätsziel. Gesucht ist das kleinste System, das die Anforderungen mit Reserve erfüllt.

Quellen

Geprüft: 2026-10-07

ADNET / Rechenzentrumsverbindungen

Eine Entscheidung für regionale Netze

Leiten Sie den Netzbedarf aus dem Betriebsplan ab: Speicherort, Kommunikation zwischen Knoten und tolerierbare Verzögerung. Daraus entsteht der Zweck einer Rechenzentrumsverbindung.

Lösung ansehen ↗

Für ADNET aus dem Beitrag des Autors in der Black Rock Academy bearbeitet. Technische Erläuterungen und Quellen bleiben erhalten; der folgende Anwendungshinweis ergänzt die Korridorplanung.

Originalbeitrag lesen ↗