Grafikkarte für KI und lokale Sprachmodelle: Warum der Speicher zählt
Von best-gpu.com ·Veröffentlicht am 05.11.2026 · Aktualisiert am 05.11.2026 · 8 Min. Lesezeit
Wer Sprachmodelle oder Bildgeneratoren lokal auf dem eigenen Rechner laufen lassen will, kauft eine Grafikkarte nach anderen Regeln als ein Spieler. Hier entscheidet meist nicht die Rechengeschwindigkeit, sondern der Speicher. Dieser Ratgeber erklärt die Zusammenhänge und gibt Richtwerte.
Warum der Speicher entscheidet
Ein KI-Modell muss für die Berechnung vollständig oder zum großen Teil im Grafikspeicher liegen. Passt es nicht hinein, lagert die Software Teile in den Arbeitsspeicher aus, und die Geschwindigkeit sinkt auf einen Bruchteil. Eine schnelle Karte mit zu wenig Speicher kann also ein Modell gar nicht oder nur quälend langsam ausführen, während eine langsamere Karte mit mehr Speicher es problemlos lädt.
Wie viel Speicher ein Sprachmodell braucht
Die Faustformel: Ein Modell benötigt pro eine Milliarde Parameter etwa 2 GB im 16-Bit-Format und etwa 0,5 bis 0,7 GB, wenn es auf 4 Bit quantisiert ist. Dazu kommt Platz für den Kontext, also den bisherigen Gesprächsverlauf, der mit seiner Länge wächst.
| Modellgröße | Speicher bei 4-Bit-Quantisierung (grob) | Sinnvolle Kartengröße |
|---|---|---|
| 7 bis 8 Mrd. Parameter | 4,5 bis 6 GB | 8 GB |
| 13 bis 14 Mrd. Parameter | 8 bis 10 GB | 12 bis 16 GB |
| 30 bis 34 Mrd. Parameter | 18 bis 22 GB | 24 GB |
| 70 Mrd. Parameter | über 40 GB | mehrere Karten oder Auslagerung |
Das sind Näherungswerte, die je nach Software, Quantisierung und Kontextlänge schwanken. Quantisierung spart Platz, kann die Qualität aber leicht verringern.
Bildgenerierung
Für Bildmodelle gilt Ähnliches. Ältere Modelle laufen mit etwa 4 bis 6 GB, neuere und größere verlangen 8 bis 12 GB und mehr, vor allem bei hoher Auflösung und zusätzlichen Erweiterungen. Auch hier hilft zusätzlicher Speicher, weil er größere Bilder und mehrere Zusatzmodelle gleichzeitig erlaubt.
Nicht nur der Speicher
- Speicherbandbreite: Sprachmodelle sind häufig durch die Speichergeschwindigkeit begrenzt. Karten mit breiterem Speicherinterface erzeugen oft mehr Wörter pro Sekunde, als der reine TFLOPS-Wert vermuten lässt.
- Software-Unterstützung: NVIDIA-Karten werden von den meisten KI-Werkzeugen am besten unterstützt (CUDA). AMD-Karten funktionieren mit zunehmend mehr Programmen, erfordern aber öfter Einrichtungsaufwand. Intel Arc ist in einzelnen Werkzeugen nutzbar, bleibt aber die Ausnahme. Mehr dazu in NVIDIA, AMD oder Intel Arc.
- Leistungsaufnahme und Kühlung: Bei längeren Rechenaufgaben läuft die Karte stundenlang unter Last. Planen Sie Netzteil und Gehäuse entsprechend (Netzteil und Anschlüsse).
Was zählt in unserem Vergleich
Für KI-Aufgaben ist der Preis pro Gigabyte Speicher eine nützliche Zahl. Er steht in der Tabelle neben dem Preis pro TFLOP. Wer vor allem Modelle laden will, sortiert nach dem Preis pro Gigabyte und prüft dann die Rechenleistung. Eine ältere Karte mit 24 GB kann für KI sinnvoller sein als eine neuere mit 12 GB, auch wenn sie in Spielen langsamer ist. Unsere Zusammenstellung beste Grafikkarte für KI sortiert nach diesem Gesichtspunkt, ebenso die Seite Grafikkarten mit 24 GB.
Empfehlungen nach Zweck
- Ausprobieren und kleine Modelle: 8 bis 12 GB reichen für Modelle bis etwa 8 Milliarden Parameter und für die meisten Bildmodelle.
- Regelmäßige Nutzung mit mittelgroßen Modellen: 16 GB sind der Punkt, an dem die Auswahl deutlich größer wird.
- Große Modelle und ernsthafte Experimente: 24 GB oder mehr. Hier lohnt auch der Blick auf gebrauchte Karten (Checkliste).
Noch ein Hinweis: Wer nur gelegentlich ein Modell nutzt, fährt mit einem Cloud-Dienst manchmal günstiger als mit einer neuen Karte. Wer regelmäßig und mit privaten Daten arbeitet, profitiert dagegen davon, dass alles lokal bleibt.
Weiterlesen
- Grafikkarte aufrüsten: Wann lohnt sich der Wechsel?
- Zehn Fehler beim Grafikkartenkauf und wie Sie sie vermeiden
- Wann ist der beste Zeitpunkt, eine Grafikkarte zu kaufen?
- NVIDIA, AMD oder Intel Arc: Welche Grafikkarte passt zu Ihnen?
- Gebrauchte Grafikkarte kaufen: Checkliste und Risiken
- Netzteil, Anschlüsse und Gehäuse: Passt die Grafikkarte in meinen PC?
- Welche Grafikkarte für Full HD, WQHD und 4K?
- So bewerten wir Preis-Leistung: Rechenleistung, Speicher und Preis
- Wie viel Grafikspeicher (VRAM) brauche ich wirklich?
Links zu Amazon sind Affiliate-Links: Bei einem Kauf erhalten wir eine kleine Provision, der Preis für Sie bleibt gleich. Angaben zu Leistung und Speicher stammen aus den veröffentlichten Herstellerdaten; Preise ändern sich laufend und stehen im Vergleich.