Q4 oder Q8? Was Quantisierung und Multi-Token Prediction wirklich bringen

Drei Schrauben, an denen jeder dreht, und kaum jemand misst

Wer ein Sprachmodell auf eigener Hardware betreibt, trifft binnen Minuten drei Entscheidungen, die den Rest bestimmen: Wie fein werden die Gewichte gespeichert? Wie viele Anfragen teilen sich die Karte? Und schaltet man die Vorhersageköpfe zu, die manche Modelle mitbringen?

Zu allen dreien gibt es reichlich Meinungen und wenig Zahlen. (Ein Hinweis vorab für alle, die mit „Token" wenig anfangen können: Ein Token ist die Recheneinheit, in der Sprachmodelle denken, ungefähr drei Viertel eines Wortes. Wenn weiter unten von 31.000 Token die Rede ist, sind das also gut 23.000 Wörter, etwa ein halbes Buch.) Wir haben sie gemessen, dasselbe Modell, dieselbe Karte, dieselben Aufgaben, jeweils eine Einstellung verändert. Der Anlass war ein Vergleich lokaler Coding-Agenten gegen Claude Code und Codex, bei dem genau diese Fragen aufkamen.

Vorweg das Ergebnis in einem Satz: Eine der drei Einstellungen bringt spürbar etwas, eine kostet nur, und eine wirkt bei zwei Modellen genau entgegengesetzt.

Wie stark darf man ein Modell zusammenpressen?

Ein Modell wird nicht in der Form ausgeliefert, in der es trainiert wurde. Damit es auf eine Grafikkarte passt, werden seine Gewichte gerundet, dieselben Zahlen, nur gröber gespeichert. Das Verfahren heißt Quantisierung, und es entscheidet mit darüber, wie viel Hardware Sie brauchen. Übliche Stufen sind Q4 (rund vier Bit je Gewicht) und Q8 (rund acht).

Weil das für die Kaufentscheidung zählt, haben wir dasselbe Modell in beiden Stufen vermessen. qwen3.8 als Q4 belegt 16,5 Gigabyte, als Q8 sind es 27,9, knapp das Doppelte. Beide auf derselben Karte, mit demselben Auftrag:

Die naheliegende Erwartung ist, dass das größere Modell durchweg langsamer arbeitet. Beim Schreiben stimmt das auch, dort verliert Q8 ein Fünftel. Beim Lesen ist es umgekehrt, und in der Summe war der Durchlauf mit dem größeren Modell sogar minimal schneller.

Der Grund liegt daran, dass beide Vorgänge an unterschiedlichen Grenzen hängen. Beim Schreiben muss die Karte für jedes einzelne Wort das gesamte Modell durch ihren Speicher schieben; doppelt so große Gewichte kosten dort doppelt so viel Zeit. Beim Lesen wird gerechnet statt geschoben, und die gröber gerundeten Q4-Zahlen müssen dafür erst wieder aufgefaltet werden. Q8 spart sich diesen Schritt weitgehend.

Für Coding-Agenten ist das die günstigere Verteilung: Sie lesen ein halbes Projekt und schreiben ein paar Zeilen zurück. In unserem Durchlauf entfielen 63 der 64 Sekunden auf das Lesen. Die zwanzig Prozent Verlust beim Schreiben treffen also den kleineren Teil der Arbeit.

Die eigentliche Frage ist damit nicht Tempo, sondern Platz. Auf unseren Karten mit 48 Gigabyte passt das größere Modell samt vollem Kontextfenster hinein — 131.072 Token je Anfrage, zwei Anfragen gleichzeitig, unverändert gegenüber der kleinen Variante. Auf einer 32-Gigabyte-Karte hätten wir wählen müssen: entweder die höhere Auflösung oder der große Kontext, beides zusammen geht dort nicht auf. Wer beim Kartenkauf spart, spart diese Wahlfreiheit weg.

Und die Qualität? Kein messbarer Unterschied. Wir haben beide Stufen durch die gesamte Aufgabensammlung geschickt. Beim ersten Durchgang schien die höhere Auflösung schlechter abzuschneiden, bis auffiel, dass sechs von sieben schwachen Ergebnissen schlicht Zeitlimit-Abbrüche waren. Das langsamere Modell wurde häufiger mitten in der Arbeit abgeschnitten, und die Bewertung maß dann die Uhr statt das Können. Mit um die Hälfte verlängerter Frist lieferten beide Stufen dieselben Ergebnisse: dreimal hundert Prozent gegen dreimal hundert Prozent. Gemessen wurde dabei an echten Programmieraufgaben in bestehenden Projekten, etwa eine widersprüchliche Anforderung nachvollziehbar zu dokumentieren oder eine gewachsene Preisformel umzubauen, ohne das Ergebnis um einen Cent zu verschieben. Die Bewertung übernahmen automatische Testfälle, die der Agent nicht zu sehen bekam.

Für die Praxis ist das eine klare Ansage: Die höhere Auflösung ist ihr Geld nicht wert. Sie kostet ein Fünftel Ausgabetempo und zehn Gigabyte Speicher und liefert dafür nichts, was messbar wäre. Wir sind zurück auf die kleinere Stufe gegangen.

Was das in Euro bedeutet, hängt am Speicherpreis, und der ist gerade der Engpass. Zwischen einer Karte mit 32 und einer mit 48 Gigabyte liegen bei uns rund 2.600 Euro Anschaffungspreis. Wer durch die kleinere Auflösung mit weniger Speicher auskommt, spart also nicht ein paar Euro, sondern womöglich eine ganze Kartenklasse. Warum die Preise gerade jetzt so empfindlich sind, steht in unserem Beitrag zur Speicherkrise.

Der Beschleuniger, der wirklich etwas bringt

Statt in Auflösung haben wir in etwas anderes investiert. Manche Modelle bringen eigene Vorhersageköpfe mit, kleine Zusatzschichten, die raten, wie die nächsten Wörter lauten. Das Hauptmodell prüft die Vorschläge nur noch nach und verwirft, was nicht passt. Man bekommt also keine schlechteren Antworten, sondern dieselben in kürzerer Zeit. In der Software, die unsere Modelle ausführt, ist die Technik seit Mai 2026 verfügbar; man muss sie nur einschalten.

Aufmerksam geworden sind wir darauf durch zwei Beiträge bei heise: einen Ratgeber, wie sich lokale KI beschleunigen lässt, und einen Hintergrundartikel, der Speculative Decoding und Multi-Token Prediction im Detail erklärt. Was dort in der Theorie steht, haben wir an unseren eigenen Modellen nachgemessen, mit einem Ergebnis, das je nach Bauform des Modells gegensätzlich ausfällt.

Bei qwen3.8 mit spürbarem Erfolg:

Die halbierte Abbruchquote ist der eigentliche Gewinn. Die Antwortqualität ändert sich nicht, sie kann sich nicht ändern, das liegt im Verfahren. Was sich ändert, ist, wie oft der Agent fertig wird, bevor die Zeit abläuft. Kostenpunkt: drei Gigabyte Speicher.

Bei Ornith brachte dieselbe Technik nichts. Sie machte das Modell sogar langsamer, 66,9 statt 77,3 Token pro Sekunde, und ließ vier Läufe ins Zeitlimit laufen statt keiner. Der Grund liegt in der Bauart: Ornith weckt pro Wort ohnehin nur drei von 35 Milliarden Parametern, die Ausgabe ist also von Haus aus billig. Da lohnt sich das Raten nicht, zumal nur knapp ein Drittel der geratenen Wörter überhaupt angenommen wurde.

Zwei Modelle, dieselbe Einstellung, entgegengesetzte Wirkung. Auch hier gilt: ausprobieren, nicht übernehmen.

Was wir daraus gemacht haben

Unsere Konfiguration sieht nach diesen Messungen so aus: die kleinere Auflösung, dafür die Vorhersageköpfe eingeschaltet, beim dichten Modell. Beim Expertenmodell bleiben sie aus. Das spart zehn Gigabyte Speicher, bringt ein Fünftel Tempo und halbiert die Zahl der Läufe, die an einer Zeitgrenze scheitern.

Der Weg dorthin war nicht geradlinig. Zwischenzeitlich stand die höhere Auflösung im Betrieb, weil die ersten Messungen sie schlechter aussehen ließen als sie war, sechs von sieben schwachen Ergebnissen waren in Wahrheit Zeitlimit-Abbrüche eines langsameren Modells. Das ist die eigentliche Lehre für eigene Messungen: Wer Modelle unterschiedlicher Geschwindigkeit unter derselben Zeitgrenze vergleicht, misst die Uhr mit. Entweder man verlängert die Grenze, oder man weist den Tempoanteil offen aus.

Was das für die Beschaffung heißt

Drei Punkte, die vor dem Kauf zu klären sind und nicht danach:

Der Kontext pro Anfrage ist nicht die Zahl im Datenblatt. Ein Server, der 262.144 Token bereitstellt, aber vier Anfragen gleichzeitig bedient, gibt jeder einzelnen ein Viertel davon. Bei einem Coding-Agenten gehen allein für Systemauftrag und Werkzeugbeschreibungen rund 28.500 Token ab, bevor die erste Projektdatei geöffnet ist.

Speicher entscheidet über Wahlfreiheit, nicht über Machbarkeit. Auf einer 48-Gigabyte-Karte passen hohe Auflösung und volles Kontextfenster nebeneinander. Auf 32 Gigabyte muss man wählen. Beides zusammen ist kein Luxus, sondern die Voraussetzung dafür, später überhaupt vergleichen zu können.

Ein Expertenmodell spart Rechenzeit, keinen Speicher. Auch wenn pro Wort nur drei von 35 Milliarden Parametern arbeiten, bereitstehen müssen alle. Wer mit der Bauform Hardware sparen will, rechnet falsch; wer Tempo will, liegt richtig.

Wie sich diese Modelle bei echten Programmieraufgaben schlagen, steht im Vergleich lokaler Coding-Agenten. Wenn Sie wissen wollen, welche Ausstattung für Ihr Team sinnvoll ist, rechnen wir das gerne konkret durch, die Grundlagen dazu stehen unter KI-Server.

Tipp: Messen Sie jede Einstellung einzeln und mehrfach. Wir haben bei diesen Versuchen dreimal eine plausible Erklärung gefunden, die sich beim zweiten Hinsehen als falsch erwies, jedes Mal, weil zwei Dinge gleichzeitig verändert wurden oder eine einzelne Messung als Beleg genügen musste.