Lokale KI: Hardware, Kosten und Grenzen
Was der Betrieb eigener KI-Modelle wirklich verlangt – mit Zahlen aus unserem eigenen Rechenbetrieb statt aus Datenblättern.
Was „lokale KI“ konkret heißt
Lokale KI bedeutet: Das Sprach- oder Bildmodell läuft auf Hardware, die Ihnen gehört oder die für Sie allein betrieben wird. Keine Anfrage verlässt Ihr Netz, es gibt keinen API-Schlüssel bei einem US-Anbieter und keine Abrechnung pro Token.
Der Unterschied zu Cloud-KI ist nicht die Qualität der Antworten – moderne Open-Source-Modelle sind für die meisten Aufgaben im Unternehmen gut genug. Der Unterschied liegt darin, wer die Daten sieht, wer die Kosten kontrolliert und wer entscheidet, wann ein Modell abgeschaltet oder ausgetauscht wird.
Wir betreiben lokale KI seit mehreren Jahren selbst – für Textmodelle, Bildgenerierung und Spracherkennung. Was auf dieser Seite steht, sind Erfahrungswerte aus diesem Betrieb, keine Herstellerangaben.
Drei ehrliche Antworten vorab
-
Läuft das so schnell wie ChatGPT?
Für Textaufgaben ja, wenn die Hardware passt. Bei sehr großen Modellen und langem Kontext merken Sie den Unterschied. -
Rechnet sich das?
Ab einem gewissen Nutzungsvolumen ja. Bei gelegentlicher Nutzung durch wenige Personen ist die Cloud günstiger. -
Ist das kompliziert?
Der Aufbau ist überschaubar. Der laufende Betrieb ist es nicht – dazu weiter unten mehr.
Die Hardware-Frage wird fast immer falsch gestellt
Die übliche Antwort lautet „möglichst viel VRAM“. Das ist nicht falsch, aber es ist nicht der Punkt, an dem die meisten Installationen scheitern.
Der Engpass ist oft der Arbeitsspeicher
In unserem Betrieb steht eine Maschine mit 96 GiB Grafikspeicher, aber nur 59 GB Arbeitsspeicher. Beim Laden eines großen Bildmodells belegt allein der Text-Encoder rund 54 GB RAM – bevor die Grafikkarte überhaupt etwas zu tun bekommt. Läuft parallel ein Sprachmodell, bricht der Vorgang mit Speichermangel ab.
Die Grafikkarte ist in dieser Situation vollständig unbeteiligt. Wer nur auf VRAM schaut, kauft ein System, das an einer ganz anderen Stelle klemmt.
Eine Konfigurationsoption entschied über den Faktor 5
Dieselbe Maschine brauchte für ein Bild zunächst 14 bis 16 Minuten. Nach Korrektur einer einzigen Einstellung – das Modell wurde nach jedem Auftrag aus dem Speicher geworfen und musste neu geladen werden – waren es rund 3 Minuten. Die Rechenzeit war nie das Problem, das Nachladen war es.
Solche Effekte finden Sie in keinem Datenblatt. Sie finden sie, indem jemand misst, wo die Zeit tatsächlich hingeht.
Größenordnungen aus dem laufenden Betrieb
Damit Sie ein Gefühl dafür bekommen, was welche Hardwareklasse leistet.
| Aufgabe | Speicherbedarf | Dauer |
|---|---|---|
| Bild, mittleres Modell (9 Mrd. Parameter, quantisiert) | 17,3 GiB VRAM | rund 28 Sekunden |
| Bild, großes Modell (volle Qualität) | deutlich über 24 GiB | rund 3 Minuten |
| Sprachmodell, 8 Mrd. Parameter | läuft auf einer 24-GB-Karte | Antwort in Sekunden |
| Sprachmodell mit langem Kontext (128k) | Bedarf steigt stark mit der Kontextlänge | spürbar langsamer |
Messmethodik: eigene Messungen im Juli und August 2026 auf einer Maschine mit 96 GiB Grafikspeicher und 59 GB Arbeitsspeicher, Dauer je Auftrag inklusive Laden des Modells. Einzelne Bildmodelle im direkten Vergleich auf einer Consumer-Karte (AMD RX 7900 XTX, 24 GB) finden Sie im Praxistest FLUX, SDXL, Chroma und Gemini; warum dasselbe Motiv bei jedem Lauf anders aussieht, erklärt dieser Beitrag zu Seed und Sampler.
Die wichtigste Erkenntnis daraus: Für Textaufgaben im Unternehmensalltag – Zusammenfassen, Klassifizieren, Formulieren, Auskunft aus eigenen Dokumenten – reicht deutlich weniger Hardware, als die Diskussion um die größten Modelle vermuten lässt. Teuer wird es erst bei Bildgenerierung und sehr langem Kontext.
Wie schnell lokale Sprachmodelle wirklich sind
Gemessen auf unseren KI-Servern mit je zwei AMD Radeon PRO W7800 (je 48 GB), ein Modell pro Karte. Messzeitraum Juli bis August 2026, 550 Durchläufe echter Programmieraufgaben, Median je Variante.
| Modell | Quantisierung | Grafikspeicher | Token/s |
|---|---|---|---|
| Ornith 1.5 | Q8 | 42,2 GiB | 77 |
| Ornith 1.0 (Vorgänger) | Q8 | 39,7 GiB | 84 |
| qwen3.8 27B + Multi-Token-Prediction | Q4 | 35,7 GiB | 31 |
| qwen3.8 27B | Q4 | 32,7 GiB | 28 |
| qwen3.8 27B | Q8 | 43,0 GiB | 23 |
Gleichzeitige Nutzer je Ausbaustufe
Eine 48-GB-Karte bedient in dieser Einstellung 2 Anfragen gleichzeitig mit je 131.072 Token Kontext, unsere 96-GB-Maschine 4. Die 32-GB-Stufe haben wir für Chat und Programmierhilfe nicht vermessen – das Modell passt dort nur mit kürzerem Kontext. Wie viele Mitarbeitende das sind, hängt davon ab, wie gleichzeitig Ihr Team arbeitet: Im Chat rechnet die Karte nur, während eine Antwort entsteht.
Q4 reicht
Die feinere Stufe Q8 braucht rund 10 GB mehr Speicher und schreibt ein Fünftel langsamer. Besser gelöst hat sie keine einzige Aufgabe. Warum, steht in Q4 oder Q8 – was Quantisierung wirklich bringt. Was Token und Kontextfenster überhaupt sind, erklärt unser Einsteigerbeitrag.
Aufbau, Aufgaben, Statistik, Stromverbrauch und alle Einzelwerte stehen im KI-Benchmark mit vollständiger Methodik.
Was in der Praxis schiefgeht
Der Aufbau ist an einem Tag erledigt. Die folgenden Punkte kosten anschließend Zeit – und stehen in keiner Anleitung.
Stille Fehler
Ohne ausreichenden Speicherpuffer liefert die Bildgenerierung schwarze Bilder – und meldet den Auftrag trotzdem als erfolgreich. Wer nicht ins Ergebnis schaut, merkt tagelang nichts. Monitoring muss das Ergebnis prüfen, nicht den Exit-Code.
Nicht jedes Modell funktioniert
Ein von uns getestetes Modell mit 119 Milliarden Parametern lieferte überhaupt keinen Text – die Modellarchitektur wurde von der eingesetzten Laufzeitumgebung noch nicht unterstützt. Zwischen „veröffentlicht“ und „einsetzbar“ liegen oft Monate.
Strom im Leerlauf
Ein GPU-Server, der rund um die Uhr wartet, kostet auch dann Geld, wenn niemand ihn nutzt. Wir fahren unsere Maschinen bei Leerlauf automatisch herunter und wecken sie bei Bedarf: unter 5 Watt im Standby statt 60 Watt im Bereitschaftsbetrieb. Warum wir Bilder deshalb lieber selbst rechnen, steht in 500 Bilder ohne Tokenkosten.
Wann lokale KI sich lohnt
- Ihre Daten dürfen das Haus nicht verlassen – Mandanten-, Patienten- oder Personaldaten.
- Sie verarbeiten regelmäßig große Textmengen; die Token-Kosten in der Cloud wachsen mit.
- Sie brauchen Planbarkeit statt einer Rechnung, die mit der Nutzung schwankt.
- Sie wollen unabhängig davon sein, dass ein Anbieter Modelle abkündigt oder Preise ändert.
Wann eher nicht
- Wenige Personen nutzen KI gelegentlich – dann ist die Cloud schlicht billiger.
- Sie brauchen immer das jeweils stärkste Modell am Markt.
- Es gibt niemanden, der den Betrieb übernimmt. Eine lokale KI ist ein Server, kein Produkt.
Wir sagen Ihnen offen, wenn Ihr Fall in die zweite Spalte gehört. Ein Projekt, das sich nicht rechnet, hilft niemandem.
Und was kostet die Hardware? Unsere KI-Server beginnen bei 6.800 € zum Kauf oder 200 € im Monat zur Miete – alle Größen und Preise stehen offen auf der Seite KI-Server kaufen oder mieten. Wie Sie Ihre eigenen Dokumente anbinden, steht unter Eigene Daten in die KI bringen. Was lokale Modelle heute leisten und wo sie an Grenzen stoßen, haben wir an echten Aufgaben durchgemessen: unser Praxistest mit 550 Durchläufen.
Fragen zur lokalen KI
Was bedeutet lokale KI?
Dass das Sprachmodell auf Hardware läuft, die Ihnen gehört oder allein für Sie betrieben wird. Keine Anfrage verlässt Ihr Netz, es gibt keinen API-Schlüssel bei einem Anbieter und keine Abrechnung pro Anfrage. Der Unterschied zur Cloud liegt weniger in der Antwortqualität als darin, wer die Daten sieht und wer über den Betrieb entscheidet.
Welche Hardware braucht lokale KI?
Weniger, als die Diskussion um die größten Modelle vermuten lässt. Für Textaufgaben im Unternehmensalltag genügt eine einzelne leistungsfähige Grafikkarte. Teuer wird es erst bei Bildgenerierung und sehr langen Gesprächsverläufen. Häufig unterschätzt wird dabei der Arbeitsspeicher: Er ist in der Praxis öfter der Engpass als der Grafikspeicher.
Rechnet sich lokale KI gegenüber der Cloud?
Ab einem gewissen Nutzungsvolumen ja, darunter nicht. Cloud-KI kostet pro Kopf und Monat und wächst mit der Belegschaft; eine eigene Maschine kostet einmal und danach ungefähr gleich viel, ob zehn oder hundert Menschen sie nutzen. In die Rechnung gehören Strom, Wartung und die Arbeitszeit für den Betrieb — ohne diese Posten ist sie geschönt.
- Warum eine eigene KI?
- ChatGPT oder eigene KI?
- KI selbst hosten
- KI-Benchmark: eigene Messwerte
- Eigene Daten in die KI bringen
- Die eingesetzten Technologien
- KI-Modelle im Vergleich
- Datenschutz & DSGVO
- KI-Server & Preise
- KI-Portal: Tarife und Preise
- Wie eine eigene KI aufgebaut ist
- Betriebsmodelle im Vergleich
- Anwendungsfälle
- Häufige Fragen zur eigenen KI
- Demo: So arbeitet ein Firmen-Chatbot
- Wie man anfängt
Lohnt sich lokale KI in Ihrem Fall?
Wir rechnen Ihnen das durch – mit echten Zahlen und ohne Hype.
Direkter Kontakt – ohne Umwege. Wir melden uns innerhalb eines Werktages.