Aus der Praxis
Lokale KI: Hardware, Kosten und Grenzen
Was der Betrieb eigener KI-Modelle wirklich verlangt – mit Zahlen aus unserem eigenen Rechenbetrieb statt aus Datenblättern.
Was der Betrieb eigener KI-Modelle wirklich verlangt – mit Zahlen aus unserem eigenen Rechenbetrieb statt aus Datenblättern.
Lokale KI bedeutet: Das Sprach- oder Bildmodell läuft auf Hardware, die Ihnen gehört oder die für Sie allein betrieben wird. Keine Anfrage verlässt Ihr Netz, es gibt keinen API-Schlüssel bei einem US-Anbieter und keine Abrechnung pro Token.
Der Unterschied zu Cloud-KI ist nicht die Qualität der Antworten – moderne Open-Source-Modelle sind für die meisten Aufgaben im Unternehmen gut genug. Der Unterschied liegt darin, wer die Daten sieht, wer die Kosten kontrolliert und wer entscheidet, wann ein Modell abgeschaltet oder ausgetauscht wird.
Wir betreiben lokale KI seit mehreren Jahren selbst – für Textmodelle, Bildgenerierung und Spracherkennung. Was auf dieser Seite steht, sind Erfahrungswerte aus diesem Betrieb, keine Herstellerangaben.
Die übliche Antwort lautet „möglichst viel VRAM“. Das ist nicht falsch, aber es ist nicht der Punkt, an dem die meisten Installationen scheitern.
In unserem Betrieb steht eine Maschine mit 96 GiB Grafikspeicher, aber nur 59 GB Arbeitsspeicher. Beim Laden eines großen Bildmodells belegt allein der Text-Encoder rund 54 GB RAM – bevor die Grafikkarte überhaupt etwas zu tun bekommt. Läuft parallel ein Sprachmodell, bricht der Vorgang mit Speichermangel ab.
Die Grafikkarte ist in dieser Situation vollständig unbeteiligt. Wer nur auf VRAM schaut, kauft ein System, das an einer ganz anderen Stelle klemmt.
Dieselbe Maschine brauchte für ein Bild zunächst 14 bis 16 Minuten. Nach Korrektur einer einzigen Einstellung – das Modell wurde nach jedem Auftrag aus dem Speicher geworfen und musste neu geladen werden – waren es rund 3 Minuten. Die Rechenzeit war nie das Problem, das Nachladen war es.
Solche Effekte finden Sie in keinem Datenblatt. Sie finden sie, indem jemand misst, wo die Zeit tatsächlich hingeht.
Damit Sie ein Gefühl dafür bekommen, was welche Hardwareklasse leistet.
| Aufgabe | Speicherbedarf | Dauer |
|---|---|---|
| Bild, mittleres Modell (9 Mrd. Parameter, quantisiert) | 17,3 GiB VRAM | rund 28 Sekunden |
| Bild, großes Modell (volle Qualität) | deutlich über 24 GiB | rund 3 Minuten |
| Sprachmodell, 8 Mrd. Parameter | läuft auf einer 24-GB-Karte | Antwort in Sekunden |
| Sprachmodell mit langem Kontext (128k) | Bedarf steigt stark mit der Kontextlänge | spürbar langsamer |
Die wichtigste Erkenntnis daraus: Für Textaufgaben im Unternehmensalltag – Zusammenfassen, Klassifizieren, Formulieren, Auskunft aus eigenen Dokumenten – reicht deutlich weniger Hardware, als die Diskussion um die größten Modelle vermuten lässt. Teuer wird es erst bei Bildgenerierung und sehr langem Kontext.
Der Aufbau ist an einem Tag erledigt. Die folgenden Punkte kosten anschließend Zeit – und stehen in keiner Anleitung.
Ohne ausreichenden Speicherpuffer liefert die Bildgenerierung schwarze Bilder – und meldet den Auftrag trotzdem als erfolgreich. Wer nicht ins Ergebnis schaut, merkt tagelang nichts. Monitoring muss das Ergebnis prüfen, nicht den Exit-Code.
Ein von uns getestetes Modell mit 119 Milliarden Parametern lieferte überhaupt keinen Text – die Modellarchitektur wurde von der eingesetzten Laufzeitumgebung noch nicht unterstützt. Zwischen „veröffentlicht“ und „einsetzbar“ liegen oft Monate.
Ein GPU-Server, der rund um die Uhr wartet, kostet auch dann Geld, wenn niemand ihn nutzt. Wir fahren unsere Maschinen bei Leerlauf automatisch herunter und wecken sie bei Bedarf – das verändert die Betriebskosten deutlich.
Wir sagen Ihnen offen, wenn Ihr Fall in die zweite Spalte gehört. Ein Projekt, das sich nicht rechnet, hilft niemandem.
Und was kostet die Hardware? Unsere KI-Server beginnen bei 5.500 € zum Kauf oder 200 € im Monat zur Miete – alle Größen und Preise stehen offen auf der Seite KI-Server kaufen oder mieten. Wie Sie Ihre eigenen Dokumente anbinden, steht unter Eigene Daten in die KI bringen.
Wir rechnen Ihnen das durch – mit echten Zahlen und ohne Hype.
Direkter Kontakt – ohne Umwege. Wir melden uns innerhalb eines Werktages.