KI lokal betreiben: Was steckt dahinter?
Was ist ein LLM, wie unterscheidet sich lokaler Betrieb von Cloud-KI – und welche Modelle kommen in der Praxis zum Einsatz?
Was ist ein LLM?
Ein Large Language Model (LLM) ist ein KI-System, das Texte versteht und generiert. Es wurde auf großen Textmengen trainiert und kann Fragen beantworten, Dokumente zusammenfassen, Code schreiben oder Texte übersetzen – ohne explizit programmiert zu werden, was es jeweils tun soll.
Bekannte Beispiele: ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google). Diese laufen in der Cloud. Self-Hosted KI nutzt ähnliche Technologie – aber auf Ihrer eigenen Infrastruktur.
Cloud KI vs. Self-Hosted KI
| Kriterium | Cloud KI | Self-Hosted KI |
|---|---|---|
| Datenhoheit | Daten verlassen das Unternehmen | Daten bleiben auf eigenen Servern |
| DSGVO | Problematisch (US-Server, CLOUD Act) | Konform (deutsche Infrastruktur) |
| Kosten | Variable Token-Kosten pro Anfrage | Planbare Fixkosten |
| Anpassbarkeit | Eingeschränkt auf Anbieter-API | Voll anpassbar (Modell, UI, Daten) |
| Offline-Betrieb | Nicht möglich | Vollständig Air-Gapped möglich |
| Einrichtung | Sofort nutzbar (API-Key) | Initiale Einrichtung nötig |
Zum Stichwort CLOUD Act: US-Anbieter müssen Daten auf Anordnung herausgeben, auch wenn sie in Europa gespeichert sind (18 U.S.C. § 2713). Die Einordnung nach Art. 44 ff. DSGVO und Schrems II mit allen Fundstellen steht unter KI & Datenschutz.
On-Premise vs. Managed Hosting
Zwei Wege, selbst zu hosten – mit unterschiedlichen Anforderungen.
On-Premise
KI läuft auf Ihrer eigenen Hardware in Ihrem Rechenzentrum. Maximale Kontrolle. Erfordert eigene IT-Infrastruktur.
Managed in Deutschland
Wir betreiben die KI auf deutschen Servern für Sie. Kein eigenes Rechenzentrum nötig, trotzdem volle Datenkontrolle.
Hybrid
Kritische Daten On-Premise, weniger sensible Workloads auf deutschen Cloud-Servern. Flexibel skalierbar.
Modelle, die wir einsetzen
Open-Source-Modelle sind die Basis für selbst betriebene KI. Die Auswahl hängt von Anwendungsfall, Hardware und Datenschutzanforderungen ab.
Llama (Meta)
Weit verbreitet, gut dokumentiert. Verschiedene Größen von 7B bis 70B Parameter. Gut für allgemeine Textaufgaben.
Mistral / Mixtral
Europäisch (Frankreich). Sehr effizient, auch auf kleinerer Hardware nutzbar. Gute Qualität bei geringem Ressourcenbedarf.
Spezialisierte Modelle
Für Code-Analyse, Dokumentenauswertung oder multimodale Aufgaben (Bild + Text) gibt es spezialisierte Modelle je nach Anwendungsfall.
Und was kostet die Hardware? Unsere KI-Server beginnen bei 6.800 € zum Kauf oder 200 € im Monat zur Miete – alle Größen und Preise stehen offen auf der Seite KI-Server kaufen oder mieten. Zum Stromverbrauch: Im Ruhezustand zieht so eine Maschine unter fünf Watt, weil sie sich schlafen legt, wenn niemand sie braucht. Die gemessenen Werte stehen in unserem Praxistest.
Fragen zur selbst gehosteten KI
Kann man ChatGPT selbst hosten?
ChatGPT selbst nicht — das Modell von OpenAI gibt es nur als Dienst. Sehr wohl selbst betreiben lassen sich aber offene Sprachmodelle, die im Alltag vergleichbar gut arbeiten: Sie laufen auf Ihrer eigenen Hardware, und keine Ihrer Eingaben verlässt das Haus. Genau solche Systeme bauen wir.
- Warum eine eigene KI?
- ChatGPT oder eigene KI?
- Lokale KI: Hardware und Grenzen
- KI-Benchmark: eigene Messwerte
- Eigene Daten in die KI bringen
- Die eingesetzten Technologien
- KI-Modelle im Vergleich
- Datenschutz & DSGVO
- KI-Server & Preise
- KI-Portal: Tarife und Preise
- Wie eine eigene KI aufgebaut ist
- Betriebsmodelle im Vergleich
- Anwendungsfälle
- Häufige Fragen zur eigenen KI
- Demo: So arbeitet ein Firmen-Chatbot
- Wie man anfängt
Welches Modell passt zu Ihrem Fall?
Wir beraten Sie ohne Hype – welche Technologie sinnvoll und realistisch ist.
Direkter Kontakt – ohne Umwege. Wir melden uns innerhalb eines Werktages.