Wie ChatGPT – aber auf Ihren Servern. Firmenwissen aus Wikis, Dokumenten und Datenbanken sofort durchsuchbar. DSGVO-konform, in Deutschland gehostet.
Öffentliche KI-Dienste wie ChatGPT senden jede Eingabe an Server in den USA – unter unklaren Datenschutzbedingungen und mit dem Risiko, dass Ihre Daten für das Training fremder Modelle verwendet werden. Ein Self-Hosted Firmen-Chatbot arbeitet ausschließlich innerhalb Ihres eigenen Sicherheitsperimeters: Ihre Unternehmensdaten verlassen niemals das Haus.
Durch RAG (Retrieval Augmented Generation) wird Ihr Chatbot mit Firmenwissen aus Wikis, Dokumenten und Datenbanken verknüpft. So beantwortet er Fragen präzise und mit Quellenangabe – ohne teures Nachtrainieren des Modells. Wir planen, installieren und betreiben diese Systeme – von der Modellauswahl bis zum laufenden Betrieb.
Ihre Daten bleiben auf Ihren Servern. Kein Transfer in US-Clouds.
Betrieb ausschließlich in Deutschland oder auf Ihrer eigenen Infrastruktur.
Modell, Oberfläche und Datenquellen nach Ihren Anforderungen konfiguriert.
Keine variablen API-Kosten je Anfrage. Planbare Betriebskosten.
Self-Hosted KI ist sinnvoll, wenn Datenschutz, Kontrolle oder individuelle Anpassung entscheidend sind.
Unternehmen mit sensiblen Kundendaten, Betriebsgeheimnissen oder hohem Datenschutzbewusstsein.
Besonders schützenswerte Mandanten- oder Patientendaten erfordern maximale Kontrolle über KI-Systeme.
Organisationen mit eigenen IT-Infrastrukturen und dem Wunsch nach Unabhängigkeit von Tech-Konzernen.
Entwicklungsteams, die KI-Funktionalität in eigene Produkte integrieren wollen – ohne externe Abhängigkeit.
Kreative und digitale Agenturen, die KI-gestützte Workflows intern oder für Kunden aufbauen wollen.
Organisationen, die bereits eigene Server betreiben und KI als natürliche Erweiterung ihrer Infrastruktur sehen.
RAG (Retrieval Augmented Generation) verbindet ein Sprachmodell mit Ihrem Firmenwissen – ohne dass das Modell selbst trainiert werden muss.
Mitarbeiter fragen in natürlicher Sprache – der Chatbot durchsucht fragmentierte Datensilos, Intranet-Seiten und PDFs und liefert sofort die richtige Antwort mit Quellenangabe.
Automatische Beantwortung und Klassifizierung von Kundenanfragen oder IT-Tickets. Da die KI lokal läuft, können bedenkenlos sensible Kundendaten verarbeitet werden.
Von HR-Richtlinien über Projektdaten bis zu Verträgen: Der KI-Assistent beantwortet Mitarbeiterfragen sekundenschnell und reduziert interne Rückfragen spürbar.
Aktuelle Open-Source-Modelle liegen qualitativ nah an kommerziellen Cloud-Modellen. Sie laufen lokal auf Ihrer Hardware – ohne laufende Lizenzgebühren.
Branchenstandard im Open-Source-Ökosystem. Llama 3.3 erreicht Cloud-KI-Niveau, kleinere Versionen laufen auf Standard-Hardware.
Europäisches Modell mit guten Ergebnissen für europäische Sprachen. Apache-2.0-Lizenz ohne kommerzielle Einschränkungen.
Kompakte Modelle mit niedrigem Ressourcenbedarf. Für Szenarien mit begrenzter Hardware geeignet, MIT-Lizenz.
Multilinguale Modelle und spezialisierte Varianten für Softwareentwicklung, Analyse und mehr.
Wie funktioniert ein Firmen-Chatbot mit Self-Hosted KI? Dieses Video zeigt die wichtigsten Konzepte – verständlich und auf den Punkt.
Risiken von Cloud-KI, DSGVO-Probleme und Vendor Lock-in verstehen.
Der Vergleich nach Datenschutz, Kosten und Qualität – auch wenn ChatGPT gewinnt.
Was ist ein LLM? Lokal vs. Cloud. Modelltypen und Beispiele.
Hardware, Messwerte und Fallstricke aus dem eigenen Betrieb.
Was kostet die Hardware? Kaufen oder mieten, ab 5.500 € – mit allen Preisen.
RAG, Embeddings und wie Ihre Firmendaten die KI intelligent machen.
Technischer Aufbau: LLM Runtime, Vector DB, API Layer, UI.
Ollama, vLLM, Qdrant, LlamaIndex – was wofür taugt und woran man es entscheidet.
DSGVO-Konformität, Air-Gapped Systeme, Zugriffskontrolle.
Konkrete Anwendungsszenarien: Wissens-KI, Support, Chatbot, Dev-KI.
On-Premise, Managed Hosting, Hybrid – die Optionen im Vergleich.
Ein Dialog Schritt für Schritt – inklusive der Antwort „das steht nirgends“.
Workshop, PoC, Pilotprojekt – wie der Einstieg konkret aussieht.
GPU, RAM, Kosten, Offline-Betrieb – die häufigsten Fragen beantwortet.
RAG-Systeme verbinden ein Sprachmodell mit Ihrem Firmenwissen – ohne eigenes KI-Training. Wie das funktioniert und wann es sich lohnt.
Weiterlesen →
70B, 128k Tokens, Kontextfenster – was bedeutet das wirklich? Die wichtigsten KI-Begriffe für Entscheider, Projektleiter und IT-Verantwortliche ohne Formeln erklärt.
Weiterlesen →
Ein reales Kundenprojekt, knapp 500 Illustrationen und mehrere Änderungsrunden – ohne zusätzliche Kosten. Wann sich lokale KI-Infrastruktur wirtschaftlich lohnt.
Weiterlesen →Für kleine Modelle (bis ca. 7B Parameter) läuft der Betrieb auch auf moderner CPU-Hardware akzeptabel – für interne Tools mit überschaubarer Last oft ausreichend. Für flüssigen Produktionsbetrieb, größere Modelle oder höhere Nutzerzahlen empfehlen wir GPU-Hardware. Wir beraten Sie je nach konkretem Anwendungsfall.
Das hängt stark von der Modellgröße ab. Als grobe Orientierung: Ein 7B-Modell in quantisierter Form (4-Bit) benötigt ca. 4–6 GB RAM. Ein 13B-Modell ca. 8–10 GB, ein 70B-Modell deutlich mehr. Für den produktiven Einsatz planen wir die Hardware gemeinsam mit Ihnen nach den konkreten Anforderungen.
Je nach Modell und Quantisierung zwischen 2 GB (sehr kleine Modelle) und 40+ GB (große Modelle in voller Präzision). Quantisierte Modelle (z.B. 4-Bit) sind deutlich kleiner und für die meisten Anwendungsfälle gut geeignet.
Ja. Self-Hosted KI kann vollständig ohne Internetverbindung betrieben werden (Air-Gapped). Einmal installiert, benötigt das System keine externe Verbindung. Das ist besonders relevant für Kanzleien, Praxen und andere Organisationen mit besonders schützenswerten Daten.
Das hängt vom gewählten Betriebsmodell ab. On-Premise beim Kunden hat einmalige Einrichtungskosten und dann planbare Wartungskosten. Managed Hosting hat monatliche Betriebskosten, dafür keine eigene Hardware. Wir besprechen das gerne konkret in einem ersten Gespräch.
Ja – unter der Voraussetzung, dass die KI auf deutschen oder europäischen Servern läuft und Daten die vereinbarte Infrastruktur nicht verlassen. Wir betreiben ausschließlich in Deutschland oder On-Premise beim Kunden. Ein Auftragsverarbeitungsvertrag (AVV) kann abgeschlossen werden.
Wir zeigen Ihnen in einem kostenlosen Workshop, wie Ihr Firmenwissen per KI durchsuchbar wird – DSGVO-konform und auf Ihren Servern.
Direkter Kontakt – ohne Umwege. Wir melden uns innerhalb eines Werktages.