RAG-Systeme: Unternehmenswissen per KI nutzen

Was RAG-Systeme von klassischer KI unterscheidet

Viele Unternehmen möchten KI einsetzen, stehen aber vor einer ganz konkreten Frage: Wie soll eine KI auf interne Dokumente, Preislisten oder Prozesshandbücher zugreifen – ohne dass man ein eigenes Sprachmodell entwickeln muss?

Genau das ermöglichen RAG-Systeme (Retrieval Augmented Generation). Das Prinzip ist einfach: Ein bestehendes Sprachmodell erhält vor jeder Antwort die passenden Ausschnitte aus der eigenen Wissensbasis. Es liest nach, bevor es antwortet.

Stellen Sie sich einen neuen Mitarbeiter vor, der fachlich kompetent ist, aber Ihr Unternehmen noch nicht kennt. Das RAG-System ist sein Handbuch – es schlägt die relevante Seite auf, bevor er spricht.

Eigenes LLM trainieren – lohnt sich das?

Kurzantwort: Für die meisten Unternehmen nicht – zumindest nicht in der Form, die viele zuerst vor Augen haben.

Ein Sprachmodell komplett neu zu entwickeln (Pre-Training) braucht riesige Mengen an Trainingsdaten, spezialisierte Rechenzentren und ein Budget, das schnell in den zweistelligen Millionenbereich geht. Das kommt für Unternehmen praktisch nie infrage – und ist auch nicht das, was die meisten eigentlich meinen, wenn sie von einem „eigenen Modell" sprechen.

Realistischer ist Fine-Tuning: Ein bestehendes Modell wird mit eigenen Daten nachtrainiert, statt komplett neu gebaut zu werden. Das kostet deutlich weniger und braucht weniger Daten als Pre-Training. Ein Kernproblem bleibt trotzdem bestehen: Auch ein fein-getuntes Modell ist nach dem Training eingefroren. Preise ändern sich, Dokumente werden aktualisiert, neue Produkte kommen hinzu – das Modell weiß davon nichts, bis es erneut trainiert wird.

Ein RAG-System arbeitet anders:

• Das Basismodell (z.B. ChatGPT oder ein lokales LLM) bleibt unverändert.
• Neue Dokumente werden einfach hinzugefügt.
• Änderungen stehen sofort zur Verfügung.
• Kein erneutes Training, keine Wartezeit.

Gerade für kleine und mittelständische Unternehmen ist das der entscheidende Unterschied.

Wie funktioniert ein RAG-System vereinfacht?

Am Anfang steht eine einfache Frage: Welche Datenquellen sollen der KI zur Verfügung stehen? Produkthandbücher, interne Wikis, E-Mails, Preislisten – was auch immer relevant ist, wird definiert.

Diese Quellen werden dann automatisiert in eine dafür spezialisierte Datenbank überführt. Dieser Vorgang lässt sich beliebig oft wiederholen. Ändern sich Daten, wird die Datenbank einfach aktualisiert – ohne dass irgendjemand das Sprachmodell neu trainieren muss.

Stellt jemand nun eine Frage an die KI, passiert Folgendes: Das System durchsucht diese Datenbank und findet die inhaltlich passenden Einträge. Anders als eine klassische Volltextsuche, die nur nach exakten Wörtern sucht, arbeitet diese Suche meist über sogenannte Embeddings – mathematische Repräsentationen, die die Bedeutung eines Texts erfassen statt nur seinen Wortlaut. Deshalb findet eine Suche nach „Gehalt" auch Dokumente, in denen nur von „Vergütung" die Rede ist. Diese semantische Suche ist einer der größten Vorteile von RAG-Systemen gegenüber einer reinen Stichwortsuche. Die Treffer werden zusammen mit der eigentlichen Frage an die KI geschickt.

Die KI bekommt also die Frage und gleich die passenden Informationen dazu. Auf dieser Basis formuliert sie ihre Antwort.

Ein konkretes Beispiel: Ein Kunde fragt nach den Öffnungszeiten. Die KI kennt diese aus ihrem Training nicht – aber in der Datenbank stehen sie drin. Das System findet den Eintrag, schickt ihn zusammen mit der Frage an die KI, und die KI antwortet präzise. Für den Nutzer sieht es aus, als wüsste die KI es einfach.

RAG ist mehr als eine Vektordatenbank

Ein häufiges Missverständnis: RAG wird oft mit Vektordatenbanken gleichgesetzt. Das stimmt so nicht.

RAG beschreibt das Prinzip – relevante Informationen vor der Antwort beschaffen und dem Modell als Kontext bereitstellen. Die Quelle dieser Informationen kann vieles sein:

• eine Vektordatenbank (für semantische Suche über Texte)
• eine SQL-Datenbank (für strukturierte Geschäftsdaten)
• eine Suchmaschine
• eine REST-API
• ein Dateisystem
• ein MCP-Server

Die Vektordatenbank ist ein bewährtes Werkzeug für bestimmte Aufgaben. Sie ist nicht der einzige Weg.

Welche Daten lassen sich einbinden?

RAG ist kein reiner PDF-Chatbot. Grundsätzlich lässt sich nahezu jede strukturierte oder unstrukturierte Informationsquelle anbinden:

Dokumente und Dateien: PDFs, Word, Excel, Markdown, Betriebsanweisungen, Handbücher, Verträge, Produktkataloge

Plattformen und Systeme: Confluence, SharePoint, Wissensdatenbanken, Ticketsysteme, E-Mail-Postfächer

Geschäftsdaten: ERP-Systeme, CRM-Systeme, Datenbanken, REST-APIs

Damit wird das RAG-System zur zentralen Wissensplattform für das gesamte Unternehmen.

Datenqualität entscheidet über Antwortqualität

Wie gut ein RAG-System antwortet, hängt direkt von den Daten ab, auf die es zugreift. Das klingt selbstverständlich, wird in der Praxis aber häufig unterschätzt.

Ein Vorteil vorweg: RAG senkt das Risiko klassischer KI-Halluzinationen erheblich, weil das Modell seine Antwort auf konkret abgerufene Fakten stützt, statt frei zu improvisieren. Dieser Vorteil kippt allerdings ins Gegenteil, sobald die zugrunde liegenden Daten selbst falsch sind.

Steht im ERP-System eine veraltete Rabattstaffel, wird die KI genau diese falschen Konditionen nennen – selbstbewusst und ohne Zögern. Sind die Informationen veraltet, kommen veraltete Antworten. Das System prüft nicht, ob ein Eintrag noch stimmt. Es findet ihn, weil er inhaltlich zur Frage passt, und liefert ihn weiter.

Besonders kritisch wird das bei Quellen wie internen Wikis oder Confluence-Bereichen, die über Jahre gewachsen sind. Dort existieren alte und neue Seiten oft nebeneinander. Vielleicht wurde eine Prozessbeschreibung 2021 erstellt und nie aktualisiert, während daneben eine neuere Version liegt – ohne klare Kennzeichnung. Die KI kann nicht einschätzen, welche der beiden Versionen die gültige ist. Sie findet beide und gibt zurück, was inhaltlich am besten passt.

Das bedeutet: Bevor ein RAG-System produktiv geht, lohnt es sich, die Datenquellen zu bereinigen. Veraltete Inhalte entfernen, widersprüchliche Einträge zusammenführen, klare Gültigkeitsdaten setzen. Wer diesen Schritt überspringt, bekommt ein System, das mit Überzeugung falsche Auskunft gibt.

Neben der manuellen Bereinigung gibt es auch einen technischen Hebel: Moderne RAG-Systeme lassen sich so konfigurieren, dass sie Metadaten wie das Änderungsdatum eines Dokuments auswerten und bei widersprüchlichen Treffern automatisch die neuere Version bevorzugen. Das ersetzt die Datenpflege nicht, nimmt aber einen Teil der Arbeit ab – und verhindert, dass veraltete Dokumente gleichberechtigt neben aktuellen stehen.

Praxistipp: Betrachten Sie die Datenpflege nicht als einmalige Aufgabe vor dem Go-live, sondern als laufenden Prozess. Ein RAG-System verbessert sich mit der Qualität seiner Grundlage – und verschlechtert sich mit ihr.

Statische und dynamische Daten

Nicht jede Information verhält sich gleich – und das beeinflusst, wie sie ins RAG-System fließt.

Statische Daten ändern sich selten: Handbücher, Verträge, Richtlinien, Prozessbeschreibungen, exportierte Wikis. Hier genügt oft ein nächtlicher oder stündlicher Import.

Dynamische Daten sind in Bewegung: Lagerbestände, offene Tickets, Kalender, aktuelle Preise, Kundendaten, Maschinenzustände, E-Mails. Für diese gibt es zwei gängige Strategien:

• Synchronisierung: Neue Daten werden regelmäßig abgeholt und automatisch in die Wissensbasis übernommen. Beispiel: E-Mails werden alle fünf Minuten als Markdown-Dateien gespeichert und neu indexiert.
• Live-Abruf: Die KI fragt die Information erst zum Anfragezeitpunkt direkt über eine API ab – der Nutzer bekommt immer den aktuellen Stand.

Praxistipp: Für dynamische Daten mit hoher Änderungsfrequenz (Lagerbestände, Buchungen) ist der Live-Abruf fast immer die bessere Wahl. Für Dokumente, die sich wöchentlich ändern, reicht ein Import über Nacht.

RAG und MCP – eine sinnvolle Kombination

Viele KI-Anwendungen im Unternehmenseinsatz kombinieren heute RAG mit dem Model Context Protocol (MCP). MCP fungiert dabei als eine Art universeller Adapter: Er erlaubt der KI, sicher mit unterschiedlichen Firmensystemen zu kommunizieren, ohne dass für jede Anwendung eine eigene Schnittstelle programmiert werden muss. Während RAG Wissen bereitstellt, ermöglicht MCP den direkten Zugriff auf Werkzeuge und Live-Systeme.

Hier lohnt sich eine begriffliche Klarstellung: Ein klassisches RAG-System liest nur – es sucht Informationen und liefert sie als Kontext an die KI. Sobald die KI selbstständig handelt, also E-Mails verschickt, Termine anlegt oder Datensätze verändert, spricht man von KI-Agenten (Agentic AI). RAG liefert dann das Wissen, MCP die Werkzeuge dazu. Aus einem reinen Nachschlagesystem wird so ein handlungsfähiger Assistent – technisch ein deutlich größerer Schritt als die reine Wissenssuche.

Mit dieser Kombination kann die KI:

• Betriebsanweisungen aus dem RAG-System abrufen
• Gleichzeitig den aktuellen Lagerbestand per API abfragen
• Einen Termin im Kalender anlegen
• Eine E-Mail versenden
• Das ERP-System nach Kundendaten durchsuchen

Ein intelligenter Assistent entscheidet dabei selbst, welche Quelle für eine Anfrage geeignet ist. Fragt jemand nach einer Prozessbeschreibung, greift er auf das RAG-System zurück. Fragt er nach dem Lieferstatus einer Bestellung, ruft er die Auftragsverwaltung direkt ab.

Berechtigungen und Datenschutz

Gerade in Unternehmen ist die Frage entscheidend: Wer darf was sehen?

Ein durchdachtes RAG-System berücksichtigt Benutzerberechtigungen bereits beim Auffinden von Dokumenten. Die Personalabteilung bekommt andere Treffer als die IT-Abteilung – selbst bei identischer Frage. Wer aus der Personalabteilung nach „Gehaltsstrukturen" sucht, bekommt die passenden Unterlagen ausgespielt. Kommt dieselbe Anfrage aus der IT-Abteilung, tauchen diese Dokumente gar nicht erst in den Treffern auf.

Auch die Zugriffstiefe lässt sich staffeln. Ein Geschäftsführer kann auf die komplette Wissensbasis zugreifen, ein Mitarbeiter aus der Produktion dagegen nur auf allgemeine Informationen wie Sicherheitsvorschriften oder Maschinenhandbücher. Vertrauliche Verträge oder Finanzdaten tauchen für ihn erst gar nicht in den Suchergebnissen auf – das System filtert sie heraus, bevor die KI sie überhaupt zu Gesicht bekommt.

Das lässt sich in bestehende Rollen- und Rechtekonzepte integrieren, ohne aufwändige Zusatzentwicklung.

Für viele Unternehmen kommt eine weitere Frage hinzu: Wo liegen die Daten? Ein RAG-System lässt sich sowohl über Cloud-Dienste als auch vollständig On-Premise betreiben, also auf eigener Hardware im eigenen Netzwerk. Wer strengen Datenschutzanforderungen unterliegt oder grundsätzlich keine Firmendaten in fremde Rechenzentren geben möchte, kann die komplette Infrastruktur intern halten – vom Sprachmodell bis zur Datenbank.

Typische Einsatzbereiche

RAG-Systeme haben sich in der Praxis vor allem in diesen Bereichen bewährt:

• Interner Helpdesk: Mitarbeiter stellen Fragen, die KI durchsucht IT-Dokumentation und Handbücher.
• Kundenservice: Häufige Fragen werden automatisch auf Basis aktueller Produktinformationen beantwortet.
• Wissensmanagement: Verstreutes Wissen aus verschiedenen Quellen wird zentral zugänglich.
• Qualitätsmanagement: Checklisten, Normen und Prozessvorgaben auf Knopfdruck verfügbar.
• ERP-Auskunft: Mitarbeiter fragen in natürlicher Sprache – das System sucht im ERP-System oder liefert aus dem Handbuch.

Fazit

Für die meisten Unternehmen ist ein RAG-System der sinnvollste Einstieg in die praktische KI-Nutzung. Es verbindet leistungsfähige Sprachmodelle mit dem eigenen Firmenwissen – ohne teures Modelltraining, ohne monatelange Entwicklungszeit.

In Kombination mit Live-Datenquellen und dem Model Context Protocol wird aus dem reinen Nachschlagesystem ein KI-Agent, der nicht nur Fragen beantwortet, sondern auch handeln kann. Er schlägt nach, fragt ab, legt an, sendet.

Auch beim laufenden Betrieb bleibt die Kostenfrage überschaubar: Wer auf Cloud-APIs setzt, zahlt nutzungsabhängig pro Anfrage. Wer lokale Modelle betreibt, kalkuliert mit festen Hosting-Kosten statt schwankender Abrechnung. Und der Einstieg muss nicht Monate dauern – ein erster funktionsfähiger Prototyp lässt sich mit einem klar abgegrenzten Datenbestand oft innerhalb weniger Wochen umsetzen.

Damit wird aus einer einfachen Suchfunktion mit KI-Ausgabe eine echte Wissens- und Integrationsplattform für moderne Unternehmen.