Eigene Daten in die KI bringen – mit RAG.

Was ist ein RAG-System?

Ein RAG-System verbindet ein Sprachmodell mit einer Suche in Ihren eigenen Dokumenten. Stellt jemand eine Frage, sucht das System zuerst die passenden Textstellen in Ihren Unterlagen und übergibt nur diese an die KI, die daraus die Antwort formuliert.

Der Nutzen liegt in zwei Punkten: Die KI antwortet mit Ihrem Firmenwissen statt mit Allgemeinplätzen, und sie kann jede Aussage auf ein Dokument zurückführen. Erfundene Antworten werden dadurch selten – und wenn etwas nirgends steht, sagt ein gut gebautes System genau das. Wie das im Unternehmensalltag aussieht, zeigt unser Beitrag RAG-System: Firmenwissen mit KI nutzbar machen.

Die Abkürzung steht für Retrieval-Augmented Generation, auf Deutsch etwa „Erzeugung mit vorgeschalteter Suche“. Nichts am Modell wird dabei verändert – Ihre Daten bleiben in Ihrer Datenbank.

Was RAG ausdrücklich nicht ist

• Kein Training.
  Ihre Dokumente werden nicht ins Modell eingelernt. Sie liegen in einer Datenbank daneben und lassen sich jederzeit ändern oder löschen.
• Keine Volltextsuche mit Chatfenster.
  Gesucht wird nach Bedeutung, nicht nach Wortübereinstimmung. Wer nach „Urlaubsanspruch“ fragt, findet auch den Abschnitt über „Erholungsurlaub“.
• Kein Selbstläufer.
  Die Technik ist Standard. Die Arbeit steckt in den Dokumenten und in den Berechtigungen – dazu weiter unten mehr.

Warum Standard-KI Ihr Unternehmen nicht kennt

Sprachmodelle wie Llama oder Mistral wurden auf öffentlichen Texten trainiert. Ihr internes Wiki, Ihre Produktdokumentation, Ihre Kundenhistorie, HR-Richtlinien und Projektdaten – all das ist der KI völlig unbekannt. Ohne diese Informationen sind Antworten zu generisch, um im Arbeitsalltag wirklich nützlich zu sein.

RAG (Retrieval-Augmented Generation) löst dieses Problem: Bevor die KI antwortet, durchsucht sie Ihre eigenen Daten nach relevanten Informationen und nutzt ausschließlich dieses verifizierte Firmenwissen als Kontext. Das Ergebnis: präzise Antworten mit Quellenangabe – ohne teures Nachtrainieren des Modells.

Hybrid Search: Vektorsuche und Keyword-Suche kombiniert

Reine Vektorsuche versteht den Kontext hinter einer Frage gut, stößt aber bei exakten Begriffen wie Artikelnummern, Fehlercodes oder juristischen Paragrafen an ihre Grenzen.

Deshalb setzen wir auf Hybrid Search: Die Kombination aus semantischer Vektorsuche und klassischer Keyword-Suche sorgt dafür, dass sowohl inhaltlicher Kontext als auch exakte Fachbegriffe zuverlässig gefunden werden.

Der Effekt ist messbar und größer, als man vermuten würde: Gegenüber einer reinen Vektorsuche sinkt die Fehlerrate um rund die Hälfte. Kommt ein nachgeschaltetes Reranking hinzu, das die gefundenen Stellen noch einmal genauer bewertet, sind es etwa zwei Drittel.

Das sind zwei Bausteine, die im Aufbau wenig kosten und im Ergebnis den Unterschied machen zwischen einem System, dem die Leute vertrauen, und einem, das nach zwei Wochen niemand mehr öffnet.

1. Die Dokumente

Der mit Abstand größte Posten. Der überwiegende Teil aller Genauigkeitsprobleme geht nicht auf das Modell oder die Datenbank zurück, sondern auf die Unterlagen: drei Versionen desselben Handbuchs, gescannte Seiten mit Lesefehlern, veraltete Preislisten ohne Datum.

Ein RAG-System löst Widersprüche nicht auf, es gibt sie weiter. Deshalb geht in ehrlichen Projekten ein erheblicher Teil des Aufwands ins Sichten und Aufräumen der Quellen – und nicht in die Software.

2. Berechtigungen zu spät gedacht

Der klassische Fehler: Erst wird gesucht, dann wird aussortiert, was die fragende Person nicht sehen darf. Das Ergebnis sind leere Antworten, obwohl passende freigegebene Dokumente vorhanden wären – und im schlimmeren Fall Inhalte, die durchrutschen.

Richtig ist der umgekehrte Weg: Die Berechtigung ist Teil der Suchanfrage. Gesucht wird von vornherein nur dort, wo die Person zugreifen darf. Das ist auch die Erwartung der Aufsichtsbehörden – siehe DSGVO-konforme KI.

3. Gebaut ohne die Fachabteilung

Ein System, das die IT allein entwirft, beantwortet die Fragen, die sich die IT vorstellt. Die Fragen, die im Tagesgeschäft wirklich gestellt werden, sind andere und meist unpräziser formuliert. Wir sammeln sie deshalb vorab – echte Fragen von echten Leuten, bevor irgendetwas gebaut wird.

4. Struktur beim Zerlegen verloren

Dokumente werden für die Suche in Abschnitte zerlegt. Geschieht das stur nach Zeichenzahl, landet die Hälfte einer Tabelle im einen und die andere Hälfte im nächsten Abschnitt, und die Überschrift fehlt in beiden.

Wir zerlegen entlang der Struktur – Kapitel, Absätze, Tabellen bleiben zusammen – und geben jedem Abschnitt mit, aus welchem Dokument und welchem Kapitel er stammt.

Welche Bausteine dabei zum Einsatz kommen und woran wir sie auswählen, steht unter KI-Technologien.

Fragen zu RAG und eigenen Daten