RAG-Assistenten: Firmenwissen mit KI nutzbar machen

RAG (Retrieval-Augmented Generation) verbindet ein Sprachmodell mit Ihren eigenen Dokumenten. Der Assistent sucht zur Frage passende Textstellen aus Firmenquellen wie SharePoint, Google Drive oder Slack, übergibt sie dem Modell und formuliert daraus eine Antwort mit Quellenangabe. So wird verstreutes Firmenwissen durchsuchbar, Antworten bleiben belegbar und Halluzinationen sinken.

Was ist RAG, einfach erklärt?

RAG steht für Retrieval-Augmented Generation. Ein klassisches Sprachmodell antwortet nur aus seinem Trainingswissen und kennt Ihre internen Unterlagen nicht. Bei RAG kommt ein Suchschritt davor: Zu jeder Frage werden passende Abschnitte aus Ihren Dokumenten gefunden und dem Modell als Kontext mitgegeben. Die Antwort entsteht also aus aktuellem Firmenwissen statt aus allgemeinem Modellwissen.

Technisch läuft das in wenigen Schritten ab:

• Dokumente werden in kleine Abschnitte zerlegt und als Vektoren (Embeddings) gespeichert.
• Eine Nutzerfrage wird in dieselbe Form gebracht und mit der Wissensbasis abgeglichen.
• Die relevantesten Abschnitte gehen zusammen mit der Frage an das Sprachmodell.
• Das Modell formuliert eine Antwort und nennt die verwendeten Quellen.

Warum reduziert RAG Halluzinationen?

Halluzinationen entstehen, wenn ein Modell Wissenslücken mit plausibel klingenden, aber falschen Aussagen füllt. RAG verkleinert diesen Spielraum, weil die Antwort an konkrete Textstellen gebunden wird. Findet das System keinen Beleg, kann es das offenlegen statt zu raten. Wichtig bleibt: RAG senkt das Risiko, ersetzt aber keine fachliche Kontrolle.

• Antworten stützen sich auf hinterlegte Dokumente, nicht auf Vermutungen.
• Quellenangaben machen jede Aussage nachprüfbar, per Klick zum Originaldokument.
• Veraltete Inhalte lassen sich aktualisieren, ohne das Modell neu zu trainieren.
• Zugriffsrechte steuern, welche Mitarbeitenden welche Quellen sehen.

Welche Firmenquellen lassen sich anbinden?

Ein RAG-Assistent ist nur so gut wie die Quellen dahinter. In der Praxis liegt Firmenwissen verstreut über viele Systeme. Genau diese lassen sich zu einer Wissensbasis zusammenführen, ohne dass die Daten umziehen müssen.

• Dokumentenablagen wie SharePoint und Google Drive (Handbücher, Richtlinien, Angebote).
• Kommunikation aus Slack oder anderen Chat-Verläufen.
• Wikis und Confluence-Seiten mit Prozessbeschreibungen.
• PDFs und Scans, die zunächst maschinell lesbar gemacht werden.

Wo es hakt

Die Technik hinter RAG ist inzwischen Standard. Was Projekte aufhält, sind fast immer die Quellen, und zwar auf eine Weise, die im Konzept nicht auftaucht. Fünf Punkte lohnen es, vor dem Start geklärt zu werden:

• Ein einziger unpassender Dateityp kann die ganze Verarbeitung stoppen. Läuft ein Format durch die Kette, das der Verarbeitungsschritt nicht kennt, bricht der Lauf ab, statt die Datei zu überspringen. Eine Vorprüfung, die bekannte Formate durchlässt und alles andere aussortiert, verhindert das.
• Inhalte in Bildern bleiben unsichtbar. Ein Diagramm in einer Tabellendatei oder ein Organigramm als eingebettete Grafik trägt oft die eigentliche Aussage, landet aber nicht in der Wissensbasis. Wer das nicht prüft, hält seine Basis für vollständig, obwohl genau die Kernaussagen fehlen.
• Scans ohne Textebene brauchen einen eigenen Schritt davor. Ein eingescanntes PDF ist für die Suche zunächst ein Bild. Ohne vorgelagerte Texterkennung ist es in der Wissensbasis vorhanden und trotzdem nicht auffindbar.
• Ohne Rechte-Trennung sieht jeder alles. Werden Personalakten, Verträge und Protokolle in eine gemeinsame Wissensbasis geladen, beantwortet der Assistent Fragen dazu für jeden, der ihn bedienen darf. Die Rechte müssen an der Quelle hängen, nicht am Chatfenster.
• Ohne Änderungsüberwachung veraltet die Basis still. Eine einmal geladene Wissensbasis kennt die überarbeitete Richtlinie von letzter Woche nicht. Der Assistent antwortet weiter selbstbewusst, nur eben nach altem Stand. Ein regelmäßiger Abgleich mit der Quelle gehört deshalb zum Betrieb.

Keiner dieser Punkte spricht gegen RAG. Sie erklären aber, warum der Aufwand meist nicht im Modell steckt, sondern im Aufbereiten und Aktuellhalten der Quellen. Ein Assistent auf einer ungepflegten Ablage erzeugt gepflegt klingende Antworten auf veraltetem Stand, und das ist schlechter als keine Antwort.

Welchen Nutzen bringt ein RAG-Assistent im Alltag?

Der größte Hebel liegt dort, wo Mitarbeitende heute lange suchen oder Kolleginnen und Kollegen fragen. Statt sich durch Ordnerstrukturen zu klicken, stellen sie eine Frage in natürlicher Sprache und erhalten eine belegte Antwort. In einem Wissensmanagement-Projekt sank die Recherchezeit je Anfrage um rund 30 Prozent. Auch fachlich anspruchsvolle Themen profitieren: Im Projekt zu Steuerrecht und internationalen Angeboten reduzierte ein Assistent mit RAG den Rechercheaufwand je Angebot um etwa 60 Prozent.

• Schnellere Einarbeitung: Neue Mitarbeitende finden Antworten selbstständig.
• Weniger Doppelarbeit: Bestehende Dokumente werden wiederverwendet statt neu erstellt.
• Entlastung von Fachleuten: Routinefragen beantwortet der Assistent.
• Konsistente Auskünfte: Alle greifen auf denselben, gepflegten Wissensstand zu.

Wie ein solcher Assistent konkret aufgebaut wird, zeigt der Überblick zu den Leistungen rund um KI-Implementierung.

Häufige Fragen

Brauchen wir für RAG ein eigenes KI-Modell?

Nein. RAG nutzt bestehende Sprachmodelle wie Claude oder ChatGPT und ergänzt sie um Ihre Dokumente. Sie müssen kein eigenes Modell trainieren. Der Aufwand liegt im Aufbereiten der Quellen, im Anbinden der Systeme und im Festlegen der Zugriffsrechte. Das Modell selbst bleibt austauschbar, Ihre Wissensbasis ist der eigentliche Wert.

Sind unsere Daten bei einem RAG-Assistenten sicher?

Datenschutz lässt sich von Anfang an einplanen. Zugriffsrechte steuern, wer welche Quellen abfragen darf, und die Verarbeitung kann auf europäische oder abgeschottete Umgebungen begrenzt werden. Entscheidend ist eine saubere Konzeptphase, in der Quellen, Rollen und Aufbewahrung geklärt werden, bevor der Assistent in den Produktivbetrieb geht.

Wie lange dauert die Einführung?

Ein erster nutzbarer Assistent für eine klar abgegrenzte Wissensbasis ist oft in wenigen Wochen erreichbar. gaind geht in drei Schritten vor: Audit und Analyse der Quellen, Konzept und Lösung, dann Umsetzung und Begleitung. So lässt sich mit einem überschaubaren Anwendungsfall starten und der Assistent danach schrittweise erweitern.

Was passiert, wenn der Assistent etwas nicht weiß?

Ein sauber aufgesetzter Assistent sagt das. Findet der Suchschritt keine passende Textstelle, sollte die Antwort lauten, dass die Wissensbasis dazu nichts hergibt, statt eine Vermutung zu formulieren. Dieses Verhalten wird bewusst konfiguriert und gehört in jeden Abnahmetest, weil es der Unterschied zwischen einem belastbaren und einem gefährlichen Assistenten ist.

Worauf es in der Praxis ankommt

Der Wert eines RAG-Assistenten entsteht nicht im Modell, sondern in der Pflege der Quellen. Wissensbasen, die über Jahre nützlich bleiben, haben eine verantwortliche Person, einen regelmäßigen Abgleich mit dem Original und einen dokumentierten Umgang mit Fällen, in denen kein Beleg existiert. Die Technik ist der kleinere Teil der Arbeit.

Sie möchten verstreutes Firmenwissen nutzbar machen? In einem kostenlosen Erstgespräch klären wir, welche Quellen sich lohnen und wie ein RAG-Assistent in Ihre Systeme passt. Einen Überblick über das Vorgehen finden Sie bei den Leistungen. Und vorab eine Frage, die sich lohnt: Wüssten Sie heute, welche Ihrer internen Richtlinien nicht mehr aktuell ist?