Wissensdatenbank für KI-Agenten: Wie RAG Ihre Unternehmensdokumente nutzt

Eine Wissensdatenbank für KI-Agenten ist die Sammlung Ihrer eigenen Unternehmensdokumente, die ein Agent durchsucht, bevor er antwortet, damit er mit Ihren Richtlinien arbeitet statt mit Vermutungen. Die Methode dahinter heißt RAG, kurz für Retrieval-Augmented Generation. Sie funktioniert gut, wenn Ihre Dokumente aktuell und widerspruchsfrei sind, und sie versagt still, wenn sie es nicht sind.

Dieser Artikel erklärt in einfachen Worten, wie das funktioniert, was in der Praxis schiefgeht und was Sie prüfen sollten, bevor Sie ihr vertrauen. Er gehört zu unserem Leitfaden zu KI-Agenten für Unternehmen.

Wir nutzen durchgehend ein Beispiel. Ein Finanz-Agent verarbeitet Lieferantenrechnungen. Dafür braucht er Ihre Zahlungsbedingungen, Ihre Freigabegrenzen und Ihre Lieferantenrichtlinien. Ihre Mitarbeitenden stellen ihm außerdem Fragen wie „Wie hoch ist unsere Freigabegrenze über 10.000 €?“ oder „Dürfen wir diesen Lieferanten früher bezahlen, um Skonto zu bekommen?“

Was ist RAG?

Ein KI-Modell wie die hinter ChatGPT lernt aus einer riesigen Menge öffentlicher Texte. Ihre Freigaberichtlinie hat es nie gesehen. Fragen Sie es nach Ihren Grenzen, sagt es entweder, dass es das nicht weiß, oder, schlimmer, es liefert etwas, das plausibel klingt.

RAG löst das durch einen zusätzlichen Nachschlageschritt. Die Idee wurde in einem Forschungspapier von Patrick Lewis und Kollegen von Facebook AI Research, dem University College London und der New York University aus dem Jahr 2020 beschrieben. In der Praxis läuft es in drei Schritten ab:

Abrufen (Retrieve). Wenn eine Frage eingeht, findet eine Suche die wenigen Passagen in Ihren Dokumenten, die dazu passen.
Ergänzen (Augment). Diese Passagen werden an die Frage angehängt, so wie man einer E-Mail die relevanten Seiten beilegt.
Erzeugen (Generate). Das Modell schreibt seine Antwort aus dem, was vor ihm liegt, und nennt im Idealfall, woher jeder Punkt stammt.

Stellen Sie sich eine neue Mitarbeiterin oder einen neuen Mitarbeiter mit einem gut sortierten Aktenschrank vor. Ihre Richtlinien kennt die Person nicht auswendig, aber sie weiß, wo sie nachsehen muss, und zitiert die Seite.

Wie eine Wissensdatenbank für KI-Agenten die richtige Passage findet

Bevor der Agent irgendetwas durchsuchen kann, werden Ihre Dokumente vorbereitet. Jedes wird in kurze Abschnitte von wenigen Absätzen zerlegt. Dann wird jeder Abschnitt in ein Embedding umgewandelt: eine Liste von Zahlen, die erfasst, was die Passage bedeutet, nicht nur welche Wörter sie enthält.

Dadurch kann die Suche nach Bedeutung abgleichen. Eine Frage zu „Zeichnungsschwellen“ kann eine Passage mit dem Titel „Freigabegrenzen“ finden, obwohl beide kein Wort gemeinsam haben. Die Frage wird auf dieselbe Weise in Zahlen umgewandelt, und das System holt die Abschnitte, deren Zahlen ihr am nächsten liegen.

Die meisten guten Lösungen führen parallel eine einfache Stichwortsuche aus, weil exakte Begriffe wie „PO 4471“ oder die Umsatzsteuer-ID eines Lieferanten der bedeutungsbasierten Suche entgehen können. Ein letzter Sortierschritt, das sogenannte Reranking, stellt dann die nützlichsten Passagen nach vorn.

In diesem Schritt wird der größte Teil der Qualität gewonnen oder verloren. Anthropic, das Unternehmen hinter den Claude-Modellen, hat eine Technik veröffentlicht, die es Contextual Retrieval nennt: Jeder Abschnitt erhält vor der Indexierung eine kurze Notiz, die erklärt, wo er im Gesamtdokument steht. In Anthropics eigenen Benchmarks sanken die fehlgeschlagenen Abrufe dadurch um 49 %, in Kombination mit Reranking um 67 %. Das sind Testergebnisse eines Anbieters, aber sie zeigen, wie viel das Design der Suche ausmacht.

KI mit Unternehmensdokumenten, denen man trauen kann: warum veraltete Dateien KI-Halluzinationen auslösen

Eine KI-Halluzination ist eine Antwort, die richtig klingt und es nicht ist. Meist wird dem Modell die Schuld gegeben. In einer Wissensdatenbank liegt die Ursache oft bei den Dokumenten.

So passiert es in unserem Rechnungsbeispiel. Ihre Freigabegrenze für Rechnungen über 10.000 € hat sich im vergangenen Frühjahr geändert: Jetzt muss der CFO freigeben, nicht mehr die Finanzleitung. Die neue Richtlinie steht im Intranet. Das alte PDF liegt noch in einem Ordner auf dem gemeinsamen Laufwerk namens „Finanzprozesse FINAL“. Beide werden indexiert. Eine Sachbearbeiterin fragt den Agenten, die Suche holt das alte PDF, und der Agent antwortet klar und mit Quellenangabe, dass die Finanzleitung freigeben darf. (Diese Zahlen dienen der Veranschaulichung.)

Der Agent hat nichts erfunden. Er hat die falsche Seite gelesen und sie getreu wiedergegeben. Das ist schwerer zu erkennen, weil die Antwort gut belegt aussieht.

Die Folgen können real sein. Im Fall Moffatt v. Air Canada, entschieden im Februar 2024, behauptete der Website-Chatbot der Fluggesellschaft gegenüber einem Kunden, ein Trauerfall-Tarif lasse sich auch nach der Reise noch beantragen. Die tatsächliche Richtlinie der Airline sagte etwas anderes. Air Canada argumentierte, sie sei nicht verantwortlich für das, was ihr Chatbot sage. Das Civil Resolution Tribunal von British Columbia wies das zurück und verurteilte die Airline zur Zahlung von rund 812 CA$. Es ist die Entscheidung eines Schlichtungsgerichts für Bagatellfälle, kein bindender Präzedenzfall, aber der Begründung lässt sich schwer widersprechen: Ihr Agent spricht für Ihr Unternehmen.

Zwei weitere Muster machen es schlimmer:

Widersprüche. Wenn sich zwei Dokumente widersprechen, kann der Agent eines von beiden wählen, und er sagt Ihnen nicht, dass es eine Wahl gab.
Die Antwort geht unter. Forschende haben festgestellt, dass KI-Modelle Informationen am Anfang und am Ende eines langen Inputs besser nutzen als Informationen in der Mitte. Wer „sicherheitshalber“ zwanzig Passagen hineinpackt, kann genau die eine verstecken, auf die es ankommt.

Zugriffsrechte: Der Agent darf nur sehen, was die Nutzerin oder der Nutzer sehen darf

Eine Wissensdatenbank, die auf allem in Ihren gemeinsamen Laufwerken aufbaut, enthält Gehälter, Vorstandsprotokolle, Disziplinarakten und Lieferantenpreise, die nur wenige Personen sehen sollten. Wenn die Suche Berechtigungen ignoriert, muss ein neugieriger Mitarbeiter nur die richtige Frage stellen.

Die Regel ist einfach formuliert: Der Agent ruft nur ab, was die fragende Person selbst schon öffnen könnte. Die OWASP Foundation, eine gemeinnützige Organisation, die weit verbreitete Sicherheitsstandards veröffentlicht, führt das unter Schwachstellen bei Vektoren und Embeddings auf und empfiehlt eine berechtigungsbewusste Suche mit strikter Trennung zwischen Nutzergruppen.

Zwei praktische Punkte:

In der Suche durchsetzen, nicht in den Anweisungen. Dem Modell zu sagen „Gib keine vertraulichen Daten preis“ ist keine Kontrolle. Filtern Sie die Passagen nach den Berechtigungen der Person, bevor das Modell sie überhaupt sieht.
Berechtigungen synchron halten. Wenn jemand die Rolle wechselt oder das Unternehmen verlässt, sollte die Wissensdatenbank das am selben Tag wissen wie Ihr Dokumentensystem.

Die Suche ist auch ein Einfallstor für Angreifer. Im Juni 2025 legten Forschende eine Schwachstelle mit dem Spitznamen EchoLeak offen, bei der eine präparierte E-Mail in die Suche von Microsoft 365 Copilot gelangen und zum Abfluss von Daten führen konnte. Microsoft stufte sie als kritisch ein und behob sie, und es gab keine Hinweise darauf, dass sie bei echten Angriffen genutzt wurde. Die Lehre bleibt: Alles, was Ihr Agent abrufen kann, kann womöglich auch ein Außenstehender dort platzieren. Diese Seite behandeln wir in Sicherheitsrisiken von KI-Agenten.

So bleibt Ihre Wissensdatenbank aktuell

Eine Wissensdatenbank ist kein Projekt, das man abschließt. Das richten wir ein, wenn wir eine aufbauen:

Verbinden statt kopieren. Holen Sie die Dokumente direkt von dort, wo sie liegen, aus Ihrem Intranet, Dokumentenmanagementsystem oder ERP (der Software, mit der Sie Finanzen und Betrieb steuern), damit Änderungen automatisch einfließen. Unsere Integrationsarbeit besteht größtenteils aus genau diesen Leitungen.
Eine verantwortliche Person pro Dokument. Jede Richtlinie hat eine namentlich benannte Person und ein Prüfdatum. Wenn niemand dafür verantwortlich ist, gehört sie nicht in den Index.
Alte Versionen ausmustern. Wenn sich eine Richtlinie ändert, verlässt die alte den Index. Archivieren Sie sie an einem Ort, den der Agent nicht erreicht.
Die Quelle zeigen. Jede Antwort verlinkt auf die verwendete Passage, damit Mitarbeitende sie mit einem Klick prüfen und Fehler melden können.
Mit bekannten Antworten testen. Führen Sie eine Liste mit 30 bis 50 echten Fragen und den richtigen Antworten, etwa zur Freigabegrenze über 10.000 €, und lassen Sie sie nach jeder Änderung erneut laufen.

Das meiste davon ist Dokumentenhygiene, keine KI. Deshalb beginnen wir in unserer KI-Beratung mit dem Fundament und den Daten, bevor die KI-Ebene kommt.

Wie die Suche die Token-Kosten senkt

KI-Anbieter rechnen nach Tokens ab, kleinen Textstücken von etwa drei Vierteln eines Wortes. Jedes Wort, das das Modell liest, kostet Geld, bei jeder Frage.

Ohne Suche besteht die bequeme Lösung darin, das gesamte Finanzhandbuch in jede Anfrage zu kopieren. Mit Suche liest der Agent drei oder vier kurze Passagen. Angenommen, das Handbuch hat 80.000 Tokens und die abgerufenen Passagen zusammen 2.000 (Zahlen zur Veranschaulichung): Das ist bei jeder einzelnen Frage 40-mal weniger Text, den Sie bezahlen, und die Antwort wird meist besser, nicht schlechter, weil sich das Modell nicht durch die Mitte eines riesigen Dokuments kämpfen muss.

Die vollständige Rechnung zeigen wir in Token-Kosten von KI-Agenten. Wenn der Agent zusätzlich aktuelle Zahlen braucht, etwa zu einer offenen Bestellung, sollte er Ihre Systeme direkt abfragen, statt eine Kopie zu durchsuchen. Das erklären wir in KI-Agenten mit ERP und CRM verbinden. Zu personenbezogenen Daten in Ihren Dokumenten lesen Sie KI-Agenten, DSGVO und der AI Act der EU.

Was Sie fragen sollten, bevor Sie ihr vertrauen

Wenn Ihnen jemand eine Wissensdatenbank für Ihren KI-Agenten vorschlägt, fragen Sie:

Welche Quellen werden indexiert, und wer ist für jede verantwortlich?
Wie schnell erreicht eine geänderte Richtlinie den Agenten?
Zeigt jede Antwort ihre Quelle?
Werden Berechtigungen in der Suche geprüft, pro Person?
Wie sieht das Testset aus, und welches Ergebnis erzielt der Agent heute damit?

Wenn diese Antworten vage sind, wird es der Agent auch sein.

FAQ

Was ist RAG, einfach erklärt?

RAG steht für Retrieval-Augmented Generation, also durch Suche ergänzte Textgenerierung. Bevor das KI-Modell antwortet, findet ein Suchschritt die Passagen in Ihren eigenen Dokumenten, die zur Frage passen, und übergibt sie dem Modell. Das Modell schreibt seine Antwort dann auf Grundlage dieser Passagen, statt sich nur auf das zu verlassen, was es im Training gelernt hat.

Verhindert eine Wissensdatenbank für KI-Agenten Halluzinationen?

Sie verringert sie, beseitigt sie aber nicht. Wenn der Suchschritt die falsche Passage findet oder Ihre Dokumente veraltet sind oder sich widersprechen, gibt der Agent trotzdem eine selbstbewusste falsche Antwort. Saubere, aktuelle Dokumente mit klarer Verantwortung sind genauso wichtig wie die Technik.

Kann der Agent Mitarbeitenden Dokumente zeigen, die sie nicht sehen dürfen?

Ja, wenn er nachlässig gebaut ist. Der Suchschritt muss die Berechtigungen der fragenden Person prüfen und darf nur Passagen liefern, die diese Person ohnehin öffnen könnte. Berechtigungen sollten in der Suche selbst durchgesetzt werden, statt es dem KI-Modell zu überlassen, sie zu beachten.

Wie halten wir die Wissensdatenbank aktuell?

Verbinden Sie sie mit den Systemen, in denen die Dokumente bereits liegen, damit Änderungen automatisch einfließen. Geben Sie jedem Dokument eine verantwortliche Person und ein Prüfdatum, entfernen Sie überholte Versionen, statt sie nebeneinander liegen zu lassen, und testen Sie den Agenten regelmäßig mit echten Fragen, deren Antworten Sie kennen.

Ist RAG günstiger, als der KI alle unsere Dokumente zu geben?

Meist deutlich günstiger. KI-Anbieter berechnen jedes Stück Text, das das Modell liest. Die Suche liefert pro Frage nur wenige relevante Passagen statt ganzer Handbücher, sodass jede Antwort nur einen Bruchteil kostet, und die Genauigkeit ist meist auch besser.

Sie möchten einen Agenten, der aus Ihren eigenen Richtlinien antwortet, und zwar nur den richtigen Personen? Buchen Sie ein Gespräch, und wir sehen uns Ihre Dokumente gemeinsam an.