Retrieval-Augmented Generation verbindet zwei Schritte: Zuerst werden zu einer Frage passende Inhalte aus einer eigenen Wissensbasis gesucht, dann formuliert ein Sprachmodell auf Grundlage dieser Inhalte eine Antwort. So kann ein Modell über Dokumente, Handbücher oder Tickets sprechen, die es nie gesehen hat, und die Antwort mit Quellen belegen. Die Idee ist einfach. Die Qualität entscheidet sich fast vollständig im ersten Schritt, der Suche.
Dokumente aufbereiten
RAG beginnt mit der Aufbereitung der Quellen. PDFs, Word-Dateien und Webseiten müssen in sauberen Text überführt werden, ohne Kopf- und Fusszeilen, Seitenzahlen oder doppelte Navigationselemente. Tabellen sind ein häufiger Schwachpunkt: Werden sie als Fliesstext extrahiert, verlieren Zeilen und Spalten ihren Zusammenhang. Es lohnt sich, die extrahierten Texte stichprobenartig zu lesen, bevor man an der Suche optimiert — viele Qualitätsprobleme stammen von hier.
Sinnvoll aufteilen
Dokumente werden in Abschnitte zerlegt, die einzeln gesucht werden. Zu grosse Abschnitte verwässern die Treffer, zu kleine reissen Zusammenhänge auseinander. Bewährt hat sich eine Aufteilung entlang der Struktur des Dokuments — Überschriften, Absätze, Listen — statt nach fester Zeichenzahl, mit einer kleinen Überlappung. Jeder Abschnitt sollte Metadaten tragen: Dokumenttitel, Kapitel, Datum, Mandant und Berechtigungen. Den Titel des Dokuments dem Abschnittstext voranzustellen verbessert die Suche oft spürbar, weil Abschnitte für sich allein häufig nicht verraten, worum es geht.
Hybrid suchen
Reine Vektorsuche findet Inhalte mit ähnlicher Bedeutung, verfehlt aber oft exakte Begriffe: Produktnamen, Artikelnummern, Paragrafen, Abkürzungen. Klassische Volltextsuche ist hier stark, versteht aber keine Umschreibungen. Eine hybride Suche kombiniert beide und führt die Ergebnislisten zusammen. Für deutsche Texte ist das besonders wichtig, weil zusammengesetzte Wörter und Fachbegriffe in der Bedeutungssuche nicht immer zuverlässig getroffen werden.
Neu gewichten
Die Suche liefert eine Kandidatenliste, meist mehr Abschnitte, als ins Modell passen sollen. Ein Reranking-Schritt bewertet diese Kandidaten noch einmal gezielt im Hinblick auf die Frage und wählt die besten aus. Das kostet etwas Zeit, verbessert aber die Präzision deutlich, gerade bei grossen Wissensbasen mit vielen ähnlichen Dokumenten. Weniger, aber relevantere Abschnitte führen zu besseren Antworten als ein überfüllter Kontext.
Berechtigungen durchsetzen
In SaaS-Produkten ist das der kritischste Punkt. Ein Nutzer darf nur Antworten aus Dokumenten erhalten, die er auch öffnen dürfte. Diese Prüfung muss bei der Suche geschehen, nicht nachträglich im Prompt. Wird das Modell gebeten, vertrauliche Abschnitte «nicht zu verwenden», ist das keine Sicherheitsmassnahme. Liegen die Vektoren in PostgreSQL, setzt Row-Level-Security diese Grenze automatisch durch; bei einer separaten Vektordatenbank müssen Mandant und Berechtigung als Filter jeder Abfrage mitgegeben werden.
Antworten mit Quellen
Das Modell sollte angewiesen werden, ausschliesslich auf Grundlage der gelieferten Abschnitte zu antworten und offen zu sagen, wenn die Informationen nicht ausreichen. Jede Aussage mit einer Quelle zu verknüpfen, hat zwei Vorteile: Nutzer können nachprüfen, und Fehler werden sichtbar. Eine Antwort ohne passende Quelle ist ein Warnsignal, dass das Modell aus allgemeinem Wissen ergänzt hat. Eine ehrliche Antwort wie «dazu finde ich in Ihren Dokumenten nichts» schafft mehr Vertrauen als eine plausible Erfindung.
Aktualität und Löschung
Wissensbasen ändern sich. Wenn ein Dokument aktualisiert oder gelöscht wird, müssen seine Abschnitte und Vektoren ebenfalls aktualisiert oder entfernt werden — sonst zitiert das System veraltete oder gelöschte Inhalte. Für Datenschutz-Löschbegehren ist das zwingend. Eine Verarbeitung, die bei jeder Änderung die betroffenen Abschnitte neu erzeugt, und ein regelmässiger Abgleich zwischen Quelle und Index verhindern schleichende Abweichungen.
Qualität messbar machen
Ohne Messung wird an RAG nach Gefühl optimiert. Ein Bewertungsdatensatz mit typischen Fragen und den Dokumenten, die eine gute Antwort enthalten müssten, erlaubt zwei Messungen: Findet die Suche die richtigen Abschnitte, und gibt das Modell eine korrekte, belegte Antwort? Jede Änderung an Aufteilung, Suche oder Prompt wird gegen diesen Datensatz geprüft. Fünfzig gut gewählte Fragen aus echten Nutzeranfragen sind wertvoller als jede allgemeine Kennzahl.
Häufige Fehler
Die häufigsten Probleme in RAG-Projekten sind fehlerhaft extrahierte Texte, starre Aufteilung nach Zeichenzahl, reine Vektorsuche ohne Volltextanteil, Berechtigungen, die erst im Prompt geprüft werden, und fehlende Messung. Keiner dieser Punkte erfordert exotische Technik; alle erfordern Sorgfalt in den Grundlagen.
Einordnung
RAG ist für die meisten Unternehmensanwendungen der richtige Weg, um ein Modell mit eigenem Wissen zu verbinden — günstiger und aktueller als Fine-Tuning, und mit nachvollziehbaren Quellen. Innopulse baut RAG-Funktionen auf PostgreSQL mit pgvector und hybrider Suche, mit Berechtigungen auf Datenbankebene und einem Bewertungsdatensatz von Anfang an.