Ein RAG-System beantwortet Fragen auf Basis eigener Dokumente. Dafür werden die Dokumente nicht als Ganzes, sondern in Abschnitten durchsucht. Wie diese Abschnitte geschnitten werden, ist eine unscheinbare Entscheidung mit grosser Wirkung: Sie bestimmt, was die Suche überhaupt finden kann.
Warum zerlegt wird
Ein Embedding fasst einen Text zu einem Vektor zusammen. Je länger der Text, desto unschärfer wird diese Zusammenfassung, und eine präzise Frage findet die passende Stelle nicht mehr. Gleichzeitig ist das Kontextfenster des Modells begrenzt, und jedes eingefügte Token kostet. Chunking sucht den Punkt, an dem Abschnitte klein genug für präzise Suche und gross genug für verständlichen Kontext sind.
Die gängigen Strategien
Feste Grösse: Abschnitte mit einer bestimmten Zahl von Tokens, oft mit Überlappung, damit Sätze an der Grenze nicht zerrissen werden. Einfach, aber blind für die Struktur. Struktur-basiert: Schnitt entlang von Überschriften, Absätzen, Tabellen oder Paragrafen, was bei gut strukturierten Dokumenten wie Verträgen, Handbüchern oder Gesetzen deutlich besser funktioniert. Semantisch: Schnitt dort, wo sich das Thema ändert, gemessen über Ähnlichkeit benachbarter Sätze. Hierarchisch: kleine Abschnitte für die Suche, aber der übergeordnete Abschnitt als Kontext für das Modell.
Metadaten machen den Unterschied
Ein Abschnitt ohne Herkunft ist schwer zu verwenden. Zu jedem Chunk gehören Dokumenttitel, Überschriftenpfad, Datum, Version, Mandant und Berechtigungen. Sie ermöglichen Filter, etwa nur aktuelle Fassungen oder nur Dokumente des eigenen Mandanten, und sie erlauben dem Modell, Quellen korrekt anzugeben. Berechtigungen gehören in den Filter der Suche, nicht in den Prompt.
Typische Fehler
Tabellen, die zeilenweise zerrissen werden und ihren Kopf verlieren. Definitionen, die von dem Abschnitt getrennt werden, der sie verwendet. PDFs mit Kopf- und Fusszeilen, die in jedem Chunk als Rauschen auftauchen. Und eine Chunk-Grösse, die einmal gewählt und nie überprüft wurde.
Mit Evaluation entscheiden
Welche Strategie am besten ist, hängt von den Dokumenten und den Fragen ab. Die einzige verlässliche Methode ist eine Evaluation mit einem festen Set realistischer Fragen: Findet die Suche die richtigen Abschnitte, und stimmt die Antwort? Wer Chunking ändert, ohne zu messen, verbessert eine Kennzahl, die er nicht kennt. Speicherung und Suche der Abschnitte behandelt der Eintrag zur Vektordatenbank.