Ein Embedding ist die Darstellung eines Inhalts — meist eines Textstücks — als Vektor, also als Liste von Zahlen. Der Zweck dieser Umwandlung ist, dass inhaltliche Ähnlichkeit zu einer rechnerischen Grösse wird: Zwei Texte, die dasselbe meinen, ergeben Vektoren, die im Raum nahe beieinander liegen, auch wenn sie kein einziges Wort teilen.
Warum das nützlich ist
Die klassische Volltextsuche vergleicht Zeichenketten. Sie findet ein Dokument, wenn das gesuchte Wort darin vorkommt, und findet es nicht, wenn dort ein Synonym steht. Ein Embedding löst dieses Problem, weil es nicht die Zeichen abbildet, sondern die Bedeutung. Eine Anfrage nach Kündigungsfrist findet damit auch ein Dokument, das von Beendigungstermin spricht. Genau diese Eigenschaft macht Embeddings zur Grundlage semantischer Suche und damit zur Voraussetzung für RAG.
Wie Ähnlichkeit gemessen wird
Sind Anfrage und Dokumente als Vektoren dargestellt, wird ihre Ähnlichkeit über einen Abstands- oder Winkelvergleich bestimmt. Am gebräuchlichsten ist die Kosinus-Ähnlichkeit, die den Winkel zwischen zwei Vektoren betrachtet und damit unabhängig von deren Länge ist. Das Ergebnis ist eine Zahl, nach der sich Treffer sortieren lassen. Wichtig ist die Einsicht, dass diese Zahl keine Wahrheit ausdrückt, sondern Nähe: Der ähnlichste Treffer ist nicht zwangsläufig der richtige, sondern nur der nächstgelegene.
Chunking: die unterschätzte Entscheidung
Bevor Text zu Vektoren wird, muss er in Stücke zerlegt werden, weil Embedding-Modelle nur begrenzte Textmengen verarbeiten. Diese Zerlegung entscheidet mehr über die spätere Qualität als die Wahl des Modells. Zu kleine Stücke verlieren den Zusammenhang, sodass ein Treffer ohne seinen Kontext zurückkommt. Zu grosse Stücke verwässern die Bedeutung, weil ein Vektor dann mehrere Themen mittelt und zu keinem davon gut passt. Sinnvolle Grenzen orientieren sich an der Struktur des Dokuments — Abschnitte, Kapitel, logische Einheiten — statt an einer festen Zeichenzahl.
Konsistenz des Modells
Ein Vektor ist nur innerhalb desselben Modells vergleichbar. Werden Dokumente mit einem Modell eingebettet und Anfragen mit einem anderen, sind die Ergebnisse wertlos, ohne dass ein Fehler auftritt — das System liefert weiter Treffer, nur eben falsche. Ein Modellwechsel bedeutet deshalb immer, den gesamten Bestand neu einzubetten. Diese Kosten gehören in die Planung, weil sie bei grossen Beständen erheblich sind.
Grenzen
Embeddings bilden Bedeutungsähnlichkeit ab, nicht Korrektheit und nicht Aktualität. Ein veralteter Absatz ist genauso ähnlich wie ein aktueller, wenn er dasselbe Thema behandelt. Sie bilden auch keine Negation zuverlässig ab: Ein Text, der etwas verneint, liegt nahe bei einem Text, der es bejaht. Wo diese Unterscheidungen zählen, braucht es zusätzliche Filter über Metadaten — Datum, Version, Gültigkeit — statt Vertrauen in die Ähnlichkeit allein.
Praktische Konsequenz
Wer eine semantische Suche aufbaut, investiert die meiste Zeit sinnvollerweise nicht in die Modellwahl, sondern in Chunking und Metadaten. Beides bestimmt die Trefferqualität stärker, ist unabhängig vom Modell und bleibt auch nach einem Modellwechsel erhalten.