Als Halluzination bezeichnet man eine Ausgabe eines Sprachmodells, die sprachlich überzeugend und sachlich falsch ist — eine erfundene Quelle, ein nicht existierendes Zitat, eine plausible, aber unzutreffende Zahl. Der Begriff ist irreführend, weil er einen Ausnahmezustand suggeriert. Tatsächlich ist das Phänomen eine Folge der Funktionsweise und kein Defekt.
Warum es systembedingt ist
Ein Sprachmodell erzeugt Text, indem es fortlaufend wahrscheinliche Fortsetzungen bildet. Es prüft dabei nicht, ob eine Aussage zutrifft — es hat keinen Begriff von Wahrheit, sondern von Wahrscheinlichkeit. Eine gut klingende falsche Antwort und eine gut klingende richtige Antwort sind aus Sicht des Modells strukturell dasselbe. Genau deshalb ist die Sicherheit der Formulierung kein Hinweis auf die Richtigkeit des Inhalts, und genau deshalb sind Halluzinationen so gefährlich: Sie sehen aus wie gute Antworten.
Wo sie besonders häufig auftreten
Bestimmte Situationen erhöhen das Risiko deutlich. Fragen nach spezifischen Details — Zahlen, Daten, Namen, Aktenzeichen, Quellen — sind anfälliger als Fragen nach Zusammenhängen. Themen mit dünner Datenlage sind anfälliger als breit dokumentierte. Und Anfragen, die eine bestimmte Antwort nahelegen, provozieren Bestätigung: Wer nach der Studie fragt, die eine These belegt, bekommt mit erhöhter Wahrscheinlichkeit eine Studie genannt, ob es sie gibt oder nicht.
Was tatsächlich hilft
Die wirksamste Gegenmassnahme ist, dem Modell die Fakten mitzugeben, statt sie aus ihm herauszuholen. Genau das leistet RAG: Die relevanten Textstellen werden gesucht und in die Anfrage eingebettet, und das Modell formuliert auf dieser Grundlage. Das verschiebt die Fehlerquelle vom Erfinden zum Auswählen — ein Fehler bleibt möglich, aber er ist überprüfbar, weil die Quelle benannt ist.
Quellenangabe als Prüfmechanismus
Ergänzend wirkt die Pflicht zur Quellenangabe. Wenn jede Aussage auf eine konkrete Fundstelle verweisen muss, wird die Prüfung von einer Recherche zu einem Klick. In regulierten Umgebungen ist das der entscheidende Punkt: Nicht die Fehlerfreiheit macht ein KI-System einsetzbar, sondern die Überprüfbarkeit. Eine unbelegte Antwort ist dort auch dann wertlos, wenn sie zufällig stimmt.
Warum sie nicht verschwinden
Bessere Modelle halluzinieren seltener, aber nicht nie — und die verbleibenden Fälle sind schwerer zu erkennen, weil sie in einem insgesamt zuverlässigeren Umfeld auftreten. Wer sich darauf verlässt, dass das Problem mit der nächsten Modellgeneration verschwindet, baut ein System ohne Prüfmechanismus und merkt den Fehler dann nicht mehr. Die Architektur muss davon ausgehen, dass Halluzinationen auftreten.
Praktische Konsequenz
Ein produktives KI-System braucht drei Dinge: Fakten aus einer kontrollierten Quelle statt aus dem Modellgedächtnis, eine Quellenangabe zu jeder Aussage, und einen klar benannten menschlichen Prüfschritt dort, wo die Folgen eines Fehlers erheblich sind. Fehlt eines davon, ist das Risiko nicht kleiner geworden, sondern nur unsichtbar.