LLM-Evaluation bezeichnet das systematische Prüfen der Ausgaben eines Sprachmodells gegen vorher definierte Erwartungen. Sie beantwortet die Frage, ob eine Änderung am System — ein anderer Prompt, ein anderes Modell, eine andere Suchstrategie — das Ergebnis tatsächlich verbessert oder nur anders macht.
Warum klassische Tests nicht greifen
Ein herkömmlicher Softwaretest vergleicht eine Ausgabe mit einem erwarteten Wert. Bei Sprachmodellen scheitert das, weil dieselbe Aufgabe viele gleichwertig richtige Antworten hat, die sich im Wortlaut unterscheiden. Ein exakter Vergleich schlägt deshalb bei korrekten Antworten fehl und ist unbrauchbar. Die Prüfung muss stattdessen an Eigenschaften ansetzen: Enthält die Antwort die geforderte Information? Hält sie das Format ein? Nennt sie eine Quelle? Vermeidet sie eine bestimmte Aussage?
Die Testmenge ist das eigentliche Werkzeug
Kern jeder Evaluation ist eine Sammlung von Eingaben mit den jeweils erwarteten Eigenschaften der Ausgabe. Diese Sammlung muss nicht gross sein, aber sie muss die schwierigen Fälle enthalten: Randfälle, mehrdeutige Anfragen, Eingaben ausserhalb des vorgesehenen Bereichs, und die Fälle, die in der Vergangenheit schiefgegangen sind. Eine Testmenge, die nur den Normalfall abdeckt, bestätigt lediglich, dass das System funktioniert, wenn nichts Schwieriges passiert.
Prüfarten
Drei Arten von Prüfung ergänzen sich. Regelbasierte Prüfungen kontrollieren objektiv Feststellbares — Format, Vorhandensein bestimmter Angaben, Einhaltung von Grenzen — und sind billig und zuverlässig. Modellbasierte Bewertung lässt ein Modell die Ausgabe eines anderen nach vorgegebenen Kriterien beurteilen; das skaliert gut, hat aber eigene Verzerrungen und braucht selbst eine Kalibrierung gegen menschliche Urteile. Und menschliche Bewertung bleibt für alles Nötig, was Fachurteil verlangt — sie ist teuer und deshalb gezielt einzusetzen.
Regression ist der eigentliche Zweck
Der grösste praktische Nutzen der Evaluation liegt nicht darin, eine absolute Qualität zu messen, sondern Verschlechterungen zu erkennen. Bei Sprachmodellen ist das besonders wichtig, weil eine Prompt-Änderung, die einen Fall verbessert, mehrere andere verschlechtern kann, ohne dass es auffällt. Ohne Testmenge ist jede Änderung eine Wette. Mit Testmenge ist sie eine Messung.
Grenzen automatischer Bewertung
Automatische Bewertung misst gut, was sich klar definieren lässt, und schlecht, was Urteil verlangt. Ob eine Antwort fachlich angemessen, im Ton passend oder für die konkrete Zielgruppe verständlich ist, entzieht sich einer Regel weitgehend. Wer diese Grenze ignoriert, optimiert das System auf die messbare Grösse und verschlechtert dabei genau das, was nicht gemessen wird.
Praktische Konsequenz
Eine Testmenge mit wenigen Dutzend gut gewählten Fällen kostet einen Tag Arbeit und verändert die Arbeitsweise an einem KI-System grundlegend: Aus Diskussionen über Eindrücke werden Vergleiche von Ergebnissen. Diese Investition lohnt sich früher, als die meisten Teams annehmen — sinnvollerweise vor der ersten grösseren Prompt-Überarbeitung, nicht danach.