Klassische Tests prüfen, ob eine Funktion für eine Eingabe genau die erwartete Ausgabe liefert. Bei Sprachmodellen funktioniert das nur selten: Eine gute Zusammenfassung lässt sich auf viele Arten formulieren, und dieselbe Anfrage liefert nicht zweimal denselben Text. Trotzdem lässt sich die Qualität von KI-Funktionen messen. Man muss nur aufhören, nach der einen richtigen Antwort zu suchen, und stattdessen prüfen, ob eine Antwort die Eigenschaften hat, auf die es ankommt.
Der Bewertungsdatensatz
Grundlage jeder Evaluation ist eine Sammlung typischer Eingaben, für die man weiss, wie eine gute Antwort aussieht. Die besten Quellen sind echte Nutzeranfragen, anonymisiert und ausgewählt nach Häufigkeit und Schwierigkeit. Dazu gehören bewusst auch schwierige Fälle: mehrdeutige Fragen, Eingaben in Mundart oder mit Tippfehlern, Anfragen, die die Funktion nicht beantworten sollte. Fünfzig bis hundert gut gewählte Beispiele sind am Anfang wertvoller als tausend zufällige.
Zu jedem Beispiel wird festgehalten, was eine gute Antwort ausmacht: welche Fakten enthalten sein müssen, welche Quelle zitiert werden sollte, welches Format erwartet wird, was keinesfalls vorkommen darf. Diese Kriterien sind die eigentliche Arbeit — und sie zwingen das Team, sich zu einigen, was die Funktion leisten soll.
Kriterien, die sich prüfen lassen
Manche Eigenschaften lassen sich automatisch und eindeutig prüfen. Ist die Ausgabe gültiges JSON nach dem vorgegebenen Schema? Bleibt sie unter der maximalen Länge? Enthält sie die verlangten Pflichtfelder, eine Quellenangabe, keine E-Mail-Adressen? Solche deterministischen Prüfungen sind schnell, günstig und zuverlässig und sollten den ersten Teil jeder Evaluation bilden.
Andere Eigenschaften brauchen ein Urteil: Ist die Antwort inhaltlich korrekt, vollständig, im richtigen Ton, durch die Quellen gedeckt? Hier gibt es zwei Wege, die sich ergänzen: menschliche Bewertung und die Bewertung durch ein zweites Modell anhand klarer Kriterien.
Modelle als Bewerter — mit Kontrolle
Ein Sprachmodell kann eine Antwort anhand einer präzisen Bewertungsanweisung beurteilen, etwa: «Enthält die Antwort alle drei genannten Fakten? Behauptet sie etwas, das nicht in den Quellen steht?» Das skaliert und macht häufige Evaluationen bezahlbar. Allerdings haben Modelle als Bewerter eigene Schwächen: Sie bevorzugen längere Antworten, lassen sich von selbstbewusster Formulierung beeindrucken und sind bei feinen fachlichen Fehlern unzuverlässig. Deshalb gilt: einzelne, klar definierte Kriterien statt einer Gesamtnote, und regelmässig eine Stichprobe durch Menschen prüfen lassen, um zu sehen, ob das Urteil des Bewertermodells mit dem menschlichen übereinstimmt.
Regressionstests bei jeder Änderung
Der grösste Nutzen einer Evaluation liegt im Vergleich. Jede Änderung am Prompt, am Modell, an der Suche oder an der Nachbearbeitung wird gegen denselben Datensatz geprüft. So zeigt sich, ob eine Verbesserung bei einem Fall an anderer Stelle etwas verschlechtert — was bei Prompt-Änderungen häufiger passiert, als man erwartet. Ein Modellwechsel, ob auf eine neue Version desselben Anbieters oder auf einen anderen Anbieter, sollte nie ohne diesen Vergleich erfolgen.
Weil Modellausgaben schwanken, sollte jedes Beispiel bei wichtigen Entscheidungen mehrmals laufen. Eine Änderung, die in einem einzelnen Durchlauf besser aussieht, kann im Mittel schlechter sein.
Evaluation im laufenden Betrieb
Der Datensatz bildet nur ab, was man erwartet hat. Im Betrieb kommen neue Anfragen, neue Dokumente und neues Nutzerverhalten hinzu. Rückmeldungen der Nutzer, Stichproben aus echten Anfragen und automatische Prüfungen auf bekannte Fehlerbilder ergänzen die Offline-Evaluation. Fälle, bei denen die Funktion versagt hat, wandern in den Datensatz, damit derselbe Fehler nach der nächsten Änderung nicht zurückkehrt.
Typische Fehler
Am häufigsten sehen wir Teams, die Prompts nach Eindruck optimieren: Ein paar Testfragen im Playground, die Antwort gefällt, die Änderung geht live. Dazu kommen Datensätze, die nur einfache Fälle enthalten, Gesamtnoten von Bewertermodellen ohne menschliche Kontrolle und fehlende Wiederholungen bei schwankenden Ergebnissen. Alle diese Fehler führen zum gleichen Ergebnis: Das Team glaubt, die Qualität zu kennen, und kennt sie nicht.
Ein schlanker Start
- Fünfzig echte, anonymisierte Anfragen sammeln, inklusive schwieriger Fälle.
- Je Beispiel festhalten, was eine gute Antwort enthalten muss und was nicht.
- Deterministische Prüfungen für Format, Länge und verbotene Inhalte automatisieren.
- Für inhaltliche Kriterien ein Bewertermodell einsetzen und es mit menschlichen Stichproben abgleichen.
- Jede Prompt- oder Modelländerung gegen den Datensatz laufen lassen.
Innopulse baut KI-Funktionen mit einem solchen Bewertungsdatensatz von Beginn an, weil er die Grundlage für jede spätere Verbesserung und für jeden Modellwechsel ist.