Eine Konformitätsbewertung ist eine Momentaufnahme — sie bestätigt, dass ein System zum Zeitpunkt des Inverkehrbringens die Anforderungen erfüllt. Aber KI-Systeme leben weiter: Die Daten verschieben sich, die Nutzung verändert sich, das Modell verhält sich in der Realität anders als im Test. Der EU AI Act trägt dem Rechnung, indem er für Hochrisiko-Systeme ein Post-Market-Monitoring verlangt — die systematische Beobachtung des Systems nach dem Launch. Diese Pflicht wird oft übersehen, weil sie nach dem grossen Aufwand der Konformitätsbewertung wie eine Nachsorge wirkt. In Wahrheit ist sie der Mechanismus, der Konformität dauerhaft macht.
Warum die Beobachtung nötig ist
KI-Systeme degradieren auf Weisen, die klassische Software nicht kennt. Data Drift bedeutet, dass die Eingabedaten im Betrieb von denen abweichen, mit denen das Modell trainiert und getestet wurde — die Welt verändert sich, das Modell nicht. Concept Drift bedeutet, dass sich die zugrunde liegenden Zusammenhänge selbst verschieben. Beides führt dazu, dass ein einst korrektes System unbemerkt schlechter wird. Hinzu kommen unerwartete Nutzungsmuster und seltene Fehlerfälle, die im Test nie auftraten. Ohne aktive Beobachtung bemerkt man diese Verschlechterung erst, wenn sie Schaden angerichtet hat.
Was der AI Act verlangt
Der AI Act verpflichtet Anbieter von Hochrisiko-Systemen, ein Post-Market-Monitoring-System einzurichten und einen entsprechenden Plan zu führen. Dieses System sammelt und analysiert systematisch Daten über die Leistung des KI-Systems während seines gesamten Lebenszyklus. Es soll ermöglichen, kontinuierlich zu bewerten, ob das System weiterhin die Anforderungen erfüllt, und Risiken frühzeitig zu erkennen. Die Erkenntnisse fliessen zurück in das Risikomanagement und können — wenn sich ein schwerwiegendes Problem zeigt — eine Vorfallmeldung oder Korrekturmassnahmen auslösen.
Was in einen Monitoring-Plan gehört
Ein belastbarer Post-Market-Monitoring-Plan definiert: welche Leistungs- und Sicherheitskennzahlen beobachtet werden; welche Datenquellen dafür herangezogen werden — eigene Logs, Nutzerrückmeldungen, Beschwerden; welche Schwellenwerte eine genauere Untersuchung oder einen Eingriff auslösen; wer für die Auswertung verantwortlich ist und in welchem Rhythmus sie erfolgt; und wie die Erkenntnisse zurück in Risikomanagement und gegebenenfalls in eine Modellaktualisierung fliessen. Der Plan ist kein einmaliges Dokument, sondern beschreibt einen laufenden Prozess.
Die Verzahnung mit Observability
Hier zeigt sich eine glückliche Überschneidung von Pflicht und guter Praxis: Das Post-Market-Monitoring des AI Act und die technische Observability, die jedes ernsthafte KI-Produkt ohnehin braucht, sind weitgehend dasselbe. Wer seine Modelle auf Drift, Qualität und Fehlerverhalten überwacht — weil er ein gutes Produkt bauen will —, hat den Kern des regulatorischen Monitorings bereits umgesetzt. Die regulatorische Anforderung verlangt zusätzlich die Dokumentation, die Rückkopplung ins Risikomanagement und die Verbindung zur Vorfallmeldung. Wer beides integriert aufbaut, vermeidet doppelte Strukturen.
Nutzerrückmeldungen als Quelle
Eine oft unterschätzte Datenquelle sind die Rückmeldungen der Nutzer und Betroffenen. Beschwerden, Korrekturen menschlicher Aufseher und Hinweise auf Fehlentscheidungen sind wertvolle Signale für die Qualität eines Systems im realen Einsatz. Bauen Sie deshalb einen Kanal, über den solche Rückmeldungen erfasst, kategorisiert und ausgewertet werden, und führen Sie sie mit den technischen Kennzahlen zusammen. Gerade bei Systemen mit menschlicher Aufsicht ist das Muster der menschlichen Korrekturen ein direkter Indikator dafür, wo das Modell systematisch danebenliegt.
Die Schleife zur Korrektur schliessen
Monitoring ohne Konsequenz ist wertlos. Der entscheidende Teil ist die Schleife: Eine erkannte Verschlechterung oder ein Risiko muss zu einer Reaktion führen — einer genaueren Untersuchung, einer Anpassung der Schwellen, einem Neutraining des Modells oder im Extremfall der vorübergehenden Ausserbetriebnahme. Definieren Sie vorab, welche Beobachtung welche Reaktion auslöst, damit im Ernstfall nicht erst über die Zuständigkeit und das Vorgehen diskutiert werden muss. Diese Vorab-Definition verwandelt das Monitoring von einer passiven Beobachtung in ein aktives Steuerungssystem.
Was zu tun ist
Richten Sie für jedes Hochrisiko-System ein Post-Market-Monitoring ein, das auf Ihrer ohnehin nötigen Observability aufbaut. Definieren Sie die beobachteten Kennzahlen, die auslösenden Schwellen, die Verantwortlichkeiten und die Rückkopplung ins Risikomanagement in einem Monitoring-Plan. Integrieren Sie Nutzerrückmeldungen als eigene Quelle und definieren Sie vorab, welche Beobachtung welche Reaktion auslöst. Verbinden Sie das Monitoring mit Ihrem Incident-Reporting, damit ein erkanntes schwerwiegendes Problem den Meldeprozess auslöst. So wird aus der einmaligen Konformitätsbewertung eine dauerhaft belegbare Konformität.
Der Aufwand lohnt sich doppelt
Der Aufbau eines Post-Market-Monitorings wirkt zunächst wie zusätzlicher Aufwand nach einem ohnehin anspruchsvollen Konformitätsprozess. In Wahrheit zahlt er sich doppelt aus. Erstens regulatorisch: Er macht die Konformität dauerhaft belegbar und liefert die Datengrundlage, um im Vorfall richtig zu reagieren. Zweitens betrieblich: Dieselbe Überwachung, die der AI Act verlangt, ist genau das, was ein gutes KI-Produkt braucht, um seine Qualität über die Zeit zu halten. Ein Modell, dessen Drift früh erkannt wird, liefert bessere Ergebnisse — was Kunden bemerken, lange bevor eine Aufsichtsbehörde fragt.
Beginnen Sie deshalb nicht mit der Frage, wie Sie die Pflicht mit minimalem Aufwand erfüllen, sondern wie Sie eine Überwachung bauen, die Ihr Produkt tatsächlich besser macht — und die regulatorischen Anforderungen als dokumentierte Teilmenge davon mitnimmt. Diese Haltung verwandelt eine als lästig empfundene Pflicht in einen Hebel für Produktqualität. Wer Monitoring so begreift, baut es mit Überzeugung statt mit Widerwillen — und genau das macht den Unterschied zwischen einem Monitoring, das wirklich beobachtet, und einem, das nur formal existiert.