Ein KI-System verhält sich im Betrieb nicht immer so wie im Test. Daten verschieben sich, Nutzer verwenden das System anders als vorgesehen, Fehler zeigen sich erst in Randfällen. Der AI Act verlangt deshalb von Anbietern von Hochrisiko-Systemen, nach dem Inverkehrbringen nicht wegzuschauen.
Das Monitoring-System
Nach Art. 72 AI Act richten Anbieter ein System zur Beobachtung nach dem Inverkehrbringen ein, das der Art und den Risiken des Systems angemessen ist. Es sammelt aktiv und systematisch Daten über die Leistung des Systems während seiner gesamten Lebensdauer, dokumentiert und analysiert sie und prüft, ob das System die Anforderungen weiterhin erfüllt. Grundlage ist ein Monitoring-Plan, der Teil der technischen Dokumentation ist; die Kommission legt dafür ein Muster fest.
Schwerwiegende Vorfälle
Kommt es zu einem schwerwiegenden Vorfall, muss der Anbieter ihn der Marktüberwachungsbehörde des betroffenen Mitgliedstaats melden (Art. 73). Die Grundfrist beträgt 15 Tage ab Kenntnis. Bei einem weitverbreiteten Verstoss oder einem schwerwiegenden Vorfall in kritischer Infrastruktur verkürzt sie sich auf zwei Tage, im Todesfall auf zehn Tage. Wo nötig, ist zunächst eine unvollständige Erstmeldung zulässig, die später ergänzt wird.
Die Rolle der Betreiber
Betreiber überwachen den Betrieb anhand der Gebrauchsanweisung und informieren den Anbieter, wenn sie Risiken erkennen oder ein schwerwiegender Vorfall eintritt. Ohne diese Rückmeldung bleibt das Monitoring des Anbieters blind. Verträge zwischen Anbieter und Betreiber sollten deshalb regeln, welche Daten zurückfliessen und wie schnell.
Technische Umsetzung
Monitoring ist zuerst eine Frage der Observability: Protokolle der Eingaben und Ausgaben im erlaubten Umfang, Metriken zu Fehlerraten und Abweichungen, Rückmeldungen der Nutzer, ein Ablauf für Eskalationen. Für generative Komponenten gehört eine laufende Evaluation gegen ein festes Testset dazu, damit Verschlechterungen nach Modellwechseln auffallen. Datenschutz begrenzt, was protokolliert werden darf; die Lösung ist eine bewusste Auswahl, nicht ein Verzicht.
Zeitpunkt
Die Pflichten sind Teil der Hochrisiko-Anforderungen, die nach dem Digital-Omnibus für Systeme nach Anhang III ab Dezember 2027 gelten. Wer ein solches System entwickelt, sollte das Monitoring von Anfang an in die Architektur einplanen; nachträglich eingebaut wird es teurer und lückenhafter. Unser Angebot zur Hochrisiko-Konformität umfasst diesen Teil.