Auch gut geprüfte KI-Systeme können im Einsatz Schaden anrichten. Der AI Act verlangt deshalb, dass Anbieter von Hochrisiko-KI-Systemen schwerwiegende Vorfälle melden, damit Behörden reagieren und Muster erkennen können.
Was ein schwerwiegender Vorfall ist
Ein Vorfall oder eine Fehlfunktion eines KI-Systems, die direkt oder indirekt zum Tod oder zu einer schweren Gesundheitsschädigung einer Person, zu einer schweren und unumkehrbaren Störung der Verwaltung oder des Betriebs kritischer Infrastruktur, zu einem Verstoss gegen Pflichten zum Schutz der Grundrechte oder zu schweren Sach- oder Umweltschäden führt.
Fristen
Die Meldung an die Marktüberwachungsbehörde erfolgt unverzüglich, sobald der Anbieter einen Zusammenhang zwischen System und Vorfall festgestellt hat oder ein solcher hinreichend wahrscheinlich ist, grundsätzlich spätestens 15 Tage nach Kenntnis. Bei einem weit verbreiteten Verstoss oder einer schweren Störung kritischer Infrastruktur gilt eine Frist von höchstens zwei Tagen, bei einem Todesfall von höchstens zehn Tagen. Eine erste unvollständige Meldung ist zulässig und wird später ergänzt.
Rolle der Betreiber
Betreiber, die einen schwerwiegenden Vorfall feststellen, informieren unverzüglich den Anbieter und gegebenenfalls die Behörde. In Verträgen mit Anbietern sollte deshalb geregelt sein, wie und innert welcher Zeit solche Informationen fliessen.
Zusammenspiel mit anderen Meldepflichten
Ein KI-Vorfall kann gleichzeitig eine Datenschutzverletzung, ein Cyberangriff nach ISG oder ein Vorfall nach dem Cyber Resilience Act sein. Ein gemeinsamer Incident-Response-Plan mit allen Meldewegen verhindert, dass Fristen untergehen. Die Pflicht gilt mit den übrigen Hochrisiko-Pflichten, nach dem Digital-Omnibus ab Dezember 2027 für Systeme nach Anhang III.