Artikel 9 der KI-Verordnung verlangt für Hochrisiko-Systeme ein Risikomanagementsystem. Das Wort System ist dabei der entscheidende Teil und wird am häufigsten überlesen: Verlangt ist kein Dokument, sondern ein fortlaufender Prozess, der über den gesamten Lebenszyklus des Systems läuft.
Diese Unterscheidung entscheidet über den gesamten Aufwand. Wer ein Risikodokument erstellt, es freigeben lässt und ablegt, hat die Anforderung formal berührt und inhaltlich verfehlt. Die Verordnung setzt voraus, dass das System bei jeder wesentlichen Änderung und bei neuen Erkenntnissen aus dem Betrieb erneut durchlaufen wird.
Der Zyklus, den Artikel 9 beschreibt
Der Ablauf hat vier Schritte, die sich wiederholen. Zuerst werden die bekannten und vorhersehbaren Risiken für Gesundheit, Sicherheit und Grundrechte identifiziert, die vom System bei bestimmungsgemässer Verwendung ausgehen. Dann werden die Risiken bewertet, die aus vernünftigerweise vorhersehbarer Fehlanwendung entstehen — nicht nur aus dem gedachten Idealgebrauch.
Im dritten Schritt werden Massnahmen festgelegt, die das Risiko so weit senken, wie es sich vertretbar senken lässt. Und im vierten wird geprüft, ob die Massnahmen wirken — mit Daten aus dem Betrieb, nicht mit einer Annahme aus der Entwurfsphase. Danach beginnt der Zyklus erneut.
Vorhersehbare Fehlanwendung ist der schwierige Teil
Der Punkt, an dem die meisten Risikoanalysen dünn werden, ist die Fehlanwendung. Es ist verhältnismässig einfach zu beschreiben, was ein System tun soll und welche Risiken dabei entstehen. Deutlich schwerer ist die ehrliche Frage, wie Menschen es tatsächlich benutzen werden.
Ein Beispiel aus der Praxis: Ein System, das Vorschläge macht, wird in der Anwendung fast immer zu einer Entscheidung. Formal bleibt der Mensch verantwortlich, faktisch übernimmt er den Vorschlag, weil ihm die Zeit für eine eigene Prüfung fehlt. Wer diesen Effekt in der Risikoanalyse nicht abbildet, beschreibt ein anderes System als das, das im Einsatz ist.
Was die Restrisiko-Bewertung verlangt
Nach den Minderungsmassnahmen bleibt ein Restrisiko, und Artikel 9 verlangt, dass es bewertet und als vertretbar beurteilt wird. Diese Beurteilung ist eine bewusste Entscheidung, keine Formalität — und sie gehört mit Begründung dokumentiert, weil genau sie in einer Prüfung hinterfragt wird.
Ein häufiger Fehler ist, das Restrisiko implizit auf null zu setzen, indem man es nicht erwähnt. Das ist unglaubwürdig: Kein nicht-triviales System hat kein Restrisiko. Eine ehrlich benannte, begründete Restgrösse ist belastbarer als ihre Abwesenheit.
Die Verbindung zur Aufsicht nach Artikel 14
Artikel 9 und Artikel 14 hängen enger zusammen, als ihre Trennung nahelegt. Viele Minderungsmassnahmen laufen darauf hinaus, dass ein Mensch prüft und eingreifen kann. Diese Massnahme wirkt nur, wenn die Person das System hinreichend versteht, die Zeit hat und die Befugnis, den Vorschlag zu überschreiben.
Wer menschliche Aufsicht als Risikominderung angibt, sollte deshalb belegen können, dass diese drei Bedingungen erfüllt sind. Eine Aufsicht ohne Zeit ist keine Aufsicht, und eine Risikoanalyse, die auf ihr aufbaut, überschätzt die Wirkung ihrer eigenen Massnahmen.
Was den Aufwand praktisch begrenzt
Der Umfang eines Risikomanagementsystems richtet sich nach dem System, nicht nach der Vorlage. Ein eng abgegrenztes Hochrisiko-System mit wenigen Einsatzfällen braucht deutlich weniger als eine breit eingesetzte Plattform. Wer die vollständige Vorlage abarbeitet, weil sie existiert, erzeugt Aufwand ohne Nutzen.
Praktisch trägt eine Regel: Jede beschriebene Massnahme braucht eine Person, die sie verantwortet, und einen Prüfzeitpunkt. Massnahmen ohne beides sind Absichtserklärungen und fallen bei der ersten Überprüfung auf. Wer nur so viele Massnahmen aufnimmt, wie tatsächlich betreut werden können, erhält ein kleineres, aber belastbares System.
Die realistische Erwartung
Artikel 9 wird nie abgeschlossen sein, und das ist beabsichtigt. Der sinnvolle Anspruch ist nicht ein fertiges Dokument, sondern ein laufender Prozess mit einem festen Überprüfungsrhythmus, benannten Verantwortlichen und der Fähigkeit, jederzeit den aktuellen Stand zu zeigen. Wer das hat, besteht die Prüfung — auch mit einem schlanken Dossier.