Der AI Act verlangt bei Hochrisiko-Systemen nicht, dass Menschen jede Entscheidung selbst treffen. Er verlangt, dass Menschen die Kontrolle behalten können. Das ist ein Unterschied, der in der Umsetzung oft verwischt wird: Ein Mensch, der jede Empfehlung eines Systems ungeprüft bestätigt, übt keine Aufsicht aus.
Was Anbieter ermöglichen müssen
Nach Art. 14 AI Act gestalten Anbieter Hochrisiko-Systeme so, dass die beaufsichtigenden Personen die Fähigkeiten und Grenzen des Systems verstehen, sich der Neigung bewusst bleiben, automatisch erzeugten Ergebnissen zu viel zu vertrauen, die Ausgaben richtig interpretieren, im Einzelfall entscheiden können, das System nicht zu verwenden oder sein Ergebnis zu übergehen, und in den Betrieb eingreifen oder ihn über eine Stopp-Funktion anhalten können. Für bestimmte biometrische Fernidentifizierungen verlangt der AI Act zusätzlich, dass ein Ergebnis von mindestens zwei Personen bestätigt wird, bevor gehandelt wird.
Was Betreiber organisieren müssen
Betreiber übertragen die Aufsicht Personen, die über die nötige Kompetenz, Ausbildung und Befugnis verfügen, und stellen ihnen die nötigen Mittel bereit. Praktisch heisst das: Die Aufsicht ist eine benannte Rolle mit Zeit und Entscheidungsbefugnis, nicht eine Nebenaufgabe. Die Kompetenzanforderungen überschneiden sich mit den Massnahmen zur KI-Kompetenz.
Formen der Aufsicht
Human-in-the-Loop bedeutet, dass ein Mensch jedes Ergebnis prüft, bevor es wirkt — sinnvoll bei folgenreichen Einzelentscheidungen. Human-on-the-Loop bedeutet, dass ein Mensch den Betrieb überwacht und bei Auffälligkeiten eingreift — sinnvoll bei vielen gleichartigen Vorgängen. Human-in-Command bedeutet, dass Menschen über Einsatz, Grenzen und Abschaltung entscheiden. Welche Form passt, hängt vom Risiko und von der Menge der Entscheidungen ab.
Automatisierungsbias
Das grösste Risiko für wirksame Aufsicht ist nicht fehlende Technik, sondern Gewöhnung. Wer hundertmal eine zutreffende Empfehlung sieht, bestätigt die hundertunderste ungeprüft. Gegenmassnahmen sind Begründungen und Quellen zu jedem Ergebnis, stichprobenartige Prüfungen mit Rückmeldung, eine Arbeitslast, die echte Prüfung zulässt, und Kennzahlen dazu, wie oft Empfehlungen übergangen werden. Eine Quote von null ist ein Warnsignal, kein Erfolg.
Zeitpunkt und Nachweis
Die Pflichten gelten für Hochrisiko-Systeme nach Anhang III ab Dezember 2027. Nachweisen lässt sich Aufsicht über die Gestaltung der Oberfläche, die Rollenbeschreibung, Schulungsnachweise und einen Audit-Trail, der Übersteuerungen und Eingriffe festhält. Für die Einordnung im Gesamtzusammenhang siehe den Beitrag zu den Hochrisiko-Pflichten.