Sobald ein SaaS-Produkt Nutzerinnen und Nutzern erlaubt, Inhalte zu veröffentlichen oder mit anderen zu teilen — Kommentare, Profile, Bilder, Bewertungen, öffentliche Seiten —, entsteht die Frage, wie mit missbräuchlichen Inhalten umgegangen wird. Grosse Plattformen haben dafür eigene Teams. Kleine SaaS-Anbieter haben das nicht, und KI-Modelle versprechen, diese Lücke zu schliessen. Sie können viel leisten, aber nur als Teil eines Ablaufs, der mit klaren Regeln beginnt und bei schwierigen Fällen bei Menschen endet.
Zuerst die Richtlinie
Moderation ohne schriftliche Regeln ist Willkür, mit oder ohne KI. Bevor ein Modell Inhalte bewertet, braucht es eine Richtlinie, die festlegt, was im Produkt nicht erlaubt ist und warum: rechtswidrige Inhalte, Belästigung, Spam, Betrug, Inhalte, die zum Zweck des Produkts nicht passen. Diese Richtlinie ist Teil der Nutzungsbedingungen, für Nutzer verständlich formuliert und Grundlage für jede Entscheidung — auch für die Anweisungen an das Modell.
Gestufte Prüfung
Ein bewährter Ablauf hat mehrere Stufen. Zuerst laufen einfache, schnelle Prüfungen: bekannte Spam-Muster, gesperrte Links, Grenzwerte für Häufigkeit. Danach bewertet ein Modell den Inhalt anhand der Richtlinie und ordnet ihn einer Kategorie mit einer Einschätzung der Sicherheit zu. Eindeutig unproblematische Inhalte werden veröffentlicht, eindeutig problematische zurückgehalten, und alles dazwischen landet in einer Warteschlange für eine menschliche Prüfung.
Spezialisierte Moderationsmodelle mehrerer Anbieter liefern Kategorien wie Belästigung oder Gewalt zu geringen Kosten. Für produktspezifische Regeln — etwa Werbung für Konkurrenzprodukte in einem Bewertungsbereich — eignet sich ein allgemeines Sprachmodell mit der eigenen Richtlinie im Prompt besser.
Menschen entscheiden bei Grenzfällen
Modelle irren in beide Richtungen: Sie übersehen Missbrauch, der geschickt formuliert ist, und sie blockieren legitime Inhalte, etwa Ironie, Zitate oder fachliche Diskussionen über heikle Themen. Bei Entscheidungen, die Nutzer spürbar treffen — Löschung, Sperrung eines Kontos —, sollte deshalb ein Mensch das letzte Wort haben, zumindest bei unsicheren Fällen. Für ein kleines Team ist das machbar, wenn die automatische Vorsortierung den Grossteil eindeutiger Fälle erledigt.
Begründung und Einspruch
Wer einen Inhalt entfernt oder einschränkt, sollte dem Betroffenen mitteilen, welche Regel verletzt wurde und wie er widersprechen kann. Das ist nicht nur fair, sondern verringert auch Supportaufwand und Frust. Einsprüche werden von einem Menschen geprüft, und Fehlentscheidungen fliessen als Testfälle in die Bewertung des Modells zurück.
Pflichten aus dem Digital Services Act
Für Anbieter, die Inhalte ihrer Nutzer speichern und Personen in der EU anbieten — auch aus der Schweiz heraus —, gilt der Digital Services Act. Hosting-Dienste müssen ein Verfahren bereitstellen, über das rechtswidrige Inhalte gemeldet werden können, und Entscheidungen über Einschränkungen gegenüber den Betroffenen begründen. Für Online-Plattformen, die Inhalte öffentlich verbreiten, kommen weitere Pflichten hinzu, von denen Klein- und Kleinstunternehmen teilweise ausgenommen sind. Welche Pflichten konkret gelten, hängt von der Art des Dienstes ab und sollte einmal sauber geprüft werden.
Datenschutz
Moderation verarbeitet Inhalte und oft Personendaten von Nutzern. Wird dafür ein externer Modellanbieter eingesetzt, gehört er in die Liste der Unterauftragsverarbeiter, und die Datenschutzerklärung nennt die Verarbeitung. Moderationsentscheidungen und ihre Begründungen werden aufbewahrt, solange sie für Einsprüche und Nachweise gebraucht werden, nicht länger.
Messen und nachjustieren
Zwei Kennzahlen sind entscheidend: Wie viele problematische Inhalte werden übersehen, und wie viele legitime fälschlich blockiert? Beide lassen sich über Stichproben und Einsprüche schätzen. Schwellenwerte für die automatische Entscheidung werden daran ausgerichtet — eher vorsichtig bei Inhalten, die öffentlich sichtbar sind, eher grosszügig bei privaten Bereichen.
Ein schlanker Aufbau für kleine Teams
- Schriftliche Richtlinie als Grundlage für Nutzer, Team und Modell.
- Schnelle Regeln vorab, Modellbewertung danach, Warteschlange für Grenzfälle.
- Menschliche Entscheidung bei Löschung und Sperrung in unsicheren Fällen.
- Begründung an Betroffene und ein einfacher Einspruchsweg.
- Meldeweg für rechtswidrige Inhalte nach DSA.
- Regelmässige Stichproben zur Messung von Fehlern in beide Richtungen.
Innopulse baut solche Moderationsabläufe so, dass ein kleines Team sie tragen kann, und verbindet sie mit den Datenschutz- und Transparenzanforderungen, die für DACH-Anbieter gelten.