Review der Produktionsreife von LLM-Funktionen
Produktteams und CTOs, die eine KI-Funktion — Chat, RAG-Suche, Extraktion oder Agent — in ein bestehendes Produkt bringen.
Aktualisiert: 2026-10
Das Review prüft eine LLM-Funktion vor dem Go-live auf das, was Demos nicht zeigen: Angriffe über Prompt Injection, Qualität gemessen an einem festen Evaluationsset, Datenflüsse und Verträge mit Modellanbietern, Kosten pro Nutzung, Monitoring und die Einordnung nach dem AI Act. Ergebnis ist ein priorisierter Massnahmenplan.
Eine LLM-Funktion funktioniert in der Demo fast immer. Im Betrieb treffen echte Nutzer, echte Daten und echte Kosten auf ein probabilistisches System. Typische Probleme sind Antworten ohne Quellenbindung, Werkzeuge mit zu weitreichenden Rechten, Kundendaten bei Anbietern ohne passenden Vertrag und Kosten, die niemand pro Mandant misst.
Viele Teams merken das erst nach dem Launch, wenn ein Kunde eine falsche Auskunft reklamiert oder die Rechnung des Modellanbieters überrascht. Ein Review vor dem Go-live ist deutlich günstiger als die Korrektur danach.
Was Sie erhalten
Bedrohungsmodell
Analyse der Angriffsflächen, insbesondere direkte und indirekte Prompt Injection, Werkzeugrechte, Mandantengrenzen und Datenabfluss über Ausgaben, mit konkreten Architekturmassnahmen.
Evaluationsset und Basismessung
Ein versioniertes Set realistischer und schwieriger Fälle mit Bewertungskriterien und eine erste Messung, gegen die künftige Änderungen geprüft werden.
Datenfluss und Verträge
Übersicht, welche Daten an welchen Anbieter gehen, wo sie verarbeitet werden und ob Training ausgeschlossen ist, mit Hinweisen zu Auftragsbearbeitung und Auslandbekanntgabe.
Kosten- und Missbrauchskonzept
Messung der Kosten pro Anfrage, Kontingente pro Mandant, Rate Limits und ein Kill-Switch für den Kostenfall.
Monitoring und Fallbacks
Kennzahlen, Protokollierung im erlaubten Umfang und definiertes Verhalten bei Fehlern und Anbieterausfällen.
AI-Act-Einordnung
Rolle als Anbieter oder Betreiber, Risikoklasse und die Umsetzung der Transparenzpflichten, etwa des Hinweises bei Chatbots.
Ablauf
- 1
Einführung
Anwendungsfall, Architektur, Datenflüsse und Fehlerkosten mit dem Team durchgehen.
- 2
Analyse
Code, Prompts, Werkzeuge und Konfiguration prüfen, Bedrohungsmodell und Evaluationsset erstellen.
- 3
Messung
Evaluationsset ausführen und Ergebnisse mit dem Team einordnen.
- 4
Massnahmenplan
Priorisierter Plan mit Aufwandsschätzung pro Massnahme und optionaler Begleitung der Umsetzung.
Preisrahmen
Fixpreis nach Scope. Der Rahmen hängt von Anzahl und Komplexität der KI-Funktionen ab und ergibt sich aus einem kurzen Erstgespräch.
Indikativ, kein verbindliches Angebot — der Rahmen wird im Scoping bestätigt.
Was bestimmt den Preis? → Kosten-Ratgeber
Übergeordnete Leistung: SaaS-Produktentwicklung
Häufige Fragen
Für welche Modelle und Anbieter gilt das Review?
Für alle gängigen Anbieter und auch für selbst betriebene Modelle. Die Prinzipien — Architektur gegen Prompt Injection, Evaluation, Kostenkontrolle — sind anbieterunabhängig.
Ist das ein Penetrationstest?
Nein. Das Review umfasst Architekturprüfung und gezielte Tests auf Prompt Injection. Ein umfassender Penetrationstest der Anwendung ist eine eigene Leistung spezialisierter Anbieter und kann ergänzend sinnvoll sein.
Was, wenn die Funktion bereits live ist?
Dann ist das Review genauso sinnvoll; der Massnahmenplan priorisiert, was sofort und was im normalen Entwicklungsrhythmus angegangen wird.
Erhalten wir das Evaluationsset?
Ja. Das Set und die Auswertungsskripte gehören Ihnen und können in Ihre Pipeline integriert werden.
Review der Produktionsreife von LLM-Funktionen
Produktteams und CTOs, die eine KI-Funktion — Chat, RAG-Suche, Extraktion oder Agent — in ein bestehendes Produkt bringen.