Wer ein Sprachmodell an die eigenen Anforderungen anpassen will, hat drei Werkzeuge: einen besseren Prompt, Retrieval-Augmented Generation und Fine-Tuning. Sie werden oft als Stufenleiter dargestellt, bei der man irgendwann beim Fine-Tuning ankommt. Das ist irreführend. Die drei Werkzeuge lösen unterschiedliche Probleme, und die richtige Wahl hängt davon ab, welches Problem man tatsächlich hat.
Die entscheidende Frage: Wissen oder Verhalten?
Fehlt dem Modell Wissen — über Ihre Produkte, Ihre Verträge, Ihre internen Abläufe, aktuelle Daten —, dann ist RAG das richtige Werkzeug. Das Modell bekommt die relevanten Informationen bei jeder Anfrage mitgeliefert. Fine-Tuning ist für Wissen ein schlechtes Werkzeug: Es verankert Fakten unzuverlässig, kann veraltete Informationen nicht gezielt entfernen und liefert keine Quellen.
Verhält sich das Modell nicht wie gewünscht — falscher Ton, falsches Format, inkonsistente Struktur, falsche Entscheidungen bei einer klar umrissenen Aufgabe —, dann ist zuerst der Prompt gefragt und erst danach Fine-Tuning.
Prompting: der erste und häufig letzte Schritt
Moderne Modelle folgen ausführlichen Anweisungen erstaunlich gut. Eine klare Aufgabenbeschreibung, explizite Regeln, ein definiertes Ausgabeformat und einige gut gewählte Beispiele lösen die meisten Verhaltensprobleme. Prompting hat entscheidende Vorteile: Änderungen sind sofort wirksam, kosten nichts ausser Zeit, lassen sich mit einem Bewertungsdatensatz prüfen und überstehen Modellwechsel vergleichsweise gut. Bevor über Fine-Tuning nachgedacht wird, sollte der Prompt nachweislich ausgereizt sein — gemessen, nicht gefühlt.
RAG: wenn das Modell etwas wissen muss
RAG verbindet das Modell mit einer Suche über eigene Inhalte. Es eignet sich für Wissensbasen, Dokumentationen, Kundenakten und alles, was sich ändert oder belegt werden muss. Neue Informationen sind verfügbar, sobald sie indexiert sind, gelöschte verschwinden, und jede Antwort kann ihre Quelle nennen. Berechtigungen lassen sich bei der Suche durchsetzen, sodass jeder Nutzer nur Antworten aus Dokumenten erhält, die er sehen darf. Die Qualität hängt dabei vor allem von der Suche ab, nicht vom Modell.
Fine-Tuning: wenn Verhalten in grossem Massstab stabil sein muss
Fine-Tuning trainiert ein Modell mit vielen Beispielen von Eingabe und gewünschter Ausgabe weiter. Es lohnt sich, wenn eine eng umrissene Aufgabe sehr häufig ausgeführt wird und der Prompt sie nicht zuverlässig oder nicht wirtschaftlich löst. Typische Fälle sind Klassifikation in viele firmenspezifische Kategorien, ein sehr spezifisches Ausgabeformat oder ein Stil, der sich mit Beispielen im Prompt nicht stabil erreichen lässt. Ein feinabgestimmtes kleines Modell kann dann ein grosses Modell mit langem Prompt ersetzen und günstiger und schneller sein.
Die Kosten liegen weniger im Training als in den Daten. Es braucht eine ausreichende Menge sauberer, repräsentativer Beispiele, und diese müssen gepflegt werden. Jede neue Basismodellgeneration erfordert ein erneutes Training und eine erneute Prüfung. Und feinabgestimmte Modelle sind an den Anbieter gebunden, bei dem sie trainiert wurden.
Eine Entscheidungshilfe
- Fehlen Fakten oder aktuelle Informationen? RAG.
- Muss die Antwort Quellen nennen oder Berechtigungen respektieren? RAG.
- Stimmen Ton, Format oder Struktur nicht? Zuerst den Prompt verbessern und messen.
- Ist der Prompt ausgereizt, die Aufgabe eng umrissen und sehr häufig? Fine-Tuning prüfen.
- Soll ein grosses, teures Modell durch ein kleines ersetzt werden? Fine-Tuning des kleinen Modells prüfen.
Kombinationen sind der Normalfall
In der Praxis werden die Werkzeuge kombiniert. Ein Support-Assistent nutzt RAG für das Wissen über Produkte und Tickets und einen sorgfältigen Prompt für Ton und Struktur. Ein feinabgestimmtes Klassifikationsmodell leitet Anfragen vorab an den richtigen Ablauf weiter. Wichtig ist, jedes Werkzeug für das Problem einzusetzen, das es löst.
Rechtliche und organisatorische Aspekte
Fine-Tuning mit Kundendaten ist eine eigene Verarbeitung, die vom Auftrag gedeckt sein muss; in vielen B2B-Verträgen ist sie es nicht. Werden personenbezogene Daten in Trainingsbeispielen verwendet, lassen sie sich aus einem trainierten Modell kaum gezielt entfernen. Nach dem EU AI Act wird man durch das Fine-Tuning eines allgemeinen Modells nicht automatisch selbst zum Anbieter eines General-Purpose-Modells; nach den Leitlinien der Kommission ist das erst bei einer erheblichen Veränderung mit entsprechendem Rechenaufwand der Fall. Die Pflichten als Anbieter des eigenen KI-Systems bleiben davon unberührt.
Unsere Einschätzung
In der grossen Mehrheit der Projekte, die wir sehen, ist die richtige Kombination ein sorgfältiger Prompt mit RAG. Fine-Tuning ist ein wertvolles Werkzeug für eng umrissene, häufige Aufgaben — aber selten der erste Schritt. Innopulse entscheidet diese Frage in Projekten anhand eines Bewertungsdatensatzes, nicht anhand von Trends.