Fine-Tuning bezeichnet das Nachtrainieren eines bereits vortrainierten Sprachmodells auf einer eigenen Sammlung von Beispielen. Ziel ist nicht, dem Modell neues Wissen beizubringen, sondern sein Verhalten zu prägen: eine bestimmte Form der Antwort, einen konsistenten Stil, ein verlässliches Ausgabeformat oder den sicheren Umgang mit einer speziellen Aufgabe.
Wofür es tatsächlich taugt
Der Nutzen von Fine-Tuning liegt in der Form, nicht im Inhalt. Wo ein Modell trotz sorgfältiger Anweisungen immer wieder vom gewünschten Format abweicht, wo eine fachliche Ausdrucksweise konsistent getroffen werden soll oder wo eine eng umrissene Klassifizierungsaufgabe hohe Zuverlässigkeit braucht, ist Fine-Tuning das passende Mittel. Ein weiterer, oft übersehener Effekt: Ein nachtrainiertes Modell braucht kürzere Anweisungen, weil das Verhalten im Modell steckt statt im Prompt — was Kosten pro Anfrage senken kann.
Wofür es nicht taugt
Fine-Tuning ist das falsche Werkzeug, um Wissen aktuell zu halten. Trainiert man Fakten in ein Modell ein, sind sie zum Zeitpunkt der nächsten Änderung veraltet, und die Korrektur bedeutet ein erneutes Training. Fakten, die sich ändern, gehören in eine abfragbare Quelle, nicht in Modellgewichte. Ebenso ungeeignet ist es für vertrauliche oder mandantenbezogene Daten: Was in ein Modell trainiert wurde, lässt sich nicht selektiv wieder löschen.
Das Verhältnis zu RAG
Die Frage wird oft als Entweder-oder gestellt und ist ein Sowohl-als-auch. RAG liefert das Wissen, Fine-Tuning prägt die Form. Ein System, das aktuelle Dokumente korrekt zitieren und dabei konsistent in einem bestimmten Format antworten soll, profitiert von beidem. In der Reihenfolge gilt aber fast immer: zuerst RAG und sorgfältiges Prompting, danach Fine-Tuning — weil die ersten beiden billiger, schneller änderbar und in den meisten Fällen bereits ausreichend sind.
Die Datenfrage
Der Aufwand von Fine-Tuning liegt nicht im Training, sondern in den Daten. Gebraucht wird eine Sammlung von Beispielen, die das gewünschte Verhalten korrekt und konsistent zeigt. Uneinheitliche Beispiele erzeugen uneinheitliches Verhalten — das Modell lernt genau die Widersprüche mit, die in den Daten stecken. Qualität schlägt dabei Menge deutlich: eine kleine, sorgfältig kuratierte Sammlung bringt in der Regel mehr als eine grosse, automatisch zusammengestellte.
Die Folgekosten
Ein nachtrainiertes Modell ist kein einmaliges Artefakt, sondern eine Abhängigkeit. Es muss gepflegt, evaluiert und bei einem Wechsel des Basismodells neu erstellt werden. Diese laufenden Kosten werden vor der Entscheidung regelmässig unterschätzt und übersteigen die Trainingskosten über die Lebensdauer meist deutlich.
Praktische Konsequenz
Die nützliche Reihenfolge lautet: sorgfältiges Prompting, dann RAG, dann — falls die Form dann noch nicht sitzt — Fine-Tuning. Wer umgekehrt beginnt, investiert früh in eine Abhängigkeit, die ein besserer Prompt möglicherweise überflüssig gemacht hätte.