Wer mit Sprachmodellen baut, rechnet in Tokens. Nicht in Wörtern, nicht in Zeichen. Das Kontextfenster, die maximale Antwortlänge, die Rechnung des API-Anbieters und ein grosser Teil der Antwortzeit hängen an dieser Einheit. Ein Grundverständnis ist deshalb Voraussetzung für jede Kostenplanung.
Wie Text zu Tokens wird
Ein Tokenizer zerlegt Text in häufige Zeichenfolgen. Kurze, häufige Wörter sind oft ein einzelnes Token, seltene oder lange Wörter werden in mehrere Teile zerlegt. Zahlen, Code und Sonderzeichen verhalten sich anders als Fliesstext. Jedes Modell hat seinen eigenen Tokenizer; dieselbe Eingabe kann bei zwei Anbietern unterschiedlich viele Tokens ergeben.
Deutsch kostet mehr
Viele Tokenizer sind auf englischsprachige Daten optimiert. Deutsche Komposita und Flexionen werden häufiger zerlegt, sodass derselbe Inhalt auf Deutsch in vielen Fällen mehr Tokens braucht. Für DACH-Produkte heisst das: Kostenschätzungen auf Basis englischer Beispiele sind zu tief, und das Kontextfenster füllt sich schneller.
Eingabe und Ausgabe
Anbieter berechnen Eingabe- und Ausgabe-Tokens getrennt, Ausgabe-Tokens in der Regel teurer. Ausgabe-Tokens bestimmen ausserdem die Latenz stärker, weil sie nacheinander erzeugt werden. Ein langer Systemprompt kostet bei jedem Aufruf; eine lange Antwort kostet und dauert. Viele Anbieter bieten Caching für wiederkehrende Prompt-Teile an, das Eingabekosten und Latenz deutlich senken kann.
Token-Verbrauch steuern
Bewährte Hebel: Systemprompts kürzen und stabil halten, damit Caching greift. Im RAG nur die relevantesten Abschnitte einfügen, statt den Kontext zu füllen; gutes Chunking hilft dabei. Ausgabelänge begrenzen und strukturierte Ausgaben verlangen. Für einfache Aufgaben kleinere Modelle einsetzen und nur bei Bedarf eskalieren. Und den Verbrauch pro Funktion und Mandant messen, sonst weiss niemand, welche Funktion die Rechnung treibt.
Tokens im Geschäftsmodell
Für SaaS-Produkte mit KI-Funktionen sind Tokens variable Kosten pro Nutzung. Unbegrenzte KI-Nutzung in einem Pauschalplan kann die Marge auffressen, wenn einzelne Nutzer viel verbrauchen. Viele Produkte arbeiten deshalb mit Kontingenten oder Guthaben pro Plan. Wie man das plant, beschreibt unser Beitrag zum KI-Kostenmanagement.