Im Normalfall schickst du an eine KI einen einzelnen Textblock und bekommst eine Antwort zurück. In echten LLM-APIs (z.B. OpenAI, Anthropic) läuft die Kommunikation aber strukturiert ab: Die Anfrage besteht aus mehreren Nachrichten mit unterschiedlichen Rollen.

Beispiel einer typischen Chat-Anfrage

Systemprompt: "Du bist ein freundlicher Assistent. Antworte auf Deutsch."
User:         "Was ist die Hauptstadt von Frankreich?"
KI-Antwort:   "Paris ist die Hauptstadt."
User:         "Und von Deutschland?"

Warum ist das für die Kostenschätzung relevant?

Jede Nachricht zählt als Input-Tokens. Bei laufenden Konversationen (Multi-Turn-Chats) wird der komplette bisherige Verlauf bei jeder neuen Anfrage mitgeschickt – die Kosten wachsen also mit jeder Runde. Zusätzlich berechnet das Modell einen kleinen Overhead pro Nachricht (typisch 3–4 Tokens) für die Rollen-Markierung.

Wann solltest du den Chat-Modus nutzen?

• Du planst einen Chatbot mit System-Prompt und möchtest die Kosten pro Anfrage realistisch schätzen
• Du willst wissen, was eine mehrstufige Konversation kostet
• Du möchtest den Einfluss des System-Prompts auf die Gesamtkosten sehen

Wann reicht der Single-Text-Modus?

Wenn du nur grob abschätzen willst, wie teuer ein Text verarbeitet werden würde – zum Beispiel ein Artikel, der zusammengefasst oder übersetzt werden soll – reicht der normale Modus völlig aus.

Jede Nachricht in einer KI-Konversation bekommt eine Rolle. Die Rolle sagt dem Modell, wer gerade spricht und wie die Nachricht zu interpretieren ist.

Typischer Aufbau

1. 1× Systemprompt (Regeln)
2. 1× User (Frage)
3. Bei Multi-Turn: abwechselnd User / KI-Antwort / User / KI-Antwort, endet mit User

Prompt Caching ist eine Kostenoptimierung, die von großen Anbietern wie OpenAI und Anthropic angeboten wird – und für alle, die Chatbots oder Agenten produktiv betreiben, ist sie praktisch unverzichtbar.

Das Problem, das Caching löst

Bei jeder Anfrage in einem Chat wird der komplette bisherige Verlauf mitgeschickt. Der Systemprompt ändert sich dabei nie – er wird bei jeder Anfrage identisch wiederholt. Wenn dein Systemprompt 1000 Tokens hat und du 100 Anfragen pro Tag stellst, zahlst du jeden Tag 100.000 Tokens allein für den sich nicht ändernden Systemprompt.

Was Caching macht

Der Anbieter "merkt sich" den Systemprompt nach der ersten Anfrage für 5–10 Minuten im Cache. Kommt innerhalb dieser Zeit eine weitere Anfrage mit genau demselben Anfang, werden die gecachten Tokens nicht neu verarbeitet, sondern aus dem Cache geholt – und entsprechend stark rabattiert abgerechnet.

Die Rabatte im Überblick

• Anthropic (Claude): ca. 10% des normalen Preises für gecachte Tokens – also 90% Rabatt
• OpenAI (GPT): ca. 50% des normalen Preises – also 50% Rabatt
• Andere Anbieter: variiert, oft kein Caching verfügbar

Wie dieses Tool rechnet

Im Kumulativ-Modus siehst du zwei Zahlen nebeneinander: Einmal die normalen Input-Kosten, einmal die Kosten mit Caching. Die Rechenregel ist:

• Turn 1: Systemprompt wird zum vollen Preis abgerechnet (Cache wird befüllt)
• Turn 2+: Systemprompt wird zum Cached-Preis abgerechnet (aus dem Cache geladen)
• Der restliche Chat-Verlauf (User und KI-Antworten) bleibt immer beim normalen Preis

Was das Tool vereinfacht

In der Realität können fortgeschrittene Nutzer auch größere Teile des Chats cachen (ganze erste Turns, Knowledge-Base-Blöcke etc.), und Anthropic berechnet einen kleinen Aufpreis beim ersten Schreiben in den Cache. Um die Darstellung überschaubar zu halten, cachen wir hier nur den Systemprompt und ignorieren den minimalen Schreib-Overhead. Für eine realistische Budget-Schätzung ist das vollkommen ausreichend.

Verfügbarkeit

Dieser Caching-Rechner erscheint nur bei Modellen, die Prompt Caching unterstützen und für die ein gecachter Preis gepflegt ist. Bei anderen Modellen wird der Caching-Block nicht angezeigt – weil es dort schlicht keine Ersparnis zu berechnen gibt.

Wenn du eine Chat-Anfrage an ein LLM schickst, bekommst du oben in der Kostenübersicht immer ein paar mehr Tokens gezählt als die reine Textsumme ergibt. Das sind die "Overhead-Tokens" – ein kleiner, aber konstanter Zusatz, der in fast jeder modernen Chat-API zu finden ist.

Warum gibt es Overhead?

Ein LLM bekommt nicht einfach einen Fließtext, sondern eine strukturierte Liste von Nachrichten mit Rollen-Markern. Das Modell muss wissen, wo eine Nachricht anfängt, welche Rolle sie hat (Systemprompt, User, KI-Antwort) und wo sie endet. Dafür werden an jede Nachricht unsichtbare "Steuerzeichen" angehängt – jedes davon ist selbst ein Token.

Wie viel Overhead genau?

Bei den meisten gängigen APIs (OpenAI, Anthropic, Mistral, ...) kannst du mit dieser Faustregel rechnen:

• 3 Tokens pro Nachricht — für Rollen-Marker und Trennzeichen
• + 3 Tokens pro API-Anfrage — einmaliger Overhead für die Gesamt-Anfrage

Konkretes Beispiel: Eine Anfrage mit Systemprompt + 3 User-Nachrichten + 2 KI-Antworten = 6 Nachrichten. Overhead = 6 × 3 + 3 = 21 Tokens.

Ist das bei allen Modellen gleich?

Nein – der exakte Wert variiert minimal zwischen Anbietern und Modellen, und die Dokumentation ist oft ungenau. Die hier verwendete Formel (3+3) ist der OpenAI-Standard und funktioniert als gute Näherung für praktisch alle Chat-APIs. Bei sehr kurzen Texten spielt Overhead eine relativ größere Rolle – bei langen Konversationen geht er im Rauschen unter.

Warum interessiert mich das?

Im Einzelfall ist Overhead vernachlässigbar. Bei einer echten Anwendung mit tausenden Chat-Anfragen pro Tag summiert er sich aber: 20 Tokens × 100.000 Anfragen = 2 Millionen Tokens Overhead pro Tag, allein für die Rollen-Marker. Das ist gut zu wissen, wenn du Budget-Kalkulationen für deinen Chatbot machst.

Im Kumulativ-Modus besonders sichtbar

In der Turn-für-Turn-Tabelle oben siehst du pro Turn die Aufschlüsselung wie z.B. "250 (230 + 20 OH)". Die "OH"-Zahl ist der Overhead für diesen Turn. Je mehr Nachrichten die API bei einem Turn mitschickt, desto höher wird dieser Posten.

In einer echten Chat-Anwendung wird bei jeder neuen Nutzer-Nachricht der komplette bisherige Gesprächsverlauf mitgeschickt – sonst weiß die KI nicht, worüber gerade geredet wurde. Das hat massiven Einfluss auf die Kosten, und genau diesen Effekt kannst du hier messen.

🔹 Modus "Eine API-Anfrage"

Berechnet die Kosten für genau eine API-Anfrage, so wie der Chat hier unten gerade abgebildet ist. Sinnvoll, wenn du einen bestimmten Zustand testen willst: "Was kostet es, genau diese Nachrichtenfolge einmal an die API zu schicken?"

🔹 Modus "Ganze Konversation (kumulativ)"

Rechnet durch, was die Konversation insgesamt kostet, wenn sie Turn für Turn so abläuft wie hier abgebildet. Bei jedem neuen User-Turn wird der komplette Verlauf erneut gezählt. Damit siehst du die Realität einer laufenden Chat-Session.

Ein konkretes Beispiel

Angenommen du hast einen Systemprompt (60 Tokens), der Nutzer stellt 3 Fragen à 20 Tokens, die KI antwortet jeweils mit 80 Tokens:

Turn 1 (1. User-Frage):       60 + 20                           =  80 Tokens
Turn 2 (2. User-Frage):       60 + 20 + 80 + 20                 = 180 Tokens
Turn 3 (3. User-Frage):       60 + 20 + 80 + 20 + 80 + 20      = 280 Tokens
----------------------------------------------------------------
Summe der Input-Tokens:                                           540 Tokens

"Eine API-Anfrage"-Modus würde   280 Tokens zeigen (nur Turn 3)
"Kumulativ"-Modus zeigt          540 Tokens (alle Turns summiert)

⚠️ Kosten wachsen quadratisch

Eine Konversation mit 10 Runden kostet nicht 10× mehr als eine mit 1 Runde, sondern oft 30–50× mehr. Das ist einer der Hauptkostenpunkte bei Chatbot-Anwendungen. Wer produktiv Chatbots baut, sollte das im Blick haben.

💡 Was tun gegen die Kosten?

• Prompt-Caching nutzen (bei OpenAI & Anthropic verfügbar) – reduziert Kosten bei wiederkehrenden System-Prompts drastisch
• Ältere Nachrichten zusammenfassen, bevor der Kontext zu lang wird
• Max-Turn-Limit einbauen – z.B. nach 10 Nachrichten neue Konversation starten
• Kleinere Modelle für einfache Turns nutzen, große Modelle nur für komplexe Fragen