Token-Kosten senken – aber erst die richtige Frage stellen
Warum Token-Kosten-Kontrolle nicht mit Caching oder lokalen LLMs beginnt, sondern mit zwei vorgelagerten Fragen: Liefert der KI-Einsatz belegten Wert – und welche Zahlen sind Fakten, welche nur Bandbreiten?
Agentische KI-Workflows sollen laut mehrfach kolportierten Zahlen das 5- bis 30-Fache, in Extremfällen bis zum 1000-Fachen der Tokens einer einfachen Chat-Anfrage verbrauchen – Folge kaskadierender Modellaufrufe, Tool-Use-Runden und Reasoning-Schleifen.12 Uber hat sein KI-Budget für 2026 nach vier Monaten aufgebraucht und daraufhin ein Limit von 1.500 USD pro Mitarbeiter, Tool und Monat eingeführt.3 Goldman Sachs rechnet bis 2030 mit einem 24-fachen Anstieg des Token-Verbrauchs durch agentische KI.4 Die Zahlen wirken alarmierend genug, um sofort zur nächsten Kostenoptimierung zu greifen. Genau dieser Reflex ist das Problem, um das es hier geht.
Selbst die Kritiker der Zahlen sind sich nicht einig
Schon die Zitierkette der zentralen 5-30x-Zahl ist brüchig: Mehrere Fachartikel schreiben sie einer Gartner-Analyse vom März 2026 zu, verlinken dabei aber auf eine Gartner-Pressemitteilung zu einem anderen Thema (erwartete Kostensenkung der Inferenz bis 2030) – die eigentliche Primärquelle bleibt unauffindbar.1 Wer die Zahl dennoch für plausibel hält, landet in einer zweiten, unabhängigen Debatte über ihre finanzielle Tragweite. Ein Legal-Tech-Blog rechnet vor: Ein 30-facher Tokenverbrauch bei realistischer Cache-Trefferquote von 75 Prozent bedeutet auf einem 50.000-USD-Auftrag gerade einmal 430 USD Mehrkosten – die Panik entstehe erst, wenn man Worst-Case-Multiplikator, keine Caching-Wirkung und verdoppelte Tokenpreise gleichzeitig annimmt.5 Ein anderer unabhängiger Analyst widerspricht explizit und verschärft: Bei Fehlerkorrekturschleifen steige der Multiplikator auf das 10- bis 62-Fache pro Aufgabe, bei mehrschrittigen Aufgaben mit 10 bis 50 Schritten kumulativ sogar auf das 103- bis über 3.000-Fache – wirtschaftlich nicht mehr tragbar ohne menschliche Kontrollpunkte.6 Es gibt also keinen Konsens unter seriösen unabhängigen Kritikern selbst, sondern eine Bandbreite von „die Panik ist ein Rechenfehler” bis „die Zahlen sind noch zu niedrig angesetzt”.
Dass der Kostendruck trotzdem real ist, zeigt eine andere Art von Beleg: Die FinOps Foundation findet bei 127 untersuchten Enterprise-Agentic-Implementierungen eine Budgetüberschreitung von 73 Prozent, teils um mehr als das 2,4-Fache – und das, obwohl 98 Prozent der befragten Organisationen mittlerweile aktiv KI-Ausgaben verwalten.7 Ein weiteres, laut Axios berichtetes Unternehmen soll 500 Millionen USD in einem einzigen Monat durch schrankenlosen Claude-Zugriff ohne Spending-Controls verbraucht haben – auch hier wieder mitverursacht durch agentische Workflows mit dem eingangs zitierten bis zu 1000-fachen Tokenverbrauch.8 Uber ist damit kein Ausreißer, sondern ein Beispiel unter mehreren. Der Unterschied zwischen den beiden Befunden ist wichtig: Die Multiplikator-Zahl ist umstritten, weil sie ein Rechenmodell mit vielen Annahmen ist. Dass Budgets trotz aktiver Kostenverwaltung aus dem Ruder laufen, ist eine empirische Beobachtung – und beide sollten im Folgenden nicht verwechselt werden.
Die Frage vor der Kostenfrage: Lohnt sich das Projekt überhaupt?
Bevor eine einzige Zahl zur Tokenkosten-Optimierung sinnvoll ist, steht eine unbequemere Frage im Raum. Das MIT Media Lab hat in einer Analyse von über 300 Unternehmens-Deployments und 150 Executive-Interviews gefunden, dass 95 Prozent der GenAI-Pilotprojekte keinen messbaren Return on Investment erzielen.9 Gartner prognostiziert, dass über 40 Prozent der Agentic-AI-Projekte bis Ende 2027 wegen steigender Kosten, unklaren Geschäftswerts und unzureichender Risikokontrollen eingestellt werden – von den tausenden Anbietern, die „agentic AI” bewerben, seien nach Gartners Einschätzung nur rund 130 tatsächlich real, der Rest betreibe „Agent Washing”.10 IBMs eigene CEO-Studie (2.000 befragte Unternehmensführungen weltweit) findet, dass nur 25 Prozent der KI-Initiativen den erwarteten ROI liefern und nur 16 Prozent unternehmensweit skalieren – ein Befund, der dem eigenen Beratungsgeschäft von IBM eher schadet als nützt, also kaum im Eigeninteresse geschönt sein dürfte.11
Das ist der Dreh- und Angelpunkt dieses Artikels: Kostenoptimierung setzt voraus, dass der zugrunde liegende Anwendungsfall bereits Wert liefert. Für einen erheblichen Teil der Unternehmens-KI-Projekte ist genau das laut dieser Forschung nicht der Fall – dann ist die Frage nicht „wie senke ich die Tokenkosten”, sondern „lohnt sich das Projekt überhaupt”. Mehrere Branchenstimmen ziehen daraus die Konsequenz, nicht mehr reine Tokenkosten, sondern „Cost per Workflow” oder „Cost per resolved ticket” als Kennzahl zu verwenden.1213 Alles, was in den folgenden Abschnitten an technischen Hebeln beschrieben wird, gilt deshalb unter einer Bedingung: Der Anwendungsfall hat seinen Wert bereits gezeigt. Kostenoptimierung an einem wertlosen Projekt ist Kosmetik an der falschen Stelle.
Wenn der Wert geklärt ist: die technischen Hebel, die tatsächlich wirken
Unter dieser Bedingung greifen vier API-seitige Mechanismen zuverlässig. Prompt Caching senkt laut offizieller Anthropic- und OpenAI-Dokumentation die Kosten für wiederholten Kontext um rund 90 Prozent gegenüber ungecachtem Input – vorausgesetzt, statische Inhalte wie System-Prompt und Tool-Definitionen stehen am Anfang des Prompts und die variable Nutzeranfrage am Ende, damit der gecachte Präfix wiederverwendet wird.1415 Batch-APIs bieten bei beiden Anbietern 50 Prozent Rabatt gegenüber dem synchronen Preis, solange die Verarbeitung nicht zeitkritisch ist.1617 Modell-Routing nach Aufgabengröße – einfache Anfragen an kleine Modelle, komplexe Reasoning-Aufgaben an Premium-Modelle – soll laut Branchenblogs 40 bis 85 Prozent sparen.18 Und Retrieval-Augmented Generation statt Volltext-Kontext senkt laut einer Analyse den GPU-Bedarf um etwa das 20-Fache gegenüber einem Long-Context-Ansatz mit vollem Ein-Millionen-Token-Kontext, wobei die Retrieval-Genauigkeit über unterschiedliche Dokumentgrößen hinweg stabiler bleibt.19
Beim Routing lohnt sich ein genauerer Blick auf den Vorbehalt. Eine Produktionsstudie zu einem Enterprise-Katalog mit 110 Agenten und 584 Tools zeigt: Sobald der Tool-Katalog wächst, bricht die Routing-Genauigkeit bei unterspezifizierten Anfragen um 16 bis 23 Prozentpunkte ein – eine „stille Qualitätsregression”, die sich oft erst Tage später in Kundentickets zeigt, nicht im Kosten-Dashboard.20 Routing ohne Qualitäts-Gate ist damit keine Kostenoptimierung, sondern eine Wette, deren Erfolgsquote unsichtbar bleibt, bis sie in Support-Tickets sichtbar wird.
Governance schlägt die richtige Zahl
Der entscheidende Hebel liegt nicht darin, die richtige Multiplikator-Zahl zu kennen, sondern unabhängig davon Sichtbarkeit und Durchsetzung aufzubauen – auf vier Ebenen. Werkzeugseitig erfassen SDK-/OTEL-basierte Tracing-Werkzeuge wie Langfuse oder LangSmith und Proxy-Gateways wie Helicone jede Anfrage mit Kosten-Dashboard.21 Anbieterseitig liefern die seit 2026 verfügbare Claude Enterprise Analytics API und die im Juni 2026 ausgerollten ChatGPT-Enterprise-Spend-Controls Pro-Nutzer-Tokenverbrauch und konfigurierbare Ausgabenlimits direkt aus erster Hand.2223 Auf Standardisierungsebene arbeitet die FinOps Foundation mit FOCUS an einem herstellerübergreifenden Format für KI-Token-Kosten – ein noch nicht abgeschlossenes, aber breit getragenes Vorhaben, das zeigt, wie ungelöst vergleichbare Kostenmessung branchenweit noch ist.24 Und operativ pausieren Budget-Caps und Circuit-Breaker einen Agenten automatisch, sobald Token-, Tool-Aufruf- oder Zeitlimits überschritten werden, statt dass die Überschreitung erst am Monatsende auffällt.25
Dass Tools allein nicht reichen, zeigt dieselbe FinOps-Statistik von oben aus einem zweiten Blickwinkel: 73 Prozent Budgetüberschreitung trotz aktiver Kostenverwaltung bei 98 Prozent der Befragten bedeutet, dass Dashboards ohne automatisierte Durchsetzung wirkungslos bleiben können.7 Erst die Kombination aus Sichtbarkeit und Circuit-Breaker schließt die Lücke zwischen Wissen und Handeln – ein Muster, das unabhängig davon funktioniert, ob der tatsächliche Multiplikator nun bei 5x oder bei 1000x liegt.
Lokale LLMs: derselbe Vorbehalt, große Spannbreite – diesmal bei der TCO-Schwelle
Der Wechsel zu lokalen oder offenen Modellen ist der zweite große Hebel – und hier wiederholt sich das Muster aus der Multiplikator-Debatte. Eine TCO-Analyse nennt einen Break-Even bei rund 500.000 Tokens/Tag für ein 7B-Modell beziehungsweise 2 Millionen Tokens/Tag für ein 70B-Modell, umgerechnet etwa 15 bis 60 Millionen Tokens im Monat.26 Self-Hosting-Berater kommen dagegen auf eine sinnvolle Schwelle von rund 10 Milliarden Tokens im Monat – ein Unterschied von rund zwei bis drei Größenordnungen, der stark davon abhängt, ob Personal-, Wartungs- und Unterauslastungskosten vollständig eingepreist werden: Reale GPU-Auslastung liegt in der Praxis oft bei 20 bis 40 Prozent statt der angenommenen 70 bis 80 Prozent, dazu kommen laufend ein bis zwei On-Call-Engineers und laufende Modellwartung alle sechs bis acht Wochen.2728 Für die meisten Mittelstandsszenarien dürfte die höhere, konservativere Schwelle näher an der Realität liegen. Auch bei den Durchsatzzahlen lohnt Vorsicht: Für die vLLM-Grundlagentechnik PagedAttention kursiert in Branchenblogs oft ein „2- bis 24-facher” Durchsatzgewinn – das Originalpaper von 2023 selbst nennt 2- bis 4-fach; die höhere Zahl ist eine in 2026er-Blogs verbreitete Übertreibung.29 Die Qualitätslücke zwischen Frontier-Cloud-Modellen (85 bis 90 Prozent auf Standard-Benchmarks) und den besten offenen 70B-Modellen (65 bis 80 Prozent) bleibt real, schwankt aber stark je nach Benchmark.30
Compliance als Grund für lokale Modelle muss ebenfalls präzisiert, nicht pauschalisiert werden. Cloud-Anbieter bieten seit 2025/26 Zero-Data-Retention, SOC-2-Typ-II-Zertifizierung und VPC-Deployment-Muster, bei denen das Modell im eigenen Kundenkonto läuft, ohne dass Inferenzdaten die Kontogrenze verlassen – ein erheblicher Teil klassischer HIPAA-/GDPR-Anforderungen lässt sich damit inzwischen auch mit Cloud-APIs erfüllen.31 Der US CLOUD Act bleibt dabei ein eigenständiger Aspekt: Er erlaubt US-Behörden Zugriff auf Daten von US-Unternehmen unabhängig vom physischen Speicherort – ein Argument, das die Rechtshoheit über den Anbieter betrifft, nicht die technische Datenverarbeitung, und das Zero-Data-Retention allein nicht auflöst.32 Am stärksten bleibt das Compliance-Argument für lokale Modelle deshalb bei Air-Gap- oder Offline-Pflichten, weniger als pauschales Datenschutz-Argument.
Fazit: zwei Filter vor jeder Zahl
Token-Kosten-Kontrolle im Unternehmen beginnt nicht mit Caching, Routing oder dem Umstieg auf lokale Modelle. Sie beginnt mit zwei vorgelagerten Fragen. Erstens: Liefert der Anwendungsfall bereits belegten Geschäftswert? Wenn nicht, ist jede Kostenoptimierung Kosmetik an der falschen Stelle. Zweitens: Welche der kursierenden Zahlen sind belastbare Fakten aus offizieller Dokumentation – und welche sind Bandbreiten mit erheblicher Unsicherheit, über die selbst unabhängige Fachleute uneins sind? Erst wenn beide Filter passiert sind, lohnt sich der Blick auf Caching, Routing, RAG und lokale Modelle. Und selbst dort ersetzt eine funktionierende Governance-Schicht – Sichtbarkeit plus automatisierte Durchsetzung – die Notwendigkeit, die eine richtige Zahl zu kennen, bevor gehandelt wird.
Quellen
-
“The Bill Arrives: How to Manage Agentic AI Costs at Scale”, Cockroach Labs (Fachartikel, schreibt die 5-30x-Zahl einer „Gartner-Analyse vom März 2026” zu, verlinkt dabei aber auf eine Gartner-Pressemitteilung zu einem anderen Thema – Primärquelle der Zahl nicht auffindbar), https://www.cockroachlabs.com/blog/agentic-ai-costs-at-scale/, abgerufen 2026-07-21. ↩ ↩2
-
“AI cost crisis hits tech giants as employee ‘tokenmaxxing’ backfires”, Tom’s Hardware, unter Berufung auf interne Microsoft-Daten, https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-cost-crisis-hits-tech-giants-as-employee-tokenmaxxing-backfires-agentic-ai-eats-up-to-1000x-more-tokens-than-standard-ai-sparks-corporate-pullback-at-microsoft-meta-and-amazon, abgerufen 2026-07-21. ↩
-
“Uber caps employee AI spending after blowing through budget in four months”, TechCrunch, unter Berufung auf Bloomberg-Berichterstattung, https://techcrunch.com/2026/06/02/uber-caps-employee-ai-spending-after-blowing-through-budget-in-four-months/, abgerufen 2026-07-21. ↩
-
“AI costs begin to bite as agents may increase token demand by 24 times, says Goldman Sachs report”, Tom’s Hardware, https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-costs-begin-to-bite-as-agents-may-increase-token-demand-by-24-times-says-goldman-sachs-report-uber-and-microsoft-among-companies-feeling-the-bite-of-tokenized-billing, abgerufen 2026-07-21. ↩
-
“The Token Cost Panic Is Wrong. Here Is the Math.”, 3 Geeks and a Law Blog (unabhängiger Legal-Tech-Kommentar, Mai 2026), https://www.geeklawblog.com/2026/05/the-token-cost-panic-is-wrong.html, abgerufen 2026-07-21. Volltext durch HTTP 403 blockiert, Inhalt über Suchergebnis-Zusammenfassung erschlossen. ↩
-
Vaughn Cordle, CFA, “The Agentic Multiplier Problem” (unabhängiger Analysten-Substack, Juni 2026), https://vaughncordle.substack.com/p/the-agentic-multiplier-problem, abgerufen 2026-07-21. Einzelautor, keine institutionelle Prüfung. ↩
-
FinOps Foundation, “State of FinOps 2026” (Nonprofit unter Linux Foundation, teils cloud-vendor-mitfinanziert), zusammengefasst u. a. bei https://www.beri.net/article/ai-finops-2026-73-percent-blow-budget-cfo-fix und https://www.usu.com/en/blog/6-takeaways-from-the-state-of-finops-report-2026, abgerufen 2026-07-21. ↩ ↩2
-
“Mystery company accidentally blew $500 million on Claude AI in a single month — failed to put usage limit on licenses for employees”, Tom’s Hardware, unter Berufung auf einen Axios-Bericht, https://www.tomshardware.com/tech-industry/artificial-intelligence/mystery-company-accidentally-blew-usd500-million-on-claude-in-a-single-month-failed-to-put-usage-limit-on-licenses-for-employees, abgerufen 2026-07-22. ↩
-
MIT Media Lab / NANDA-Initiative, “The GenAI Divide: State of AI in Business 2025” (akademische Studie, N>300 Deployments, 150 Executive-Interviews), zusammengefasst u. a. bei https://www.forbes.com/sites/jasonsnyder/2025/08/26/mit-finds-95-of-genai-pilots-fail-because-companies-avoid-friction/, abgerufen 2026-07-21. ↩
-
Gartner, “Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027” (offizielle Pressemitteilung, Juni 2025), https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027, abgerufen 2026-07-21. ↩
-
IBM Institute for Business Value, CEO-Studie 2025 (N=2.000 CEOs weltweit), zusammengefasst bei https://medium.com/analysts-corner/six-weeks-after-writing-about-ai-agents-im-watching-them-fail-everywhere-fb6636a4568e, abgerufen 2026-07-21. IBM verkauft selbst Enterprise-AI-Beratung, Befund ungünstig fürs eigene Geschäft. ↩
-
Boston Consulting Group, “How Enterprises Can Control AI Token Costs”, https://www.bcg.com/publications/2026/managing-ai-token-costs, abgerufen 2026-07-21. Volltext-Fetch blockiert HTTP 403. ↩
-
Cogent, “From Cost Per Token to Cost Per Workflow: The New Enterprise AI KPI”, https://cogentinfo.com/resources/from-cost-per-token-to-cost-per-workflow-the-new-enterprise-ai-kpi, abgerufen 2026-07-21/2026-07-22. ↩
-
“Prompt Caching”, Anthropic, offizielle Dokumentation, https://platform.claude.com/docs/en/build-with-claude/prompt-caching, abgerufen 2026-07-21. ↩
-
“Prompt Caching”, OpenAI, offizielle Dokumentation, https://developers.openai.com/api/docs/guides/prompt-caching, abgerufen 2026-07-21. ↩
-
“Batch Processing (Message Batches API)”, Anthropic, offizielle Dokumentation, https://platform.claude.com/docs/en/build-with-claude/batch-processing, abgerufen 2026-07-21. ↩
-
“Batch API”, OpenAI, offizielle Dokumentation, https://developers.openai.com/api/docs/guides/batch, abgerufen 2026-07-21. ↩
-
“LLM Model Routing in 2026: Cost-Quality Optimization”, DigitalApplied (Branchenblog, nicht unabhängig geprüft), https://www.digitalapplied.com/blog/llm-model-routing-2026-cost-quality-optimization-engineering-guide, abgerufen 2026-07-21. ↩
-
“Comparison: RAG vs. Long Context Window models”, Legion Intel (Branchenblog, nicht unabhängig geprüft), https://www.legionintel.com/blog/rag-systems-vs-lcw-performance-and-cost-trade-offs, abgerufen 2026-07-21. ↩
-
“Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery”, arXiv:2606.17519, 2026, abgerufen 2026-07-21. ↩
-
“Best LLM Observability Tools 2026: Langfuse, Helicone, and LangSmith Compared”, DevToolLab (Branchenblog), https://devtoollab.com/blog/best-llm-observability-tools, abgerufen 2026-07-21. ↩
-
Anthropic, “Usage and Cost API” / “Get started with the Claude Enterprise Analytics API”, offizielle Dokumentation, https://platform.claude.com/docs/en/manage-claude/usage-cost-api und https://support.claude.com/en/articles/13694757-get-started-with-the-claude-enterprise-analytics-api, abgerufen 2026-07-22. ↩
-
OpenAI, “New usage analytics and updated spend controls for enterprises”, offizielle Ankündigung, https://openai.com/index/chatgpt-enterprise-spend-controls/; OpenAI Help Center, “Managing credits and spend controls in ChatGPT Business”, https://help.openai.com/en/articles/20001155-managing-credits-and-spend-controls-in-chatgpt-business, abgerufen 2026-07-22. Primärseite selbst per Fetch blockiert (HTTP 403), Kernfakten über mehrere unabhängige Sekundärquellen bestätigt. ↩
-
SiliconANGLE, “AI token economics drives FOCUS specification updates”, 2026-06-08, https://siliconangle.com/2026/06/08/ai-token-economics-focus-specification-updates-finopsx/; CIO Dive, “Foundation to tackle AI token cost management”, https://www.ciodive.com/news/foundation-tackle-ai-token-cost-management/822839/, abgerufen 2026-07-22. FOCUS 1.5 (Ziel Dezember 2026) zum Redaktionsschluss noch nicht final. ↩
-
SEM Nexus, “AI Agent Governance: Guardrails Small Teams Can Actually Maintain”, https://semnexus.com/ai-agent-governance-guardrails-small-teams-can-actually-maintain; Finout, “Agentic AI Cost Governance”, https://www.finout.io/blog/agentic-ai-cost-governance-controlling-spend-before-it-controls-you, abgerufen 2026-07-22. Beratungs-/Vendor-Blogs ohne eigene Primärdaten, aber konkrete operative Musterbeschreibung. ↩
-
“Local LLM Total Cost of Ownership 2026: Cloud vs Self-Hosted”, PromptCost.org (Branchenblog), https://promptcost.org/en/blog/local-llms-total-cost-ownership-2026/, abgerufen 2026-07-21. ↩
-
Azumo, “Self-Hosting LLMs: Hidden Costs You’re Missing” (AI-Beratungsanbieter, interessengeleitet Richtung Managed-Services), https://azumo.com/artificial-intelligence/ai-insights/self-hosting-llms-cost, abgerufen 2026-07-21. ↩
-
TrueFoundry, “LiteLLM Enterprise Pricing vs TrueFoundry: A Real Total Cost of Ownership Analysis” (LLM-Ops-Plattform-Anbieter), https://www.truefoundry.com/blog/litellm-enterprise-pricing-tco-vs-truefoundry, abgerufen 2026-07-21. ↩
-
Woosuk Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention”, SOSP 2023, https://dl.acm.org/doi/10.1145/3600006.3613165 (Originalpaper: 2–4x Durchsatzsteigerung); vgl. Codersera, “Ollama vs LM Studio vs vLLM vs llama.cpp vs MLX 2026”, https://codersera.com/blog/ollama-vs-lm-studio-vs-vllm-vs-llama-cpp-vs-mlx-2026/ (nennt abweichende, höhere Sekundärzahlen), abgerufen 2026-07-21/2026-07-22. ↩
-
“Local LLMs vs Cloud APIs 2026: Privacy, Cost, and Quality”, PromptQuorum (Branchenblog), https://www.promptquorum.com/local-llms/local-llms-vs-cloud-apis, abgerufen 2026-07-21. ↩
-
TrueFoundry, “LLM Deployment in Regulated Industries: The HIPAA, SOC2 & GDPR Playbook for 2026”, https://www.truefoundry.com/blog/llm-deployment-in-regulated-industries-hipaa-soc2-and-gdpr-playbook-for-2026, abgerufen 2026-07-21. ↩
-
Zusammengefasst bei Mate iT, “EU data residency for AI — what it concretely means, which vendors deliver”, https://www.mateit.de/en/blog/dsgvo-ki-eu-hosting/, abgerufen 2026-07-22. US CLOUD Act als Rechtsfakt belastbar, Einordnung für konkrete Vertragskonstellationen fachjuristisch komplex. ↩
Transparenzhinweis: Dieser Beitrag wurde KI-gestützt erstellt und vor Veröffentlichung redaktionell geprüft.