LiteLLM erklärt: Das Open-Source AI-Gateway alle LLMs

LiteLLM ist das Open-Source AI-Gateway, mit dem du über 100 LLMs – OpenAI, Claude, Gemini, Bedrock und Co. – über eine einzige, OpenAI-kompatible API ansprichst. Statt für jeden Anbieter eigenen Code zu schreiben, bekommst du Cost-Tracking, Load-Balancing, Fallbacks und Guardrails aus einer Hand.

Was kann LiteLLM?

Wenn du heute ernsthaft mit KI baust, hast du selten nur ein Modell im Einsatz. GPT für den einen Task, Claude für den anderen, ein günstiges Open-Source-Modell Massenaufgaben – und plötzlich jonglierst du mit drei SDKs, drei Auth-Verfahren und drei monatlichen Rechnungen. LiteLLM ist ein AI-Gateway, d.h. es regelt den Zugang zwischen Anwendungen und diversen LLMs. Das Tool hat sich in kurzer Zeit zum De-facto-Standard entwickelt: über 240 Millionen Docker-Pulls, mehr als eine Milliarde bediente Requests und über 1.000 Contributors auf GitHub. Sogar Netflix nutzt LiteLLM, um Entwicklern ab dem ersten Tag der Nutzung Zugriff auf neue Modelle zu geben.

In diesem Deepdive schauen wir uns an, was LiteLLM genau macht, wie SDK und Proxy zusammenspielen, was es kostet und für wen sich der Einsatz lohnt. Los geht’s.

Was ist ein AI-Gateway? Einfach erklärt

Bevor wir tiefer einsteigen: Was genau ist eigentlich ein AI-Gateway (oder auch LLM-Gateway genannt)?

Stell dir eine große Firma mit einem einzigen Empfangstresen vor. Egal ob ein Besucher zur Buchhaltung, zur IT oder zum Chef will – er meldet sich vorne an einer Stelle an, und die Rezeption regelt den Rest. Genau das macht ein AI-Gateway für KI-Modelle. Statt dass deine App direkt mit OpenAI, Anthropic, Google und jedem anderen Anbieter einzeln redet – jeder mit eigener „Sprache“, eigenem Ausweis und eigener Rechnung – schickst du alle Anfragen an eine zentrale Stelle: das Gateway. Das übersetzt deine Anfrage in das Format des jeweiligen Anbieters, kümmert sich um die Zugangsdaten, zählt mit, was es kostet, und leitet bei Problemen automatisch um. Nach außen siehst du nur eine einzige, einheitliche Schnittstelle – der ganze Wildwuchs dahinter bleibt sauber weggeräumt.

Kurz gesagt: Ein AI-Gateway ist eine zentrale Schicht zwischen deiner Anwendung und der ständig wachsenden Zahl an KI-Modellen. LiteLLM ist eines der beliebtesten AI-Gateways, da es einen mächtigen Funktionsumfang hat und als Open Source verfügbar ist.

 

LiteLLM auf einen Blick: die wichtigsten Ressourcen

• Offizielle Website – Überblick, Features und Enterprise-Infos
• Dokumentation – Quickstart, SDK, Proxy-Setup und Provider-Liste
• GitHub-Repository – Source Code, Issues und über 52.000 Stars
• PyPI-Paket – Installation per pip oder uv add litellm
• Docker-Quickstart – den Proxy in Minuten selbst hosten

Das Problem: Warum ein Modell allein nicht mehr reicht

Vor ein paar Jahren war die Welt einfach: Du hast die OpenAI-API eingebunden und fertig. Heute sieht die Realität anders aus. Anthropic, Google, Mistral, Meta, AWS Bedrock, Azure – jeder Anbieter hat eigene Stärken, eigene Preise und leider auch eine eigene API mit eigenem Format, eigenem Auth-Mechanismus und eigenen Fehlermeldungen.

Für dich als Entwickler oder Platform-Team bedeutet das konkret:

• Jeder neue Anbieter = neuer Integrations-Aufwand. Neue SDKs lernen, Inputs und Outputs transformieren, Fehlerbehandlung anpassen.
• Kein zentraler Überblick über Kosten. Wer im Team hat wie viel bei welchem Provider verbraucht? Ohne einheitliches Tracking bleibt das Rätselraten.
• Kein Ausfallschutz. Fällt OpenAI aus, steht deine App still – es sei denn, du hast manuell einen Fallback gebaut.
• Vendor-Lock-in. Der Wechsel oder Mix von Modellen wird zur Migrations-Übung statt einer Konfig-Änderung.

Genau hier setzt LiteLLM an – als Übersetzungs- und Kontrollschicht zwischen deiner App und der bunten Welt der LLM-Anbieter.

LiteLLM im Detail erklärt

LiteLLM gibt es in zwei Ausbaustufen, die du je nach Bedarf einzeln oder kombiniert nutzt: das Python-SDK für den direkten Einbau in Code und den Proxy Server (LLM-Gateway) für ganze Teams und Organisationen. Der rote Faden bei beiden: Alles spricht das OpenAI-Format.

Das Python-SDK: eine Funktion für alle Modelle

Das Herzstück ist die completion()-Funktion. Egal ob du GPT, Claude oder ein lokales Modell über Ollama ansprichst – der Aufruf sieht immer gleich aus, nur der model-String ändert sich:

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "dein-key"

response = completion(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Hallo, wie geht es dir?"}]
)
print(response.choices[0].message.content)

Willst du stattdessen Claude ansprechen? Dann tauschst du einfach "openai/gpt-4o" gegen "anthropic/claude-3-5-sonnet" – der restliche Code bleibt identisch. Auch die Antwort kommt immer im gleichen OpenAI-Format zurück, egal welcher Anbieter dahintersteckt. Sogar die Fehlermeldungen werden auf die OpenAI-Exception-Typen gemappt, sodass deine bestehende Fehlerbehandlung ohne Anpassung weiterläuft.

Der Proxy Server: das AI-Gateway für Teams

Während das SDK für einzelne Anwendungen gedacht ist, richtet sich der Proxy an Platform-Teams, die vielen Entwicklern kontrollierten LLM-Zugriff geben wollen. Der Proxy ist ein selbst gehostetes, OpenAI-kompatibles Gateway – jeder Client, der mit OpenAI funktioniert, funktioniert auch mit dem Proxy, ganz ohne Code-Änderung.

Du startest ihn per CLI oder Docker und steuerst alles über eine Konfig-Datei, die du in deinem eigenen Repo versionierst:

model_list:
  - model_name: gpt-3.5-turbo
    litellm_params:
      model: azure/dein-deployment
      api_base: os.environ/AZURE_API_BASE
      api_key: os.environ/AZURE_API_KEY

Danach rufst du das Gateway mit dem ganz normalen OpenAI-Client auf – nur die base_url zeigt jetzt auf deinen Proxy. Dazu kommt ein Admin-UI, über das du virtuelle Keys, Budgets und Limits verwaltest.

Cost-Tracking: endlich wissen, was die KI kostet

Einer der größten Schmerzpunkte im KI-Alltag sind die Kosten. LiteLLM trackt automatisch die Ausgaben über OpenAI, Azure, Bedrock, GCP und Co. und weist sie pro Key, Nutzer, Team oder Organisation aus. Du kannst Budgets und Rate-Limits setzen und die Kosten sogar per Tag granular aufschlüsseln. Wer tiefer verstehen will, wie sich die Preise pro Million Tokens zwischen den Anbietern unterscheiden, findet in unserem Artikel KI-Tokenomics erklärt die passende Grundlage.

Fallbacks & Load-Balancing: nie wieder Totalausfall

Fällt ein Anbieter aus oder läuft in ein Rate-Limit, leitet LiteLLM den Request automatisch an ein anderes Deployment oder einen anderen Provider weiter. Retries, Cooldowns und Load-Balancing über mehrere Deployments unter demselben Modellnamen sind eingebaut. Für Produktivsysteme ist das Gold wert: Deine Nutzer merken vom OpenAI-Ausfall schlicht nichts.

Guardrails, Observability und MCP-Gateway

Über Guardrails fügst du Content-Filtering, PII-Masking und Safety-Checks hinzu. Für Observability lassen sich Langfuse, MLflow, Helicone, OpenTelemetry und weitere mit einer einzigen Zeile anbinden. Und weil KI längst nicht mehr nur aus Chat-Completions besteht, ist LiteLLM inzwischen auch ein Gateway für Agents und MCP: Ein Endpoint für 100+ Modelle, A2A-Agents und MCP-Tools – du brauchst kein separates Agent- oder MCP-Gateway. Wenn du selbst mit Agenten experimentierst, passt dazu unser Guide KI-Agenten selber bauen.

Warum das für Developer und Business-Teams wichtig ist

LiteLLM ist kein Nice-to-have, sondern löst je nach Rolle ganz konkrete Probleme:

• Für Entwickler: Du schreibst deinen Code einmal und wechselst Modelle per String – kein Umlernen pro Anbieter, keine doppelte Fehlerbehandlung.
• Für Platform-Teams: Du gibst der ganzen Organisation kontrollierten Zugriff über ein Gateway – mit Budgets, virtuellen Keys und zentralem Logging.
• Für Business & Finance: Endlich Transparenz, welches Team wie viel bei welchem Anbieter verbraucht – die Grundlage für saubere Kostenkontrolle.

Gerade in der DACH-Region kommt ein weiterer Punkt dazu: Weil du LiteLLM selbst hosten kannst, behältst du die volle Kontrolle über deine Daten. Das spielt bei DSGVO-Fragen eine große Rolle, ähnlich wie beim DSGVO-konformen Hosting von OpenAI-Modellen in Azure.

Praxis: So startest du mit LiteLLM

Der Einstieg ist erfrischend unkompliziert. Für das SDK reicht ein einziger Befehl:

uv add litellm
# oder klassisch:
pip install litellm

Danach kannst du sofort deinen ersten Aufruf machen (siehe Code oben). Willst du direkt das volle Gateway mit Admin-UI, virtuellen Keys und Budgets, startest du den Proxy per Docker:

docker run \
  -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  -p 4000:4000 \
  docker.litellm.ai/berriai/litellm:latest \
  --config /app/config.yaml

Der Proxy läuft anschließend unter http://0.0.0.0:4000 und spricht das OpenAI-Format. Für einen produktiven, selbst gehosteten Betrieb brauchst du natürlich einen Server – ein günstiger VPS bei Hostinger reicht für erste Tests locker aus. Tipp: Wenn du LiteLLM in Automatisierungen einbinden willst, lässt es sich als OpenAI-kompatibler Endpoint bequem in Workflow-Tools wie n8n einhängen.

Was kostet LiteLLM? Preise im Überblick

Die gute Nachricht zuerst: Der Kern von LiteLLM ist Open Source und kostenlos. Es gibt zwei Stufen:

• Open Source (0 Euro): Das komplette selbst gehostete Gateway mit 100+ Provider-Integrationen, virtuellen Keys, Budgets, Teams, Load-Balancing, RPM/TPM-Limits, Guardrails und Logging-Integrationen (Langfuse, Arize, Langsmith, OTEL). Du zahlst nur die Infrastruktur, auf der es läuft.
• Enterprise (auf Anfrage): Für große Organisationen mit vielen Entwicklern. Enthält alles aus der OSS-Version plus Enterprise-Support mit SLAs, JWT-Auth, SSO, Audit-Logs und die Option auf air-gapped Betrieb. Der Einstieg liegt Berichten zufolge bei rund 250 US-Dollar pro Monat, Premium-Pakete deutlich höher. SSO ist bis zu 5 Nutzer kostenlos.

Wichtig zur Einordnung: Auch bei der kostenlosen Variante fallen indirekte Kosten für Hosting, Wartung und Monitoring an. Für einen echten Produktivbetrieb solltest du also mit einem gewissen Infrastruktur-Budget rechnen – die Software selbst bleibt aber gratis.

LiteLLM vs. andere AI Gateways: die wichtigsten Vorteile

Es gibt Alternativen wie OpenRouter oder kommerzielle Gateways. Warum LiteLLM für viele die erste Wahl ist:

• 100+ Anbieter, ein Format: Von OpenAI über Claude, Gemini und Bedrock bis zu lokalen Modellen – alles über die OpenAI-API-Syntax.
• Open Source & self-hosted: Volle Kontrolle über Daten und Infrastruktur, kein erzwungener Vendor-Lock-in, DSGVO-freundlich.
• Cost-Tracking eingebaut: Kosten pro Key, Team und Nutzer – ohne Zusatztool.
• Rate Limiting: Zum Regeln der maximalen KI-Kosten, z.B. „Nutzer sollen täglich nur ca. 50 LLM-Aufrufe machen“
• Reliability ab Werk: Fallbacks, Retries und Load-Balancing sind Standard, keine Bastellösung.
• Agent- & MCP-Gateway inklusive: Ein Endpoint für Modelle, Agents und MCP-Tools – kein separater Stack nötig.
• Riesige Community: Über 1.000 Contributors, aktive Entwicklung und ein Ökosystem, das ständig wächst.

Welches Modell du am Ende über LiteLLM ansteuerst, ist Geschmackssache – unser Vergleich von ChatGPT und Claude hilft dir bei der Auswahl.

Video: LiteLLM in Aktion

Das offizielle Demo-Video zeigt in wenigen Minuten, wie LiteLLM Model-Access, Spend-Tracking und Fallbacks handhabt:

 

FAQ: LiteLLM

Was ist LiteLLM genau?

LiteLLM ist ein Open-Source AI-Gateway, das über 100 LLM-Anbieter (OpenAI, Anthropic, Google, Bedrock, Azure u. v. m.) über eine einzige, OpenAI-kompatible API zugänglich macht. Es gibt es als Python-SDK und als selbst gehosteten Proxy Server mit Cost-Tracking, Fallbacks und Guardrails.

Was kostet LiteLLM?

Die Open-Source-Version ist komplett kostenlos (0 Euro) und selbst gehostet – du zahlst nur deine Infrastruktur. Für große Organisationen gibt es eine Enterprise-Variante mit Support, SSO und Audit-Logs, deren Einstieg bei rund 250 US-Dollar pro Monat liegt. SSO ist bis 5 Nutzer gratis.

Wie installiere ich LiteLLM?

Das SDK installierst du mit pip install litellm oder uv add litellm. Den vollen Proxy startest du am einfachsten per Docker mit dem offiziellen Image docker.litellm.ai/berriai/litellm:latest und einer Config-Datei. Details stehen im Docker-Quickstart.

Was ist der Unterschied zu OpenRouter?

OpenRouter ist ein gehosteter Dienst, bei dem du Requests über die von OpenRouter genutzte Cloud-Infrastruktur schickst. LiteLLM hostest du selbst und behältst damit volle Kontrolle über Daten, Keys und Kosten – ein klarer Vorteil bei DSGVO- und Compliance-Anforderungen. Zudem ist LiteLLM Open Source und lässt sich frei erweitern.

Ist LiteLLM DSGVO-konform einsetzbar?

Ja. Weil du LiteLLM selbst hosten kannst – auf eigener Infrastruktur, on-prem oder sogar air-gapped – behältst du die Datenhoheit. In Kombination mit einem europäischen Hosting oder Azure-Deployment lässt sich LiteLLM datenschutzfreundlich betreiben.

Mehr erfahren: LiteLLM

Zum Vertiefen haben wir dir die besten Videos und Quellen zusammengestellt:

• LiteLLM Crash Course (For Complete Beginners) – kompakter Einstieg, der die Grundlagen des AI-Gateways Schritt für Schritt erklärt.
• Call Any LLM with API Locally – zeigt die lokale Installation und den Aufruf verschiedener Anbieter wie Anthropic, Cohere und Azure.
• Offizielle Dokumentation – vollständige Referenz zu SDK, Proxy, Providern und Enterprise-Features.
• GitHub-Repository – Source Code, Release Notes und Community-Diskussionen.

Tools & Ressourcen

• LiteLLM Website – offizielle Startseite mit Feature-Überblick und Enterprise-Kontakt.
• Hostinger VPS – günstiger Server, um den LiteLLM-Proxy selbst zu hosten.
• n8n – Automatisierungstool, in das sich LiteLLM als OpenAI-kompatibler Endpoint einbinden lässt.
• Prompt Engineering Guide – damit deine Prompts über jedes Modell hinweg zünden.

Fazit: Ein Gateway für alle Modelle

LiteLLM löst ein Problem, das mit jedem neuen KI-Modell größer wird: die Zersplitterung der Anbieter. Statt für OpenAI, Claude, Gemini und Co. jeweils eigenen Code, eigenes Auth und eigenes Monitoring zu pflegen, bekommst du eine einzige, OpenAI-kompatible Schnittstelle – mit Cost-Tracking, Rate Limiting, Fallbacks, Guardrails und einem Agent- sowie MCP-Gateway obendrauf.

Der Clou: Der Kern ist Open Source und kostenlos, selbst hostbar und damit DSGVO-freundlich. Ob du als einzelner Entwickler nur das SDK nutzt oder als Platform-Team das ganze Gateway ausrollst – LiteLLM skaliert mit deinen Anforderungen. Kein Wunder, dass selbst Netflix darauf setzt.

Wenn du aktuell mit mehreren Modellen jonglierst oder es bald vorhast: Installier LiteLLM, mach deinen ersten Aufruf und spür den Unterschied. Viel Erfolg beim Bauen!