LLM Tokenisierung erklärt: Wie Token funktionieren und was sie kosten

Was sind Token?

Token sind die grundlegenden Bausteine, in die KI-Sprachmodelle Text aufteilen. Ein Token ist weder ein Zeichen noch ein Wort — es liegt irgendwo dazwischen.

**Faustregel:**

Warum verbraucht Deutsch mehr Token?

Deutsche Wörter sind oft länger als englische Entsprechungen:

| Deutsch | Englisch | Token (DE) | Token (EN) |

| :--- | :--- | :--- | :--- |

| Donaudampfschifffahrtsgesellschaft | Danube steamship company | 8 | 4 |

| Kraftfahrzeughaftpflichtversicherung | Motor vehicle liability insurance | 9 | 5 |

| Bundesverfassungsgericht | Federal Constitutional Court | 6 | 4 |

**Konsequenz:** Deutschen Text in KI-Modellen zu verarbeiten kostet **20-40% mehr Token** als denselben Inhalt auf Englisch.

Wie funktioniert Tokenisierung?

KI-Modelle verwenden **Byte Pair Encoding (BPE)** oder **SentencePiece**:

1. Text wird in häufige Zeichenfolgen aufgeteilt

2. Häufige Kombinationen erhalten eigene Token-IDs

3. Seltene Wörter werden in mehrere Token zerlegt

**Beispiel:** "Tokenoptimierung"

→ ["Token", "opti", "mier", "ung"] = 4 Token

Token-Preise im Vergleich

| Modell | Input | Output | €/1.000 DE-Wörter |

| :--- | :--- | :--- | :--- |

| Gemini Flash | $0,10/MTok | $0,40/MTok | ~€0,006 |

| GPT-4o-mini | $1,10/MTok | $4,40/MTok | ~€0,07 |

| Claude Haiku | $1,00/MTok | $5,00/MTok | ~€0,07 |

| GPT-4o | $2,50/MTok | $10,00/MTok | ~€0,17 |

| Claude Opus | $5,00/MTok | $25,00/MTok | ~€0,35 |

Praktische Token-Spar-Tipps für Deutsche

1. Englische Schlüsselwörter verwenden

Technische Begriffe auf Englisch lassen → spart Token:

2. Abkürzungen nutzen

```

KI statt Künstliche Intelligenz

API statt Programmierschnittstelle

ML statt Maschinelles Lernen

```

3. Kompakte Formatierung

Stichpunkte statt Fließtext spart 20-30% Token.

Häufig gestellte Fragen

**F: Warum zählt mein Token-Counter anders als die API-Abrechnung?**

Verschiedene Tokenizer (tiktoken für OpenAI, claude-tokenizer für Anthropic) zählen unterschiedlich. Verwenden Sie immer den Tokenizer des jeweiligen Anbieters.

**F: Gibt es ein kostenloses Tool zum Token zählen?**

Ja — AI Token Optimizer bietet einen kostenlosen Token-Counter für alle gängigen Modelle.