LLM Model Evaluation

LLM Model Evaluation

Evaluiert LLM-Modelle basierend auf aktuellem Preis/​Leistungs-Verhältnis.

---

Wann nutzen?

• Während /​init-project bei der Komplexitätsbewertung
• Bei Kosten-Optimierung bestehender Projekte
• Wenn neue Modelle erscheinen (regelmäßig checken)
• Vor größeren Production-Deployments

---

Step 1: Use Case verstehen

Falls kein Argument übergeben, frage:

Was ist dein Use Case?

Beispiele:
• "Chat-Bot für Kundenservice" (High-Volume, schnelle Antworten)
• "Dokumenten-Analyse" (Langer Context, Reasoning)
• "Code-Generierung" (Präzision wichtig)
• "GDPR-konforme EU-App" (Compliance)
• "Budget-Projekt" (Kosten minimieren)

---

Step 2: Aktuelle Preise holen

WICHTIG: Preise ändern sich häufig. Hole aktuelle Daten.

2.1 Web Search für aktuelle Preise

Suche nach aktuellen Preisen mit WebSearch:

Query: "[Provider] API pricing 2026"

Für jeden Provider:

• Anthropic Claude pricing
• OpenAI GPT pricing
• Google Gemini pricing
• DeepSeek pricing
• xAI Grok pricing
• Mistral pricing

2.2 Pricing Endpoints (falls verfügbar)

Einige Provider haben öffentliche Pricing-Pages:

2.3 Fallback: Cached Reference

Falls Web-Fetch fehlschlägt, nutze .claude/​reference/​llm-configuration.md als Fallback (aber weise auf möglicherweise veraltete Daten hin).

---

Step 3: Modelle bewerten

3.1 Bewertungskriterien

3.2 Use Case Mapping

---

Step 4: Empfehlung ausgeben

4.1 Empfehlungs-Template

┌─────────────────────────────────────────────────────────────────────────────┐
│  LLM EVALUATION - [Use Case]                                                │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  📅 Preise Stand: [Datum der Abfrage]                                       │
│                                                                             │
│  TOP 3 EMPFEHLUNGEN:                                                        │
│                                                                             │
│  🥇 #1: [Modell]                                                            │
│      Provider: [Provider]                                                   │
│      Input:    $[X]/​1M tokens                                               │
│      Output:   $[X]/​1M tokens                                               │
│      Context:  [X]K                                                         │
│      Score:    [X]/​100 (basierend auf Use Case)                             │
│      Warum:    [Begründung]                                                 │
│                                                                             │
│  🥈 #2: [Modell]                                                            │
│      ...                                                                    │
│                                                                             │
│  🥉 #3: [Modell]                                                            │
│      ...                                                                    │
│                                                                             │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  KOSTEN-SCHÄTZUNG (bei 1M Requests/​Monat, 1000 Tokens avg):                │
│                                                                             │
│  Modell #1: ~$[X]/​Monat                                                     │
│  Modell #2: ~$[X]/​Monat                                                     │
│  Modell #3: ~$[X]/​Monat                                                     │
│                                                                             │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  FALLBACK-STRATEGIE:                                                        │
│                                                                             │
│  Primary:  [Modell #1]                                                      │
│  Fallback: [Modell #2]                                                      │
│  Budget:   [Modell #3]                                                      │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

4.2 Portkey Config generieren

Falls gewünscht, generiere die Portkey-Konfiguration:

// Empfohlene Portkey Konfiguration für [Use Case]
const config = {
  strategy: {
    mode: 'fallback',
  },
  targets: [
    { provider: '[primary]', model: '[model]' },
    { provider: '[fallback]', model: '[model]' },
  ],
  cache: {
    mode: 'semantic',
    ttl: 3600,
  },
};

---

Step 5: Dokumentation aktualisieren

Falls signifikante Preisänderungen gefunden wurden:

1. Weise den User darauf hin
2. Frage ob .claude/​reference/​llm-configuration.md aktualisiert werden soll
3. Bei "Ja": Update die Preistabellen

---

Automatische Intervall-Checks

Weekly Reminder

Dieser Skill sollte regelmäßig genutzt werden:

Empfehlung: Führe /​llm-evaluate monatlich aus um:
- Neue Modelle zu entdecken
- Preisänderungen zu berücksichtigen
- Kosten-Optimierung zu prüfen

Bei Projekt-Init

Während /​init-project wird dieser Skill automatisch bei der Komplexitätsbewertung (Step 0.2) aufgerufen um das optimale Modell für den Use Case zu empfehlen.

---

Modell-Datenbank (Referenz)

Anthropic

OpenAI

Google

DeepSeek

xAI

Mistral

---

Beispiel-Ausführung

User: /​llm-evaluate Chat-Bot für Kundenservice

Claude:
┌─────────────────────────────────────────────────────────────────────────────┐
│  LLM EVALUATION - Customer Service Chat Bot                                 │
├─────────────────────────────────────────────────────────────────────────────┤
│                                                                             │
│  📅 Preise Stand: Januar 2026                                               │
│                                                                             │
│  TOP 3 EMPFEHLUNGEN:                                                        │
│                                                                             │
│  🥇 #1: Claude Haiku 3.5                                                    │
│      Provider: Anthropic                                                    │
│      Input:    $0.25/​1M tokens                                              │
│      Output:   $1.25/​1M tokens                                              │
│      Context:  200K                                                         │
│      Score:    92/​100                                                       │
│      Warum:    Schnell, günstig, gute Qualität für Chat                     │
│                                                                             │
│  🥈 #2: Gemini 2.0 Flash                                                    │
│      Provider: Google                                                       │
│      Input:    $0.10/​1M tokens                                              │
│      Output:   $0.40/​1M tokens                                              │
│      Context:  1M                                                           │
│      Score:    88/​100                                                       │
│      Warum:    Noch günstiger, aber weniger konsistent                      │
│                                                                             │
│  🥉 #3: DeepSeek V3                                                         │
│      Provider: DeepSeek                                                     │
│      Input:    $0.27/​1M tokens                                              │
│      Output:   $1.10/​1M tokens                                              │
│      Context:  64K                                                          │
│      Score:    82/​100                                                       │
│      Warum:    Sehr günstig, aber China-based (Compliance?)                 │
│                                                                             │
└─────────────────────────────────────────────────────────────────────────────┘

---

Integration mit init-project

Dieser Skill wird automatisch während /​init-project aufgerufen:

1. User beschreibt Projekt (Step 0.1)
2. Komplexitätsstufe wird ermittelt (Step 0.2)
3. /​llm-evaluate läuft im Hintergrund
4. Stack-Empfehlung inkl. LLM-Empfehlung (Step 0.3)

---

Version: 1.0 Last Updated: January 2026