Llmtest MCP

Name: Llmtest MCP
Author: tjacquesson

von tjacquessonVersion 0.6.1i★ 0iLäuft auf deinem Computer

Name in der Registryio.github.tjacquesson/llmtest-mcp

So installierst du es

Überblick

Beschreibung vom Entwickler (englisches Original)

Benchmark AI models on real prompts. Find cheaper, faster alternatives across 340+ models.

Was du damit machen kannst

Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.

Verbindung: Läuft auf deinem Computer
Transport: stdio
Kategorie: Suche & KI-Gedächtnis
Das musst du eintragen: LLMTEST_API_KEY

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

2/2 Prüfungen bestanden · Läuft auf deinem Computer

Zuerst: Welche KI nutzt du?

ClaudeWeb · App · HandyChatGPTWebClaude CodeTerminalCursorCode-EditorVS CodeCode-EditorAndereAndere Apps

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude, aber erst etwas vorbereiten

Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy

Node.js installieren
Nur einmal; gilt für alle Server, die Node.js brauchen
Download-Seite von Node.js öffnen ↗
Erledigt
Bei Llmtest MCP registrieren und Schlüssel erstellen
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Kann Geld kosten.
Seite von Llmtest MCP öffnen ↗
Erledigt
Einstellungsdatei der Claude-Desktop-App öffnen
SettingsDeveloperEdit Config
Erledigt

Diese Einstellungen einfügen und speichern

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem

Erledigt

Claude beenden und neu öffnen
Erledigt
Ausprobieren
Nutze Llmtest MCP und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn Claude sagt, dass es Llmtest MCP nutzt, oder ein Werkzeug von Llmtest MCP in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

ChatGPT kann Llmtest MCP noch nicht verbinden

Llmtest MCP läuft auf deinem Computer, aber ChatGPT verbindet nur Server, die im Web laufen

Das kannst du stattdessen tun

A · Eine App nutzen, die Llmtest MCP verbinden kann

Schritte für Claude →Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy
Schritte für Claude Code →Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal)
Schritte für Cursor →Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal)
Schritte für VS Code →Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal)

B · Andere in Suche & KI-Gedächtnis, die mit ChatGPT funktionieren

Aus den meistgenutzten derselben Kategorie, nur solche, die per Adresse ohne Schlüssel verbinden

AIHOT✓ ChatGPT
Sui Knowledge Base (kapa.ai)✓ ChatGPT
Exa✓ ChatGPT

Klappt mit Claude Code, aber erst etwas vorbereiten

Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal)

Node.js installieren
Nur einmal; gilt für alle Server, die Node.js brauchen
Download-Seite von Node.js öffnen ↗
Erledigt
Bei Llmtest MCP registrieren und Schlüssel erstellen
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Kann Geld kosten.
Seite von Llmtest MCP öffnen ↗
Erledigt
Terminal öffnen
Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen
Erledigt
4
Diesen Befehl einfügen und Enter drücken
```
claude mcp add llmtest --env LLMTEST_API_KEY=your-value -- npx -y llmtest-mcp
```
Ersetze „your-value“ vor dem Enter durch deinen Schlüssel
Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
Erledigt
/mcp in Claude Code eingeben
Llmtest MCP sollte in der Liste als verbunden erscheinen
Erledigt
Ausprobieren
Nutze Llmtest MCP und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn Claude Code sagt, dass es Llmtest MCP nutzt, oder ein Werkzeug von Llmtest MCP in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor, aber erst etwas vorbereiten

Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal)

Node.js installieren
Nur einmal; gilt für alle Server, die Node.js brauchen
Download-Seite von Node.js öffnen ↗
Erledigt
Bei Llmtest MCP registrieren und Schlüssel erstellen
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Kann Geld kosten.
Seite von Llmtest MCP öffnen ↗
Erledigt
Mit diesem Button Cursor öffnen
In Cursor öffnen
Cursor fragt nach einer Bestätigung; klicke Install
Erledigt
Schlüssel eintragen
In den Einstellungen von Llmtest MCP ist LLMTEST_API_KEY leer; trag deinen Schlüssel ein und speichere
Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
Erledigt
KI-Chat in Cursor im Agent-Modus öffnen
Erledigt
Ausprobieren
Nutze Llmtest MCP und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn Cursor sagt, dass es Llmtest MCP nutzt, oder ein Werkzeug von Llmtest MCP in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code, aber erst etwas vorbereiten

Du brauchst einen Schlüssel von Llmtest MCP (auf der Seite des Anbieters registrieren, kann kosten) · Installiere zuerst Node.js auf deinem Computer (nur einmal)

Node.js installieren
Nur einmal; gilt für alle Server, die Node.js brauchen
Download-Seite von Node.js öffnen ↗
Erledigt
Bei Llmtest MCP registrieren und Schlüssel erstellen
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Kann Geld kosten.
Seite von Llmtest MCP öffnen ↗
Erledigt
Mit diesem Button VS Code öffnen
In VS Code öffnen
VS Code fragt nach einer Bestätigung; klicke Install
Erledigt
Schlüssel eintragen
In den Einstellungen von Llmtest MCP ist LLMTEST_API_KEY leer; trag deinen Schlüssel ein und speichere
Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
Erledigt
KI-Chat in VS Code im Agent-Modus öffnen
Erledigt
Ausprobieren
Nutze Llmtest MCP und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn VS Code sagt, dass es Llmtest MCP nutzt, oder ein Werkzeug von Llmtest MCP in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die Llmtest MCP nutzen💬 Diskussion →

Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Auf deinem Computer installiert

Claude Code

claude mcp add llmtest --env LLMTEST_API_KEY=your-value -- npx -y llmtest-mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "llmtest": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

Werte, die du selbst einträgst

LLMTEST_API_KEY geheim erforderlich env
Your LLMTest API key from https://llmtest.io/dashboard

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

GitHub-Sterne i: 0
Downloads pro Wochei: 46/Wo.
Lizenz i: Keine Lizenz angegeben
Verbindung: Läuft auf deinem Computer
Transport: stdio
Neueste Versioni: 0.6.1
Kategoriei: Suche & KI-Gedächtnis
In der Registry veröffentlichti: 22. Mai 2026
Code zuletzt geänderti: 1. Juni 2026
Entwickler: tjacquesson
Pakete: npm: llmtest-mcp
Repo: tjacquesson/llmtest-mcp
Website: llmtest.io
Registry-Status: Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Laufen auf deinem Computer in

Claude Goose LM Studio Msty Studio Cherry Studio Cursor VS Code + GitHub Copilot Visual Studio Windsurf (Devin Desktop)Zed Kiro Cline Continue JetBrains AI Assistant Claude Code Codex CLI Gemini CLI OpenCode nodecode Warp LibreChat Raycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 12. Nov. 2026

✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto tjacquesson bestätigt, dem das Repo gehört
✓ Bestanden
Wird noch gepflegt
Code zuletzt geändert: vor 5 Monaten
… Noch nicht geprüft
Hat eine Lizenz
Dieses Repo haben wir noch nicht von GitHub gelesen
– Nicht zutreffend
Endpunkt antwortet
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
– Nicht zutreffend
Anmeldung mit OAuth
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
… Noch nicht geprüft
Keine versteckten Anweisungen in Tool-Beschreibungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Mit Google anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Mit Google anmelden, um zu bewerten

Im Vergleich mit anderen in Suche & KI-Gedächtnisi

Mehr Sterne als 0 % der anderen 5957 Server in dieser Kategorie
Neuer in der Registry veröffentlicht als 13 % der anderen 5957 Server in dieser Kategorie
Basischecks gleich gut wie oder besser als bei 100 % der anderen 5957 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist Llmtest MCP sicher?

Er hat 2 von 2 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Das musst du eintragen: LLMTEST_API_KEY

Läuft er auf meinem Computer oder in der Cloud?

Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt vor 5 Monaten geändert, und die neueste Version (0.6.1) kam vor 6 Monaten in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Node.js auf deinem Computer.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Ruflo, Context7, Metabase

Alternativen

Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Ruflo

Agent teams, swarms, memory and hooks for Claude Code and Codex, served over MCP.

von ruvnetWeit verbreitet↓ 74.273/Wo.★ 81.480Aktualisiert heute

Läuft auf deinem Computer

Installieren

Context7

Up-to-date docs for AI agents

von upstashWeit verbreitet↓ 1,2 Mio./Wo.★ 64.550Aktualisiert vorgestern

Computer oder Cloud

Installieren

Metabase

Lets AI clients search, explore, query, and visualize data in a Metabase instance.

von metabaseWeit verbreitet★ 50.276Aktualisiert vor 6 Monaten

Läuft in der Cloud

Installieren

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

LLMTest MCP Server

MCP server that benchmarks AI models on your actual prompts and finds cheaper, faster alternatives. Works with Claude Code, Cursor, Windsurf, and any MCP-compatible tool.

Quick Start

1. Get your API key

2. Add to your tool

Claude Code:

claude mcp add llmtest -- npx llmtest-mcp

Then set your key:

export LLMTEST_API_KEY=llmt_your_key_here

Cursor / Windsurf / Other MCP clients:

Add to your MCP config file:

"mcpServers": { "llmtest": { "command": "npx", "args": ["llmtest-mcp"], "env": { "LLMTEST_API_KEY": "llmt_your_key_here" } } } }

3. Talk to your AI

Just ask in natural language:

"Check my LLMTest status"
"Find cheaper models for my AI calls"
"Run a benchmark on my blog-writer flow"
"What models are trending?"

How It Works

LLMTest is a proxy that sits between your app and AI providers. Point your app at https://llmtest.io/v1 instead of calling OpenAI/Anthropic directly, and LLMTest tracks your usage, benchmarks alternatives, and suggests cost savings.

This MCP server gives your AI assistant access to LLMTest's tools so it can manage everything for you.

Available Tools

Tool	Description
`status`	Show proxy status and activity summary
`list_flows`	List all AI flows with cost and latency stats
`get_suggestions`	Get pending model-switch recommendations
`update_suggestion`	Accept or dismiss a suggestion
`run_benchmark`	Benchmark a flow against challenger models
`optimize_prompt`	Rewrite a flow's prompt and find a cheaper model that still works
`seed_samples`	Add test prompts for pre-launch benchmarking
`list_samples`	Show stored test samples per flow
`list_new_models`	Show new and trending models
`get_account`	Check credit balance and usage
`get_autopilot_status`	Check whether autopilot is on and whether the account is eligible
`enable_autopilot`	Turn on weekly auto-optimization with safety gates + drift-based auto-revert
`disable_autopilot`	Turn off autopilot (existing optimizations stay active)
`list_active_optimizations`	List auto-accepted optimizations still inside their 24h revert window
`revert_optimization`	Roll an auto-accepted optimization back to the previous prompt

Autopilot

Autopilot automatically optimizes your flows on a weekly cadence. Changes that pass every safety gate go live with a 24-hour revert window. Drift detection keeps checking after that and rolls back if quality slips.

To enable from your IDE: ask your AI assistant something like "enable LLMTest autopilot". It will call enable_autopilot. Use get_autopilot_status to confirm prerequisites.

Prerequisites (checked per flow each cycle):

Autopilot enabled on the account
Email verified
Account age ≥ 14 days (trust ramp)
Flow has ≥ 20 real calls in the last 7 days
Flow not optimized by autopilot in the last 14 days (cooldown)
Positive credit balance (~$1–2 per run)

Safety gates (all must pass for auto-accept): 95% CI lower bound > 50% win rate, multi-judge agreement ≥ 80%, ≥ 20% total savings, no length-bias warning, golden-set regression check.

Revert: 24h window after auto-accept. After that, only drift detection can roll back.

Typical Workflow

Pre-launch (no traffic yet):

Tell your AI: "I'm building a support chatbot using gpt-4o"
It seeds realistic test samples with seed_samples
It runs run_benchmark to compare models
It shows you get_suggestions with cheaper alternatives

Post-launch (with real traffic):

Route your AI calls through https://llmtest.io/v1
LLMTest monitors usage and auto-benchmarks when flows hit 50+ calls
Ask "any cost-saving suggestions?" to see recommendations
Accept a suggestion and update your code

Environment Variables

Variable	Required	Description
`LLMTEST_API_KEY`	Yes	Your API key from llmtest.io/dashboard
`LLMTEST_BASE_URL`	No	Custom API URL (defaults to `https://llmtest.io`)

License

MIT

Llmtest MCP

Überblick

Was du damit machen kannst

Installation

Node.js installieren

Bei Llmtest MCP registrieren und Schlüssel erstellen

Einstellungsdatei der Claude-Desktop-App öffnen

Diese Einstellungen einfügen und speichern

Claude beenden und neu öffnen

Ausprobieren

Das kannst du stattdessen tun

Node.js installieren

Bei Llmtest MCP registrieren und Schlüssel erstellen

Terminal öffnen

Diesen Befehl einfügen und Enter drücken

/mcp in Claude Code eingeben

Ausprobieren

Node.js installieren

Bei Llmtest MCP registrieren und Schlüssel erstellen

Mit diesem Button Cursor öffnen

Schlüssel eintragen

KI-Chat in Cursor im Agent-Modus öffnen

Ausprobieren

Node.js installieren

Bei Llmtest MCP registrieren und Schlüssel erstellen

Mit diesem Button VS Code öffnen

Schlüssel eintragen

KI-Chat in VS Code im Agent-Modus öffnen

Ausprobieren

Auf deinem Computer installiert

Werte, die du selbst einträgst

Auf einen Blick

Welche Apps ihn nutzen können

Was er kann

Basischecksi

Entwickler passt zum Repo

Wird noch gepflegt

Hat eine Lizenz

Endpunkt antwortet

Anmeldung mit OAuth

Keine versteckten Anweisungen in Tool-Beschreibungen

Diskussion

Nutzerbewertungen

Im Vergleich mit anderen in Suche & KI-Gedächtnisi

Häufige Fragen

Alternativen

Ruflo

Context7

Metabase

README vom Entwickler

LLMTest MCP Server

Quick Start

1. Get your API key

2. Add to your tool

3. Talk to your AI

How It Works

Available Tools

Autopilot

Typical Workflow

Environment Variables

Links

License