Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Mit Google anmelden, um Bewertungen zu schreiben.Prototyp · alle 30 Min. aktualisiert
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt

LLMBenchmark.ai

✓ vom Dienst · llmbenchmark.ai

von Take-GroupVersion 1.0.0i★ 0iLäuft in der CloudOffizielle Website ↗
Name in der Registryai.llmbenchmark/llmbenchmark

So installierst du es

What it does

Which LLM for which task: benchmark scores and API prices for 400+ models. Free, no key.

  • Connects Läuft in der Cloud
  • Account or key No key needed
  • Category Dokumente, Tabellen & Büroarbeit

Zusammen nutzen mit

Skills, die der KI diese Art Arbeit beibringen; sie funktionieren zusammen mit diesem

MinerU

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

von opendatalab★ 83.9721 Skills

Skill · AnleitungKeine Lizenz angegeben

watermarks-remover

A privacy-first app that strips AI watermarks from content you own.

von guillaumemeyer★ 27.7961 Skills

Skill · Anleitung

obsidian-skills

Agent skills for Obsidian. Teach your agent to use Obsidian CLI and open formats including Markdown, Bases, JSON Canvas.

von kepano★ 53.183 (whole repo)5 Skills

Skill · Anleitung

Warum es hier steht

Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert

Beliebtheit0/80GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20
Aktualität12/12Volle Punkte für Release oder Codeänderung in 30 Tagen
Antwortet noch8/8Der Cloud-Endpoint antwortete bei der letzten Prüfung
Nutzungswert20/100

Qualität: 4/4 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Mit einem Satz von deiner KI installieren lassen

Installiere bitte LLMBenchmark.ai. Folge https://mcp.popnx.com/i/llmbenchmark.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.

Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen

4/4 Prüfungen bestanden · Was du fragst, läuft über den Server des Anbieters (api.llmbenchmark.ai) · ✓ Befehle geprüft am 20. Nov. 2026

Zuerst: Welche KI nutzt du?

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude · etwa 2 Min.

Kein Schlüssel, nichts zu installieren · Einmal auf claude.ai oder in der Desktop-App einrichten, dann im Chat nutzen · kostenlose Konten können 1 hinzufügen · bei Team/Enterprise fügt ein Owner ihn hinzu

  1. Öffne die Connectors-Seite von Claude

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  2. Klicke „Add“ → „Custom“ → „Web“ und fülle diese 2 Felder aus

    Kopiere jeden Wert in das gleichnamige Feld in Claude und klicke Continue

    Name · NameLLMBenchmark.ai
    Remote MCP server URL · Adressehttps://api.llmbenchmark.ai/mcp

    Klicke auf der von Claude erkannten Anmelde-Seite auf Continue · wähle bei Authentication, was der Anbieter angibt (Sign in now, Sign in when needed oder No sign in), dann Add

  3. Im Chat einschalten

    +ConnectorsLLMBenchmark.ai

  4. Ausprobieren

    Nutze LLMBenchmark.ai und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude sagt, dass es LLMBenchmark.ai nutzt, oder ein Werkzeug von LLMBenchmark.ai in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit ChatGPT je nach Tarif

Volles MCP: ChatGPT Business, Enterprise oder Edu im Web · Pro: verbindet mit Lese-/Abrufrechten, Werkzeuge, die Daten ändern, gehen evtl. nicht · Plus: in der Doku nicht bestätigt; siehst du auf der Plugins-Seite eine Option für eigene MCP-Server, kannst du es versuchen · nur Web

  1. In ChatGPT im Web die Seite zum Hinzufügen von MCP öffnen

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4
  2. Name und Adresse eintragen

    Namen eingeben, Adresse unter Connection einfügen, Risikohinweis abhaken und Create as a plugin klicken

    Name · NameLLMBenchmark.ai
    Connection · Adressehttps://api.llmbenchmark.ai/mcp
  3. LLMBenchmark.ai im Chat auswählen

    Neuen Chat öffnen und vor dem Tippen LLMBenchmark.ai aus deinen Plugins wählen

  4. Ausprobieren

    Nutze LLMBenchmark.ai und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn ChatGPT sagt, dass es LLMBenchmark.ai nutzt, oder ein Werkzeug von LLMBenchmark.ai in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von OpenAI abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Claude Code · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Terminal öffnen

    Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen

  2. Diesen Befehl einfügen und Enter drücken

    claude mcp add --transport http --scope user llmbenchmark https://api.llmbenchmark.ai/mcp
  3. /mcp in Claude Code eingeben

    LLMBenchmark.ai sollte in der Liste als verbunden erscheinen

  4. Ausprobieren

    Nutze LLMBenchmark.ai und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude Code sagt, dass es LLMBenchmark.ai nutzt, oder ein Werkzeug von LLMBenchmark.ai in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Mit diesem Button Cursor öffnen

    In Cursor öffnen

    Cursor fragt nach einer Bestätigung; klicke Install

  2. KI-Chat in Cursor im Agent-Modus öffnen

  3. Ausprobieren

    Nutze LLMBenchmark.ai und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Cursor sagt, dass es LLMBenchmark.ai nutzt, oder ein Werkzeug von LLMBenchmark.ai in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Mit diesem Button VS Code öffnen

    In VS Code öffnen

    VS Code fragt nach einer Bestätigung; klicke Install

  2. KI-Chat in VS Code im Agent-Modus öffnen

  3. Ausprobieren

    Nutze LLMBenchmark.ai und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn VS Code sagt, dass es LLMBenchmark.ai nutzt, oder ein Werkzeug von LLMBenchmark.ai in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

Adresse für Apps, die über das Web verbinden

Adressehttps://api.llmbenchmark.ai/mcp

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die LLMBenchmark.ai nutzen💬 Diskussion →
Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Über das Web

Claude Code

claude mcp add --transport http --scope user llmbenchmark https://api.llmbenchmark.ai/mcp

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "llmbenchmark": {
      "url": "https://api.llmbenchmark.ai/mcp"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "llmbenchmark": {
      "type": "http",
      "url": "https://api.llmbenchmark.ai/mcp"
    }
  }
}

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

Downloads pro Wochei
Nicht auf npm/PyPI
Bestätigte Domain
✓ llmbenchmark.ai
Verbindung
Läuft in der Cloud
Transport
streamable-http
Neueste Versioni
1.0.0
In der Registry veröffentlichti
20. Nov. 2026
Code zuletzt geänderti
20. Nov. 2026
Zuletzt geprüft
20. Nov. 2026
Entwickler
Take-Group
Registry-Status
Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Verbinden sich über das Internet in

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Tool-Namen und -Beschreibungen genau so, wie der Server sie am 20. Nov. 2026 gemeldet hat. Geschrieben hat sie der Entwickler, nicht wir; wir zeigen sie als reinen Text.

  • recommend_model

    Which model should I use for this task? Maps the task text to a category (coding, agentic, reasoning, math, knowledge, web design, or overall when nothing matches) by a fixed keyword map, filters by output price per million tokens, context length and open weights, and ranks by th

  • get_leaderboard

    The top models on one category's board. category is one of overall, coding, agentic, reasoning, math, knowledge, design (see list_categories). limit is 1 to 50. overall is the LLMBenchmark Index: a weighted mean of the Vibe Coding Index, the agentic, reasoning, math and knowledge

  • compare_models

    Two models side by side: score on every category board where both were measured, prices, context. Names are matched loosely: 'claude opus', 'gpt-5' or a slug all work.

  • get_model

    One model: maker, release date, prices, context, open weights, and its score and rank on every category board. Name or slug.

  • get_prices

    API prices (USD per million tokens), cheapest output price first: the maker's own price when it serves the model on OpenRouter, else the median of providers (price_basis says which), plus the cheapest provider. Filter by model name and/or maker; limit is 1 to 100.

  • list_categories

    The categories recommend_model and get_leaderboard know, the benchmark board behind each, and the task keywords that select it.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 20. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde über die Domain llmbenchmark.ai bestätigt (die Registry prüft, wem die Domain gehört)

  • ✓ Bestanden

    Wird noch gepflegt

    Code zuletzt geändert: heute

  • – Nicht zutreffend

    Hat eine Lizenz

    Nicht relevant: Cloud-Server des Inhabers von llmbenchmark.ai; du führst keinen Code aus dem Repo aus

  • ✓ Bestanden

    Endpunkt antwortet

    Antwort in 459 ms (HTTP 200)

  • – Nicht zutreffend

    Anmeldung mit OAuth

    Keine Anmeldung nötig

  • ✓ Bestanden

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Wir haben 6 Tool-Beschreibungen gelesen und keine versteckten Anweisungen an die KI gefunden

Was wir prüfen → · JSON

Entwickler: neue Prüfung anfordern oder falsche Angaben melden
Für Anbieter: Badge ins README

Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/llmbenchmark.svg)](https://mcp.popnx.com/en/servers/llmbenchmark)

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Anmelden, um eine Bewertung zu schreiben

Im Vergleich mit anderen in Dokumente, Tabellen & Büroarbeiti

  • Mehr Sterne als 0 % der anderen 4155 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 99 % der anderen 4155 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 99 % der anderen 4155 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist LLMBenchmark.ai sicher?

Er hat 4 von 4 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.

Läuft er auf meinem Computer oder in der Cloud?

Er läuft in der Cloud des Entwicklers. Du verbindest dich übers Internet, ohne etwas zu installieren, aber was du sendest, läuft über die Server des Entwicklers.

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt heute geändert, und die neueste Version (1.0.0) kam heute in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL und funktioniert daher auch in Apps mit Remote-MCP, etwa ChatGPT im Web (volles MCP ab Business; Pro nur lesend).

Was kann ich stattdessen nutzen?

In derselben Kategorie: Puter MCP, XcodeBuildMCP, Vexa, Atlassian Rovo MCP Server, Anki MCP Server

Ähnliche Alternativen

Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Puter MCP

Puter MCP enables AI tools to interact with Puter: manage files, websites, workers, and more

von HeyPuterWeit verbreitet★ 44.210Aktualisiert vor 5 Monaten

Läuft in der Cloud✓ vom Dienst · puter.com

XcodeBuildMCP

XcodeBuildMCP provides tools for Xcode project management, simulator management, and app utilities.

von getsentryWeit verbreitet↓ 130.486/Wo. geteiltes Paket★ 6594Aktualisiert vor 4 Monaten

Läuft auf deinem Computer✓ vom Dienst · xcodebuildmcp.com

Vexa

Meeting bot and transcripts for Google Meet, Teams and Zoom. Live or after, speakers labelled.

von Vexa-aiWeit verbreitet★ 2996Aktualisiert vor 2 Monaten

Läuft in der Cloud✓ vom Dienst · vexa.ai

Atlassian Rovo MCP Server

Connect to Atlassian Jira, Confluence, Loom, and more to search, create, and manage your work.

von atlassianWachsend★ 1177Aktualisiert vor 2 Monaten

Läuft in der Cloud✓ vom Dienst · atlassian.com

Anki MCP Server

MCP server for Anki flashcards: adaptive review, notes, media, and deck management via AnkiConnect.

von ankimcpWachsend↓ 1136/Wo.★ 568Aktualisiert vor 2 Monaten

Läuft auf deinem Computer✓ vom Dienst · ankimcp.ai
Im Vergleich mit ähnlichen
Dieser
LLMBenchmark.ai
Puter MCPXcodeBuildMCPVexaAtlassian Rovo MCP ServerAnki MCP Server
Läuft woLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationWird auf deinem Rechner installiertLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationWird auf deinem Rechner installiert
Braucht SchlüsselNeinNeinNeinJaNeinNein
Mit + in Claude hinzufügenNeinNeinNeinNeinJaNein
Basisprüfungen4/44/43/32/44/43/3
LizenzMITAGPL-3.0MITApache-2.0Apache-2.0MIT
PreisKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im Register

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

LLMBenchmark.ai MCP server

Ask "which model should I use for this task?" and get an answer from benchmark scores and API prices of 400+ LLMs, updated daily.

  • Free. No API key. 500 requests per IP per UTC day.
  • Remote server, Streamable HTTP: https://api.llmbenchmark.ai/mcp
  • Deterministic: no LLM call inside, the same task and the same data return the same answer.
  • Every answer carries the data date, the source ("LLMBenchmark.ai") and links to the pages behind the numbers.

Docs: https://llmbenchmark.ai/api

Install

Claude Code

claude mcp add --transport http llmbenchmark https://api.llmbenchmark.ai/mcp

Cursor (.cursor/mcp.json)

{

"mcpServers": { "llmbenchmark": { "url": "https://api.llmbenchmark.ai/mcp" } } }

Codex (~/.codex/config.toml)

[mcp_servers.llmbenchmark]

url = "https://api.llmbenchmark.ai/mcp"

Claude Desktop (claude_desktop_config.json, through the mcp-remote bridge)

{

"mcpServers": { "llmbenchmark": { "command": "npx", "args": ["-y", "mcp-remote", "https://api.llmbenchmark.ai/mcp"] } } }

Install as a local server (stdio)

The package proxies to the hosted server, so clients that only start local commands can use it too. Needs uv.

uvx llmbenchmark-mcp

Claude Desktop (claude_desktop_config.json):

{

"mcpServers": { "llmbenchmark": { "command": "uvx", "args": ["llmbenchmark-mcp"] } } }

Docker, built from this repository:

docker build -t llmbenchmark-mcp . && docker run -i --rm llmbenchmark-mcp

Set LLMBENCHMARK_MCP_URL to point the proxy at another endpoint.

Tools

ToolWhat it does
recommend_modelTask text plus optional limits (max_output_price_per_m, min_context_tokens, open_weights_only, top_k) in, ranked models with scores, prices and a one-line reason out.
get_leaderboardTop models on one board: overall, coding, agentic, reasoning, math, knowledge, design.
compare_modelsTwo models side by side on every board where both were measured.
get_modelOne model: maker, prices, context, open weights, score and rank per board.
get_pricesAPI list prices per million tokens, cheapest first, by model or maker.
list_categoriesThe categories, the board behind each and the task keywords that select it.

recommend_model maps the task to a category with a fixed keyword map (printed at https://llmbenchmark.ai/api#how-recommend-works), drops models that break your limits and ranks the rest on that category's board. If nothing fits your limits it says so and returns the nearest options.

Example prompts

  • "Which model should I use to refactor a React app under $5 per million output tokens?"
  • "What is the best open-weight model for math with at least a 128k context window?"
  • "Compare Claude Opus and GPT-6 Astra for coding."
  • "Which models are cheapest on output price from DeepSeek?"

CLI

llmbenchmark-mcp recommend "refactor a React app" --max-price 5 --open-weights

llmbenchmark-mcp tools llmbenchmark-mcp config

recommend prints the recommend_model answer, tools lists the tool names, config prints the remote JSON config for Claude or Cursor. With no arguments the command runs the stdio server.

REST

The same answers over plain HTTP:

curl "https://api.llmbenchmark.ai/v1/recommend?task=refactor+a+large+React+codebase&max_output_price_per_m=5"

License

  • This README and the configuration files in this repository: MIT, see LICENSE.
  • The data the server returns: CC BY 4.0. Credit "LLMBenchmark.ai" with a link to https://llmbenchmark.ai. Each score names its source board and the day it was read; the boards keep their own terms.

Run by Take Group.