Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Bewertungen und Benutzerkonten folgen in einem späteren Schritt.
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt

Benchwarmers

von WendellResearch-AIVersion 0.5.6i★ –iLäuft auf deinem Computer
Name in der Registryio.github.WendellResearch-AI/benchwarmers

Installieren

Überblick

Beschreibung vom Entwickler (englisches Original)

Ask a collection of LLMs at once through your Benchwarmers server; verdicts pick the next panel.

Die drei Säulen von PopNx MCP

Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.

Was du damit machen kannst

Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.

  • Verbindung: Läuft auf deinem Computer
  • Transport: stdio
  • Kategorie: Suche & KI-Gedächtnis
  • Das musst du eintragen: BENCHWARMERS_KEY

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Bevor du installierst

  • Basischecks: 1 von 1 bestanden
  • Läuft auf deinem Computer mit den Rechten deines Benutzerkontos (Dateien, Netzwerk, Apps).
  • Das trägst du selbst ein: BENCHWARMERS_URL, BENCHWARMERS_KEY, BENCHWARMERS_TIMEOUT

Als geheim markierte Werte sind Schlüssel zu deinem Konto. Gib sie nie weiter und füge sie nie in einen Chat ein.

Du brauchst

  • npmNode.js installiert (für den Befehl npx)

Welche App nutzt du?

Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.

Öffne Claude Desktop → Settings → Developer → Edit Config und füge dies in claude_desktop_config.json ein

{
  "mcpServers": {
    "benchwarmers": {
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

Führe das in deinem Terminal aus

claude mcp add benchwarmers --env BENCHWARMERS_URL=your-value --env BENCHWARMERS_KEY=your-value --env BENCHWARMERS_TIMEOUT=your-value -- npx -y @wendellresearch-ai/benchwarmers mcp

Trag die leeren Werte ein, bevor du ihn startest.

In Cursor öffnen

Oder kopier die Einstellungen selbst

In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen

{
  "mcpServers": {
    "benchwarmers": {
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.

In VS Code öffnen

Oder kopier die Einstellungen selbst

In .vscode/mcp.json in deinem Projekt einfügen

{
  "servers": {
    "benchwarmers": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.

Dieser Server läuft auf deinem Computer, und ChatGPT kann sich nur mit Servern im Internet verbinden. Wähle eine andere App.

Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.

Werte, die du selbst einträgst

  • BENCHWARMERS_URL env
    Your Benchwarmers server (default http://127.0.0.1:8122). Needs Python 3.11 or later on PATH
  • BENCHWARMERS_KEY geheim env
    A gateway key, needed beyond this machine or where the server requires keys
  • BENCHWARMERS_TIMEOUT env
    Seconds to wait for a panel (default 900)

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Was er kann

Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 8. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde mit dem GitHub-Konto WendellResearch-AI bestätigt, dem das Repo gehört

  • … Noch nicht geprüft

    Wird noch gepflegt

    Dieses Repo haben wir noch nicht von GitHub gelesen

  • … Noch nicht geprüft

    Hat eine Lizenz

    Dieses Repo haben wir noch nicht von GitHub gelesen

  • – Nicht zutreffend

    Endpunkt antwortet

    Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet

  • – Nicht zutreffend

    Anmeldung mit OAuth

    Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen

  • … Noch nicht geprüft

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen

Im Vergleich mit anderen in Suche & KI-Gedächtnisi

  • Mehr Sterne als 0 % der anderen 5696 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 99 % der anderen 5696 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 100 % der anderen 5696 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist Benchwarmers sicher?

Er hat 1 von 1 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Das musst du eintragen: BENCHWARMERS_KEY

Läuft er auf meinem Computer oder in der Cloud?

Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (0.5.6) kam gestern in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Node.js, Python (uv) auf deinem Computer.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Context7, Codebase Memory, Exa

Alternativen

Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Context7

Up-to-date docs for AI agents

von upstashWeit verbreitet↓ 972.664/Wo.★ 64.224Aktualisiert vorgestern

Computer oder Cloud

Codebase Memory

Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.

von DeusDataWeit verbreitet↓ 17.962/Wo.★ 48.148Aktualisiert vor 22 Tagen

Läuft auf deinem Computer

Exa

Connect AI agents to Exa for web search, content fetching, and multi-step research.

von exa-labsWachsend★ 5213Aktualisiert vor 2 Monaten

Läuft in der Cloud✓ exa.ai

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

Put me in, coach. Every model on your bench gets its minutes.

Benchwarmers is a self-hosted panel gateway for LLMs. Your app asks for one of your collections, and the whole panel answers: the models you picked for that kind of work, plus explorer seats that rotate in the models you have used least. Every answer comes back side by side, labelled by model and seat. You check them against the real work and record a verdict, and those verdicts decide who sits on the next panel.

What it is best at:

  • Asking several models at once. One request, in the OpenAI, Anthropic, Gemini or Ollama format, a panel of answers. Where they disagree is where to look.
  • Agents too. Claude Code and other tool-calling clients use a collection through route mode: one member per turn, kept for the conversation, with failover, and every call on the record.
  • Reviewing. Code review, claims about code, designs: different models catch different things, and two models agreeing is not proof.
  • Playing to each model's strengths. A collection per kind of work (reviewers, designers, enumerators), each with the models that do it best.
  • Giving every model playing time. Explorers cycle through the rest of the bench, so new and free models get tried beside the ones you trust, without you choosing them by hand.
  • Benchmarking on your own projects. A review suite seeded from your own repositories, plus your verdicts on real work, instead of public leaderboards.
  • Knowing who to bench. Who is confidently wrong, who has stopped answering (retired automatically), and who is resting after a rate limit.
  • Keeping free and cheap models useful. Health probes, rate limits taken from what providers say and enforced, and one endpoint for every app, over any OpenAI-compatible provider or hub, or Anthropic's and Gemini's own APIs.
Related toolsExamplesWhat they doWhat Benchwarmers does differently
Gateways and routersLiteLLM, OpenRouter, PortkeyOne request to one model, with fallbackFans one prompt out to a panel and returns every answer; for agents, routes to one member by its record
Councils and ensemblesLLM Council, Mixture-of-AgentsSeveral models merged into one answerKeeps every answer, because who said what is the evidence; one merged summary only if you ask
Side-by-side chatOpen WebUI, LMArenaSeveral answers shown togetherRecords a verdict per answer and uses them to pick the next panel
Evaluation harnessespromptfoo, Inspect, SWE-benchScore models offline on fixed test setsScores them on your real work and your own code, and keeps rotating new models in

Contents

  • Try it
  • How it works
  • Asking a panel
  • From the command line
  • From Claude Code and other agents
  • The suite
  • Docker and hosting
  • What leaves your machine
  • Limits
  • Security
  • [Development](#d

Nur der Anfang wird gezeigt; den Rest findest du im Repo

PopNx fragen