Benchwarmers

Name: Benchwarmers
Author: WendellResearch-AI

作者：WendellResearch-AIバージョン 0.5.6i★ –iパソコンで動く

レジストリ名io.github.WendellResearch-AI/benchwarmers

インストール

概要

作者による説明（英語の原文）

Ask a collection of LLMs at once through your Benchwarmers server; verdicts pick the next panel.

PopNx MCPの3つの柱

この3つを1つのスコアにまとめることはしません。意見、測定、人気はそれぞれ別のものだからです。

利用者の声iレビューはまだありませんレビューは今後のステップで、アカウント機能と一緒に始まります
私たちの基本チェックi1項目中1項目に合格公開情報からチェック。コードはまだスキャンしていません
利用状況i初期↓ 1929/週 · ★ –

できること

このサーバーのやさしい解説はまだ書いていません。以下はレジストリから読み取った事実です。

接続方法: パソコンで動く
トランスポート: stdio
カテゴリ: 検索・AIの記憶
入力が必要なもの：BENCHWARMERS_KEY

インストール

使っているAIアプリを選んで、設定をコピーしてください。

インストールの前に

基本チェック：1項目中1項目に合格
あなたのパソコンで、あなたのユーザーと同じ権限（ファイル、ネットワーク、アプリ）で動きます。
自分で入力するもの： BENCHWARMERS_URL, BENCHWARMERS_KEY, BENCHWARMERS_TIMEOUT

「秘密」と表示された値は、あなたのアカウントの鍵です。絶対に人に教えたり、チャットに貼り付けたりしないでください。

必要なもの

npmNode.jsのインストール（npxコマンドに必要）

どのアプリを使っていますか？

ClaudeClaude CodeCursorVS CodeChatGPT

上でアプリを選んでください。選んだアプリを覚えておくので、次からはボタンに「…にインストール」と表示されます。

Claude Desktop → Settings → Developer → Edit Config を開き、claude_desktop_config.json にこれを貼り付けます

{
  "mcpServers": {
    "benchwarmers": {
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

ターミナルでこれを実行します

claude mcp add benchwarmers --env BENCHWARMERS_URL=your-value --env BENCHWARMERS_KEY=your-value --env BENCHWARMERS_TIMEOUT=your-value -- npx -y @wendellresearch-ai/benchwarmers mcp

動かす前に、空欄の値を入力してください。

Cursorで開く

または、設定を自分でコピーする

プロジェクトの .cursor/mcp.json、または ~/.cursor/mcp.json に貼り付けます

{
  "mcpServers": {
    "benchwarmers": {
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。

VS Codeで開く

または、設定を自分でコピーする

プロジェクトの .vscode/mcp.json に貼り付けます

{
  "servers": {
    "benchwarmers": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

これはパソコンで動くサーバーですが、ChatGPTがつなげるのはインターネット上のサーバーだけです。ほかのアプリを選んでください。

選んだアプリは、この端末のCookieに保存されます。アカウントは不要です。

自分で入力する値

BENCHWARMERS_URL env
Your Benchwarmers server (default http://127.0.0.1:8122). Needs Python 3.11 or later on PATH
BENCHWARMERS_KEY 秘密 env
A gateway key, needed beyond this machine or where the server requires keys
BENCHWARMERS_TIMEOUT env
Seconds to wait for a panel (default 900)

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

できること

パソコンで動くサーバーです。インストールすると、ツール一覧がAIアプリに表示されます。

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月9日にチェック

✓ 合格
作者とリポジトリが一致
レジストリ名は、リポジトリを所有するGitHubアカウント WendellResearch-AI で確認済みです
… 未チェック
今もメンテナンスされている
このリポジトリはまだGitHubから読み取っていません
… 未チェック
ライセンスがある
このリポジトリはまだGitHubから読み取っていません
– 対象外
エンドポイントが応答する
これはパソコンで動くため、インターネット上のエンドポイントはありません
– 対象外
OAuthでサインイン
パソコンで動き、代わりにローカルの設定を使います
… 未チェック
ツールの説明に隠れた指示がない
パソコンで動くサーバーです。ツール一覧を読み取れるのは、インターネット上のエンドポイントがある場合だけです

検索・AIの記憶のほかのサーバーとの比較i

このカテゴリのほかの5764件のうち0%よりスターが多い
このカテゴリのほかの5764件のうち95%より最近レジストリに公開
基本チェックの結果が、このカテゴリのほかの5764件のうち100%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

Benchwarmersは安全ですか？

当てはまる基本チェック1項目のうち1項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか？

入力が必要なもの：BENCHWARMERS_KEY

パソコンで動きますか、それともクラウドですか？

あなたのパソコンで動きます。必要なときにAIアプリが起動し、データは作者のサーバーを通りません（サーバー自体がオンラインサービスを呼び出す場合を除きます）。

今もメンテナンスされていますか？

GitHubリポジトリの最終更新は–、最新バージョン（0.5.6）がレジストリに届いたのは一昨日です。

どのアプリで使えますか？

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。パソコンにNode.js, Python (uv)も必要です。

代わりに使えるものは？

同じカテゴリには：Context7, Codebase Memory, Exa

代わりの候補

同じカテゴリで、ほかの作者が作ったサーバー。スターの多い順。

カードの見方：↓ 週あたりのダウンロードi★ GitHubスターi3つの柱：レビュー · チェック · 利用状況i更新＝最新バージョンをレジストリに公開した日i

Context7

Up-to-date docs for AI agents

作者：upstash広く使われている↓ 97.3万/週★ 6.4万3 日前更新

パソコンでもクラウドでも

インストール

Codebase Memory

Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.

作者：DeusData広く使われている↓ 1.8万/週★ 4.8万23 日前更新

パソコンで動く

インストール

Exa

Connect AI agents to Exa for web search, content fetching, and multi-step research.

作者：exa-labs広く使われている★ 52132 か月前更新

クラウドで動く✓ exa.ai

インストール

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

Put me in, coach. Every model on your bench gets its minutes.

Benchwarmers is a self-hosted panel gateway for LLMs. Your app asks for one of your collections, and the whole panel answers: the models you picked for that kind of work, plus explorer seats that rotate in the models you have used least. Every answer comes back side by side, labelled by model and seat. You check them against the real work and record a verdict, and those verdicts decide who sits on the next panel.

What it is best at:

Asking several models at once. One request, in the OpenAI, Anthropic, Gemini or Ollama format, a panel of answers. Where they disagree is where to look.
Agents too. Claude Code and other tool-calling clients use a collection through route mode: one member per turn, kept for the conversation, with failover, and every call on the record.
Reviewing. Code review, claims about code, designs: different models catch different things, and two models agreeing is not proof.
Playing to each model's strengths. A collection per kind of work (reviewers, designers, enumerators), each with the models that do it best.
Giving every model playing time. Explorers cycle through the rest of the bench, so new and free models get tried beside the ones you trust, without you choosing them by hand.
Benchmarking on your own projects. A review suite seeded from your own repositories, plus your verdicts on real work, instead of public leaderboards.
Knowing who to bench. Who is confidently wrong, who has stopped answering (retired automatically), and who is resting after a rate limit.
Keeping free and cheap models useful. Health probes, rate limits taken from what providers say and enforced, and one endpoint for every app, over any OpenAI-compatible provider or hub, or Anthropic's and Gemini's own APIs.

Related tools	Examples	What they do	What Benchwarmers does differently
Gateways and routers	LiteLLM, OpenRouter, Portkey	One request to one model, with fallback	Fans one prompt out to a panel and returns every answer; for agents, routes to one member by its record
Councils and ensembles	LLM Council, Mixture-of-Agents	Several models merged into one answer	Keeps every answer, because who said what is the evidence; one merged summary only if you ask
Side-by-side chat	Open WebUI, LMArena	Several answers shown together	Records a verdict per answer and uses them to pick the next panel
Evaluation harnesses	promptfoo, Inspect, SWE-bench	Score models offline on fixed test sets	Scores them on your real work and your own code, and keeps rotating new models in

Try it
How it works
Asking a panel
From the command line
From Claude Code and other agents
The suite
Docker and hosting
What leaves your machine
Limits
Security
[Development](#d

冒頭だけを表示しています。続きはリポジトリで読めます

Benchwarmers

概要

PopNx MCPの3つの柱

できること

インストール

インストールの前に

自分で入力する値

できること

基本チェックi

作者とリポジトリが一致

今もメンテナンスされている

ライセンスがある

エンドポイントが応答する

OAuthでサインイン

ツールの説明に隠れた指示がない

検索・AIの記憶のほかのサーバーとの比較i

よくある質問

代わりの候補

Context7

Codebase Memory

Exa

作者のREADME

Contents