Benchwarmers

Name: Benchwarmers
Author: WendellResearch-AI

제작자: WendellResearch-AI버전 0.5.6i★ –i내 컴퓨터에서 실행

레지스트리 이름io.github.WendellResearch-AI/benchwarmers

설치

개요

제작자가 쓴 설명(영어 원문)

Ask a collection of LLMs at once through your Benchwarmers server; verdicts pick the next panel.

PopNx MCP의 세 기둥

이 세 가지는 절대 하나의 점수로 합치지 않아요. 의견, 측정, 인기는 서로 다른 것이니까요.

사용자 의견i아직 리뷰가 없어요리뷰는 다음 단계에서 계정 기능과 함께 열려요
우리의 기본 점검i1개 중 1개 통과공개된 정보로 점검했으며, 코드는 아직 스캔하지 않았어요
사용 정도i초기↓ 1.9천/주 · ★ –

할 수 있는 일

이 서버는 아직 쉬운 말로 된 요약을 쓰지 못했어요. 아래는 레지스트리에서 읽어 온 사실이에요.

연결 방식: 내 컴퓨터에서 실행
전송 방식: stdio
카테고리: 검색 및 AI 기억
입력해야 할 값: BENCHWARMERS_KEY

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

설치하기 전에

기본 점검: 1개 중 1개 통과
내 컴퓨터에서 내 사용자 계정의 권한(파일, 네트워크, 앱)으로 실행돼요.
직접 입력할 값: BENCHWARMERS_URL, BENCHWARMERS_KEY, BENCHWARMERS_TIMEOUT

비밀로 표시된 값은 내 계정의 열쇠예요. 절대 다른 사람과 공유하거나 채팅에 붙여 넣지 마세요.

필요한 것

npmNode.js 설치(npx 명령어용)

어떤 앱을 쓰세요?

ClaudeClaude CodeCursorVS CodeChatGPT

위에서 앱을 고르세요. 기억해 두었다가 다음부터는 버튼에 “…에 설치”라고 표시해요.

Claude Desktop → Settings → Developer → Edit Config를 열고 claude_desktop_config.json에 이 내용을 붙여 넣으세요

{
  "mcpServers": {
    "benchwarmers": {
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

터미널에서 이 명령어를 실행하세요

claude mcp add benchwarmers --env BENCHWARMERS_URL=your-value --env BENCHWARMERS_KEY=your-value --env BENCHWARMERS_TIMEOUT=your-value -- npx -y @wendellresearch-ai/benchwarmers mcp

실행하기 전에 빈 값을 채워 주세요.

Cursor에서 열기

또는 설정을 직접 복사하기

프로젝트의 .cursor/mcp.json 또는 ~/.cursor/mcp.json에 붙여 넣으세요

{
  "mcpServers": {
    "benchwarmers": {
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

VS Code에서 열기

또는 설정을 직접 복사하기

프로젝트의 .vscode/mcp.json에 붙여 넣으세요

{
  "servers": {
    "benchwarmers": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "@wendellresearch-ai/benchwarmers",
        "mcp"
      ],
      "env": {
        "BENCHWARMERS_URL": "your-value",
        "BENCHWARMERS_KEY": "your-value",
        "BENCHWARMERS_TIMEOUT": "your-value"
      }
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

이 서버는 내 컴퓨터에서 실행되는데, ChatGPT는 인터넷에 있는 서버에만 연결할 수 있어요. 다른 앱을 고르세요.

선택한 앱은 이 기기의 쿠키에만 저장돼요. 계정은 필요 없어요.

직접 입력할 값

BENCHWARMERS_URL env
Your Benchwarmers server (default http://127.0.0.1:8122). Needs Python 3.11 or later on PATH
BENCHWARMERS_KEY 비밀 env
A gateway key, needed beyond this machine or where the server requires keys
BENCHWARMERS_TIMEOUT env
Seconds to wait for a panel (default 900)

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

할 수 있는 일

내 컴퓨터에서 실행돼요. 설치하면 AI 앱에 도구 목록이 나타나요.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 9일 점검

✓ 통과
제작자와 저장소 일치
레지스트리 이름이 GitHub 계정 WendellResearch-AI 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요
… 아직 점검 안 함
계속 관리되고 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
… 아직 점검 안 함
라이선스 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
– 해당 없음
엔드포인트 응답
내 컴퓨터에서 실행되는 서버라 인터넷 엔드포인트가 없어요
– 해당 없음
OAuth로 로그인
내 컴퓨터에서 실행되며, 대신 로컬 설정을 사용해요
… 아직 점검 안 함
도구 설명에 숨겨진 지시 없음
내 컴퓨터에서 실행돼요. 도구 목록은 인터넷 엔드포인트가 있는 서버에서만 읽을 수 있어요

검색 및 AI 기억 카테고리의 다른 서버와 비교i

이 카테고리의 다른 서버 5727개 중 0%보다 스타가 많아요
이 카테고리의 다른 서버 5727개 중 97%보다 최근에 레지스트리에 공개됐어요
기본 점검 결과가 이 카테고리의 다른 서버 5727개 중 100%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

Benchwarmers, 안전한가요?

해당하는 기본 점검 1개 중 1개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

입력해야 할 값: BENCHWARMERS_KEY

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

내 컴퓨터에서 실행돼요. AI 앱이 필요할 때 실행하고, 데이터는 제작자의 서버를 거치지 않아요(서버 자체가 온라인 서비스를 호출하는 경우는 제외).

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 – 변경됐고, 최신 버전(0.5.6)은 어제 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. 내 컴퓨터에 Node.js, Python (uv)도 있어야 해요.

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: Context7, Codebase Memory, Exa

대안

같은 카테고리에서 다른 제작자가 만든 서버예요. 스타 순으로 정렬했어요.

카드 보는 법:↓ 주간 다운로드i★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

Context7

Up-to-date docs for AI agents

제작자: upstash널리 사용됨↓ 97.3만/주★ 6.4만그저께 업데이트

컴퓨터 또는 클라우드

설치

Codebase Memory

Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.

제작자: DeusData널리 사용됨↓ 1.8만/주★ 4.8만22일 전 업데이트

내 컴퓨터에서 실행

설치

Exa

Connect AI agents to Exa for web search, content fetching, and multi-step research.

제작자: exa-labs널리 사용됨★ 5.2천2개월 전 업데이트

클라우드에서 실행✓ exa.ai

설치

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

Put me in, coach. Every model on your bench gets its minutes.

Benchwarmers is a self-hosted panel gateway for LLMs. Your app asks for one of your collections, and the whole panel answers: the models you picked for that kind of work, plus explorer seats that rotate in the models you have used least. Every answer comes back side by side, labelled by model and seat. You check them against the real work and record a verdict, and those verdicts decide who sits on the next panel.

What it is best at:

Asking several models at once. One request, in the OpenAI, Anthropic, Gemini or Ollama format, a panel of answers. Where they disagree is where to look.
Agents too. Claude Code and other tool-calling clients use a collection through route mode: one member per turn, kept for the conversation, with failover, and every call on the record.
Reviewing. Code review, claims about code, designs: different models catch different things, and two models agreeing is not proof.
Playing to each model's strengths. A collection per kind of work (reviewers, designers, enumerators), each with the models that do it best.
Giving every model playing time. Explorers cycle through the rest of the bench, so new and free models get tried beside the ones you trust, without you choosing them by hand.
Benchmarking on your own projects. A review suite seeded from your own repositories, plus your verdicts on real work, instead of public leaderboards.
Knowing who to bench. Who is confidently wrong, who has stopped answering (retired automatically), and who is resting after a rate limit.
Keeping free and cheap models useful. Health probes, rate limits taken from what providers say and enforced, and one endpoint for every app, over any OpenAI-compatible provider or hub, or Anthropic's and Gemini's own APIs.

Related tools	Examples	What they do	What Benchwarmers does differently
Gateways and routers	LiteLLM, OpenRouter, Portkey	One request to one model, with fallback	Fans one prompt out to a panel and returns every answer; for agents, routes to one member by its record
Councils and ensembles	LLM Council, Mixture-of-Agents	Several models merged into one answer	Keeps every answer, because who said what is the evidence; one merged summary only if you ask
Side-by-side chat	Open WebUI, LMArena	Several answers shown together	Records a verdict per answer and uses them to pick the next panel
Evaluation harnesses	promptfoo, Inspect, SWE-bench	Score models offline on fixed test sets	Scores them on your real work and your own code, and keeps rotating new models in

Try it
How it works
Asking a panel
From the command line
From Claude Code and other agents
The suite
Docker and hosting
What leaves your machine
Limits
Security
[Development](#d

앞부분만 보여 드려요. 나머지는 저장소에서 읽어 보세요

Benchwarmers

개요

PopNx MCP의 세 기둥

할 수 있는 일

설치

설치하기 전에

직접 입력할 값

할 수 있는 일

기본 점검i

제작자와 저장소 일치

계속 관리되고 있음

라이선스 있음

엔드포인트 응답

OAuth로 로그인

도구 설명에 숨겨진 지시 없음

검색 및 AI 기억 카테고리의 다른 서버와 비교i

자주 묻는 질문

대안

Context7

Codebase Memory

Exa

제작자의 README

Contents