Llmtest MCP

Name: Llmtest MCP
Author: tjacquesson

제작자: tjacquesson버전 0.6.1i★ –i내 컴퓨터에서 실행

레지스트리 이름io.github.tjacquesson/llmtest-mcp

설치

개요

제작자가 쓴 설명(영어 원문)

Benchmark AI models on real prompts. Find cheaper, faster alternatives across 340+ models.

PopNx MCP의 세 기둥

이 세 가지는 절대 하나의 점수로 합치지 않아요. 의견, 측정, 인기는 서로 다른 것이니까요.

사용자 의견i아직 리뷰가 없어요리뷰는 다음 단계에서 계정 기능과 함께 열려요
우리의 기본 점검i1개 중 1개 통과공개된 정보로 점검했으며, 코드는 아직 스캔하지 않았어요
사용 정도i아직 측정 안 함★ –

할 수 있는 일

이 서버는 아직 쉬운 말로 된 요약을 쓰지 못했어요. 아래는 레지스트리에서 읽어 온 사실이에요.

연결 방식: 내 컴퓨터에서 실행
전송 방식: stdio
카테고리: 기타
입력해야 할 값: LLMTEST_API_KEY

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

설치하기 전에

기본 점검: 1개 중 1개 통과
내 컴퓨터에서 내 사용자 계정의 권한(파일, 네트워크, 앱)으로 실행돼요.
직접 입력할 값: LLMTEST_API_KEY

비밀로 표시된 값은 내 계정의 열쇠예요. 절대 다른 사람과 공유하거나 채팅에 붙여 넣지 마세요.

필요한 것

npmNode.js 설치(npx 명령어용)

어떤 앱을 쓰세요?

ClaudeClaude CodeCursorVS CodeChatGPT

위에서 앱을 고르세요. 기억해 두었다가 다음부터는 버튼에 “…에 설치”라고 표시해요.

Claude Desktop → Settings → Developer → Edit Config를 열고 claude_desktop_config.json에 이 내용을 붙여 넣으세요

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

터미널에서 이 명령어를 실행하세요

claude mcp add llmtest --env LLMTEST_API_KEY=your-value -- npx -y llmtest-mcp

실행하기 전에 빈 값을 채워 주세요.

Cursor에서 열기

또는 설정을 직접 복사하기

프로젝트의 .cursor/mcp.json 또는 ~/.cursor/mcp.json에 붙여 넣으세요

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

VS Code에서 열기

또는 설정을 직접 복사하기

프로젝트의 .vscode/mcp.json에 붙여 넣으세요

{
  "servers": {
    "llmtest": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

이 서버는 내 컴퓨터에서 실행되는데, ChatGPT는 인터넷에 있는 서버에만 연결할 수 있어요. 다른 앱을 고르세요.

선택한 앱은 이 기기의 쿠키에만 저장돼요. 계정은 필요 없어요.

직접 입력할 값

LLMTEST_API_KEY 비밀 필수 env
Your LLMTest API key from https://llmtest.io/dashboard

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

할 수 있는 일

내 컴퓨터에서 실행돼요. 설치하면 AI 앱에 도구 목록이 나타나요.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 7일 점검

✓ 통과
제작자와 저장소 일치
레지스트리 이름이 GitHub 계정 tjacquesson 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요
… 아직 점검 안 함
계속 관리되고 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
… 아직 점검 안 함
라이선스 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
– 해당 없음
엔드포인트 응답
내 컴퓨터에서 실행되는 서버라 인터넷 엔드포인트가 없어요
– 해당 없음
OAuth로 로그인
내 컴퓨터에서 실행되며, 대신 로컬 설정을 사용해요
… 아직 점검 안 함
도구 설명에 숨겨진 지시 없음
내 컴퓨터에서 실행돼요. 도구 목록은 인터넷 엔드포인트가 있는 서버에서만 읽을 수 있어요

기타 카테고리의 다른 서버와 비교i

이 카테고리의 다른 서버 32589개 중 0%보다 스타가 많아요
이 카테고리의 다른 서버 32589개 중 10%보다 최근에 레지스트리에 공개됐어요
기본 점검 결과가 이 카테고리의 다른 서버 32589개 중 100%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

Llmtest MCP, 안전한가요?

해당하는 기본 점검 1개 중 1개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

입력해야 할 값: LLMTEST_API_KEY

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

내 컴퓨터에서 실행돼요. AI 앱이 필요할 때 실행하고, 데이터는 제작자의 서버를 거치지 않아요(서버 자체가 온라인 서비스를 호출하는 경우는 제외).

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 – 변경됐고, 최신 버전(0.6.1)은 6개월 전 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. 내 컴퓨터에 Node.js도 있어야 해요.

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: Spec Driven Development, Remote Desktop Commander, Detailing Manager

대안

같은 카테고리에서 다른 제작자가 만든 서버예요. 스타 순으로 정렬했어요.

카드 보는 법:★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

Spec Driven Development

제작자: formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

내 컴퓨터에서 실행★ 440MIT14개월 전 업데이트

설치

Remote Desktop Commander

제작자: desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

클라우드에서 실행★ 211어제 업데이트

설치

Detailing Manager

제작자: RadoslavMoshev

Connect your auto detailing studio's tasks, cars, clients and revenue to Claude or ChatGPT.

내 컴퓨터에서 실행오늘 업데이트

설치

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

LLMTest MCP Server

MCP server that benchmarks AI models on your actual prompts and finds cheaper, faster alternatives. Works with Claude Code, Cursor, Windsurf, and any MCP-compatible tool.

Quick Start

1. Get your API key

2. Add to your tool

Claude Code:

claude mcp add llmtest -- npx llmtest-mcp

Then set your key:

export LLMTEST_API_KEY=llmt_your_key_here

Cursor / Windsurf / Other MCP clients:

Add to your MCP config file:

"mcpServers": { "llmtest": { "command": "npx", "args": ["llmtest-mcp"], "env": { "LLMTEST_API_KEY": "llmt_your_key_here" } } } }

3. Talk to your AI

Just ask in natural language:

"Check my LLMTest status"
"Find cheaper models for my AI calls"
"Run a benchmark on my blog-writer flow"
"What models are trending?"

How It Works

LLMTest is a proxy that sits between your app and AI providers. Point your app at https://llmtest.io/v1 instead of calling OpenAI/Anthropic directly, and LLMTest tracks your usage, benchmarks alternatives, and suggests cost savings.

This MCP server gives your AI assistant access to LLMTest's tools so it can manage everything for you.

Available Tools

Tool	Description
`status`	Show proxy status and activity summary
`list_flows`	List all AI flows with cost and latency stats
`get_suggestions`	Get pending model-switch recommendations
`update_suggestion`	Accept or dismiss a suggestion
`run_benchmark`	Benchmark a flow against challenger models
`optimize_prompt`	Rewrite a flow's prompt and find a cheaper model that still works
`seed_samples`	Add test prompts for pre-launch benchmarking
`list_samples`	Show stored test samples per flow
`list_new_models`	Show new and trending models
`get_account`	Check credit balance and usage
`get_autopilot_status`	Check whether autopilot is on and whether the account is eligible
`enable_autopilot`	Turn on weekly auto-optimization with safety gates + drift-based auto-revert
`disable_autopilot`	Turn off autopilot (existing optimizations stay active)
`list_active_optimizations`	List auto-accepted optimizations still inside their 24h revert window
`revert_optimization`	Roll an auto-accepted optimization back to the previous prompt

Autopilot

Autopilot automatically optimizes your flows on a weekly cadence. Changes that pass every safety gate go live with a 24-hour revert window. Drift detection keeps checking after that and rolls back if quality slips.

To enable from your IDE: ask your AI assistant something like "enable LLMTest autopilot". It will call enable_autopilot. Use get_autopilot_status to confirm prerequisites.

Prerequisites (checked per flow each cycle):

Autopilot enabled on the account
Email verified
Account age ≥ 14 days (trust ramp)
Flow has ≥ 20 real calls in the last 7 days
Flow not optimized by autopilot in the last 14 days (cooldown)
Positive credit balance (~$1–2 per run)

Safety gates (all must pass for auto-accept): 95% CI lower bound > 50% win rate, multi-judge agreement ≥ 80%, ≥ 20% total savings, no length-bias warning, golden-set regression check.

Revert: 24h window after auto-accept. After that, only drift detection can roll back.

Typical Workflow

Pre-launch (no traffic yet):

Tell your AI: "I'm building a support chatbot using gpt-4o"
It seeds realistic test samples with seed_samples
It runs run_benchmark to compare models
It shows you get_suggestions with cheaper alternatives

Post-launch (with real traffic):

Route your AI calls through https://llmtest.io/v1
LLMTest monitors usage and auto-benchmarks when flows hit 50+ calls
Ask "any cost-saving suggestions?" to see recommendations
Accept a suggestion and update your code

Environment Variables

Variable	Required	Description
`LLMTEST_API_KEY`	Yes	Your API key from llmtest.io/dashboard
`LLMTEST_BASE_URL`	No	Custom API URL (defaults to `https://llmtest.io`)

License

MIT

Llmtest MCP

개요

PopNx MCP의 세 기둥

할 수 있는 일

설치

설치하기 전에

직접 입력할 값

할 수 있는 일

기본 점검i

제작자와 저장소 일치

계속 관리되고 있음

라이선스 있음

엔드포인트 응답

OAuth로 로그인

도구 설명에 숨겨진 지시 없음

기타 카테고리의 다른 서버와 비교i

자주 묻는 질문

대안

Spec Driven Development

Remote Desktop Commander

Detailing Manager

제작자의 README

LLMTest MCP Server

Quick Start

1. Get your API key

2. Add to your tool

3. Talk to your AI

How It Works

Available Tools

Autopilot

Typical Workflow

Environment Variables

Links

License