프로토타입 · 미리 보기: 공식 레지스트리의 모든 서버를 담고 있으며 30분마다 동기화해요. Google로 로그인하면 리뷰를 쓸 수 있어요.프로토타입 · 30분마다 업데이트
PopNx MCPAI를 쓰는 사람을 위한 MCP 서버 · 쉬운 말로 설명해요

MCP As A Judge

제작자: OtherVibes버전 0.3.20i★ 17i내 컴퓨터에서 실행저장소 ↗
레지스트리 이름io.github.OtherVibes/mcp-as-a-judge

설치 방법

What it does

MCP as a Judge: a behavioral MCP that strengthens AI coding assistants via explicit LLM evaluations

  • Connects 내 컴퓨터에서 실행
  • Account or key No key needed
  • Category 검색 및 AI 기억

함께 쓰기

이런 작업을 AI에게 가르치는 Skill, 이것과 함께 쓸 수 있습니다

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

제작자: google-research★ 35,638skill 1개

Skill · 안내서

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

제작자: BigBodyCobain★ 11,605skill 1개

Skill · 안내서

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

제작자: gosom★ 8,236skill 1개

Skill · 안내서

이 순위인 이유

목록은 사용 점수(100점 만점)로 정렬되며 구성은 다음과 같습니다

인기15/80GitHub 별 또는 주간 다운로드: 큰 쪽 60, 작은 쪽 20
최신성3/1230일 안에 릴리스나 코드 변경이 있으면 만점
응답 중0/8마지막 점검 때 클라우드 엔드포인트가 응답
사용 점수18/100

품질: 기본 점검 2/3개 통과(표시만, 정렬에는 안 씀) · 상승세: 데이터 없음 (급상승 탭에서만 사용)

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

한 문장으로 AI에게 설치 맡기기

MCP As A Judge 설치해 줘. https://mcp.popnx.com/i/othervibes-mcp-as-a-judge.md 를 따라 하고, 명령을 먼저 보여 주고 내가 승인하면 실행해.

내 컴퓨터에서 작업하는 AI(Claude Code, Cursor 등)에 붙여 넣으세요. 단계를 읽고 명령을 보여 준 뒤 승인을 기다립니다. 키도 가입도 필요 없습니다. · AI가 읽을 전체 내용 보기

검사 2/3 통과 · 내 컴퓨터에서 실행돼요 · ✓ 명령 확인 2026년 11월 13일

먼저: 어떤 AI를 쓰시나요?

쓰는 앱을 고르면 아래에 단계가 나옵니다.

Claude에 연결할 수 있지만 먼저 준비가 필요해요

먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만) · 컴퓨터용 Claude 앱(Windows 또는 Mac)에서만 되고 웹이나 모바일은 안 돼요

AI에게 설치 맡기기

이 메시지를 Claude 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.

이 컴퓨터의 Claude에 MCP server MCP As A Judge을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): { "mcpServers": { "as-a-judge": { "command": "uvx", "args": [ "mcp-as-a-judge" ] } } } 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 MCP As A Judge의 도구가 실제로 보이는지 확인하세요.

이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.

  1. uv 설치 (아직 없다면)

    이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter

    uv --version
    • 버전 번호(예: uv …)가 나오면 설치된 것입니다. 이 단계는 건너뛰세요
    • "command not found"(Windows는 "is not recognized")가 나오면 아직 설치하지 않았거나, 방금 설치해서 터미널을 닫았다가 다시 열어야 합니다
    터미널 여는 법

    Mac: ⌘ + Space를 누르고 Terminal 입력 후 Enter

    Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"

    아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다

    uv 다운로드 페이지 열기 ↗

    설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version

    한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다

  2. 컴퓨터용 Claude 앱 설정 파일 열기

    SettingsDeveloperEdit Config

  3. 이 설정을 붙여 넣고 저장

    {
      "mcpServers": {
        "as-a-judge": {
          "command": "uvx",
          "args": [
            "mcp-as-a-judge"
          ]
        }
      }
    }
  4. Claude를 끄고 다시 열기

  5. 해 보기

    MCP As A Judge을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Claude가 MCP As A Judge을 쓰고 있다고 하거나 답에 MCP As A Judge 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

ChatGPT는 아직 MCP As A Judge에 연결할 수 없어요

MCP As A Judge는 내 컴퓨터에 설치해서 쓰지만 ChatGPT는 웹에서 도는 서버만 연결할 수 있어요

대신 이렇게 할 수 있어요

A · MCP As A Judge에 연결되는 앱 쓰기

  • 먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만) · 컴퓨터용 Claude 앱(Windows 또는 Mac)에서만 되고 웹이나 모바일은 안 돼요
  • 먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)
  • 먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)
  • 먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)

B · 검색 및 AI 기억에서 ChatGPT에 연결되는 다른 서버

같은 분류에서 많이 쓰는 것 중 키 없이 주소만으로 연결되는 것을 골랐어요

Claude Code에 연결할 수 있지만 먼저 준비가 필요해요

먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)

AI에게 설치 맡기기

이 메시지를 Claude Code 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.

이 컴퓨터의 Claude Code에 MCP server MCP As A Judge을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): claude mcp add --scope user as-a-judge -- uvx mcp-as-a-judge 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 MCP As A Judge의 도구가 실제로 보이는지 확인하세요.

이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.

  1. uv 설치 (아직 없다면)

    이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter

    uv --version
    • 버전 번호(예: uv …)가 나오면 설치된 것입니다. 이 단계는 건너뛰세요
    • "command not found"(Windows는 "is not recognized")가 나오면 아직 설치하지 않았거나, 방금 설치해서 터미널을 닫았다가 다시 열어야 합니다
    터미널 여는 법

    Mac: ⌘ + Space를 누르고 Terminal 입력 후 Enter

    Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"

    아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다

    uv 다운로드 페이지 열기 ↗

    설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version

    한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다

  2. 터미널 열기

    Mac: Command+스페이스를 누르고 Terminal 입력 · Windows: PowerShell 열기

  3. 이 명령을 붙여 넣고 Enter

    claude mcp add --scope user as-a-judge -- uvx mcp-as-a-judge
  4. Claude Code에서 /mcp 입력

    MCP As A Judge이 목록에 있고 연결됨으로 보이면 돼요

  5. 해 보기

    MCP As A Judge을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Claude Code가 MCP As A Judge을 쓰고 있다고 하거나 답에 MCP As A Judge 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Cursor에 연결할 수 있지만 먼저 준비가 필요해요

먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)

AI에게 설치 맡기기

이 메시지를 Cursor 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.

이 컴퓨터의 Cursor에 MCP server MCP As A Judge을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): { "mcpServers": { "as-a-judge": { "command": "uvx", "args": [ "mcp-as-a-judge" ] } } } 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 MCP As A Judge의 도구가 실제로 보이는지 확인하세요.

이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.

  1. uv 설치 (아직 없다면)

    이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter

    uv --version
    • 버전 번호(예: uv …)가 나오면 설치된 것입니다. 이 단계는 건너뛰세요
    • "command not found"(Windows는 "is not recognized")가 나오면 아직 설치하지 않았거나, 방금 설치해서 터미널을 닫았다가 다시 열어야 합니다
    터미널 여는 법

    Mac: ⌘ + Space를 누르고 Terminal 입력 후 Enter

    Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"

    아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다

    uv 다운로드 페이지 열기 ↗

    설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version

    한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다

  2. 이 버튼으로 Cursor 열기

    Cursor에서 열기

    Cursor가 설치를 확인하면 Install을 누르세요

  3. Cursor에서 AI 채팅을 Agent 모드로 열기

  4. 해 보기

    MCP As A Judge을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Cursor가 MCP As A Judge을 쓰고 있다고 하거나 답에 MCP As A Judge 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Cursor 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

VS Code에 연결할 수 있지만 먼저 준비가 필요해요

먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)

AI에게 설치 맡기기

이 메시지를 VS Code 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.

이 컴퓨터의 VS Code에 MCP server MCP As A Judge을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): { "servers": { "as-a-judge": { "type": "stdio", "command": "uvx", "args": [ "mcp-as-a-judge" ] } } } 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 MCP As A Judge의 도구가 실제로 보이는지 확인하세요.

이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.

  1. uv 설치 (아직 없다면)

    이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter

    uv --version
    • 버전 번호(예: uv …)가 나오면 설치된 것입니다. 이 단계는 건너뛰세요
    • "command not found"(Windows는 "is not recognized")가 나오면 아직 설치하지 않았거나, 방금 설치해서 터미널을 닫았다가 다시 열어야 합니다
    터미널 여는 법

    Mac: ⌘ + Space를 누르고 Terminal 입력 후 Enter

    Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"

    아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다

    uv 다운로드 페이지 열기 ↗

    설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version

    한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다

  2. 이 버튼으로 VS Code 열기

    VS Code에서 열기

    VS Code가 설치를 확인하면 Install을 누르세요

  3. VS Code에서 AI 채팅을 Agent 모드로 열기

  4. 해 보기

    MCP As A Judge을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ VS Code가 MCP As A Judge을 쓰고 있다고 하거나 답에 MCP As A Judge 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 VS Code 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Windsurf, Zed, Gemini CLI 같은 다른 MCP 앱은 추가 방법이 저마다 달라요. 앱 목록에서 확인하세요

MCP를 쓰는 앱 모두 보기 →

JSON 설정은 아래 “개발자용”에 있어요

막혔나요? MCP As A Judge을 쓰는 사람에게 물어보세요💬 토론 →
개발자용: 터미널 명령과 JSON 설정

컴퓨터에 설치

Claude Code

claude mcp add --scope user as-a-judge -- uvx mcp-as-a-judge

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "as-a-judge": {
      "command": "uvx",
      "args": [
        "mcp-as-a-judge"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "as-a-judge": {
      "command": "uvx",
      "args": [
        "mcp-as-a-judge"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "as-a-judge": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "mcp-as-a-judge"
      ]
    }
  }
}

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

한눈에 보기

주간 다운로드i
70/주
연결 방식
내 컴퓨터에서 실행
최신 버전i
0.3.20
레지스트리 공개i
2025년 9월 20일
코드 마지막 변경i
2025년 12월 15일
제작자
OtherVibes
패키지
pypi: mcp-as-a-judge
레지스트리 상태
활성

어떤 앱에서 쓸 수 있나요

이 서버의 연결 방식과 각 앱의 공식 문서를 바탕으로 했어요. 2026년 11월 10일 확인.

내 컴퓨터에서 실행하는 앱

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

모든 앱과 장단점 →

할 수 있는 일

내 컴퓨터에서 실행돼요. 설치하면 AI 앱에 도구 목록이 나타나요.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 19일 점검

  • ✓ 통과

    제작자와 저장소 일치

    레지스트리 이름이 GitHub 계정 OtherVibes 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요

  • ! 주의

    계속 관리되고 있음

    코드 마지막 변경: 11개월 전, 6개월 넘게 지났어요

  • ✓ 통과

    라이선스 있음

    MIT 사용

  • – 해당 없음

    엔드포인트 응답

    내 컴퓨터에서 실행되는 서버라 인터넷 엔드포인트가 없어요

  • – 해당 없음

    OAuth로 로그인

    내 컴퓨터에서 실행되며, 대신 로컬 설정을 사용해요

  • … 아직 점검 안 함

    도구 설명에 숨겨진 지시 없음

    내 컴퓨터에서 실행돼요. 도구 목록은 인터넷 엔드포인트가 있는 서버에서만 읽을 수 있어요

공개된 취약점 (OSV.dev)

OSV.dev에 mcp-as-a-judge@0.3.20 항목이 없습니다

이 버전의 패키지 자체만 확인하며 모든 의존성은 아닙니다 · 확인 2026년 11월 15일

우리가 확인하는 것 → · JSON

제작자: 재확인 요청 또는 잘못된 정보 신고
제작자용: README에 배지 달기

제작자라면 이 코드를 README에 붙여 넣으세요. 배지는 이 페이지로 연결됩니다.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/othervibes-mcp-as-a-judge.svg)](https://mcp.popnx.com/en/servers/othervibes-mcp-as-a-judge)

토론

질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.

아직 글이 없어요. 처음으로 질문하거나 공유해 보세요.

이곳의 글은 사용자가 쓴 것으로, PopNx 팀의 글이 아니에요.

로그인하고 글쓰기

사용자 리뷰

아직 리뷰가 없어요

로그인하고 리뷰 쓰기

검색 및 AI 기억 카테고리의 다른 서버와 비교i

  • 이 카테고리의 다른 서버 6430개 중 94%보다 스타가 많아요
  • 이 카테고리의 다른 서버 6430개 중 0%보다 최근에 레지스트리에 공개됐어요
  • 기본 점검 결과가 이 카테고리의 다른 서버 6430개 중 50%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

MCP As A Judge, 안전한가요?

해당하는 기본 점검 3개 중 2개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

레지스트리에 필수 키가 나와 있지 않아요. 다만 처음 쓸 때 로그인을 요구하는 서버도 있어요.

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

내 컴퓨터에서 실행돼요. AI 앱이 필요할 때 실행하고, 데이터는 제작자의 서버를 거치지 않아요(서버 자체가 온라인 서비스를 호출하는 경우는 제외).

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 11개월 전 변경됐고, 최신 버전(0.3.20)은 14개월 전 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. 내 컴퓨터에 Python (uv)도 있어야 해요.

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)

비슷하게 동작하는 다른 것

같은 카테고리, 다른 제작자, 명령 확인 완료. 공식이 먼저, 그다음 스타 순.

카드 보는 법:↓ 주간 다운로드i★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

OpenSEO

Keyword research, site audits, rank tracking and AI visibility for your AI agent.

제작자: every-app널리 사용됨★ 2.8만5일 전 업데이트

클라우드에서 실행✓ everyapp.com

Exa

Connect AI agents to Exa for web search, content fetching, and multi-step research.

제작자: exa-labs널리 사용됨★ 5.2천2개월 전 업데이트

클라우드에서 실행✓ 서비스 회사 · exa.aiPopNx 팀이 직접 써 봄

Microsoft Learn MCP

Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.

제작자: MicrosoftDocs널리 사용됨★ 2천12개월 전 업데이트

클라우드에서 실행✓ 서비스 회사 · microsoft.comPopNx 팀이 직접 써 봄

Docs

Search and read Empryo's documentation. Read-only, no auth, no local access.

제작자: proxysoul성장 중★ 1.6천2개월 전 업데이트

클라우드에서 실행✓ empryo.com
비슷한 항목과 비교
이 항목
MCP As A Judge
OpenSEOExaMicrosoft Learn MCPDocsCOTAL actions (cotal.ai)
실행 위치컴퓨터에 설치 필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요
키 필요아니요아니요아니요아니요아니요아니요
Claude에서 +로 추가아니요예예예아니요아니요
기본 점검2/35/52/44/44/44/4
라이선스MITMITMITCC-BY-4.0NOASSERTIONApache-2.0
가격등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

MCP as a Judge ⚖️

mcp-name: io.github.OtherVibes/mcp-as-a-judge

MCP as a Judge acts as a validation layer between AI coding assistants and LLMs, helping ensure safer and higher-quality code.

MCP as a Judge is a behavioral MCP that strengthens AI coding assistants by requiring explicit LLM evaluations for:

  • Research, system design, and planning
  • Code changes, testing, and task-completion verification

It enforces evidence-based research, reuse over reinvention, and human-in-the-loop decisions.

If your IDE has rules/agents (Copilot, Cursor, Claude Code), keep using them—this Judge adds enforceable approval gates on plan, code diffs, and tests.

Key problems with AI coding assistants and LLMs

  • Treat LLM output as ground truth; skip research and use outdated information
  • Reinvent the wheel instead of reusing libraries and existing code
  • Cut corners: code below engineering standards and weak tests
  • Make unilateral decisions when requirements are ambiguous or plans change
  • Security blind spots: missing input validation, injection risks/attack vectors, least‑privilege violations, and weak defensive programming

Vibe coding doesn’t have to be frustrating

What it enforces
  • Evidence‑based research and reuse (best practices, libraries, existing code)
  • Plan‑first delivery aligned to user requirements
  • Human‑in‑the‑loop decisions for ambiguity and blockers
  • Quality gates on code and tests (security, performance, maintainability)
Key capabilities
  • Intelligent code evaluation via MCP sampling; enforces software‑engineering standards and flags security/performance/maintainability risks
  • Comprehensive plan/design review: validates architecture, research depth, requirements fit, and implementation approach
  • User‑driven decisions via MCP elicitation: clarifies requirements, resolves obstacles, and keeps choices transparent
  • Security validation in system design and code changes
Tools and how they help
ToolWhat it solves
set_coding_taskCreates/updates task metadata; classifies task_size; returns next-step workflow guidance
get_current_coding_taskRecovers the latest task_id and metadata to resume work safely
judge_coding_planValidates plan/design; requires library selection and internal reuse maps; flags risks
judge_code_changeReviews unified Git diffs for correctness, reuse, security, and code quality
judge_testing_implementationValidates tests using real runner output and optional coverage
judge_coding_task_completionFinal gate ensuring plan, code, and tests approvals before completion
raise_missing_requirementsElicits missing details and decisions to unblock progress
raise_obstacleEngages the user on trade‑offs, constraints, and enforced changes

🚀 Quick Start

Requirements & Recommendations
MCP Client Prerequisites

MCP as a Judge is heavily dependent on MCP Sampling and MCP Elicitation features for its core functionality:

  • [MCP Sampling](https://modelcontextprotocol.io/docs/learn/client-concepts#sampling) - Required for AI-powered code evaluation and judgment
  • [MCP Elicitation](https://modelcontextprotocol.io/docs/learn/client-concepts#elicitation) - Required for interactive user decision prompts
System Prerequisites
  • Docker Desktop / Python 3.13+ - Required for running the MCP server
Supported AI Assistants
AI AssistantPlatformMCP SupportStatusNotes
GitHub CopilotVisual Studio Code✅ FullRecommendedComplete MCP integration with sampling and elicitation

| Claude Code | - | ⚠️ Partial | Requires LLM API key | Sampling Support feature request Elicitation Support feature request | | Cursor | - | ⚠️ Partial | Requires LLM API key | MCP support available, but sampling/elicitation limited | | Augment | - | ⚠️ Partial | Requires LLM API key | MCP support available, but sampling/elicitation limited | | Qodo | - | ⚠️ Partial | Requires LLM API key | MCP support available, but sampling/elicitation limited |

✅ Recommended setup: GitHub Copilot + VS Code — full MCP sampling; no API key needed.

⚠️ Critical: For assistants without full MCP sampling (Cursor, Claude Code, Augment, Qodo), you MUST set LLM_API_KEY. Without it, the server cannot evaluate plans or code. See LLM API Configuration.

💡 Tip: Prefer large context models (≥ 1M tokens) for better analysis and judgments.

If the MCP server isn’t auto‑used

For troubleshooting, visit the FAQs section.

🔧 MCP Configuration

Configure MCP as a Judge in your MCP-enabled client:

Method 1: Using Docker (Recommended)
One‑click install for VS Code (MCP)

Notes:

  • VS Code controls the sampling model; select it via “MCP: List Servers → mcp-as-a-judge → Configure Model Access”.
  1. Configure MCP Settings:

Add this to your MCP client configuration file:

   {

"command": "docker", "args": ["run", "--rm", "-i", "--pull=always", "ghcr.io/othervibes/mcp-as-a-judge:latest"], "env": { "LLM_API_KEY": "your-openai-api-key-here", "LLM_MODEL_NAME": "gpt-4o-mini" } }

📝 Configuration Options (All Optional):

  • LLM_API_KEY: Optional for GitHub Copilot + VS Code (has built-in MCP sampling)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)
  • The --pull=always flag ensures you always get the latest version automatically

Then manually update when needed:

   # Pull the latest version

docker pull ghcr.io/othervibes/mcp-as-a-judge:latest

Method 2: Using uv
  1. Install the package:
   uv tool install mcp-as-a-judge
  1. Configure MCP Settings:

The MCP server may be automatically detected by your MCP‑enabled client.

📝 Notes:

  • No additional configuration needed for GitHub Copilot + VS Code (has built-in MCP sampling)
  • LLM_API_KEY is optional and can be set via environment variable if needed
  1. To update to the latest version:
   # Update MCP as a Judge to the latest version

uv tool upgrade mcp-as-a-judge

### Select a sampling model in VS Code
  • Open Command Palette (Cmd/Ctrl+Shift+P) → “MCP: List Servers”
  • Select the configured server “mcp-as-a-judge”
  • Choose “Configure Model Access”
  • Check your preferred model(s) to enable sampling

🔑 LLM API Configuration (Optional)

For AI assistants without full MCP sampling support you can configure an LLM API key as a fallback. This ensures MCP as a Judge works even when the client doesn't support MCP sampling.

  • Set LLM_API_KEY (unified key). Vendor is auto-detected; optionally set LLM_MODEL_NAME to override the default.
Supported LLM Providers
RankProviderAPI Key FormatDefault ModelNotes
1OpenAIsk-...gpt-4.1Fast and reliable model optimized for speed
2Anthropicsk-ant-...claude-sonnet-4-20250514High-performance with exceptional reasoning
3GoogleAIza...gemini-2.5-proMost advanced model with built-in thinking
4Azure OpenAI[a-f0-9]{32}gpt-4.1Same as OpenAI but via Azure
5AWS BedrockAWS credentialsanthropic.claude-sonnet-4-20250514-v1:0Aligned with Anthropic
6Vertex AIService Account JSONgemini-2.5-proEnterprise Gemini via Google Cloud
7Groqgsk_...deepseek-r1Best reasoning model with speed advantage
8OpenRoutersk-or-...deepseek/deepseek-r1Best reasoning model available
9xAIxai-...grok-code-fast-1Latest coding-focused model (Aug 2025)
10Mistral[a-f0-9]{64}pixtral-largeMost advanced model (124B params)
Client-Specific Setup
Cursor
  1. Open Cursor Settings:
  • Go to File → Preferences → Cursor Settings
  • Navigate to the MCP tab
  • Click + Add to add a new MCP server
  1. Add MCP Server Configuration:
   {

"command": "uv", "args": ["tool", "run", "mcp-as-a-judge"], "env": { "LLM_API_KEY": "your-openai-api-key-here", "LLM_MODEL_NAME": "gpt-4.1" } }

📝 Configuration Options:

  • LLM_API_KEY: Required for Cursor (limited MCP sampling)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)
Claude Code
  1. Add MCP Server via CLI:
   # Set environment variables first (optional model override)

export LLM_API_KEY="your_api_key_here" export LLM_MODEL_NAME="claude-3-5-haiku" # Optional: faster/cheaper model

Add MCP server

claude mcp add mcp-as-a-judge -- uv tool run mcp-as-a-judge

  1. Alternative: Manual Configuration:
  • Create or edit ~/.config/claude-code/mcp_servers.json
   {

"command": "uv", "args": ["tool", "run", "mcp-as-a-judge"], "env": { "LLM_API_KEY": "your-anthropic-api-key-here", "LLM_MODEL_NAME": "claude-3-5-haiku" } }

📝 Configuration Options:

  • LLM_API_KEY: Required for Claude Code (limited MCP sampling)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)
Other MCP Clients

For other MCP-compatible clients, use the standard MCP server configuration:

{

"command": "uv", "args": ["tool", "run", "mcp-as-a-judge"], "env": { "LLM_API_KEY": "your-openai-api-key-here", "LLM_MODEL_NAME": "gpt-5" } }

📝 Configuration Options:

  • LLM_API_KEY: Required for most MCP clients (except GitHub Copilot + VS Code)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)

🔒 Privacy & Flexible AI Integration

🔑 MCP Sampling (Preferred) + LLM API Key Fallback

Primary Mode: MCP Sampling

  • All judgments are performed using MCP Sampling capability
  • No need to confi

앞부분만 보여 드려요. 나머지는 저장소에서 읽어 보세요