Prototipo · Versión preliminar: todos los servidores del registro oficial, sincronizados cada 30 minutos. Inicia sesión con Google para escribir reseñas.Prototipo · se actualiza cada 30 min
PopNx MCPServidores MCP para quienes usan IA · en palabras sencillas

MCP As A Judge

de OtherVibesversión 0.3.20i★ 17iSe ejecuta en tu computadoraRepositorio ↗
Nombre en el registroio.github.OtherVibes/mcp-as-a-judge

Cómo instalar

What it does

MCP as a Judge: a behavioral MCP that strengthens AI coding assistants via explicit LLM evaluations

  • Connects Se ejecuta en tu computadora
  • Account or key No key needed
  • Category Búsqueda y memoria de IA

Úsalo junto con

Skills que enseñan a la IA este tipo de trabajo; funcionan junto a este

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

de google-research★ 35.6381 skills

Skill · Guía de trabajo

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

de BigBodyCobain★ 11.6051 skills

Skill · Guía de trabajo

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

de gosom★ 82361 skills

Skill · Guía de trabajo

Por qué está en este puesto

Las listas se ordenan por una puntuación de uso (sobre 100) con estas partes

Popularidad15/80Estrellas de GitHub o descargas semanales: la mayor cuenta 60, la menor 20
Actualidad3/12Puntuación completa con una versión o cambio de código en 30 días
Sigue respondiendo0/8El endpoint en la nube respondió en la última revisión
Puntuación de uso18/100

Calidad: Pasó 2/3 revisiones básicas (se muestra, no ordena) · Impulso: Sin datos aún (Solo se usa en la pestaña En auge)

Instalación

Elige la app de IA que usas y copia la configuración.

Que tu IA lo instale con una frase

Instala MCP As A Judge. Sigue https://mcp.popnx.com/i/othervibes-mcp-as-a-judge.md, enséñame los comandos y espera mi OK antes de ejecutarlos.

Pégala en una IA que trabaje en tu equipo (como Claude Code o Cursor). Lee nuestros pasos, te muestra los comandos y espera tu OK. Sin clave ni registro. · Ver el texto completo que lee tu IA

Pasó 2/3 revisiones · Funciona en tu computadora · ✓ Comandos revisados el 13 nov 2026

Primero: ¿qué IA usas?

Elige tu app y los pasos aparecen abajo.

Funciona con Claude, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez) · Solo en la app de Claude para computadora (Windows o Mac), no en la web ni en el móvil

Que la IA lo instale

Copia este mensaje en un chat de Claude. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server MCP As A Judge para Claude en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "mcpServers": { "as-a-judge": { "command": "uvx", "args": [ "mcp-as-a-judge" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de MCP As A Judge aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala uv (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    uv --version
    • Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita

    Abrir la página de descarga de uv ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version

    Se instala una vez y sirve para todo lo que usa uv

  2. Abre el archivo de configuración de la app de Claude de escritorio

    SettingsDeveloperEdit Config

  3. Pega esta configuración y guarda el archivo

    {
      "mcpServers": {
        "as-a-judge": {
          "command": "uvx",
          "args": [
            "mcp-as-a-judge"
          ]
        }
      }
    }
  4. Cierra Claude y vuelve a abrirlo

  5. Pruébalo

    Usa MCP As A Judge y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Claude dice que está usando MCP As A Judge o muestra una herramienta de MCP As A Judge en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

ChatGPT todavía no puede conectar MCP As A Judge

MCP As A Judge se instala en tu computadora, pero ChatGPT solo conecta servidores que funcionan en la web

Lo que puedes hacer en su lugar

A · Usa una app que pueda conectar MCP As A Judge

  • Instala Python (uv) en tu computadora primero (una sola vez) · Solo en la app de Claude para computadora (Windows o Mac), no en la web ni en el móvil
  • Instala Python (uv) en tu computadora primero (una sola vez)
  • Instala Python (uv) en tu computadora primero (una sola vez)
  • Instala Python (uv) en tu computadora primero (una sola vez)

B · Otros en Búsqueda y memoria de IA que funcionan con ChatGPT

Elegidos entre los más usados de la misma categoría, solo los que se conectan con una dirección y sin clave

Funciona con Claude Code, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de Claude Code. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server MCP As A Judge para Claude Code en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): claude mcp add --scope user as-a-judge -- uvx mcp-as-a-judge 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de MCP As A Judge aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala uv (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    uv --version
    • Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita

    Abrir la página de descarga de uv ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version

    Se instala una vez y sirve para todo lo que usa uv

  2. Abre la Terminal

    Mac: pulsa Command+Espacio y escribe Terminal · Windows: abre PowerShell

  3. Pega este comando y pulsa Enter

    claude mcp add --scope user as-a-judge -- uvx mcp-as-a-judge
  4. Escribe /mcp en Claude Code

    Deberías ver MCP As A Judge en la lista como conectado

  5. Pruébalo

    Usa MCP As A Judge y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Claude Code dice que está usando MCP As A Judge o muestra una herramienta de MCP As A Judge en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con Cursor, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de Cursor. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server MCP As A Judge para Cursor en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "mcpServers": { "as-a-judge": { "command": "uvx", "args": [ "mcp-as-a-judge" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de MCP As A Judge aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala uv (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    uv --version
    • Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita

    Abrir la página de descarga de uv ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version

    Se instala una vez y sirve para todo lo que usa uv

  2. Pulsa este botón para abrir Cursor

    Abrir en Cursor

    Cursor te pedirá confirmar; pulsa Install

  3. Abre el chat de IA de Cursor en modo Agent

  4. Pruébalo

    Usa MCP As A Judge y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Cursor dice que está usando MCP As A Judge o muestra una herramienta de MCP As A Judge en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Cursor el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con VS Code, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de VS Code. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server MCP As A Judge para VS Code en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "servers": { "as-a-judge": { "type": "stdio", "command": "uvx", "args": [ "mcp-as-a-judge" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de MCP As A Judge aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala uv (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    uv --version
    • Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita

    Abrir la página de descarga de uv ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version

    Se instala una vez y sirve para todo lo que usa uv

  2. Pulsa este botón para abrir VS Code

    Abrir en VS Code

    VS Code te pedirá confirmar; pulsa Install

  3. Abre el chat de IA de VS Code en modo Agent

  4. Pruébalo

    Usa MCP As A Judge y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si VS Code dice que está usando MCP As A Judge o muestra una herramienta de MCP As A Judge en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de VS Code el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Otras apps que usan MCP, como Windsurf, Zed o Gemini CLI, añaden servidores de forma distinta. Míralo en la lista de apps

Ver todas las apps que usan MCP →

La configuración JSON está en “Para desarrolladores”, abajo

¿Te atascaste? Pregunta a quien usa MCP As A Judge💬 Conversación →
Para desarrolladores: comandos de Terminal y configuración JSON

Instalado en tu computadora

Claude Code

claude mcp add --scope user as-a-judge -- uvx mcp-as-a-judge

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "as-a-judge": {
      "command": "uvx",
      "args": [
        "mcp-as-a-judge"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "as-a-judge": {
      "command": "uvx",
      "args": [
        "mcp-as-a-judge"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "as-a-judge": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "mcp-as-a-judge"
      ]
    }
  }
}

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

De un vistazo

Descargas por semanai
70/sem
Conexión
Se ejecuta en tu computadora
Última versióni
0.3.20
Publicado en el registroi
20 sept 2025
Último cambio de códigoi
15 dic 2025
Creador
OtherVibes
Paquetes
pypi: mcp-as-a-judge
Estado en el registro
Activo

Qué apps pueden usarlo

Según cómo se conecta este servidor y la documentación de cada app, comprobado el 10 nov 2026.

Se ejecutan en tu computadora en

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

Todas las apps, con ventajas y desventajas →

Qué puede hacer

Se ejecuta en tu computadora; la lista de herramientas aparece en tu app de IA después de instalarlo.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 19 nov 2026

  • ✓ Superada

    El creador coincide con el repo

    El nombre en el registro se verificó con la cuenta de GitHub OtherVibes, dueña del repo

  • ! Precaución

    Sigue en mantenimiento

    Último cambio de código: hace 11 meses, hace más de 6 meses

  • ✓ Superada

    Tiene licencia

    Usa MIT

  • – No aplica

    El endpoint responde

    Este se ejecuta en tu computadora; no hay endpoint en internet

  • – No aplica

    Inicio de sesión con OAuth

    Se ejecuta en tu computadora y usa ajustes locales en su lugar

  • … Aún sin revisar

    Sin instrucciones ocultas en las descripciones de herramientas

    Se ejecuta en tu computadora; solo podemos leer listas de herramientas de endpoints en internet

Vulnerabilidades publicadas (OSV.dev)

Sin entradas en OSV.dev para mcp-as-a-judge@0.3.20

Solo revisa esta versión del paquete, no todas sus dependencias · revisado 15 nov 2026

Qué revisamos → · JSON

Creadores: pedir otra revisión o avisar de un dato erróneo
Para autores: añade una insignia a tu README

Si lo creaste tú, pega este código en tu README. La insignia enlaza a esta página.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/othervibes-mcp-as-a-judge.svg)](https://mcp.popnx.com/en/servers/othervibes-mcp-as-a-judge)

Conversación

Pregunta, comparte un consejo o avisa de que no funciona. Ordenado por lo que la gente marcó como útil.

Aún no hay publicaciones. Sé la primera persona en preguntar o compartir.

Lo publicado aquí lo escriben usuarios, no el equipo de PopNx.

Inicia sesión para publicar

Reseñas de usuarios

Aún no hay reseñas

Inicia sesión para escribir una reseña

Comparado con otros en Búsqueda y memoria de IAi

  • Más estrellas que el 94% de los otros 6430 servidores de esta categoría
  • Publicado en el registro más recientemente que el 0% de los otros 6430 servidores de esta categoría
  • Revisiones básicas iguales o mejores que el 50% de los otros 6430 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro MCP As A Judge?

Superó 2 de 3 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en tu computadora. Tu app de IA lo inicia cuando hace falta, y los datos no pasan por los servidores del creador (a menos que el propio servidor llame a un servicio en línea).

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez hace 11 meses, y la última versión (0.3.20) llegó al registro hace 14 meses.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. También necesitas Python (uv) en tu computadora.

¿Qué puedo usar en su lugar?

En la misma categoría: OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)

Alternativas parecidas

Misma categoría, otros creadores, comandos ya revisados. Primero los oficiales, luego por estrellas.

Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

OpenSEO

Keyword research, site audits, rank tracking and AI visibility for your AI agent.

de every-appMuy usado★ 28,3 milActualizado hace 5 días

Se ejecuta en la nube✓ everyapp.com

Exa

Connect AI agents to Exa for web search, content fetching, and multi-step research.

de exa-labsMuy usado★ 5,2 milActualizado hace 2 meses

Se ejecuta en la nube✓ del servicio · exa.aiProbado por el equipo de PopNx

Microsoft Learn MCP

Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.

de MicrosoftDocsMuy usado★ 2 milActualizado hace 12 meses

Se ejecuta en la nube✓ del servicio · microsoft.comProbado por el equipo de PopNx

Docs

Search and read Empryo's documentation. Read-only, no auth, no local access.

de proxysoulEn crecimiento★ 1,6 milActualizado hace 2 meses

Se ejecuta en la nube✓ empryo.com

COTAL actions (cotal.ai)

cotal.ai actions: product overview, site search, build log, feedback, Cloud waitlist, updates, calls

de Cotal-AIEn crecimiento★ 401Actualizado hace 2 meses

Se ejecuta en la nube✓ del servicio · cotal.ai
Comparado con otros parecidos
Este
MCP As A Judge
OpenSEOExaMicrosoft Learn MCPDocsCOTAL actions (cotal.ai)
Dónde se ejecutaSe instala en tu equipoFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nada
Necesita claveNoNoNoNoNoNo
Se añade con + en ClaudeNoSíSíSíNoNo
Revisiones básicas2/35/52/44/44/44/4
LicenciaMITMITMITCC-BY-4.0NOASSERTIONApache-2.0
PrecioSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registro

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

MCP as a Judge ⚖️

mcp-name: io.github.OtherVibes/mcp-as-a-judge

MCP as a Judge acts as a validation layer between AI coding assistants and LLMs, helping ensure safer and higher-quality code.

MCP as a Judge is a behavioral MCP that strengthens AI coding assistants by requiring explicit LLM evaluations for:

  • Research, system design, and planning
  • Code changes, testing, and task-completion verification

It enforces evidence-based research, reuse over reinvention, and human-in-the-loop decisions.

If your IDE has rules/agents (Copilot, Cursor, Claude Code), keep using them—this Judge adds enforceable approval gates on plan, code diffs, and tests.

Key problems with AI coding assistants and LLMs

  • Treat LLM output as ground truth; skip research and use outdated information
  • Reinvent the wheel instead of reusing libraries and existing code
  • Cut corners: code below engineering standards and weak tests
  • Make unilateral decisions when requirements are ambiguous or plans change
  • Security blind spots: missing input validation, injection risks/attack vectors, least‑privilege violations, and weak defensive programming

Vibe coding doesn’t have to be frustrating

What it enforces
  • Evidence‑based research and reuse (best practices, libraries, existing code)
  • Plan‑first delivery aligned to user requirements
  • Human‑in‑the‑loop decisions for ambiguity and blockers
  • Quality gates on code and tests (security, performance, maintainability)
Key capabilities
  • Intelligent code evaluation via MCP sampling; enforces software‑engineering standards and flags security/performance/maintainability risks
  • Comprehensive plan/design review: validates architecture, research depth, requirements fit, and implementation approach
  • User‑driven decisions via MCP elicitation: clarifies requirements, resolves obstacles, and keeps choices transparent
  • Security validation in system design and code changes
Tools and how they help
ToolWhat it solves
set_coding_taskCreates/updates task metadata; classifies task_size; returns next-step workflow guidance
get_current_coding_taskRecovers the latest task_id and metadata to resume work safely
judge_coding_planValidates plan/design; requires library selection and internal reuse maps; flags risks
judge_code_changeReviews unified Git diffs for correctness, reuse, security, and code quality
judge_testing_implementationValidates tests using real runner output and optional coverage
judge_coding_task_completionFinal gate ensuring plan, code, and tests approvals before completion
raise_missing_requirementsElicits missing details and decisions to unblock progress
raise_obstacleEngages the user on trade‑offs, constraints, and enforced changes

🚀 Quick Start

Requirements & Recommendations
MCP Client Prerequisites

MCP as a Judge is heavily dependent on MCP Sampling and MCP Elicitation features for its core functionality:

  • [MCP Sampling](https://modelcontextprotocol.io/docs/learn/client-concepts#sampling) - Required for AI-powered code evaluation and judgment
  • [MCP Elicitation](https://modelcontextprotocol.io/docs/learn/client-concepts#elicitation) - Required for interactive user decision prompts
System Prerequisites
  • Docker Desktop / Python 3.13+ - Required for running the MCP server
Supported AI Assistants
AI AssistantPlatformMCP SupportStatusNotes
GitHub CopilotVisual Studio Code✅ FullRecommendedComplete MCP integration with sampling and elicitation

| Claude Code | - | ⚠️ Partial | Requires LLM API key | Sampling Support feature request Elicitation Support feature request | | Cursor | - | ⚠️ Partial | Requires LLM API key | MCP support available, but sampling/elicitation limited | | Augment | - | ⚠️ Partial | Requires LLM API key | MCP support available, but sampling/elicitation limited | | Qodo | - | ⚠️ Partial | Requires LLM API key | MCP support available, but sampling/elicitation limited |

✅ Recommended setup: GitHub Copilot + VS Code — full MCP sampling; no API key needed.

⚠️ Critical: For assistants without full MCP sampling (Cursor, Claude Code, Augment, Qodo), you MUST set LLM_API_KEY. Without it, the server cannot evaluate plans or code. See LLM API Configuration.

💡 Tip: Prefer large context models (≥ 1M tokens) for better analysis and judgments.

If the MCP server isn’t auto‑used

For troubleshooting, visit the FAQs section.

🔧 MCP Configuration

Configure MCP as a Judge in your MCP-enabled client:

Method 1: Using Docker (Recommended)
One‑click install for VS Code (MCP)

Notes:

  • VS Code controls the sampling model; select it via “MCP: List Servers → mcp-as-a-judge → Configure Model Access”.
  1. Configure MCP Settings:

Add this to your MCP client configuration file:

   {

"command": "docker", "args": ["run", "--rm", "-i", "--pull=always", "ghcr.io/othervibes/mcp-as-a-judge:latest"], "env": { "LLM_API_KEY": "your-openai-api-key-here", "LLM_MODEL_NAME": "gpt-4o-mini" } }

📝 Configuration Options (All Optional):

  • LLM_API_KEY: Optional for GitHub Copilot + VS Code (has built-in MCP sampling)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)
  • The --pull=always flag ensures you always get the latest version automatically

Then manually update when needed:

   # Pull the latest version

docker pull ghcr.io/othervibes/mcp-as-a-judge:latest

Method 2: Using uv
  1. Install the package:
   uv tool install mcp-as-a-judge
  1. Configure MCP Settings:

The MCP server may be automatically detected by your MCP‑enabled client.

📝 Notes:

  • No additional configuration needed for GitHub Copilot + VS Code (has built-in MCP sampling)
  • LLM_API_KEY is optional and can be set via environment variable if needed
  1. To update to the latest version:
   # Update MCP as a Judge to the latest version

uv tool upgrade mcp-as-a-judge

### Select a sampling model in VS Code
  • Open Command Palette (Cmd/Ctrl+Shift+P) → “MCP: List Servers”
  • Select the configured server “mcp-as-a-judge”
  • Choose “Configure Model Access”
  • Check your preferred model(s) to enable sampling

🔑 LLM API Configuration (Optional)

For AI assistants without full MCP sampling support you can configure an LLM API key as a fallback. This ensures MCP as a Judge works even when the client doesn't support MCP sampling.

  • Set LLM_API_KEY (unified key). Vendor is auto-detected; optionally set LLM_MODEL_NAME to override the default.
Supported LLM Providers
RankProviderAPI Key FormatDefault ModelNotes
1OpenAIsk-...gpt-4.1Fast and reliable model optimized for speed
2Anthropicsk-ant-...claude-sonnet-4-20250514High-performance with exceptional reasoning
3GoogleAIza...gemini-2.5-proMost advanced model with built-in thinking
4Azure OpenAI[a-f0-9]{32}gpt-4.1Same as OpenAI but via Azure
5AWS BedrockAWS credentialsanthropic.claude-sonnet-4-20250514-v1:0Aligned with Anthropic
6Vertex AIService Account JSONgemini-2.5-proEnterprise Gemini via Google Cloud
7Groqgsk_...deepseek-r1Best reasoning model with speed advantage
8OpenRoutersk-or-...deepseek/deepseek-r1Best reasoning model available
9xAIxai-...grok-code-fast-1Latest coding-focused model (Aug 2025)
10Mistral[a-f0-9]{64}pixtral-largeMost advanced model (124B params)
Client-Specific Setup
Cursor
  1. Open Cursor Settings:
  • Go to File → Preferences → Cursor Settings
  • Navigate to the MCP tab
  • Click + Add to add a new MCP server
  1. Add MCP Server Configuration:
   {

"command": "uv", "args": ["tool", "run", "mcp-as-a-judge"], "env": { "LLM_API_KEY": "your-openai-api-key-here", "LLM_MODEL_NAME": "gpt-4.1" } }

📝 Configuration Options:

  • LLM_API_KEY: Required for Cursor (limited MCP sampling)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)
Claude Code
  1. Add MCP Server via CLI:
   # Set environment variables first (optional model override)

export LLM_API_KEY="your_api_key_here" export LLM_MODEL_NAME="claude-3-5-haiku" # Optional: faster/cheaper model

Add MCP server

claude mcp add mcp-as-a-judge -- uv tool run mcp-as-a-judge

  1. Alternative: Manual Configuration:
  • Create or edit ~/.config/claude-code/mcp_servers.json
   {

"command": "uv", "args": ["tool", "run", "mcp-as-a-judge"], "env": { "LLM_API_KEY": "your-anthropic-api-key-here", "LLM_MODEL_NAME": "claude-3-5-haiku" } }

📝 Configuration Options:

  • LLM_API_KEY: Required for Claude Code (limited MCP sampling)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)
Other MCP Clients

For other MCP-compatible clients, use the standard MCP server configuration:

{

"command": "uv", "args": ["tool", "run", "mcp-as-a-judge"], "env": { "LLM_API_KEY": "your-openai-api-key-here", "LLM_MODEL_NAME": "gpt-5" } }

📝 Configuration Options:

  • LLM_API_KEY: Required for most MCP clients (except GitHub Copilot + VS Code)
  • LLM_MODEL_NAME: Optional custom model (see Supported LLM Providers for defaults)

🔒 Privacy & Flexible AI Integration

🔑 MCP Sampling (Preferred) + LLM API Key Fallback

Primary Mode: MCP Sampling

  • All judgments are performed using MCP Sampling capability
  • No need to confi

Solo se muestra el principio; lee el resto en el repo