Evalview MCP

Name: Evalview MCP
Author: hidai25

de hidai25versión 0.6.0i★ 142iSe ejecuta en tu computadora

Nombre en el registroio.github.hidai25/evalview-mcp

Cómo instalar

What it does

Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.

Connects Se ejecuta en tu computadora
Account or key No key needed
Category Herramientas para desarrolladores

Instalación

Elige la app de IA que usas y copia la configuración.

Pasó 3/3 revisiones · Funciona en tu computadora · ✓ Comandos revisados el 14 nov 2026

Primero: ¿qué IA usas?

ClaudeWeb · app · móvilChatGPTWebClaude CodeTerminalCursorEditor de códigoVS CodeEditor de códigoOtrasOtras apps

Elige tu app y los pasos aparecen abajo.

Funciona con Claude, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez) · Solo en la app de Claude para computadora (Windows o Mac), no en la web ni en el móvil

Que la IA lo instale

Copia este mensaje en un chat de Claude. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Evalview MCP para Claude en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "mcpServers": { "evalview": { "command": "uvx", "args": [ "evalview" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Evalview MCP aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

1
Instala uv (si no lo tienes)
¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter
uv --version
- Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
- Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
Cómo abrir la Terminal
Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter
Windows: abre Inicio, escribe Windows PowerShell y elige Abrir
Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita
Abrir la página de descarga de uv ↗
Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version
Se instala una vez y sirve para todo lo que usa uv
Hecho
Abre el archivo de configuración de la app de Claude de escritorio
SettingsDeveloperEdit Config
Hecho

Pega esta configuración y guarda el archivo

{
  "mcpServers": {
    "evalview": {
      "command": "uvx",
      "args": [
        "evalview"
      ]
    }
  }
}

Hecho

Cierra Claude y vuelve a abrirlo
Hecho
Pruébalo
Usa Evalview MCP y dime qué puedes hacer por mí; luego muéstrame una cosa
✓ Si Claude dice que está usando Evalview MCP o muestra una herramienta de Evalview MCP en la respuesta, ya está conectado

1 ajuste(s) opcional(es) (funciona sin ellos)

El comando de arriba funciona sin estos valores. Añádelos solo si quieres cambiar algo, según la descripción del autor.

OPENAI_API_KEY Clave de API de OpenAI para la puntuación de calidad de salida mediante LLM-as-judge. Opcional; la evaluación determinista de herramientas y secuencias funciona sin ella.
Ver original en inglés
OpenAI API key for LLM-as-judge output quality scoring. Optional — deterministic tool/sequence evaluation works without it.

Descripciones traducidas automáticamente; los nombres de variables quedan como en el original. Si dudas, mira el original.

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

ChatGPT todavía no puede conectar Evalview MCP

Evalview MCP se instala en tu computadora, pero ChatGPT solo conecta servidores que funcionan en la web

Lo que puedes hacer en su lugar

A · Usa una app que pueda conectar Evalview MCP

Pasos para Claude →Instala Python (uv) en tu computadora primero (una sola vez) · Solo en la app de Claude para computadora (Windows o Mac), no en la web ni en el móvil
Pasos para Claude Code →Instala Python (uv) en tu computadora primero (una sola vez)
Pasos para Cursor →Instala Python (uv) en tu computadora primero (una sola vez)
Pasos para VS Code →Instala Python (uv) en tu computadora primero (una sola vez)

B · Otros en Herramientas para desarrolladores que funcionan con ChatGPT

Elegidos entre los más usados de la misma categoría, solo los que se conectan con una dirección y sin clave

Sentry✓ ChatGPT
Compiler Explorer✓ ChatGPT
GitDiagram✓ ChatGPT

Funciona con Claude Code, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de Claude Code. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Evalview MCP para Claude Code en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): claude mcp add --scope user evalview -- uvx evalview 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Evalview MCP aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

1
Instala uv (si no lo tienes)
¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter
uv --version
- Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
- Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
Cómo abrir la Terminal
Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter
Windows: abre Inicio, escribe Windows PowerShell y elige Abrir
Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita
Abrir la página de descarga de uv ↗
Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version
Se instala una vez y sirve para todo lo que usa uv
Hecho
Abre la Terminal
Mac: pulsa Command+Espacio y escribe Terminal · Windows: abre PowerShell
Hecho

Pega este comando y pulsa Enter

claude mcp add --scope user evalview -- uvx evalview

Hecho

Escribe /mcp en Claude Code
Deberías ver Evalview MCP en la lista como conectado
Hecho
Pruébalo
Usa Evalview MCP y dime qué puedes hacer por mí; luego muéstrame una cosa
✓ Si Claude Code dice que está usando Evalview MCP o muestra una herramienta de Evalview MCP en la respuesta, ya está conectado

1 ajuste(s) opcional(es) (funciona sin ellos)

El comando de arriba funciona sin estos valores. Añádelos solo si quieres cambiar algo, según la descripción del autor.

OPENAI_API_KEY Clave de API de OpenAI para la puntuación de calidad de salida mediante LLM-as-judge. Opcional; la evaluación determinista de herramientas y secuencias funciona sin ella.
Ver original en inglés
OpenAI API key for LLM-as-judge output quality scoring. Optional — deterministic tool/sequence evaluation works without it.

Descripciones traducidas automáticamente; los nombres de variables quedan como en el original. Si dudas, mira el original.

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con Cursor, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de Cursor. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Evalview MCP para Cursor en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "mcpServers": { "evalview": { "command": "uvx", "args": [ "evalview" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Evalview MCP aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

1
Instala uv (si no lo tienes)
¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter
uv --version
- Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
- Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
Cómo abrir la Terminal
Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter
Windows: abre Inicio, escribe Windows PowerShell y elige Abrir
Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita
Abrir la página de descarga de uv ↗
Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version
Se instala una vez y sirve para todo lo que usa uv
Hecho
Pulsa este botón para abrir Cursor
Abrir en Cursor
Cursor te pedirá confirmar; pulsa Install
Hecho
Abre el chat de IA de Cursor en modo Agent
Hecho
Pruébalo
Usa Evalview MCP y dime qué puedes hacer por mí; luego muéstrame una cosa
✓ Si Cursor dice que está usando Evalview MCP o muestra una herramienta de Evalview MCP en la respuesta, ya está conectado

1 ajuste(s) opcional(es) (funciona sin ellos)

El comando de arriba funciona sin estos valores. Añádelos solo si quieres cambiar algo, según la descripción del autor.

OPENAI_API_KEY Clave de API de OpenAI para la puntuación de calidad de salida mediante LLM-as-judge. Opcional; la evaluación determinista de herramientas y secuencias funciona sin ella.
Ver original en inglés
OpenAI API key for LLM-as-judge output quality scoring. Optional — deterministic tool/sequence evaluation works without it.

Descripciones traducidas automáticamente; los nombres de variables quedan como en el original. Si dudas, mira el original.

Nombres de menú comprobados con la ayuda de Cursor el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con VS Code, pero hay que preparar algo antes

Instala Python (uv) en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de VS Code. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Evalview MCP para VS Code en este equipo, en este orden: 1) Comprueba uv con uv --version. Si falta, dime que lo instale desde https://docs.astral.sh/uv/getting-started/installation/; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "servers": { "evalview": { "type": "stdio", "command": "uvx", "args": [ "evalview" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Evalview MCP aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

1
Instala uv (si no lo tienes)
¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter
uv --version
- Aparece un número de versión, p. ej. uv … = ya está instalado, sáltate este paso
- Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
Cómo abrir la Terminal
Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter
Windows: abre Inicio, escribe Windows PowerShell y elige Abrir
Si no está instalado: uv no tiene instalador de clics. Copia el comando de una línea para tu sistema (macOS o Windows) desde la página oficial de uv y pégalo en la Terminal · no hace falta instalar Python aparte; uv lo descarga cuando lo necesita
Abrir la página de descarga de uv ↗
Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: uv --version
Se instala una vez y sirve para todo lo que usa uv
Hecho
Pulsa este botón para abrir VS Code
Abrir en VS Code
VS Code te pedirá confirmar; pulsa Install
Hecho
Abre el chat de IA de VS Code en modo Agent
Hecho
Pruébalo
Usa Evalview MCP y dime qué puedes hacer por mí; luego muéstrame una cosa
✓ Si VS Code dice que está usando Evalview MCP o muestra una herramienta de Evalview MCP en la respuesta, ya está conectado

1 ajuste(s) opcional(es) (funciona sin ellos)

El comando de arriba funciona sin estos valores. Añádelos solo si quieres cambiar algo, según la descripción del autor.

OPENAI_API_KEY Clave de API de OpenAI para la puntuación de calidad de salida mediante LLM-as-judge. Opcional; la evaluación determinista de herramientas y secuencias funciona sin ella.
Ver original en inglés
OpenAI API key for LLM-as-judge output quality scoring. Optional — deterministic tool/sequence evaluation works without it.

Descripciones traducidas automáticamente; los nombres de variables quedan como en el original. Si dudas, mira el original.

Nombres de menú comprobados con la ayuda de VS Code el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Otras apps que usan MCP, como Windsurf, Zed o Gemini CLI, añaden servidores de forma distinta. Míralo en la lista de apps

Ver todas las apps que usan MCP →

La configuración JSON está en “Para desarrolladores”, abajo

¿Te atascaste? Pregunta a quien usa Evalview MCP💬 Conversación →

Para desarrolladores: comandos de Terminal y configuración JSON

Instalado en tu computadora

Claude Code

claude mcp add --scope user evalview -- uvx evalview

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "evalview": {
      "command": "uvx",
      "args": [
        "evalview"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "evalview": {
      "command": "uvx",
      "args": [
        "evalview"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "evalview": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "evalview"
      ]
    }
  }
}

Valores que debes completar

OPENAI_API_KEY secreto env
Clave de API de OpenAI para la puntuación de calidad de salida mediante LLM-as-judge. Opcional; la evaluación determinista de herramientas y secuencias funciona sin ella.
Ver original en inglés
OpenAI API key for LLM-as-judge output quality scoring. Optional — deterministic tool/sequence evaluation works without it.

Descripciones traducidas automáticamente; los nombres de variables quedan como en el original. Si dudas, mira el original.

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

De un vistazo

Estrellas de GitHub i: 142
Descargas por semanai: 1624/sem
Licencia i: Apache-2.0
Conexión: Se ejecuta en tu computadora
Transporte: stdio
Última versióni: 0.6.0
Categoríai: Herramientas para desarrolladores
Publicado en el registroi: 28 mar 2026
Último cambio de códigoi: 16 oct 2026
Creador: hidai25
Paquetes: pypi: evalview
Repo: hidai25/eval-view
Estado en el registro: Activo

Qué apps pueden usarlo

Según cómo se conecta este servidor y la documentación de cada app, comprobado el 10 nov 2026.

Se ejecutan en tu computadora en

Claude Goose LM Studio Msty Studio Cherry Studio Cursor VS Code + GitHub Copilot Visual Studio Windsurf (Devin Desktop)Zed Kiro Cline Continue JetBrains AI Assistant Claude Code Codex CLI Gemini CLI OpenCode nodecode Warp LibreChat Raycast

Todas las apps, con ventajas y desventajas →

Qué puede hacer

Se ejecuta en tu computadora; la lista de herramientas aparece en tu app de IA después de instalarlo.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 15 nov 2026

✓ Superada
El creador coincide con el repo
El nombre en el registro se verificó con la cuenta de GitHub hidai25, dueña del repo
✓ Superada
Sigue en mantenimiento
Último cambio de código: hace 30 días
✓ Superada
Tiene licencia
Usa Apache-2.0
– No aplica
El endpoint responde
Este se ejecuta en tu computadora; no hay endpoint en internet
– No aplica
Inicio de sesión con OAuth
Se ejecuta en tu computadora y usa ajustes locales en su lugar
… Aún sin revisar
Sin instrucciones ocultas en las descripciones de herramientas
Se ejecuta en tu computadora; solo podemos leer listas de herramientas de endpoints en internet

Vulnerabilidades publicadas (OSV.dev)

Sin entradas en OSV.dev para evalview@0.6.0

Solo revisa esta versión del paquete, no todas sus dependencias · revisado 15 nov 2026

Qué revisamos → · JSON

Creadores: pedir otra revisión o avisar de un dato erróneo

Iniciar sesión

Conversación

Pregunta, comparte un consejo o avisa de que no funciona. Ordenado por lo que la gente marcó como útil.

Aún no hay publicaciones. Sé la primera persona en preguntar o compartir.

Lo publicado aquí lo escriben usuarios, no el equipo de PopNx.

Inicia sesión para publicar

Reseñas de usuarios

Aún no hay reseñas

Inicia sesión para escribir una reseña

Comparado con otros en Herramientas para desarrolladoresi

Más estrellas que el 97% de los otros 5911 servidores de esta categoría
Publicado en el registro más recientemente que el 7% de los otros 5911 servidores de esta categoría
Revisiones básicas iguales o mejores que el 100% de los otros 5911 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro Evalview MCP?

Superó 3 de 3 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en tu computadora. Tu app de IA lo inicia cuando hace falta, y los datos no pasan por los servidores del creador (a menos que el propio servidor llame a un servicio en línea).

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez hace 30 días, y la última versión (0.6.0) llegó al registro hace 8 meses.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. También necesitas Python (uv) en tu computadora.

¿Qué puedo usar en su lugar?

En la misma categoría: GitDiagram, Appllama, Cloudflare MCP, Omnara, Repowise

Alternativas parecidas

Misma categoría, otros creadores, comandos ya revisados. Primero los oficiales, luego por estrellas.

Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

GitDiagram

Architecture diagrams, explanations and Mermaid source for public GitHub repositories.

de ahmedkhaleel2004Muy usado★ 18,9 milActualizado hace 2 meses

Se ejecuta en la nube✓ del servicio · gitdiagram.comProbado por el equipo de PopNx

Cómo conectar

Appllama

Study screens, flows and paywalls from top-earning iOS apps, then build from what wins.

de AppllamaMuy usado★ 5,2 milActualizado hace 3 meses

Se ejecuta en la nube✓ del servicio · appllama.io

Cómo conectar

Cloudflare MCP

Cloudflare MCP servers

de cloudflareMuy usado★ 4,5 milActualizado hace 14 meses

Se ejecuta en la nube✓ del servicio · mcp.cloudflare.comProbado por el equipo de PopNx

Cómo conectar

Omnara

Deploy durable AI agents with Omnara, an open-source managed-agent platform.

de omnara-aiMuy usado★ 3,4 milActualizado hace 2 meses

Se ejecuta en la nube✓ del servicio · omnara.com

Cómo conectar

Repowise

Codebase intelligence for AI coding agents: graph, git history, docs, decisions, code health.

de repowise-devMuy usado↓ 6,5 mil/sem★ 8,1 mil Estrellas de todo el repositorioActualizado anteayer

Computadora o nube✓ del servicio · repowise.dev

Instalar

GitDiagram — Funciona en la nube, sin instalar nada · Sin clave
Appllama — Funciona en la nube, sin instalar nada · Sin clave
Cloudflare MCP — Funciona en la nube, sin instalar nada · Sin clave · En el directorio de Claude
Omnara — Funciona en la nube, sin instalar nada · Sin clave
Repowise — En la nube o instalado en tu equipo · Sin clave

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

Snapshot testing for AI agents.

Record what your agent does today. Get told when it silently changes.

Your agent returns 200 and looks fine. But a model update, a provider change, or a one-line prompt edit just made it skip a clarification, call the wrong tool, or quietly drop output quality. Your tests still pass. Your users notice before you do.

EvalView snapshots your agent's behavior — the tools it calls, in what order, with what output — and tells you the moment that behavior changes. Like Jest snapshots, but for tool-calling, multi-turn agents.

↑ 30-second live demo — no API key needed

Quick Start

OpenAI adapter migration: OpenAI shut down the Assistants API on August 26, 2026.

The latest published EvalView release, 0.8.1, still uses that API; the Responses API

migration is currently unreleased source. If you use openai-assistants, follow the

migration guide before running your tests. An assistant_id

alone cannot preserve your agent's configuration. Other adapters are unaffected.

pip install evalview

evalview snapshot    # Record your agent's current behavior as the baseline

evalview check # After any change, diff against the baseline

That's the whole loop. check returns one of:

  ✓ login-flow        PASSED          behavior matches baseline

⚠ refund-request TOOLS_CHANGED called a different tool, or in a different order ✗ billing-dispute REGRESSION score dropped — output quality fell

It diffs the whole trajectory — tool names, parameters, and order — not just the final string. The deterministic tool + sequence diff runs offline, with no API key. Add an LLM judge only when you want output-quality scoring.

Executing your agent can still incur backend API charges: --no-judge skips the judge, not those calls. Embedding-based semantic comparison is opt-in.

No agent yet? See it work in 30 seconds:

evalview demo

Why snapshot testing (and not assertions)?

Most eval tools ask you to *write down what "good" looks like* — assertions, metrics, rubrics. That's a lot of upfront work, and you can only catch the failures you thought to assert.

EvalView inverts it: it records what your agent actually does now, and flags any drift from that. You catch regressions you never anticipated, with zero assertions written. When the new behavior is correct, evalview snapshot accepts it as the new baseline — same as updating a snapshot in Jest.

	EvalView	Assertion-based eval tools
Setup	Record current behavior	Write assertions/metrics first
Catches	Any drift from baseline	Only what you asserted
Non-determinism	Multi-variant baselines (up to 5 valid paths)	You handle it
Unit of comparison	Full tool-call trajectory	Usually final output

This makes EvalView a merge-time regression gate, which is a different job from observability (Langfuse, LangSmith) or metric scoring (promptfoo, DeepEval, Braintrust). Many teams run one of those for visibility and EvalView as the gate. Honest comparisons →

EvalView tests itself in public, every day

Every day at 09:00 UTC, on pull requests, and on pushes to main, Core Dogfood exercises the non-live test suite, type checks, local mock-agent snapshot / check, evalview demo, end-to-end flows, and an evalview monitor smoke test. It uses no paid API credentials and makes no paid inference calls. GitHub runner usage is separate.

Live Provider Checks test the real evaluator and chat assistant only when a maintainer explicitly opts into paid API use on main. They have no automatic schedule. Their badge records the last manual run; a green core badge does not establish live-provider health or rule out provider drift.

Package CI, core dogfood, and live checks have separate badges. Failed or incomplete checks remain visible within their scope, with logs and reports preserved as artifacts. Rolling issues use separate dogfood-core and dogfood-live labels. A provider outage, exhausted quota, or missing credential means live health is unavailable; it does not prove an agent regression.

The historical incident #264 remains available for maintainer review of fresh evidence from both scopes. Neither workflow automatically closes it. Trust warnings are evidence to investigate, not proof of gaming or of a particular root cause.

Core runs → · Manual live runs → · Run and triage guide →

CI: block regressions in every PR

# .github/workflows/evalview.yml

name: EvalView on: [pull_request] jobs: agent-check: runs-on: ubuntu-latest permissions: { pull-requests: write } steps:

uses: actions/checkout@v4
uses: hidai25/eval-view@v0.8.1 with: openai-api-key: ${{ secrets.OPENAI_API_KEY }}

You get a PR comment with the diff, cost/latency deltas, and a pass/fail gate. CI/CD guide →

Works with your stack

LangGraph · CrewAI · OpenAI · Claude · Mistral · Ollama · MCP · any HTTP API.

evalview check --agent http://localhost:8000/invoke

Framework details →

Use it as a library

from evalview import gate

result = gate(test_dir="tests/") result.passed # bool result.diffs # per-test scores and tool diffs

Python API →

EvalView also does multi-turn testing, statistical/pass@k runs, record/replay cassettes, model-drift canaries, production monitoring with Slack alerts, and auto-generated regression tests from incidents. These are power-user features — start with snapshot and check, reach for the rest when you need them.

→ Full feature reference · Getting Started · FAQ

→ Documentation index · OpenAI migration · Release process

Why I built EvalView

An agent that looked successful kept pulling entire documents into its context and made one question cost $42.93. That experience led me to build EvalView. I wrote about it in “I Was Running an AI Casino. Then I Started Writing Tests for My Agents”. The December 2025 post is the origin story; use the current docs for setup and commands.

Contributing

This is a young project built mostly by one developer. Issues, PRs, and "I tried it and X was confusing" feedback are all genuinely valuable.

Open an issue · Discussions · CONTRIBUTING.md

License: Apache 2.0

Evalview MCP

What it does

Instalación

Instala uv (si no lo tienes)

Abre el archivo de configuración de la app de Claude de escritorio

Pega esta configuración y guarda el archivo

Cierra Claude y vuelve a abrirlo

Pruébalo

Lo que puedes hacer en su lugar

Instala uv (si no lo tienes)

Abre la Terminal

Pega este comando y pulsa Enter

Escribe /mcp en Claude Code

Pruébalo

Instala uv (si no lo tienes)

Pulsa este botón para abrir Cursor

Abre el chat de IA de Cursor en modo Agent

Pruébalo

Instala uv (si no lo tienes)

Pulsa este botón para abrir VS Code

Abre el chat de IA de VS Code en modo Agent

Pruébalo

Instalado en tu computadora

Valores que debes completar

De un vistazo

Qué apps pueden usarlo

Qué puede hacer

Revisiones básicasi

El creador coincide con el repo

Sigue en mantenimiento

Tiene licencia

El endpoint responde

Inicio de sesión con OAuth

Sin instrucciones ocultas en las descripciones de herramientas

Vulnerabilidades publicadas (OSV.dev)

Conversación

Reseñas de usuarios

Comparado con otros en Herramientas para desarrolladoresi

Preguntas frecuentes

Alternativas parecidas

GitDiagram

Appllama

Cloudflare MCP

Omnara

Repowise

README del creador

Quick Start

Why snapshot testing (and not assertions)?

EvalView tests itself in public, every day

CI: block regressions in every PR

Works with your stack

Use it as a library

More

Why I built EvalView

Contributing