Prototipo · Versión preliminar: todos los servidores del registro oficial, sincronizados cada 30 minutos. Inicia sesión con Google para escribir reseñas.Prototipo · se actualiza cada 30 min
PopNx MCPServidores MCP para quienes usan IA · en palabras sencillas

Agent Roast

de Nari-Abversión 0.27.0i★ 11iSe ejecuta en tu computadora
Nombre en el registroio.github.Nari-Ab/agent-roast

Cómo instalar

What it does

Offline, read-only review that flags agent changes weakening tests, assertions, coverage or CI.

  • Connects Se ejecuta en tu computadora
  • Account or key No key needed
  • Category Otros

Por qué está en este puesto

Las listas se ordenan por una puntuación de uso (sobre 100) con estas partes

Popularidad24/80Estrellas de GitHub o descargas semanales: la mayor cuenta 60, la menor 20
Actualidad12/12Puntuación completa con una versión o cambio de código en 30 días
Sigue respondiendo0/8El endpoint en la nube respondió en la última revisión
Puntuación de uso36/100

Calidad: Pasó 3/3 revisiones básicas (se muestra, no ordena) · Impulso: Sin datos aún (Solo se usa en la pestaña En auge)

Instalación

Elige la app de IA que usas y copia la configuración.

Pasó 3/3 revisiones · Funciona en tu computadora · ✓ Comandos revisados el 16 nov 2026

Primero: ¿qué IA usas?

Elige tu app y los pasos aparecen abajo.

Funciona con Claude, pero hay que preparar algo antes

Instala Node.js en tu computadora primero (una sola vez) · Solo en la app de Claude para computadora (Windows o Mac), no en la web ni en el móvil

Que la IA lo instale

Copia este mensaje en un chat de Claude. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Agent Roast para Claude en este equipo, en este orden: 1) Comprueba Node.js con node -v. Si falta, dime que lo instale desde https://nodejs.org/en/download; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "mcpServers": { "agent-roast": { "command": "npx", "args": [ "-y", "agent-roast", "mcp" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Agent Roast aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala Node.js (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    node -v
    • Aparece un número de versión, p. ej. v26.13.1 = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: Abre la página oficial de descargas, elige la versión LTS y el instalador de clics: .pkg en Mac · .msi en Windows. Haz doble clic y sigue hasta el final. No necesitas ningún comando curl

    Abrir la página de descarga de Node.js ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: node -v

    Se instala una vez y sirve para todo lo que usa Node.js

  2. Abre el archivo de configuración de la app de Claude de escritorio

    SettingsDeveloperEdit Config

  3. Pega esta configuración y guarda el archivo

    {
      "mcpServers": {
        "agent-roast": {
          "command": "npx",
          "args": [
            "-y",
            "agent-roast",
            "mcp"
          ]
        }
      }
    }
  4. Cierra Claude y vuelve a abrirlo

  5. Pruébalo

    Usa Agent Roast y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Claude dice que está usando Agent Roast o muestra una herramienta de Agent Roast en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

ChatGPT todavía no puede conectar Agent Roast

Agent Roast se instala en tu computadora, pero ChatGPT solo conecta servidores que funcionan en la web

Lo que puedes hacer en su lugar

A · Usa una app que pueda conectar Agent Roast

  • Instala Node.js en tu computadora primero (una sola vez) · Solo en la app de Claude para computadora (Windows o Mac), no en la web ni en el móvil
  • Instala Node.js en tu computadora primero (una sola vez)
  • Instala Node.js en tu computadora primero (una sola vez)
  • Instala Node.js en tu computadora primero (una sola vez)

B · Otros en Otros que funcionan con ChatGPT

Elegidos entre los más usados de la misma categoría, solo los que se conectan con una dirección y sin clave

Funciona con Claude Code, pero hay que preparar algo antes

Instala Node.js en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de Claude Code. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Agent Roast para Claude Code en este equipo, en este orden: 1) Comprueba Node.js con node -v. Si falta, dime que lo instale desde https://nodejs.org/en/download; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): claude mcp add --scope user agent-roast -- npx -y agent-roast mcp 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Agent Roast aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala Node.js (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    node -v
    • Aparece un número de versión, p. ej. v26.13.1 = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: Abre la página oficial de descargas, elige la versión LTS y el instalador de clics: .pkg en Mac · .msi en Windows. Haz doble clic y sigue hasta el final. No necesitas ningún comando curl

    Abrir la página de descarga de Node.js ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: node -v

    Se instala una vez y sirve para todo lo que usa Node.js

  2. Abre la Terminal

    Mac: pulsa Command+Espacio y escribe Terminal · Windows: abre PowerShell

  3. Pega este comando y pulsa Enter

    claude mcp add --scope user agent-roast -- npx -y agent-roast mcp
  4. Escribe /mcp en Claude Code

    Deberías ver Agent Roast en la lista como conectado

  5. Pruébalo

    Usa Agent Roast y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Claude Code dice que está usando Agent Roast o muestra una herramienta de Agent Roast en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con Cursor, pero hay que preparar algo antes

Instala Node.js en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de Cursor. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Agent Roast para Cursor en este equipo, en este orden: 1) Comprueba Node.js con node -v. Si falta, dime que lo instale desde https://nodejs.org/en/download; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "mcpServers": { "agent-roast": { "command": "npx", "args": [ "-y", "agent-roast", "mcp" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Agent Roast aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala Node.js (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    node -v
    • Aparece un número de versión, p. ej. v26.13.1 = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: Abre la página oficial de descargas, elige la versión LTS y el instalador de clics: .pkg en Mac · .msi en Windows. Haz doble clic y sigue hasta el final. No necesitas ningún comando curl

    Abrir la página de descarga de Node.js ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: node -v

    Se instala una vez y sirve para todo lo que usa Node.js

  2. Pulsa este botón para abrir Cursor

    Abrir en Cursor

    Cursor te pedirá confirmar; pulsa Install

  3. Abre el chat de IA de Cursor en modo Agent

  4. Pruébalo

    Usa Agent Roast y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Cursor dice que está usando Agent Roast o muestra una herramienta de Agent Roast en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Cursor el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con VS Code, pero hay que preparar algo antes

Instala Node.js en tu computadora primero (una sola vez)

Que la IA lo instale

Copia este mensaje en un chat de VS Code. La IA revisa tu equipo, te dice qué archivo va a cambiar y espera tu visto bueno cada vez.

Instala el MCP server Agent Roast para VS Code en este equipo, en este orden: 1) Comprueba Node.js con node -v. Si falta, dime que lo instale desde https://nodejs.org/en/download; no lo instales tú. 2) Usa solo esta configuración (ya revisada por PopNx MCP): { "servers": { "agent-roast": { "type": "stdio", "command": "npx", "args": [ "-y", "agent-roast", "mcp" ] } } } 3) Dime la ruta completa del archivo que vas a cambiar o el comando que vas a ejecutar y espera mi visto bueno. 4) No hace falta clave. 5) Haz lo acordado y comprueba que las herramientas de Agent Roast aparecen de verdad.

Este mensaje no lleva tu clave. Si hace falta una, la IA te pedirá que la pegues tú en el archivo o en el campo de la app.

  1. Instala Node.js (si no lo tienes)

    ¿Ya está instalado? Compruébalo primero · Abre la Terminal, escribe este comando y pulsa Enter

    node -v
    • Aparece un número de versión, p. ej. v26.13.1 = ya está instalado, sáltate este paso
    • Aparece "command not found" (en Windows, "is not recognized") = aún no está instalado, o acabas de instalarlo y debes cerrar y volver a abrir la Terminal
    Cómo abrir la Terminal

    Mac: pulsa ⌘ + Espacio, escribe Terminal y pulsa Enter

    Windows: abre Inicio, escribe Windows PowerShell y elige Abrir

    Si no está instalado: Abre la página oficial de descargas, elige la versión LTS y el instalador de clics: .pkg en Mac · .msi en Windows. Haz doble clic y sigue hasta el final. No necesitas ningún comando curl

    Abrir la página de descarga de Node.js ↗

    Al terminar, cierra la Terminal, ábrela de nuevo y ejecuta el mismo comando. Debe aparecer un número de versión: node -v

    Se instala una vez y sirve para todo lo que usa Node.js

  2. Pulsa este botón para abrir VS Code

    Abrir en VS Code

    VS Code te pedirá confirmar; pulsa Install

  3. Abre el chat de IA de VS Code en modo Agent

  4. Pruébalo

    Usa Agent Roast y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si VS Code dice que está usando Agent Roast o muestra una herramienta de Agent Roast en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de VS Code el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Otras apps que usan MCP, como Windsurf, Zed o Gemini CLI, añaden servidores de forma distinta. Míralo en la lista de apps

Ver todas las apps que usan MCP →

La configuración JSON está en “Para desarrolladores”, abajo

¿Te atascaste? Pregunta a quien usa Agent Roast💬 Conversación →
Para desarrolladores: comandos de Terminal y configuración JSON

Instalado en tu computadora

Claude Code

claude mcp add --scope user agent-roast -- npx -y agent-roast mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "agent-roast": {
      "command": "npx",
      "args": [
        "-y",
        "agent-roast",
        "mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "agent-roast": {
      "command": "npx",
      "args": [
        "-y",
        "agent-roast",
        "mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "agent-roast": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "agent-roast",
        "mcp"
      ]
    }
  }
}

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

De un vistazo

Descargas por semanai
696/sem
Conexión
Se ejecuta en tu computadora
Última versióni
0.27.0
Categoríai
Otros
Publicado en el registroi
16 nov 2026
Último cambio de códigoi
16 nov 2026
Creador
Nari-Ab
Paquetes
npm: agent-roast
Sitio web
github.com
Estado en el registro
Activo

Qué apps pueden usarlo

Según cómo se conecta este servidor y la documentación de cada app, comprobado el 10 nov 2026.

Se ejecutan en tu computadora en

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

Todas las apps, con ventajas y desventajas →

Qué puede hacer

Se ejecuta en tu computadora; la lista de herramientas aparece en tu app de IA después de instalarlo.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 16 nov 2026

  • ✓ Superada

    El creador coincide con el repo

    El nombre en el registro se verificó con la cuenta de GitHub Nari-Ab, dueña del repo

  • ✓ Superada

    Sigue en mantenimiento

    Último cambio de código: hoy

  • ✓ Superada

    Tiene licencia

    Usa MIT

  • – No aplica

    El endpoint responde

    Este se ejecuta en tu computadora; no hay endpoint en internet

  • – No aplica

    Inicio de sesión con OAuth

    Se ejecuta en tu computadora y usa ajustes locales en su lugar

  • … Aún sin revisar

    Sin instrucciones ocultas en las descripciones de herramientas

    Se ejecuta en tu computadora; solo podemos leer listas de herramientas de endpoints en internet

Vulnerabilidades publicadas (OSV.dev)

Aún no revisado

Qué revisamos → · JSON

Creadores: pedir otra revisión o avisar de un dato erróneo
Para autores: añade una insignia a tu README

Si lo creaste tú, pega este código en tu README. La insignia enlaza a esta página.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/nari-ab-agent-roast.svg)](https://mcp.popnx.com/en/servers/nari-ab-agent-roast)

Conversación

Pregunta, comparte un consejo o avisa de que no funciona. Ordenado por lo que la gente marcó como útil.

Aún no hay publicaciones. Sé la primera persona en preguntar o compartir.

Lo publicado aquí lo escriben usuarios, no el equipo de PopNx.

Inicia sesión para publicar

Reseñas de usuarios

Aún no hay reseñas

Inicia sesión para escribir una reseña

Comparado con otros en Otrosi

  • Más estrellas que el 96% de los otros 20087 servidores de esta categoría
  • Publicado en el registro más recientemente que el 99% de los otros 20087 servidores de esta categoría
  • Revisiones básicas iguales o mejores que el 100% de los otros 20087 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro Agent Roast?

Superó 3 de 3 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en tu computadora. Tu app de IA lo inicia cuando hace falta, y los datos no pasan por los servidores del creador (a menos que el propio servidor llame a un servicio en línea).

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez hoy, y la última versión (0.27.0) llegó al registro hoy.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. También necesitas Node.js en tu computadora.

¿Qué puedo usar en su lugar?

En la misma categoría: World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu

Alternativas parecidas

Misma categoría, otros creadores, comandos ya revisados. Primero los oficiales, luego por estrellas.

Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

World Monitor

Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 97 tools.

de koala73Muy usado★ 90,7 milActualizado anteayer

Se ejecuta en la nube✓ del servicio · worldmonitor.app

openstatus

Manage monitors, status pages, incidents and maintenances in your openstatus workspace.

de openstatusHQMuy usado★ 9,3 milActualizado hace 2 meses

Se ejecuta en la nube✓ del servicio · openstatus.dev

Oh My Posh Validator

Validate oh-my-posh configurations and segment snippets against the official schema.

de JanDeDobbeleerMuy usado★ 23,8 mil Estrellas de todo el repositorioActualizado hace 27 días

Se ejecuta en la nube✓ del servicio · ohmyposh.dev

Strata

MCP server for progressive tool usage at any scale (see https://klavis.ai)

de Klavis-AIEn crecimiento★ 5,8 milActualizado hace 14 meses

Se ejecuta en la nubeRepo archivado✓ klavis.ai

Jitsu

Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.

de jitsucomMuy usado★ 5,1 milActualizado hace 4 meses

Se ejecuta en la nube✓ del servicio · jitsu.com
Comparado con otros parecidos
Este
Agent Roast
World MonitoropenstatusOh My Posh ValidatorStrataJitsu
Dónde se ejecutaSe instala en tu equipoFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nada
Necesita claveNoNoNoNoNoNo
Se añade con + en ClaudeNoNoNoNoNoNo
Revisiones básicas3/34/44/44/41/44/4
LicenciaMITAGPL-3.0AGPL-3.0MITApache-2.0MIT
PrecioSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registro

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

Your AI agent made the tests pass. Did it fix the code, or the tests?

agent-roast catches the changes that turn a red build green by weakening the *checks* instead of fixing the *code*: a loosened assertion, a skipped or deleted test, a lowered coverage threshold, a CI step allowed to fail. A linter cannot see these, because every new line looks fine on its own. agent-roast compares the before and after of each change, as an agent hook, a Git hook and a pull request check. It is deterministic and offline: no model, no tokens, no network.

Real output of npx agent-roast demo , shortened. The scenario is scripted; the review is not.

Try it

npx agent-roast demo     # ten seconds: a scripted example in a temporary repository, nothing of yours is read

npx agent-roast # review what you have not committed yet (on a clean tree: replay your last commits)

Stop your coding agent from doing it

npx agent-roast hook install          # Claude Code, Codex, Cursor, Gemini CLI, GitHub Copilot, Factory Droid, Kiro and Antigravity CLI

For Claude Code there is also a plugin: /plugin install agent-roast --marketplace Nari-Ab/agent-roast. Any agent that speaks MCP can also call agent-roast as a read-only tool, agent-roast mcp (setup).

When the agent is about to finish, agent-roast reviews everything it changed. If a check got weaker, the agent is sent back once, with the file, the line and the before and after, and told to fix the code instead. If it tries again, you get a warning rather than an endless loop. Anything agent-roast cannot check lets the agent finish: it never breaks a session. An intended change is accepted by committing it. Not sure yet? npx agent-roast hook install --advisory only warns you and never sends the agent back. Setup for each agent, what it does not do, and how to pause it: docs/integrations.md.

The agent hooks follow each agent's documented hook protocol and are tested with simulated hook input, not yet in long live

sessions with every agent. Reports of what you see are welcome.

Check every pull request

# .github/workflows/agent-roast.yml

name: Agent Roast on: pull_request permissions: { contents: read, pull-requests: write } jobs: audit: runs-on: ubuntu-latest steps:

  • uses: actions/checkout@v4 with: { fetch-depth: 0 }
  • uses: Nari-Ab/agent-roast@v1 with: { comment: true } # one comment, updated on every push; add advisory: true to try it without failing PRs

Also: npx agent-roast review --base origin/main in any CI, npx agent-roast init --hook or the pre-commit framework for the next commit, and SARIF output for code scanning. Policy is read from the base branch, so a pull request cannot switch off the rules that review it. Before you decide, npx agent-roast replay shows what it would have said about your last 50 commits.

What it catches

RuleFires whenBy default
assertion-weakenedan exact check is replaced by a weaker one: toBe(42) → toBeDefined(), toBe(2) → toBeLessThanOrEqual(2), toBe(2) → not.toBe(0), toEqual(x) → toMatchObject(x), assert x == 1 → assert xblocks
guard-weakeneda coverage threshold is lowered, strict is switched off, a lint rule is downgraded, a CI step may fail, a workflow stops running tests, a conftest.py hook sets a report to passedblocks
test-skipa test that was already there is switched off or expected to fail: it.skip, @pytest.mark.skip, @pytest.mark.skipif(True), @pytest.mark.xfail, it.fails, test.fixme, t.Skip, #[ignore], @Disabled, [Ignore], xit, ... (a new test that is skipped is not reported)blocks
test-focus, trivial-assert.only / fit; expect(true).toBe(true) and its relatives in ten languages, assert x or True; a test that asserts on a function it mocked itselfblocks
assertion-removed, test-removed, expectation-rewrittena test loses assertions, disappears, or its expected value is edited next to production codewarns
swallowed-error, type-escape, stub-abandonmentcatch {} / except: pass, as any / # type: ignore / # pragma: no cover / istanbul ignore, throw new Error("Not implemented")warns

Renames, moved tests, parametrization, moved assertions and reformatting are recognized and not reported, and neither is a skip that depends on the environment (if testing.Short() { t.Skip() }, test.skip(isMobile, ...)). JavaScript/TypeScript, Python and Go get the full before/after comparison; skips and placeholder assertions also cover Rust, Java, Kotlin, C#, Ruby, PHP and Swift; CI and config files are checked whatever the language. Each rule with examples and limits: docs/rules.md.

Configure

Rules, severities and paths live in .agentroastrc.json at the repository root (npx agent-roast init writes a starting file):

{

"failOn": ["assertion-weakened", "guard-weakened", "test-skip", "test-focus", "trivial-assert"], "rules": { "type-escape": "off" }, "ignorePaths": ["/generated/"] }

A change cannot edit this file to relax its own review, because it is read from HEAD or the base branch. To accept one intentional finding, add an expiring exception instead of turning a rule off, and adopt an existing project without blocking on old debt with a baseline: docs/reference.md.

Does it work?

Measured, with the denominators and the caveats in docs/benchmarks.md. Weakened checks are rare, mostly deliberate, and not specific to AI. agent-roast is a tripwire that asks about them. On repositories it had not seen, between a quarter and two thirds of its blocks were questions with a harmless answer, depending on the sample.

  • 169 of 169 hand-labeled cheating edits are caught and 158 of 158 harmless look-alikes (reformats, moves, raised thresholds, environment-gated skips) stay silent. The cases were written with the detector, so they guard against regressions; they do not prove accuracy. One gap is documented and still open.
  • A catalog of cheats that someone else wrote. Of the nine hacks in reward-hack-zoo (hand-written specimens; none from a model) four are reported (a skip, a patched target, a conftest.py that rewrites reports, an edited expected value as a warning) and none of its six honest solutions. The five that are not (special-casing, swallowed errors, overfitting) live in the code, and a search of 126,486 commits shows why a tool that reads text cannot report them: their shape is the shape of ordinary code (section 13).
  • 12,645 commits that touch tests or CI/config in 166 public repositories: blocking rules fired on 0.3% of AI-signed commits (Claude, Copilot, Cursor, Codex, Devin, aider) and on 0.3% of the others. Inside the same repositories the odds for an AI-signed commit were 0.81 times those of another commit (95% CI 0.40–1.67). There is no sign that AI-signed commits weaken checks more often.
  • On repositories it was not written from, between a quarter and two thirds of the blocked commits were false alarms. Twelve samples of 39 or 40 public repositories (476 in all, 135,095 commits) were replayed and every blocked commit was read. The share was 69% for 0.17.0 on the first sample and on the fourth, 51% for 0.18.0 on the fourth and 27% on the fifth, which it had not seen either. This version, frozen before the sixth sample was drawn, blocked 100 of its 11,335 commits: 34 changed a check a reviewer should see (an assertion that got weaker, a gate that was relaxed, a test switched off or left focused) and 66 were false alarms, but 51 of the 66 were one defect in one repository, an array of mypy overrides read as one table, which is fixed in this release; the released build blocks 44 of those commits, 34 and 10. A new test that asserts nothing counts as a block for a reviewer; counted as false alarms, 13 of 33 on the fifth sample and 72 of 100 on the sixth. Most of the rest, in the earlier measurements too, were deliberate and explained. One reader (an AI assistant) sorted them, and the fixes were made from the same sorting, so treat the figures as a first estimate. The published 0.19.0 blocked 31 of the 12,000 commits of the seventh sample: 16 for a reviewer and 15 false alarms (48%, 6 of them one repository's lint configuration); the build with the fixes from reading it, tried on an eighth sample that it had not seen, blocked 26 of 11,081 commits: 16 for a reviewer and 10 false alarms (38%), and the fixes from reading that one are in this release too; 0.21.0 as it was frozen blocked 46 of 11,286 commits of a ninth sample that it had not seen: 28 for a reviewer and 18 false alarms (39%), and five of those are fixed in it; 0.21.0 as it shipped blocked 40 of the 11,191 commits of a tenth sample that it had not seen either: 27 for a reviewer and 13 false alarms (33%), and three of those 13 are fixed in this release; 0.25.0 as it ships blocked 26 of the 10,633 commits of an eleventh sample that it had not seen either: 19 for a reviewer and 7 false alarms (27%; between 23% and 85% with its 16 arguable calls made the other way); 0.27.0 as it ships blocked 28 of the 11,061 commits of a twelfth sample that it had not seen: 18 for a reviewer and 10 false alarms (36%; between 25% and 54% with its 11 arguable calls made the other way), the same 28 that 0.26.0 blocks (section 9, section 10, section 11, section 12, section 14, section 15, section 16, section 18, section 19, section 20).
  • **9,732 commits com

Solo se muestra el principio; lee el resto en el repo