プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説

Agent Roast

作者:Nari-Abバージョン 0.27.0i★ 11iパソコンで動く
レジストリ名io.github.Nari-Ab/agent-roast

インストール方法

What it does

Offline, read-only review that flags agent changes weakening tests, assertions, coverage or CI.

  • Connects パソコンで動く
  • Account or key No key needed
  • Category その他

この順位の理由

一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり

人気24/80GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます
新しさ12/1230 日以内のリリースかコード更新で満点
応答中0/8前回の確認でクラウドのエンドポイントが応答
利用スコア36/100

品質: 基本チェック 3/3 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)

インストール

使っているAIアプリを選んで、設定をコピーしてください。

チェック 3/3 合格 · あなたのパソコンで動きます · ✓ コマンド確認済み 2026年11月16日

まず:どの AI を使っていますか?

使っているアプリを選ぶと、下に手順が表示されます。

Claude につなげますが、先に準備が必要です

先にパソコンへ Node.js を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません

AI にインストールしてもらう

このメッセージを Claude のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Claude に MCP server Agent Roast を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "agent-roast": { "command": "npx", "args": [ "-y", "agent-roast", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Agent Roast のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Node.js を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    node -v
    • バージョン番号(例 v26.13.1)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です

    Node.js のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v

    一度入れれば、Node.js を使うすべてのツールで使えます

  2. パソコン版 Claude アプリの設定ファイルを開く

    SettingsDeveloperEdit Config

  3. この設定を貼り付けて保存

    {
      "mcpServers": {
        "agent-roast": {
          "command": "npx",
          "args": [
            "-y",
            "agent-roast",
            "mcp"
          ]
        }
      }
    }
  4. Claude を終了してもう一度開く

  5. 試してみる

    Agent Roast を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude が Agent Roast を使っていると言うか、回答に Agent Roast のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

ChatGPT はまだ Agent Roast につなげません

Agent Roast はパソコンに入れて使うものですが、ChatGPT は Web 上で動くサーバーにしかつなげません

代わりにできること

A · Agent Roast につなげるアプリを使う

  • 先にパソコンへ Node.js を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません
  • 先にパソコンへ Node.js を入れてください(1 回だけ)
  • 先にパソコンへ Node.js を入れてください(1 回だけ)
  • 先にパソコンへ Node.js を入れてください(1 回だけ)

B · その他 の中で ChatGPT につなげる別のサーバー

同じカテゴリでよく使われているものから、キーなしでアドレスだけでつなげるものを選びました

Claude Code につなげますが、先に準備が必要です

先にパソコンへ Node.js を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを Claude Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Claude Code に MCP server Agent Roast を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):claude mcp add --scope user agent-roast -- npx -y agent-roast mcp 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Agent Roast のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Node.js を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    node -v
    • バージョン番号(例 v26.13.1)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です

    Node.js のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v

    一度入れれば、Node.js を使うすべてのツールで使えます

  2. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く

  3. このコマンドを貼り付けて Enter

    claude mcp add --scope user agent-roast -- npx -y agent-roast mcp
  4. Claude Code で /mcp と入力

    Agent Roast が一覧にあり、接続済みと表示されれば OK です

  5. 試してみる

    Agent Roast を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude Code が Agent Roast を使っていると言うか、回答に Agent Roast のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Cursor につなげますが、先に準備が必要です

先にパソコンへ Node.js を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを Cursor のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Cursor に MCP server Agent Roast を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "agent-roast": { "command": "npx", "args": [ "-y", "agent-roast", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Agent Roast のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Node.js を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    node -v
    • バージョン番号(例 v26.13.1)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です

    Node.js のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v

    一度入れれば、Node.js を使うすべてのツールで使えます

  2. このボタンで Cursor を開く

    Cursor で開く

    Cursor がインストールの確認をするので Install を押します

  3. Cursor の AI チャットを Agent モードで開く

  4. 試してみる

    Agent Roast を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Cursor が Agent Roast を使っていると言うか、回答に Agent Roast のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

VS Code につなげますが、先に準備が必要です

先にパソコンへ Node.js を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを VS Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの VS Code に MCP server Agent Roast を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "servers": { "agent-roast": { "type": "stdio", "command": "npx", "args": [ "-y", "agent-roast", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Agent Roast のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Node.js を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    node -v
    • バージョン番号(例 v26.13.1)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です

    Node.js のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v

    一度入れれば、Node.js を使うすべてのツールで使えます

  2. このボタンで VS Code を開く

    VS Code で開く

    VS Code がインストールの確認をするので Install を押します

  3. VS Code の AI チャットを Agent モードで開く

  4. 試してみる

    Agent Roast を使って、私に何ができるか教えて、1 つやってみせて

    ✓ VS Code が Agent Roast を使っていると言うか、回答に Agent Roast のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください

MCP を使えるアプリをすべて見る →

JSON 設定は下の「開発者向け」にあります

つまずいたら?Agent Roast を使っている人に聞いてみましょう💬 ディスカッション →
開発者向け:ターミナルのコマンドと JSON 設定

パソコンにインストール

Claude Code

claude mcp add --scope user agent-roast -- npx -y agent-roast mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "agent-roast": {
      "command": "npx",
      "args": [
        "-y",
        "agent-roast",
        "mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "agent-roast": {
      "command": "npx",
      "args": [
        "-y",
        "agent-roast",
        "mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "agent-roast": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "agent-roast",
        "mcp"
      ]
    }
  }
}

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

ひと目でわかる

週あたりのダウンロードi
696/週
接続方法
パソコンで動く
最新バージョンi
0.27.0
カテゴリi
その他
レジストリ公開日i
2026年11月16日
コードの最終更新i
2026年11月16日
作者
Nari-Ab
パッケージ
npm: agent-roast
ウェブサイト
github.com
レジストリでの状態
有効

使えるアプリ

このサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。

パソコン上で動かせるアプリ

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

すべてのアプリと長所・短所 →

できること

パソコンで動くサーバーです。インストールすると、ツール一覧がAIアプリに表示されます。

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月16日にチェック

  • ✓ 合格

    作者とリポジトリが一致

    レジストリ名は、リポジトリを所有するGitHubアカウント Nari-Ab で確認済みです

  • ✓ 合格

    今もメンテナンスされている

    コードの最終更新:今日

  • ✓ 合格

    ライセンスがある

    MITを使用

  • – 対象外

    エンドポイントが応答する

    これはパソコンで動くため、インターネット上のエンドポイントはありません

  • – 対象外

    OAuthでサインイン

    パソコンで動き、代わりにローカルの設定を使います

  • … 未チェック

    ツールの説明に隠れた指示がない

    パソコンで動くサーバーです。ツール一覧を読み取れるのは、インターネット上のエンドポイントがある場合だけです

公開済みの脆弱性(OSV.dev)

まだ確認していません

確認していること → · JSON

作者の方へ:再確認の依頼・情報の誤りの報告
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/nari-ab-agent-roast.svg)](https://mcp.popnx.com/en/servers/nari-ab-agent-roast)

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

ユーザーレビュー

まだレビューはありません

ログインしてレビューを書く

その他のほかのサーバーとの比較i

  • このカテゴリのほかの20087件のうち96%よりスターが多い
  • このカテゴリのほかの20087件のうち99%より最近レジストリに公開
  • 基本チェックの結果が、このカテゴリのほかの20087件のうち100%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

Agent Roastは安全ですか?

当てはまる基本チェック3項目のうち3項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか?

レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。

パソコンで動きますか、それともクラウドですか?

あなたのパソコンで動きます。必要なときにAIアプリが起動し、データは作者のサーバーを通りません(サーバー自体がオンラインサービスを呼び出す場合を除きます)。

今もメンテナンスされていますか?

GitHubリポジトリの最終更新は今日、最新バージョン(0.27.0)がレジストリに届いたのは今日です。

どのアプリで使えますか?

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。パソコンにNode.jsも必要です。

代わりに使えるものは?

同じカテゴリには:World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu

似た働きのほかの候補

同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。

カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i

World Monitor

Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 97 tools.

作者:koala73広く使われている★ 9.1万一昨日更新

クラウドで動く✓ 提供元 · worldmonitor.app

openstatus

Manage monitors, status pages, incidents and maintenances in your openstatus workspace.

作者:openstatusHQ広く使われている★ 92692 か月前更新

クラウドで動く✓ 提供元 · openstatus.dev

Oh My Posh Validator

Validate oh-my-posh configurations and segment snippets against the official schema.

作者:JanDeDobbeleer広く使われている★ 2.4万 リポジトリ全体のスター27 日前更新

クラウドで動く✓ 提供元 · ohmyposh.dev

Strata

MCP server for progressive tool usage at any scale (see https://klavis.ai)

作者:Klavis-AI成長中★ 582714 か月前更新

クラウドで動くリポジトリはアーカイブ済み✓ klavis.ai

Jitsu

Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.

作者:jitsucom広く使われている★ 51354 か月前更新

クラウドで動く✓ 提供元 · jitsu.com
似たものと比べる
これ
Agent Roast
World MonitoropenstatusOh My Posh ValidatorStrataJitsu
動く場所パソコンにインストールが必要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要
キーが必要いいえいいえいいえいいえいいえいいえ
Claude で + から追加いいえいいえいいえいいえいいえいいえ
基本チェック3/34/44/44/41/44/4
ライセンスMITAGPL-3.0AGPL-3.0MITApache-2.0MIT
料金登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

Your AI agent made the tests pass. Did it fix the code, or the tests?

agent-roast catches the changes that turn a red build green by weakening the *checks* instead of fixing the *code*: a loosened assertion, a skipped or deleted test, a lowered coverage threshold, a CI step allowed to fail. A linter cannot see these, because every new line looks fine on its own. agent-roast compares the before and after of each change, as an agent hook, a Git hook and a pull request check. It is deterministic and offline: no model, no tokens, no network.

Real output of npx agent-roast demo , shortened. The scenario is scripted; the review is not.

Try it

npx agent-roast demo     # ten seconds: a scripted example in a temporary repository, nothing of yours is read

npx agent-roast # review what you have not committed yet (on a clean tree: replay your last commits)

Stop your coding agent from doing it

npx agent-roast hook install          # Claude Code, Codex, Cursor, Gemini CLI, GitHub Copilot, Factory Droid, Kiro and Antigravity CLI

For Claude Code there is also a plugin: /plugin install agent-roast --marketplace Nari-Ab/agent-roast. Any agent that speaks MCP can also call agent-roast as a read-only tool, agent-roast mcp (setup).

When the agent is about to finish, agent-roast reviews everything it changed. If a check got weaker, the agent is sent back once, with the file, the line and the before and after, and told to fix the code instead. If it tries again, you get a warning rather than an endless loop. Anything agent-roast cannot check lets the agent finish: it never breaks a session. An intended change is accepted by committing it. Not sure yet? npx agent-roast hook install --advisory only warns you and never sends the agent back. Setup for each agent, what it does not do, and how to pause it: docs/integrations.md.

The agent hooks follow each agent's documented hook protocol and are tested with simulated hook input, not yet in long live

sessions with every agent. Reports of what you see are welcome.

Check every pull request

# .github/workflows/agent-roast.yml

name: Agent Roast on: pull_request permissions: { contents: read, pull-requests: write } jobs: audit: runs-on: ubuntu-latest steps:

  • uses: actions/checkout@v4 with: { fetch-depth: 0 }
  • uses: Nari-Ab/agent-roast@v1 with: { comment: true } # one comment, updated on every push; add advisory: true to try it without failing PRs

Also: npx agent-roast review --base origin/main in any CI, npx agent-roast init --hook or the pre-commit framework for the next commit, and SARIF output for code scanning. Policy is read from the base branch, so a pull request cannot switch off the rules that review it. Before you decide, npx agent-roast replay shows what it would have said about your last 50 commits.

What it catches

RuleFires whenBy default
assertion-weakenedan exact check is replaced by a weaker one: toBe(42) → toBeDefined(), toBe(2) → toBeLessThanOrEqual(2), toBe(2) → not.toBe(0), toEqual(x) → toMatchObject(x), assert x == 1 → assert xblocks
guard-weakeneda coverage threshold is lowered, strict is switched off, a lint rule is downgraded, a CI step may fail, a workflow stops running tests, a conftest.py hook sets a report to passedblocks
test-skipa test that was already there is switched off or expected to fail: it.skip, @pytest.mark.skip, @pytest.mark.skipif(True), @pytest.mark.xfail, it.fails, test.fixme, t.Skip, #[ignore], @Disabled, [Ignore], xit, ... (a new test that is skipped is not reported)blocks
test-focus, trivial-assert.only / fit; expect(true).toBe(true) and its relatives in ten languages, assert x or True; a test that asserts on a function it mocked itselfblocks
assertion-removed, test-removed, expectation-rewrittena test loses assertions, disappears, or its expected value is edited next to production codewarns
swallowed-error, type-escape, stub-abandonmentcatch {} / except: pass, as any / # type: ignore / # pragma: no cover / istanbul ignore, throw new Error("Not implemented")warns

Renames, moved tests, parametrization, moved assertions and reformatting are recognized and not reported, and neither is a skip that depends on the environment (if testing.Short() { t.Skip() }, test.skip(isMobile, ...)). JavaScript/TypeScript, Python and Go get the full before/after comparison; skips and placeholder assertions also cover Rust, Java, Kotlin, C#, Ruby, PHP and Swift; CI and config files are checked whatever the language. Each rule with examples and limits: docs/rules.md.

Configure

Rules, severities and paths live in .agentroastrc.json at the repository root (npx agent-roast init writes a starting file):

{

"failOn": ["assertion-weakened", "guard-weakened", "test-skip", "test-focus", "trivial-assert"], "rules": { "type-escape": "off" }, "ignorePaths": ["/generated/"] }

A change cannot edit this file to relax its own review, because it is read from HEAD or the base branch. To accept one intentional finding, add an expiring exception instead of turning a rule off, and adopt an existing project without blocking on old debt with a baseline: docs/reference.md.

Does it work?

Measured, with the denominators and the caveats in docs/benchmarks.md. Weakened checks are rare, mostly deliberate, and not specific to AI. agent-roast is a tripwire that asks about them. On repositories it had not seen, between a quarter and two thirds of its blocks were questions with a harmless answer, depending on the sample.

  • 169 of 169 hand-labeled cheating edits are caught and 158 of 158 harmless look-alikes (reformats, moves, raised thresholds, environment-gated skips) stay silent. The cases were written with the detector, so they guard against regressions; they do not prove accuracy. One gap is documented and still open.
  • A catalog of cheats that someone else wrote. Of the nine hacks in reward-hack-zoo (hand-written specimens; none from a model) four are reported (a skip, a patched target, a conftest.py that rewrites reports, an edited expected value as a warning) and none of its six honest solutions. The five that are not (special-casing, swallowed errors, overfitting) live in the code, and a search of 126,486 commits shows why a tool that reads text cannot report them: their shape is the shape of ordinary code (section 13).
  • 12,645 commits that touch tests or CI/config in 166 public repositories: blocking rules fired on 0.3% of AI-signed commits (Claude, Copilot, Cursor, Codex, Devin, aider) and on 0.3% of the others. Inside the same repositories the odds for an AI-signed commit were 0.81 times those of another commit (95% CI 0.40–1.67). There is no sign that AI-signed commits weaken checks more often.
  • On repositories it was not written from, between a quarter and two thirds of the blocked commits were false alarms. Twelve samples of 39 or 40 public repositories (476 in all, 135,095 commits) were replayed and every blocked commit was read. The share was 69% for 0.17.0 on the first sample and on the fourth, 51% for 0.18.0 on the fourth and 27% on the fifth, which it had not seen either. This version, frozen before the sixth sample was drawn, blocked 100 of its 11,335 commits: 34 changed a check a reviewer should see (an assertion that got weaker, a gate that was relaxed, a test switched off or left focused) and 66 were false alarms, but 51 of the 66 were one defect in one repository, an array of mypy overrides read as one table, which is fixed in this release; the released build blocks 44 of those commits, 34 and 10. A new test that asserts nothing counts as a block for a reviewer; counted as false alarms, 13 of 33 on the fifth sample and 72 of 100 on the sixth. Most of the rest, in the earlier measurements too, were deliberate and explained. One reader (an AI assistant) sorted them, and the fixes were made from the same sorting, so treat the figures as a first estimate. The published 0.19.0 blocked 31 of the 12,000 commits of the seventh sample: 16 for a reviewer and 15 false alarms (48%, 6 of them one repository's lint configuration); the build with the fixes from reading it, tried on an eighth sample that it had not seen, blocked 26 of 11,081 commits: 16 for a reviewer and 10 false alarms (38%), and the fixes from reading that one are in this release too; 0.21.0 as it was frozen blocked 46 of 11,286 commits of a ninth sample that it had not seen: 28 for a reviewer and 18 false alarms (39%), and five of those are fixed in it; 0.21.0 as it shipped blocked 40 of the 11,191 commits of a tenth sample that it had not seen either: 27 for a reviewer and 13 false alarms (33%), and three of those 13 are fixed in this release; 0.25.0 as it ships blocked 26 of the 10,633 commits of an eleventh sample that it had not seen either: 19 for a reviewer and 7 false alarms (27%; between 23% and 85% with its 16 arguable calls made the other way); 0.27.0 as it ships blocked 28 of the 11,061 commits of a twelfth sample that it had not seen: 18 for a reviewer and 10 false alarms (36%; between 25% and 54% with its 11 arguable calls made the other way), the same 28 that 0.26.0 blocks (section 9, section 10, section 11, section 12, section 14, section 15, section 16, section 18, section 19, section 20).
  • **9,732 commits com

冒頭だけを表示しています。続きはリポジトリで読めます