原型 · 预览版:收录官方注册中心里的全部服务器,每 30 分钟同步一次。使用 Google 登录即可撰写评价。原型 · 每 30 分钟更新
PopNx MCP为使用 AI 的人准备的 MCP 服务器 · 用大白话讲清楚

GuardRails-MCP

作者:TAM-DS版本 0.1.1i★ 0i在你的电脑上运行代码仓库 ↗
注册名称io.github.TAM-DS/guardrails-mcp

安装方法

What it does

Local prompt regression tracker with six fictional cases and evidence for human review.

  • Connects 在你的电脑上运行
  • Account or key No key needed · 1 setting to fill in (GUARDRAILS_DATA_DIR)
  • Category 搜索与 AI 记忆

可搭配使用

教 AI 做这类工作的 Skill,可与本项一起使用

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

作者:google-research★ 35,6291 个 skill

Skill · 操作手册

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

作者:BigBodyCobain★ 11,6021 个 skill

Skill · 操作手册

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

作者:gosom★ 8,2091 个 skill

Skill · 操作手册

为什么排在这里

列表按使用分(满分 100)排序,由以下部分组成

热度0/80GitHub 星标或每周下载量:较大的计 60,较小的计 20
新鲜度12/1230 天内有发布或代码更新得满分
仍在响应0/8上次检查时云端端点有响应
使用分12/100

质量: 基础检查通过 3/3 项(仅展示,不用于排序) · 上升势头: 暂无数据 (只用于“上升中”标签)

安装

选择你使用的 AI 应用,然后复制设置。

用一句话让 AI 帮你安装

请帮我安装 GuardRails-MCP。按照 https://mcp.popnx.com/i/tam-ds-guardrails-mcp.md 操作,先把命令给我看,等我同意后再运行。

粘贴到能在你电脑上工作的 AI(如 Claude Code、Cursor)。它会读取我们的步骤,先给你看命令,等你同意。无需密钥,无需注册。 · 查看 AI 会读取的全文

通过 3/3 项检查 · 在你的电脑上运行 · ✓ 命令已检查 2026年11月13日

第一步:你用哪个 AI?

选择你用的应用,步骤会显示在下方。

可连接 Claude,但需要先准备

需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用

让 AI 帮你安装

把这段话复制到 Claude 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Claude 安装 MCP server GuardRails-MCP,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "mcpServers": { "guardrails": { "command": "uvx", "args": [ "guardrails-mcp" ], "env": { "GUARDRAILS_DATA_DIR": "your-value" } } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) GUARDRAILS_DATA_DIR 先保留 "your-value",请我自己把真实值粘贴到文件或应用的输入框里。不要让我在对话里输入密钥。5) 按约定执行,然后确认 GuardRails-MCP 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 填写 1 项设置

    这些是程序设置,不是密钥,无需注册。按开发者的说明填写。

    • GUARDRAILS_DATA_DIR Absolute writable directory for local evaluation records. Use the same path in CLI and dashboard.

    说明仍为英文原文。

  3. 打开电脑版 Claude 应用的设置文件

    SettingsDeveloperEdit Config

  4. 粘贴这些设置并保存文件

    {
      "mcpServers": {
        "guardrails": {
          "command": "uvx",
          "args": [
            "guardrails-mcp"
          ],
          "env": {
            "GUARDRAILS_DATA_DIR": "your-value"
          }
        }
      }
    }
  5. 退出 Claude 再重新打开

  6. 试一试

    用 GuardRails-MCP 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude 说正在使用 GuardRails-MCP,或回答中出现 GuardRails-MCP 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

ChatGPT 暂时无法连接 GuardRails-MCP

GuardRails-MCP 需要安装在你的电脑上,而 ChatGPT 只能连接在网上运行的服务器

你可以改用这些方式

A · 使用能连接 GuardRails-MCP 的应用

  • 需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用
  • 需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次)
  • 需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次)
  • 需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次)

B · 搜索与 AI 记忆 类中能连接 ChatGPT 的其他服务器

从同类中使用较多的里挑选,仅限用地址即可连接、无需密钥的

可连接 Claude Code,但需要先准备

需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次)

让 AI 帮你安装

把这段话复制到 Claude Code 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Claude Code 安装 MCP server GuardRails-MCP,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):claude mcp add --scope user guardrails --env GUARDRAILS_DATA_DIR=your-value -- uvx guardrails-mcp 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) GUARDRAILS_DATA_DIR 先保留 "your-value",请我自己把真实值粘贴到文件或应用的输入框里。不要让我在对话里输入密钥。5) 按约定执行,然后确认 GuardRails-MCP 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 填写 1 项设置

    这些是程序设置,不是密钥,无需注册。按开发者的说明填写。

    • GUARDRAILS_DATA_DIR Absolute writable directory for local evaluation records. Use the same path in CLI and dashboard.

    说明仍为英文原文。

  3. 打开终端

    Mac:按 Command+空格,输入 Terminal · Windows:打开 PowerShell

  4. 粘贴这条命令并按 Enter

    claude mcp add --scope user guardrails --env GUARDRAILS_DATA_DIR=your-value -- uvx guardrails-mcp
  5. 在 Claude Code 中输入 /mcp

    应能看到 GuardRails-MCP 在列表中并显示已连接

  6. 试一试

    用 GuardRails-MCP 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude Code 说正在使用 GuardRails-MCP,或回答中出现 GuardRails-MCP 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Cursor,但需要先准备

需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次)

让 AI 帮你安装

把这段话复制到 Cursor 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Cursor 安装 MCP server GuardRails-MCP,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "mcpServers": { "guardrails": { "command": "uvx", "args": [ "guardrails-mcp" ], "env": { "GUARDRAILS_DATA_DIR": "your-value" } } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) GUARDRAILS_DATA_DIR 先保留 "your-value",请我自己把真实值粘贴到文件或应用的输入框里。不要让我在对话里输入密钥。5) 按约定执行,然后确认 GuardRails-MCP 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 填写 1 项设置

    这些是程序设置,不是密钥,无需注册。按开发者的说明填写。

    • GUARDRAILS_DATA_DIR Absolute writable directory for local evaluation records. Use the same path in CLI and dashboard.

    说明仍为英文原文。

  3. 点击这个按钮打开 Cursor

    在 Cursor 中打开

    Cursor 会请你确认安装,点击 Install

  4. 填写你的密钥

    在 GuardRails-MCP 的设置中,GUARDRAILS_DATA_DIR 还是空的,填入你的密钥并保存

  5. 在 Cursor 中以 Agent 模式打开 AI 聊天

  6. 试一试

    用 GuardRails-MCP 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Cursor 说正在使用 GuardRails-MCP,或回答中出现 GuardRails-MCP 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Cursor 帮助页面核实 · 你的界面可能因版本略有不同

可连接 VS Code,但需要先准备

需要填写 1 项设置(GUARDRAILS_DATA_DIR) · 需要先在电脑上安装 Python (uv)(只需一次)

让 AI 帮你安装

把这段话复制到 VS Code 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 VS Code 安装 MCP server GuardRails-MCP,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "servers": { "guardrails": { "type": "stdio", "command": "uvx", "args": [ "guardrails-mcp" ], "env": { "GUARDRAILS_DATA_DIR": "your-value" } } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) GUARDRAILS_DATA_DIR 先保留 "your-value",请我自己把真实值粘贴到文件或应用的输入框里。不要让我在对话里输入密钥。5) 按约定执行,然后确认 GuardRails-MCP 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 填写 1 项设置

    这些是程序设置,不是密钥,无需注册。按开发者的说明填写。

    • GUARDRAILS_DATA_DIR Absolute writable directory for local evaluation records. Use the same path in CLI and dashboard.

    说明仍为英文原文。

  3. 点击这个按钮打开 VS Code

    在 VS Code 中打开

    VS Code 会请你确认安装,点击 Install

  4. 填写你的密钥

    在 GuardRails-MCP 的设置中,GUARDRAILS_DATA_DIR 还是空的,填入你的密钥并保存

  5. 在 VS Code 中以 Agent 模式打开 AI 聊天

  6. 试一试

    用 GuardRails-MCP 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 VS Code 说正在使用 GuardRails-MCP,或回答中出现 GuardRails-MCP 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 VS Code 帮助页面核实 · 你的界面可能因版本略有不同

其他支持 MCP 的应用(如 Windsurf、Zed、Gemini CLI)添加方式各不相同,请在应用列表中查看

查看所有支持 MCP 的应用 →

JSON 设置在下方“开发者专用”中

卡住了?问问正在用 GuardRails-MCP 的人💬 讨论 →
开发者专用:终端命令和 JSON 设置

安装在电脑上

Claude Code

claude mcp add --scope user guardrails --env GUARDRAILS_DATA_DIR=your-value -- uvx guardrails-mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "guardrails": {
      "command": "uvx",
      "args": [
        "guardrails-mcp"
      ],
      "env": {
        "GUARDRAILS_DATA_DIR": "your-value"
      }
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "guardrails": {
      "command": "uvx",
      "args": [
        "guardrails-mcp"
      ],
      "env": {
        "GUARDRAILS_DATA_DIR": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "guardrails": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "guardrails-mcp"
      ],
      "env": {
        "GUARDRAILS_DATA_DIR": "your-value"
      }
    }
  }
}

需要你填写的值

  • GUARDRAILS_DATA_DIR 必填 env
    Absolute writable directory for local evaluation records. Use the same path in CLI and dashboard.

说明仍为英文原文。

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同,请以 README 为准。

一览

每周下载量i
24/周
连接方式
在你的电脑上运行
最新版本i
0.1.1
发布到注册中心i
2026年10月17日
代码最后更新i
2026年11月16日
作者
TAM-DS
软件包
pypi: guardrails-mcp
注册状态
活跃

哪些应用可以使用它

依据这个服务器的连接方式和各应用自己的文档,检查于 2026年11月10日。

在你的电脑上运行,适用于

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

全部应用及其优缺点 →

它能做什么

它在你的电脑上运行;安装后,工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息;我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月19日

  • ✓ 通过

    作者与仓库一致

    注册名称已通过 GitHub 账户 TAM-DS 验证,该账户拥有此仓库

  • ✓ 通过

    仍在维护

    代码最后更新于3天前

  • ✓ 通过

    有许可证

    使用 MIT

  • – 不适用

    端点有响应

    它在你的电脑上运行,没有互联网端点

  • – 不适用

    使用 OAuth 登录

    在你的电脑上运行,改用本地设置

  • … 尚未检查

    工具描述中没有隐藏指令

    它在你的电脑上运行;我们只能读取互联网端点的工具列表

已公开的漏洞(OSV.dev)

OSV.dev 中没有 guardrails-mcp@0.1.1 的记录

只检查这个版本的包本身,不包括所有依赖 · 检查于 2026年11月15日

我们检查什么 → · JSON

作者:申请重新检查或报告信息错误
给作者:在 README 中加徽章

如果你是作者,可把这段代码贴到 README。徽章会链接回本页。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/tam-ds-guardrails-mcp.svg)](https://mcp.popnx.com/en/servers/tam-ds-guardrails-mcp)

讨论

提问、分享技巧或报告无法使用。按“有帮助”数量排序。

还没有帖子,欢迎第一个提问或分享。

此处内容由用户撰写,不代表 PopNx 团队。

登录后发帖

用户评价

还没有评价

登录后写评价

与“搜索与 AI 记忆”中的其他服务器比较i

  • 星标数多于此分类中其他 6394 个服务器的 0%
  • 发布到注册中心的时间比此分类中其他 6394 个服务器的 54% 更新
  • 基础检查结果等于或优于此分类中其他 6394 个服务器的 99%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时,星标数才计入。

常见问题

GuardRails-MCP 安全吗?

它在 3 项适用的基础检查中通过了 3 项。我们没有阅读代码。在添加密钥或令牌之前,请先看看这个服务器要求哪些权限,并使用只具备所需权限的密钥。

它需要哪些密钥或代码?

注册中心没有列出必需的密钥,不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端?

它在你的电脑上运行。你的 AI 应用会在需要时启动它,数据不会经过作者的服务器(除非它自己调用在线服务)。

它还在维护吗?

GitHub 仓库最后更新于3天前,最新版本(0.1.1)于33天前进入注册中心。

哪些应用可以使用它?

支持 MCP 的应用,例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Python (uv)。

有什么可以替代它?

同一分类中有:OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)

功能相近的其他选择

同一分类、其他作者、命令已通过检查。官方的排在前面,再按星标排序。

如何看卡片:↓ 每周下载量i★ GitHub 星标i三大支柱:评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

OpenSEO

Keyword research, site audits, rank tracking and AI visibility for your AI agent.

作者:every-app广泛使用★ 2.8万5天前更新

在云端运行✓ everyapp.com

Exa

Connect AI agents to Exa for web search, content fetching, and multi-step research.

作者:exa-labs广泛使用★ 52422个月前更新

在云端运行✓ 服务方 · exa.aiPopNx 团队已实际试用

Microsoft Learn MCP

Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.

作者:MicrosoftDocs广泛使用★ 199712个月前更新

在云端运行✓ 服务方 · microsoft.comPopNx 团队已实际试用

Docs

Search and read Empryo's documentation. Read-only, no auth, no local access.

作者:proxysoul正在增长★ 16262个月前更新

在云端运行✓ empryo.com
与相似项目对比
本项
GuardRails-MCP
OpenSEOExaMicrosoft Learn MCPDocsCOTAL actions (cotal.ai)
运行位置需要安装在电脑上在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装
需要密钥否否否否否否
可在 Claude 中按 + 添加否是是是否否
基础检查3/35/52/44/44/44/4
许可证MITMITMITCC-BY-4.0NOASSERTIONApache-2.0
价格登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

GuardRails-MCP

Did the prompt change actually make things better?

A small evaluation and prompt-regression tracker with a local MCP interface. Compare two prompts on six labeled fictional outreach cases, inspect failures and usage, and retain evidence for a human release decision.

v0.1.1 · local prototype · no deployment authority · no automated email

Published October 16, 2026: PyPI v0.1.1 · Official MCP Registry record. Registration establishes listing and ownership checks, not security certification.

Why this exists

Prompt changes often ship without evidence. A prompt is edited, a few outputs look fine, and it goes live. GuardRails-MCP gives a team a repeatable, reviewable record of what changed and what broke *before* a human signs off.

Who it is for: teams building agentic or LLM workflows that need release evidence, and the AI assurance, risk, and governance reviewers who have to ask for it.

What it is not: an approval authority. It produces evidence. A person makes the release decision.

How it works

flowchart LR

A[Baseline prompt] --> C[Six labeled cases] B[Candidate prompt] --> C C --> D[Deterministic checks] D --> E[Run record: prompt hashes, suite hash, evaluator version, outputs] E --> F{Phrase match only?} F -- yes --> G[Flag: review required] F -- no --> H[Pass or hard fail] G --> I[Human reviews evidence] H --> I I --> J[Release decision outside this tool]

Governance at a glance

Enforced by codeLeft to a human
Schema, labeled decision, empty holds, nonempty drafts, reference presence, source-ID membership, short forbidden-pattern listThe release decision
Live runs bounded to at most 12 calls (24 or 36 with repeats), 2,000 output tokens per call, 45-second timeout, no automatic retriesJudging whether a phrase match is a real unsafe claim
Paid live runs require --acknowledge-cost; MCP callers cannot launch themClaim coverage and factual support
Four local MCP tools only: no arbitrary file reads, shell commands, deployments, or approvalsAdding held-out cases and checking for overfitting
Each run records prompt texts and hashes, suite snapshot and hash, evaluator version, model, outputs, and per-case checksRecord retention and immutability (local records are editable)
Provider failures are reported separately from prompt regressionsSpending limits across days (there is no global daily cap)
NIST AI RMF 1.0 mapping (illustrative)

This describes the design of a small evaluation prototype. It is not compliance, certification, or coverage of an entire framework. The full table, including OWASP LLM Top 10 lenses, is in docs/GOVERNANCE.md.

FunctionImplemented evidence or controlKnown gap
GovernDocumented evaluation boundary; MCP cannot authorize deployment or spend API creditsNo authenticated roles, assigned organizational owner, or policy enforcement
MapSix labeled fictional outreach cases and explicit intended behaviorNo stakeholder or impact assessment; only one workflow
MeasureCase checks, provenance snapshots, latency and returned token counts, paired regressionsNo semantic truth verifier, confidence intervals, comprehensive adversarial set, or live accuracy benchmark
ManageExplicit CLI cost opt-in, request and output limits, error visibilityNo daily budget, monitoring or alerting, automatic remediation, or release gate

Dashboard preview

*Seeded demo using six fictional cases: baseline 6/6, deliberately regressed candidate 3/6. These are hand-authored fixtures, not measured model performance.*

Recorded-run details, review guidance, and known gaps

*The interface keeps evaluator version, prompt provenance, review guidance, and known gaps visible. This screenshot shows the guidance and run metadata; it does not display an individual phrase-match assessment.*

Start with the no-cost demo

Python 3.11+, in an activated virtual environment:

python -m pip install "guardrails-mcp[dashboard]==0.1.1"

guardrails run --mode demo guardrails-dashboard

Open http://127.0.0.1:7861. Demo results are hand-authored: baseline passes 6/6; a deliberately regressed candidate passes 3/6. This tests the scoring and reporting path, not model performance. Gradio runs locally; no Hugging Face account or hosting subscription is needed.

Your .env can contain OPENAI_API_KEY and OPENAI_MODEL=gpt-5-mini. No key is needed for demo mode or MCP tools. Never commit .env.

For source development, clone this repository and install with python -m pip install -e '.[dev,dashboard]'.

What it checks

CaseExpected behavior
Supported reporting workflowDraft with source references
Do Not ContactBlock and return no outreach
Missing workflow evidenceHold and return no outreach
Conflicting contact roleHold and return no outreach
Unsupported seller historyAvoid selected invented-history phrases
Instructions inside source textAvoid selected injected promises

Checks validate schema, the labeled decision, empty holds, nonempty drafts, reference presence, source-ID membership, and a short forbidden-pattern list. They do not establish complete claim coverage, factual support, general injection resistance, or semantic equivalence. A test explicitly demonstrates a false claim that these checks miss.

Phrase matches require review

A literal pattern match is not proof of an unsafe claim. New records include phrase_matches with field, pattern, matched text, offsets and surrounding excerpt; review_required; and an assessment of pass, review, or fail. A phrase-only failure receives review; other deterministic failures remain fail even when a phrase also matches. This does not automatically approve negations or quotations.

Raw passed, failures, and regression counts remain conservative and unchanged in meaning: every check must pass. Summary review_only counts identify phrase-only cases within those raw failures. hard_failures excludes phrase matches but does not imply semantic verification. New runs record evaluator version 0.1.1. Existing records are never automatically rescored or rewritten, and old runs lack the new review fields.

See the first live run review for an observed false positive and the limits of its interpretation.

Live comparison — explicit opt-in

guardrails run --mode live --acknowledge-cost

One run makes at most 12 calls (6 cases × 2 prompts), no web search or tools, 2,000 output tokens per call, a 45-second request timeout, and no automatic retries. Optional --repeats 2 or --repeats 3 increases the bound to 24 or 36 calls. There is no global daily spending cap. Inputs include fictional evidence; expected labels and check patterns are withheld from the model.

A weak candidate is provided intentionally, but live regressions are not guaranteed. Edit guardrails_mcp/prompts.py to compare another candidate. Records retain both prompt texts and hashes, suite snapshots and hashes, model identifier, outputs, per-case checks, elapsed time and returned tokens. Treat timings as single-run observations. Failed requests may incur unreported usage. Provider failures are reported separately, not counted as prompt regressions.

Results persist in .guardrails/runs.sqlite3 (override GUARDRAILS_DATA_DIR to share an absolute directory across CLI, MCP, and dashboard). They are editable local records, not an immutable audit archive. Interrupted processes may leave a running record after a hard crash; these are not completed passes.

MCP

Four local stdio tools: list_cases, run_demo, list_runs, get_run. MCP callers cannot launch paid live runs, read arbitrary files, run shell commands, deploy changes, or approve a release. The SDK is constrained to the tested v1 API line (mcp<2); migration to v2 is separate work.

Example configuration for clients supporting the mcpServers format. Replace the paths with your own:

{

"mcpServers": { "guardrails": { "command": "/path/to/your/.venv/bin/guardrails-mcp", "env": { "GUARDRAILS_DATA_DIR": "/path/to/your/.guardrails" } } } }

No API key belongs in this configuration. Protocol behavior is tested with an MCP SDK client, and the maintainer verified list_cases, run_demo and get_run through the OpenAI desktop app, including at v0.1.1. This is a stdio server, not a hosted ChatGPT connector. Installing through the registry listing has not been tested; see validation.

SignalDesk integration

python scripts/check_signaldesk.py --checkout /path/to/signaldesk

This loads an actual SignalDesk checkout, creates its app against a temporary database, evaluates its Meridian fixture with this evaluator, and verifies the API rejects approval of the suppressed Brightfield fixture. It never opens the real SignalDesk database and makes no model calls. This is an offline integration harness, not a runtime hook or a complete evaluation of SignalDesk's production prompt. The comparison suite uses SignalDesk-style cases, not its full web-research pipeline.

Linux container

docker compose up --build

Dashboard: http://127.0.0.1:7861. Named volume results retains container records independently of your host's .guardrails directory. The container runs as a non-root user and receives no API key by default. A CLI worker can run with docker compose run --rm dashboard guardrails run --mode demo. The maintainer verified the Docker demo and persistence across a container restart. One earlier unexplained container exit (code 137) is documented in validation; its cause is unconfirmed.

Evidence and known gaps

See validation, governance mapping, release notes, and registry listing.

No statistical accuracy estimate, semantic-drift score, model judge, security certification, autonomous continuous watcher, authentication, hosted service, or release gate is claimed. The suite is visible and small; prompt authors can overfit to it. Add held-out cases and human review before using results for consequential decisions.

Roadmap

Not built yet. These are the gaps described above, listed as candidate next steps:

  • Held-out cases kept separate from the visible suite, to reduce overfitting.
  • Optional model-judge check, clearly labeled and kept separate from the deterministic checks.
  • **Immutable audit logg

只显示了开头部分;其余内容请在仓库中阅读