Modelwatch
概览
作者提供的说明(英文原文)
Continuous behavioral drift monitoring for LLM apps — catches silent provider model updates.
PopNx MCP 的三大支柱
这三项永远不会合并成一个分数:意见、测量和人气是不同的东西。
- 用户评价i暂无评价评价功能将在后续阶段与账户功能一起开放
- 我们的基础检查i1 项中通过 1 项依据公开信息检查;尚未扫描代码
- 使用情况i非常新↓ 60/周 · ★ –
它能帮你做什么
我们还没有为它写通俗的介绍。下面是我们从注册中心读取到的事实。
- 连接方式: 在你的电脑上运行
- 传输方式: stdio
- 分类: 搜索与 AI 记忆
- 你需要填写:MODELWATCH_API_KEY
安装
选择你使用的 AI 应用,然后复制设置。
安装之前
- 基础检查:1 项中通过 1 项
- 在你的电脑上运行,拥有你的用户账户的权限(文件、网络、应用)。
- 需要你自己填写:
MODELWATCH_API_KEY,MODELWATCH_API_BASE
标为机密的值是你账户的钥匙。千万不要分享给别人,也不要粘贴到聊天里。
你需要
- npm已安装 Node.js(用于 npx 命令)
你用的是哪个应用?
在上方选择你的应用。我们会记住它,下次按钮会显示“安装到 …”。
打开 Claude Desktop → Settings → Developer → Edit Config,把下面的内容粘贴到 claude_desktop_config.json
{
"mcpServers": {
"modelwatch": {
"command": "npx",
"args": [
"-y",
"modelwatch-mcp"
],
"env": {
"MODELWATCH_API_KEY": "your-value",
"MODELWATCH_API_BASE": "your-value"
}
}
}
}在终端中运行这条命令
claude mcp add modelwatch --env MODELWATCH_API_KEY=your-value --env MODELWATCH_API_BASE=your-value -- npx -y modelwatch-mcp运行前请先填写空着的值。
或者自己复制设置
粘贴到项目中的 .cursor/mcp.json,或 ~/.cursor/mcp.json
{
"mcpServers": {
"modelwatch": {
"command": "npx",
"args": [
"-y",
"modelwatch-mcp"
],
"env": {
"MODELWATCH_API_KEY": "your-value",
"MODELWATCH_API_BASE": "your-value"
}
}
}
}浏览器会先询问是否打开应用,然后应用会显示设置并请你确认。密钥的值会留空,由你自己填写。
或者自己复制设置
粘贴到项目中的 .vscode/mcp.json
{
"servers": {
"modelwatch": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"modelwatch-mcp"
],
"env": {
"MODELWATCH_API_KEY": "your-value",
"MODELWATCH_API_BASE": "your-value"
}
}
}
}浏览器会先询问是否打开应用,然后应用会显示设置并请你确认。密钥的值会留空,由你自己填写。
这个服务器在你的电脑上运行,而 ChatGPT 只能连接互联网上的服务器。请选择其他应用。
你的选择通过 Cookie 保存在这台设备上,无需账户。
需要你填写的值
- API key from https://modelwatch.app (free tier: 5 specs, 500 runs/mo).
MODELWATCH_API_BASEenvOverride the API base URL for self-hosted deployments.
这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同,请以 README 为准。
它能做什么
它在你的电脑上运行;安装后,工具列表会显示在你的 AI 应用中。
基础检查i
我们检查的是任何人都能看到的信息;我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月9日
- ✓ 通过
作者与仓库一致
注册名称已通过 GitHub 账户 bch1212 验证,该账户拥有此仓库
- … 尚未检查
仍在维护
我们还没有从 GitHub 读取这个仓库
- … 尚未检查
有许可证
我们还没有从 GitHub 读取这个仓库
- – 不适用
端点有响应
它在你的电脑上运行,没有互联网端点
- – 不适用
使用 OAuth 登录
在你的电脑上运行,改用本地设置
- … 尚未检查
工具描述中没有隐藏指令
它在你的电脑上运行;我们只能读取互联网端点的工具列表
与“搜索与 AI 记忆”中的其他服务器比较i
- 星标数多于此分类中其他 5745 个服务器的 0%
- 发布到注册中心的时间比此分类中其他 5745 个服务器的 55% 更新
- 基础检查结果等于或优于此分类中其他 5745 个服务器的 100%
与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时,星标数才计入。
常见问题
Modelwatch 安全吗?
它在 1 项适用的基础检查中通过了 1 项。我们没有阅读代码。在添加密钥或令牌之前,请先看看这个服务器要求哪些权限,并使用只具备所需权限的密钥。
它需要哪些密钥或代码?
你需要填写:MODELWATCH_API_KEY
它在我的电脑上运行还是在云端?
它在你的电脑上运行。你的 AI 应用会在需要时启动它,数据不会经过作者的服务器(除非它自己调用在线服务)。
它还在维护吗?
GitHub 仓库最后更新于–,最新版本(0.1.3)于32天前进入注册中心。
哪些应用可以使用它?
支持 MCP 的应用,例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Node.js。
有什么可以替代它?
同一分类中有:Context7, Codebase Memory, Exa
替代选择
同一分类中其他作者的服务器,按星标数排序。
如何看卡片:↓ 每周下载量i★ GitHub 星标i三大支柱:评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i
Codebase Memory
Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.
Exa
Connect AI agents to Exa for web search, content fetching, and multi-step research.
作者的 README
打开 README
按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。
modelwatch-mcp
MCP server for ModelWatch — continuous behavioral drift monitoring for LLM-powered applications.
Lets Claude Desktop / Claude Code (or any MCP-compatible client) create drift specs, run them, and surface drift events without leaving the chat.
Install
npm install -g modelwatch-mcp
Configure (Claude Desktop)
Add to ~/Library/Application Support/Claude/claude_desktop_config.json:
{
"mcpServers": { "modelwatch": { "command": "npx", "args": ["-y", "modelwatch-mcp"], "env": { "MODELWATCH_API_KEY": "mw_PASTE_FROM_EMAIL" } } } }
Get a free key at https://modelwatch.app/#signup (5 specs, 500 runs/mo, no card). Then restart Claude Desktop.
The example configuration stores a plaintext key in a local config file. Restrict that file to your user account, do not commit it, and rotate the key if it is exposed. The key never belongs in a command-line argument.
Tools
| Tool | What it does |
|---|---|
list_endpoints | Show monitored LLM endpoints |
create_endpoint | Add an endpoint (provider + model) |
list_specs | Show behavioral specs |
create_spec | Add a spec (prompt + schedule + optional semantic similarity threshold) |
run_spec | Run a spec on demand; baseline if first run |
reset_baseline | Re-baseline after an intentional model swap |
get_drift_events | Recent drift events across the workspace |
get_spec_history | Run history for one spec |
get_health | Per-spec health status, last drift score and last run time |
Example session
You: Create a refusal canary against the OpenAI endpoint, asking about
chest pain. Run it now and tell me the baseline.
Claude calls list_endpoints → create_spec → run_spec and reports the score. The same spec then runs daily forever and emails you when drift is detected.
Environment variables
| Var | Required | Default |
|---|---|---|
MODELWATCH_API_KEY | Yes | — |
MODELWATCH_API_BASE | No | https://api.modelwatch.app |
Self-hosted? Point MODELWATCH_API_BASE at an HTTPS origin. HTTP is accepted only for loopback development; paths, query strings, URL credentials and redirects are rejected before a key is sent.
Source
https://github.com/bch1212/modelwatch — MIT licensed.