Modelwatch
Überblick
Beschreibung vom Entwickler (englisches Original)
Continuous behavioral drift monitoring for LLM apps — catches silent provider model updates.
Die drei Säulen von PopNx MCP
Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.
- Stimmen der NutzeriNoch keine BewertungenBewertungen starten in einem späteren Schritt zusammen mit Benutzerkonten
- Unsere Basischecksi1 von 1 bestandenAnhand öffentlicher Informationen geprüft; Code noch nicht gescannt
- NutzungiGanz neu↓ 60/Wo. · ★ –
Was du damit machen kannst
Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.
- Verbindung: Läuft auf deinem Computer
- Transport: stdio
- Kategorie: Suche & KI-Gedächtnis
- Das musst du eintragen: MODELWATCH_API_KEY
Installation
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Bevor du installierst
- Basischecks: 1 von 1 bestanden
- Läuft auf deinem Computer mit den Rechten deines Benutzerkontos (Dateien, Netzwerk, Apps).
- Das trägst du selbst ein:
MODELWATCH_API_KEY,MODELWATCH_API_BASE
Als geheim markierte Werte sind Schlüssel zu deinem Konto. Gib sie nie weiter und füge sie nie in einen Chat ein.
Du brauchst
- npmNode.js installiert (für den Befehl npx)
Welche App nutzt du?
Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.
Öffne Claude Desktop → Settings → Developer → Edit Config und füge dies in claude_desktop_config.json ein
{
"mcpServers": {
"modelwatch": {
"command": "npx",
"args": [
"-y",
"modelwatch-mcp"
],
"env": {
"MODELWATCH_API_KEY": "your-value",
"MODELWATCH_API_BASE": "your-value"
}
}
}
}Führe das in deinem Terminal aus
claude mcp add modelwatch --env MODELWATCH_API_KEY=your-value --env MODELWATCH_API_BASE=your-value -- npx -y modelwatch-mcpTrag die leeren Werte ein, bevor du ihn startest.
Oder kopier die Einstellungen selbst
In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen
{
"mcpServers": {
"modelwatch": {
"command": "npx",
"args": [
"-y",
"modelwatch-mcp"
],
"env": {
"MODELWATCH_API_KEY": "your-value",
"MODELWATCH_API_BASE": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Oder kopier die Einstellungen selbst
In .vscode/mcp.json in deinem Projekt einfügen
{
"servers": {
"modelwatch": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"modelwatch-mcp"
],
"env": {
"MODELWATCH_API_KEY": "your-value",
"MODELWATCH_API_BASE": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Dieser Server läuft auf deinem Computer, und ChatGPT kann sich nur mit Servern im Internet verbinden. Wähle eine andere App.
Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.
Werte, die du selbst einträgst
- API key from https://modelwatch.app (free tier: 5 specs, 500 runs/mo).
MODELWATCH_API_BASEenvOverride the API base URL for self-hosted deployments.
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
Was er kann
Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.
Basischecksi
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 8. Nov. 2026
- ✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto bch1212 bestätigt, dem das Repo gehört
- … Noch nicht geprüft
Wird noch gepflegt
Dieses Repo haben wir noch nicht von GitHub gelesen
- … Noch nicht geprüft
Hat eine Lizenz
Dieses Repo haben wir noch nicht von GitHub gelesen
- – Nicht zutreffend
Endpunkt antwortet
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
- – Nicht zutreffend
Anmeldung mit OAuth
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
- … Noch nicht geprüft
Keine versteckten Anweisungen in Tool-Beschreibungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen
Im Vergleich mit anderen in Suche & KI-Gedächtnisi
- Mehr Sterne als 0 % der anderen 5722 Server in dieser Kategorie
- Neuer in der Registry veröffentlicht als 55 % der anderen 5722 Server in dieser Kategorie
- Basischecks gleich gut wie oder besser als bei 100 % der anderen 5722 Server in dieser Kategorie
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Häufige Fragen
Ist Modelwatch sicher?
Er hat 1 von 1 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Welche Schlüssel oder Codes braucht er?
Das musst du eintragen: MODELWATCH_API_KEY
Läuft er auf meinem Computer oder in der Cloud?
Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).
Wird er noch gepflegt?
Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (0.1.3) kam vor 32 Tagen in die Registry.
Welche Apps können ihn nutzen?
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Node.js auf deinem Computer.
Was kann ich stattdessen nutzen?
In derselben Kategorie: Context7, Codebase Memory, Exa
Alternativen
Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.
So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Codebase Memory
Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.
Exa
Connect AI agents to Exa for web search, content fetching, and multi-step research.
README vom Entwickler
README öffnen
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
modelwatch-mcp
MCP server for ModelWatch — continuous behavioral drift monitoring for LLM-powered applications.
Lets Claude Desktop / Claude Code (or any MCP-compatible client) create drift specs, run them, and surface drift events without leaving the chat.
Install
npm install -g modelwatch-mcp
Configure (Claude Desktop)
Add to ~/Library/Application Support/Claude/claude_desktop_config.json:
{
"mcpServers": { "modelwatch": { "command": "npx", "args": ["-y", "modelwatch-mcp"], "env": { "MODELWATCH_API_KEY": "mw_PASTE_FROM_EMAIL" } } } }
Get a free key at https://modelwatch.app/#signup (5 specs, 500 runs/mo, no card). Then restart Claude Desktop.
The example configuration stores a plaintext key in a local config file. Restrict that file to your user account, do not commit it, and rotate the key if it is exposed. The key never belongs in a command-line argument.
Tools
| Tool | What it does |
|---|---|
list_endpoints | Show monitored LLM endpoints |
create_endpoint | Add an endpoint (provider + model) |
list_specs | Show behavioral specs |
create_spec | Add a spec (prompt + schedule + optional semantic similarity threshold) |
run_spec | Run a spec on demand; baseline if first run |
reset_baseline | Re-baseline after an intentional model swap |
get_drift_events | Recent drift events across the workspace |
get_spec_history | Run history for one spec |
get_health | Per-spec health status, last drift score and last run time |
Example session
You: Create a refusal canary against the OpenAI endpoint, asking about
chest pain. Run it now and tell me the baseline.
Claude calls list_endpoints → create_spec → run_spec and reports the score. The same spec then runs daily forever and emails you when drift is detected.
Environment variables
| Var | Required | Default |
|---|---|---|
MODELWATCH_API_KEY | Yes | — |
MODELWATCH_API_BASE | No | https://api.modelwatch.app |
Self-hosted? Point MODELWATCH_API_BASE at an HTTPS origin. HTTP is accepted only for loopback development; paths, query strings, URL credentials and redirects are rejected before a key is sent.
Source
https://github.com/bch1212/modelwatch — MIT licensed.