Spec Driven Development
von formulahendry
MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.
Läuft auf deinem Computer★ 440MITAktualisiert vor 14 Monaten
Installieren
EvalForge Lite
Überblick
Beschreibung vom Entwickler (englisches Original)
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
Die drei Säulen von PopNx MCP
Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.
- Stimmen der NutzeriNoch keine BewertungenBewertungen starten in einem späteren Schritt zusammen mit Benutzerkonten
- Unsere Basischecksi1 von 1 bestandenAnhand öffentlicher Informationen geprüft; Code noch nicht gescannt
- NutzungiNoch nicht gemessen★ –
Was du damit machen kannst
Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.
- Verbindung: Läuft auf deinem Computer
- Transport: stdio
- Kategorie: Sonstiges
- Das musst du eintragen: OPENROUTER_API_KEY
Installation
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Bevor du installierst
- Basischecks: 1 von 1 bestanden
- Läuft auf deinem Computer mit den Rechten deines Benutzerkontos (Dateien, Netzwerk, Apps).
- Das trägst du selbst ein:
OPENROUTER_API_KEY
Als geheim markierte Werte sind Schlüssel zu deinem Konto. Gib sie nie weiter und füge sie nie in einen Chat ein.
Du brauchst
- PyPIuv für Python installiert (für den Befehl uvx)
Welche App nutzt du?
Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.
Öffne Claude Desktop → Settings → Developer → Edit Config und füge dies in claude_desktop_config.json ein
{
"mcpServers": {
"evalforge-lite": {
"command": "uvx",
"args": [
"evalforge-lite"
],
"env": {
"OPENROUTER_API_KEY": "your-value"
}
}
}
}Führe das in deinem Terminal aus
claude mcp add evalforge-lite --env OPENROUTER_API_KEY=your-value -- uvx evalforge-liteTrag die leeren Werte ein, bevor du ihn startest.
Oder kopier die Einstellungen selbst
In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen
{
"mcpServers": {
"evalforge-lite": {
"command": "uvx",
"args": [
"evalforge-lite"
],
"env": {
"OPENROUTER_API_KEY": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Oder kopier die Einstellungen selbst
In .vscode/mcp.json in deinem Projekt einfügen
{
"servers": {
"evalforge-lite": {
"type": "stdio",
"command": "uvx",
"args": [
"evalforge-lite"
],
"env": {
"OPENROUTER_API_KEY": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Dieser Server läuft auf deinem Computer, und ChatGPT kann sich nur mit Servern im Internet verbinden. Wähle eine andere App.
Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.
Werte, die du selbst einträgst
- Optional. OpenRouter API key held by the server so tool calls need no credentials for OpenRouter. If unset, pass creds in each tool call.
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
Was er kann
Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.
Basischecksi
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 7. Nov. 2026
- ✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto thejaredchapman bestätigt, dem das Repo gehört
- … Noch nicht geprüft
Wird noch gepflegt
Dieses Repo haben wir noch nicht von GitHub gelesen
- … Noch nicht geprüft
Hat eine Lizenz
Dieses Repo haben wir noch nicht von GitHub gelesen
- – Nicht zutreffend
Endpunkt antwortet
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
- – Nicht zutreffend
Anmeldung mit OAuth
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
- … Noch nicht geprüft
Keine versteckten Anweisungen in Tool-Beschreibungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen
Im Vergleich mit anderen in Sonstigesi
- Mehr Sterne als 0 % der anderen 32661 Server in dieser Kategorie
- Neuer in der Registry veröffentlicht als 52 % der anderen 32661 Server in dieser Kategorie
- Basischecks gleich gut wie oder besser als bei 100 % der anderen 32661 Server in dieser Kategorie
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Häufige Fragen
Ist EvalForge Lite sicher?
Er hat 1 von 1 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Welche Schlüssel oder Codes braucht er?
Das musst du eintragen: OPENROUTER_API_KEY
Läuft er auf meinem Computer oder in der Cloud?
Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).
Wird er noch gepflegt?
Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (1.0.1) kam vor 36 Tagen in die Registry.
Welche Apps können ihn nutzen?
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.
Was kann ich stattdessen nutzen?
In derselben Kategorie: Spec Driven Development, Remote Desktop Commander, Claude Checkpoint MCP
Alternativen
Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.
So liest du eine Karte:★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Remote Desktop Commander
von desktop-commander
Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.
Läuft in der Cloud★ 211Aktualisiert vorgestern
Installieren
Claude Checkpoint MCP
von daniel-munoz
MCP server that checkpoints Claude Code session context to survive crashes and token limits
Läuft auf deinem ComputerAktualisiert heute
Installieren
README vom Entwickler
README öffnen
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
EvalForge Lite
Compare text LLMs side by side. Write a few test prompts, pick up to four models across OpenRouter, Amazon Bedrock, Google Vertex AI and Microsoft Foundry, and EvalForge Lite sends the same prompts to all of them, scores the answers automatically, and shows a leaderboard with letter grades, response time, speed and estimated cost. Use it as a web app or as an MCP server for Claude and other assistants. You bring your own credentials, or the person hosting it keeps them on the server for you.
Documentation site: https://thejaredchapman.github.io/evalforge-lite/
Why use it
- Test on your own prompts. Choose models from evidence about your tasks, not a generic benchmark.
- Up to 4 models per run, across 4 backends.
X(OpenRouter) andX@bedrockare separate targets, so you can check one model on two platforms in a single run. - Automatic grading. A judge model scores each answer against your rubric, and rule checks (
contains,regex,json_valid,max_length, available through the API and MCP) add a pass or fail. You get a 0-100 score and a letter grade. - A second opinion on every response. Each answer is also evaluated on six criteria (answered, quality, instruction following, completeness, helpfulness, safety) with strengths and weaknesses written out.
- Speed and cost beside quality. Latency, tokens per second and estimated cost for every model, and a "What matters most?" selector that moves the "Best for ..." badge without a new run.
- Policy gate. Upload a company policy and prompts that violate it are blocked before any model is called. If the check itself fails, the prompt is blocked.
- Reports. Download a PDF or a CSV for any of your last five runs.
- No accounts, no database. Credentials are used for one request and not stored. Nothing is written to disk.
Quick start
1. Run the web app on your computer
Requires Python 3.10 or newer (3.12 recommended; download from https://www.python.org/downloads/) and git.
git clone https://github.com/thejaredchapman/evalforge-lite.git cd evalforge-lite python3.12 -m venv venv source venv/bin/activate pip install -r requirements.txt python app.py
Open http://localhost:8000, paste a key for at least one backend (an OpenRouter API key is the quickest: https://openrouter.ai/workspaces/default/keys), add a test case, pick two to four models, and click Run comparison. Runs are limited to 3 per 8 hours per browser session. Full walkthrough: Getting started.
2. Use it from Claude (MCP server)
With uv installed:
uvx evalforge-lite
Add it to Claude Code in one line:
claude mcp add evalforge-lite -- uvx evalforge-lite
Or install the Claude Code plugin, which bundles the same server:
claude plugin marketplace add thejaredchapman/evalforge-lite claude plugin install evalforge-lite@evalforge
Then ask your assistant to compare models. It gets 9 tools: list_models, suggest_models, list_availability, set_policy, evaluate_prompt, run_comparison, list_runs, get_report, get_report_csv. Details, Claude Desktop config and credential shapes: MCP server.
3. Host it for other people
Deploy with the included render.yaml (gunicorn, one worker) or any host that can run gunicorn --workers 1 --threads 4 --bind 0.0.0.0:$PORT app:app. By default every visitor supplies their own key. Optionally keep provider keys on the server with environment variables and a shared daily cap (50 per 24 hours by default). Keep it at one worker: all state is in memory per process. Full guide: Hosting and server-side keys.
Good to know
- The app does not read
.envby itself. To use values from it, runset -a; source .env; set +abeforepython app.py. - Each run is limited to 4 models, and each browser session gets 3 runs per 8 hours.
- All state lives in memory and is cleared when the server restarts. See Privacy and limits.
- Upgrading from an older version and reading the CSV or API fields? See the notes in Troubleshooting and FAQ.
Backends and credentials
| Backend | What you provide |
|---|---|
| OpenRouter | One API key |
| Amazon Bedrock | A region, plus a Bedrock API key or AWS access keys (optional session token) |
| Google Vertex AI | A project id and region, plus an access token or service-account JSON |
| Microsoft Foundry | A resource name and region, plus an API key or Entra ID access token |
A separate judge backend setting chooses where the judge and policy gate run. Bedrock, Vertex and Foundry costs are estimates from catalog prices, not your cloud bill. See Backends and credentials.
Documentation
| Page | What is in it |
|---|---|
| Overview | What it is, who it is for, the three ways to use it |
| Getting started | Install, run, and your first comparison |
| Web app guide | Every part of the screen, in order |
| Comparing models | Reading metrics, grades, evaluation, cost and their limits |
| Backends and credentials | Keys, regions, X@backend targets |
| MCP server | Install paths, all 9 tools, example prompts |
| Hosting and server-side keys | Deploying for others, operator-held keys, daily cap |
| Troubleshooting and FAQ | Common messages, fixes, and notes on CSV/API field changes |
| Privacy and limits | What data goes where, what is stored, every limit |
Test
pytest tests/ -v
Every model and HTTP call is mocked, so the suite needs no API key and makes no network calls.
Contributing
Contributions are welcome: bug reports, model-catalog updates, new checks, docs, and new backends. See CONTRIBUTING.md for setup, tests and the pull request process. When the app shows an error, the popup's Report an issue on GitHub button opens a pre-filled bug report.