World Monitor
Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 100 tools.
Assess UK lease tenant break clauses with grounded citations and a measured hallucination rate.
Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert
| Beliebtheit | 0/80 | GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20 |
|---|---|---|
| Aktualität | 3/12 | Volle Punkte für Release oder Codeänderung in 30 Tagen |
| Antwortet noch | 0/8 | Der Cloud-Endpoint antwortete bei der letzten Prüfung |
| Nutzungswert | 3/100 |
Qualität: 3/3 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Mit einem Satz von deiner KI installieren lassen
Installiere bitte UK Break Clause Analyzer. Folge https://mcp.popnx.com/i/ankur-stockheads-rubo-mcp.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen
3/3 Prüfungen bestanden · Läuft auf deinem Computer · ✓ Befehle geprüft am 13. Nov. 2026
Zuerst: Welche KI nutzt du?
Wähle deine App, dann erscheinen die Schritte unten.
Klappt mit Claude, aber erst etwas vorbereiten
Du brauchst einen Schlüssel von UK Break Clause Analyzer (auf der Seite des Anbieters erstellen) · Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy
Kopiere diese Nachricht in einen Claude-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server UK Break Clause Analyzer für Claude auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "rubo": { "command": "uvx", "args": [ "uk-break-clause-analyzer-mcp" ], "env": { "ANTHROPIC_API_KEY": "your-value" } } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Lass bei ANTHROPIC_API_KEY "your-value" stehen und sag mir, dass ich den echten Wert selbst in die Datei oder das Feld der App einfüge. Bitte mich nie, einen Schlüssel in den Chat zu schreiben. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von UK Break Clause Analyzer wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.
Wie du einen Schlüssel bekommst, steht unten im README des Anbieters
SettingsDeveloperEdit Config
{
"mcpServers": {
"rubo": {
"command": "uvx",
"args": [
"uk-break-clause-analyzer-mcp"
],
"env": {
"ANTHROPIC_API_KEY": "your-value"
}
}
}
}Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
Nutze UK Break Clause Analyzer und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Claude sagt, dass es UK Break Clause Analyzer nutzt, oder ein Werkzeug von UK Break Clause Analyzer in der Antwort zeigt, bist du verbunden
Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
ChatGPT kann UK Break Clause Analyzer noch nicht verbinden
UK Break Clause Analyzer läuft auf deinem Computer, aber ChatGPT verbindet nur Server, die im Web laufen
A · Eine App nutzen, die UK Break Clause Analyzer verbinden kann
B · Andere in Sonstiges, die mit ChatGPT funktionieren
Aus den meistgenutzten derselben Kategorie, nur solche, die per Adresse ohne Schlüssel verbinden
Klappt mit Claude Code, aber erst etwas vorbereiten
Du brauchst einen Schlüssel von UK Break Clause Analyzer (auf der Seite des Anbieters erstellen) · Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen Claude Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server UK Break Clause Analyzer für Claude Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): claude mcp add --scope user rubo --env ANTHROPIC_API_KEY=your-value -- uvx uk-break-clause-analyzer-mcp 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Lass bei ANTHROPIC_API_KEY "your-value" stehen und sag mir, dass ich den echten Wert selbst in die Datei oder das Feld der App einfüge. Bitte mich nie, einen Schlüssel in den Chat zu schreiben. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von UK Break Clause Analyzer wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.
Wie du einen Schlüssel bekommst, steht unten im README des Anbieters
Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen
claude mcp add --scope user rubo --env ANTHROPIC_API_KEY=your-value -- uvx uk-break-clause-analyzer-mcpErsetze „your-value“ vor dem Enter durch deinen Schlüssel
Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
UK Break Clause Analyzer sollte in der Liste als verbunden erscheinen
Nutze UK Break Clause Analyzer und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Claude Code sagt, dass es UK Break Clause Analyzer nutzt, oder ein Werkzeug von UK Break Clause Analyzer in der Antwort zeigt, bist du verbunden
Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Klappt mit Cursor, aber erst etwas vorbereiten
Du brauchst einen Schlüssel von UK Break Clause Analyzer (auf der Seite des Anbieters erstellen) · Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen Cursor-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server UK Break Clause Analyzer für Cursor auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "rubo": { "command": "uvx", "args": [ "uk-break-clause-analyzer-mcp" ], "env": { "ANTHROPIC_API_KEY": "your-value" } } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Lass bei ANTHROPIC_API_KEY "your-value" stehen und sag mir, dass ich den echten Wert selbst in die Datei oder das Feld der App einfüge. Bitte mich nie, einen Schlüssel in den Chat zu schreiben. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von UK Break Clause Analyzer wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.
Wie du einen Schlüssel bekommst, steht unten im README des Anbieters
In den Einstellungen von UK Break Clause Analyzer ist ANTHROPIC_API_KEY leer; trag deinen Schlüssel ein und speichere
Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
Nutze UK Break Clause Analyzer und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Cursor sagt, dass es UK Break Clause Analyzer nutzt, oder ein Werkzeug von UK Break Clause Analyzer in der Antwort zeigt, bist du verbunden
Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Klappt mit VS Code, aber erst etwas vorbereiten
Du brauchst einen Schlüssel von UK Break Clause Analyzer (auf der Seite des Anbieters erstellen) · Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen VS Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server UK Break Clause Analyzer für VS Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "servers": { "rubo": { "type": "stdio", "command": "uvx", "args": [ "uk-break-clause-analyzer-mcp" ], "env": { "ANTHROPIC_API_KEY": "your-value" } } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Lass bei ANTHROPIC_API_KEY "your-value" stehen und sag mir, dass ich den echten Wert selbst in die Datei oder das Feld der App einfüge. Bitte mich nie, einen Schlüssel in den Chat zu schreiben. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von UK Break Clause Analyzer wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.
Wie du einen Schlüssel bekommst, steht unten im README des Anbieters
VS Code fragt nach einer Bestätigung; klicke Install
In den Einstellungen von UK Break Clause Analyzer ist ANTHROPIC_API_KEY leer; trag deinen Schlüssel ein und speichere
Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem
Nutze UK Break Clause Analyzer und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn VS Code sagt, dass es UK Break Clause Analyzer nutzt, oder ein Werkzeug von UK Break Clause Analyzer in der Antwort zeigt, bist du verbunden
Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Claude Code
claude mcp add --scope user rubo --env ANTHROPIC_API_KEY=your-value -- uvx uk-break-clause-analyzer-mcpClaude Desktop (claude_desktop_config.json)
{
"mcpServers": {
"rubo": {
"command": "uvx",
"args": [
"uk-break-clause-analyzer-mcp"
],
"env": {
"ANTHROPIC_API_KEY": "your-value"
}
}
}
}Cursor (~/.cursor/mcp.json)
{
"mcpServers": {
"rubo": {
"command": "uvx",
"args": [
"uk-break-clause-analyzer-mcp"
],
"env": {
"ANTHROPIC_API_KEY": "your-value"
}
}
}
}VS Code (mcp.json)
{
"servers": {
"rubo": {
"type": "stdio",
"command": "uvx",
"args": [
"uk-break-clause-analyzer-mcp"
],
"env": {
"ANTHROPIC_API_KEY": "your-value"
}
}
}
}ANTHROPIC_API_KEY geheim erforderlich envDie Beschreibungen sind noch im englischen Original.
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.
Laufen auf deinem Computer in
ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast
Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 19. Nov. 2026
Der Registry-Name wurde mit dem GitHub-Konto Ankur-stockheads bestätigt, dem das Repo gehört
Code zuletzt geändert: vor 5 Monaten
Nutzt MIT
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen
Keine Einträge auf OSV.dev für uk-break-clause-analyzer-mcp@0.1.1
Prüft nur diese Paketversion, nicht alle Abhängigkeiten · geprüft 16. Nov. 2026
Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.
[](https://mcp.popnx.com/en/servers/ankur-stockheads-rubo-mcp)Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.
Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.
Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.
Noch keine Bewertungen
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Das musst du eintragen: ANTHROPIC_API_KEY
Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).
Das GitHub-Repo wurde zuletzt vor 5 Monaten geändert, und die neueste Version (0.1.1) kam vor 5 Monaten in die Registry.
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.
In derselben Kategorie: World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu
Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.
So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 100 tools.
Manage monitors, status pages, incidents and maintenances in your openstatus workspace.
Validate oh-my-posh configurations and segment snippets against the official schema.
MCP server for progressive tool usage at any scale (see https://klavis.ai)
Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.
| Dieser UK Break Clause Analyzer | World Monitor | openstatus | Oh My Posh Validator | Strata | Jitsu | |
|---|---|---|---|---|---|---|
| Läuft wo | Wird auf deinem Rechner installiert | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation |
| Braucht Schlüssel | Ja | Nein | Nein | Nein | Nein | Nein |
| Mit + in Claude hinzufügen | Nein | Nein | Nein | Nein | Nein | Nein |
| Basisprüfungen | 3/3 | 4/4 | 4/4 | 4/4 | 1/4 | 4/4 |
| Lizenz | MIT | AGPL-3.0 | AGPL-3.0 | MIT | Apache-2.0 | MIT |
| Preis | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register |
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
A self-evaluating MCP server that assesses whether a UK commercial-lease tenant break clause can actually be exercised — and publishes its own measured hallucination rate.
⚖️ Decision-support only — NOT legal advice. Built on a deliberately
simplified, non-proprietary ruleset over synthetic data. A qualified solicitor
must verify any real decision.
In 2012, a tenant served a valid break notice to walk away from a lease — but on the break date they hadn't paid one quarter's rent that had fallen due a few weeks earlier. The break failed. They were bound to the lease (and its rent) for years. No drama, no bad faith — just one unmet condition precedent that everyone missed until it was too late.
Break clauses are unforgiving like that. Whether a tenant can actually leave turns on a short checklist — notice served in time, notice served correctly, no rent arrears, vacant possession given — and getting any one wrong is catastrophic. It is exactly the kind of task you might hand to an LLM... if you could trust it not to confidently invent the answer.
This project is about earning that trust, and measuring it. It is not a clever parser. It is a reliability harness: every claim is grounded to verbatim source text or it isn't made, genuinely-ambiguous cases are routed to a human instead of guessed, and the whole thing ships with an eval that publishes how often it lies.
NOT_FOUND; it never invents a quote. A deterministic gate slices the span out of the source, so it *can't* echo hallucinated text.AMBIGUOUS — human verify, not a coin-flip. Abstaining honestly is a feature.See report/report.md for the full eval (all four metrics, per-model comparison, confusion matrix, caught-hallucination examples).
The committed report is the heuristic baseline (it runs with no API key) — and it already tells the core story: the grounding gate drives ungrounded (fabricated) hallucinations to zero, while a non-reasoning baseline still *misgrounds* and *never abstains* on the genuinely-ambiguous cases. That gap is exactly what a calibrated LLM is meant to close:
uv run python scripts/run_eval.py --record # measure claude-haiku-4-5 vs claude-sonnet-4-6
flowchart LR
A["Lease + Background Facts"] --> T["MCP tools"] T --> L["LLM adapter extract + reason · temperature 0"] L -- "proposes verbatim quotes
verbatim? else NOT_FOUND"} G -- "spans sliced from source" --> C["Deterministic core checklist · UK date math · VP legal test"] C --> R["Strict-precedence aggregate fail→INVALID · uncertain→AMBIGUOUS · else VALID"] R --> O["Assessment verdict + calibration + human-verify gates"] subgraph EVAL["Eval (the point)"] D["24 labelled cases"] --> H["harness"] --> M["4 metrics"] --> P["report.md + SVG"] end
The trust boundary is structural: the deterministic core/ package physically cannot import the llm/ package (enforced by a test). "The LLM proposes, deterministic code disposes" is a property of the codebase, not a discipline.
| Tool | What it does |
|---|---|
extract_break_clause | Returns the break clause + its verbatim source span |
check_conditions | The four-condition checklist: each pass / fail / uncertain, with grounded evidence |
find_citation | Exact verbatim supporting text for a claim, or NOT_FOUND |
assess_validity | Orchestrated verdict + calibration note + mandatory human-verify gates |
# 1. Install uv (skip if you have it)
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync
uv run pytest -q
uv run python scripts/validate_dataset.py
uv run python scripts/run_eval.py # heuristic baseline, no key needed
No ANTHROPIC_API_KEY is required for any of the above — the eval falls back to the heuristic baseline and is fully reproducible. Set the key (and --record) to measure the real Claude models.
The key is only needed for live LLM extraction (the eval --record step and the server's real mode). Everything else runs without one.
.env is git-ignored and the cassettes redact the x-api-key header..env file: export ANTHROPIC_API_KEY=sk-ant-… # option 1: shell
cp .env.example .env && $EDITOR .env # option 2: .env, then: uv run --env-file .env python scripts/run_eval.py --record
- **For an MCP client**, put it in the server config's `env` block (below).
# Inspect it interactively (the official MCP Inspector)
npx @modelcontextprotocol/inspector uv run break-clause-analyzer
Claude Desktop — add to claude_desktop_config.json (use the absolute path to your clone so it runs from the project):
{
"mcpServers": { "break-clause-analyzer": { "command": "uv", "args": ["run", "--directory", "/absolute/path/to/rubo-mcp", "break-clause-analyzer"], "env": { "ANTHROPIC_API_KEY": "sk-ant-…" } } } }
Claude Code — one command:
claude mcp add break-clause-analyzer -e ANTHROPIC_API_KEY=sk-ant-… \
-- uv run --directory /absolute/path/to/rubo-mcp break-clause-analyzer
Without a key the server still runs and responds — it uses the heuristic baseline and says so. Every tool response carries the decision-support disclaimer.
temperature=0 is *not* a determinism guarantee from the API, so reproducibility comes from recorded cassettes (VCR.py). scripts/run_eval.py --record records one cassette set per model with the x-api-key header redacted; re-running without --record replays them with no key in seconds. See eval/cassettes/README.md.
src/break_clause_analyzer/
core/ # deterministic trust boundary (no network; cannot import llm/) grounding.py dates.py checklist.py aggregate.py llm/ # the only network egress (Anthropic + heuristic fallback) pipeline.py # propose → gate → dispose orchestration server.py # FastMCP server: the four tools data/cases/ # 24 labelled synthetic case files (+ dataset README) eval/ # harness, metrics, report generator, cassettes docs/METHODOLOGY.md # pre-registered metric definitions report/ # generated eval report + SVG .planning/ # the eval-first roadmap, requirements, and decision log
The metric definitions are pre-registered in docs/METHODOLOGY.md before any model is run, so the headline number can't be defined after the fact to look good. The hallucination rate counts misgrounding and overconfidence — not just fabrication — precisely because a grounding gate makes fabrication trivially zero. The scorer uses no LLM judge; it is validated against a gold oracle and deliberately-broken systems in tests/test_harness.py.
Tenant break clauses only · four conditions precedent · synthetic/public data only · decision-support, not legal advice. Other lease provisions, landlord breaks, real client data, and a production engine are explicitly out of scope.
*Built as a reliability-engineering artifact. The eval is the point.*