PyreCrawl

Name: PyreCrawl
Author: SanggonBoy

von SanggonBoyVersion 0.8.1i★ 25iLäuft auf deinem Computer

Name in der Registryio.github.SanggonBoy/PyreCrawl

So installierst du es

What it does

Web scraping + research toolkit for AI agents: scrape, crawl, monitor URLs with anti-bot bypass.

Connects Läuft auf deinem Computer
Account or key No key needed
Category Web & Browser

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

3/3 Prüfungen bestanden · Läuft auf deinem Computer · ✓ Befehle geprüft am 13. Nov. 2026

Zuerst: Welche KI nutzt du?

ClaudeWeb · App · HandyChatGPTWebClaude CodeTerminalCursorCode-EditorVS CodeCode-EditorAndereAndere Apps

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy

Von der KI installieren lassen

Kopiere diese Nachricht in einen Claude-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server PyreCrawl für Claude auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "pyrecrawl": { "command": "uvx", "args": [ "pyrecrawl" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von PyreCrawl wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

1
uv installieren (falls noch nicht vorhanden)
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --version
- Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
- "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
So öffnest du das Terminal
Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Erledigt
Einstellungsdatei der Claude-Desktop-App öffnen
SettingsDeveloperEdit Config
Erledigt

Diese Einstellungen einfügen und speichern

{
  "mcpServers": {
    "pyrecrawl": {
      "command": "uvx",
      "args": [
        "pyrecrawl"
      ]
    }
  }
}

Erledigt

Claude beenden und neu öffnen
Erledigt
Ausprobieren
Nutze PyreCrawl und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn Claude sagt, dass es PyreCrawl nutzt, oder ein Werkzeug von PyreCrawl in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

ChatGPT kann PyreCrawl noch nicht verbinden

PyreCrawl läuft auf deinem Computer, aber ChatGPT verbindet nur Server, die im Web laufen

Das kannst du stattdessen tun

A · Eine App nutzen, die PyreCrawl verbinden kann

Schritte für Claude →Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy
Schritte für Claude Code →Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Schritte für Cursor →Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Schritte für VS Code →Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

B · Andere in Web & Browser, die mit ChatGPT funktionieren

Aus den meistgenutzten derselben Kategorie, nur solche, die per Adresse ohne Schlüssel verbinden

Firecrawl MCP Server✓ ChatGPT
webclaw✓ ChatGPT
Oxylabs MCP✓ ChatGPT

Klappt mit Claude Code, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

Von der KI installieren lassen

Kopiere diese Nachricht in einen Claude Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server PyreCrawl für Claude Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): claude mcp add --scope user pyrecrawl -- uvx pyrecrawl 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von PyreCrawl wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

1
uv installieren (falls noch nicht vorhanden)
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --version
- Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
- "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
So öffnest du das Terminal
Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Erledigt
Terminal öffnen
Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen
Erledigt
3
Diesen Befehl einfügen und Enter drücken
```
claude mcp add --scope user pyrecrawl -- uvx pyrecrawl
```
Erledigt
/mcp in Claude Code eingeben
PyreCrawl sollte in der Liste als verbunden erscheinen
Erledigt
Ausprobieren
Nutze PyreCrawl und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn Claude Code sagt, dass es PyreCrawl nutzt, oder ein Werkzeug von PyreCrawl in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

Von der KI installieren lassen

Kopiere diese Nachricht in einen Cursor-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server PyreCrawl für Cursor auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "pyrecrawl": { "command": "uvx", "args": [ "pyrecrawl" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von PyreCrawl wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

1
uv installieren (falls noch nicht vorhanden)
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --version
- Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
- "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
So öffnest du das Terminal
Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Erledigt
Mit diesem Button Cursor öffnen
In Cursor öffnen
Cursor fragt nach einer Bestätigung; klicke Install
Erledigt
KI-Chat in Cursor im Agent-Modus öffnen
Erledigt
Ausprobieren
Nutze PyreCrawl und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn Cursor sagt, dass es PyreCrawl nutzt, oder ein Werkzeug von PyreCrawl in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

Von der KI installieren lassen

Kopiere diese Nachricht in einen VS Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server PyreCrawl für VS Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "servers": { "pyrecrawl": { "type": "stdio", "command": "uvx", "args": [ "pyrecrawl" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von PyreCrawl wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

1
uv installieren (falls noch nicht vorhanden)
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --version
- Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
- "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
So öffnest du das Terminal
Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Erledigt
Mit diesem Button VS Code öffnen
In VS Code öffnen
VS Code fragt nach einer Bestätigung; klicke Install
Erledigt
KI-Chat in VS Code im Agent-Modus öffnen
Erledigt
Ausprobieren
Nutze PyreCrawl und sag mir, was du für mich tun kannst; zeig mir dann eine Sache
✓ Wenn VS Code sagt, dass es PyreCrawl nutzt, oder ein Werkzeug von PyreCrawl in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die PyreCrawl nutzen💬 Diskussion →

Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Auf deinem Computer installiert

Claude Code

claude mcp add --scope user pyrecrawl -- uvx pyrecrawl

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "pyrecrawl": {
      "command": "uvx",
      "args": [
        "pyrecrawl"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "pyrecrawl": {
      "command": "uvx",
      "args": [
        "pyrecrawl"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "pyrecrawl": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "pyrecrawl"
      ]
    }
  }
}

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

GitHub-Sterne i: 25
Downloads pro Wochei: 69/Wo.
Lizenz i: MIT
Verbindung: Läuft auf deinem Computer
Transport: stdio
Neueste Versioni: 0.8.1
Kategoriei: Web & Browser
In der Registry veröffentlichti: 22. Sept. 2026
Code zuletzt geänderti: 21. Sept. 2026
Entwickler: SanggonBoy
Pakete: pypi: pyrecrawl
Repo: SanggonBoy/PyreCrawl
Website: pypi.org
Registry-Status: Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Laufen auf deinem Computer in

Claude Goose LM Studio Msty Studio Cherry Studio Cursor VS Code + GitHub Copilot Visual Studio Windsurf (Devin Desktop)Zed Kiro Cline Continue JetBrains AI Assistant Claude Code Codex CLI Gemini CLI OpenCode nodecode Warp LibreChat Raycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 15. Nov. 2026

✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto SanggonBoy bestätigt, dem das Repo gehört
✓ Bestanden
Wird noch gepflegt
Code zuletzt geändert: vor 2 Monaten
✓ Bestanden
Hat eine Lizenz
Nutzt MIT
– Nicht zutreffend
Endpunkt antwortet
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
– Nicht zutreffend
Anmeldung mit OAuth
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
… Noch nicht geprüft
Keine versteckten Anweisungen in Tool-Beschreibungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen

Veröffentlichte Schwachstellen (OSV.dev)

Keine Einträge auf OSV.dev für pyrecrawl@0.8.1

Prüft nur diese Paketversion, nicht alle Abhängigkeiten · geprüft 15. Nov. 2026

Was wir prüfen → · JSON

Entwickler: neue Prüfung anfordern oder falsche Angaben melden

Anmelden

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Anmelden, um eine Bewertung zu schreiben

Im Vergleich mit anderen in Web & Browseri

Mehr Sterne als 95 % der anderen 1525 Server in dieser Kategorie
Neuer in der Registry veröffentlicht als 33 % der anderen 1525 Server in dieser Kategorie
Basischecks gleich gut wie oder besser als bei 100 % der anderen 1525 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist PyreCrawl sicher?

Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.

Läuft er auf meinem Computer oder in der Cloud?

Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt vor 2 Monaten geändert, und die neueste Version (0.8.1) kam vor 2 Monaten in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Browser Use, changedetection.io (official), Apify MCP Server, Actionbook, Flowershow

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

🔥 PyreCrawl — Web Browsing Superpowers for Your AI Agent

One command gives any AI agent the whole web. Scrape, extract, crawl, map, and search — self-hosted, no API keys, no rate limits, no subscription.

PyreCrawl speaks MCP (Model Context Protocol), the standard tool interface for Claude, Cursor, VS Code, Codex, OpenCode, Hermes, and any MCP-compatible agent.

A smart auto-fallback ladder always picks the cheapest method that succeeds:

fast HTTP

│ (403/503/Cloudflare challenge or empty body) ▼ stealth browser (real Chromium + Cloudflare solver) │ (still blocked, or the page needs full JS rendering) ▼ deep processing (LLM-ready markdown, citations, structured extraction)

⚡ Tools exposed

Tool	What it does
`scrape(url, prefer="auto")`	Single URL → LLM-ready markdown
`extract(url, schema)`	Scrape + structured extraction (JsonCss schema)
`map_site(root, include_pattern=None, limit=200)`	Enumerate all internal URLs
`crawl(root, max_pages=5, prefer="auto", include_paths=None, exclude_paths=None, max_depth=0)`	Multi-page crawl with path filters + true BFS depth
`document(url)`	PDF/DOCX/PPTX → markdown (no browser, optional `[docs]` extras)
`search(query, limit=10)`	Web search via DuckDuckGo HTML (no API key)
`search_papers(query, limit=8, source="arxiv", category=None)`	Academic search via arXiv + Crossref (no API key) — feed `pdf_url` into `document`
`batch_scrape(urls[], ...)`	Many URLs in ONE call — parallel, deduped, cache-aware
`deep_research(query, limit=5, scrape_top=3)`	Search → evidence pack with [n] citations (no LLM synthesis — your agent does that)
`monitor(url, action, css_selector=None)`	Change detection with persisted snapshots + unified diff
`session(session, action, ...)`	Persistent browser session (cookies kept) — login walls, multi-step flows, screenshots
`cache(action)`	Inspect/clear/enable/disable the HTTP response cache
`health()`	Versions + import sanity check

MCP Resources (read-only state without a tool call): pyrecrawl://cache/stats · pyrecrawl://sessions · pyrecrawl://monitors

MCP Prompts (ready-made playbooks): research(topic) · rag_ingest(site) · watch_page(url)

Env flags

Variable	Default	Effect
`PYRECRAWL_CACHE`	off	`1` = in-memory LRU (128 pages), or a directory path (reserved for disk mode)
`PYRECRAWL_CACHE_TTL`	`900`	Cache entry lifetime in seconds
`PYRECRAWL_MONITOR_DIR`	`~/.pyrecrawl/monitors`	Where monitor snapshots persist
`PYRECRAWL_NO_TELEMETRY`	off	`1` = disable the anonymous startup ping (also honors `DO_NOT_TRACK=1`)

prefer options: "auto" (default ladder) · "fast" (HTTP only) · "stealth" (CF bypass) · "llm" (deep processing).

🚀 Install & Use (one-liner)

1. Install

UV (recommended — one command, zero Python setup)

UV is a fast Python package manager that handles Python itself — no need to install Python separately. Get it once:

# macOS / Linux

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows (PowerShell)

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

Learn more about UV →

Then run PyreCrawl directly — no venv, no pip install, no Python download:

uvx pyrecrawl@latest

Or via uv tool install (persistent, recommended for regular use)

uv tool install pyrecrawl

Or via pipx (alternative)

pipx install pyrecrawl

Or via pip into a venv

pip install pyrecrawl

2. One-time browser engines

pyrecrawl setup

This installs Chromium + stealth browser engines (~2 min, one-time).

3. Register with your AI agent

# Auto-detect installed agents and write their MCP configs

pyrecrawl install

Or target specific agents

pyrecrawl install claude-desktop cursor

Dry-run to preview what would change

pyrecrawl install --dry-run

Supported agents: claude-desktop, claude-code, cursor, vscode, codex, opencode, hermes.

4. Start chatting

After installing + registering, restart your agent (or start a new session). Then ask:

*"Scrape https://example.com and summarize it."*

Available tools:

Tool	What it does
`scrape`	Fetch a single URL → markdown (auto-escalates past Cloudflare)
`extract`	Scrape + structured extraction via CSS schema → JSON
`map_site`	Enumerate all internal URLs from a root
`crawl`	Multi-page crawl: discover + scrape in bulk
`batch_scrape`	Fetch many URLs in one parallel call
`search`	Web search via DuckDuckGo with anti-bot bypass
`search_papers`	Academic paper search (arXiv / Crossref)
`deep_research`	Search + scrape + citations in one call — primary research tool
`document`	Extract text from PDF/DOCX/PPTX URLs
`monitor`	Track a URL for content changes over time
`session`	Persistent browser session for login walls
`cache`	Inspect or clear the response cache
`health`	Verify engine availability + version

Plus 3 guided prompts: research, rag_ingest, watch_page.

Quick examples

Ask your agent naturally — no special syntax needed:

You say	Agent uses
"Scrape https://example.com and summarize it"	`scrape` → returns markdown → agent summarizes
"Research Rust memory safety vulnerabilities"	`deep_research` → search + scrape + citations
"Deep research on AI regulation worldwide"	`deep_research(iterations=3)` → multi-pass with refined queries
"Extract all product names and prices from this page"	`extract` → CSS schema → structured JSON
"Crawl https://docs.example.com and give me an overview"	`crawl` → multi-page → summary
"Monitor this page for price changes"	`monitor` → baseline snapshot → periodic diff
"Find papers about transformer attention"	`search_papers` → arXiv results
"What's the current cache hit rate?"	`cache` → stats

🧠 Skills — Maximize Your Agent's Research Quality

PyreCrawl tools give your agent hands (scrape, crawl, search). But the agent still needs a brain — instructions on *when* to use which tool, *how* to chain research passes, and *what* anti-hallucination rules to follow.

That's what [PyreCrawl Skills](https://github.com/SanggonBoy/pyrecrawl-skills) provides.

	MCP Tools (this repo)	Skills (pyrecrawl-skills)
Role	Execute web operations	Tell the agent how to use them
Analogy	Hands	Brain
Example	`deep_research(query, iterations=3)`	"Run 3 passes, check gaps after each, cite everything"
Required?	Yes (the engine)	Optional (but recommended for research quality)

Quick setup:

# 1. Install the tools (you already have this)

uvx pyrecrawl@latest

2. Add the research skill to your project

git clone https://github.com/SanggonBoy/pyrecrawl-skills.git /tmp/pyrecrawl-skills cp /tmp/pyrecrawl-skills/pyrecrawl-research/SKILL.md ./CLAUDE.md # or .cursorrules / AGENTS.md

Without skills: Your agent has powerful tools but improvises usage.

With skills: Your agent follows a proven research protocol with anti-hallucination guardrails.

📚 Manual config (if `pyrecrawl install` doesn't match your setup)

Claude Desktop

Config file

Linux: ~/.config/Claude/claude_desktop_config.json
macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %AppData%\Claude\claude_desktop_config.json

"mcpServers": { "pyrecrawl": { "command": "uvx", "args": ["--from", "pyrecrawl", "pyrecrawl", "serve"] } } }

Claude Code

Config file: project-scoped .mcp.json

"mcpServers": { "pyrecrawl": { "command": "uvx", "args": ["--from", "pyrecrawl", "pyrecrawl", "serve"] } } }

Cursor

Config file: ~/.cursor/mcp.json

"mcpServers": { "pyrecrawl": { "command": "uvx", "args": ["--from", "pyrecrawl", "pyrecrawl", "serve"] } } }

VS Code / Copilot

Config file: .vscode/mcp.json (project-scoped)

"servers": { "pyrecrawl": { "command": "uvx", "args": ["--from", "pyrecrawl", "pyrecrawl", "serve"], "type": "stdio" } } }

Codex CLI

Config file: ~/.codex/config.toml

[mcp_servers.pyrecrawl]

command = "uvx" args = ["--from", "pyrecrawl", "pyrecrawl", "serve"]

OpenCode

Config file: ~/.config/opencode/opencode.json

"mcp": { "pyrecrawl": { "type": "local", "command": ["uvx", "--from", "pyrecrawl", "pyrecrawl", "serve"], "enabled": true } } }

Hermes

Config file

Linux/macOS: ~/.hermes/config.yaml
Windows: %LocalAppData%\hermes\config.yaml

mcp_servers:

pyrecrawl: command: uvx args:

--from
pyrecrawl
pyrecrawl
serve enabled: true

Windows note: uvx must be on PATH. If not, use the full path to uvx.exe (e.g. C:\Users\ \AppData\Local\hermes\bin\uvx.exe).

🧠 How the ladder chooses

PyreCrawl runs each request through three tiers, stopping at the first one that returns a complete, LLM-ready result:

Concern	Fast tier	Stealth tier	Deep tier
Static HTML page	✅ ~200ms	—	—
Cloudflare-protected	❌	✅ Turnstile solver	—
JS-heavy SPA	❌	✅ real Chromium	—
Live DOM data (input `.value`, JS state)	❌	✅ `js` param	—
LLM-ready markdown + citations	—	—	✅ BM25, fit-markdown
Structured extraction (CSS schema)	—	—	✅
Deep crawl (BFS/DFS/BestFirst)	—	—	✅ adaptive

The agent never has to pick. prefer="auto" does it every call.

Live DOM data with `js` and `wait_for`

Some sites keep the data you want in a DOM *property* (e.g. an 's .value) that JS writes after an XHR — it never appears in the serialized HTML. The scrape tool accepts two stealth-tier params for exactly this:

"url": "https://temp-mail.org/id", "prefer": "stealth", "wait_for": "document.getElementById('mail').value.includes('@')", "js": "document.getElementById('mail').value" }

wait_for — a JS predicate expression polled until truthy (bounded by timeout). Use it instead of guessing a sleep for anything that arrives asynchronously.
js — a JS expression evaluated once the page settles; the value comes back in meta.js_result. Errors are captured in meta.js_error (the page result is still returned, never a crash).

📊 Compared to Firecrawl (hosted)

	Firecrawl	PyreCrawl
Cost	Free 1k/mo, then $16–333/mo	Free, self-hosted
Local LLM support	❌	✅ Ollama / any LLM

| Cloudf

Nur der Anfang wird gezeigt; den Rest findest du im Repo

PyreCrawl

What it does

Installation

uv installieren (falls noch nicht vorhanden)

Einstellungsdatei der Claude-Desktop-App öffnen

Diese Einstellungen einfügen und speichern

Claude beenden und neu öffnen

Ausprobieren

Das kannst du stattdessen tun

uv installieren (falls noch nicht vorhanden)

Terminal öffnen

Diesen Befehl einfügen und Enter drücken

/mcp in Claude Code eingeben

Ausprobieren

uv installieren (falls noch nicht vorhanden)

Mit diesem Button Cursor öffnen

KI-Chat in Cursor im Agent-Modus öffnen

Ausprobieren

uv installieren (falls noch nicht vorhanden)

Mit diesem Button VS Code öffnen

KI-Chat in VS Code im Agent-Modus öffnen

Ausprobieren

Auf deinem Computer installiert

Auf einen Blick

Welche Apps ihn nutzen können

Was er kann

Basischecksi

Entwickler passt zum Repo

Wird noch gepflegt

Hat eine Lizenz

Endpunkt antwortet

Anmeldung mit OAuth

Keine versteckten Anweisungen in Tool-Beschreibungen

Veröffentlichte Schwachstellen (OSV.dev)

Diskussion

Nutzerbewertungen

Im Vergleich mit anderen in Web & Browseri

Häufige Fragen

Ähnliche Alternativen

Browser Use

changedetection.io (official)

Apify MCP Server

Actionbook

Flowershow

README vom Entwickler

🔥 PyreCrawl — Web Browsing Superpowers for Your AI Agent

⚡ Tools exposed

Env flags

🚀 Install & Use (one-liner)

1. Install

UV (recommended — one command, zero Python setup)

Windows (PowerShell)

Or via uv tool install (persistent, recommended for regular use)

Or via pipx (alternative)

Or via pip into a venv

2. One-time browser engines

3. Register with your AI agent

Or target specific agents

Dry-run to preview what would change

4. Start chatting

Quick examples

🧠 Skills — Maximize Your Agent's Research Quality

2. Add the research skill to your project

📚 Manual config (if pyrecrawl install doesn't match your setup)

Claude Desktop

Claude Code

Cursor

VS Code / Copilot

Codex CLI

OpenCode

Hermes

🧠 How the ladder chooses

Live DOM data with js and wait_for

📊 Compared to Firecrawl (hosted)

📚 Manual config (if `pyrecrawl install` doesn't match your setup)

Live DOM data with `js` and `wait_for`