Browser Use
von browser-use
Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.
Computer oder Cloud★ 120.087MITAktualisiert vor 16 Tagen
Installieren
CrawlEyes MCP Server
Überblick
Beschreibung vom Entwickler (englisches Original)
Web scraping & search for AI agents: extract, SearXNG search, rerank, robots compliance. No API key.
Die drei Säulen von PopNx MCP
Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.
- Stimmen der NutzeriNoch keine BewertungenBewertungen starten in einem späteren Schritt zusammen mit Benutzerkonten
- Unsere Basischecksi1 von 1 bestandenAnhand öffentlicher Informationen geprüft; Code noch nicht gescannt
- NutzungiNoch nicht gemessen★ –
Was du damit machen kannst
Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.
- Verbindung: Läuft auf deinem Computer
- Transport: stdio
- Kategorie: Web & Browser
- Das musst du eintragen: TAVILY_API_KEY
Installation
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Bevor du installierst
- Basischecks: 1 von 1 bestanden
- Läuft auf deinem Computer mit den Rechten deines Benutzerkontos (Dateien, Netzwerk, Apps).
- Das trägst du selbst ein:
SEARXNG_URL,TAVILY_API_KEY
Als geheim markierte Werte sind Schlüssel zu deinem Konto. Gib sie nie weiter und füge sie nie in einen Chat ein.
Du brauchst
- PyPIuv für Python installiert (für den Befehl uvx)
Welche App nutzt du?
Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.
Öffne Claude Desktop → Settings → Developer → Edit Config und füge dies in claude_desktop_config.json ein
{
"mcpServers": {
"crawleyes": {
"command": "uvx",
"args": [
"crawleyes"
],
"env": {
"SEARXNG_URL": "your-value",
"TAVILY_API_KEY": "your-value"
}
}
}
}Führe das in deinem Terminal aus
claude mcp add crawleyes --env SEARXNG_URL=your-value --env TAVILY_API_KEY=your-value -- uvx crawleyesTrag die leeren Werte ein, bevor du ihn startest.
Oder kopier die Einstellungen selbst
In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen
{
"mcpServers": {
"crawleyes": {
"command": "uvx",
"args": [
"crawleyes"
],
"env": {
"SEARXNG_URL": "your-value",
"TAVILY_API_KEY": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Oder kopier die Einstellungen selbst
In .vscode/mcp.json in deinem Projekt einfügen
{
"servers": {
"crawleyes": {
"type": "stdio",
"command": "uvx",
"args": [
"crawleyes"
],
"env": {
"SEARXNG_URL": "your-value",
"TAVILY_API_KEY": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Dieser Server läuft auf deinem Computer, und ChatGPT kann sich nur mit Servern im Internet verbinden. Wähle eine andere App.
Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.
Werte, die du selbst einträgst
SEARXNG_URLenvOptional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.- Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
Was er kann
Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.
Basischecksi
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 6. Nov. 2026
- ✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto waiky-github bestätigt, dem das Repo gehört
- … Noch nicht geprüft
Wird noch gepflegt
Dieses Repo haben wir noch nicht von GitHub gelesen
- … Noch nicht geprüft
Hat eine Lizenz
Dieses Repo haben wir noch nicht von GitHub gelesen
- – Nicht zutreffend
Endpunkt antwortet
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
- – Nicht zutreffend
Anmeldung mit OAuth
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
- … Noch nicht geprüft
Keine versteckten Anweisungen in Tool-Beschreibungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen
Im Vergleich mit anderen in Web & Browseri
- Mehr Sterne als 0 % der anderen 875 Server in dieser Kategorie
- Neuer in der Registry veröffentlicht als 34 % der anderen 875 Server in dieser Kategorie
- Basischecks gleich gut wie oder besser als bei 100 % der anderen 875 Server in dieser Kategorie
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Häufige Fragen
Ist CrawlEyes MCP Server sicher?
Er hat 1 von 1 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Welche Schlüssel oder Codes braucht er?
Das musst du eintragen: TAVILY_API_KEY
Läuft er auf meinem Computer oder in der Cloud?
Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).
Wird er noch gepflegt?
Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (0.2.0) kam vor 2 Monaten in die Registry.
Welche Apps können ihn nutzen?
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.
Was kann ich stattdessen nutzen?
In derselben Kategorie: Browser Use, Chrome DevTools MCP, MCP Server Browser
Alternativen
Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.
So liest du eine Karte:★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Chrome DevTools MCP
von ChromeDevTools
MCP server for Chrome DevTools
Läuft auf deinem Computer★ 54.821Apache-2.0Aktualisiert vor 15 Tagen
Installieren
MCP Server Browser
von bytedance
MCP server for browser use access
Läuft auf deinem Computer★ 39.550Apache-2.0Aktualisiert vor 14 Monaten
Installieren
README vom Entwickler
README öffnen
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
CrawlEyes — Web Scraping & Search Toolkit for AI Agents
English | 中文
CrawlEyes gives AI agents reliable full-text extraction (web_extract) and robust search (web_search) backends — the "eyes" that let agents see and read the web. Built and tested against Hermes Agent.
Also ships as a standard MCP server, so any MCP client (Claude Desktop, Cursor, other agents) can reuse the same search + extraction capabilities.
Why CrawlEyes?
Most agent toolkits cover *one* slice of the pipeline. CrawlEyes is the rare all-in-one that you can actually run behind the Great Firewall without external accounts.
| Typical agent toolkit | CrawlEyes | |
|---|---|---|
| 🔍 Search | API key required, often blocked in CN | ✅ SearXNG (self-hosted) + Tavily keyless fallback — zero config, zero key |
| 📄 Extraction | Separate scraper, or Firecrawl SaaS | ✅ Built-in Crawl4AI full-text extract, ~89% noise removal |
| 🧠 Semantic rerank | Rarely included | ✅ Local fastembed rerank — no torch, ~50MB model |
| 🔌 MCP server | Often missing | ✅ Standard MCP tools (search + extract + deep_research + sitemap), any client |
| 🌐 China-friendly | Mostly English/GFW-blocked | ✅ Tested on a real mainland China server (baidu + yandex) |
Zero API keys. Zero external accounts. One command. CrawlEyes is the only toolkit in this space that combines search + extraction + semantic reranking + MCP in a single, China-friendly, self-hosted package.
Features
| Capability | Where | Why it matters |
|---|---|---|
| Full-text extraction | scripts/crawl4ai_cli.py | Headless-browser scraping → clean Markdown; handles ~80% of JS/dynamic/UA-blocked pages |
| Content denoising (P1) | crawl4ai_cli.py --noise-filter | Prunes nav/ads/comments via Crawl4AI's PruningContentFilter — measured 24.6k→2.8k chars (~89% noise removed) on a typical article |
| Retry with backoff (P3) | crawl4ai_cli.py --retry N | Exponential backoff (1s/2s/4s) on transient failures |
| Browser session reuse (P4) | crawl4ai_cli.py --session NAME | Reuses the browser context across scrapes in one process — no cold-start per URL |
| Keyword-focused extraction | crawl4ai_cli.py --bm25 KEYWORD | Keeps only paragraphs relevant to a keyword (experimental — BM25 is English-centric; works best on English docs) |
| Search (primary) | SearXNG (self-hosted meta-search) | Privacy-friendly search aggregator |
| Search (fallback) | Tavily keyless API | Zero-config, no-key fallback when SearXNG is down/empty |
| Search orchestration | plugins/searxng-tavily/ | Hermes plugin provider: SearXNG first → auto-fallback to Tavily keyless; three-state circuit breaker (3 fails → 60s cooldown → half-open) + shared SQLite cache (TTL 3600s) |
| Semantic reranking (P2) | scripts/crawl_search_standalone.py | Local embedding rerank of search results with fastembed + BAAI/bge-small-zh-v1.5 (512-dim, no torch dependency, ~50MB, cached) — puts relevant results first. Measured: crawler-relevant items 0.817/0.732 float to top, irrelevant 0.302/0.139 sink |
| MCP server (P5) | scripts/mcp_crawl_server.py | Exposes search + extract + deep_research + sitemap as standard MCP tools (stdio default, or streamable-http for remote clients). Works in *any* MCP client, no Hermes dependency. Extracted content is sanitized against prompt-injection (strips invisible chars + prompt-hijack lines). Unified rate limiting + exponential backoff guard every tool (sliding window, per-tool cost) so concurrent agent calls can't hammer downstream services |
| Sitemap discovery (P1) | crawleyes/sitemap.py | sitemap(origin) → parses sitemap.xml (plain / gzip / index-recursion) with robots.txt fallback, returns a deduped URL map. Zero-key way to discover a site's URL surface for whole-site fetch or deep-research seeding |
| Multi-format extract (P0) | extract(..., format=) | markdown (default) / fit (denoised) / raw (unfiltered) / markdown_with_citations — pick the level of cleanup you need |
| RAG-ready interfaces | crawleyes/rag.py | One-liners markdown(url) / search_markdown(query) → clean, sanitized, LLM-ready Markdown for RAG corpora |
| Deep research | crawleyes/deep_research.py | deep_research(topic) → decomposes topic into sub-questions → searches → extracts → synthesizes a cited Markdown report. Optional LLM (any OpenAI-compatible endpoint); degrades to evidence-aggregate mode without one |
| Verification | scripts/ | Clean subprocess scripts to verify each backend end-to-end per Hermes profile |
Project layout
plugins/searxng-tavily/ Hermes web-search provider plugin (SearXNG → Tavily keyless fallback)- three-state circuit breaker + shared SQLite cache
scripts/ crawl4ai_cli.py Universal scraping CLI (URL → Markdown), with denoise/retry/session/BM25 crawl_search_standalone.py Standalone search (SearXNG → Tavily) + optional semantic rerank. No Hermes dependency — usable anywhere, powers the MCP server. mcp_crawl_server.py Standard MCP server exposing search + extract + deep_research + sitemap (stdio) single_env_check.py Verify crawl4ai provider registered+available+extracts (one profile) verify_searxng_tavily.py Verify searxng-tavily provider: normal path + forced fallback agent_link_check.py Verify full agent tool chain: web_search_tool dispatch + logs
Quick start
1. Install Crawl4AI (China-friendly mirrors)
python3 -m venv .venvUse Tsinghua PyPI mirror for speed (or any mirror you prefer)
.venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple crawl4ai
Playwright browser kernel — use npmmirror binary mirror if cdn.playwright.dev is blocked
PLAYWRIGHT_DOWNLOAD_HOST=https://registry.npmmirror.com/-/binary/playwright \ .venv/bin/python -m playwright install chromium .venv/bin/crawl4ai-setup
2. Scrape a page
.venv/bin/python scripts/crawl4ai_cli.py https://example.com # stdout Markdown.venv/bin/python scripts/crawl4ai_cli.py https://example.com -o out.md # to file .venv/bin/python scripts/crawl4ai_cli.py URL --text --max-words 5000 # plain text, truncated
Multi-format extraction (markdown|fit|raw|markdown_with_citations)
.venv/bin/python scripts/crawl4ai_cli.py URL --format raw # unfiltered source markdown .venv/bin/python scripts/crawl4ai_cli.py URL --format markdown_with_citations # + source URLs
Respect robots.txt (opt-in, default off)
.venv/bin/python scripts/crawl4ai_cli.py URL --respect-robots
Denoise nav/ads + retry 3x + reuse session across scrapes
.venv/bin/python scripts/crawl4ai_cli.py URL --noise-filter --retry 3 --session s1
3. Use the search + rerank (standalone, no Hermes)
# Optional: local semantic rerank of results (fastembed + bge-small-zh, auto-downloaded).venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastembed
SearXNG first, Tavily keyless fallback, then rerank
SEARXNG_URL=https://your-searxng .venv/bin/python -c " import sys; sys.path.insert(0, 'scripts') from crawl_search_standalone import CrawlSearch r = CrawlSearch(rerank=True).search('your query') print(r'data')"
China-network note: the embedding model downloads from HuggingFace, which is blocked on mainland networks. Set
HF_ENDPOINT=https://hf-mirror.comandHF_HUB_DISABLE_XET=1(hf-mirror doesn't support the xet protocol and returns 401 without this).
4. Run as an MCP server (any client)
# Any MCP client can connect via stdio (default):.venv/bin/python scripts/mcp_crawl_server.py
Exposes tools:
search(query, limit) - SearXNG → Tavily keyless, rerank, retry+rate-limit
extract(url, max_words, format) - markdown|fit|raw|markdown_with_citations
deep_research(topic, num_questions) - multi-round cited report
sitemap(origin, max_urls) - URL map from sitemap.xml / robots.txt
Or serve over HTTP (streamable-http) for remote clients:
.venv/bin/python -m crawleyes.mcp_crawl_server --transport http --port 8765 --host 127.0.0.1
→ clients connect to http://127.0.0.1:8765/mcp
(host/port configurable; default 127.0.0.1:8765)
For Hermes specifically, add to config.yaml:
mcp_servers:crawl: command: "/path/to/crawl/.venv/bin/python" args: ["/path/to/crawl/scripts/mcp_crawl_server.py"] timeout: 90 connect_timeout: 60
4b. Firecrawl-compatible /scrape endpoint
Already using Firecrawl's Python SDK? Point it at CrawlEyes and keep your code:
.venv/bin/python -m crawleyes.firecrawl_api --port 8899 --host 127.0.0.1POST /v2/scrape → { success, data: { markdown, metadata } }
GET /healthz → health check
from firecrawl import Firecrawlfc = Firecrawl(api_url="http://127.0.0.1:8899", api_key="ignored") doc = fc.scrape(url="https://example.com") # → { markdown, metadata }
This is a pragmatic subset of the Firecrawl API — the core /scrape contract (success + data.markdown + data.metadata), backed by CrawlEyes' own extraction engine. It does not implement Firecrawl's async /crawl queue, /search, or /map — see the design notes for the rationale.
5. Install the search plugin (Hermes)
Copy plugins/searxng-tavily/ into a Hermes plugins dir, then:
hermes plugins enable web/searxng-tavilyhermes config set web.search_backend searxng-tavily
Set SEARXNG_URL in your Hermes profile .env to point at your SearXNG instance. If unset or unreachable, the provider automatically falls back to the Tavily keyless API (no API key required).
Note: the plugin only takes effect for newly started agent sessions.
6. Verify
# Requires the Hermes source tree + its venvvenv/bin/python scripts/verify_searxng_tavily.py $HERMES_HOME venv/bin/python scripts/agent_link_check.py $HERMES_HOME
Design notes
- Layered composition: no single tool covers everything. Crawl4AI handles extraction; SearXNG + Tavily cover search; each layer has a tested fallback.
- Tavily keyless works with zero configuration and no account — a cheap resilience net for the whole search path.
- Circuit breaker is SearXNG-only: a Tavily fallback success does *not* reset the breaker (otherwise it would never trip).
record_success()is only called when SearXNG itself succeeds. - Shared SQLite cache lives in the *real* user home (via
pwd.getpwuid, not$HOME— which Hermes profiles override), so all profiles share one cache. WAL + 5s timeout + try/except degrade-to-no-cache under concurrency. - Semantic rerank is cheap: fastembed (ONNX) avoids the ~2GB torch dependency; model loads in ~0.6s once cached, embeddings in ~50ms.
- MCP server is standalone: it does *not* import Hermes internals, so it runs on any Python 3.12 env and serves any MCP client.
- MCP transport is dual: stdio (default, standard MCP clients) or
streamable-http(--transport http), so a single codebase serves bot
Nur der Anfang wird gezeigt; den Rest findest du im Repo