CrawlEyes MCP Server

Name: CrawlEyes MCP Server
Author: waiky-github

โดย waiky-githubรุ่น 0.2.0i★ –iรันบนเครื่อง

ชื่อใน registryio.github.waiky-github/CrawlEyes

ติดตั้ง

ภาพรวม

คำอธิบายจากผู้ทำ (ภาษาอังกฤษตามต้นฉบับ)

Web scraping & search for AI agents: extract, SearXNG search, rerank, robots compliance. No API key.

สามเสาของ PopNx MCP

สามเรื่องนี้ไม่รวมเป็นคะแนนเดียว เพราะความเห็น การวัด และความนิยม เป็นคนละเรื่องกัน

เสียงผู้ใช้iยังไม่มีรีวิวรีวิวเปิดพร้อมระบบบัญชีในขั้นถัดไป
ผลตรวจเบื้องต้นของเราiผ่าน 1 จาก 1 ข้อตรวจจากข้อมูลที่เปิดอยู่ ยังไม่ได้สแกนโค้ด
การใช้งานiยังไม่ได้วัด★ –

ใช้ทำอะไรได้

ตัวนี้ยังไม่ได้เรียบเรียงเป็นภาษาไทย ด้านล่างคือข้อเท็จจริงที่เราอ่านจาก registry

การเชื่อมต่อ: รันบนเครื่อง
ช่องทาง (transport): stdio
หมวด: เว็บและเบราว์เซอร์
ต้องใส่ค่าเหล่านี้: TAVILY_API_KEY

ติดตั้ง

เลือกโปรแกรม AI ที่คุณใช้ แล้วคัดลอกค่าตั้งไปวาง

ก่อนติดตั้ง

ผลตรวจเบื้องต้น: ผ่าน 1 จาก 1 ข้อ
รันในเครื่องคุณด้วยสิทธิ์ของผู้ใช้คุณ (ไฟล์ อินเทอร์เน็ต แอปต่าง ๆ)
ค่าที่คุณต้องใส่เอง: SEARXNG_URL, TAVILY_API_KEY

ค่าที่ติดป้ายความลับคือกุญแจของบัญชีคุณ อย่าส่งให้ใคร และอย่าวางในแชต

ต้องเตรียมก่อน

PyPIติดตั้ง uv ของ Python (มีคำสั่ง uvx) ในเครื่อง

คุณใช้แอปไหน

ClaudeClaude CodeCursorVS CodeChatGPT

เลือกแอปด้านบน เราจำไว้ให้ ครั้งหน้าปุ่มจะขึ้นว่า “ติดตั้งลง …”

เปิด Claude Desktop → Settings → Developer → Edit Config แล้ววางค่านี้ในไฟล์ claude_desktop_config.json

{
  "mcpServers": {
    "crawleyes": {
      "command": "uvx",
      "args": [
        "crawleyes"
      ],
      "env": {
        "SEARXNG_URL": "ใส่ค่าของคุณ",
        "TAVILY_API_KEY": "ใส่ค่าของคุณ"
      }
    }
  }
}

พิมพ์คำสั่งนี้ใน Terminal

claude mcp add crawleyes --env SEARXNG_URL='ใส่ค่าของคุณ' --env TAVILY_API_KEY='ใส่ค่าของคุณ' -- uvx crawleyes

เติมค่าที่เว้นว่างไว้ก่อนรัน

เปิดใน Cursor

หรือคัดลอกค่าตั้งเอง

วางในไฟล์ .cursor/mcp.json ของโปรเจกต์ หรือ ~/.cursor/mcp.json

{
  "mcpServers": {
    "crawleyes": {
      "command": "uvx",
      "args": [
        "crawleyes"
      ],
      "env": {
        "SEARXNG_URL": "ใส่ค่าของคุณ",
        "TAVILY_API_KEY": "ใส่ค่าของคุณ"
      }
    }
  }
}

เบราว์เซอร์จะถามก่อนเปิดแอป จากนั้นแอปแสดงค่าตั้งให้ตรวจแล้วกดยืนยัน ช่อง key เว้นว่างไว้ให้คุณใส่เอง

เปิดใน VS Code

หรือคัดลอกค่าตั้งเอง

วางในไฟล์ .vscode/mcp.json ของโปรเจกต์

{
  "servers": {
    "crawleyes": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "crawleyes"
      ],
      "env": {
        "SEARXNG_URL": "ใส่ค่าของคุณ",
        "TAVILY_API_KEY": "ใส่ค่าของคุณ"
      }
    }
  }
}

ตัวนี้รันในเครื่องคุณ แต่ ChatGPT ต่อได้เฉพาะ server บนอินเทอร์เน็ต ลองเลือกแอปอื่น

ตัวเลือกเก็บในคุกกี้บนเครื่องนี้ ไม่ต้องมีบัญชี

ค่าที่ต้องใส่เอง

SEARXNG_URL env
Optional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.
TAVILY_API_KEY ความลับ env
Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).

ค่าตั้งนี้สร้างจากข้อมูลใน registry ของผู้ทำ ถ้าไม่ตรงกับ README ให้เชื่อ README

ทำอะไรได้บ้าง

รันในเครื่องคุณ รายการเครื่องมือจะขึ้นในแอป AI หลังติดตั้ง

ผลตรวจเบื้องต้นi

เราตรวจจากข้อมูลที่ใครก็เปิดดูได้ ยังไม่ได้อ่านโค้ด ข้อที่ไม่เกี่ยวกับตัวนี้ไม่นับในตัวหาร · ตรวจเมื่อ 6 พ.ย. 2569

✓ ผ่าน
ตัวตนผู้ทำตรงกับ repo
ชื่อใน registry ยืนยันด้วยบัญชี GitHub waiky-github ซึ่งเป็นเจ้าของ repo
… ยังไม่ตรวจ
ยังมีคนดูแล
ยังไม่ได้อ่านข้อมูล repo จาก GitHub
… ยังไม่ตรวจ
มีสัญญาอนุญาต (license)
ยังไม่ได้อ่านข้อมูล repo จาก GitHub
– ไม่เกี่ยว
endpoint ตอบ
ตัวนี้รันบนเครื่องคุณ ไม่มี endpoint บนอินเทอร์เน็ต
– ไม่เกี่ยว
ล็อกอินแบบ OAuth
ตัวนี้รันบนเครื่อง ใช้ค่าที่ตั้งในเครื่องแทน
… ยังไม่ตรวจ
คำอธิบายเครื่องมือไม่มีคำสั่งแอบแฝง
รันในเครื่องคุณ เราอ่านรายการเครื่องมือได้เฉพาะตัวที่มี endpoint บนอินเทอร์เน็ต

เทียบกับตัวอื่นในหมวด เว็บและเบราว์เซอร์i

ดาวมากกว่า 0% ของอีก 875 ตัวในหมวดนี้
ส่งรุ่นใหม่เข้า registry ล่าสุดกว่า 34% ของอีก 875 ตัวในหมวดนี้
ผลตรวจเบื้องต้นดีกว่าหรือเท่ากับ 100% ของอีก 875 ตัวในหมวดนี้

เทียบกับทุก server ที่ยังใช้งานในหมวดนี้ทั้งทะเบียน ดาวนับเฉพาะเมื่อผู้ลงทะเบียนเป็นเจ้าของ repo

คำถามที่พบบ่อย

CrawlEyes MCP Server ปลอดภัยไหม?

จากการตรวจเบื้องต้นของเรา ผ่าน 1 จาก 1 ข้อที่ตรวจได้ เรายังไม่ได้อ่านโค้ด ก่อนใส่กุญแจหรือ token ให้ดูว่า server ขอสิทธิ์อะไร และเลือกกุญแจที่ทำได้เท่าที่จำเป็น

ต้องใช้กุญแจหรือรหัสอะไรบ้าง?

ต้องใส่ค่าเหล่านี้: TAVILY_API_KEY

ตัวนี้รันบนเครื่องหรือบนคลาวด์?

รันบนเครื่องของคุณ โปรแกรม AI จะเปิด server ขึ้นมาเองเมื่อใช้ ข้อมูลไม่ต้องผ่านเซิร์ฟเวอร์ของผู้ทำ (ยกเว้นตัวที่ไปเรียกบริการออนไลน์ต่อ)

ยังมีคนดูแลอยู่ไหม?

repo บน GitHub มีการแก้โค้ดล่าสุด – และส่งรุ่นล่าสุด (0.2.0) เข้า registry 2 เดือนที่ผ่านมา

ใช้กับโปรแกรมไหนได้บ้าง?

โปรแกรมที่รองรับ MCP เช่น Claude Desktop, Claude Code, Cursor และ VS Code ตัวนี้ต้องมี Python (uv) ในเครื่องด้วย

มีตัวไหนใช้แทนได้บ้าง?

ในหมวดเดียวกันมี Browser Use, Chrome DevTools MCP, MCP Server Browser

ตัวที่ใช้แทนได้

server หมวดเดียวกันจากผู้ทำคนอื่น เรียงตามดาว

อ่านการ์ด:★ ดาว GitHubiสามเสา: รีวิว · ผลตรวจ · การใช้งานiอัปเดต = วันที่ส่งรุ่นล่าสุดเข้า registryi

Browser Use

โดย browser-use

ให้ AI ทำงานบนเว็บแทนคุณ เช่น กรอกฟอร์ม ค้นหา และดึงข้อมูล ใช้เบราว์เซอร์บนคลาวด์ของผู้ทำหรือรันในเครื่องก็ได้

บนเครื่องหรือคลาวด์★ 120,087MITอัปเดต 16 วันที่ผ่านมา

ติดตั้ง

Chrome DevTools MCP

โดย ChromeDevTools

ให้ AI ใช้เครื่องมือนักพัฒนาของ Chrome ตรวจหน้าเว็บ ดูว่าโหลดช้าตรงไหน และหาข้อผิดพลาด ทำโดยทีม Chrome DevTools

รันบนเครื่อง★ 54,821Apache-2.0อัปเดต 15 วันที่ผ่านมา

ติดตั้ง

MCP Server Browser

โดย bytedance

MCP server for browser use access

รันบนเครื่อง★ 39,550Apache-2.0อัปเดต 14 เดือนที่ผ่านมา

ติดตั้ง

README จากผู้ทำ

เปิดอ่าน README

ส่วนนี้คัดจาก repo ของผู้ทำตามต้นฉบับ PopNx MCP ไม่ได้ตรวจหรือรับรองเนื้อหา ตัด HTML รูปภาพ และสคริปต์ออกแล้ว ลิงก์จะพาออกนอกเว็บ

CrawlEyes — Web Scraping & Search Toolkit for AI Agents

English | 中文

CrawlEyes gives AI agents reliable full-text extraction (web_extract) and robust search (web_search) backends — the "eyes" that let agents see and read the web. Built and tested against Hermes Agent.

Also ships as a standard MCP server, so any MCP client (Claude Desktop, Cursor, other agents) can reuse the same search + extraction capabilities.

Why CrawlEyes?

Most agent toolkits cover *one* slice of the pipeline. CrawlEyes is the rare all-in-one that you can actually run behind the Great Firewall without external accounts.

	Typical agent toolkit	CrawlEyes
🔍 Search	API key required, often blocked in CN	✅ SearXNG (self-hosted) + Tavily keyless fallback — zero config, zero key
📄 Extraction	Separate scraper, or Firecrawl SaaS	✅ Built-in Crawl4AI full-text extract, ~89% noise removal
🧠 Semantic rerank	Rarely included	✅ Local fastembed rerank — no torch, ~50MB model
🔌 MCP server	Often missing	✅ Standard MCP tools (`search` + `extract` + `deep_research` + `sitemap`), any client
🌐 China-friendly	Mostly English/GFW-blocked	✅ Tested on a real mainland China server (baidu + yandex)

Zero API keys. Zero external accounts. One command. CrawlEyes is the only toolkit in this space that combines search + extraction + semantic reranking + MCP in a single, China-friendly, self-hosted package.

Features

Capability	Where	Why it matters
Full-text extraction	`scripts/crawl4ai_cli.py`	Headless-browser scraping → clean Markdown; handles ~80% of JS/dynamic/UA-blocked pages
Content denoising (P1)	`crawl4ai_cli.py --noise-filter`	Prunes nav/ads/comments via Crawl4AI's `PruningContentFilter` — measured 24.6k→2.8k chars (~89% noise removed) on a typical article
Retry with backoff (P3)	`crawl4ai_cli.py --retry N`	Exponential backoff (1s/2s/4s) on transient failures
Browser session reuse (P4)	`crawl4ai_cli.py --session NAME`	Reuses the browser context across scrapes in one process — no cold-start per URL
Keyword-focused extraction	`crawl4ai_cli.py --bm25 KEYWORD`	Keeps only paragraphs relevant to a keyword (experimental — BM25 is English-centric; works best on English docs)
Search (primary)	SearXNG (self-hosted meta-search)	Privacy-friendly search aggregator
Search (fallback)	Tavily keyless API	Zero-config, no-key fallback when SearXNG is down/empty
Search orchestration	`plugins/searxng-tavily/`	Hermes plugin provider: SearXNG first → auto-fallback to Tavily keyless; three-state circuit breaker (3 fails → 60s cooldown → half-open) + shared SQLite cache (TTL 3600s)
Semantic reranking (P2)	`scripts/crawl_search_standalone.py`	Local embedding rerank of search results with `fastembed` + `BAAI/bge-small-zh-v1.5` (512-dim, no torch dependency, ~50MB, cached) — puts relevant results first. Measured: crawler-relevant items 0.817/0.732 float to top, irrelevant 0.302/0.139 sink
MCP server (P5)	`scripts/mcp_crawl_server.py`	Exposes `search` + `extract` + `deep_research` + `sitemap` as standard MCP tools (stdio default, or streamable-http for remote clients). Works in any MCP client, no Hermes dependency. Extracted content is sanitized against prompt-injection (strips invisible chars + prompt-hijack lines). Unified rate limiting + exponential backoff guard every tool (sliding window, per-tool cost) so concurrent agent calls can't hammer downstream services
Sitemap discovery (P1)	`crawleyes/sitemap.py`	`sitemap(origin)` → parses `sitemap.xml` (plain / gzip / index-recursion) with `robots.txt` fallback, returns a deduped URL map. Zero-key way to discover a site's URL surface for whole-site fetch or deep-research seeding
Multi-format extract (P0)	`extract(..., format=)`	`markdown` (default) / `fit` (denoised) / `raw` (unfiltered) / `markdown_with_citations` — pick the level of cleanup you need
RAG-ready interfaces	`crawleyes/rag.py`	One-liners `markdown(url)` / `search_markdown(query)` → clean, sanitized, LLM-ready Markdown for RAG corpora
Deep research	`crawleyes/deep_research.py`	`deep_research(topic)` → decomposes topic into sub-questions → searches → extracts → synthesizes a cited Markdown report. Optional LLM (any OpenAI-compatible endpoint); degrades to evidence-aggregate mode without one
Verification	`scripts/`	Clean subprocess scripts to verify each backend end-to-end per Hermes profile

Project layout

plugins/searxng-tavily/   Hermes web-search provider plugin (SearXNG → Tavily keyless fallback)

three-state circuit breaker + shared SQLite cache

scripts/ crawl4ai_cli.py Universal scraping CLI (URL → Markdown), with denoise/retry/session/BM25 crawl_search_standalone.py Standalone search (SearXNG → Tavily) + optional semantic rerank. No Hermes dependency — usable anywhere, powers the MCP server. mcp_crawl_server.py Standard MCP server exposing search + extract + deep_research + sitemap (stdio) single_env_check.py Verify crawl4ai provider registered+available+extracts (one profile) verify_searxng_tavily.py Verify searxng-tavily provider: normal path + forced fallback agent_link_check.py Verify full agent tool chain: web_search_tool dispatch + logs

Quick start

1. Install Crawl4AI (China-friendly mirrors)

python3 -m venv .venv

Use Tsinghua PyPI mirror for speed (or any mirror you prefer)

.venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple crawl4ai

Playwright browser kernel — use npmmirror binary mirror if cdn.playwright.dev is blocked

PLAYWRIGHT_DOWNLOAD_HOST=https://registry.npmmirror.com/-/binary/playwright \ .venv/bin/python -m playwright install chromium .venv/bin/crawl4ai-setup

2. Scrape a page

.venv/bin/python scripts/crawl4ai_cli.py https://example.com          # stdout Markdown

.venv/bin/python scripts/crawl4ai_cli.py https://example.com -o out.md # to file .venv/bin/python scripts/crawl4ai_cli.py URL --text --max-words 5000 # plain text, truncated

Multi-format extraction (markdown|fit|raw|markdown_with_citations)

.venv/bin/python scripts/crawl4ai_cli.py URL --format raw # unfiltered source markdown .venv/bin/python scripts/crawl4ai_cli.py URL --format markdown_with_citations # + source URLs

Respect robots.txt (opt-in, default off)

.venv/bin/python scripts/crawl4ai_cli.py URL --respect-robots

Denoise nav/ads + retry 3x + reuse session across scrapes

.venv/bin/python scripts/crawl4ai_cli.py URL --noise-filter --retry 3 --session s1

3. Use the search + rerank (standalone, no Hermes)

# Optional: local semantic rerank of results (fastembed + bge-small-zh, auto-downloaded)

.venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastembed

SearXNG first, Tavily keyless fallback, then rerank

SEARXNG_URL=https://your-searxng .venv/bin/python -c " import sys; sys.path.insert(0, 'scripts') from crawl_search_standalone import CrawlSearch r = CrawlSearch(rerank=True).search('your query') print(r'data')"

China-network note: the embedding model downloads from HuggingFace, which is blocked on mainland networks. Set HF_ENDPOINT=https://hf-mirror.com and HF_HUB_DISABLE_XET=1 (hf-mirror doesn't support the xet protocol and returns 401 without this).

4. Run as an MCP server (any client)

# Any MCP client can connect via stdio (default):

.venv/bin/python scripts/mcp_crawl_server.py

Exposes tools:

search(query, limit) - SearXNG → Tavily keyless, rerank, retry+rate-limit

extract(url, max_words, format) - markdown|fit|raw|markdown_with_citations

deep_research(topic, num_questions) - multi-round cited report

sitemap(origin, max_urls) - URL map from sitemap.xml / robots.txt

Or serve over HTTP (streamable-http) for remote clients:

.venv/bin/python -m crawleyes.mcp_crawl_server --transport http --port 8765 --host 127.0.0.1

→ clients connect to http://127.0.0.1:8765/mcp

(host/port configurable; default 127.0.0.1:8765)

For Hermes specifically, add to config.yaml:

mcp_servers:

crawl: command: "/path/to/crawl/.venv/bin/python" args: ["/path/to/crawl/scripts/mcp_crawl_server.py"] timeout: 90 connect_timeout: 60

4b. Firecrawl-compatible `/scrape` endpoint

Already using Firecrawl's Python SDK? Point it at CrawlEyes and keep your code:

.venv/bin/python -m crawleyes.firecrawl_api --port 8899 --host 127.0.0.1

POST /v2/scrape → { success, data: { markdown, metadata } }

GET /healthz → health check

from firecrawl import Firecrawl

fc = Firecrawl(api_url="http://127.0.0.1:8899", api_key="ignored") doc = fc.scrape(url="https://example.com") # → { markdown, metadata }

This is a pragmatic subset of the Firecrawl API — the core /scrape contract (success + data.markdown + data.metadata), backed by CrawlEyes' own extraction engine. It does not implement Firecrawl's async /crawl queue, /search, or /map — see the design notes for the rationale.

5. Install the search plugin (Hermes)

Copy plugins/searxng-tavily/ into a Hermes plugins dir, then:

hermes plugins enable web/searxng-tavily

hermes config set web.search_backend searxng-tavily

Set SEARXNG_URL in your Hermes profile .env to point at your SearXNG instance. If unset or unreachable, the provider automatically falls back to the Tavily keyless API (no API key required).

Note: the plugin only takes effect for newly started agent sessions.

6. Verify

# Requires the Hermes source tree + its venv

venv/bin/python scripts/verify_searxng_tavily.py $HERMES_HOME venv/bin/python scripts/agent_link_check.py $HERMES_HOME

Design notes

Layered composition: no single tool covers everything. Crawl4AI handles extraction; SearXNG + Tavily cover search; each layer has a tested fallback.
Tavily keyless works with zero configuration and no account — a cheap resilience net for the whole search path.
Circuit breaker is SearXNG-only: a Tavily fallback success does *not* reset the breaker (otherwise it would never trip). record_success() is only called when SearXNG itself succeeds.
Shared SQLite cache lives in the *real* user home (via pwd.getpwuid, not $HOME — which Hermes profiles override), so all profiles share one cache. WAL + 5s timeout + try/except degrade-to-no-cache under concurrency.
Semantic rerank is cheap: fastembed (ONNX) avoids the ~2GB torch dependency; model loads in ~0.6s once cached, embeddings in ~50ms.
MCP server is standalone: it does *not* import Hermes internals, so it runs on any Python 3.12 env and serves any MCP client.
MCP transport is dual: stdio (default, standard MCP clients) or streamable-http (--transport http), so a single codebase serves bot

ตัดมาแค่ช่วงต้น อ่านต่อใน repo

CrawlEyes MCP Server

ภาพรวม

สามเสาของ PopNx MCP

ใช้ทำอะไรได้

ติดตั้ง

ก่อนติดตั้ง

ค่าที่ต้องใส่เอง

ทำอะไรได้บ้าง

ผลตรวจเบื้องต้นi

ตัวตนผู้ทำตรงกับ repo

ยังมีคนดูแล

มีสัญญาอนุญาต (license)

endpoint ตอบ

ล็อกอินแบบ OAuth

คำอธิบายเครื่องมือไม่มีคำสั่งแอบแฝง

เทียบกับตัวอื่นในหมวด เว็บและเบราว์เซอร์i

คำถามที่พบบ่อย

ตัวที่ใช้แทนได้

Browser Use

Chrome DevTools MCP

MCP Server Browser

README จากผู้ทำ

CrawlEyes — Web Scraping & Search Toolkit for AI Agents

Why CrawlEyes?

Features

Project layout

Quick start

1. Install Crawl4AI (China-friendly mirrors)

Use Tsinghua PyPI mirror for speed (or any mirror you prefer)

Playwright browser kernel — use npmmirror binary mirror if cdn.playwright.dev is blocked

2. Scrape a page

Multi-format extraction (markdown|fit|raw|markdown_with_citations)

Respect robots.txt (opt-in, default off)

Denoise nav/ads + retry 3x + reuse session across scrapes

3. Use the search + rerank (standalone, no Hermes)

SearXNG first, Tavily keyless fallback, then rerank

4. Run as an MCP server (any client)

Exposes tools:

search(query, limit) - SearXNG → Tavily keyless, rerank, retry+rate-limit

extract(url, max_words, format) - markdown|fit|raw|markdown_with_citations

deep_research(topic, num_questions) - multi-round cited report

sitemap(origin, max_urls) - URL map from sitemap.xml / robots.txt

Or serve over HTTP (streamable-http) for remote clients:

→ clients connect to http://127.0.0.1:8765/mcp

(host/port configurable; default 127.0.0.1:8765)

4b. Firecrawl-compatible /scrape endpoint

POST /v2/scrape → { success, data: { markdown, metadata } }

GET /healthz → health check

5. Install the search plugin (Hermes)

6. Verify

Design notes

4b. Firecrawl-compatible `/scrape` endpoint