原型 · 预览版:收录官方注册中心里的全部服务器,每 30 分钟同步一次。使用 Google 登录即可撰写评价。原型 · 每 30 分钟更新
PopNx MCP为使用 AI 的人准备的 MCP 服务器 · 用大白话讲清楚

CrawlEyes MCP Server

作者:waiky-github版本 0.2.0i★ 2i在你的电脑上运行
注册名称io.github.waiky-github/CrawlEyes

安装方法

What it does

Web scraping & search for AI agents: extract, SearXNG search, rerank, robots compliance. No API key.

  • Connects 在你的电脑上运行
  • Account or key No key needed
  • Category 法律与政府数据

安装

选择你使用的 AI 应用,然后复制设置。

通过 3/3 项检查 · 在你的电脑上运行 · ✓ 命令已检查 2026年11月14日

第一步:你用哪个 AI?

选择你用的应用,步骤会显示在下方。

可连接 Claude,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用

  1. 安装 Python (uv)

    只需一次,所有需要 Python (uv) 的服务器都能用

    打开 Python (uv) 下载页 ↗

  2. 打开电脑版 Claude 应用的设置文件

    SettingsDeveloperEdit Config

  3. 粘贴这些设置并保存文件

    {
      "mcpServers": {
        "crawleyes": {
          "command": "uvx",
          "args": [
            "crawleyes"
          ]
        }
      }
    }
  4. 退出 Claude 再重新打开

  5. 试一试

    用 CrawlEyes MCP Server 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude 说正在使用 CrawlEyes MCP Server,或回答中出现 CrawlEyes MCP Server 的工具名称,就表示连接成功

2 项可选设置(不填也能用)

上面的命令不填这些也能用。想调整时再按开发者的说明添加。

  • SEARXNG_URL Optional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.
  • TAVILY_API_KEY Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).

说明仍为英文原文。

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

ChatGPT 暂时无法连接 CrawlEyes MCP Server

CrawlEyes MCP Server 需要安装在你的电脑上,而 ChatGPT 只能连接在网上运行的服务器

你可以改用这些方式

A · 使用能连接 CrawlEyes MCP Server 的应用

  • 需要先在电脑上安装 Python (uv)(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用
  • 需要先在电脑上安装 Python (uv)(只需一次)
  • 需要先在电脑上安装 Python (uv)(只需一次)
  • 需要先在电脑上安装 Python (uv)(只需一次)

B · 法律与政府数据 类中能连接 ChatGPT 的其他服务器

从同类中使用较多的里挑选,仅限用地址即可连接、无需密钥的

可连接 Claude Code,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次)

  1. 安装 Python (uv)

    只需一次,所有需要 Python (uv) 的服务器都能用

    打开 Python (uv) 下载页 ↗

  2. 打开终端

    Mac:按 Command+空格,输入 Terminal · Windows:打开 PowerShell

  3. 粘贴这条命令并按 Enter

    claude mcp add --scope user crawleyes -- uvx crawleyes
  4. 在 Claude Code 中输入 /mcp

    应能看到 CrawlEyes MCP Server 在列表中并显示已连接

  5. 试一试

    用 CrawlEyes MCP Server 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude Code 说正在使用 CrawlEyes MCP Server,或回答中出现 CrawlEyes MCP Server 的工具名称,就表示连接成功

2 项可选设置(不填也能用)

上面的命令不填这些也能用。想调整时再按开发者的说明添加。

  • SEARXNG_URL Optional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.
  • TAVILY_API_KEY Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).

说明仍为英文原文。

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Cursor,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次)

  1. 安装 Python (uv)

    只需一次,所有需要 Python (uv) 的服务器都能用

    打开 Python (uv) 下载页 ↗

  2. 点击这个按钮打开 Cursor

    在 Cursor 中打开

    Cursor 会请你确认安装,点击 Install

  3. 在 Cursor 中以 Agent 模式打开 AI 聊天

  4. 试一试

    用 CrawlEyes MCP Server 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Cursor 说正在使用 CrawlEyes MCP Server,或回答中出现 CrawlEyes MCP Server 的工具名称,就表示连接成功

2 项可选设置(不填也能用)

上面的命令不填这些也能用。想调整时再按开发者的说明添加。

  • SEARXNG_URL Optional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.
  • TAVILY_API_KEY Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).

说明仍为英文原文。

菜单名称已于 2026年11月11日 对照 Cursor 帮助页面核实 · 你的界面可能因版本略有不同

可连接 VS Code,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次)

  1. 安装 Python (uv)

    只需一次,所有需要 Python (uv) 的服务器都能用

    打开 Python (uv) 下载页 ↗

  2. 点击这个按钮打开 VS Code

    在 VS Code 中打开

    VS Code 会请你确认安装,点击 Install

  3. 在 VS Code 中以 Agent 模式打开 AI 聊天

  4. 试一试

    用 CrawlEyes MCP Server 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 VS Code 说正在使用 CrawlEyes MCP Server,或回答中出现 CrawlEyes MCP Server 的工具名称,就表示连接成功

2 项可选设置(不填也能用)

上面的命令不填这些也能用。想调整时再按开发者的说明添加。

  • SEARXNG_URL Optional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.
  • TAVILY_API_KEY Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).

说明仍为英文原文。

菜单名称已于 2026年11月11日 对照 VS Code 帮助页面核实 · 你的界面可能因版本略有不同

其他支持 MCP 的应用(如 Windsurf、Zed、Gemini CLI)添加方式各不相同,请在应用列表中查看

查看所有支持 MCP 的应用 →

JSON 设置在下方“开发者专用”中

卡住了?问问正在用 CrawlEyes MCP Server 的人💬 讨论 →
开发者专用:终端命令和 JSON 设置

安装在电脑上

Claude Code

claude mcp add --scope user crawleyes -- uvx crawleyes

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "crawleyes": {
      "command": "uvx",
      "args": [
        "crawleyes"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "crawleyes": {
      "command": "uvx",
      "args": [
        "crawleyes"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "crawleyes": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "crawleyes"
      ]
    }
  }
}

需要你填写的值

  • SEARXNG_URL env
    Optional. Base URL of a SearXNG instance (e.g. http://localhost:8080). If unset, falls back to Tavily keyless.
  • TAVILY_API_KEY 机密 env
    Optional. Tavily API key for higher-rate search fallback. If unset, uses Tavily keyless (rate-limited).

说明仍为英文原文。

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同,请以 README 为准。

一览

每周下载量i
26/周
连接方式
在你的电脑上运行
最新版本i
0.2.0
发布到注册中心i
2026年9月1日
代码最后更新i
2026年10月22日
作者
waiky-github
软件包
pypi: crawleyes
注册状态
活跃

哪些应用可以使用它

依据这个服务器的连接方式和各应用自己的文档,检查于 2026年11月10日。

在你的电脑上运行,适用于

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

全部应用及其优缺点 →

它能做什么

它在你的电脑上运行;安装后,工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息;我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月14日

  • ✓ 通过

    作者与仓库一致

    注册名称已通过 GitHub 账户 waiky-github 验证,该账户拥有此仓库

  • ✓ 通过

    仍在维护

    代码最后更新于23天前

  • ✓ 通过

    有许可证

    使用 MIT

  • – 不适用

    端点有响应

    它在你的电脑上运行,没有互联网端点

  • – 不适用

    使用 OAuth 登录

    在你的电脑上运行,改用本地设置

  • … 尚未检查

    工具描述中没有隐藏指令

    它在你的电脑上运行;我们只能读取互联网端点的工具列表

讨论

提问、分享技巧或报告无法使用。按“有帮助”数量排序。

还没有帖子,欢迎第一个提问或分享。

此处内容由用户撰写,不代表 PopNx 团队。

使用 Google 登录后发帖

用户评价

还没有评价

用 Google 登录后写评价

与“法律与政府数据”中的其他服务器比较i

  • 星标数多于此分类中其他 1849 个服务器的 92%
  • 发布到注册中心的时间比此分类中其他 1849 个服务器的 31% 更新
  • 基础检查结果等于或优于此分类中其他 1849 个服务器的 100%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时,星标数才计入。

常见问题

CrawlEyes MCP Server 安全吗?

它在 3 项适用的基础检查中通过了 3 项。我们没有阅读代码。在添加密钥或令牌之前,请先看看这个服务器要求哪些权限,并使用只具备所需权限的密钥。

它需要哪些密钥或代码?

注册中心没有列出必需的密钥,不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端?

它在你的电脑上运行。你的 AI 应用会在需要时启动它,数据不会经过作者的服务器(除非它自己调用在线服务)。

它还在维护吗?

GitHub 仓库最后更新于23天前,最新版本(0.2.0)于2个月前进入注册中心。

哪些应用可以使用它?

支持 MCP 的应用,例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Python (uv)。

有什么可以替代它?

同一分类中有:Korean Law MCP, Global law, Tw Legal Rag

同类别的其他选择

同一分类中其他作者的服务器,按星标数排序。

如何看卡片:↓ 每周下载量i★ GitHub 星标i三大支柱:评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

Korean Law MCP

Korean law: statutes, precedents, ordinances, treaties and citation verification (법제처 API).

作者:chrisryugj广泛使用★ 287011天前更新

在云端运行

Global law

The law of nearly every country on earth, any date: read it, see what changed it, check citations.

作者:lexifina广泛使用★ 19814天前更新

在云端运行✓ lexifina.com

Tw Legal Rag

Taiwan law MCP server: 22M court judgments, statutes, agency rulings, with citation checks

作者:aa0101181514正在增长★ 346前天更新

在云端运行

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

CrawlEyes — Web Scraping & Search Toolkit for AI Agents

English | 中文

CrawlEyes gives AI agents reliable full-text extraction (web_extract) and robust search (web_search) backends — the "eyes" that let agents see and read the web. Built and tested against Hermes Agent.

Also ships as a standard MCP server, so any MCP client (Claude Desktop, Cursor, other agents) can reuse the same search + extraction capabilities.

Why CrawlEyes?

Most agent toolkits cover *one* slice of the pipeline. CrawlEyes is the rare all-in-one that you can actually run behind the Great Firewall without external accounts.

Typical agent toolkitCrawlEyes
🔍 SearchAPI key required, often blocked in CN✅ SearXNG (self-hosted) + Tavily keyless fallback — zero config, zero key
📄 ExtractionSeparate scraper, or Firecrawl SaaS✅ Built-in Crawl4AI full-text extract, ~89% noise removal
🧠 Semantic rerankRarely included✅ Local fastembed rerank — no torch, ~50MB model
🔌 MCP serverOften missing✅ Standard MCP tools (search + extract + deep_research + sitemap), any client
🌐 China-friendlyMostly English/GFW-blocked✅ Tested on a real mainland China server (baidu + yandex)

Zero API keys. Zero external accounts. One command. CrawlEyes is the only toolkit in this space that combines search + extraction + semantic reranking + MCP in a single, China-friendly, self-hosted package.

Features

CapabilityWhereWhy it matters
Full-text extractionscripts/crawl4ai_cli.pyHeadless-browser scraping → clean Markdown; handles ~80% of JS/dynamic/UA-blocked pages
Content denoising (P1)crawl4ai_cli.py --noise-filterPrunes nav/ads/comments via Crawl4AI's PruningContentFilter — measured 24.6k→2.8k chars (~89% noise removed) on a typical article
Retry with backoff (P3)crawl4ai_cli.py --retry NExponential backoff (1s/2s/4s) on transient failures
Browser session reuse (P4)crawl4ai_cli.py --session NAMEReuses the browser context across scrapes in one process — no cold-start per URL
Keyword-focused extractioncrawl4ai_cli.py --bm25 KEYWORDKeeps only paragraphs relevant to a keyword (experimental — BM25 is English-centric; works best on English docs)
Search (primary)SearXNG (self-hosted meta-search)Privacy-friendly search aggregator
Search (fallback)Tavily keyless APIZero-config, no-key fallback when SearXNG is down/empty
Search orchestrationplugins/searxng-tavily/Hermes plugin provider: SearXNG first → auto-fallback to Tavily keyless; three-state circuit breaker (3 fails → 60s cooldown → half-open) + shared SQLite cache (TTL 3600s)
Semantic reranking (P2)scripts/crawl_search_standalone.pyLocal embedding rerank of search results with fastembed + BAAI/bge-small-zh-v1.5 (512-dim, no torch dependency, ~50MB, cached) — puts relevant results first. Measured: crawler-relevant items 0.817/0.732 float to top, irrelevant 0.302/0.139 sink
MCP server (P5)scripts/mcp_crawl_server.pyExposes search + extract + deep_research + sitemap as standard MCP tools (stdio default, or streamable-http for remote clients). Works in *any* MCP client, no Hermes dependency. Extracted content is sanitized against prompt-injection (strips invisible chars + prompt-hijack lines). Unified rate limiting + exponential backoff guard every tool (sliding window, per-tool cost) so concurrent agent calls can't hammer downstream services
Sitemap discovery (P1)crawleyes/sitemap.pysitemap(origin) → parses sitemap.xml (plain / gzip / index-recursion) with robots.txt fallback, returns a deduped URL map. Zero-key way to discover a site's URL surface for whole-site fetch or deep-research seeding
Multi-format extract (P0)extract(..., format=)markdown (default) / fit (denoised) / raw (unfiltered) / markdown_with_citations — pick the level of cleanup you need
RAG-ready interfacescrawleyes/rag.pyOne-liners markdown(url) / search_markdown(query) → clean, sanitized, LLM-ready Markdown for RAG corpora
Deep researchcrawleyes/deep_research.pydeep_research(topic) → decomposes topic into sub-questions → searches → extracts → synthesizes a cited Markdown report. Optional LLM (any OpenAI-compatible endpoint); degrades to evidence-aggregate mode without one
Verificationscripts/Clean subprocess scripts to verify each backend end-to-end per Hermes profile

Project layout

plugins/searxng-tavily/   Hermes web-search provider plugin (SearXNG → Tavily keyless fallback)
  • three-state circuit breaker + shared SQLite cache

scripts/ crawl4ai_cli.py Universal scraping CLI (URL → Markdown), with denoise/retry/session/BM25 crawl_search_standalone.py Standalone search (SearXNG → Tavily) + optional semantic rerank. No Hermes dependency — usable anywhere, powers the MCP server. mcp_crawl_server.py Standard MCP server exposing search + extract + deep_research + sitemap (stdio) single_env_check.py Verify crawl4ai provider registered+available+extracts (one profile) verify_searxng_tavily.py Verify searxng-tavily provider: normal path + forced fallback agent_link_check.py Verify full agent tool chain: web_search_tool dispatch + logs

Quick start

1. Install Crawl4AI (China-friendly mirrors)
python3 -m venv .venv

Use Tsinghua PyPI mirror for speed (or any mirror you prefer)

.venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple crawl4ai

Playwright browser kernel — use npmmirror binary mirror if cdn.playwright.dev is blocked

PLAYWRIGHT_DOWNLOAD_HOST=https://registry.npmmirror.com/-/binary/playwright \ .venv/bin/python -m playwright install chromium .venv/bin/crawl4ai-setup

2. Scrape a page
.venv/bin/python scripts/crawl4ai_cli.py https://example.com          # stdout Markdown

.venv/bin/python scripts/crawl4ai_cli.py https://example.com -o out.md # to file .venv/bin/python scripts/crawl4ai_cli.py URL --text --max-words 5000 # plain text, truncated

Multi-format extraction (markdown|fit|raw|markdown_with_citations)

.venv/bin/python scripts/crawl4ai_cli.py URL --format raw # unfiltered source markdown .venv/bin/python scripts/crawl4ai_cli.py URL --format markdown_with_citations # + source URLs

Respect robots.txt (opt-in, default off)

.venv/bin/python scripts/crawl4ai_cli.py URL --respect-robots

Denoise nav/ads + retry 3x + reuse session across scrapes

.venv/bin/python scripts/crawl4ai_cli.py URL --noise-filter --retry 3 --session s1

3. Use the search + rerank (standalone, no Hermes)
# Optional: local semantic rerank of results (fastembed + bge-small-zh, auto-downloaded)

.venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastembed

SearXNG first, Tavily keyless fallback, then rerank

SEARXNG_URL=https://your-searxng .venv/bin/python -c " import sys; sys.path.insert(0, 'scripts') from crawl_search_standalone import CrawlSearch r = CrawlSearch(rerank=True).search('your query') print(r'data')"

China-network note: the embedding model downloads from HuggingFace, which is blocked on mainland networks. Set HF_ENDPOINT=https://hf-mirror.com and HF_HUB_DISABLE_XET=1 (hf-mirror doesn't support the xet protocol and returns 401 without this).

4. Run as an MCP server (any client)
# Any MCP client can connect via stdio (default):

.venv/bin/python scripts/mcp_crawl_server.py

Exposes tools:

search(query, limit) - SearXNG → Tavily keyless, rerank, retry+rate-limit

extract(url, max_words, format) - markdown|fit|raw|markdown_with_citations

deep_research(topic, num_questions) - multi-round cited report

sitemap(origin, max_urls) - URL map from sitemap.xml / robots.txt

Or serve over HTTP (streamable-http) for remote clients:

.venv/bin/python -m crawleyes.mcp_crawl_server --transport http --port 8765 --host 127.0.0.1

→ clients connect to http://127.0.0.1:8765/mcp

(host/port configurable; default 127.0.0.1:8765)

For Hermes specifically, add to config.yaml:

mcp_servers:

crawl: command: "/path/to/crawl/.venv/bin/python" args: ["/path/to/crawl/scripts/mcp_crawl_server.py"] timeout: 90 connect_timeout: 60

4b. Firecrawl-compatible /scrape endpoint

Already using Firecrawl's Python SDK? Point it at CrawlEyes and keep your code:

.venv/bin/python -m crawleyes.firecrawl_api --port 8899 --host 127.0.0.1

POST /v2/scrape → { success, data: { markdown, metadata } }

GET /healthz → health check

from firecrawl import Firecrawl

fc = Firecrawl(api_url="http://127.0.0.1:8899", api_key="ignored") doc = fc.scrape(url="https://example.com") # → { markdown, metadata }

This is a pragmatic subset of the Firecrawl API — the core /scrape contract (success + data.markdown + data.metadata), backed by CrawlEyes' own extraction engine. It does not implement Firecrawl's async /crawl queue, /search, or /map — see the design notes for the rationale.

5. Install the search plugin (Hermes)

Copy plugins/searxng-tavily/ into a Hermes plugins dir, then:

hermes plugins enable web/searxng-tavily

hermes config set web.search_backend searxng-tavily

Set SEARXNG_URL in your Hermes profile .env to point at your SearXNG instance. If unset or unreachable, the provider automatically falls back to the Tavily keyless API (no API key required).

Note: the plugin only takes effect for newly started agent sessions.

6. Verify
# Requires the Hermes source tree + its venv

venv/bin/python scripts/verify_searxng_tavily.py $HERMES_HOME venv/bin/python scripts/agent_link_check.py $HERMES_HOME

Design notes

  • Layered composition: no single tool covers everything. Crawl4AI handles extraction; SearXNG + Tavily cover search; each layer has a tested fallback.
  • Tavily keyless works with zero configuration and no account — a cheap resilience net for the whole search path.
  • Circuit breaker is SearXNG-only: a Tavily fallback success does *not* reset the breaker (otherwise it would never trip). record_success() is only called when SearXNG itself succeeds.
  • Shared SQLite cache lives in the *real* user home (via pwd.getpwuid, not $HOME — which Hermes profiles override), so all profiles share one cache. WAL + 5s timeout + try/except degrade-to-no-cache under concurrency.
  • Semantic rerank is cheap: fastembed (ONNX) avoids the ~2GB torch dependency; model loads in ~0.6s once cached, embeddings in ~50ms.
  • MCP server is standalone: it does *not* import Hermes internals, so it runs on any Python 3.12 env and serves any MCP client.
  • MCP transport is dual: stdio (default, standard MCP clients) or streamable-http (--transport http), so a single codebase serves bot

只显示了开头部分;其余内容请在仓库中阅读