CRW Web Scraper

Name: CRW Web Scraper
Author: us

作者：us版本 0.36.0i★ 1,250 (整个仓库的星标)i在你的电脑上运行

注册名称io.github.us/crw

安装方法

What it does

Open-source web scraper for AI agents with scrape, crawl, and map tools

Connects 在你的电脑上运行
Account or key No key needed
Category 网页与浏览器

安装

选择你使用的 AI 应用，然后复制设置。

通过 3/3 项检查 · 在你的电脑上运行 · ✓ 命令已检查 2026年11月13日

第一步：你用哪个 AI？

Claude网页 · 应用 · 手机ChatGPT网页Claude Code终端Cursor代码编辑器VS Code代码编辑器其他其他应用

选择你用的应用，步骤会显示在下方。

可连接 Claude，但需要先准备

需要先在电脑上安装 Docker（只需一次） · 仅限电脑上的 Claude 应用（Windows 或 Mac），网页和手机不可用

安装 Docker
只需一次，所有需要 Docker 的服务器都能用
打开 Docker 下载页 ↗
已完成
打开电脑版 Claude 应用的设置文件
SettingsDeveloperEdit Config
已完成

粘贴这些设置并保存文件

{
  "mcpServers": {
    "crw": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/us/crw:latest",
        "crw-mcp"
      ]
    }
  }
}

已完成

退出 Claude 再重新打开
已完成
试一试
用 CRW Web Scraper 告诉我你能帮我做什么，然后做一件给我看
✓ 如果 Claude 说正在使用 CRW Web Scraper，或回答中出现 CRW Web Scraper 的工具名称，就表示连接成功

菜单名称已于 2026年11月11日对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

ChatGPT 暂时无法连接 CRW Web Scraper

CRW Web Scraper 需要安装在你的电脑上，而 ChatGPT 只能连接在网上运行的服务器

你可以改用这些方式

A · 使用能连接 CRW Web Scraper 的应用

Claude 的步骤 →需要先在电脑上安装 Docker（只需一次） · 仅限电脑上的 Claude 应用（Windows 或 Mac），网页和手机不可用
Claude Code 的步骤 →需要先在电脑上安装 Docker（只需一次）
Cursor 的步骤 →需要先在电脑上安装 Docker（只需一次）
VS Code 的步骤 →需要先在电脑上安装 Docker（只需一次）

B · 网页与浏览器类中能连接 ChatGPT 的其他服务器

从同类中使用较多的里挑选，仅限用地址即可连接、无需密钥的

Firecrawl MCP Server✓ ChatGPT
webclaw✓ ChatGPT
Oxylabs MCP✓ ChatGPT

可连接 Claude Code，但需要先准备

需要先在电脑上安装 Docker（只需一次）

安装 Docker
只需一次，所有需要 Docker 的服务器都能用
打开 Docker 下载页 ↗
已完成
打开终端
Mac：按 Command+空格，输入 Terminal · Windows：打开 PowerShell
已完成

粘贴这条命令并按 Enter

claude mcp add --scope user crw -- docker run -i --rm ghcr.io/us/crw:latest crw-mcp

已完成

在 Claude Code 中输入 /mcp
应能看到 CRW Web Scraper 在列表中并显示已连接
已完成
试一试
用 CRW Web Scraper 告诉我你能帮我做什么，然后做一件给我看
✓ 如果 Claude Code 说正在使用 CRW Web Scraper，或回答中出现 CRW Web Scraper 的工具名称，就表示连接成功

菜单名称已于 2026年11月11日对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Cursor，但需要先准备

需要先在电脑上安装 Docker（只需一次）

安装 Docker
只需一次，所有需要 Docker 的服务器都能用
打开 Docker 下载页 ↗
已完成
点击这个按钮打开 Cursor
在 Cursor 中打开
Cursor 会请你确认安装，点击 Install
已完成
在 Cursor 中以 Agent 模式打开 AI 聊天
已完成
试一试
用 CRW Web Scraper 告诉我你能帮我做什么，然后做一件给我看
✓ 如果 Cursor 说正在使用 CRW Web Scraper，或回答中出现 CRW Web Scraper 的工具名称，就表示连接成功

菜单名称已于 2026年11月11日对照 Cursor 帮助页面核实 · 你的界面可能因版本略有不同

可连接 VS Code，但需要先准备

需要先在电脑上安装 Docker（只需一次）

安装 Docker
只需一次，所有需要 Docker 的服务器都能用
打开 Docker 下载页 ↗
已完成
点击这个按钮打开 VS Code
在 VS Code 中打开
VS Code 会请你确认安装，点击 Install
已完成
在 VS Code 中以 Agent 模式打开 AI 聊天
已完成
试一试
用 CRW Web Scraper 告诉我你能帮我做什么，然后做一件给我看
✓ 如果 VS Code 说正在使用 CRW Web Scraper，或回答中出现 CRW Web Scraper 的工具名称，就表示连接成功

菜单名称已于 2026年11月11日对照 VS Code 帮助页面核实 · 你的界面可能因版本略有不同

其他支持 MCP 的应用（如 Windsurf、Zed、Gemini CLI）添加方式各不相同，请在应用列表中查看

查看所有支持 MCP 的应用 →

JSON 设置在下方“开发者专用”中

卡住了？问问正在用 CRW Web Scraper 的人💬 讨论 →

开发者专用：终端命令和 JSON 设置

安装在电脑上

Claude Code

claude mcp add --scope user crw -- docker run -i --rm ghcr.io/us/crw:latest crw-mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "crw": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/us/crw:latest",
        "crw-mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "crw": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/us/crw:latest",
        "crw-mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "crw": {
      "type": "stdio",
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/us/crw:latest",
        "crw-mcp"
      ]
    }
  }
}

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同，请以 README 为准。

一览

GitHub 星标 i: 1,250 (整个仓库的星标)
该仓库包含多个 MCP 条目，星标在排名中只计算一次
每周下载量i: 不在 npm/PyPI 上
许可证 i: AGPL-3.0
连接方式: 在你的电脑上运行
传输方式: stdio
最新版本i: 0.36.0
分类i: 网页与浏览器
发布到注册中心i: 2026年9月19日
代码最后更新i: 2026年11月12日
作者: us
软件包: oci: ghcr.io/us/crw:latest
仓库: fastcrw/crw
网站: fastcrw.com
注册状态: 活跃

哪些应用可以使用它

依据这个服务器的连接方式和各应用自己的文档，检查于 2026年11月10日。

在你的电脑上运行，适用于

Claude Goose LM Studio Msty Studio Cherry Studio Cursor VS Code + GitHub Copilot Visual Studio Windsurf (Devin Desktop)Zed Kiro Cline Continue JetBrains AI Assistant Claude Code Codex CLI Gemini CLI OpenCode nodecode Warp LibreChat Raycast

全部应用及其优缺点 →

它能做什么

它在你的电脑上运行；安装后，工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息；我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月13日

✓ 通过
作者与仓库一致
注册名称已通过 GitHub 账户 fastcrw 验证，该账户拥有此仓库
✓ 通过
仍在维护
代码最后更新于昨天
✓ 通过
有许可证
使用 AGPL-3.0
– 不适用
端点有响应
它在你的电脑上运行，没有互联网端点
– 不适用
使用 OAuth 登录
在你的电脑上运行，改用本地设置
… 尚未检查
工具描述中没有隐藏指令
它在你的电脑上运行；我们只能读取互联网端点的工具列表

讨论

提问、分享技巧或报告无法使用。按“有帮助”数量排序。

还没有帖子，欢迎第一个提问或分享。

此处内容由用户撰写，不代表 PopNx 团队。

使用 Google 登录后发帖

用户评价

还没有评价

用 Google 登录后写评价

与“网页与浏览器”中的其他服务器比较i

星标数多于此分类中其他 1505 个服务器的 98%
发布到注册中心的时间比此分类中其他 1505 个服务器的 32% 更新
基础检查结果等于或优于此分类中其他 1505 个服务器的 100%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时，星标数才计入。

常见问题

CRW Web Scraper 安全吗？

它在 3 项适用的基础检查中通过了 3 项。我们没有阅读代码。在添加密钥或令牌之前，请先看看这个服务器要求哪些权限，并使用只具备所需权限的密钥。

它需要哪些密钥或代码？

注册中心没有列出必需的密钥，不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端？

它在你的电脑上运行。你的 AI 应用会在需要时启动它，数据不会经过作者的服务器（除非它自己调用在线服务）。

它还在维护吗？

GitHub 仓库最后更新于昨天，最新版本（0.36.0）于2个月前进入注册中心。

哪些应用可以使用它？

支持 MCP 的应用，例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Docker。

有什么可以替代它？

同一分类中有：Browser Use, Scrapling MCP Server, Chrome DevTools MCP

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

fastCRW

Turn URLs into clean markdown or structured JSON with one engine for search, scrape, map, crawl, and extract.

Run it locally as a small Rust binary or use the managed API.

Get 1000 free credits → · Install · Docs

No credit card. Continue with GitHub.

One-command install

curl -fsSL https://fastcrw.com/install | sh

Runs local and free, no account needed. To use the Cloud, paste your key into the same command and it installs the binary, connects the key, and registers the MCP server with the AI coding tools you already have:

curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh

crw search "rust tutorials"

Claude Code, Cursor, Codex, Gemini CLI, OpenCode and Windsurf are picked up automatically when they are already set up; nothing else is touched, and your key stays in ~/.config/crw/config.toml rather than being copied into each tool. Add CRW_NO_AGENTS=1 to skip that step, or run crw setup on its own to choose interactively.

1000 free credits, no credit card. Managed proxies, JS rendering and search, with nothing to run or keep up to date. Get my free key →

macOS and Linux, Intel and ARM. More install options →

What it does

Operation	Outcome
Scrape	One URL to markdown, HTML, links, screenshots, or schema JSON
Crawl	Follow a bounded site crawl and collect its pages
Map	Discover URLs without scraping every page
Search	Search the web and optionally scrape selected results
Extract	Produce structured fields from one or many URLs

See the full API →

Why fastCRW

On Firecrawl's own public 1,000-URL dataset, fastCRW recovered more truth than Crawl4AI and Firecrawl, matched the fastest median latency, and idled at ~14 MB RAM.

Methodology, full numbers, and how to reproduce it

On a different benchmark entirely, answer accuracy rather than scrape recall, fastCRW answers 90.0% of the 600 AA-Omniscience questions correctly. Every product listed on the Artificial Analysis Search Index sits below it.

The full 14-product comparison, the control run, and how to reproduce it

Choose how you use it

CLI

crw https://example.com            # scrape, works right after install

crw search "rust async runtime" # search, after crw setup

Python SDK

Using Cloud? Get an API key, then export it once:

export CRW_API_KEY="crw_live_..."

pip install crw

from crw import CrwClient

client = CrwClient() page = client.scrape("https://example.com", formats=["markdown"])

print(page["markdown"])

Node.js

npm install crw-sdk

import { CrwClient } from "crw-sdk";

const client = new CrwClient();

const page = await client.scrape("https://example.com", { formats: ["markdown"], });

console.log(page.markdown);

Local mode and more SDK examples → · REST API →

MCP for AI agents

npx -y crw-mcp@latest install

Installs the CRW skill and MCP server in your detected AI tools. crw setup can also do this step, so either path is enough. Manual setup →

Choose where it runs

	Managed API	Local / self-hosted
Best for	Zero infrastructure and managed scaling	Data control, private networks, or custom infrastructure
Start	Create an API key, then `crw setup`	Install and run `crw`
Operations	Managed proxies, billing, and hosted capabilities	You choose renderers, search, auth, proxies, and capacity

Capabilities and response shapes can differ by deployment: /v1/capabilities · response shapes

Self-hosting guide →

Learn more

Contributing

The workspace requires Rust 1.85 or newer:

git clone https://github.com/fastcrw/crw

cd crw make check-fast

Read the contributor guide →

Contributors

crw is better because of these people. Thank you, all of you:

Engine and MCP server: AGPL-3.0. Python and TypeScript SDKs: MIT. Embedding license: hello@fastcrw.com.

Star History

Please respect website policies. Crawl and map follow robots.txt by default.

CRW Web Scraper

What it does

安装

安装 Docker

打开电脑版 Claude 应用的设置文件

粘贴这些设置并保存文件

退出 Claude 再重新打开

试一试

你可以改用这些方式

安装 Docker

打开终端

粘贴这条命令并按 Enter

在 Claude Code 中输入 /mcp

试一试

安装 Docker

点击这个按钮打开 Cursor

在 Cursor 中以 Agent 模式打开 AI 聊天

试一试

安装 Docker

点击这个按钮打开 VS Code

在 VS Code 中以 Agent 模式打开 AI 聊天

试一试

安装在电脑上

一览

哪些应用可以使用它

它能做什么

基础检查i

作者与仓库一致

仍在维护

有许可证

端点有响应

使用 OAuth 登录

工具描述中没有隐藏指令

讨论

用户评价

与“网页与浏览器”中的其他服务器比较i

常见问题

同类别的其他选择

Browser Use

Scrapling MCP Server

Chrome DevTools MCP

作者的 README

One-command install

What it does

Why fastCRW

Choose how you use it

CLI

Python SDK

MCP for AI agents

Choose where it runs

Learn more

Contributing

Contributors

Star History