CN Scraper MCP

Name: CN Scraper MCP
Author: goesByhc

作者：goesByhc版本 0.4.1i★ –i在你的电脑上运行

注册名称io.github.goesByhc/cn-scraper-mcp

安装

概览

作者提供的说明（英文原文）

MCP server for AI agents to search major Chinese internet platforms with local-first login support.

PopNx MCP 的三大支柱

这三项永远不会合并成一个分数：意见、测量和人气是不同的东西。

用户评价i暂无评价评价功能将在后续阶段与账户功能一起开放
我们的基础检查i1 项中通过 1 项依据公开信息检查；尚未扫描代码
使用情况i非常新↓ 138/周 · ★ –

它能帮你做什么

我们还没有为它写通俗的介绍。下面是我们从注册中心读取到的事实。

连接方式: 在你的电脑上运行
传输方式: stdio
分类: 网页与浏览器

安装

选择你使用的 AI 应用，然后复制设置。

安装之前

基础检查：1 项中通过 1 项
在你的电脑上运行，拥有你的用户账户的权限（文件、网络、应用）。
注册中心没有列出需要填写的密钥。

你需要

PyPI已安装 Python 的 uv（用于 uvx 命令）

你用的是哪个应用？

ClaudeClaude CodeCursorVS CodeChatGPT

在上方选择你的应用。我们会记住它，下次按钮会显示“安装到 …”。

打开 Claude Desktop → Settings → Developer → Edit Config，把下面的内容粘贴到 claude_desktop_config.json

{
  "mcpServers": {
    "cn-scraper": {
      "command": "uvx",
      "args": [
        "cn-scraper-mcp"
      ]
    }
  }
}

在终端中运行这条命令

claude mcp add cn-scraper -- uvx cn-scraper-mcp

在 Cursor 中打开

或者自己复制设置

粘贴到项目中的 .cursor/mcp.json，或 ~/.cursor/mcp.json

{
  "mcpServers": {
    "cn-scraper": {
      "command": "uvx",
      "args": [
        "cn-scraper-mcp"
      ]
    }
  }
}

浏览器会先询问是否打开应用，然后应用会显示设置并请你确认。密钥的值会留空，由你自己填写。

在 VS Code 中打开

或者自己复制设置

粘贴到项目中的 .vscode/mcp.json

{
  "servers": {
    "cn-scraper": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "cn-scraper-mcp"
      ]
    }
  }
}

浏览器会先询问是否打开应用，然后应用会显示设置并请你确认。密钥的值会留空，由你自己填写。

这个服务器在你的电脑上运行，而 ChatGPT 只能连接互联网上的服务器。请选择其他应用。

你的选择通过 Cookie 保存在这台设备上，无需账户。

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同，请以 README 为准。

它能做什么

它在你的电脑上运行；安装后，工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息；我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月10日

✓ 通过
作者与仓库一致
注册名称已通过 GitHub 账户 goesByhc 验证，该账户拥有此仓库
… 尚未检查
仍在维护
我们还没有从 GitHub 读取这个仓库
… 尚未检查
有许可证
我们还没有从 GitHub 读取这个仓库
– 不适用
端点有响应
它在你的电脑上运行，没有互联网端点
– 不适用
使用 OAuth 登录
在你的电脑上运行，改用本地设置
… 尚未检查
工具描述中没有隐藏指令
它在你的电脑上运行；我们只能读取互联网端点的工具列表

与“网页与浏览器”中的其他服务器比较i

星标数多于此分类中其他 1406 个服务器的 0%
发布到注册中心的时间比此分类中其他 1406 个服务器的 18% 更新
基础检查结果等于或优于此分类中其他 1406 个服务器的 100%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时，星标数才计入。

常见问题

CN Scraper MCP 安全吗？

它在 1 项适用的基础检查中通过了 1 项。我们没有阅读代码。在添加密钥或令牌之前，请先看看这个服务器要求哪些权限，并使用只具备所需权限的密钥。

它需要哪些密钥或代码？

注册中心没有列出必需的密钥，不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端？

它在你的电脑上运行。你的 AI 应用会在需要时启动它，数据不会经过作者的服务器（除非它自己调用在线服务）。

它还在维护吗？

GitHub 仓库最后更新于–，最新版本（0.4.1）于4个月前进入注册中心。

哪些应用可以使用它？

支持 MCP 的应用，例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Python (uv)。

有什么可以替代它？

同一分类中有：Browser Use, Chrome DevTools MCP, MCP Server Browser

替代选择

同一分类中其他作者的服务器，按星标数排序。

如何看卡片：↓ 每周下载量i★ GitHub 星标i三大支柱：评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

作者：browser-use广泛使用↓ 155.2万/周★ 12万20天前更新

电脑或云端✓ browser-use.com

安装

Chrome DevTools MCP

MCP server for Chrome DevTools

作者：ChromeDevTools广泛使用↓ 188.4万/周★ 5.5万18天前更新

在你的电脑上运行

安装

MCP Server Browser

MCP server for browser use access

作者：bytedance广泛使用↓ 792/周★ 4万14个月前更新

在你的电脑上运行

安装

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

CN Scraper MCP

让 AI Agent 直接搜索中国互联网——淘宝、京东、小红书、知乎、微博、B站、知识星球……不再被反爬墙挡住。

这是什么

每个 AI Agent（Codex、Claude Code、Cursor、Trae）都能搜网页，但中文平台通常需要登录态、浏览器环境或平台专用参数：

淘宝：需要浏览器一致的网络指纹和登录 Cookie
京东：依赖已登录的本地浏览器环境
小红书：需要住宅 IP、本地浏览器和搜索结果中的访问参数
知乎：游客搜索已关闭，全部 API 需要登录态
拼多多：平台限制严格，目前不推荐使用
微博：搜索 API 需要登录态（SUB token），热搜游客即可访问
抖音：需要浏览器登录并可能人工处理验证码
B站：搜索、热门、视频详情和评论可直接使用公开 API
豆瓣：条目搜索、条目详情和短评/影评
大众点评：商户搜索、商户详情和用户评价
知识星球：付费社群，内容藏在 cookie 认证的 REST API 后面

这个项目就是把踩了好几个月的坑打包成一个 MCP Server——你的 Agent 一句话就能搜：taobao_search("儿童学习桌")。

安全与隐私

cn-scraper-mcp 在你的电脑上本地运行，不需要把 Cookie、账号密码或浏览器 Profile 上传到任何中转服务器：

Cookie 默认保存在 ~/.cn-scraper-cookies/，京东登录态保存在本地 Chrome Profile。
登录过程直接发生在平台官方页面，软件不会读取或保存你的账号密码。
Cookie 值不会写入日志，也不会通过 MCP 工具结果返回给 Agent；工具只返回状态、字段名和本地路径等非敏感信息。
发起抓取或在线登录验证时，凭证只会发送给对应平台域名。
代码完全开源，所有凭证处理流程都可以审查。

建议仍像保护浏览器登录态一样保护本机账号：不要分享 Cookie 文件，不要把凭证提交到 Git，并限制本地文件的访问权限。

平台支持

电商

平台	方式	无需浏览器	限制	稳定性
淘宝/Tmall	`curl_cffi` + MTOP 签名	✅	宽松¹	✅ 稳定
京东/JD	Chrome CDP headful	需 Chrome	中等	✅ 稳定²
拼多多/PDD	Chrome CDP + iPhone UA	需 Chrome	单次搜索限制³	⚠️ 不推荐

¹ 淘宝无硬性限流，但平台可能随时收紧，不建议高频批量抓取。

² 京东由本地 Chrome 生成登录态和动态签名，工具读取结构化 API 响应；通过 guided_login("jd") 可自动初始化持久化 Profile。

³ 拼多多每个浏览器会话仅放行第一次搜索，之后永久"系统繁忙"。单次搜索结果零实用价值，引擎代码保留但不推荐使用。

内容社区

平台	方式	无需浏览器	限制	稳定性
小红书/XHS	本地 Chrome CDP + cookie	需 Chrome	中等⁴	✅ 稳定
知乎/Zhihu	REST API v4	✅	正常	✅ 稳定
知识星球/ZSXQ	REST API v2	✅	正常	✅ 稳定
微博/Weibo	REST API	✅	正常	✅ 稳定
抖音/Douyin ⚠️	Chrome CDP + 验证码轮询	需 Chrome	实验性⁵	⚠️ 实验性
B站/Bilibili	公开 Web API	✅	建议低频调用	✅ 稳定
豆瓣/Douban	移动端 JSON API	✅	搜索可能触发风控	⚠️ 依会话
大众点评/Dianping	公开网页解析	✅	可能触发页面风控	⚠️ 依页面结构

⁴ 小红书只允许住宅 IP——云浏览器/数据中心 IP 直接封。必须用本地 Chrome。

⁵ 抖音搜索需要登录态 + 手动过滑块验证码。支持 120s 等待用户手动验证，通过后自动抓取。guided_login("douyin") 可引导登录。

快速开始

安装

pip install cn-scraper-mcp

也可以从源码安装开发版本：

git clone https://github.com/goesByhc/cn-scraper-mcp.git

cd cn-scraper-mcp pip install .

推荐：CDP 自动登录并保存 Cookie

安装并连接 MCP 后，直接让 Agent 调用：

guided_login(platform="weibo")

它会打开本地 Chrome 并进入平台官方登录页。你自己扫码或输入密码后，工具通过 CDP 自动读取完整 Cookie（包括 JavaScript 无法读取的 HttpOnly Cookie），再保存到本机 ~/.cn-scraper-cookies/。京东则保存到本地持久化 Chrome Profile。

这是推荐方式，因为它不会要求你复制 Cookie，不容易漏掉关键字段，也更适合 Cookie 过期后的重新登录。可用平台名包括 taobao、jd、xiaohongshu、zhihu、weibo、zsxq、douyin、pdd、douban 和 dianping。

已有通过远程调试端口启动且登录完成的 Chrome 时，也可以调用：

harvest_cookies(platform="weibo")

启动

cn-scraper-mcp

或: python -m cn_scraper_mcp.server

Docker

容器内预装 Chromium，无需本地浏览器：

docker build -t cn-scraper-mcp .

docker run -i --rm \ -v ~/.cn-scraper-cookies:/root/.cn-scraper-cookies \ -v ~/.jd_login_profile:/root/.jd_login_profile \ cn-scraper-mcp

远程服务器部署可以切换到 HTTP transport，通过 IP + 端口 连接：

docker pull ghcr.io/goesbyhc/cn-scraper-mcp:latest

docker run -d --name cn-scraper-mcp \ -p 8000:8000 \ -e CN_SCRAPER_TRANSPORT=http \ -e CN_SCRAPER_HOST=0.0.0.0 \ -e CN_SCRAPER_PORT=8000 \ -e CN_SCRAPER_PATH=/mcp \ -v ~/.cn-scraper-cookies:/root/.cn-scraper-cookies \ -v ~/.jd_login_profile:/root/.jd_login_profile \ ghcr.io/goesbyhc/cn-scraper-mcp:latest

远程 MCP endpoint：

http://<server-ip>:8000/mcp

也可以使用 Docker Compose：

docker compose --profile remote up -d cn-scraper-http

可用环境变量：

变量	默认值	说明
`CN_SCRAPER_TRANSPORT`	`stdio`	`stdio`、`http`、`sse`，也接受 `streamable-http` 作为 `http` 别名
`CN_SCRAPER_HOST`	`0.0.0.0`	HTTP/SSE 模式监听地址
`CN_SCRAPER_PORT`	`8000`	HTTP/SSE 模式监听端口
`CN_SCRAPER_PATH`	`/mcp`	HTTP/SSE MCP endpoint 路径

远程 HTTP 模式会让 MCP 工具通过网络访问本机 Cookie/Profile 目录，请勿直接裸露公网端口。建议放在内网、VPN、防火墙白名单或带鉴权的反向代理后面。小红书、京东、抖音等依赖本地浏览器、住宅 IP 或人工验证码的平台，在远程服务器上的稳定性取决于服务器网络与图形环境。

当平台要求人工处理登录、验证码或风控页时，工具会返回统一的 ACTION_REQUIRED 结构，并在 action_required 字段中说明平台、原因、处理动作、处理链接和建议重试的工具。当前抖音验证码已接入该结构；远程 Docker 场景下仍需要你通过可见浏览器或后续 noVNC 网页完成验证。

Agent 集成配置：

# Codex ~/.codex/config.toml

[mcp_servers.cn-scraper] command = "docker" args = ["run", "-i", "--rm", "-v", "/本机绝对路径/.cn-scraper-cookies:/root/.cn-scraper-cookies", "-v", "/本机绝对路径/.jd_login_profile:/root/.jd_login_profile", "cn-scraper-mcp"]

请把 /本机绝对路径/ 替换为真实路径；MCP 客户端直接启动进程时不会替你展开 ~。

Docker 镜像内置 Chromium + --no-sandbox。京东 headful 模式如需 Xvfb，设置环境变量 XVFB_WRAPPER=1。小红书仍需住宅 IP——数据中心 IP 会被封。

MCP 工具一览

电商搜索

工具	说明
`taobao_search`	淘宝/天猫关键词搜索 → 价格、销量、店铺
`taobao_product`	淘宝商品详情 → 标题、价格、店铺
`jd_search`	京东关键词搜索 → SKU、价格、商品名
`jd_product`	京东商品详情 → 名称、价格、店铺、规格
`pdd_search`	拼多多搜索 → 仅首次有效
`pdd_product_detail`	拼多多商品详情 → 不限次数

内容社区

工具	说明
`xiaohongshu_search`	小红书笔记搜索 → 标题、作者、点赞、`noteId`、`xsec_token`
`xiaohongshu_note`	小红书笔记详情 → 标题、正文、作者、标签、互动数、发布时间
`xiaohongshu_comments`	小红书笔记首屏评论 → 评论内容、用户、点赞、时间（需要 `noteId` + `xsec_token`）
`zhihu_search`	知乎搜索 → 问题、文章
`zhihu_hot_list`	知乎热榜
`zhihu_comments`	知乎回答评论（支持分页）
`zhihu_answer`	知乎回答完整正文
`zhihu_question_answers`	知乎问题下的回答列表
`weibo_search`	微博搜索 → 微博帖子内容
`weibo_hot_list`	微博热搜榜
`weibo_user_timeline`	微博用户时间线
`weibo_comments`	微博帖子评论（支持分页）
`weibo_post`	微博帖子完整详情
`douyin_search`	抖音搜索 → CDP 浏览器 + 验证码轮询（⚠️ 实验性）
`douyin_hot_list`	抖音热搜榜
`douyin_video`	抖音视频详情
`douyin_comments`	抖音视频评论
`bilibili_search`	B 站视频搜索（纯 HTTP，无需登录）
`bilibili_popular`	B 站热门视频榜
`bilibili_video`	B 站视频详情及互动统计
`bilibili_comments`	B 站视频一级评论（支持分页）
`douban_search`	豆瓣书籍、电影、音乐等条目搜索
`douban_subject`	豆瓣条目详情
`douban_reviews`	豆瓣条目短评/影评
`dianping_search`	大众点评商户搜索
`dianping_shop`	大众点评商户详情
`dianping_reviews`	大众点评商户评价
`zsxq_topics`	知识星球付费社群帖子
`zsxq_article`	知识星球文章全文

Cookie 管理

工具	说明
`check_cookies`	检查所有平台 Cookie 状态
`verify_login`	在线验证知乎、微博、知识星球、抖音登录态；不支持的平台明确返回 unsupported
`diagnose`	环境诊断——依赖版本、浏览器、CDP 端口
`harvest_cookies`	CDP 自动收割 Cookie（包括 HttpOnly）
`guided_login`	引导登录——自动打开浏览器 → 你扫码 → 登录后自动收割 Cookie

MCP 客户端配置

Codex

~/.codex/config.toml：

[mcp_servers.cn-scraper]

command = "cn-scraper-mcp" args = []

保存后可用 codex mcp list 检查连接状态。

Claude Code / Cursor / Reasonix

这三个客户端都支持标准的 mcpServers JSON：

Claude Code：项目根目录 .mcp.json
Cursor：全局 ~/.cursor/mcp.json，或项目目录 .cursor/mcp.json
Reasonix：项目根目录 .mcp.json

"mcpServers": { "cn-scraper": { "command": "cn-scraper-mcp", "args": [] } } }

Trae

Trae 不同版本的配置文件位置可能不同。建议在设置中的 MCP 管理界面添加本地 stdio Server：名称填写 cn-scraper，命令填写 cn-scraper-mcp，参数留空。

如果客户端提示找不到命令，先用 where cn-scraper-mcp（Windows）或 which cn-scraper-mcp（macOS/Linux）找到完整路径，再把 command 替换为该路径。

常见问题

Q: 使用这个软件安全吗？ 软件在你的电脑上本地运行，不经过项目方的中转服务器。Cookie 和浏览器 Profile 保存在本机，Cookie 值不会写入日志或通过 MCP 返回给 Agent；需要访问平台时，凭证只发送给对应的平台域名。

Q: 软件会读取或保存账号密码吗？ 不会。登录发生在平台官方页面，由你自己扫码或输入密码；工具只在登录完成后通过 CDP 保存浏览器产生的 Cookie。

Q: Cookie 保存在什么地方？ Cookie 默认保存在 ~/.cn-scraper-cookies/，京东使用本地持久化 Chrome Profile。请像保护已登录浏览器一样保护这些文件，不要分享或提交到 Git。

Q: 怎么初始化 Cookie 最方便？ 用 guided_login("平台名") 工具。它会自动打开 Chrome → 导航到登录页 → 等你扫码/输密码 → 登录后自动收割 Cookie 并保存。

Q: 合法吗？ 仅用于学习和研究目的。批量抓取可能违反平台服务条款。风险自负。切勿用于垃圾信息、DDoS 或商业级大规模抓取。

许可证

MIT — 详见 LICENSE。

支持项目

如果这个项目帮你节省了时间，可以请作者喝杯咖啡：

致谢

curl_cffi — TLS 指纹伪装
FastMCP — MCP Server 框架
websockets — 异步 WebSocket

*Made with ☕ and months of frustration at Chinese platform anti-bot walls.*

CN Scraper MCP

概览

PopNx MCP 的三大支柱

它能帮你做什么

安装

安装之前

它能做什么

基础检查i

作者与仓库一致

仍在维护

有许可证

端点有响应

使用 OAuth 登录

工具描述中没有隐藏指令

与“网页与浏览器”中的其他服务器比较i

常见问题

替代选择

Browser Use

Chrome DevTools MCP

MCP Server Browser

作者的 README

这是什么

安全与隐私

平台支持

电商

内容社区

快速开始

安装

推荐：CDP 自动登录并保存 Cookie

启动

或: python -m cn_scraper_mcp.server

Docker

MCP 工具一览

电商搜索

内容社区

Cookie 管理

MCP 客户端配置

Codex

Claude Code / Cursor / Reasonix

Trae

更多文档

常见问题

许可证

支持项目

致谢