原型 · 预览版:收录官方注册中心里的全部服务器,每 30 分钟同步一次。使用 Google 登录即可撰写评价。原型 · 每 30 分钟更新
PopNx MCP为使用 AI 的人准备的 MCP 服务器 · 用大白话讲清楚

MTScraper

作者:mazprotech版本 2.1.1i★ 0i在你的电脑上运行代码仓库 ↗
注册名称io.github.mazprotech/mtscraper

安装方法

What it does

Free local crawler: any site, JavaScript pages and linked PDFs, into clean text.

  • Connects 在你的电脑上运行
  • Account or key No key needed
  • Category 网页与浏览器

可搭配使用

教 AI 做这类工作的 Skill,可与本项一起使用

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

作者:google-research★ 35,6291 个 skill

Skill · 操作手册

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

作者:BigBodyCobain★ 11,6021 个 skill

Skill · 操作手册

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

作者:gosom★ 8,2091 个 skill

Skill · 操作手册

为什么排在这里

列表按使用分(满分 100)排序,由以下部分组成

热度0/80GitHub 星标或每周下载量:较大的计 60,较小的计 20
新鲜度12/1230 天内有发布或代码更新得满分
仍在响应0/8上次检查时云端端点有响应
使用分12/100

质量: 基础检查通过 3/3 项(仅展示,不用于排序) · 上升势头: 暂无数据 (只用于“上升中”标签)

安装

选择你使用的 AI 应用,然后复制设置。

用一句话让 AI 帮你安装

请帮我安装 MTScraper。按照 https://mcp.popnx.com/i/mazprotech-mtscraper.md 操作,先把命令给我看,等我同意后再运行。

粘贴到能在你电脑上工作的 AI(如 Claude Code、Cursor)。它会读取我们的步骤,先给你看命令,等你同意。无需密钥,无需注册。 · 查看 AI 会读取的全文

通过 3/3 项检查 · 在你的电脑上运行 · ✓ 命令已检查 2026年11月15日

第一步:你用哪个 AI?

选择你用的应用,步骤会显示在下方。

可连接 Claude,但需要先准备

需要先在电脑上安装 Node.js(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用

让 AI 帮你安装

把这段话复制到 Claude 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Claude 安装 MCP server MTScraper,按顺序:1) 用 node -v 检查是否有 Node.js。没有的话,请让我从 https://nodejs.org/en/download 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "mcpServers": { "mtscraper": { "command": "npx", "args": [ "-y", "mtscraper", "--mcp" ] } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 MTScraper 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 Node.js(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    node -v
    • 显示版本号(例如 v26.13.1)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: 打开官方下载页,选择 LTS 版本和点选式安装程序:Mac 用 .pkg · Windows 用 .msi。双击后一路下一步即可,不需要 curl 命令

    打开 Node.js 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: node -v

    安装一次,所有需要 Node.js 的工具都能用

  2. 打开电脑版 Claude 应用的设置文件

    SettingsDeveloperEdit Config

  3. 粘贴这些设置并保存文件

    {
      "mcpServers": {
        "mtscraper": {
          "command": "npx",
          "args": [
            "-y",
            "mtscraper",
            "--mcp"
          ]
        }
      }
    }
  4. 退出 Claude 再重新打开

  5. 试一试

    用 MTScraper 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude 说正在使用 MTScraper,或回答中出现 MTScraper 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

ChatGPT 暂时无法连接 MTScraper

MTScraper 需要安装在你的电脑上,而 ChatGPT 只能连接在网上运行的服务器

你可以改用这些方式

A · 使用能连接 MTScraper 的应用

  • 需要先在电脑上安装 Node.js(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用
  • 需要先在电脑上安装 Node.js(只需一次)
  • 需要先在电脑上安装 Node.js(只需一次)
  • 需要先在电脑上安装 Node.js(只需一次)

B · 网页与浏览器 类中能连接 ChatGPT 的其他服务器

从同类中使用较多的里挑选,仅限用地址即可连接、无需密钥的

可连接 Claude Code,但需要先准备

需要先在电脑上安装 Node.js(只需一次)

让 AI 帮你安装

把这段话复制到 Claude Code 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Claude Code 安装 MCP server MTScraper,按顺序:1) 用 node -v 检查是否有 Node.js。没有的话,请让我从 https://nodejs.org/en/download 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):claude mcp add --scope user mtscraper -- npx -y mtscraper --mcp 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 MTScraper 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 Node.js(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    node -v
    • 显示版本号(例如 v26.13.1)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: 打开官方下载页,选择 LTS 版本和点选式安装程序:Mac 用 .pkg · Windows 用 .msi。双击后一路下一步即可,不需要 curl 命令

    打开 Node.js 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: node -v

    安装一次,所有需要 Node.js 的工具都能用

  2. 打开终端

    Mac:按 Command+空格,输入 Terminal · Windows:打开 PowerShell

  3. 粘贴这条命令并按 Enter

    claude mcp add --scope user mtscraper -- npx -y mtscraper --mcp
  4. 在 Claude Code 中输入 /mcp

    应能看到 MTScraper 在列表中并显示已连接

  5. 试一试

    用 MTScraper 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude Code 说正在使用 MTScraper,或回答中出现 MTScraper 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Cursor,但需要先准备

需要先在电脑上安装 Node.js(只需一次)

让 AI 帮你安装

把这段话复制到 Cursor 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Cursor 安装 MCP server MTScraper,按顺序:1) 用 node -v 检查是否有 Node.js。没有的话,请让我从 https://nodejs.org/en/download 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "mcpServers": { "mtscraper": { "command": "npx", "args": [ "-y", "mtscraper", "--mcp" ] } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 MTScraper 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 Node.js(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    node -v
    • 显示版本号(例如 v26.13.1)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: 打开官方下载页,选择 LTS 版本和点选式安装程序:Mac 用 .pkg · Windows 用 .msi。双击后一路下一步即可,不需要 curl 命令

    打开 Node.js 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: node -v

    安装一次,所有需要 Node.js 的工具都能用

  2. 点击这个按钮打开 Cursor

    在 Cursor 中打开

    Cursor 会请你确认安装,点击 Install

  3. 在 Cursor 中以 Agent 模式打开 AI 聊天

  4. 试一试

    用 MTScraper 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Cursor 说正在使用 MTScraper,或回答中出现 MTScraper 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Cursor 帮助页面核实 · 你的界面可能因版本略有不同

可连接 VS Code,但需要先准备

需要先在电脑上安装 Node.js(只需一次)

让 AI 帮你安装

把这段话复制到 VS Code 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 VS Code 安装 MCP server MTScraper,按顺序:1) 用 node -v 检查是否有 Node.js。没有的话,请让我从 https://nodejs.org/en/download 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "servers": { "mtscraper": { "type": "stdio", "command": "npx", "args": [ "-y", "mtscraper", "--mcp" ] } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 MTScraper 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 Node.js(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    node -v
    • 显示版本号(例如 v26.13.1)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: 打开官方下载页,选择 LTS 版本和点选式安装程序:Mac 用 .pkg · Windows 用 .msi。双击后一路下一步即可,不需要 curl 命令

    打开 Node.js 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: node -v

    安装一次,所有需要 Node.js 的工具都能用

  2. 点击这个按钮打开 VS Code

    在 VS Code 中打开

    VS Code 会请你确认安装,点击 Install

  3. 在 VS Code 中以 Agent 模式打开 AI 聊天

  4. 试一试

    用 MTScraper 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 VS Code 说正在使用 MTScraper,或回答中出现 MTScraper 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 VS Code 帮助页面核实 · 你的界面可能因版本略有不同

其他支持 MCP 的应用(如 Windsurf、Zed、Gemini CLI)添加方式各不相同,请在应用列表中查看

查看所有支持 MCP 的应用 →

JSON 设置在下方“开发者专用”中

卡住了?问问正在用 MTScraper 的人💬 讨论 →
开发者专用:终端命令和 JSON 设置

安装在电脑上

Claude Code

claude mcp add --scope user mtscraper -- npx -y mtscraper --mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "mtscraper": {
      "command": "npx",
      "args": [
        "-y",
        "mtscraper",
        "--mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "mtscraper": {
      "command": "npx",
      "args": [
        "-y",
        "mtscraper",
        "--mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "mtscraper": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "mtscraper",
        "--mcp"
      ]
    }
  }
}

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同,请以 README 为准。

一览

每周下载量i
不在 npm/PyPI 上
连接方式
在你的电脑上运行
最新版本i
2.1.1
发布到注册中心i
2026年11月15日
代码最后更新i
2026年11月15日
作者
mazprotech
软件包
npm: mtscraper
注册状态
活跃

哪些应用可以使用它

依据这个服务器的连接方式和各应用自己的文档,检查于 2026年11月10日。

在你的电脑上运行,适用于

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

全部应用及其优缺点 →

它能做什么

它在你的电脑上运行;安装后,工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息;我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月19日

  • ✓ 通过

    作者与仓库一致

    注册名称已通过 GitHub 账户 mazprotech 验证,该账户拥有此仓库

  • ✓ 通过

    仍在维护

    代码最后更新于4天前

  • ✓ 通过

    有许可证

    使用 MIT

  • – 不适用

    端点有响应

    它在你的电脑上运行,没有互联网端点

  • – 不适用

    使用 OAuth 登录

    在你的电脑上运行,改用本地设置

  • … 尚未检查

    工具描述中没有隐藏指令

    它在你的电脑上运行;我们只能读取互联网端点的工具列表

已公开的漏洞(OSV.dev)

OSV.dev 中没有 mtscraper@2.1.1 的记录

只检查这个版本的包本身,不包括所有依赖 · 检查于 2026年11月16日

我们检查什么 → · JSON

作者:申请重新检查或报告信息错误
给作者:在 README 中加徽章

如果你是作者,可把这段代码贴到 README。徽章会链接回本页。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/mazprotech-mtscraper.svg)](https://mcp.popnx.com/en/servers/mazprotech-mtscraper)

讨论

提问、分享技巧或报告无法使用。按“有帮助”数量排序。

还没有帖子,欢迎第一个提问或分享。

此处内容由用户撰写,不代表 PopNx 团队。

登录后发帖

用户评价

还没有评价

登录后写评价

与“网页与浏览器”中的其他服务器比较i

  • 星标数多于此分类中其他 1613 个服务器的 0%
  • 发布到注册中心的时间比此分类中其他 1613 个服务器的 88% 更新
  • 基础检查结果等于或优于此分类中其他 1613 个服务器的 99%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时,星标数才计入。

常见问题

MTScraper 安全吗?

它在 3 项适用的基础检查中通过了 3 项。我们没有阅读代码。在添加密钥或令牌之前,请先看看这个服务器要求哪些权限,并使用只具备所需权限的密钥。

它需要哪些密钥或代码?

注册中心没有列出必需的密钥,不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端?

它在你的电脑上运行。你的 AI 应用会在需要时启动它,数据不会经过作者的服务器(除非它自己调用在线服务)。

它还在维护吗?

GitHub 仓库最后更新于4天前,最新版本(2.1.1)于4天前进入注册中心。

哪些应用可以使用它?

支持 MCP 的应用,例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Node.js。

有什么可以替代它?

同一分类中有:Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook

功能相近的其他选择

同一分类、其他作者、命令已通过检查。官方的排在前面,再按星标排序。

如何看卡片:↓ 每周下载量i★ GitHub 星标i三大支柱:评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

作者:browser-use广泛使用↓ 167.3万/周★ 12.1万29天前更新

电脑或云端✓ 服务方 · browser-use.com

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

作者:apify广泛使用★ 1.7万前天更新

在云端运行✓ 服务方 · apify.com

Pomerado

Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use

作者:Pomerado正在增长★ 1798昨天更新

在云端运行✓ 服务方 · pomerado.ai

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

作者:actionbook正在增长★ 163131天前更新

在云端运行✓ 服务方 · actionbook.app
与相似项目对比
本项
MTScraper
Browser Usechangedetection.io (official)Apify MCP ServerPomeradoActionbook
运行位置需要安装在电脑上云端或安装在电脑上都可以在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装
需要密钥否是否是否否
可在 Claude 中按 + 添加否是否否否否
基础检查3/35/53/34/44/44/4
许可证MITMITApache-2.0MITMITApache-2.0
价格登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

MTScraper

Free website crawler for AI coding agents, by MazTech.

Ask your agent to *"scrape example.com"*. MTScraper crawls the site, follows its internal links, and saves each page's clean main text (no menus or footers) to JSONL or CSV. Linked PDFs are read too, text and tables. Then your agent works with the data for you.

Free, open source, no credits, no page caps, no API key, runs on your PC.

  • Clean text: main content only, extracted with Mozilla Readability
  • Markdown when you want it: headings, lists, links and tables kept (--format markdown)
  • One page now: read hands back a single page's content without saving anything
  • Look before you crawl: map lists a site's pages from its sitemap without downloading them
  • Linked PDFs: text and tables extracted by default (--no-pdf to skip)
  • JavaScript sites: optional headless Chromium rendering (--js)
  • One-page apps: clicks through tabs and buttons and saves every view (--click)
  • Resumable: stop a big crawl and pick it up later (--resume)
  • Polite: obeys robots.txt and stays on the target domain
  • One record format for everything: url, title, view, type, text, tables
  • Node.js only, nothing to install: runs through npx

Why MTScraper

  • Runs on your machine. Pages and PDFs are never uploaded anywhere.
  • No account, no API key, no per-page credits. A crawl of 5 pages or 5,000 costs the same: nothing.
  • One record format for HTML pages and PDFs, so the data is ready for a database, a spreadsheet or an embedding index without cleanup.
  • Works inside the agents people already use. Claude Code, Codex, Gemini CLI, Cursor and Copilot pick it up as a skill or an MCP server.
  • Polite by default: robots.txt obeyed, four requests at a time, stays on the target domain.
  • A few hundred lines of plain JavaScript you can read in one sitting.

How it works

  1. The start URLs go into a Crawlee crawler: robots.txt is checked, links on the same domain are followed, failed requests are retried, and at most four requests run at once.
  2. Each HTML page goes through Mozilla Readability, which keeps the main content and drops menus, footers and ads.
  3. Each linked PDF is downloaded and read with pdf.js. Lines are rebuilt from the text positions, and lines whose cells line up become tables.
  4. Every page becomes one record with the same six fields, appended to a JSONL or CSV file as it arrives.
  5. With --js, pages are rendered in headless Chromium first. With --click, each matching tab or button is clicked and every new view is saved as its own record.
  6. With --format markdown, the main content is turned into Markdown instead of plain text, and PDF tables become Markdown tables.
  7. read is the same crawler limited to one page, with the result handed back instead of written to a file. map reads the site's sitemap (found through robots.txt, or at /sitemap.xml), or else the links on the start page, and downloads nothing else.
  8. With --mcp, all of this is exposed as three MCP tools, crawl, read and map, over stdio.

Requirements

  • Node.js 20 or newer
  • An AI agent that can run skills or MCP servers (see Install), or just a terminal
  • Chromium, once, only for --js, --click and buttons: npx -y github:mazprotech/mtscraper setup

Install / where it works

MTScraper reaches your agent in two ways, and both run the same tool through npx -y github:mazprotech/mtscraper:

  • Skill: a folder (skills/mtscraper) with instructions the agent reads. The agent runs the CLI itself.
  • MCP server: your app starts npx -y github:mazprotech/mtscraper --mcp and gets three tools: crawl, read and map.

To copy the skill folder, clone the repo once and copy skills/mtscraper into the skills folder listed for your tool below (~ is your home folder; in PowerShell use $HOME).

git clone https://github.com/mazprotech/mtscraper.git

mkdir -p ~/.claude/skills && cp -r mtscraper/skills/mtscraper ~/.claude/skills/ # example: Claude Code

```powershell

git clone https://github.com/mazprotech/mtscraper.git New-Item -ItemType Directory -Force "$HOME\.claude\skills" | Out-Null # example: Claude Code Copy-Item -Recurse -Force mtscraper\skills\mtscraper "$HOME\.claude\skills\"

Every MCP client needs the same values: command npx, arguments -y github:mazprotech/mtscraper --mcp. In the clients that use an mcpServers JSON file it looks like this:

{

"mcpServers": { "mtscraper": { "command": "npx", "args": ["-y", "github:mazprotech/mtscraper", "--mcp"] } } }

Claude Code

Plugin (recommended). Inside Claude Code, run:

/plugin marketplace add mazprotech/mtscraper

/plugin install mtscraper@maztech

Or copy the skill folder to `~/.claude/skills/` (all projects) or `.claude/skills/` (one project). Restart Claude Code, or run `/reload-plugins` after a plugin install.
Claude Desktop

MCP only. Open Settings, Developer, Edit Config, or edit the file directly:

  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json

Add the mcpServers block above (merge it with any servers you already have), then fully quit and restart Claude Desktop.

OpenAI Codex (the "ChatGPT" option)

"Works with ChatGPT" here means Codex: the Codex CLI, the Codex IDE extension and the ChatGPT desktop app. The ChatGPT chat app in the browser or on your phone cannot run local tools, so it cannot use MTScraper.

  • Skill: copy the folder to ~/.agents/skills/ (all projects) or .agents/skills/ (one repo).
  • MCP: codex mcp add mtscraper -- npx -y github:mazprotech/mtscraper --mcp. This writes ~/.codex/config.toml, which the CLI, IDE extension and desktop app share. Or add it by hand:
  [mcp_servers.mtscraper]

command = "npx" args = ["-y", "github:mazprotech/mtscraper", "--mcp"]

Gemini CLI
  • Skill: copy the folder to ~/.gemini/skills/ (or ~/.agents/skills/), or to .gemini/skills/ (or .agents/skills/) in a project.
  • MCP: add the mcpServers block above to ~/.gemini/settings.json (all projects) or .gemini/settings.json (one project).
Cursor
  • Skill: copy the folder to ~/.cursor/skills/ (or ~/.agents/skills/), or to .cursor/skills/ (or .agents/skills/) in a project.
  • MCP: add the mcpServers block above to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project).
GitHub Copilot CLI
  • Skill: copy the folder to ~/.copilot/skills (or ~/.agents/skills), or to .github/skills, .claude/skills or .agents/skills in a repo.
  • MCP: copilot mcp add mtscraper -- npx -y github:mazprotech/mtscraper --mcp. This writes ~/.copilot/mcp-config.json.
VS Code
  • Skill: copy the folder to ~/.copilot/skills/, ~/.claude/skills/ or ~/.agents/skills/, or to .github/skills/, .claude/skills/ or .agents/skills/ in a project.
  • MCP: create .vscode/mcp.json in your workspace. VS Code uses servers instead of mcpServers:
  {

"servers": { "mtscraper": { "type": "stdio", "command": "npx", "args": ["-y", "github:mazprotech/mtscraper", "--mcp"] } } }

Windsurf

See Windsurf's docs for where skills and MCP servers are configured. Use the command and arguments above for the MCP server.

Any other MCP client

Register a stdio server with command npx and arguments -y github:mazprotech/mtscraper --mcp, in whatever format that client uses. See your client's docs.

Restart the app after installing so it picks up the skill or server.

Use

Just ask your agent in plain language:

  • *"Scrape the docs at example.com/docs, max 100 pages"*
  • *"Pull every blog post from site.com into a CSV"*
  • *"Crawl this competitor's site and summarize their services"*
  • *"Get the price tables out of the PDFs on example.com/downloads"*
  • *"Read this page and summarize it: example.com/pricing"*
  • *"How many pages does example.com have? List them first"*

With the skill, crawl results are saved to a scraped/ folder in your current project. With the MCP server:

ToolInputsGives back
crawlurl, max_pages (default 50), follow, js, click, pdf, format (text default, or markdown)The records inline (up to about 200,000 characters) and the path of a JSONL file that holds everything
readurl, format (markdown default, or text), jsOne page's title, address and clean content, in the reply. No file is saved
mapurl, max_pages (default 50)The list of the site's page addresses, where it came from (sitemap or links), and whether the list was cut at max_pages

All three obey robots.txt. read says so when robots.txt refuses a page.

Run it yourself

No agent needed:

npx -y github:mazprotech/mtscraper https://example.com --max-pages 200

npx -y github:mazprotech/mtscraper https://example.com -o pages.csv npx -y github:mazprotech/mtscraper https://spa.example.com --js npx -y github:mazprotech/mtscraper https://example.com/docs --format markdown npx -y github:mazprotech/mtscraper read https://example.com/pricing npx -y github:mazprotech/mtscraper map https://example.com -n 200

read prints one page's content (Markdown unless --format text) and saves nothing. map prints one page address per line, and a summary such as found 120 pages (from sitemap).

One-page app with tabs (needs Chromium, see Requirements). List the clickable elements first to pick a selector, then click only the view-switching ones:

npx -y github:mazprotech/mtscraper buttons https://app.example.com

npx -y github:mazprotech/mtscraper https://app.example.com --click "[role=tab]" --max-pages 1 -o views.jsonl

Options

mtscraper <url> [url...] [options]

mtscraper read print one page's clean content; saves nothing mtscraper map list a site's pages without downloading them mtscraper buttons list clickable elements, to pick a --click selector mtscraper setup install the Chromium build that --js, --click and buttons need mtscraper --mcp run as an MCP server over stdio (tools: crawl, read, map)

OptionMeaning
-o, --out Output .jsonl or .csv (default scraped/ .jsonl; appends if the file exists)
-n, --max-pages Stop after N pages (default 1000, 0 = no cap). PDFs count as pages. Also caps how many pages map lists
--format text or markdown (keeps headings, lists, links and tables). Default text; read defaults to markdown
-f, --follow Only follow links whose URL contains this text, e.g. /blog/ (in Git Bash on Windows, run with MSYS_NO_PATHCONV=1 so /blog/ is not rewritten as a path)
--jsRender pages in headless Chromium for JavaScript sites (5-10x slower)
--click Click each matching button or tab and save every view (implies --js)
--wait Wait after each click for the view to update (default 1500)
--no-pdfSkip linked PDFs (by default their text and tables are extracted too)
--resume Resumable: re-run the same command with the same name after Ctrl+C
-q, --quietOnly print the summary
-h, --helpShow the help

When the run ends it prints a summary line: done: N records -> file (finished), or max_pages reached, plus the number of failed pages if any.

Examples

  • [

只显示了开头部分;其余内容请在仓库中阅读