原型 · 预览版:收录官方注册中心里的全部服务器,每 30 分钟同步一次。使用 Google 登录即可撰写评价。原型 · 每 30 分钟更新
PopNx MCP为使用 AI 的人准备的 MCP 服务器 · 用大白话讲清楚

Scavio

作者:scavio-ai版本 0.70.0i★ 8i电脑或云端官方网站 ↗
注册名称io.github.scavio-ai/scavio-mcp

安装方法

What it does

Structured web data from 89 platforms: Google, ChatGPT, Gemini, YouTube, Amazon, Reddit, TikTok

  • Connects 电脑或云端
  • Account or key Cloud: Sign in to the service when you connect (OAuth) · Local: Needs SCAVIO_API_KEY
  • Category 营销与社交媒体

可搭配使用

教 AI 做这类工作的 Skill,可与本项一起使用

scroll-world

A skill that turn any brand into a scrollable 3D world landing page

作者:oso95★ 11,0551 个 skill

Skill · 操作手册

social-auto-upload

自动化上传视频到社交媒体:抖音、小红书、视频号、tiktok、youtube、bilibili

作者:dreammis★ 16,657 (whole repo)4 个 skill

Skill · 操作手册

native-subtitle-quote-image

保留视频内嵌字幕,精确取帧并生成 3:4 社交长图的 Agent Skill

作者:chengyi-ai★ 2,8881 个 skill

Skill · 操作手册

为什么排在这里

列表按使用分(满分 100)排序,由以下部分组成

热度32/80GitHub 星标或每周下载量:较大的计 60,较小的计 20
新鲜度12/1230 天内有发布或代码更新得满分
仍在响应8/8上次检查时云端端点有响应
使用分52/100

质量: 基础检查通过 5/5 项(仅展示,不用于排序) · 上升势头: 暂无数据 (只用于“上升中”标签)

安装

选择你使用的 AI 应用,然后复制设置。

用一句话让 AI 帮你安装

请帮我安装 Scavio。按照 https://mcp.popnx.com/i/scavio-ai-scavio-mcp.md 操作,先把命令给我看,等我同意后再运行。

粘贴到能在你电脑上工作的 AI(如 Claude Code、Cursor)。它会读取我们的步骤,先给你看命令,等你同意。无需密钥,无需注册。 · 查看 AI 会读取的全文

通过 5/5 项检查 · 你的提问会经过开发者的服务器(mcp.scavio.dev) · ✓ 命令已检查 2026年11月19日

第一步:你用哪个 AI?

选择你用的应用,步骤会显示在下方。

可连接 Claude · 约 2 分钟

不需要密钥,不用安装程序 · 在 claude.ai 或桌面应用设置一次,即可在聊天中使用 · 免费账户可添加 1 个 · Team/Enterprise 方案由所有者(Owner)添加

  1. 打开 Claude 的 Connectors 页面

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  2. 点击“Add” → “Custom” → “Web”,填写这 2 项

    把这里的内容复制到 Claude 中同名的输入框,然后点击 Continue

    Name · 名称Scavio
    Remote MCP server URL · 地址https://mcp.scavio.dev/mcp

    在 Claude 检测到的登录设置页点击 Continue · Authentication 按作者说明选择(Sign in now、Sign in when needed 或 No sign in),然后点击 Add

  3. 在聊天中开启

    +ConnectorsScavio

  4. 试一试

    用 Scavio 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude 说正在使用 Scavio,或回答中出现 Scavio 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

能否连接 ChatGPT 取决于方案

完整 MCP:网页版 ChatGPT Business、Enterprise 或 Edu · Pro:以读取/获取权限连接,修改数据的工具可能用不了 · Plus:官方文档尚未确认,如果在插件页看到添加自定义 MCP 的选项可以试试 · 仅限网页

  1. 在网页版 ChatGPT 打开添加 MCP 的页面

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4
  2. 填写名称和地址

    输入名称,在 Connection 下粘贴地址,勾选风险提示,然后点击 Create as a plugin

    Name · 名称Scavio
    Connection · 地址https://mcp.scavio.dev/mcp
  3. 在聊天中选择 Scavio

    开启新聊天,输入前先从插件列表中选择 Scavio

  4. 试一试

    用 Scavio 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 ChatGPT 说正在使用 Scavio,或回答中出现 Scavio 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 OpenAI 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Claude Code · 约 2 分钟

不需要密钥,不用安装程序

  1. 打开终端

    Mac:按 Command+空格,输入 Terminal · Windows:打开 PowerShell

  2. 粘贴这条命令并按 Enter

    claude mcp add --transport http --scope user scavio https://mcp.scavio.dev/mcp
  3. 在 Claude Code 中输入 /mcp

    应能看到 Scavio 在列表中并显示已连接

  4. 试一试

    用 Scavio 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude Code 说正在使用 Scavio,或回答中出现 Scavio 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Cursor · 约 2 分钟

不需要密钥,不用安装程序

  1. 点击这个按钮打开 Cursor

    在 Cursor 中打开

    Cursor 会请你确认安装,点击 Install

  2. 在 Cursor 中以 Agent 模式打开 AI 聊天

  3. 试一试

    用 Scavio 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Cursor 说正在使用 Scavio,或回答中出现 Scavio 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Cursor 帮助页面核实 · 你的界面可能因版本略有不同

可连接 VS Code · 约 2 分钟

不需要密钥,不用安装程序

  1. 点击这个按钮打开 VS Code

    在 VS Code 中打开

    VS Code 会请你确认安装,点击 Install

  2. 在 VS Code 中以 Agent 模式打开 AI 聊天

  3. 试一试

    用 Scavio 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 VS Code 说正在使用 Scavio,或回答中出现 Scavio 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 VS Code 帮助页面核实 · 你的界面可能因版本略有不同

其他支持 MCP 的应用(如 Windsurf、Zed、Gemini CLI)添加方式各不相同,请在应用列表中查看

查看所有支持 MCP 的应用 →

通过网页连接的应用使用的地址

地址https://mcp.scavio.dev/mcp

JSON 设置在下方“开发者专用”中

卡住了?问问正在用 Scavio 的人💬 讨论 →
开发者专用:终端命令和 JSON 设置

通过网页连接

Claude Code

claude mcp add --transport http --scope user scavio https://mcp.scavio.dev/mcp

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scavio": {
      "url": "https://mcp.scavio.dev/mcp"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scavio": {
      "type": "http",
      "url": "https://mcp.scavio.dev/mcp"
    }
  }
}

安装在电脑上

Claude Code

claude mcp add --scope user scavio --env SCAVIO_API_KEY=your-value -- npx -y @scavio/mcp-server

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "scavio": {
      "command": "npx",
      "args": [
        "-y",
        "@scavio/mcp-server"
      ],
      "env": {
        "SCAVIO_API_KEY": "your-value"
      }
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scavio": {
      "command": "npx",
      "args": [
        "-y",
        "@scavio/mcp-server"
      ],
      "env": {
        "SCAVIO_API_KEY": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scavio": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "@scavio/mcp-server"
      ],
      "env": {
        "SCAVIO_API_KEY": "your-value"
      }
    }
  }
}

需要你填写的值

  • SCAVIO_API_KEY 机密 必填 env
    你的 Scavio API 密钥,来自 scavio.dev
    查看英文原文Your Scavio API key from scavio.dev

说明为自动翻译,变量名保持原样;不确定时请查看原文。

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同,请以 README 为准。

一览

每周下载量i
2,553/周
连接方式
电脑或云端
传输方式
stdio, streamable-http
最新版本i
0.70.0
发布到注册中心i
2026年11月19日
代码最后更新i
2026年11月18日
最近检查
2026年11月19日
作者
scavio-ai
软件包
npm: @scavio/mcp-server
注册状态
活跃

哪些应用可以使用它

依据这个服务器的连接方式和各应用自己的文档,检查于 2026年11月10日。

通过互联网连接,适用于

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

在你的电脑上运行,适用于

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

全部应用及其优缺点 →

它能做什么

服务器要求先登录,才会列出它的工具。

基础检查i

我们检查的是任何人都能看到的信息;我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月19日

  • ✓ 通过

    作者与仓库一致

    注册名称已通过 GitHub 账户 scavio-ai 验证,该账户拥有此仓库

  • ✓ 通过

    仍在维护

    代码最后更新于昨天

  • ✓ 通过

    有许可证

    使用 MIT

  • ✓ 通过

    端点有响应

    在 679 毫秒内响应(HTTP 401)

  • ✓ 通过

    使用 OAuth 登录

    声明支持 OAuth 登录,你的 AI 应用可以带你去登录

  • … 尚未检查

    工具描述中没有隐藏指令

    尚未检查;我们会在检查端点时读取工具列表

云端地址最近 4 次检查中有 4 次响应 · 最近一次 679 ms · 检查于 2026年11月19日

已公开的漏洞(OSV.dev)

尚未检查

我们检查什么 → · JSON

作者:申请重新检查或报告信息错误
给作者:在 README 中加徽章

如果你是作者,可把这段代码贴到 README。徽章会链接回本页。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/scavio-ai-scavio-mcp.svg)](https://mcp.popnx.com/en/servers/scavio-ai-scavio-mcp)

讨论

提问、分享技巧或报告无法使用。按“有帮助”数量排序。

还没有帖子,欢迎第一个提问或分享。

此处内容由用户撰写,不代表 PopNx 团队。

登录后发帖

用户评价

还没有评价

登录后写评价

与“营销与社交媒体”中的其他服务器比较i

  • 星标数多于此分类中其他 4175 个服务器的 96%
  • 发布到注册中心的时间比此分类中其他 4175 个服务器的 99% 更新
  • 基础检查结果等于或优于此分类中其他 4175 个服务器的 99%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时,星标数才计入。

常见问题

Scavio 安全吗?

它在 5 项适用的基础检查中通过了 5 项。我们没有阅读代码。在添加密钥或令牌之前,请先看看这个服务器要求哪些权限,并使用只具备所需权限的密钥。

它需要哪些密钥或代码?

你需要填写:SCAVIO_API_KEY

它在我的电脑上运行还是在云端?

两种方式都可以:安装在你的电脑上,或者连接云端版本。

它还在维护吗?

GitHub 仓库最后更新于昨天,最新版本(0.70.0)于今天进入注册中心。

哪些应用可以使用它?

支持 MCP 的应用,例如 Claude Desktop、Claude Code、Cursor 和 VS Code。它通过 URL 连接,因此也能用于接受远程 MCP 的应用,例如网页版 ChatGPT(Business 及以上为完整 MCP;Pro 为只读)。

有什么可以替代它?

同一分类中有:Relaticle, ChatbotX, X (Twitter) MCP Server by Xquik, Betterlytics, BibiGPT YouTube Video Summarizer

功能相近的其他选择

同一分类、其他作者、命令已通过检查。官方的排在前面,再按星标排序。

如何看卡片:↓ 每周下载量i★ GitHub 星标i三大支柱:评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

Relaticle

Open-source CRM your AI agents can write to: companies, people, opportunities, tasks and notes.

作者:relaticle正在增长★ 1873今天更新

在云端运行✓ 服务方 · relaticle.com

ChatbotX

Omnichannel customer messaging, CRM contacts, flows, sequences, broadcasts, and AI automation.

作者:ChatbotXIO正在增长★ 1137 整个仓库的星标13天前更新

在云端运行✓ 服务方 · chatbotx.io

Betterlytics

Query your Betterlytics web analytics from AI agents: traffic, funnels, journeys, errors, uptime.

作者:betterlytics正在增长★ 1964个月前更新

在云端运行✓ 服务方 · betterlytics.io
与相似项目对比
本项
Scavio
RelaticleChatbotXX (Twitter) MCP Server by XquikBetterlyticsBibiGPT YouTube Video Summarizer
运行位置云端或安装在电脑上都可以在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装
需要密钥是否否否是否
可在 Claude 中按 + 添加否否否否否否
基础检查5/54/44/44/44/44/4
许可证MITAGPL-3.0NOASSERTIONMITAGPL-3.0MIT
价格登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

Scavio MCP Server

Scavio is a unified Web Search API and MCP server that gives AI agents web search, page extraction, and structured data from e-commerce, social, travel, jobs, real-estate, app-store, ad-library and company-filing sources. 596 tools across 84 platforms plus Extract, Company Enrich, map, crawl and batch, one API key.

The 22 platforms added in 0.13.0 are opt-in. Registering all 596 tools puts ~1005KB of tool definitions — roughly 90k tokens — into every session before you type anything. So the default is the platform set 0.12.x already had, plus Extract and Company Enrich: 143 tools, 114KB. Upgrading never removes a tool you were using. Everything else is one env var away: see Choosing which tools load.

Remote MCP Server

Connect directly to Scavio's remote MCP server without any local installation:

https://mcp.scavio.dev/mcp

Two ways to authenticate:

  • Sign in with OAuth, no key to copy. Claude Desktop, claude.ai and Claude Code sign in to your Scavio account through the server. In Claude Desktop or claude.ai: Settings > Connectors > Add custom connector, name it Scavio, paste the URL, then Connect and Authorize. In Claude Code: claude mcp add --transport http scavio https://mcp.scavio.dev/mcp, then run /mcp and choose Authenticate.
  • API key. Pass it in the x-api-key header. Get your key at scavio.dev.

Run Locally (npx)

Prefer to run the server on your own machine? Use npx with no clone or build. The server runs over stdio and only needs your SCAVIO_API_KEY.

Claude Code
claude mcp add scavio -e SCAVIO_API_KEY=YOUR_SCAVIO_API_KEY -- npx -y @scavio/mcp-server
Any MCP-Compatible Client (Claude Desktop, Cursor, Windsurf, VS Code, etc.)
{

"mcpServers": { "scavio": { "command": "npx", "args": ["-y", "@scavio/mcp-server"], "env": { "SCAVIO_API_KEY": "YOUR_SCAVIO_API_KEY" } } } }

Requires Node.js 20+. Get your API key at scavio.dev.


Install

Claude Code

Sign in with OAuth, then run /mcp inside Claude Code and choose Authenticate:

claude mcp add --transport http scavio https://mcp.scavio.dev/mcp

Or pass an API key:

claude mcp add --transport http scavio https://mcp.scavio.dev/mcp --header "x-api-key: YOUR_SCAVIO_API_KEY"
Claude Desktop

No API key needed: Settings > Connectors > Add custom connector, name it Scavio, paste https://mcp.scavio.dev/mcp, then Connect and sign in to your Scavio account. The same steps work on claude.ai.

Or run the server locally. Add to claude_desktop_config.json (~/Library/Application Support/Claude/claude_desktop_config.json on macOS, %APPDATA%\Claude\claude_desktop_config.json on Windows):

{

"mcpServers": { "scavio": { "command": "npx", "args": ["-y", "@scavio/mcp-server"], "env": { "SCAVIO_API_KEY": "YOUR_SCAVIO_API_KEY" } } } }

Requires Node.js 20+. Restart Claude Desktop after saving.

Cursor

Or add to .cursor/mcp.json in your project root or ~/.cursor/mcp.json for global:

{

"mcpServers": { "scavio": { "type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY" } } } }

Windsurf

Add to ~/.codeium/windsurf/mcp_config.json:

{

"mcpServers": { "scavio": { "type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY" } } } }

VS Code

Create .vscode/mcp.json in your project root:

{

"servers": { "scavio": { "type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY" } } } }

ChatGPT
  1. Go to ChatGPT > Settings > Apps & Connectors
  2. Click Add custom connector
  3. Enter the MCP server URL: https://mcp.scavio.dev/mcp
  4. Configure authentication with your API key
Cline

Add to cline_mcp_settings.json (open via Cline sidebar > MCP Servers > Configure):

{

"mcpServers": { "scavio": { "type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY" } } } }

Zed

Add to settings (Cmd+,):

{

"assistant": { "mcp_servers": { "scavio": { "type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY" } } } } }

Any MCP-Compatible Client
{

"type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY" } }


Choosing which tools load

Scavio exposes 596 tools. Loading all of them costs ~1005KB of tools/list — roughly 90k tokens of context in every session before the user has said anything, and more tools than some clients will accept at all. So the server registers a curated subset by default and lets you pick the rest. The sizes below are measured, not estimated: npm run toolslist reproduces them.

SCAVIO_PLATFORMS is a comma-separated allowlist of platform keys:

ValueRegisters
*(unset)* or defaultEvery platform 0.12.x had, plus extract and company — 143 tools, 114KB
allevery platform — 596 tools, ~1005KB
extract,sec,g2just those platforms — 18 tools, 21KB
default,zillow,metaadsthe default set plus two more — 149 tools, 122KB
default,chatgpt,geminithe default set plus ChatGPT and Gemini — 145 tools, 117KB
noneno platform tools, only get_usage

Keys are matched case- and punctuation-insensitively, so meta-ads, metaads and META_ADS are the same thing, and twitter resolves to x. An unknown key is logged to stderr and skipped rather than failing the server.

get_usage always registers — it is free, and it is what every install guide tells you to call to check the server works.

Platform keys: extract, company, google, chatgpt, gemini, youtube, tiktok, instagram, reddit, x, linkedin, threads, kuaishou, amazon, walmart, ebay, target, homedepot, costco, heb, kroger, publix, ikea, wayfair, ashley, maisonsdumonde, decathlon, specs, lowes, samsclub, canadiantire, dollargeneral, sephora, ulta, aldi, microcenter, walgreens, cvs, wholefoods, harborfreight, petsmart, petco, iherb, chewy, menards, nordstrom, nordstromrack, bestbuy, tcgplayer, nintendo, hm, zara, asos, vinted, mercari, macys, saks, kohls, jcpenney, dicks, footlocker, fanatics, carrefour, allegro, olx, trendyol, mercadolibre, tiktok-shop, booking, airbnb, tripadvisor, yelp, zillow, redfin, realtor, rightmove, indeed, glassdoor, appstore, googleplay, g2, capterra, trustpilot, googleads, metaads, sec, companieshouse

Local (stdio)
{

"mcpServers": { "scavio": { "command": "npx", "args": ["-y", "@scavio/mcp-server"], "env": { "SCAVIO_API_KEY": "YOUR_SCAVIO_API_KEY", "SCAVIO_PLATFORMS": "extract,google,zillow,redfin" } } } }

Remote (HTTP)

The hosted server has no env var to read, so pass the allowlist per connection — either as a header or as a query parameter:

{

"scavio": { "type": "http", "url": "https://mcp.scavio.dev/mcp", "headers": { "x-api-key": "YOUR_SCAVIO_API_KEY", "x-scavio-platforms": "extract,google,sec,companieshouse" } } }

https://mcp.scavio.dev/mcp?platforms=all

Upgrading from 0.12.x

Nothing to do. The default set is exactly the 10 platforms 0.12.x registered, plus Extract — every tool you were using still loads. Those platforms keep gaining tools (Walmart grew from 2 to 7; TikTok, YouTube, Reddit and X gained 19 in 0.20.0; Extract gained map, crawl and batch in 0.21.0; Instagram gained 8 in 0.22.0; Google gained google_custom_search in 0.23.0; company_enrich joined the default in 0.50.0), which is why the default count is now 143.

The 22 platforms added in 0.13.0 are opt-in. Add them additively:

SCAVIO_PLATFORMS=default,zillow,redfin,sec

One breaking fix worth knowing: search_walmart previously sent fulfillment_speed: "anytime" on every call, which the API rejects. The parameter is now today or tomorrow with no default.


Available Tools

Every tool costs 1 credit per call unless its section says otherwise. Several platforms price per endpoint (YouTube, Instagram, LinkedIn, Kuaishou) or per request body (Extract, Threads, Walmart); get_amazon_options and get_usage are free.

Extract
ToolDescription
extract_urlRead any web page and return it as clean Markdown, plain text, or raw HTML
map_websiteList a site's page URLs from its sitemaps and start page, path-filtered, with lastmod when known
crawl_websiteCrawl a site from one URL and extract every same-site page; waits up to wait_seconds and returns results, or the job id
get_crawl_statusA crawl's status, page counts, credits used and page results, paged by cursor; can wait for completion
cancel_crawlStop a running crawl; nothing more is billed, results so far stay readable
batch_extractExtract a list of URLs in one job, results in input order; waits up to wait_seconds
get_batch_statusA batch's status and results, paged by cursor; can wait for completion
cancel_batchStop a running batch

Extract is tier-priced by the mode parameter, not flat: normal (the default) and advanced (renders JavaScript) cost 1 credit, ultra (for the hardest pages) costs 2. Start at normal and escalate only when the content comes back empty or blocked. You are billed only on a successful extraction — a dead link, a bot wall or a timeout costs nothing. There is no pagination: the whole page comes back in one call.

Map, crawl and batch (new in 0.21.0) are the multi-page operations:

  • Pricing. map_website costs 1 credit. Crawl and batch bill per *successful* page at Extract's price for the tier (normal 1, advanced 1, ultra 2); failed and skipped pages are free, and status and cancel calls are free. Credits are taken page by page, and a job stops cleanly with stopped_reason: "insufficient_credits" if the balance runs out.
  • Plan limits (max pages per crawl / active jobs / URLs per batch): Free 10 / 1 / 10, PAYG 100 / 1 / 50, Project 500 / 2 / 100, Bootstrap 2,000 / 3 / 500, Startup 5,000 / 5 / 1,000, Growth 10,000 / 10 / 1,000. Starting a job past the active-job limit returns a 429 that names the running jobs.
  • Behaviour. Robots.txt is always obeyed for map and crawl. A crawl stays on the start URL's site (subdomains optional) and visits pages under the start path first. Results are kept for 3 days; a job runs for at most 6

只显示了开头部分;其余内容请在仓库中阅读