ScrapingBot
概要
作者による説明(英語の原文)
Public web data for AI agents: scrape any page, plus Google, TikTok, Instagram and Amazon as JSON.
PopNx MCPの3つの柱
この3つを1つのスコアにまとめることはしません。意見、測定、人気はそれぞれ別のものだからです。
- 利用者の声iレビューはまだありませんレビューは今後のステップで、アカウント機能と一緒に始まります
- 私たちの基本チェックi3項目中3項目に合格公開情報からチェック。コードはまだスキャンしていません
- 利用状況iとても新しい★ –
できること
このサーバーのやさしい解説はまだ書いていません。以下はレジストリから読み取った事実です。
- 接続方法: クラウドで動く
- トランスポート: Streamable HTTP
- カテゴリ: マーケティング・SNS
- 入力が必要なもの:x-api-key
インストール
使っているAIアプリを選んで、設定をコピーしてください。
インストールの前に
- 基本チェック:3項目中3項目に合格
- 作者のサーバーで動きます。あなたが頼んだ内容は、作者のサーバーを通ります。
- できること:23件(ツール) listCapabilities, scrapeWebsite, extractStructuredData, getScrapeJob …
- 自分で入力するもの:
x-api-key
「秘密」と表示された値は、あなたのアカウントの鍵です。絶対に人に教えたり、チャットに貼り付けたりしないでください。
必要なもの
- クラウドで動くインストール不要。インターネット経由でつながります
どのアプリを使っていますか?
上でアプリを選んでください。選んだアプリを覚えておくので、次からはボタンに「…にインストール」と表示されます。
このアドレスはリクエストの header にキーが必要ですが、コネクタを追加するメニューでは設定できません。代わりにClaude Code、Cursor、VS Codeを使ってください。
ターミナルでこれを実行します
claude mcp add --transport http scrapingbot https://scrapingbot.io/api/mcp --header 'x-api-key: your-value'動かす前に、空欄の値を入力してください。
または、設定を自分でコピーする
プロジェクトの .cursor/mcp.json、または ~/.cursor/mcp.json に貼り付けます
{
"mcpServers": {
"scrapingbot": {
"url": "https://scrapingbot.io/api/mcp",
"headers": {
"x-api-key": "your-value"
}
}
}
}ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。
または、設定を自分でコピーする
プロジェクトの .vscode/mcp.json に貼り付けます
{
"servers": {
"scrapingbot": {
"type": "http",
"url": "https://scrapingbot.io/api/mcp",
"headers": {
"x-api-key": "your-value"
}
}
}
}ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。
このアドレスはリクエストの header にキーが必要ですが、コネクタを追加するメニューでは設定できません。代わりにClaude Code、Cursor、VS Codeを使ってください。
選んだアプリは、この端末のCookieに保存されます。アカウントは不要です。
自分で入力する値
x-api-key秘密 必須 HTTP headerYour ScrapingBot API key, from https://scrapingbot.io/dashboard/api-keys (100 free credits on sign-up).
この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。
できること
ツールの名前と説明は、サーバーが2026年11月8日に返したそのままの内容です。書いたのは作者で、私たちではありません。プレーンテキストとして表示しています。
listCapabilitiesList every ScrapingBot tool, the API routes behind them and their parameters. Free.
scrapeWebsiteFetch any public web page and return its content as markdown (format: "html" for the raw HTML). 1 credit; render_js (pages built with JavaScript) 5; premium_proxy 10; stealth_proxy 75. screenshot: true attaches a screenshot image.
extractStructuredDataFetch a web page and have AI pull out exactly the fields you want, as JSON. Pass ai_query (plain English, e.g. "title, price and stock") or ai_schema ({"field": "description"}). The page cost plus 5 credits.
getScrapeJobLook up an earlier scrape by the job_id it returned. Free.
pollJobUntilDoneWait for a scrape job to finish, then return it. Free.
runBrowserScenarioOpen a page in a real browser, run steps such as click, fill, scroll and wait, then return the resulting page as markdown. js_scenario: {"instructions": [{"fill": ["#q", "shoes"]}, {"click": "#go"}, {"wait": 1000}]}. From 5 credits.
googleSearchGoogle results as JSON: web (default), images, videos, news, shopping, places or maps (type), for any country (gl) and language (hl). Places and maps results include a cid for googleReviews. 10 credits.
googleReviewsReviews of a place from Google Maps, by the cid, fid or placeId in a googleSearch places or maps result. sortBy newest, mostRelevant, highestRating or lowestRating; pass nextPageToken for more. 10 credits.
instagramUserAn Instagram profile: bio, follower, following and post counts, links and the numeric user id other tools need. Pass one of username, user_id or url. 5 credits.
instagramSearchSearch Instagram accounts, hashtags, places or posts (search_type), or everything at once (global). 5 credits.
instagramMediaInstagram content by mode: an account's posts, reels or tagged posts (user_id), one post by shortcode or url, a post's comments, the replies to a comment (comment_id), or an account's active stories (username). 5 credits.
instagramFollowersList or search an Instagram account's followers or following, by numeric user_id from instagramUser. query searches the whole list; max_id pages. For very large accounts Instagram shows only about 50 recent followers, so use query to find someone. 5 credits.
tiktokVideoA TikTok video's stats, caption, author, sound and download links, by video URL. 1 credit.
tiktokUserA TikTok profile by username: bio, counts, verified badge and numeric user id; include_posts returns the latest videos instead. 1 credit.
tiktokSearchSearch TikTok creators (search_type: users) or videos (videos) by keyword. Videos page: for page 2 onward pass the previous response's data.cursor as cursor and its data.searchId as search_id. Users search returns a single page and ignores cursor. 1 credit.
tiktokCommentsComments on a TikTok video (url), or the replies to one comment (comment_id plus the video url or video_id). 1 credit.
tiktokFollowersA TikTok account's followers or the accounts it follows, by numeric user_id (data.user.id from tiktokUser). Up to 50. 1 credit.
amazonSearchSearch Amazon US products by keyword: title, price, rating, Prime and photo for each. page for more. 10 credits.
amazonProductEverything on an Amazon product page by ASIN: price, rating, availability, bullet points, specifications, photos and variations. 10 credits.
amazonProductsFull details for up to 20 ASINs in one call, the same as amazonProduct for each. 10 credits per product returned; ASINs that fail are free.
amazonSuggestionsThe suggestions Amazon shows as a shopper types: useful for keyword research. 10 credits.
amazonRankingsAmazon's Best Sellers or New Releases for a department, in rank order, with price and rating. 10 credits.
providerRequestCall any Google, Instagram, TikTok or Amazon endpoint by path, for the few the other tools do not cover (listCapabilities lists them). Costs the same as that API.
基本チェックi
誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月9日にチェック
- ✓ 合格
作者とリポジトリが一致
レジストリ名はドメイン scrapingbot.io で確認済みです(レジストリがドメインの所有を確認しています)
- … 未チェック
今もメンテナンスされている
このリポジトリはまだGitHubから読み取っていません
- … 未チェック
ライセンスがある
このリポジトリはまだGitHubから読み取っていません
- ✓ 合格
エンドポイントが応答する
591ミリ秒で応答(HTTP 200)
- – 対象外
OAuthでサインイン
サインイン不要
- ✓ 合格
ツールの説明に隠れた指示がない
23件のツールの説明を読み、AIへの隠れた指示は見つかりませんでした
マーケティング・SNSのほかのサーバーとの比較i
- このカテゴリのほかの3631件のうち0%よりスターが多い
- このカテゴリのほかの3631件のうち45%より最近レジストリに公開
- 基本チェックの結果が、このカテゴリのほかの3631件のうち100%と同じかそれ以上
レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。
よくある質問
ScrapingBotは安全ですか?
当てはまる基本チェック3項目のうち3項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。
どんなキーやコードが必要ですか?
入力が必要なもの:x-api-key
パソコンで動きますか、それともクラウドですか?
作者のクラウドで動きます。インストール不要でインターネット経由でつながりますが、送った内容は作者のサーバーを通ります。
今もメンテナンスされていますか?
GitHubリポジトリの最終更新は–、最新バージョン(1.0.0)がレジストリに届いたのは36 日前です。
どのアプリで使えますか?
Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。URLでつながるので、リモートMCPサーバーに対応したアプリ(開発者モードのChatGPTなど)でも使えます。
代わりに使えるものは?
同じカテゴリには:MCP YouTube Transcript, Google Analytics MCP, BibiGPT YouTube Video Summarizer
代わりの候補
同じカテゴリで、ほかの作者が作ったサーバー。スターの多い順。
カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i
Google Analytics MCP
GA4 MCP server for AI agents: schema discovery, server-side aggregation, analysis-ready defaults.
BibiGPT YouTube Video Summarizer
AI video summarizer: summarize and transcribe YouTube, Bilibili, TikTok and podcast videos.
作者のREADME
READMEを開く
作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。
ScrapingBot
One API key for public web data: scrape any page (plain or JavaScript-rendered), pull fields out with AI, and get public TikTok, Instagram, Google and Amazon data as JSON. A hosted MCP server gives AI agents the same data as tools.
100 free credits when you sign up. No credit card. Get your API key
Docs · Pricing · MCP server · Examples · Agent Skills
Quickstart
export SCRAPINGBOT_API_KEY="YOUR_API_KEY"
curl "https://scrapingbot.io/api/v1/scrape?url=https://example.com" \ -H "x-api-key: $SCRAPINGBOT_API_KEY"
{
"success": true, "url": "https://example.com", "html": "<!doctype html> …", "status": 200, "duration": "0.79", "credits_used": 1, "job_id": "…" }
That call cost 1 credit. Failed requests are refunded automatically.
Base URL: https://scrapingbot.io/api/v1 Auth: x-api-key: YOUR_API_KEY header (or Authorization: Bearer YOUR_API_KEY). Keep the key on the server.
Endpoints
The data APIs (TikTok, Instagram, Google, Amazon) are all POST with a JSON body naming the endpoint and its params:
curl -X POST "https://scrapingbot.io/api/v1/tiktok" \
-H "x-api-key: $SCRAPINGBOT_API_KEY" \ -H "Content-Type: application/json" \ -d '{"endpoint": "/user/info", "params": {"unique_id": "tiktok"}}'
| API | Route | endpoint values | Credits |
|---|---|---|---|
| Website | GET or POST /api/v1/scrape | one route; options: render_js, screenshot, js_scenario, wait_for, premium_proxy, stealth_proxy, … | 1 plain · 5 rendered · 10 premium proxy · 75 stealth proxy |
| AI extraction | /api/v1/scrape + ai_query or ai_schema | returns ai_result JSON | +5 on top of the page |
| Job lookup | GET /api/v1/job/:job_id | re-fetch a scrape result (kept 24 hours) | free |
| TikTok | POST /api/v1/tiktok | / (video), /user/info, /user/posts, /user/followers, /user/following, /user/search, /feed/search, /music/info, /music/posts, /comment/list, /comment/reply | 1 |
POST /api/v1/instagram | /user/by_username, /user/by_id, /medias/by_user_id, /reels/by_user_id, /medias/tagged_by_user_id, /stories/by_username, /followers/by_user_id, /following/by_user_id, /media/by_shortcode, /media/by_url, /comments/media_comments_by_id, /comments/replies, /search/users_by_keyword, /search/hashtags_by_keyword, /search/places_by_keyword, /search/global, /search/posts, /media/shortcode_to_id, /media/id_to_shortcode | 5 | |
POST /api/v1/google | /search, /images, /videos, /news, /shopping, /places, /maps, /reviews | 10 | |
| Amazon | POST /api/v1/amazon | /search, /product-details, /products (up to 20 ASINs), /autocomplete, /best-sellers, /new-releases, /product-category-list, /deals-v2, /seller-profile, /seller-products | 10 (/products: 10 per product returned) |
| ChatGPT | POST /api/v1/chatgpt | body {"prompt": "…"} | 10 |
| MCP | POST /api/mcp | 23 tools over Streamable HTTP | same as the API behind each tool |
Full parameters and response shapes: docs.
How charging works
- Data APIs charge only for a successful
200. Any error is refunded. - Website API charges when the page answers (2xx/3xx, or a real 400/404 from the site, reported as
fault: "user"). Timeouts, other 4xx such as 403 and 429, 5xx and errors on our side are refunded (credits_used: 0). - Requests rejected before they run (missing parameter, bad key, concurrency limit) cost nothing.
Limits
Limits are on requests in flight at once, not per minute. The free plan allows 1 concurrent request; paid plans allow 10 to 200. Going over returns 429 right away (free); retry with a short, growing delay. Timeouts: 45 s for scraping and Instagram, 30 s for TikTok and Amazon, 15 s for Google.
| Status | Meaning | Charged |
|---|---|---|
| 400 | Missing or invalid parameter, unsupported endpoint | No (except a target page's own 400 on the Website API) |
| 401 | Missing or invalid API key | No |
| 402 | Not enough credits; the message says how many are needed | No |
| 404 | Website API: the page doesn't exist. Data APIs: profile, post or product not found | Website API only |
| 408 | Timed out | No |
| 429 | Concurrency limit reached | No |
| 5xx | The site or a data source failed | No |
MCP server for AI agents
Hosted at `https://scrapingbot.io/api/mcp` (Streamable HTTP, stateless). Nothing to install. Authenticate with your API key in the x-api-key header, or Authorization: Bearer.
Claude Code
claude mcp add --transport http scrapingbot https://scrapingbot.io/api/mcp \
--header "x-api-key: YOUR_API_KEY"
Add --scope user to use it in every project. Type /mcp in a session to see the tools.
Claude Desktop (and Claude on the web)
Open Settings → Connectors → Add custom connector, name it ScrapingBot, and paste:
https://scrapingbot.io/api/mcp?api_key=YOUR_API_KEY
Then turn it on from the tools menu in a chat. Connectors take a URL only, so the key goes in the URL: keep that URL private, like a password.
Cursor
~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": { "scrapingbot": { "url": "https://scrapingbot.io/api/mcp", "headers": { "x-api-key": "YOUR_API_KEY" } } } }
VS Code
.vscode/mcp.json in your project, then pick the ScrapingBot tools in Copilot's agent mode:
{
"servers": { "scrapingbot": { "type": "http", "url": "https://scrapingbot.io/api/mcp", "headers": { "x-api-key": "YOUR_API_KEY" } } } }
Any other MCP client
URL https://scrapingbot.io/api/mcp, header x-api-key: YOUR_API_KEY (or Authorization: Bearer YOUR_API_KEY). If the client only takes a URL, append ?api_key=YOUR_API_KEY. When calling it by hand, send Accept: application/json, text/event-stream.
Tools
| Area | Tools | Credits |
|---|---|---|
| Any website | scrapeWebsite (markdown or HTML, optional screenshot), extractStructuredData (AI fields as JSON), runBrowserScenario (click, fill, scroll, wait) | 1 / 5 rendered; +5 for AI |
googleSearch (web, images, videos, news, shopping, places, maps), googleReviews | 10 | |
instagramUser, instagramSearch, instagramMedia, instagramFollowers | 5 | |
| TikTok | tiktokVideo, tiktokUser, tiktokSearch, tiktokComments, tiktokFollowers | 1 |
| Amazon | amazonSearch, amazonProduct, amazonProducts, amazonSuggestions, amazonRankings | 10 |
| Utility | listCapabilities, getScrapeJob, pollJobUntilDone (free), providerRequest (any endpoint above) |
Tool calls are ordinary API requests: same credits, same concurrency slots, same refunds.
Agent Skills
skills/ holds Agent Skills that teach an agent to call the REST API directly with SCRAPINGBOT_API_KEY: which endpoint for which task, the parameters, the response fields worth reading, error handling and costs.
| Skill | Use it for |
|---|---|
web-scraping | Fetching any page, rendering JavaScript, browser actions, screenshots, AI extraction |
google-search | Google web, images, videos, news, shopping, places, maps and reviews |
tiktok-data | Public TikTok videos, profiles, posts, sounds, comments and search |
instagram-data | Public Instagram profiles, posts, reels, comments and search |
amazon-products | Amazon search, product details, batches, rankings, suggestions and deals |
Claude Code: copy a folder into ~/.claude/skills/ (or .claude/skills/ in a project). Set SCRAPINGBOT_API_KEY in the environment the agent runs in.
Examples
Small, runnable scripts in examples/, each in curl, Python (requests) and Node (built-in fetch, Node 18+):
| Task | curl | Python | Node |
|---|---|---|---|
| Scrape a page | scrape.sh | scrape.py | scrape.mjs |
| Extract fields with AI | extract.sh | extract.py | extract.mjs |
| Google search | google_search.sh | google_search.py | google_search.mjs |
| TikTok profile and latest videos | tiktok_user.sh | tiktok_user.py | tiktok_user.mjs |
| Instagram profile and posts | instagram_user.sh | instagram_user.py | instagram_user.mjs |
| Amazon search and product details | amazon_product.sh | amazon_product.py | amazon_product.mjs |
Python needs pip install requests; the curl scripts that build JSON use jq. Each language folder has a tiny shared client (scrapingbot.py, scrapingbot.mjs) that retries refunded failures (408, 429, 5xx) with backoff.
export SCRAPINGBOT_API_KEY="YOUR_API_KEY"
sh examples/curl/scrape.sh https://example.com python examples/python/google_search.py "best espresso machine" node examples/node/tiktok_user.mjs tiktok
Pricing
Free: 100 credits on sign-up, 1 concurrent request. Paid plans start at $49.99/month for 275,000 credits and 10 concurrent requests. See pricing.
Responsible use
ScrapingBot returns publicly available data. Respect each site's terms and applicable law, and handle any personal data you collect accordingly.
License
The examples and skills in this repository are MIT licensed. See LICENSE. Use of the ScrapingBot API is subject to the terms at scrapingbot.io.