ScrapingBot
ภาพรวม
คำอธิบายจากผู้ทำ (ภาษาอังกฤษตามต้นฉบับ)
Public web data for AI agents: scrape any page, plus Google, TikTok, Instagram and Amazon as JSON.
สามเสาของ PopNx MCP
สามเรื่องนี้ไม่รวมเป็นคะแนนเดียว เพราะความเห็น การวัด และความนิยม เป็นคนละเรื่องกัน
- เสียงผู้ใช้iยังไม่มีรีวิวรีวิวเปิดพร้อมระบบบัญชีในขั้นถัดไป
- ผลตรวจเบื้องต้นของเราiผ่าน 3 จาก 3 ข้อตรวจจากข้อมูลที่เปิดอยู่ ยังไม่ได้สแกนโค้ด
- การใช้งานiยังใหม่มาก★ –
ใช้ทำอะไรได้
ตัวนี้ยังไม่ได้เรียบเรียงเป็นภาษาไทย ด้านล่างคือข้อเท็จจริงที่เราอ่านจาก registry
- การเชื่อมต่อ: รันบนคลาวด์
- ช่องทาง (transport): Streamable HTTP
- หมวด: การตลาดและโซเชียล
- ต้องใส่ค่าเหล่านี้: x-api-key
ติดตั้ง
เลือกโปรแกรม AI ที่คุณใช้ แล้วคัดลอกค่าตั้งไปวาง
ก่อนติดตั้ง
- ผลตรวจเบื้องต้น: ผ่าน 3 จาก 3 ข้อ
- รันบนเครื่องของผู้ทำ สิ่งที่คุณถามจะผ่านเครื่องของเขา
- ทำได้ 23 อย่าง (เครื่องมือ) listCapabilities, scrapeWebsite, extractStructuredData, getScrapeJob …
- ค่าที่คุณต้องใส่เอง:
x-api-key
ค่าที่ติดป้ายความลับคือกุญแจของบัญชีคุณ อย่าส่งให้ใคร และอย่าวางในแชต
ต้องเตรียมก่อน
- รันบนคลาวด์ไม่ต้องลงโปรแกรมเพิ่ม ต่อผ่านอินเทอร์เน็ตได้เลย
คุณใช้แอปไหน
เลือกแอปด้านบน เราจำไว้ให้ ครั้งหน้าปุ่มจะขึ้นว่า “ติดตั้งลง …”
ที่อยู่นี้ต้องใส่ key ใน header ของคำขอ ซึ่งเมนูเพิ่ม connector ใส่ให้ไม่ได้ ใช้ Claude Code, Cursor หรือ VS Code แทน
พิมพ์คำสั่งนี้ใน Terminal
claude mcp add --transport http scrapingbot https://scrapingbot.io/api/mcp --header 'x-api-key: ใส่ค่าของคุณ'เติมค่าที่เว้นว่างไว้ก่อนรัน
หรือคัดลอกค่าตั้งเอง
วางในไฟล์ .cursor/mcp.json ของโปรเจกต์ หรือ ~/.cursor/mcp.json
{
"mcpServers": {
"scrapingbot": {
"url": "https://scrapingbot.io/api/mcp",
"headers": {
"x-api-key": "ใส่ค่าของคุณ"
}
}
}
}เบราว์เซอร์จะถามก่อนเปิดแอป จากนั้นแอปแสดงค่าตั้งให้ตรวจแล้วกดยืนยัน ช่อง key เว้นว่างไว้ให้คุณใส่เอง
หรือคัดลอกค่าตั้งเอง
วางในไฟล์ .vscode/mcp.json ของโปรเจกต์
{
"servers": {
"scrapingbot": {
"type": "http",
"url": "https://scrapingbot.io/api/mcp",
"headers": {
"x-api-key": "ใส่ค่าของคุณ"
}
}
}
}เบราว์เซอร์จะถามก่อนเปิดแอป จากนั้นแอปแสดงค่าตั้งให้ตรวจแล้วกดยืนยัน ช่อง key เว้นว่างไว้ให้คุณใส่เอง
ที่อยู่นี้ต้องใส่ key ใน header ของคำขอ ซึ่งเมนูเพิ่ม connector ใส่ให้ไม่ได้ ใช้ Claude Code, Cursor หรือ VS Code แทน
ตัวเลือกเก็บในคุกกี้บนเครื่องนี้ ไม่ต้องมีบัญชี
ค่าที่ต้องใส่เอง
x-api-keyความลับ จำเป็น HTTP headerYour ScrapingBot API key, from https://scrapingbot.io/dashboard/api-keys (100 free credits on sign-up).
ค่าตั้งนี้สร้างจากข้อมูลใน registry ของผู้ทำ ถ้าไม่ตรงกับ README ให้เชื่อ README
ทำอะไรได้บ้าง
ชื่อและคำอธิบายเครื่องมือตามที่ server ตอบมาเมื่อ 8 พ.ย. 2569 ผู้ทำเป็นคนเขียน ไม่ใช่เรา แสดงเป็นข้อความล้วน
listCapabilitiesList every ScrapingBot tool, the API routes behind them and their parameters. Free.
scrapeWebsiteFetch any public web page and return its content as markdown (format: "html" for the raw HTML). 1 credit; render_js (pages built with JavaScript) 5; premium_proxy 10; stealth_proxy 75. screenshot: true attaches a screenshot image.
extractStructuredDataFetch a web page and have AI pull out exactly the fields you want, as JSON. Pass ai_query (plain English, e.g. "title, price and stock") or ai_schema ({"field": "description"}). The page cost plus 5 credits.
getScrapeJobLook up an earlier scrape by the job_id it returned. Free.
pollJobUntilDoneWait for a scrape job to finish, then return it. Free.
runBrowserScenarioOpen a page in a real browser, run steps such as click, fill, scroll and wait, then return the resulting page as markdown. js_scenario: {"instructions": [{"fill": ["#q", "shoes"]}, {"click": "#go"}, {"wait": 1000}]}. From 5 credits.
googleSearchGoogle results as JSON: web (default), images, videos, news, shopping, places or maps (type), for any country (gl) and language (hl). Places and maps results include a cid for googleReviews. 10 credits.
googleReviewsReviews of a place from Google Maps, by the cid, fid or placeId in a googleSearch places or maps result. sortBy newest, mostRelevant, highestRating or lowestRating; pass nextPageToken for more. 10 credits.
instagramUserAn Instagram profile: bio, follower, following and post counts, links and the numeric user id other tools need. Pass one of username, user_id or url. 5 credits.
instagramSearchSearch Instagram accounts, hashtags, places or posts (search_type), or everything at once (global). 5 credits.
instagramMediaInstagram content by mode: an account's posts, reels or tagged posts (user_id), one post by shortcode or url, a post's comments, the replies to a comment (comment_id), or an account's active stories (username). 5 credits.
instagramFollowersList or search an Instagram account's followers or following, by numeric user_id from instagramUser. query searches the whole list; max_id pages. For very large accounts Instagram shows only about 50 recent followers, so use query to find someone. 5 credits.
tiktokVideoA TikTok video's stats, caption, author, sound and download links, by video URL. 1 credit.
tiktokUserA TikTok profile by username: bio, counts, verified badge and numeric user id; include_posts returns the latest videos instead. 1 credit.
tiktokSearchSearch TikTok creators (search_type: users) or videos (videos) by keyword. Videos page: for page 2 onward pass the previous response's data.cursor as cursor and its data.searchId as search_id. Users search returns a single page and ignores cursor. 1 credit.
tiktokCommentsComments on a TikTok video (url), or the replies to one comment (comment_id plus the video url or video_id). 1 credit.
tiktokFollowersA TikTok account's followers or the accounts it follows, by numeric user_id (data.user.id from tiktokUser). Up to 50. 1 credit.
amazonSearchSearch Amazon US products by keyword: title, price, rating, Prime and photo for each. page for more. 10 credits.
amazonProductEverything on an Amazon product page by ASIN: price, rating, availability, bullet points, specifications, photos and variations. 10 credits.
amazonProductsFull details for up to 20 ASINs in one call, the same as amazonProduct for each. 10 credits per product returned; ASINs that fail are free.
amazonSuggestionsThe suggestions Amazon shows as a shopper types: useful for keyword research. 10 credits.
amazonRankingsAmazon's Best Sellers or New Releases for a department, in rank order, with price and rating. 10 credits.
providerRequestCall any Google, Instagram, TikTok or Amazon endpoint by path, for the few the other tools do not cover (listCapabilities lists them). Costs the same as that API.
ผลตรวจเบื้องต้นi
เราตรวจจากข้อมูลที่ใครก็เปิดดูได้ ยังไม่ได้อ่านโค้ด ข้อที่ไม่เกี่ยวกับตัวนี้ไม่นับในตัวหาร · ตรวจเมื่อ 9 พ.ย. 2569
- ✓ ผ่าน
ตัวตนผู้ทำตรงกับ repo
ชื่อใน registry ยืนยันโดเมน scrapingbot.io แล้ว (registry ตรวจความเป็นเจ้าของโดเมน)
- … ยังไม่ตรวจ
ยังมีคนดูแล
ยังไม่ได้อ่านข้อมูล repo จาก GitHub
- … ยังไม่ตรวจ
มีสัญญาอนุญาต (license)
ยังไม่ได้อ่านข้อมูล repo จาก GitHub
- ✓ ผ่าน
endpoint ตอบ
ตอบกลับใน 591 ms (HTTP 200)
- – ไม่เกี่ยว
ล็อกอินแบบ OAuth
ไม่ต้องล็อกอิน
- ✓ ผ่าน
คำอธิบายเครื่องมือไม่มีคำสั่งแอบแฝง
อ่านคำอธิบายเครื่องมือ 23 ตัวแล้ว ไม่พบคำสั่งแอบแฝงถึง AI
เทียบกับตัวอื่นในหมวด การตลาดและโซเชียลi
- ดาวมากกว่า 0% ของอีก 3623 ตัวในหมวดนี้
- ส่งรุ่นใหม่เข้า registry ล่าสุดกว่า 45% ของอีก 3623 ตัวในหมวดนี้
- ผลตรวจเบื้องต้นดีกว่าหรือเท่ากับ 100% ของอีก 3623 ตัวในหมวดนี้
เทียบกับทุก server ที่ยังใช้งานในหมวดนี้ทั้งทะเบียน ดาวนับเฉพาะเมื่อผู้ลงทะเบียนเป็นเจ้าของ repo
คำถามที่พบบ่อย
ScrapingBot ปลอดภัยไหม?
จากการตรวจเบื้องต้นของเรา ผ่าน 3 จาก 3 ข้อที่ตรวจได้ เรายังไม่ได้อ่านโค้ด ก่อนใส่กุญแจหรือ token ให้ดูว่า server ขอสิทธิ์อะไร และเลือกกุญแจที่ทำได้เท่าที่จำเป็น
ต้องใช้กุญแจหรือรหัสอะไรบ้าง?
ต้องใส่ค่าเหล่านี้: x-api-key
ตัวนี้รันบนเครื่องหรือบนคลาวด์?
รันบนคลาวด์ของผู้ทำ ต่อผ่านอินเทอร์เน็ตได้เลย ไม่ต้องลงโปรแกรม แต่ข้อมูลที่ส่งให้จะผ่านเซิร์ฟเวอร์ของผู้ทำ
ยังมีคนดูแลอยู่ไหม?
repo บน GitHub มีการแก้โค้ดล่าสุด – และส่งรุ่นล่าสุด (1.0.0) เข้า registry 36 วันที่ผ่านมา
ใช้กับโปรแกรมไหนได้บ้าง?
โปรแกรมที่รองรับ MCP เช่น Claude Desktop, Claude Code, Cursor และ VS Code ตัวนี้ต่อผ่าน URL จึงใช้กับโปรแกรมที่รับ remote MCP ได้ เช่น ChatGPT ที่เปิดโหมดนักพัฒนา
มีตัวไหนใช้แทนได้บ้าง?
ในหมวดเดียวกันมี MCP YouTube Transcript, Google Analytics MCP, BibiGPT YouTube Video Summarizer
ตัวที่ใช้แทนได้
server หมวดเดียวกันจากผู้ทำคนอื่น เรียงตามดาว
อ่านการ์ด:↓ ดาวน์โหลดต่อสัปดาห์i★ ดาว GitHubiสามเสา: รีวิว · ผลตรวจ · การใช้งานiอัปเดต = วันที่ส่งรุ่นล่าสุดเข้า registryi
Google Analytics MCP
GA4 MCP server for AI agents: schema discovery, server-side aggregation, analysis-ready defaults.
BibiGPT YouTube Video Summarizer
AI video summarizer: summarize and transcribe YouTube, Bilibili, TikTok and podcast videos.
README จากผู้ทำ
เปิดอ่าน README
ส่วนนี้คัดจาก repo ของผู้ทำตามต้นฉบับ PopNx MCP ไม่ได้ตรวจหรือรับรองเนื้อหา ตัด HTML รูปภาพ และสคริปต์ออกแล้ว ลิงก์จะพาออกนอกเว็บ
ScrapingBot
One API key for public web data: scrape any page (plain or JavaScript-rendered), pull fields out with AI, and get public TikTok, Instagram, Google and Amazon data as JSON. A hosted MCP server gives AI agents the same data as tools.
100 free credits when you sign up. No credit card. Get your API key
Docs · Pricing · MCP server · Examples · Agent Skills
Quickstart
export SCRAPINGBOT_API_KEY="YOUR_API_KEY"
curl "https://scrapingbot.io/api/v1/scrape?url=https://example.com" \ -H "x-api-key: $SCRAPINGBOT_API_KEY"
{
"success": true, "url": "https://example.com", "html": "<!doctype html> …", "status": 200, "duration": "0.79", "credits_used": 1, "job_id": "…" }
That call cost 1 credit. Failed requests are refunded automatically.
Base URL: https://scrapingbot.io/api/v1 Auth: x-api-key: YOUR_API_KEY header (or Authorization: Bearer YOUR_API_KEY). Keep the key on the server.
Endpoints
The data APIs (TikTok, Instagram, Google, Amazon) are all POST with a JSON body naming the endpoint and its params:
curl -X POST "https://scrapingbot.io/api/v1/tiktok" \
-H "x-api-key: $SCRAPINGBOT_API_KEY" \ -H "Content-Type: application/json" \ -d '{"endpoint": "/user/info", "params": {"unique_id": "tiktok"}}'
| API | Route | endpoint values | Credits |
|---|---|---|---|
| Website | GET or POST /api/v1/scrape | one route; options: render_js, screenshot, js_scenario, wait_for, premium_proxy, stealth_proxy, … | 1 plain · 5 rendered · 10 premium proxy · 75 stealth proxy |
| AI extraction | /api/v1/scrape + ai_query or ai_schema | returns ai_result JSON | +5 on top of the page |
| Job lookup | GET /api/v1/job/:job_id | re-fetch a scrape result (kept 24 hours) | free |
| TikTok | POST /api/v1/tiktok | / (video), /user/info, /user/posts, /user/followers, /user/following, /user/search, /feed/search, /music/info, /music/posts, /comment/list, /comment/reply | 1 |
POST /api/v1/instagram | /user/by_username, /user/by_id, /medias/by_user_id, /reels/by_user_id, /medias/tagged_by_user_id, /stories/by_username, /followers/by_user_id, /following/by_user_id, /media/by_shortcode, /media/by_url, /comments/media_comments_by_id, /comments/replies, /search/users_by_keyword, /search/hashtags_by_keyword, /search/places_by_keyword, /search/global, /search/posts, /media/shortcode_to_id, /media/id_to_shortcode | 5 | |
POST /api/v1/google | /search, /images, /videos, /news, /shopping, /places, /maps, /reviews | 10 | |
| Amazon | POST /api/v1/amazon | /search, /product-details, /products (up to 20 ASINs), /autocomplete, /best-sellers, /new-releases, /product-category-list, /deals-v2, /seller-profile, /seller-products | 10 (/products: 10 per product returned) |
| ChatGPT | POST /api/v1/chatgpt | body {"prompt": "…"} | 10 |
| MCP | POST /api/mcp | 23 tools over Streamable HTTP | same as the API behind each tool |
Full parameters and response shapes: docs.
How charging works
- Data APIs charge only for a successful
200. Any error is refunded. - Website API charges when the page answers (2xx/3xx, or a real 400/404 from the site, reported as
fault: "user"). Timeouts, other 4xx such as 403 and 429, 5xx and errors on our side are refunded (credits_used: 0). - Requests rejected before they run (missing parameter, bad key, concurrency limit) cost nothing.
Limits
Limits are on requests in flight at once, not per minute. The free plan allows 1 concurrent request; paid plans allow 10 to 200. Going over returns 429 right away (free); retry with a short, growing delay. Timeouts: 45 s for scraping and Instagram, 30 s for TikTok and Amazon, 15 s for Google.
| Status | Meaning | Charged |
|---|---|---|
| 400 | Missing or invalid parameter, unsupported endpoint | No (except a target page's own 400 on the Website API) |
| 401 | Missing or invalid API key | No |
| 402 | Not enough credits; the message says how many are needed | No |
| 404 | Website API: the page doesn't exist. Data APIs: profile, post or product not found | Website API only |
| 408 | Timed out | No |
| 429 | Concurrency limit reached | No |
| 5xx | The site or a data source failed | No |
MCP server for AI agents
Hosted at `https://scrapingbot.io/api/mcp` (Streamable HTTP, stateless). Nothing to install. Authenticate with your API key in the x-api-key header, or Authorization: Bearer.
Claude Code
claude mcp add --transport http scrapingbot https://scrapingbot.io/api/mcp \
--header "x-api-key: YOUR_API_KEY"
Add --scope user to use it in every project. Type /mcp in a session to see the tools.
Claude Desktop (and Claude on the web)
Open Settings → Connectors → Add custom connector, name it ScrapingBot, and paste:
https://scrapingbot.io/api/mcp?api_key=YOUR_API_KEY
Then turn it on from the tools menu in a chat. Connectors take a URL only, so the key goes in the URL: keep that URL private, like a password.
Cursor
~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": { "scrapingbot": { "url": "https://scrapingbot.io/api/mcp", "headers": { "x-api-key": "YOUR_API_KEY" } } } }
VS Code
.vscode/mcp.json in your project, then pick the ScrapingBot tools in Copilot's agent mode:
{
"servers": { "scrapingbot": { "type": "http", "url": "https://scrapingbot.io/api/mcp", "headers": { "x-api-key": "YOUR_API_KEY" } } } }
Any other MCP client
URL https://scrapingbot.io/api/mcp, header x-api-key: YOUR_API_KEY (or Authorization: Bearer YOUR_API_KEY). If the client only takes a URL, append ?api_key=YOUR_API_KEY. When calling it by hand, send Accept: application/json, text/event-stream.
Tools
| Area | Tools | Credits |
|---|---|---|
| Any website | scrapeWebsite (markdown or HTML, optional screenshot), extractStructuredData (AI fields as JSON), runBrowserScenario (click, fill, scroll, wait) | 1 / 5 rendered; +5 for AI |
googleSearch (web, images, videos, news, shopping, places, maps), googleReviews | 10 | |
instagramUser, instagramSearch, instagramMedia, instagramFollowers | 5 | |
| TikTok | tiktokVideo, tiktokUser, tiktokSearch, tiktokComments, tiktokFollowers | 1 |
| Amazon | amazonSearch, amazonProduct, amazonProducts, amazonSuggestions, amazonRankings | 10 |
| Utility | listCapabilities, getScrapeJob, pollJobUntilDone (free), providerRequest (any endpoint above) |
Tool calls are ordinary API requests: same credits, same concurrency slots, same refunds.
Agent Skills
skills/ holds Agent Skills that teach an agent to call the REST API directly with SCRAPINGBOT_API_KEY: which endpoint for which task, the parameters, the response fields worth reading, error handling and costs.
| Skill | Use it for |
|---|---|
web-scraping | Fetching any page, rendering JavaScript, browser actions, screenshots, AI extraction |
google-search | Google web, images, videos, news, shopping, places, maps and reviews |
tiktok-data | Public TikTok videos, profiles, posts, sounds, comments and search |
instagram-data | Public Instagram profiles, posts, reels, comments and search |
amazon-products | Amazon search, product details, batches, rankings, suggestions and deals |
Claude Code: copy a folder into ~/.claude/skills/ (or .claude/skills/ in a project). Set SCRAPINGBOT_API_KEY in the environment the agent runs in.
Examples
Small, runnable scripts in examples/, each in curl, Python (requests) and Node (built-in fetch, Node 18+):
| Task | curl | Python | Node |
|---|---|---|---|
| Scrape a page | scrape.sh | scrape.py | scrape.mjs |
| Extract fields with AI | extract.sh | extract.py | extract.mjs |
| Google search | google_search.sh | google_search.py | google_search.mjs |
| TikTok profile and latest videos | tiktok_user.sh | tiktok_user.py | tiktok_user.mjs |
| Instagram profile and posts | instagram_user.sh | instagram_user.py | instagram_user.mjs |
| Amazon search and product details | amazon_product.sh | amazon_product.py | amazon_product.mjs |
Python needs pip install requests; the curl scripts that build JSON use jq. Each language folder has a tiny shared client (scrapingbot.py, scrapingbot.mjs) that retries refunded failures (408, 429, 5xx) with backoff.
export SCRAPINGBOT_API_KEY="YOUR_API_KEY"
sh examples/curl/scrape.sh https://example.com python examples/python/google_search.py "best espresso machine" node examples/node/tiktok_user.mjs tiktok
Pricing
Free: 100 credits on sign-up, 1 concurrent request. Paid plans start at $49.99/month for 275,000 credits and 10 concurrent requests. See pricing.
Responsible use
ScrapingBot returns publicly available data. Respect each site's terms and applicable law, and handle any personal data you collect accordingly.
License
The examples and skills in this repository are MIT licensed. See LICENSE. Use of the ScrapingBot API is subject to the terms at scrapingbot.io.