プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説

scrapewright

作者:Ozymandias-Owens-2バージョン 1.0.3i★ 1iパソコンでもクラウドでも公式サイト ↗
レジストリ名io.github.Ozymandias-Owens-2/scrapewright

インストール方法

What it does

Give it a URL, get structured rows. A model writes the parser once; replays are free.

  • Connects パソコンでもクラウドでも
  • Account or key Cloud: Needs X-API-Key · Local: Needs ANTHROPIC_API_KEY
  • Category その他

この順位の理由

一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり

人気4/80GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます
新しさ12/1230 日以内のリリースかコード更新で満点
応答中8/8前回の確認でクラウドのエンドポイントが応答
利用スコア24/100

品質: 基本チェック 5/5 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)

インストール

使っているAIアプリを選んで、設定をコピーしてください。

ひとことで AI にインストールしてもらう

scrapewright をインストールして。https://mcp.popnx.com/i/ozymandias-owens-2-scrapewright.md に従い、コマンドを見せて、私が OK するまで実行しないで。

パソコンで作業できる AI(Claude Code や Cursor など)に貼り付けます。手順を読み、コマンドを見せて、あなたの OK を待ちます。キー不要・登録不要。 · AI が読む全文を見る

チェック 5/5 合格 · 質問内容は提供元のサーバー(scrapewright.app)を通ります · ✓ コマンド確認済み 2026年11月14日

まず:どの AI を使っていますか?

使っているアプリを選ぶと、下に手順が表示されます。

Claude につなげます · 約 5 分

scrapewright のキーが必要です(提供元のサイトで作成) · claude.ai かデスクトップアプリで一度設定すれば、チャットで使えます · 無料アカウントは 1 つまで · Team/Enterprise はオーナー(Owner)が追加

  1. scrapewright に登録してキーを作る

    提供元のサイトで登録し、次の手順で使う API キーを作ります。料金や無料プランは提供元のサイトで確認してください。

    scrapewright のサイトを開く ↗

  2. Claude の Connectors ページを開く

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  3. 「Add」→「Custom」→「Web」を押し、この 2 つを入力

    ここからコピーして Claude の同じ名前の欄に貼り付け、Continue を押します

    Name · 名前scrapewright
    Remote MCP server URL · アドレスhttps://scrapewright.app/mcp

    Request headers に、この名前と値を追加

    ヘッダー名X-API-Key
    値<ここにキーを貼り付け>

    キーはアプリの入力欄にだけ貼り付け、チャットに貼ったり人に送ったりしないでください

    Claude が検出したサインイン設定の画面で Continue を押す · Authentication は作者の説明どおり(Sign in now・Sign in when needed・No sign in)を選び Add を押します

  4. チャットで有効にする

    +Connectorsscrapewright

  5. 試してみる

    scrapewright を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude が scrapewright を使っていると言うか、回答に scrapewright のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

ChatGPT はまだ scrapewright につなげません

scrapewright は接続時に自分のキーが必要ですが、OpenAI のヘルプページは OAuth ログインしか説明しておらず、確認できたキー入力方法がありません

代わりにできること

A · scrapewright につなげるアプリを使う

  • scrapewright のキーが必要です(提供元のサイトで作成) · claude.ai かデスクトップアプリで一度設定すれば、チャットで使えます · 無料アカウントは 1 つまで · Team/Enterprise はオーナー(Owner)が追加
  • scrapewright のキーが必要です(提供元のサイトで作成)
  • scrapewright のキーが必要です(提供元のサイトで作成)
  • scrapewright のキーが必要です(提供元のサイトで作成)

B · その他 の中で ChatGPT につなげる別のサーバー

同じカテゴリでよく使われているものから、キーなしでアドレスだけでつなげるものを選びました

Claude Code につなげます · 約 5 分

scrapewright のキーが必要です(提供元のサイトで作成)

  1. scrapewright に登録してキーを作る

    提供元のサイトで登録し、次の手順で使う API キーを作ります。料金や無料プランは提供元のサイトで確認してください。

    scrapewright のサイトを開く ↗

  2. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く

  3. このコマンドを貼り付けて Enter

    claude mcp add --transport http --scope user scrapewright https://scrapewright.app/mcp --header 'X-API-Key: your-value'

    Enter の前に「your-value」を自分のキーに書き換えてください

    キーはアプリの入力欄にだけ貼り付け、チャットに貼ったり人に送ったりしないでください

  4. Claude Code で /mcp と入力

    scrapewright が一覧にあり、接続済みと表示されれば OK です

  5. 試してみる

    scrapewright を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude Code が scrapewright を使っていると言うか、回答に scrapewright のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Cursor につなげます · 約 5 分

scrapewright のキーが必要です(提供元のサイトで作成)

  1. scrapewright に登録してキーを作る

    提供元のサイトで登録し、次の手順で使う API キーを作ります。料金や無料プランは提供元のサイトで確認してください。

    scrapewright のサイトを開く ↗

  2. このボタンで Cursor を開く

    Cursor で開く

    Cursor がインストールの確認をするので Install を押します

  3. キーを入力

    scrapewright の設定で X-API-Key が空です。自分のキーを入れて保存します

    キーはアプリの入力欄にだけ貼り付け、チャットに貼ったり人に送ったりしないでください

  4. Cursor の AI チャットを Agent モードで開く

  5. 試してみる

    scrapewright を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Cursor が scrapewright を使っていると言うか、回答に scrapewright のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

VS Code につなげます · 約 5 分

scrapewright のキーが必要です(提供元のサイトで作成)

  1. scrapewright に登録してキーを作る

    提供元のサイトで登録し、次の手順で使う API キーを作ります。料金や無料プランは提供元のサイトで確認してください。

    scrapewright のサイトを開く ↗

  2. このボタンで VS Code を開く

    VS Code で開く

    VS Code がインストールの確認をするので Install を押します

  3. キーを入力

    scrapewright の設定で X-API-Key が空です。自分のキーを入れて保存します

    キーはアプリの入力欄にだけ貼り付け、チャットに貼ったり人に送ったりしないでください

  4. VS Code の AI チャットを Agent モードで開く

  5. 試してみる

    scrapewright を使って、私に何ができるか教えて、1 つやってみせて

    ✓ VS Code が scrapewright を使っていると言うか、回答に scrapewright のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください

MCP を使えるアプリをすべて見る →

Web 経由でつなぐアプリ用のアドレス

アドレスhttps://scrapewright.app/mcp

JSON 設定は下の「開発者向け」にあります

つまずいたら?scrapewright を使っている人に聞いてみましょう💬 ディスカッション →
開発者向け:ターミナルのコマンドと JSON 設定

Web 経由

Claude Code

claude mcp add --transport http --scope user scrapewright https://scrapewright.app/mcp --header 'X-API-Key: your-value'

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scrapewright": {
      "url": "https://scrapewright.app/mcp",
      "headers": {
        "X-API-Key": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scrapewright": {
      "type": "http",
      "url": "https://scrapewright.app/mcp",
      "headers": {
        "X-API-Key": "your-value"
      }
    }
  }
}

パソコンにインストール

Claude Code

claude mcp add --scope user scrapewright --env ANTHROPIC_API_KEY=your-value -- uvx scrapewright mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "scrapewright": {
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scrapewright": {
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scrapewright": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

自分で入力する値

  • ANTHROPIC_API_KEY 秘密 必須 env
    既知のプラットフォームを使用していないサイトでのみ必要で、レシピを一度作成する必要があります。Shopify や WooCommerce のストアはこれなしで動作します。
    英語の原文を見るOnly needed for sites on no known platform, where a recipe has to be written once. Shopify and WooCommerce stores work without it.
  • SCRAPEWRIGHT_CACHE env
    コンパイル済みのレシピを保存する場所です。永続ストレージを指定してください。そうしないと、再起動のたびにサイトの解析をやり直すことになります。既定値は /.scrapewright/recipes.json です。
    英語の原文を見るWhere compiled recipes are kept. Point it at durable storage, or every restart pays to work the same sites out again. Defaults to ~/.scrapewright/recipes.json
  • SCRAPEWRIGHT_OBEY_ROBOTS env
    0 に設定すると robots.txt を無視します。所有している、または書面による許可を得たサイトにのみ適切です。既定では遵守します。
    英語の原文を見るSet to 0 to ignore robots.txt. Only reasonable on sites you own or have written permission for; the default is to obey.
  • X-API-Key 秘密 必須 HTTP header
    scrapewright の API キー。https://scrapewright.app で無料で取得でき、月 1,000 行まで、クレジットカード不要です。
    英語の原文を見るYour scrapewright API key. Free at https://scrapewright.app — 1,000 rows a month, no card.

説明は自動翻訳です。変数名は原文のままです。迷ったら原文を確認してください。

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

ひと目でわかる

週あたりのダウンロードi
44/週
接続方法
パソコンでもクラウドでも
最新バージョンi
1.0.3
カテゴリi
その他
レジストリ公開日i
2026年9月30日
コードの最終更新i
2026年11月3日
最終確認
2026年11月13日
作者
Ozymandias-Owens-2
パッケージ
pypi: scrapewright
ウェブサイト
scrapewright.app
レジストリでの状態
有効

使えるアプリ

このサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。

インターネット経由でつなげるアプリ

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

パソコン上で動かせるアプリ

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

すべてのアプリと長所・短所 →

できること

ツールの名前と説明は、サーバーが2026年11月13日に返したそのままの内容です。書いたのは作者で、私たちではありません。プレーンテキストとして表示しています。

  • detect_site

    Report what platform a site runs on and which strategy to use. Cheap; call it before a large job.

  • extract_page

    Extract structured data from ONE page. ``fields`` declares your own schema, e.g. ["title", "salary:number", "tags:list"]; omit it for the product schema. First call on a new site compiles a recipe (300 credits); later calls replay it for 1 credit per row. A site nobody could read

  • crawl_site

    Walk a site and extract every item. Waits up to four minutes; a longer crawl returns a job_id to pass to crawl_status. `mode` picks how the items are found. "rows" (the default) reads every card on the listing itself and follows its pagination -- right for search results, categor

  • crawl_status

    Fetch a crawl that outlived its call.

  • account

    Credits left and this month's usage for the key in use.

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月19日にチェック

  • ✓ 合格

    作者とリポジトリが一致

    レジストリ名は、リポジトリを所有するGitHubアカウント Ozymandias-Owens-2 で確認済みです

  • ✓ 合格

    今もメンテナンスされている

    コードの最終更新:16 日前

  • ✓ 合格

    ライセンスがある

    MITを使用

  • ✓ 合格

    エンドポイントが応答する

    92ミリ秒で応答(HTTP 200)

  • – 対象外

    OAuthでサインイン

    サインイン不要

  • ✓ 合格

    ツールの説明に隠れた指示がない

    5件のツールの説明を読み、AIへの隠れた指示は見つかりませんでした

公開済みの脆弱性(OSV.dev)

OSV.dev に scrapewright@1.0.3 の登録はありません

このバージョンのパッケージ本体のみ確認。すべての依存関係ではありません · 確認日 2026年11月15日

確認していること → · JSON

作者の方へ:再確認の依頼・情報の誤りの報告
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/ozymandias-owens-2-scrapewright.svg)](https://mcp.popnx.com/en/servers/ozymandias-owens-2-scrapewright)

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

ユーザーレビュー

まだレビューはありません

ログインしてレビューを書く

その他のほかのサーバーとの比較i

  • このカテゴリのほかの20693件のうち86%よりスターが多い
  • このカテゴリのほかの20693件のうち46%より最近レジストリに公開
  • 基本チェックの結果が、このカテゴリのほかの20693件のうち99%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

scrapewrightは安全ですか?

当てはまる基本チェック5項目のうち5項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか?

入力が必要なもの:X-API-Key, ANTHROPIC_API_KEY

パソコンで動きますか、それともクラウドですか?

どちらでも使えます。パソコンにインストールしても、クラウド版につないでもかまいません。

今もメンテナンスされていますか?

GitHubリポジトリの最終更新は16 日前、最新バージョン(1.0.3)がレジストリに届いたのは2 か月前です。

どのアプリで使えますか?

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。URL で接続するので、リモート MCP を受け付けるアプリでも使えます。例:Web 版 ChatGPT(Business 以上はフル MCP、Pro は読み取りのみ)。

代わりに使えるものは?

同じカテゴリには:World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu

似た働きのほかの候補

同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。

カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i

World Monitor

Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 100 tools.

作者:koala73広く使われている★ 9.1万3 日前更新

クラウドで動く✓ 提供元 · worldmonitor.app

openstatus

Manage monitors, status pages, incidents and maintenances in your openstatus workspace.

作者:openstatusHQ広く使われている★ 92742 か月前更新

クラウドで動く✓ 提供元 · openstatus.dev

Oh My Posh Validator

Validate oh-my-posh configurations and segment snippets against the official schema.

作者:JanDeDobbeleer広く使われている★ 2.4万 リポジトリ全体のスター30 日前更新

クラウドで動く✓ 提供元 · ohmyposh.dev

Strata

MCP server for progressive tool usage at any scale (see https://klavis.ai)

作者:Klavis-AI成長中★ 582514 か月前更新

クラウドで動くリポジトリはアーカイブ済み✓ klavis.ai

Jitsu

Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.

作者:jitsucom広く使われている★ 51364 か月前更新

クラウドで動く✓ 提供元 · jitsu.com
似たものと比べる
これ
scrapewright
World MonitoropenstatusOh My Posh ValidatorStrataJitsu
動く場所クラウドでもパソコンにインストールでも使えるクラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要
キーが必要はいいいえいいえいいえいいえいいえ
Claude で + から追加いいえいいえいいえいいえいいえいいえ
基本チェック5/54/44/44/41/44/4
ライセンスMITAGPL-3.0AGPL-3.0MITApache-2.0MIT
料金登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

scrapewright

Give it a URL. It writes the scraper.

Most e-commerce catalog scraping splits into two worlds: sites on a known platform (Shopify, WooCommerce) that expose a clean JSON feed, and everything else — bespoke HTML where you hand-write a parser per site and re-write it every time the markup shifts. scrapewright collapses both into one call:

  1. Detect the platform behind a URL.
  2. For known platforms, extract deterministically from their public catalog API — free, stable, no LLM.
  3. For custom HTML, synthesize a reusable extractor once with an LLM, cache it, and replay it deterministically forever after.

The LLM is a *compiler*, not a runtime. It runs once per site to produce a recipe of CSS selectors; every page after that is parsed by plain BeautifulSoup at zero marginal cost. That is the whole cost-control story — no per-page model calls, no token bill that scales with your crawl.

                    ┌─────────────┐

store URL ───▶ │ detect │ └──────┬──────┘ ┌──────────────────┼──────────────────┐ ▼ ▼ ▼ shopify woocommerce generic HTML products.json wc/store/products (page mode) │ │ │ │ deterministic │ ▼ │ (free) │ cached recipe? ──yes──▶ replay (free) └────────┬─────────┘ │ no ▼ ▼ Product{} ◀───── selectors ── JSON-LD? ──yes──▶ Product{} (free) ▲ │ no │ ▼ └──────── replay ◀── LLM synthesizes recipe ONCE ──▶ cache

Everything normalizes to one Product shape, so downstream code never knows or cares which path a record came from.

Install

pip install scrapewright               # deterministic paths (Shopify, Woo, JSON-LD)

pip install "scrapewright[llm]" # + LLM recipe synthesis for custom HTML pip install "scrapewright[llm,js,excel,mcp]" # + JS rendering, XLSX, MCP server playwright install chromium # only needed for --js

Use it

from scrapewright import Scrapewright

sw = Scrapewright()

Catalog mode — a whole Shopify/WooCommerce store, deterministically

for product in sw.scrape_catalog("https://shop.example.com", max_items=200): print(product.brand, product.title, product.price, product.currency)

Page mode — one custom-HTML product page.

First call: tries JSON-LD (free); if absent, the LLM writes a recipe once.

Every later call on that domain: replayed from the cached recipe, no LLM.

item = sw.scrape_page("https://boutique.example.com/products/wool-coat") print(item.model_dump(exclude={"raw"}))

Crawl mode — walk a WHOLE custom store from one listing/category URL.

The frontier discovers product pages (deterministic, free); the first page

pays the single synthesis cost, every other page replays the recipe.

for product in sw.crawl("https://boutique.example.com/collection", max_items=100): print(product.title, product.price)

CLI
scrapewright detect https://shop.example.com          # platform + strategy

scrapewright run https://shop.example.com --max 50 # scrape a catalog → JSONL scrapewright crawl https://boutique.example.com/collection -o products.xlsx scrapewright run https://shop.example.com -o products.csv # Excel-ready CSV scrapewright add https://boutique.example.com/products/coat # learn a site scrapewright run https://boutique.example.com/products/coat --no-llm scrapewright list # cached recipe domains

-o writes .csv (Excel-ready, UTF-8 BOM), .xlsx (pip install scrapewright[excel]), or .jsonl; without it, products stream to stdout as JSONL.

Know what you are dealing with

detect answers the routing question before a job starts:

$ scrapewright detect https://some-store.com

https://some-store.com platform: bigcommerce catalog: - strategy: crawl note: BigCommerce (Stencil) markup

Twelve platforms are recognized: Shopify and WooCommerce publish a free JSON catalog, so those route to catalog — deterministic, no LLM, no browser. Magento, BigCommerce, Salesforce Commerce Cloud, Squarespace, Wix, Webflow, PrestaShop, Shopware, Ecwid and OpenCart are recognized by fingerprint and route to crawl, where the recipe path handles them like any custom site — the point of naming them is knowing what you face, not writing twelve parsers. Wix and Ecwid render client-side, so detection says crawl+js up front.

A site behind an anti-bot wall reports strategy: blocked with the HTTP status, rather than pretending it found nothing.

Bring your own schema

Products are just the built-in default. Declare the fields you want and the same compile-once/replay-free loop works on any structured page — job posts, listings, registry records:

scrapewright run https://jobs.example.com/p/123 -f title -f company -f salary:number -f tags:list --schema-name job
from scrapewright import Scrapewright, Schema

job = Schema.from_names(["title", "company", "salary:number", "tags:list"], name="job") record = Scrapewright().extract("https://jobs.example.com/p/123", job) print(record.data) # {'title': ..., 'company': ..., 'salary': ..., 'tags': [...]}

Field kinds are text (default), number, url, and list. A number field is parsed out of whatever the page wrote — "£51.77", "1.250,00", "€72,000" all become numbers — and when the page said more than the digits, the original is kept next to it as _text:

{ "price": 51.77, "price_text": "£51.77" }

A value that holds no number at all ("call us") is left as the page wrote it rather than dropped. Recipes are cached per site *and* per schema, so one domain can be compiled against several field sets without them overwriting each other.

Use it from an AI agent (MCP)

scrapewright speaks MCP, so an agent can call it as a tool instead of reading raw HTML itself. Two ways in.

Hosted, nothing to install. Point the client at the service with a key from scrapewright.app (1,000 free rows a month; an account that has never been topped up compiles one new site and renders twenty pages a day):

{

"mcpServers": { "scrapewright": { "url": "https://scrapewright.app/mcp", "headers": { "X-API-Key": "sw_..." } } } }

Tools: detect_site, extract_page, crawl_site, crawl_status, account. Paid from the same credit balance as the REST API; no model key of your own is needed.

Local, your own model key. Run the server on your machine:

pip install "scrapewright[mcp,llm]"

scrapewright mcp

Point any MCP client at that command and the agent gains five tools: detect_site, scrape_catalog, extract_page, crawl_site, and list_learned_sites.

Drop this into your client's config — Claude Desktop, Cursor, or anything else that speaks MCP:

{

"mcpServers": { "scrapewright": { "command": "uvx", "args": ["--from", "scrapewright[mcp,llm]", "scrapewright", "mcp"], "env": { "ANTHROPIC_API_KEY": "sk-ant-..." } } } }

The key is only needed for sites on no known platform, where a recipe has to be written once. Shopify and WooCommerce stores work without it.

The economics are the point. An agent that reads pages itself pays model tokens per page, forever. These tools pay once per site — an agent crawling 500 pages spends one synthesis, not five hundred, and platform stores (Shopify, WooCommerce) cost nothing at all.

Run it as a service

The same core behind an HTTP API, with keys, quotas, metering and background jobs:

pip install "scrapewright[service,llm]"

scrapewright keys create --label alice --plan free scrapewright serve --port 8000

curl -X POST localhost:8000/v1/extract   -H "X-API-Key: sw_..." -H "Content-Type: application/json"   -d '{"url": "https://shop.example.com/products/coat"}'
EndpointPurpose
POST /v1/detectplatform + strategy (cheap)
POST /v1/extractone page -> structured record
POST /v1/crawla whole site -> job id (crawls outlive a request)
... modelinks follow a listing into item pages · rows read the listing's own cards · like one item page -> every page shaped like it
GET /v1/jobs/{id}poll a crawl
`GET /v1/jobs/{id}/download?format=csv\xlsx\jsonl`the finished crawl as a file
GET /v1/usagewhat this key has consumed, against its plan

Or skip the API: scrapewright.app/account takes a listing URL and a field list, runs the crawl, and hands back the spreadsheet.

Prepaid credits, no subscription

One action costs real money: compiling a new site, a single LLM pass over a page, measured at $0.02 on a small product page and $0.15 on a heavy rendered one. Everything after that is BeautifulSoup — the ten-thousandth record from a compiled site is free to serve. So credits are priced off that one action, and everything else is denominated relative to it:

ActionCredits
1 record delivered1
1 browser render5
1 new site compiled300
page fetches, detectfree
$ scrapewright plans

pack credits price $/credit margin starter 10,000 $10 0.00100 80.0% growth 50,000 $40 0.00080 75.0% scale 250,000 $150 0.00060 66.7%

Free: 1,000 credits a month, resetting.

Margin is measured on compiling a site, because that is the only step that costs anything; a test fails if a price edit drops any pack below 60%. A free account can cost us at most $0.20 a month, even if every free credit goes to the most expensive action there is.

Credits are a ledger, not a counter — every grant and every charge is a row, so a disputed bill can be reconstructed line by line, and a replayed payment webhook cannot double-credit (grants take an idempotency key). Running out returns 402 with the balance and what to do about it; a crawl is capped by the credits on hand, so a job stops at what the caller can pay for instead of overdrawing.

scrapewright credits grant <key_id> --pack starter --idempotency <payment_id>

scrapewright credits balance

Taking payment

Stripe is wired in and turned on by environment, not by a code change:

pip install "scrapewright[service,stripe]"

export STRIPE_SECRET_KEY=sk_test_... # absent -> nothing is for sale export STRIPE_WEBHOOK_SECRET=whsec_... # absent -> webhooks are refused scrapewright serve

EndpointPurpose
GET /v1/credits/packsthe price list — public, no key needed
POST /v1/credits/checkoutstart a purchase, returns a Stripe Checkout URL
POST /v1/webhooks/stripepayment notifications from Stripe

The webhook endpoint takes no API key — Stripe is the caller, so the signature *is* the credential, and an unverified endpoint would be a free credit printer for anyone who guessed the URL. Three rules hold the integration up:

  • Verify every signature. No signing secret configured means webhooks are refused outright, rather than accepted unverified.
  • Never trust an amount off the wire. The event names a pack; how many credits that pack is worth is looked up

冒頭だけを表示しています。続きはリポジトリで読めます