Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Mit Google anmelden, um Bewertungen zu schreiben.Prototyp · alle 30 Min. aktualisiert
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt

scrapewright

von Ozymandias-Owens-2Version 1.0.3i★ 1iComputer oder CloudOffizielle Website ↗
Name in der Registryio.github.Ozymandias-Owens-2/scrapewright

So installierst du es

What it does

Give it a URL, get structured rows. A model writes the parser once; replays are free.

  • Connects Computer oder Cloud
  • Account or key Cloud: Needs X-API-Key · Local: Needs ANTHROPIC_API_KEY
  • Category Sonstiges

Warum es hier steht

Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert

Beliebtheit4/80GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20
Aktualität12/12Volle Punkte für Release oder Codeänderung in 30 Tagen
Antwortet noch8/8Der Cloud-Endpoint antwortete bei der letzten Prüfung
Nutzungswert24/100

Qualität: 5/5 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Mit einem Satz von deiner KI installieren lassen

Installiere bitte scrapewright. Folge https://mcp.popnx.com/i/ozymandias-owens-2-scrapewright.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.

Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen

5/5 Prüfungen bestanden · Was du fragst, läuft über den Server des Anbieters (scrapewright.app) · ✓ Befehle geprüft am 14. Nov. 2026

Zuerst: Welche KI nutzt du?

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude · etwa 5 Min.

Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen) · Einmal auf claude.ai oder in der Desktop-App einrichten, dann im Chat nutzen · kostenlose Konten können 1 hinzufügen · bei Team/Enterprise fügt ein Owner ihn hinzu

  1. Bei scrapewright registrieren und Schlüssel erstellen

    Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.

    Seite von scrapewright öffnen ↗

  2. Öffne die Connectors-Seite von Claude

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  3. Klicke „Add“ → „Custom“ → „Web“ und fülle diese 2 Felder aus

    Kopiere jeden Wert in das gleichnamige Feld in Claude und klicke Continue

    Name · Namescrapewright
    Remote MCP server URL · Adressehttps://scrapewright.app/mcp

    Unter Request headers diesen Namen und Wert hinzufügen

    Header-NameX-API-Key
    Wert<Schlüssel hier einfügen>

    Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem

    Klicke auf der von Claude erkannten Anmelde-Seite auf Continue · wähle bei Authentication, was der Anbieter angibt (Sign in now, Sign in when needed oder No sign in), dann Add

  4. Im Chat einschalten

    +Connectorsscrapewright

  5. Ausprobieren

    Nutze scrapewright und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude sagt, dass es scrapewright nutzt, oder ein Werkzeug von scrapewright in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

ChatGPT kann scrapewright noch nicht verbinden

scrapewright braucht zum Verbinden deinen eigenen Schlüssel, aber die OpenAI-Hilfe beschreibt nur die Anmeldung per OAuth; eine Schlüssel-Option konnten wir nicht bestätigen

Das kannst du stattdessen tun

A · Eine App nutzen, die scrapewright verbinden kann

  • Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen) · Einmal auf claude.ai oder in der Desktop-App einrichten, dann im Chat nutzen · kostenlose Konten können 1 hinzufügen · bei Team/Enterprise fügt ein Owner ihn hinzu
  • Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen)
  • Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen)
  • Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen)

B · Andere in Sonstiges, die mit ChatGPT funktionieren

Aus den meistgenutzten derselben Kategorie, nur solche, die per Adresse ohne Schlüssel verbinden

Klappt mit Claude Code · etwa 5 Min.

Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen)

  1. Bei scrapewright registrieren und Schlüssel erstellen

    Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.

    Seite von scrapewright öffnen ↗

  2. Terminal öffnen

    Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen

  3. Diesen Befehl einfügen und Enter drücken

    claude mcp add --transport http --scope user scrapewright https://scrapewright.app/mcp --header 'X-API-Key: your-value'

    Ersetze „your-value“ vor dem Enter durch deinen Schlüssel

    Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem

  4. /mcp in Claude Code eingeben

    scrapewright sollte in der Liste als verbunden erscheinen

  5. Ausprobieren

    Nutze scrapewright und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude Code sagt, dass es scrapewright nutzt, oder ein Werkzeug von scrapewright in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor · etwa 5 Min.

Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen)

  1. Bei scrapewright registrieren und Schlüssel erstellen

    Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.

    Seite von scrapewright öffnen ↗

  2. Mit diesem Button Cursor öffnen

    In Cursor öffnen

    Cursor fragt nach einer Bestätigung; klicke Install

  3. Schlüssel eintragen

    In den Einstellungen von scrapewright ist X-API-Key leer; trag deinen Schlüssel ein und speichere

    Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem

  4. KI-Chat in Cursor im Agent-Modus öffnen

  5. Ausprobieren

    Nutze scrapewright und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Cursor sagt, dass es scrapewright nutzt, oder ein Werkzeug von scrapewright in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code · etwa 5 Min.

Du brauchst einen Schlüssel von scrapewright (auf der Seite des Anbieters erstellen)

  1. Bei scrapewright registrieren und Schlüssel erstellen

    Öffne die Seite des Anbieters, registriere dich und erstelle einen API-Schlüssel für den nächsten Schritt. Preise und Gratis-Tarife siehst du auf seiner Seite.

    Seite von scrapewright öffnen ↗

  2. Mit diesem Button VS Code öffnen

    In VS Code öffnen

    VS Code fragt nach einer Bestätigung; klicke Install

  3. Schlüssel eintragen

    In den Einstellungen von scrapewright ist X-API-Key leer; trag deinen Schlüssel ein und speichere

    Füge den Schlüssel nur in das Feld der App ein, nie in einen Chat und schick ihn niemandem

  4. KI-Chat in VS Code im Agent-Modus öffnen

  5. Ausprobieren

    Nutze scrapewright und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn VS Code sagt, dass es scrapewright nutzt, oder ein Werkzeug von scrapewright in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

Adresse für Apps, die über das Web verbinden

Adressehttps://scrapewright.app/mcp

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die scrapewright nutzen💬 Diskussion →
Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Über das Web

Claude Code

claude mcp add --transport http --scope user scrapewright https://scrapewright.app/mcp --header 'X-API-Key: your-value'

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scrapewright": {
      "url": "https://scrapewright.app/mcp",
      "headers": {
        "X-API-Key": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scrapewright": {
      "type": "http",
      "url": "https://scrapewright.app/mcp",
      "headers": {
        "X-API-Key": "your-value"
      }
    }
  }
}

Auf deinem Computer installiert

Claude Code

claude mcp add --scope user scrapewright --env ANTHROPIC_API_KEY=your-value -- uvx scrapewright mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "scrapewright": {
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scrapewright": {
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scrapewright": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

Werte, die du selbst einträgst

  • ANTHROPIC_API_KEY geheim erforderlich env
    Nur erforderlich für Websites ohne bekannte Plattform, bei denen ein Rezept einmal geschrieben werden muss. Shopify- und WooCommerce-Shops funktionieren ohne diese Einstellung.
    Englisches Original anzeigenOnly needed for sites on no known platform, where a recipe has to be written once. Shopify and WooCommerce stores work without it.
  • SCRAPEWRIGHT_CACHE env
    Speicherort für kompilierte Rezepte. Verwenden Sie dauerhaften Speicher, sonst müssen die Websites nach jedem Neustart erneut analysiert werden. Standard ist /.scrapewright/recipes.json
    Englisches Original anzeigenWhere compiled recipes are kept. Point it at durable storage, or every restart pays to work the same sites out again. Defaults to ~/.scrapewright/recipes.json
  • SCRAPEWRIGHT_OBEY_ROBOTS env
    Auf 0 setzen, um robots.txt zu ignorieren. Nur sinnvoll bei eigenen Websites oder mit schriftlicher Genehmigung; standardmäßig wird die Datei befolgt.
    Englisches Original anzeigenSet to 0 to ignore robots.txt. Only reasonable on sites you own or have written permission for; the default is to obey.
  • X-API-Key geheim erforderlich HTTP header
    Ihr API-Schlüssel für scrapewright. Kostenlos unter https://scrapewright.app erhältlich, 1.000 Zeilen pro Monat, ohne Kreditkarte.
    Englisches Original anzeigenYour scrapewright API key. Free at https://scrapewright.app — 1,000 rows a month, no card.

Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

Downloads pro Wochei
44/Wo.
Verbindung
Computer oder Cloud
Transport
stdio, streamable-http
Neueste Versioni
1.0.3
Kategoriei
Sonstiges
In der Registry veröffentlichti
30. Sept. 2026
Code zuletzt geänderti
3. Nov. 2026
Zuletzt geprüft
13. Nov. 2026
Entwickler
Ozymandias-Owens-2
Pakete
pypi: scrapewright
Registry-Status
Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Verbinden sich über das Internet in

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

Laufen auf deinem Computer in

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Tool-Namen und -Beschreibungen genau so, wie der Server sie am 13. Nov. 2026 gemeldet hat. Geschrieben hat sie der Entwickler, nicht wir; wir zeigen sie als reinen Text.

  • detect_site

    Report what platform a site runs on and which strategy to use. Cheap; call it before a large job.

  • extract_page

    Extract structured data from ONE page. ``fields`` declares your own schema, e.g. ["title", "salary:number", "tags:list"]; omit it for the product schema. First call on a new site compiles a recipe (300 credits); later calls replay it for 1 credit per row. A site nobody could read

  • crawl_site

    Walk a site and extract every item. Waits up to four minutes; a longer crawl returns a job_id to pass to crawl_status. `mode` picks how the items are found. "rows" (the default) reads every card on the listing itself and follows its pagination -- right for search results, categor

  • crawl_status

    Fetch a crawl that outlived its call.

  • account

    Credits left and this month's usage for the key in use.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 19. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde mit dem GitHub-Konto Ozymandias-Owens-2 bestätigt, dem das Repo gehört

  • ✓ Bestanden

    Wird noch gepflegt

    Code zuletzt geändert: vor 16 Tagen

  • ✓ Bestanden

    Hat eine Lizenz

    Nutzt MIT

  • ✓ Bestanden

    Endpunkt antwortet

    Antwort in 92 ms (HTTP 200)

  • – Nicht zutreffend

    Anmeldung mit OAuth

    Keine Anmeldung nötig

  • ✓ Bestanden

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Wir haben 5 Tool-Beschreibungen gelesen und keine versteckten Anweisungen an die KI gefunden

Veröffentlichte Schwachstellen (OSV.dev)

Keine Einträge auf OSV.dev für scrapewright@1.0.3

Prüft nur diese Paketversion, nicht alle Abhängigkeiten · geprüft 15. Nov. 2026

Was wir prüfen → · JSON

Entwickler: neue Prüfung anfordern oder falsche Angaben melden
Für Anbieter: Badge ins README

Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/ozymandias-owens-2-scrapewright.svg)](https://mcp.popnx.com/en/servers/ozymandias-owens-2-scrapewright)

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Anmelden, um eine Bewertung zu schreiben

Im Vergleich mit anderen in Sonstigesi

  • Mehr Sterne als 86 % der anderen 20653 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 46 % der anderen 20653 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 99 % der anderen 20653 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist scrapewright sicher?

Er hat 5 von 5 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Das musst du eintragen: X-API-Key, ANTHROPIC_API_KEY

Läuft er auf meinem Computer oder in der Cloud?

Beides geht: Installiere ihn auf deinem Computer oder verbinde dich mit der Cloud-Version.

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt vor 16 Tagen geändert, und die neueste Version (1.0.3) kam vor 2 Monaten in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL und funktioniert daher auch in Apps mit Remote-MCP, etwa ChatGPT im Web (volles MCP ab Business; Pro nur lesend).

Was kann ich stattdessen nutzen?

In derselben Kategorie: World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu

Ähnliche Alternativen

Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

World Monitor

Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 100 tools.

von koala73Weit verbreitet★ 90.885Aktualisiert vor 3 Tagen

Läuft in der Cloud✓ vom Dienst · worldmonitor.app

openstatus

Manage monitors, status pages, incidents and maintenances in your openstatus workspace.

von openstatusHQWeit verbreitet★ 9274Aktualisiert vor 2 Monaten

Läuft in der Cloud✓ vom Dienst · openstatus.dev

Oh My Posh Validator

Validate oh-my-posh configurations and segment snippets against the official schema.

von JanDeDobbeleerWeit verbreitet★ 23.770 Sterne des ganzen ReposAktualisiert vor 30 Tagen

Läuft in der Cloud✓ vom Dienst · ohmyposh.dev

Strata

MCP server for progressive tool usage at any scale (see https://klavis.ai)

von Klavis-AIWachsend★ 5825Aktualisiert vor 14 Monaten

Läuft in der CloudRepo archiviert✓ klavis.ai

Jitsu

Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.

von jitsucomWeit verbreitet★ 5136Aktualisiert vor 4 Monaten

Läuft in der Cloud✓ vom Dienst · jitsu.com
Im Vergleich mit ähnlichen
Dieser
scrapewright
World MonitoropenstatusOh My Posh ValidatorStrataJitsu
Läuft woIn der Cloud oder auf deinem RechnerLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine Installation
Braucht SchlüsselJaNeinNeinNeinNeinNein
Mit + in Claude hinzufügenNeinNeinNeinNeinNeinNein
Basisprüfungen5/54/44/44/41/44/4
LizenzMITAGPL-3.0AGPL-3.0MITApache-2.0MIT
PreisKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im Register

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

scrapewright

Give it a URL. It writes the scraper.

Most e-commerce catalog scraping splits into two worlds: sites on a known platform (Shopify, WooCommerce) that expose a clean JSON feed, and everything else — bespoke HTML where you hand-write a parser per site and re-write it every time the markup shifts. scrapewright collapses both into one call:

  1. Detect the platform behind a URL.
  2. For known platforms, extract deterministically from their public catalog API — free, stable, no LLM.
  3. For custom HTML, synthesize a reusable extractor once with an LLM, cache it, and replay it deterministically forever after.

The LLM is a *compiler*, not a runtime. It runs once per site to produce a recipe of CSS selectors; every page after that is parsed by plain BeautifulSoup at zero marginal cost. That is the whole cost-control story — no per-page model calls, no token bill that scales with your crawl.

                    ┌─────────────┐

store URL ───▶ │ detect │ └──────┬──────┘ ┌──────────────────┼──────────────────┐ ▼ ▼ ▼ shopify woocommerce generic HTML products.json wc/store/products (page mode) │ │ │ │ deterministic │ ▼ │ (free) │ cached recipe? ──yes──▶ replay (free) └────────┬─────────┘ │ no ▼ ▼ Product{} ◀───── selectors ── JSON-LD? ──yes──▶ Product{} (free) ▲ │ no │ ▼ └──────── replay ◀── LLM synthesizes recipe ONCE ──▶ cache

Everything normalizes to one Product shape, so downstream code never knows or cares which path a record came from.

Install

pip install scrapewright               # deterministic paths (Shopify, Woo, JSON-LD)

pip install "scrapewright[llm]" # + LLM recipe synthesis for custom HTML pip install "scrapewright[llm,js,excel,mcp]" # + JS rendering, XLSX, MCP server playwright install chromium # only needed for --js

Use it

from scrapewright import Scrapewright

sw = Scrapewright()

Catalog mode — a whole Shopify/WooCommerce store, deterministically

for product in sw.scrape_catalog("https://shop.example.com", max_items=200): print(product.brand, product.title, product.price, product.currency)

Page mode — one custom-HTML product page.

First call: tries JSON-LD (free); if absent, the LLM writes a recipe once.

Every later call on that domain: replayed from the cached recipe, no LLM.

item = sw.scrape_page("https://boutique.example.com/products/wool-coat") print(item.model_dump(exclude={"raw"}))

Crawl mode — walk a WHOLE custom store from one listing/category URL.

The frontier discovers product pages (deterministic, free); the first page

pays the single synthesis cost, every other page replays the recipe.

for product in sw.crawl("https://boutique.example.com/collection", max_items=100): print(product.title, product.price)

CLI
scrapewright detect https://shop.example.com          # platform + strategy

scrapewright run https://shop.example.com --max 50 # scrape a catalog → JSONL scrapewright crawl https://boutique.example.com/collection -o products.xlsx scrapewright run https://shop.example.com -o products.csv # Excel-ready CSV scrapewright add https://boutique.example.com/products/coat # learn a site scrapewright run https://boutique.example.com/products/coat --no-llm scrapewright list # cached recipe domains

-o writes .csv (Excel-ready, UTF-8 BOM), .xlsx (pip install scrapewright[excel]), or .jsonl; without it, products stream to stdout as JSONL.

Know what you are dealing with

detect answers the routing question before a job starts:

$ scrapewright detect https://some-store.com

https://some-store.com platform: bigcommerce catalog: - strategy: crawl note: BigCommerce (Stencil) markup

Twelve platforms are recognized: Shopify and WooCommerce publish a free JSON catalog, so those route to catalog — deterministic, no LLM, no browser. Magento, BigCommerce, Salesforce Commerce Cloud, Squarespace, Wix, Webflow, PrestaShop, Shopware, Ecwid and OpenCart are recognized by fingerprint and route to crawl, where the recipe path handles them like any custom site — the point of naming them is knowing what you face, not writing twelve parsers. Wix and Ecwid render client-side, so detection says crawl+js up front.

A site behind an anti-bot wall reports strategy: blocked with the HTTP status, rather than pretending it found nothing.

Bring your own schema

Products are just the built-in default. Declare the fields you want and the same compile-once/replay-free loop works on any structured page — job posts, listings, registry records:

scrapewright run https://jobs.example.com/p/123 -f title -f company -f salary:number -f tags:list --schema-name job
from scrapewright import Scrapewright, Schema

job = Schema.from_names(["title", "company", "salary:number", "tags:list"], name="job") record = Scrapewright().extract("https://jobs.example.com/p/123", job) print(record.data) # {'title': ..., 'company': ..., 'salary': ..., 'tags': [...]}

Field kinds are text (default), number, url, and list. A number field is parsed out of whatever the page wrote — "£51.77", "1.250,00", "€72,000" all become numbers — and when the page said more than the digits, the original is kept next to it as _text:

{ "price": 51.77, "price_text": "£51.77" }

A value that holds no number at all ("call us") is left as the page wrote it rather than dropped. Recipes are cached per site *and* per schema, so one domain can be compiled against several field sets without them overwriting each other.

Use it from an AI agent (MCP)

scrapewright speaks MCP, so an agent can call it as a tool instead of reading raw HTML itself. Two ways in.

Hosted, nothing to install. Point the client at the service with a key from scrapewright.app (1,000 free rows a month; an account that has never been topped up compiles one new site and renders twenty pages a day):

{

"mcpServers": { "scrapewright": { "url": "https://scrapewright.app/mcp", "headers": { "X-API-Key": "sw_..." } } } }

Tools: detect_site, extract_page, crawl_site, crawl_status, account. Paid from the same credit balance as the REST API; no model key of your own is needed.

Local, your own model key. Run the server on your machine:

pip install "scrapewright[mcp,llm]"

scrapewright mcp

Point any MCP client at that command and the agent gains five tools: detect_site, scrape_catalog, extract_page, crawl_site, and list_learned_sites.

Drop this into your client's config — Claude Desktop, Cursor, or anything else that speaks MCP:

{

"mcpServers": { "scrapewright": { "command": "uvx", "args": ["--from", "scrapewright[mcp,llm]", "scrapewright", "mcp"], "env": { "ANTHROPIC_API_KEY": "sk-ant-..." } } } }

The key is only needed for sites on no known platform, where a recipe has to be written once. Shopify and WooCommerce stores work without it.

The economics are the point. An agent that reads pages itself pays model tokens per page, forever. These tools pay once per site — an agent crawling 500 pages spends one synthesis, not five hundred, and platform stores (Shopify, WooCommerce) cost nothing at all.

Run it as a service

The same core behind an HTTP API, with keys, quotas, metering and background jobs:

pip install "scrapewright[service,llm]"

scrapewright keys create --label alice --plan free scrapewright serve --port 8000

curl -X POST localhost:8000/v1/extract   -H "X-API-Key: sw_..." -H "Content-Type: application/json"   -d '{"url": "https://shop.example.com/products/coat"}'
EndpointPurpose
POST /v1/detectplatform + strategy (cheap)
POST /v1/extractone page -> structured record
POST /v1/crawla whole site -> job id (crawls outlive a request)
... modelinks follow a listing into item pages · rows read the listing's own cards · like one item page -> every page shaped like it
GET /v1/jobs/{id}poll a crawl
`GET /v1/jobs/{id}/download?format=csv\xlsx\jsonl`the finished crawl as a file
GET /v1/usagewhat this key has consumed, against its plan

Or skip the API: scrapewright.app/account takes a listing URL and a field list, runs the crawl, and hands back the spreadsheet.

Prepaid credits, no subscription

One action costs real money: compiling a new site, a single LLM pass over a page, measured at $0.02 on a small product page and $0.15 on a heavy rendered one. Everything after that is BeautifulSoup — the ten-thousandth record from a compiled site is free to serve. So credits are priced off that one action, and everything else is denominated relative to it:

ActionCredits
1 record delivered1
1 browser render5
1 new site compiled300
page fetches, detectfree
$ scrapewright plans

pack credits price $/credit margin starter 10,000 $10 0.00100 80.0% growth 50,000 $40 0.00080 75.0% scale 250,000 $150 0.00060 66.7%

Free: 1,000 credits a month, resetting.

Margin is measured on compiling a site, because that is the only step that costs anything; a test fails if a price edit drops any pack below 60%. A free account can cost us at most $0.20 a month, even if every free credit goes to the most expensive action there is.

Credits are a ledger, not a counter — every grant and every charge is a row, so a disputed bill can be reconstructed line by line, and a replayed payment webhook cannot double-credit (grants take an idempotency key). Running out returns 402 with the balance and what to do about it; a crawl is capped by the credits on hand, so a job stops at what the caller can pay for instead of overdrawing.

scrapewright credits grant <key_id> --pack starter --idempotency <payment_id>

scrapewright credits balance

Taking payment

Stripe is wired in and turned on by environment, not by a code change:

pip install "scrapewright[service,stripe]"

export STRIPE_SECRET_KEY=sk_test_... # absent -> nothing is for sale export STRIPE_WEBHOOK_SECRET=whsec_... # absent -> webhooks are refused scrapewright serve

EndpointPurpose
GET /v1/credits/packsthe price list — public, no key needed
POST /v1/credits/checkoutstart a purchase, returns a Stripe Checkout URL
POST /v1/webhooks/stripepayment notifications from Stripe

The webhook endpoint takes no API key — Stripe is the caller, so the signature *is* the credential, and an unverified endpoint would be a free credit printer for anyone who guessed the URL. Three rules hold the integration up:

  • Verify every signature. No signing secret configured means webhooks are refused outright, rather than accepted unverified.
  • Never trust an amount off the wire. The event names a pack; how many credits that pack is worth is looked up

Nur der Anfang wird gezeigt; den Rest findest du im Repo