프로토타입 · 미리 보기: 공식 레지스트리의 모든 서버를 담고 있으며 30분마다 동기화해요. Google로 로그인하면 리뷰를 쓸 수 있어요.프로토타입 · 30분마다 업데이트
PopNx MCPAI를 쓰는 사람을 위한 MCP 서버 · 쉬운 말로 설명해요

scrapewright

제작자: Ozymandias-Owens-2버전 1.0.3i★ 1i컴퓨터 또는 클라우드공식 사이트 ↗
레지스트리 이름io.github.Ozymandias-Owens-2/scrapewright

설치 방법

What it does

Give it a URL, get structured rows. A model writes the parser once; replays are free.

  • Connects 컴퓨터 또는 클라우드
  • Account or key Cloud: Needs X-API-Key · Local: Needs ANTHROPIC_API_KEY
  • Category 기타

이 순위인 이유

목록은 사용 점수(100점 만점)로 정렬되며 구성은 다음과 같습니다

인기4/80GitHub 별 또는 주간 다운로드: 큰 쪽 60, 작은 쪽 20
최신성12/1230일 안에 릴리스나 코드 변경이 있으면 만점
응답 중8/8마지막 점검 때 클라우드 엔드포인트가 응답
사용 점수24/100

품질: 기본 점검 5/5개 통과(표시만, 정렬에는 안 씀) · 상승세: 데이터 없음 (급상승 탭에서만 사용)

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

한 문장으로 AI에게 설치 맡기기

scrapewright 설치해 줘. https://mcp.popnx.com/i/ozymandias-owens-2-scrapewright.md 를 따라 하고, 명령을 먼저 보여 주고 내가 승인하면 실행해.

내 컴퓨터에서 작업하는 AI(Claude Code, Cursor 등)에 붙여 넣으세요. 단계를 읽고 명령을 보여 준 뒤 승인을 기다립니다. 키도 가입도 필요 없습니다. · AI가 읽을 전체 내용 보기

검사 5/5 통과 · 내가 묻는 내용은 제작자 서버(scrapewright.app)를 거쳐요 · ✓ 명령 확인 2026년 11월 14일

먼저: 어떤 AI를 쓰시나요?

쓰는 앱을 고르면 아래에 단계가 나옵니다.

Claude에 연결할 수 있어요 · 약 5분

scrapewright 키가 필요해요 (제작자 사이트에서 만들기) · claude.ai나 데스크톱 앱에서 한 번 설정하면 채팅에서 쓸 수 있어요 · 무료 계정은 1개까지 · Team/Enterprise는 소유자(Owner)가 추가

  1. scrapewright에 가입하고 키 만들기

    제작자 사이트에서 가입하고 다음 단계에 쓸 API 키를 만드세요. 요금과 무료 요금제는 제작자 사이트에서 확인하세요.

    scrapewright 사이트 열기 ↗

  2. Claude의 Connectors 페이지 열기

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  3. “Add” → “Custom” → “Web”를 누르고 이 2칸 채우기

    여기서 복사해 Claude의 같은 이름 칸에 붙여 넣고 Continue를 누르세요

    Name · 이름scrapewright
    Remote MCP server URL · 주소https://scrapewright.app/mcp

    Request headers에 이 이름과 값을 추가

    헤더 이름X-API-Key
    값<여기에 키 붙여 넣기>

    키는 앱 입력란에만 붙여 넣고, 채팅에 붙이거나 다른 사람에게 보내지 마세요

    Claude가 찾은 로그인 설정 화면에서 Continue를 누르고 · Authentication은 제작자 안내대로(Sign in now, Sign in when needed, No sign in) 고른 뒤 Add를 누르세요

  4. 채팅에서 켜기

    +Connectorsscrapewright

  5. 해 보기

    scrapewright을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Claude가 scrapewright을 쓰고 있다고 하거나 답에 scrapewright 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

ChatGPT는 아직 scrapewright에 연결할 수 없어요

scrapewright는 연결할 때 내 키가 필요한데, OpenAI 도움말은 OAuth 로그인만 설명하고 우리가 확인한 키 입력 방법이 없어요

대신 이렇게 할 수 있어요

A · scrapewright에 연결되는 앱 쓰기

  • scrapewright 키가 필요해요 (제작자 사이트에서 만들기) · claude.ai나 데스크톱 앱에서 한 번 설정하면 채팅에서 쓸 수 있어요 · 무료 계정은 1개까지 · Team/Enterprise는 소유자(Owner)가 추가
  • scrapewright 키가 필요해요 (제작자 사이트에서 만들기)
  • scrapewright 키가 필요해요 (제작자 사이트에서 만들기)
  • scrapewright 키가 필요해요 (제작자 사이트에서 만들기)

B · 기타에서 ChatGPT에 연결되는 다른 서버

같은 분류에서 많이 쓰는 것 중 키 없이 주소만으로 연결되는 것을 골랐어요

Claude Code에 연결할 수 있어요 · 약 5분

scrapewright 키가 필요해요 (제작자 사이트에서 만들기)

  1. scrapewright에 가입하고 키 만들기

    제작자 사이트에서 가입하고 다음 단계에 쓸 API 키를 만드세요. 요금과 무료 요금제는 제작자 사이트에서 확인하세요.

    scrapewright 사이트 열기 ↗

  2. 터미널 열기

    Mac: Command+스페이스를 누르고 Terminal 입력 · Windows: PowerShell 열기

  3. 이 명령을 붙여 넣고 Enter

    claude mcp add --transport http --scope user scrapewright https://scrapewright.app/mcp --header 'X-API-Key: your-value'

    Enter 전에 “your-value”를 내 키로 바꾸세요

    키는 앱 입력란에만 붙여 넣고, 채팅에 붙이거나 다른 사람에게 보내지 마세요

  4. Claude Code에서 /mcp 입력

    scrapewright이 목록에 있고 연결됨으로 보이면 돼요

  5. 해 보기

    scrapewright을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Claude Code가 scrapewright을 쓰고 있다고 하거나 답에 scrapewright 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Cursor에 연결할 수 있어요 · 약 5분

scrapewright 키가 필요해요 (제작자 사이트에서 만들기)

  1. scrapewright에 가입하고 키 만들기

    제작자 사이트에서 가입하고 다음 단계에 쓸 API 키를 만드세요. 요금과 무료 요금제는 제작자 사이트에서 확인하세요.

    scrapewright 사이트 열기 ↗

  2. 이 버튼으로 Cursor 열기

    Cursor에서 열기

    Cursor가 설치를 확인하면 Install을 누르세요

  3. 키 입력

    scrapewright 설정에서 X-API-Key가 비어 있어요. 내 키를 넣고 저장하세요

    키는 앱 입력란에만 붙여 넣고, 채팅에 붙이거나 다른 사람에게 보내지 마세요

  4. Cursor에서 AI 채팅을 Agent 모드로 열기

  5. 해 보기

    scrapewright을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Cursor가 scrapewright을 쓰고 있다고 하거나 답에 scrapewright 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Cursor 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

VS Code에 연결할 수 있어요 · 약 5분

scrapewright 키가 필요해요 (제작자 사이트에서 만들기)

  1. scrapewright에 가입하고 키 만들기

    제작자 사이트에서 가입하고 다음 단계에 쓸 API 키를 만드세요. 요금과 무료 요금제는 제작자 사이트에서 확인하세요.

    scrapewright 사이트 열기 ↗

  2. 이 버튼으로 VS Code 열기

    VS Code에서 열기

    VS Code가 설치를 확인하면 Install을 누르세요

  3. 키 입력

    scrapewright 설정에서 X-API-Key가 비어 있어요. 내 키를 넣고 저장하세요

    키는 앱 입력란에만 붙여 넣고, 채팅에 붙이거나 다른 사람에게 보내지 마세요

  4. VS Code에서 AI 채팅을 Agent 모드로 열기

  5. 해 보기

    scrapewright을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ VS Code가 scrapewright을 쓰고 있다고 하거나 답에 scrapewright 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 VS Code 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Windsurf, Zed, Gemini CLI 같은 다른 MCP 앱은 추가 방법이 저마다 달라요. 앱 목록에서 확인하세요

MCP를 쓰는 앱 모두 보기 →

웹으로 연결하는 앱용 주소

주소https://scrapewright.app/mcp

JSON 설정은 아래 “개발자용”에 있어요

막혔나요? scrapewright을 쓰는 사람에게 물어보세요💬 토론 →
개발자용: 터미널 명령과 JSON 설정

웹으로 연결

Claude Code

claude mcp add --transport http --scope user scrapewright https://scrapewright.app/mcp --header 'X-API-Key: your-value'

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scrapewright": {
      "url": "https://scrapewright.app/mcp",
      "headers": {
        "X-API-Key": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scrapewright": {
      "type": "http",
      "url": "https://scrapewright.app/mcp",
      "headers": {
        "X-API-Key": "your-value"
      }
    }
  }
}

컴퓨터에 설치

Claude Code

claude mcp add --scope user scrapewright --env ANTHROPIC_API_KEY=your-value -- uvx scrapewright mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "scrapewright": {
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "scrapewright": {
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "scrapewright": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "scrapewright",
        "mcp"
      ],
      "env": {
        "ANTHROPIC_API_KEY": "your-value"
      }
    }
  }
}

직접 입력할 값

  • ANTHROPIC_API_KEY 비밀 필수 env
    알려진 플랫폼을 사용하지 않는 사이트에만 필요하며, 레시피를 한 번 작성해야 합니다. Shopify 및 WooCommerce 스토어는 이 설정 없이도 작동합니다.
    영어 원문 보기Only needed for sites on no known platform, where a recipe has to be written once. Shopify and WooCommerce stores work without it.
  • SCRAPEWRIGHT_CACHE env
    컴파일된 레시피를 보관하는 위치입니다. 영구 저장소를 지정하세요. 그렇지 않으면 재시작할 때마다 사이트를 다시 분석해야 합니다. 기본값은 /.scrapewright/recipes.json입니다.
    영어 원문 보기Where compiled recipes are kept. Point it at durable storage, or every restart pays to work the same sites out again. Defaults to ~/.scrapewright/recipes.json
  • SCRAPEWRIGHT_OBEY_ROBOTS env
    0으로 설정하면 robots.txt를 무시합니다. 소유하거나 서면 허가를 받은 사이트에만 적절합니다. 기본값은 준수입니다.
    영어 원문 보기Set to 0 to ignore robots.txt. Only reasonable on sites you own or have written permission for; the default is to obey.
  • X-API-Key 비밀 필수 HTTP header
    scrapewright API 키. https://scrapewright.app 에서 무료로 발급받을 수 있으며, 월 1,000행이 제공되고 카드 등록은 필요 없습니다.
    영어 원문 보기Your scrapewright API key. Free at https://scrapewright.app — 1,000 rows a month, no card.

설명은 자동 번역이며 변수 이름은 원문 그대로입니다. 확실하지 않으면 원문을 확인하세요.

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

한눈에 보기

주간 다운로드i
44/주
연결 방식
컴퓨터 또는 클라우드
전송 방식
stdio, streamable-http
최신 버전i
1.0.3
카테고리i
기타
레지스트리 공개i
2026년 9월 30일
코드 마지막 변경i
2026년 11월 3일
마지막 확인
2026년 11월 13일
제작자
Ozymandias-Owens-2
패키지
pypi: scrapewright
웹사이트
scrapewright.app
레지스트리 상태
활성

어떤 앱에서 쓸 수 있나요

이 서버의 연결 방식과 각 앱의 공식 문서를 바탕으로 했어요. 2026년 11월 10일 확인.

인터넷으로 연결하는 앱

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

내 컴퓨터에서 실행하는 앱

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

모든 앱과 장단점 →

할 수 있는 일

도구 이름과 설명은 서버가 2026년 11월 13일에 알려 준 그대로예요. 우리가 아니라 제작자가 쓴 글이고, 일반 텍스트로만 보여 드려요.

  • detect_site

    Report what platform a site runs on and which strategy to use. Cheap; call it before a large job.

  • extract_page

    Extract structured data from ONE page. ``fields`` declares your own schema, e.g. ["title", "salary:number", "tags:list"]; omit it for the product schema. First call on a new site compiles a recipe (300 credits); later calls replay it for 1 credit per row. A site nobody could read

  • crawl_site

    Walk a site and extract every item. Waits up to four minutes; a longer crawl returns a job_id to pass to crawl_status. `mode` picks how the items are found. "rows" (the default) reads every card on the listing itself and follows its pagination -- right for search results, categor

  • crawl_status

    Fetch a crawl that outlived its call.

  • account

    Credits left and this month's usage for the key in use.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 19일 점검

  • ✓ 통과

    제작자와 저장소 일치

    레지스트리 이름이 GitHub 계정 Ozymandias-Owens-2 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요

  • ✓ 통과

    계속 관리되고 있음

    코드 마지막 변경: 16일 전

  • ✓ 통과

    라이선스 있음

    MIT 사용

  • ✓ 통과

    엔드포인트 응답

    92ms 만에 응답(HTTP 200)

  • – 해당 없음

    OAuth로 로그인

    로그인 필요 없음

  • ✓ 통과

    도구 설명에 숨겨진 지시 없음

    도구 설명 5개를 읽었고, AI에게 보내는 숨겨진 지시는 없었어요

공개된 취약점 (OSV.dev)

OSV.dev에 scrapewright@1.0.3 항목이 없습니다

이 버전의 패키지 자체만 확인하며 모든 의존성은 아닙니다 · 확인 2026년 11월 15일

우리가 확인하는 것 → · JSON

제작자: 재확인 요청 또는 잘못된 정보 신고
제작자용: README에 배지 달기

제작자라면 이 코드를 README에 붙여 넣으세요. 배지는 이 페이지로 연결됩니다.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/ozymandias-owens-2-scrapewright.svg)](https://mcp.popnx.com/en/servers/ozymandias-owens-2-scrapewright)

토론

질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.

아직 글이 없어요. 처음으로 질문하거나 공유해 보세요.

이곳의 글은 사용자가 쓴 것으로, PopNx 팀의 글이 아니에요.

로그인하고 글쓰기

사용자 리뷰

아직 리뷰가 없어요

로그인하고 리뷰 쓰기

기타 카테고리의 다른 서버와 비교i

  • 이 카테고리의 다른 서버 20653개 중 86%보다 스타가 많아요
  • 이 카테고리의 다른 서버 20653개 중 46%보다 최근에 레지스트리에 공개됐어요
  • 기본 점검 결과가 이 카테고리의 다른 서버 20653개 중 99%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

scrapewright, 안전한가요?

해당하는 기본 점검 5개 중 5개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

입력해야 할 값: X-API-Key, ANTHROPIC_API_KEY

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

둘 다 가능해요. 내 컴퓨터에 설치해도 되고, 클라우드 버전에 연결해도 돼요.

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 16일 전 변경됐고, 최신 버전(1.0.3)은 2개월 전 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. URL로 연결되므로 원격 MCP를 받는 앱에서도 쓸 수 있어요. 예: 웹 ChatGPT(Business 이상은 전체 MCP, Pro는 읽기 전용).

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu

비슷하게 동작하는 다른 것

같은 카테고리, 다른 제작자, 명령 확인 완료. 공식이 먼저, 그다음 스타 순.

카드 보는 법:↓ 주간 다운로드i★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

World Monitor

Real-time global intelligence on conflict, markets, energy, trade, shipping and cyber. 100 tools.

제작자: koala73널리 사용됨★ 9.1만3일 전 업데이트

클라우드에서 실행✓ 서비스 회사 · worldmonitor.app

openstatus

Manage monitors, status pages, incidents and maintenances in your openstatus workspace.

제작자: openstatusHQ널리 사용됨★ 9.3천2개월 전 업데이트

클라우드에서 실행✓ 서비스 회사 · openstatus.dev

Strata

MCP server for progressive tool usage at any scale (see https://klavis.ai)

제작자: Klavis-AI성장 중★ 5.8천14개월 전 업데이트

클라우드에서 실행저장소 보관됨✓ klavis.ai

Jitsu

Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.

제작자: jitsucom널리 사용됨★ 5.1천4개월 전 업데이트

클라우드에서 실행✓ 서비스 회사 · jitsu.com
비슷한 항목과 비교
이 항목
scrapewright
World MonitoropenstatusOh My Posh ValidatorStrataJitsu
실행 위치클라우드 또는 컴퓨터 설치 모두 가능클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요클라우드에서 동작, 설치 불필요
키 필요예아니요아니요아니요아니요아니요
Claude에서 +로 추가아니요아니요아니요아니요아니요아니요
기본 점검5/54/44/44/41/44/4
라이선스MITAGPL-3.0AGPL-3.0MITApache-2.0MIT
가격등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음등록 정보에 비용 없음

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

scrapewright

Give it a URL. It writes the scraper.

Most e-commerce catalog scraping splits into two worlds: sites on a known platform (Shopify, WooCommerce) that expose a clean JSON feed, and everything else — bespoke HTML where you hand-write a parser per site and re-write it every time the markup shifts. scrapewright collapses both into one call:

  1. Detect the platform behind a URL.
  2. For known platforms, extract deterministically from their public catalog API — free, stable, no LLM.
  3. For custom HTML, synthesize a reusable extractor once with an LLM, cache it, and replay it deterministically forever after.

The LLM is a *compiler*, not a runtime. It runs once per site to produce a recipe of CSS selectors; every page after that is parsed by plain BeautifulSoup at zero marginal cost. That is the whole cost-control story — no per-page model calls, no token bill that scales with your crawl.

                    ┌─────────────┐

store URL ───▶ │ detect │ └──────┬──────┘ ┌──────────────────┼──────────────────┐ ▼ ▼ ▼ shopify woocommerce generic HTML products.json wc/store/products (page mode) │ │ │ │ deterministic │ ▼ │ (free) │ cached recipe? ──yes──▶ replay (free) └────────┬─────────┘ │ no ▼ ▼ Product{} ◀───── selectors ── JSON-LD? ──yes──▶ Product{} (free) ▲ │ no │ ▼ └──────── replay ◀── LLM synthesizes recipe ONCE ──▶ cache

Everything normalizes to one Product shape, so downstream code never knows or cares which path a record came from.

Install

pip install scrapewright               # deterministic paths (Shopify, Woo, JSON-LD)

pip install "scrapewright[llm]" # + LLM recipe synthesis for custom HTML pip install "scrapewright[llm,js,excel,mcp]" # + JS rendering, XLSX, MCP server playwright install chromium # only needed for --js

Use it

from scrapewright import Scrapewright

sw = Scrapewright()

Catalog mode — a whole Shopify/WooCommerce store, deterministically

for product in sw.scrape_catalog("https://shop.example.com", max_items=200): print(product.brand, product.title, product.price, product.currency)

Page mode — one custom-HTML product page.

First call: tries JSON-LD (free); if absent, the LLM writes a recipe once.

Every later call on that domain: replayed from the cached recipe, no LLM.

item = sw.scrape_page("https://boutique.example.com/products/wool-coat") print(item.model_dump(exclude={"raw"}))

Crawl mode — walk a WHOLE custom store from one listing/category URL.

The frontier discovers product pages (deterministic, free); the first page

pays the single synthesis cost, every other page replays the recipe.

for product in sw.crawl("https://boutique.example.com/collection", max_items=100): print(product.title, product.price)

CLI
scrapewright detect https://shop.example.com          # platform + strategy

scrapewright run https://shop.example.com --max 50 # scrape a catalog → JSONL scrapewright crawl https://boutique.example.com/collection -o products.xlsx scrapewright run https://shop.example.com -o products.csv # Excel-ready CSV scrapewright add https://boutique.example.com/products/coat # learn a site scrapewright run https://boutique.example.com/products/coat --no-llm scrapewright list # cached recipe domains

-o writes .csv (Excel-ready, UTF-8 BOM), .xlsx (pip install scrapewright[excel]), or .jsonl; without it, products stream to stdout as JSONL.

Know what you are dealing with

detect answers the routing question before a job starts:

$ scrapewright detect https://some-store.com

https://some-store.com platform: bigcommerce catalog: - strategy: crawl note: BigCommerce (Stencil) markup

Twelve platforms are recognized: Shopify and WooCommerce publish a free JSON catalog, so those route to catalog — deterministic, no LLM, no browser. Magento, BigCommerce, Salesforce Commerce Cloud, Squarespace, Wix, Webflow, PrestaShop, Shopware, Ecwid and OpenCart are recognized by fingerprint and route to crawl, where the recipe path handles them like any custom site — the point of naming them is knowing what you face, not writing twelve parsers. Wix and Ecwid render client-side, so detection says crawl+js up front.

A site behind an anti-bot wall reports strategy: blocked with the HTTP status, rather than pretending it found nothing.

Bring your own schema

Products are just the built-in default. Declare the fields you want and the same compile-once/replay-free loop works on any structured page — job posts, listings, registry records:

scrapewright run https://jobs.example.com/p/123 -f title -f company -f salary:number -f tags:list --schema-name job
from scrapewright import Scrapewright, Schema

job = Schema.from_names(["title", "company", "salary:number", "tags:list"], name="job") record = Scrapewright().extract("https://jobs.example.com/p/123", job) print(record.data) # {'title': ..., 'company': ..., 'salary': ..., 'tags': [...]}

Field kinds are text (default), number, url, and list. A number field is parsed out of whatever the page wrote — "£51.77", "1.250,00", "€72,000" all become numbers — and when the page said more than the digits, the original is kept next to it as _text:

{ "price": 51.77, "price_text": "£51.77" }

A value that holds no number at all ("call us") is left as the page wrote it rather than dropped. Recipes are cached per site *and* per schema, so one domain can be compiled against several field sets without them overwriting each other.

Use it from an AI agent (MCP)

scrapewright speaks MCP, so an agent can call it as a tool instead of reading raw HTML itself. Two ways in.

Hosted, nothing to install. Point the client at the service with a key from scrapewright.app (1,000 free rows a month; an account that has never been topped up compiles one new site and renders twenty pages a day):

{

"mcpServers": { "scrapewright": { "url": "https://scrapewright.app/mcp", "headers": { "X-API-Key": "sw_..." } } } }

Tools: detect_site, extract_page, crawl_site, crawl_status, account. Paid from the same credit balance as the REST API; no model key of your own is needed.

Local, your own model key. Run the server on your machine:

pip install "scrapewright[mcp,llm]"

scrapewright mcp

Point any MCP client at that command and the agent gains five tools: detect_site, scrape_catalog, extract_page, crawl_site, and list_learned_sites.

Drop this into your client's config — Claude Desktop, Cursor, or anything else that speaks MCP:

{

"mcpServers": { "scrapewright": { "command": "uvx", "args": ["--from", "scrapewright[mcp,llm]", "scrapewright", "mcp"], "env": { "ANTHROPIC_API_KEY": "sk-ant-..." } } } }

The key is only needed for sites on no known platform, where a recipe has to be written once. Shopify and WooCommerce stores work without it.

The economics are the point. An agent that reads pages itself pays model tokens per page, forever. These tools pay once per site — an agent crawling 500 pages spends one synthesis, not five hundred, and platform stores (Shopify, WooCommerce) cost nothing at all.

Run it as a service

The same core behind an HTTP API, with keys, quotas, metering and background jobs:

pip install "scrapewright[service,llm]"

scrapewright keys create --label alice --plan free scrapewright serve --port 8000

curl -X POST localhost:8000/v1/extract   -H "X-API-Key: sw_..." -H "Content-Type: application/json"   -d '{"url": "https://shop.example.com/products/coat"}'
EndpointPurpose
POST /v1/detectplatform + strategy (cheap)
POST /v1/extractone page -> structured record
POST /v1/crawla whole site -> job id (crawls outlive a request)
... modelinks follow a listing into item pages · rows read the listing's own cards · like one item page -> every page shaped like it
GET /v1/jobs/{id}poll a crawl
`GET /v1/jobs/{id}/download?format=csv\xlsx\jsonl`the finished crawl as a file
GET /v1/usagewhat this key has consumed, against its plan

Or skip the API: scrapewright.app/account takes a listing URL and a field list, runs the crawl, and hands back the spreadsheet.

Prepaid credits, no subscription

One action costs real money: compiling a new site, a single LLM pass over a page, measured at $0.02 on a small product page and $0.15 on a heavy rendered one. Everything after that is BeautifulSoup — the ten-thousandth record from a compiled site is free to serve. So credits are priced off that one action, and everything else is denominated relative to it:

ActionCredits
1 record delivered1
1 browser render5
1 new site compiled300
page fetches, detectfree
$ scrapewright plans

pack credits price $/credit margin starter 10,000 $10 0.00100 80.0% growth 50,000 $40 0.00080 75.0% scale 250,000 $150 0.00060 66.7%

Free: 1,000 credits a month, resetting.

Margin is measured on compiling a site, because that is the only step that costs anything; a test fails if a price edit drops any pack below 60%. A free account can cost us at most $0.20 a month, even if every free credit goes to the most expensive action there is.

Credits are a ledger, not a counter — every grant and every charge is a row, so a disputed bill can be reconstructed line by line, and a replayed payment webhook cannot double-credit (grants take an idempotency key). Running out returns 402 with the balance and what to do about it; a crawl is capped by the credits on hand, so a job stops at what the caller can pay for instead of overdrawing.

scrapewright credits grant <key_id> --pack starter --idempotency <payment_id>

scrapewright credits balance

Taking payment

Stripe is wired in and turned on by environment, not by a code change:

pip install "scrapewright[service,stripe]"

export STRIPE_SECRET_KEY=sk_test_... # absent -> nothing is for sale export STRIPE_WEBHOOK_SECRET=whsec_... # absent -> webhooks are refused scrapewright serve

EndpointPurpose
GET /v1/credits/packsthe price list — public, no key needed
POST /v1/credits/checkoutstart a purchase, returns a Stripe Checkout URL
POST /v1/webhooks/stripepayment notifications from Stripe

The webhook endpoint takes no API key — Stripe is the caller, so the signature *is* the credential, and an unverified endpoint would be a free credit printer for anyone who guessed the URL. Three rules hold the integration up:

  • Verify every signature. No signing secret configured means webhooks are refused outright, rather than accepted unverified.
  • Never trust an amount off the wire. The event names a pack; how many credits that pack is worth is looked up

앞부분만 보여 드려요. 나머지는 저장소에서 읽어 보세요