Octocrawl

Name: Octocrawl
Author: 77777R7

von 77777R7Version 0.8.5i★ –iComputer oder Cloud

Name in der Registryio.github.77777R7/octocrawl

Installieren

Überblick

Beschreibung vom Entwickler (englisches Original)

Pages, crawls and URL batches as clean Markdown and JSON for AI agents, with an Evidence Record.

Die drei Säulen von PopNx MCP

Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.

Stimmen der NutzeriNoch keine BewertungenBewertungen starten in einem späteren Schritt zusammen mit Benutzerkonten
Unsere Basischecksi3 von 3 bestandenAnhand öffentlicher Informationen geprüft; Code noch nicht gescannt
NutzungiNoch nicht gemessen★ –

Was du damit machen kannst

Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.

Verbindung: Computer oder Cloud
Transport: stdio, Streamable HTTP
Kategorie: Sonstiges
Das musst du eintragen: W2L_API_TOKEN

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Bevor du installierst

Basischecks: 3 von 3 bestanden
Läuft auf dem Server des Entwicklers: Was du fragst, läuft über dessen Server.
Kann 2 Dinge (Tools) scrape, map
Das trägst du selbst ein: W2L_API_URL, W2L_API_TOKEN, W2L_MCP_TOOLSETS, W2L_MCP_READ_ONLY

Als geheim markierte Werte sind Schlüssel zu deinem Konto. Gib sie nie weiter und füge sie nie in einen Chat ein.

Du brauchst

Läuft in der CloudNichts zu installieren; die Verbindung läuft übers Internet
npmNode.js installiert (für den Befehl npx)

Welche App nutzt du?

ClaudeClaude CodeCursorVS CodeChatGPT

Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.

Funktioniert in Claude im Web, auf dem Desktop und auf dem Handy:

Öffne Settings → Connectors
Tippe auf Add custom connector
Füge die Adresse unten ein und tippe auf Add
Wenn eine Anmeldung verlangt wird, melde dich beim Dienst des Entwicklers an

https://mcp.octocrawl.dev/mcp

Oder führ ihn auf deinem Computer aus

Öffne Claude Desktop → Settings → Developer → Edit Config und füge dies in claude_desktop_config.json ein

{
  "mcpServers": {
    "octocrawl": {
      "command": "npx",
      "args": [
        "-y",
        "@octocrawl/mcp"
      ],
      "env": {
        "W2L_API_URL": "your-value",
        "W2L_API_TOKEN": "your-value",
        "W2L_MCP_TOOLSETS": "your-value",
        "W2L_MCP_READ_ONLY": "your-value"
      }
    }
  }
}

Führe das in deinem Terminal aus

claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp

Oder führ ihn auf deinem Computer aus

claude mcp add octocrawl --env W2L_API_URL=your-value --env W2L_API_TOKEN=your-value --env W2L_MCP_TOOLSETS=your-value --env W2L_MCP_READ_ONLY=your-value -- npx -y @octocrawl/mcp

Trag die leeren Werte ein, bevor du ihn startest.

In Cursor öffnen

Oder kopier die Einstellungen selbst

In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen

{
  "mcpServers": {
    "octocrawl": {
      "url": "https://mcp.octocrawl.dev/mcp"
    }
  }
}

Oder führ ihn auf deinem Computer aus

In Cursor öffnen

Oder kopier die Einstellungen selbst

In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen

{
  "mcpServers": {
    "octocrawl": {
      "command": "npx",
      "args": [
        "-y",
        "@octocrawl/mcp"
      ],
      "env": {
        "W2L_API_URL": "your-value",
        "W2L_API_TOKEN": "your-value",
        "W2L_MCP_TOOLSETS": "your-value",
        "W2L_MCP_READ_ONLY": "your-value"
      }
    }
  }
}

Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.

In VS Code öffnen

Oder kopier die Einstellungen selbst

In .vscode/mcp.json in deinem Projekt einfügen

{
  "servers": {
    "octocrawl": {
      "type": "http",
      "url": "https://mcp.octocrawl.dev/mcp"
    }
  }
}

Oder führ ihn auf deinem Computer aus

In VS Code öffnen

Oder kopier die Einstellungen selbst

In .vscode/mcp.json in deinem Projekt einfügen

{
  "servers": {
    "octocrawl": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "@octocrawl/mcp"
      ],
      "env": {
        "W2L_API_URL": "your-value",
        "W2L_API_TOKEN": "your-value",
        "W2L_MCP_TOOLSETS": "your-value",
        "W2L_MCP_READ_ONLY": "your-value"
      }
    }
  }
}

Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.

ChatGPT verbindet sich nur mit Servern im Internet:

Öffne ChatGPT im Web → Settings → Connectors (Apps)
Tippe auf Create oder Add (bei manchen Tarifen musst du zuerst Developer mode unter Advanced einschalten)
Füge die Adresse unten ein, gib ihr einen Namen und speichere
Wenn eine Anmeldung verlangt wird, melde dich beim Dienst des Entwicklers an

https://mcp.octocrawl.dev/mcp

Menünamen können sich je nach Tarif und mit der Zeit leicht unterscheiden.

Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.

Werte, die du selbst einträgst

W2L_API_URL env
The Octocrawl API the server calls: npx octocrawl serve on this computer (default http://127.0.0.1:8787), or https://api.octocrawl.dev
W2L_API_TOKEN geheim env
A bearer token for a hosted or self-hosted API; none for a local one
W2L_MCP_TOOLSETS env
The tool groups to list, comma-separated: core, crawl, batch, products, logins, monitor, delivery, or all (default all); the same as --toolsets
W2L_MCP_READ_ONLY env
1 lists read-only tools alone, with a scrape that does not act as the person; the same as --read-only

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Was er kann

Tool-Namen und -Beschreibungen genau so, wie der Server sie am 6. Nov. 2026 gemeldet hat. Geschrieben hat sie der Entwickler, nicht wir; wir zeigen sie als reinen Text.

scrape
Read one URL as Markdown with its Evidence Record (final URL, fetch time, HTTP status, robots.txt decision, hashes), over HTTP first and in the browser when the page needs it. Not for: many URLs or a whole site section. Compact by default; debug adds the full audit. warnings name
map
List a site's URLs without reading each page: the start page's links (read over HTTP alone) and the entries of the sitemaps the site declares, within one deadline. URLs stay in scope (the start host and its www twin, the start path's subtree, assets left out, similar URLs folded)

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 7. Nov. 2026

✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto 77777R7 bestätigt, dem das Repo gehört
… Noch nicht geprüft
Wird noch gepflegt
Dieses Repo haben wir noch nicht von GitHub gelesen
… Noch nicht geprüft
Hat eine Lizenz
Dieses Repo haben wir noch nicht von GitHub gelesen
✓ Bestanden
Endpunkt antwortet
Antwort in 544 ms (HTTP 200)
– Nicht zutreffend
Anmeldung mit OAuth
Keine Anmeldung nötig
✓ Bestanden
Keine versteckten Anweisungen in Tool-Beschreibungen
Wir haben 2 Tool-Beschreibungen gelesen und keine versteckten Anweisungen an die KI gefunden

Im Vergleich mit anderen in Sonstigesi

Mehr Sterne als 0 % der anderen 32623 Server in dieser Kategorie
Neuer in der Registry veröffentlicht als 95 % der anderen 32623 Server in dieser Kategorie
Basischecks gleich gut wie oder besser als bei 100 % der anderen 32623 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist Octocrawl sicher?

Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Das musst du eintragen: W2L_API_TOKEN

Läuft er auf meinem Computer oder in der Cloud?

Beides geht: Installiere ihn auf deinem Computer oder verbinde dich mit der Cloud-Version.

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (0.8.5) kam gestern in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL, also funktionieren auch Apps, die Remote-MCP-Server akzeptieren, zum Beispiel ChatGPT im Entwicklermodus.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Spec Driven Development, Remote Desktop Commander, Draugr

Alternativen

Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.

So liest du eine Karte:★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Spec Driven Development

von formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

Läuft auf deinem Computer★ 440MITAktualisiert vor 14 Monaten

Installieren

Remote Desktop Commander

von desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

Läuft in der Cloud★ 211Aktualisiert vorgestern

Installieren

Draugr

von draugr-dev

Security scanning for AI agents: SAST, SCA, secrets, IaC, DAST, ranked by real risk.

Läuft auf deinem ComputerAktualisiert heute

Installieren

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

Octocrawl

One link. Web data, ready.

Markdown and data from web pages, for AI agents and RAG.

Fewer tokens than raw HTML. Every result records how it was read.

Website · Docs · Connect MCP · Blog · Changelog

Scrape pages. Crawl websites. Turn web content into usable data.

Octocrawl is an open-source web scraping and crawling toolkit for AI agents, RAG and research. Collect documentation for a knowledge base, extract product details for comparison, or turn web tables and listings into data for analysis. Each page comes with a source record.

Try a page in your browser, or connect your agent through hosted MCP or the REST API. No installation or API key is needed to try the hosted service.

What can you do with Octocrawl?

Capability	What you get
Scrape a page	Readable Markdown for LLM context, plus HTML, links, image URLs and page metadata. Request a screenshot on the browser lane.
Map a website	Discover URLs from sitemaps and page links, and filter them by a search term to find the pages you need.
Crawl a site or section	Follow links from a starting URL and collect each page's content, with path filters, depth and page limits.
Scrape a list of URLs	Submit a batch, retrieve results as they arrive, and keep the outcome of every URL, including failures.
Extract structured data	Get tables and repeated listings as JSON and CSV, or pass a JSON Schema for supported fields such as product names, prices and page labels. Extraction guide.
Read dynamic pages · local actions	Render JavaScript, click controls, scroll, load more items and follow pagination before extracting content. Browser actions.
Read PDF reports	Extract a PDF's text layer with page markers for citations. CSV, JSON and plain-text URLs also return their text. File support.
Revisit sources on a schedule · local workers	Run Monitors and send their events to an HTTPS endpoint with retried delivery. Monitor setup.

Hosted Octocrawl offers scrape and map, and with an account crawl and batch jobs (up to 500 pages a crawl, 1,000 URLs a batch); keyless requests use HTTP, and an account key enables the browser lane. Run locally for larger jobs, page actions and Monitors; see Running Octocrawl for setup and self-hosting options. The web preview is a single-page trial, with five pages a day and up to 20 named fields.

Why Octocrawl?

Web data inside your agent. Connect Claude Code, Cursor, OpenCode or Codex through MCP, or build with REST, TypeScript, Python and the Vercel AI SDK.
Structured fields without a model by default. Read supported values from the page itself, with field evidence and explicit missing values. Model fallback is opt-in.
Know when a scrape fell short. Checks flag challenge pages, wrong content, missing facts, truncation and too little content. Blocked and failed results carry a reason; fetched error pages keep their status and Markdown. Result states.
Trace results back to their sources. Each page carries an Evidence Record with its URL, fetch time, status and extraction evidence. Unobserved values stay null.
Run it where you need it. Use the hosted service, run with npx, or self-host with Docker Compose. The server is AGPL-3.0; the client libraries are MIT.

If Octocrawl helps your work, give the repository a star.

Quick start

Connect your agent to hosted Octocrawl. No key is needed to start (steps for Claude Code, Cursor, OpenCode and Codex):

claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp

Without a key it reads 20 pages a day over HTTP. For more, sign in and make a key: an account gets 1,000 credits a month and the browser lane. The key goes in a header, never in the URL:

claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp --header "Authorization: Bearer oc_…"

Or run it on your own computer. You need Node.js 22.13+ or 24+:

npx octocrawl scrape https://example.com --markdown

pip install 'octocrawl-client[pandas]' # the Python client of a running API (npx octocrawl serve); [pandas] for to_pandas() npm install @octocrawl/sdk # the TypeScript client; @octocrawl/mcp is the MCP server npm install @octocrawl/ai-sdk # scrape and map as Vercel AI SDK tools, on hosted Octocrawl by default

Pages are read over HTTP first. For pages that only appear in a browser, install Chromium once with npx playwright install chromium; until then such a page comes back with a browser_not_installed warning that names the command.

To give your agent every tool, with no daily limit, run the API locally and connect the MCP server to it:

npx octocrawl serve                                  # keep it running: the API on 127.0.0.1:8787

claude mcp add octocrawl -- npx -y @octocrawl/mcp # the published stdio server, a client of that API

The hosted service offers scrape and map, and with an account crawl and batch jobs. The local server adds larger jobs, the Amazon.sg product tool and the Monitor tools. To serve other machines yourself, npx octocrawl serve --hosted --token refuses private addresses, robots overrides and saved logins as the hosted service does. Running Octocrawl covers all three; Docker Compose runs one on your own server. An agent installing Octocrawl for you (Cline, for one) can follow llms-install.md.

What a failure looks like

The test page below answers HTTP 200 but shows a Cloudflare check instead of content (fixture block-challenge-200). A crawler that trusts the status code counts it as a success. Octocrawl tries plain HTTP, then a browser, and reports the page as blocked, with what to do next:

npx octocrawl scrape http://127.0.0.1:8799/block/challenge-200

"status": "blocked", "blockReason": "cloudflare_challenge", "channelsTried": ["http", "browser_local"], "markdown": null, "snapshot": { "httpStatus": 200, "artifacts": [] }, "usage": { "wallMs": 1079, "bytesWire": null, "externalCostUsd": 0 }, "agentHints": [ "127.0.0.1 gates automated access on the lanes tried (http, browser_local); … a proxy or session you own is the supported route, or, on your own machine, getting through the check yourself in your own Chrome: handoff: true on a scrape (octocrawl scrape --handoff) …" ], "evidenceRecord": { "schemaVersion": "w2l.evidence/1", "status": "blocked", "reason": "cloudflare_challenge", "lane": "browser_local", "…": "…" } }

This is real output of octocrawl 0.4.1, trimmed (…) and rounded, against the repository's fixture server (FIXTURE_PORT=8799 node --import tsx packages/fixtures/src/cli.ts). bytesWire: null means wire bytes were not measured; artifacts: [] means no screenshot or DOM snapshot was made.

Documentation

The site's docs at octocrawl.dev/docs cover MCP setup for four clients, task guides and limits. They are built from apps/public-web/content.

The full reference lives in docs/:

Topic	Page
The `octocrawl` command	Command line
Hosted, local and self-hosted servers, ports, tokens, proxies, robots.txt	Running Octocrawl
Options for a scrape and what a result carries	Scrape options and results
Many URLs, whole sites, site maps, webhooks	Batches, crawls and maps
Structured data from a JSON Schema	JSON extraction
PDF, CSV, XLSX, ZIP and JSON URLs	Files
Your login, enhanced access, handoff, your own Chrome	Access
Scheduled re-reads and HTTPS events	Monitors
Moving from Firecrawl	Firecrawl shim

Walkthroughs of real runs are on the blog: Claude Code web scraping with MCP, Web scraping for RAG, Find all pages on a website, Scrape a website with login, in your own Chrome, Extract structured data without an LLM, Scrape a list of URLs and keep every failure.

For researchers, two guides walk through a real run: From a URL list to a CSV with evidence and Citing web data in a paper.

For the Monitor → result → HTTPS event → restart workflow, follow the onboarding guide.

Work on the code

You need Node.js 22.13+ or 24+ and npm. The PDF engine, pdf.js, needs 22.13 or later.

git clone https://github.com/77777R7/Octocrawl.git

cd Octocrawl npm ci npx playwright install chromium npm run typecheck npm test npm run scrape -- https://example.com --markdown npm run crawl -- https://example.com --max-pages 20

The packag

Nur der Anfang wird gezeigt; den Rest findest du im Repo

Octocrawl

Überblick

Die drei Säulen von PopNx MCP

Was du damit machen kannst

Installation

Bevor du installierst

Oder führ ihn auf deinem Computer aus

Oder führ ihn auf deinem Computer aus

Oder führ ihn auf deinem Computer aus

Oder führ ihn auf deinem Computer aus

Werte, die du selbst einträgst

Was er kann

Basischecksi

Entwickler passt zum Repo

Wird noch gepflegt

Hat eine Lizenz

Endpunkt antwortet

Anmeldung mit OAuth

Keine versteckten Anweisungen in Tool-Beschreibungen

Im Vergleich mit anderen in Sonstigesi

Häufige Fragen

Alternativen

Spec Driven Development

Remote Desktop Commander

Draugr

README vom Entwickler

What can you do with Octocrawl?

Why Octocrawl?

Quick start

What a failure looks like

Documentation

Work on the code