Octocrawl

Name: Octocrawl
Author: 77777R7

de 77777R7versión 0.8.6i★ –iComputadora o nube

Nombre en el registroio.github.77777R7/octocrawl

Instalar

Resumen

Descripción del creador (original en inglés)

Pages, crawls and URL batches as clean Markdown and JSON for AI agents, with an Evidence Record.

Los tres pilares de PopNx MCP

Estos tres nunca se combinan en una sola puntuación: las opiniones, las mediciones y la popularidad son cosas distintas.

Opinión de usuariosiAún no hay reseñasLas reseñas se abrirán junto con las cuentas en una etapa posterior
Nuestras revisiones básicasi3 de 3 superadasRevisado con información pública; el código aún no se ha escaneado
UsoiAún sin medir★ –

Qué puedes hacer con él

Todavía no escribimos un resumen sencillo para este. Abajo están los datos que leímos del registro.

Conexión: Computadora o nube
Transporte: stdio, Streamable HTTP
Categoría: Otros
Debes completar: W2L_API_TOKEN

Instalación

Elige la app de IA que usas y copia la configuración.

Antes de instalar

Revisiones básicas: 3 de 3 superadas
Se ejecuta en el servidor del creador: lo que le pidas pasa por su servidor.
Puede hacer 2 cosas (herramientas) scrape, map
Debes completar tú: W2L_API_URL, W2L_API_TOKEN, W2L_MCP_TOOLSETS, W2L_MCP_READ_ONLY

Los valores marcados como secretos son llaves de tu cuenta. Nunca los compartas ni los pegues en un chat.

Necesitas

Se ejecuta en la nubeNo hay nada que instalar; se conecta por internet
npmNode.js instalado (para el comando npx)

¿Qué app usas?

ClaudeClaude CodeCursorVS CodeChatGPT

Elige tu app arriba. La recordamos, así que la próxima vez el botón dirá “Instalar en …”.

Funciona en Claude para web, escritorio y móvil:

Abre Settings → Connectors
Presiona Add custom connector
Pega la dirección de abajo y presiona Add
Si te pide iniciar sesión, inicia sesión en el servicio del creador

https://mcp.octocrawl.dev/mcp

O ejecútalo en tu computadora

Abre Claude Desktop → Settings → Developer → Edit Config y pega esto en claude_desktop_config.json

{
  "mcpServers": {
    "octocrawl": {
      "command": "npx",
      "args": [
        "-y",
        "@octocrawl/mcp"
      ],
      "env": {
        "W2L_API_URL": "your-value",
        "W2L_API_TOKEN": "your-value",
        "W2L_MCP_TOOLSETS": "your-value",
        "W2L_MCP_READ_ONLY": "your-value"
      }
    }
  }
}

Ejecuta esto en tu terminal

claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp

O ejecútalo en tu computadora

claude mcp add octocrawl --env W2L_API_URL=your-value --env W2L_API_TOKEN=your-value --env W2L_MCP_TOOLSETS=your-value --env W2L_MCP_READ_ONLY=your-value -- npx -y @octocrawl/mcp

Completa los valores vacíos antes de ejecutarlo.

Abrir en Cursor

O copia la configuración tú

Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json

{
  "mcpServers": {
    "octocrawl": {
      "url": "https://mcp.octocrawl.dev/mcp"
    }
  }
}

O ejecútalo en tu computadora

Abrir en Cursor

O copia la configuración tú

Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json

{
  "mcpServers": {
    "octocrawl": {
      "command": "npx",
      "args": [
        "-y",
        "@octocrawl/mcp"
      ],
      "env": {
        "W2L_API_URL": "your-value",
        "W2L_API_TOKEN": "your-value",
        "W2L_MCP_TOOLSETS": "your-value",
        "W2L_MCP_READ_ONLY": "your-value"
      }
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

Abrir en VS Code

O copia la configuración tú

Pégalo en .vscode/mcp.json de tu proyecto

{
  "servers": {
    "octocrawl": {
      "type": "http",
      "url": "https://mcp.octocrawl.dev/mcp"
    }
  }
}

O ejecútalo en tu computadora

Abrir en VS Code

O copia la configuración tú

Pégalo en .vscode/mcp.json de tu proyecto

{
  "servers": {
    "octocrawl": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "@octocrawl/mcp"
      ],
      "env": {
        "W2L_API_URL": "your-value",
        "W2L_API_TOKEN": "your-value",
        "W2L_MCP_TOOLSETS": "your-value",
        "W2L_MCP_READ_ONLY": "your-value"
      }
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

ChatGPT solo se conecta a servidores en internet:

Abre ChatGPT en la web → Settings → Connectors (Apps)
Presiona Create o Add (en algunos planes primero hay que activar Developer mode en Advanced)
Pega la dirección de abajo, ponle un nombre y guarda
Si te pide iniciar sesión, inicia sesión en el servicio del creador

https://mcp.octocrawl.dev/mcp

Los nombres de los menús pueden variar un poco según el plan y con el tiempo.

Tu elección se guarda en una cookie en este dispositivo; no necesitas cuenta.

Valores que debes completar

W2L_API_URL env
The Octocrawl API the server calls: npx octocrawl serve on this computer (default http://127.0.0.1:8787), or https://api.octocrawl.dev
W2L_API_TOKEN secreto env
A bearer token for a hosted or self-hosted API; none for a local one
W2L_MCP_TOOLSETS env
The tool groups to list, comma-separated: core, crawl, batch, products, logins, monitor, delivery, or all (default all); the same as --toolsets
W2L_MCP_READ_ONLY env
1 lists read-only tools alone, with a scrape that does not act as the person; the same as --read-only

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

Qué puede hacer

Nombres y descripciones de las herramientas tal como los informó el servidor el 7 nov 2026. Los escribió el creador, no nosotros; los mostramos como texto sin formato.

scrape
Read one URL as Markdown with its Evidence Record (final URL, fetch time, HTTP status, robots.txt decision, hashes), over HTTP first and in the browser when the page needs it. Not for: many URLs or a whole site section. Compact by default; debug adds the full audit. warnings name
map
List a site's URLs without reading each page: the start page's links (read over HTTP alone) and the entries of the sitemaps the site declares, within one deadline. URLs stay in scope (the start host and its www twin, the start path's subtree, assets left out, similar URLs folded)

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 7 nov 2026

✓ Superada
El creador coincide con el repo
El nombre en el registro se verificó con la cuenta de GitHub 77777R7, dueña del repo
… Aún sin revisar
Sigue en mantenimiento
Todavía no hemos leído este repo en GitHub
… Aún sin revisar
Tiene licencia
Todavía no hemos leído este repo en GitHub
✓ Superada
El endpoint responde
Respondió en 367 ms (HTTP 200)
– No aplica
Inicio de sesión con OAuth
No hace falta iniciar sesión
✓ Superada
Sin instrucciones ocultas en las descripciones de herramientas
Leímos 2 descripciones de herramientas y no encontramos instrucciones ocultas para la IA

Comparado con otros en Otrosi

Más estrellas que el 0% de los otros 32686 servidores de esta categoría
Publicado en el registro más recientemente que el 100% de los otros 32686 servidores de esta categoría
Revisiones básicas iguales o mejores que el 100% de los otros 32686 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro Octocrawl?

Superó 3 de 3 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

Debes completar: W2L_API_TOKEN

¿Se ejecuta en mi computadora o en la nube?

Funciona de las dos formas: instálalo en tu computadora o conéctate a la versión en la nube.

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez –, y la última versión (0.8.6) llegó al registro hoy.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. Se conecta por URL, así que también funcionan las apps que aceptan servidores MCP remotos, como ChatGPT en modo desarrollador.

¿Qué puedo usar en su lugar?

En la misma categoría: Spec Driven Development, Remote Desktop Commander, Microsoft Exchange Online MCP

Alternativas

Servidores de la misma categoría hechos por otros creadores, ordenados por estrellas.

Cómo leer una tarjeta:★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

Spec Driven Development

de formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

Se ejecuta en tu computadora★ 440MITActualizado hace 14 meses

Instalar

Remote Desktop Commander

de desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

Se ejecuta en la nube★ 211Actualizado anteayer

Instalar

Microsoft Exchange Online MCP

de servosity

Exchange Online admin for MSPs: forwarding audits, EWS posture and offboarding, no PowerShell

Se ejecuta en tu computadoraActualizado hoy

Instalar

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

Octocrawl

One link. Web data, ready.

Markdown and data from web pages, for AI agents and RAG.

Fewer tokens than raw HTML. Every result records how it was read.

Website · Docs · Connect MCP · Blog · Changelog

Scrape pages. Crawl websites. Turn web content into usable data.

Octocrawl is an open-source web scraping and crawling toolkit for AI agents, RAG and research. Collect documentation for a knowledge base, extract product details for comparison, or turn web tables and listings into data for analysis. Each page comes with a source record.

Try a page in your browser, or connect your agent through hosted MCP or the REST API. No installation or API key is needed to try the hosted service.

What can you do with Octocrawl?

Capability	What you get
Scrape a page	Readable Markdown for LLM context, plus HTML, links, image URLs and page metadata. Request a screenshot on the browser lane.
Map a website	Discover URLs from sitemaps and page links, and filter them by a search term to find the pages you need.
Crawl a site or section	Follow links from a starting URL and collect each page's content, with path filters, depth and page limits.
Scrape a list of URLs	Submit a batch, retrieve results as they arrive, and keep the outcome of every URL, including failures.
Extract structured data	Get tables and repeated listings as JSON and CSV, or pass a JSON Schema for supported fields such as product names, prices and page labels. Extraction guide.
Read dynamic pages · local actions	Render JavaScript, click controls, scroll, load more items and follow pagination before extracting content. Browser actions.
Read PDF reports	Extract a PDF's text layer with page markers for citations. CSV, JSON and plain-text URLs also return their text. File support.
Revisit sources on a schedule · local workers	Run Monitors and send their events to an HTTPS endpoint with retried delivery. Monitor setup.

Hosted Octocrawl offers scrape and map, and with an account crawl and batch jobs (up to 500 pages a crawl, 1,000 URLs a batch); keyless requests use HTTP, and an account key enables the browser lane. Run locally for larger jobs, page actions and Monitors; see Running Octocrawl for setup and self-hosting options. The web preview is a single-page trial, with five pages a day and up to 20 named fields.

Why Octocrawl?

Web data inside your agent. Connect Claude Code, Cursor, OpenCode or Codex through MCP, or build with REST, TypeScript, Python and the Vercel AI SDK.
Structured fields without a model by default. Read supported values from the page itself, with field evidence and explicit missing values. Model fallback is opt-in.
Know when a scrape fell short. Checks flag challenge pages, wrong content, missing facts, truncation and too little content. Blocked and failed results carry a reason; fetched error pages keep their status and Markdown. Result states.
Trace results back to their sources. Each page carries an Evidence Record with its URL, fetch time, status and extraction evidence. Unobserved values stay null.
Run it where you need it. Use the hosted service, run with npx, or self-host with Docker Compose. The server is AGPL-3.0; the client libraries are MIT.

If Octocrawl helps your work, give the repository a star.

Quick start

Connect your agent to hosted Octocrawl. No key is needed to start (steps for Claude Code, Cursor, OpenCode and Codex):

claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp

Without a key it reads 20 pages a day over HTTP. For more, sign in and make a key: an account gets 1,000 credits a month and the browser lane. The key goes in a header, never in the URL:

claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp --header "Authorization: Bearer oc_…"

Or run it on your own computer. You need Node.js 22.13+ or 24+:

npx octocrawl scrape https://example.com --markdown

pip install 'octocrawl-client[pandas]' # the Python client of a running API (npx octocrawl serve); [pandas] for to_pandas() npm install @octocrawl/sdk # the TypeScript client; @octocrawl/mcp is the MCP server npm install @octocrawl/ai-sdk # scrape and map as Vercel AI SDK tools, on hosted Octocrawl by default

Pages are read over HTTP first. For pages that only appear in a browser, install Chromium once with npx playwright install chromium; until then such a page comes back with a browser_not_installed warning that names the command.

To give your agent every tool, with no daily limit, run the API locally and connect the MCP server to it:

npx octocrawl serve                                  # keep it running: the API on 127.0.0.1:8787

claude mcp add octocrawl -- npx -y @octocrawl/mcp # the published stdio server, a client of that API

The hosted service offers scrape and map, and with an account crawl and batch jobs. The local server adds larger jobs, the Amazon.sg product tool and the Monitor tools. To serve other machines yourself, npx octocrawl serve --hosted --token refuses private addresses, robots overrides and saved logins as the hosted service does. Running Octocrawl covers all three; Docker Compose runs one on your own server. An agent installing Octocrawl for you (Cline, for one) can follow llms-install.md.

What a failure looks like

The test page below answers HTTP 200 but shows a Cloudflare check instead of content (fixture block-challenge-200). A crawler that trusts the status code counts it as a success. Octocrawl tries plain HTTP, then a browser, and reports the page as blocked, with what to do next:

npx octocrawl scrape http://127.0.0.1:8799/block/challenge-200

"status": "blocked", "blockReason": "cloudflare_challenge", "channelsTried": ["http", "browser_local"], "markdown": null, "snapshot": { "httpStatus": 200, "artifacts": [] }, "usage": { "wallMs": 1079, "bytesWire": null, "externalCostUsd": 0 }, "agentHints": [ "127.0.0.1 gates automated access on the lanes tried (http, browser_local); … a proxy or session you own is the supported route, or, on your own machine, getting through the check yourself in your own Chrome: handoff: true on a scrape (octocrawl scrape --handoff) …" ], "evidenceRecord": { "schemaVersion": "w2l.evidence/1", "status": "blocked", "reason": "cloudflare_challenge", "lane": "browser_local", "…": "…" } }

This is real output of octocrawl 0.4.1, trimmed (…) and rounded, against the repository's fixture server (FIXTURE_PORT=8799 node --import tsx packages/fixtures/src/cli.ts). bytesWire: null means wire bytes were not measured; artifacts: [] means no screenshot or DOM snapshot was made.

Documentation

The site's docs at octocrawl.dev/docs cover MCP setup for four clients, task guides and limits. They are built from apps/public-web/content.

The full reference lives in docs/:

Topic	Page
The `octocrawl` command	Command line
Hosted, local and self-hosted servers, ports, tokens, proxies, robots.txt	Running Octocrawl
Options for a scrape and what a result carries	Scrape options and results
Many URLs, whole sites, site maps, webhooks	Batches, crawls and maps
Structured data from a JSON Schema	JSON extraction
PDF, CSV, XLSX, ZIP and JSON URLs	Files
Your login, enhanced access, handoff, your own Chrome	Access
Scheduled re-reads and HTTPS events	Monitors
Moving from Firecrawl	Firecrawl shim

Walkthroughs of real runs are on the blog: Claude Code web scraping with MCP, Web scraping for RAG, Find all pages on a website, Scrape a website with login, in your own Chrome, Extract structured data without an LLM, Scrape a list of URLs and keep every failure.

For researchers, two guides walk through a real run: From a URL list to a CSV with evidence and Citing web data in a paper.

For the Monitor → result → HTTPS event → restart workflow, follow the onboarding guide.

Work on the code

You need Node.js 22.13+ or 24+ and npm. The PDF engine, pdf.js, needs 22.13 or later.

git clone https://github.com/77777R7/Octocrawl.git

cd Octocrawl npm ci npx playwright install chromium npm run typecheck npm test npm run scrape -- https://example.com --markdown npm run crawl -- https://example.com --max-pages 20

The packag

Solo se muestra el principio; lee el resto en el repo

Octocrawl

Resumen

Los tres pilares de PopNx MCP

Qué puedes hacer con él

Instalación

Antes de instalar

O ejecútalo en tu computadora

O ejecútalo en tu computadora

O ejecútalo en tu computadora

O ejecútalo en tu computadora

Valores que debes completar

Qué puede hacer

Revisiones básicasi

El creador coincide con el repo

Sigue en mantenimiento

Tiene licencia

El endpoint responde

Inicio de sesión con OAuth

Sin instrucciones ocultas en las descripciones de herramientas

Comparado con otros en Otrosi

Preguntas frecuentes

Alternativas

Spec Driven Development

Remote Desktop Commander

Microsoft Exchange Online MCP

README del creador

What can you do with Octocrawl?

Why Octocrawl?

Quick start

What a failure looks like

Documentation

Work on the code