Prototipo · Versión preliminar: todos los servidores del registro oficial, sincronizados cada 30 minutos. Las reseñas y las cuentas llegarán en una etapa posterior.
PopNx MCPServidores MCP para quienes usan IA · explicados con palabras sencillas
Modo principiante Activado
ColoresSistemaClaroOscuro
IdiomaไทยEnglish中文日本語한국어EspañolDeutsch
☰ MenúAjustes
Modo principiante Activado
ColoresSistemaClaroOscuro
IdiomaไทยEnglish中文日本語한국어EspañolDeutsch

Web Crawler MCP by InsightfulPipe

de Insightful-Pipeversión 1.0.0i★ –iSe ejecuta en la nube
Nombre en el registrocom.insightfulpipe/crawler

Instalar

Resumen

Descripción del creador (original en inglés)

Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.

Los tres pilares de PopNx MCP

Estos tres nunca se combinan en una sola puntuación: las opiniones, las mediciones y la popularidad son cosas distintas.

Qué puedes hacer con él

Todavía no escribimos un resumen sencillo para este. Abajo están los datos que leímos del registro.

  • Conexión: Se ejecuta en la nube
  • Transporte: Streamable HTTP
  • Categoría: Web y navegadores

Instalación

Elige la app de IA que usas y copia la configuración.

Antes de instalar

Necesitas

¿Qué app usas?

Elige tu app arriba. La recordamos, así que la próxima vez el botón dirá “Instalar en …”.

Funciona en Claude para web, escritorio y móvil:

  1. Abre Settings → Connectors
  2. Presiona Add custom connector
  3. Pega la dirección de abajo y presiona Add
  4. Si te pide iniciar sesión, inicia sesión en el servicio del creador
SettingsConnectors1+ Add2https://…3
https://crawler.insightfulmcp.com/

Ejecuta esto en tu terminal

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

Abrir en Cursor

O copia la configuración tú

Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

Abrir en VS Code

O copia la configuración tú

Pégalo en .vscode/mcp.json de tu proyecto

{
  "servers": {
    "crawler": {
      "type": "http",
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

ChatGPT solo se conecta a servidores en internet:

  1. Abre ChatGPT en la web → Settings → Connectors (Apps)
  2. Presiona Create o Add (en algunos planes primero hay que activar Developer mode en Advanced)
  3. Pega la dirección de abajo, ponle un nombre y guarda
  4. Si te pide iniciar sesión, inicia sesión en el servicio del creador
SettingsConnectors1+ Create2https://…3
https://crawler.insightfulmcp.com/

Los nombres de los menús pueden variar un poco según el plan y con el tiempo.

Tu elección se guarda en una cookie en este dispositivo; no necesitas cuenta.

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

Qué puede hacer

Todavía no hemos leído la lista de herramientas de este servidor; revisamos los endpoints por turnos.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 7 nov 2026

  • ✓ Superada

    El creador coincide con el repo

    El nombre en el registro se verificó con el dominio insightfulpipe.com (el registro comprueba quién es dueño del dominio)

  • … Aún sin revisar

    Sigue en mantenimiento

    Todavía no hemos leído este repo en GitHub

  • … Aún sin revisar

    Tiene licencia

    Todavía no hemos leído este repo en GitHub

  • … Aún sin revisar

    El endpoint responde

    Aún sin revisar; revisamos los endpoints por turnos

  • … Aún sin revisar

    Inicio de sesión con OAuth

    Aún sin revisar; revisamos los endpoints por turnos

  • … Aún sin revisar

    Sin instrucciones ocultas en las descripciones de herramientas

    Aún sin revisar; leemos la lista de herramientas cuando revisamos el endpoint

Comparado con otros en Web y navegadoresi

  • Más estrellas que el 0% de los otros 879 servidores de esta categoría
  • Publicado en el registro más recientemente que el 66% de los otros 879 servidores de esta categoría
  • Revisiones básicas iguales o mejores que el 100% de los otros 879 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro Web Crawler MCP by InsightfulPipe?

Superó 1 de 1 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en la nube del creador. Te conectas por internet sin instalar nada, pero lo que envías pasa por los servidores del creador.

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez –, y la última versión (1.0.0) llegó al registro hace 17 días.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. Se conecta por URL, así que también funcionan las apps que aceptan servidores MCP remotos, como ChatGPT en modo desarrollador.

¿Qué puedo usar en su lugar?

En la misma categoría: Browser Use, Chrome DevTools MCP, MCP Server Browser

Alternativas

Servidores de la misma categoría hechos por otros creadores, ordenados por estrellas.

Cómo leer una tarjeta:★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

Browser Use

de browser-use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

Computadora o nube★ 120.087MITActualizado hace 17 días
Instalar

Chrome DevTools MCP

de ChromeDevTools

MCP server for Chrome DevTools

Se ejecuta en tu computadora★ 54.821Apache-2.0Actualizado hace 15 días
Instalar

MCP Server Browser

de bytedance

MCP server for browser use access

Se ejecuta en tu computadora★ 39.550Apache-2.0Actualizado hace 14 meses
Instalar

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

Comprehensive SEO auditing and web crawling through AI with MCP.

Part of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

MCP Server URL

https://crawler.insightfulmcp.com/

What is Web Crawler MCP?

Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:

  • Run 25+ specialized SEO checkers on any URL
  • Generate XML sitemaps and robots.txt files
  • Extract brand design elements from websites
  • Audit technical SEO, content quality, and security
  • Analyze mobile responsiveness and page speed

Installation

Claude
  1. Copy the MCP Server URL: https://crawler.insightfulmcp.com/
  2. Open Claude Connectors Settings
  3. Scroll to the bottom and click Add custom connector
  4. Paste the URL and click Add
  5. Click Connect and sign in to InsightfulPipe if asked. Claude then lists the connector as connected.
ChatGPT

Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.

  1. Turn on Developer mode in ChatGPT settings
  2. Create a new app for a remote MCP server and paste the URL: https://crawler.insightfulmcp.com/
  3. Sign in to InsightfulPipe if asked. The connection finishes as soon as you are signed in.

See OpenAI's guide: Developer mode and MCP apps in ChatGPT

Claude Code
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Cursor

Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):

{

"mcpServers": { "crawler": { "url": "https://crawler.insightfulmcp.com/" } } }

When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.

Available Actions

33 actions: 33 read, 0 write.

Read Actions (33)

Show all 33 read actions

ActionDescription
ai-crawler-checkerCheck permissions for AI training bots and crawlers
amp-checkerVerify AMP implementation quality and discoverability
brand-extractorExtract brand design details from a website (colors, fonts, buttons, logos)
canonical-checkerValidate canonical URLs and conflicting hints
character-encoding-checkerValidate declared charset and encoding consistency
content-optimizer-checkerAnalyze on-page content quality and keyword density
content-quality-checkerScore readability, word count, and duplication risk
deprecated-html-checkerDetect obsolete tags or attributes still in use
favicon-checkerConfirm favicon/icon discovery across devices
headings-checkerReview heading hierarchy (H1-H6) for structure gaps
hreflang-checkerReview international hreflang annotations
image-optimization-checkerCheck alt text, formats, and compression levels
indexability-checkerReview robots/meta directives affecting indexation
internal-linking-checkerMap internal links and surface opportunities
language-checkerVerify html[lang] attributes and language targeting
link-analysis-checkerDetect broken or low-quality links on page
link-extractorExtract all links from a page and categorize them (internal and external)
llms-txt-checkerParse llms.txt instructions for AI crawlers
meta-tags-checkerInspect meta title/description tags across the page
mobile-responsive-checkerAudit responsive layout rules and breakpoints
mobile-viewport-checkerEnsure viewport meta tags and responsive meta configs are in place
page-load-checkerMeasure page weight and render-blocking assets
page-speed-checkerMeasure load times and highlight slow resources
robots-txt-checkerParse robots.txt directives and highlight blocking issues
robots-txt-generatorGenerate robots.txt content with optional AI bot restrictions
security-headers-checkerCheck CSP/HSTS and other security headers
seo-audit-checkerComprehensive SEO audit covering technical and content issues
sitemap-generatorCrawl the target domain and produce an XML sitemap
social-media-checkerValidate Open Graph and Twitter Card metadata
ssl-certificate-checkerInspect certificate chain, expiry, and HTTPS enforcement
status-code-checkerTrace HTTP status/redirect chains for a URL
structured-data-checkerValidate Schema.org markup and structured data coverage
url-structure-checkerEvaluate keyword usage and cleanliness of URLs

Control What Your AI Can Do

You decide what AI agents can do with each connected account:

  • Turn individual actions on or off for every connected account, so agents only see the actions you allow.
  • Connect as Read-only or Read & Write. A read-only connection can only enable read actions.
  • Destructive actions stay off by default. Actions such as deletes are disabled until an admin enables them.
  • Team access per account. Restricted team members only use the accounts they are granted, with the read actions enabled on them.

Usage Examples

Full SEO Audit
"Run a comprehensive SEO audit on https://example.com"
Check Technical SEO
"Check the robots.txt and indexability of https://example.com"
Analyze Internal Links
"Map all the internal links on this page"
Generate Sitemap
"Generate an XML sitemap for https://example.com"
Extract Brand Elements
"Extract the brand colors, fonts, and logos from https://company.com"
Security Audit
"Check the SSL certificate and security headers for this site"

Why Web Crawler MCP?

For SEO Professionals
  • Comprehensive audits - 25+ specialized checks
  • Technical SEO - Robots, canonical, structured data
  • Content analysis - Quality scoring and optimization
For Web Developers
  • Debug issues - Find broken links, redirect chains
  • Performance - Page speed and resource analysis
  • Security - SSL and header validation
For Agencies
  • Client audits - Quick site assessments
  • Competitive analysis - Analyze competitor sites
  • Reporting - Generate findings conversationally

Security & Privacy

  • Secure requests - HTTPS support

Pricing

The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.

Ready-Made Skills and Prompts

Explore More MCP Servers by Insightful Pipe

Visit [insightfulpipe.com/mcp-servers](https://insightfulpipe.com/mcp-servers) to discover our full collection of MCP servers for marketing and analytics.

SEO & Performance MCP Servers
Analytics MCP Servers

[View All MCP Servers →](https://insightfulpipe.com/mcp-servers)

Resources

Support

[Insightful Pipe](https://insightfulpipe.com) — AI-powered marketing analytics through MCP servers. Explore all integrations →

License

MIT License - see LICENSE for details.

Pregunta a PopNx