Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Bewertungen und Benutzerkonten folgen in einem späteren Schritt.
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt
Einsteigermodus An
FarbenSystemHellDunkel
SpracheไทยEnglish中文日本語한국어EspañolDeutsch
☰ MenüEinstellungen
Einsteigermodus An
FarbenSystemHellDunkel
SpracheไทยEnglish中文日本語한국어EspañolDeutsch

Web Crawler MCP by InsightfulPipe

von Insightful-PipeVersion 1.0.0i★ –iLäuft in der Cloud
Name in der Registrycom.insightfulpipe/crawler

Installieren

Überblick

Beschreibung vom Entwickler (englisches Original)

Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.

Die drei Säulen von PopNx MCP

Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.

Was du damit machen kannst

Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.

  • Verbindung: Läuft in der Cloud
  • Transport: Streamable HTTP
  • Kategorie: Web & Browser

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Bevor du installierst

  • Basischecks: 1 von 1 bestanden
  • Läuft auf dem Server des Entwicklers: Was du fragst, läuft über dessen Server.
  • Die Registry nennt keinen Schlüssel zum Eintragen.

Du brauchst

Welche App nutzt du?

Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.

Funktioniert in Claude im Web, auf dem Desktop und auf dem Handy:

  1. Öffne Settings → Connectors
  2. Tippe auf Add custom connector
  3. Füge die Adresse unten ein und tippe auf Add
  4. Wenn eine Anmeldung verlangt wird, melde dich beim Dienst des Entwicklers an
SettingsConnectors1+ Add2https://…3
https://crawler.insightfulmcp.com/

Führe das in deinem Terminal aus

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

In Cursor öffnen

Oder kopier die Einstellungen selbst

In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.

In VS Code öffnen

Oder kopier die Einstellungen selbst

In .vscode/mcp.json in deinem Projekt einfügen

{
  "servers": {
    "crawler": {
      "type": "http",
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.

ChatGPT verbindet sich nur mit Servern im Internet:

  1. Öffne ChatGPT im Web → Settings → Connectors (Apps)
  2. Tippe auf Create oder Add (bei manchen Tarifen musst du zuerst Developer mode unter Advanced einschalten)
  3. Füge die Adresse unten ein, gib ihr einen Namen und speichere
  4. Wenn eine Anmeldung verlangt wird, melde dich beim Dienst des Entwicklers an
SettingsConnectors1+ Create2https://…3
https://crawler.insightfulmcp.com/

Menünamen können sich je nach Tarif und mit der Zeit leicht unterscheiden.

Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Was er kann

Die Tool-Liste dieses Servers haben wir noch nicht gelesen; wir prüfen die Endpunkte reihum.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 6. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde über die Domain insightfulpipe.com bestätigt (die Registry prüft, wem die Domain gehört)

  • … Noch nicht geprüft

    Wird noch gepflegt

    Dieses Repo haben wir noch nicht von GitHub gelesen

  • … Noch nicht geprüft

    Hat eine Lizenz

    Dieses Repo haben wir noch nicht von GitHub gelesen

  • … Noch nicht geprüft

    Endpunkt antwortet

    Noch nicht geprüft; wir prüfen die Endpunkte reihum

  • … Noch nicht geprüft

    Anmeldung mit OAuth

    Noch nicht geprüft; wir prüfen die Endpunkte reihum

  • … Noch nicht geprüft

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Noch nicht geprüft; wir lesen die Tool-Liste, wenn wir den Endpunkt prüfen

Im Vergleich mit anderen in Web & Browseri

  • Mehr Sterne als 0 % der anderen 875 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 67 % der anderen 875 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 100 % der anderen 875 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist Web Crawler MCP by InsightfulPipe sicher?

Er hat 1 von 1 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.

Läuft er auf meinem Computer oder in der Cloud?

Er läuft in der Cloud des Entwicklers. Du verbindest dich übers Internet, ohne etwas zu installieren, aber was du sendest, läuft über die Server des Entwicklers.

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (1.0.0) kam vor 16 Tagen in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL, also funktionieren auch Apps, die Remote-MCP-Server akzeptieren, zum Beispiel ChatGPT im Entwicklermodus.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Browser Use, Chrome DevTools MCP, MCP Server Browser

Alternativen

Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.

So liest du eine Karte:★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Browser Use

von browser-use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

Computer oder Cloud★ 120.087MITAktualisiert vor 16 Tagen
Installieren

Chrome DevTools MCP

von ChromeDevTools

MCP server for Chrome DevTools

Läuft auf deinem Computer★ 54.821Apache-2.0Aktualisiert vor 15 Tagen
Installieren

MCP Server Browser

von bytedance

MCP server for browser use access

Läuft auf deinem Computer★ 39.550Apache-2.0Aktualisiert vor 14 Monaten
Installieren

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

Comprehensive SEO auditing and web crawling through AI with MCP.

Part of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

MCP Server URL

https://crawler.insightfulmcp.com/

What is Web Crawler MCP?

Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:

  • Run 25+ specialized SEO checkers on any URL
  • Generate XML sitemaps and robots.txt files
  • Extract brand design elements from websites
  • Audit technical SEO, content quality, and security
  • Analyze mobile responsiveness and page speed

Installation

Claude
  1. Copy the MCP Server URL: https://crawler.insightfulmcp.com/
  2. Open Claude Connectors Settings
  3. Scroll to the bottom and click Add custom connector
  4. Paste the URL and click Add
  5. Click Connect and sign in to InsightfulPipe if asked. Claude then lists the connector as connected.
ChatGPT

Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.

  1. Turn on Developer mode in ChatGPT settings
  2. Create a new app for a remote MCP server and paste the URL: https://crawler.insightfulmcp.com/
  3. Sign in to InsightfulPipe if asked. The connection finishes as soon as you are signed in.

See OpenAI's guide: Developer mode and MCP apps in ChatGPT

Claude Code
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Cursor

Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):

{

"mcpServers": { "crawler": { "url": "https://crawler.insightfulmcp.com/" } } }

When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.

Available Actions

33 actions: 33 read, 0 write.

Read Actions (33)

Show all 33 read actions

ActionDescription
ai-crawler-checkerCheck permissions for AI training bots and crawlers
amp-checkerVerify AMP implementation quality and discoverability
brand-extractorExtract brand design details from a website (colors, fonts, buttons, logos)
canonical-checkerValidate canonical URLs and conflicting hints
character-encoding-checkerValidate declared charset and encoding consistency
content-optimizer-checkerAnalyze on-page content quality and keyword density
content-quality-checkerScore readability, word count, and duplication risk
deprecated-html-checkerDetect obsolete tags or attributes still in use
favicon-checkerConfirm favicon/icon discovery across devices
headings-checkerReview heading hierarchy (H1-H6) for structure gaps
hreflang-checkerReview international hreflang annotations
image-optimization-checkerCheck alt text, formats, and compression levels
indexability-checkerReview robots/meta directives affecting indexation
internal-linking-checkerMap internal links and surface opportunities
language-checkerVerify html[lang] attributes and language targeting
link-analysis-checkerDetect broken or low-quality links on page
link-extractorExtract all links from a page and categorize them (internal and external)
llms-txt-checkerParse llms.txt instructions for AI crawlers
meta-tags-checkerInspect meta title/description tags across the page
mobile-responsive-checkerAudit responsive layout rules and breakpoints
mobile-viewport-checkerEnsure viewport meta tags and responsive meta configs are in place
page-load-checkerMeasure page weight and render-blocking assets
page-speed-checkerMeasure load times and highlight slow resources
robots-txt-checkerParse robots.txt directives and highlight blocking issues
robots-txt-generatorGenerate robots.txt content with optional AI bot restrictions
security-headers-checkerCheck CSP/HSTS and other security headers
seo-audit-checkerComprehensive SEO audit covering technical and content issues
sitemap-generatorCrawl the target domain and produce an XML sitemap
social-media-checkerValidate Open Graph and Twitter Card metadata
ssl-certificate-checkerInspect certificate chain, expiry, and HTTPS enforcement
status-code-checkerTrace HTTP status/redirect chains for a URL
structured-data-checkerValidate Schema.org markup and structured data coverage
url-structure-checkerEvaluate keyword usage and cleanliness of URLs

Control What Your AI Can Do

You decide what AI agents can do with each connected account:

  • Turn individual actions on or off for every connected account, so agents only see the actions you allow.
  • Connect as Read-only or Read & Write. A read-only connection can only enable read actions.
  • Destructive actions stay off by default. Actions such as deletes are disabled until an admin enables them.
  • Team access per account. Restricted team members only use the accounts they are granted, with the read actions enabled on them.

Usage Examples

Full SEO Audit
"Run a comprehensive SEO audit on https://example.com"
Check Technical SEO
"Check the robots.txt and indexability of https://example.com"
Analyze Internal Links
"Map all the internal links on this page"
Generate Sitemap
"Generate an XML sitemap for https://example.com"
Extract Brand Elements
"Extract the brand colors, fonts, and logos from https://company.com"
Security Audit
"Check the SSL certificate and security headers for this site"

Why Web Crawler MCP?

For SEO Professionals
  • Comprehensive audits - 25+ specialized checks
  • Technical SEO - Robots, canonical, structured data
  • Content analysis - Quality scoring and optimization
For Web Developers
  • Debug issues - Find broken links, redirect chains
  • Performance - Page speed and resource analysis
  • Security - SSL and header validation
For Agencies
  • Client audits - Quick site assessments
  • Competitive analysis - Analyze competitor sites
  • Reporting - Generate findings conversationally

Security & Privacy

  • Secure requests - HTTPS support

Pricing

The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.

Ready-Made Skills and Prompts

Explore More MCP Servers by Insightful Pipe

Visit [insightfulpipe.com/mcp-servers](https://insightfulpipe.com/mcp-servers) to discover our full collection of MCP servers for marketing and analytics.

SEO & Performance MCP Servers
Analytics MCP Servers

[View All MCP Servers →](https://insightfulpipe.com/mcp-servers)

Resources

Support

[Insightful Pipe](https://insightfulpipe.com) — AI-powered marketing analytics through MCP servers. Explore all integrations →

License

MIT License - see LICENSE for details.

PopNx fragen