Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Mit Google anmelden, um Bewertungen zu schreiben.
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt
☰ MenüDeutsch Einstellungen
Einsteigermodus An
FarbenSystemHellDunkel
SpracheไทยEnglish中文日本語한국어EspañolDeutsch

Web Crawler MCP by InsightfulPipe

von Insightful-PipeVersion 1.0.0i★ 0iLäuft in der Cloud
Name in der Registrycom.insightfulpipe/crawler

So installierst du es

Überblick

Beschreibung vom Entwickler (englisches Original)

Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.

Was du damit machen kannst

Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.

  • Verbindung: Läuft in der Cloud
  • Transport: Streamable HTTP
  • Kategorie: Web & Browser

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

5/5 Prüfungen bestanden · Was du fragst, läuft über den Server des Anbieters (crawler.insightfulmcp.com)

Zuerst: Welche KI nutzt du?

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude · etwa 2 Min.

Kein Schlüssel, nichts zu installieren · Einmal auf claude.ai oder in der Desktop-App einrichten, dann im Chat nutzen · kostenlose Konten können 1 hinzufügen

  1. Öffne die Connectors-Seite von Claude

    CustomizeConnectors

    CustomizeConnectors1+ Add2https://…3Add4

  2. Klicke „+ Add“ → „Add custom connector“ und fülle diese 2 Felder aus

    Kopiere jeden Wert in das gleichnamige Feld in Claude und klicke Continue

    Name · NameWeb Crawler MCP by InsightfulPipe
    Remote MCP server URL · Adressehttps://crawler.insightfulmcp.com/

    Authentication so lassen, wie Claude es erkannt hat, dann Add klicken

  3. Im Chat einschalten

    +ConnectorsWeb Crawler MCP by InsightfulPipe

  4. Ausprobieren

    Nutze Web Crawler MCP by InsightfulPipe und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude sagt, dass es Web Crawler MCP by InsightfulPipe nutzt, oder ein Werkzeug von Web Crawler MCP by InsightfulPipe in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit ChatGPT nur in Firmen-Tarifen

ChatGPT Business, Enterprise oder Edu im Web, hinzugefügt von Admin oder Inhaber des Workspace · Mit Free, Plus oder Pro: Dein ChatGPT-Tarif kann MCP noch nicht selbst verbinden

  1. In ChatGPT im Web die Seite zum Hinzufügen von MCP öffnen

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4

  2. Name und Adresse eintragen

    Namen eingeben, Adresse unter Connection einfügen, Risikohinweis abhaken und Create as a plugin klicken

    Name · NameWeb Crawler MCP by InsightfulPipe
    Connection · Adressehttps://crawler.insightfulmcp.com/

  3. Web Crawler MCP by InsightfulPipe im Chat auswählen

    Neuen Chat öffnen und vor dem Tippen Web Crawler MCP by InsightfulPipe aus deinen Plugins wählen

  4. Ausprobieren

    Nutze Web Crawler MCP by InsightfulPipe und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn ChatGPT sagt, dass es Web Crawler MCP by InsightfulPipe nutzt, oder ein Werkzeug von Web Crawler MCP by InsightfulPipe in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von OpenAI abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Claude Code · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Terminal öffnen

    Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen

  2. Diesen Befehl einfügen und Enter drücken

    claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

  3. /mcp in Claude Code eingeben

    Web Crawler MCP by InsightfulPipe sollte in der Liste als verbunden erscheinen

  4. Ausprobieren

    Nutze Web Crawler MCP by InsightfulPipe und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude Code sagt, dass es Web Crawler MCP by InsightfulPipe nutzt, oder ein Werkzeug von Web Crawler MCP by InsightfulPipe in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Mit diesem Button Cursor öffnen

    In Cursor öffnen

    Cursor fragt nach einer Bestätigung; klicke Install

  2. KI-Chat in Cursor im Agent-Modus öffnen

  3. Ausprobieren

    Nutze Web Crawler MCP by InsightfulPipe und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Cursor sagt, dass es Web Crawler MCP by InsightfulPipe nutzt, oder ein Werkzeug von Web Crawler MCP by InsightfulPipe in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Mit diesem Button VS Code öffnen

    In VS Code öffnen

    VS Code fragt nach einer Bestätigung; klicke Install

  2. KI-Chat in VS Code im Agent-Modus öffnen

  3. Ausprobieren

    Nutze Web Crawler MCP by InsightfulPipe und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn VS Code sagt, dass es Web Crawler MCP by InsightfulPipe nutzt, oder ein Werkzeug von Web Crawler MCP by InsightfulPipe in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

Adresse für Apps, die über das Web verbinden

Adressehttps://crawler.insightfulmcp.com/

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die Web Crawler MCP by InsightfulPipe nutzen💬 Diskussion →
Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Über das Web

Claude Code

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "crawler": {
      "type": "http",
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

Downloads pro Wochei
Nicht auf npm/PyPI
Bestätigte Domain
✓ insightfulpipe.com
Verbindung
Läuft in der Cloud
Transport
streamable-http
Neueste Versioni
1.0.0
In der Registry veröffentlichti
21. Okt. 2026
Code zuletzt geänderti
10. Okt. 2026
Entwickler
Insightful-Pipe
Registry-Status
Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Verbinden sich über das Internet in

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Der Server verlangt eine Anmeldung, bevor er seine Tools auflistet.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 12. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde über die Domain insightfulpipe.com bestätigt (die Registry prüft, wem die Domain gehört)

  • ✓ Bestanden

    Wird noch gepflegt

    Code zuletzt geändert: vor 32 Tagen

  • ✓ Bestanden

    Hat eine Lizenz

    Nutzt MIT

  • ✓ Bestanden

    Endpunkt antwortet

    Antwort in 363 ms (HTTP 401)

  • ✓ Bestanden

    Anmeldung mit OAuth

    Gibt OAuth-Anmeldung an, damit deine KI-App dich zum Einloggen weiterleiten kann

  • … Noch nicht geprüft

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Noch nicht geprüft; wir lesen die Tool-Liste, wenn wir den Endpunkt prüfen

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Mit Google anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Mit Google anmelden, um zu bewerten

Im Vergleich mit anderen in Web & Browseri

  • Mehr Sterne als 0 % der anderen 1469 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 59 % der anderen 1469 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 100 % der anderen 1469 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist Web Crawler MCP by InsightfulPipe sicher?

Er hat 5 von 5 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.

Läuft er auf meinem Computer oder in der Cloud?

Er läuft in der Cloud des Entwicklers. Du verbindest dich übers Internet, ohne etwas zu installieren, aber was du sendest, läuft über die Server des Entwicklers.

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt vor 32 Tagen geändert, und die neueste Version (1.0.0) kam vor 22 Tagen in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL und funktioniert daher auch in Apps mit Remote-MCP, etwa ChatGPT Business und höher.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Browser Use, Scrapling MCP Server, Chrome DevTools MCP

Alternativen

Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

von browser-useWeit verbreitet↓ 1,7 Mio./Wo.★ 120.646Aktualisiert vor 22 Tagen

Computer oder Cloud✓ browser-use.com
Installieren

Scrapling MCP Server

Web scraping with stealth HTTP, real browsers, and Cloudflare bypass. CSS selectors supported.

von D4VinciWeit verbreitet↓ 396.928/Wo.★ 101.248Aktualisiert vor 7 Tagen

Läuft auf deinem Computer
Installieren

Chrome DevTools MCP

MCP server for Chrome DevTools

von ChromeDevToolsWeit verbreitet↓ 1,9 Mio./Wo.★ 55.085Aktualisiert heute

Läuft auf deinem Computer
Installieren

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

Comprehensive SEO auditing and web crawling through AI with MCP.

Part of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

MCP Server URL

https://crawler.insightfulmcp.com/

What is Web Crawler MCP?

Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:

  • Run 25+ specialized SEO checkers on any URL
  • Generate XML sitemaps and robots.txt files
  • Extract brand design elements from websites
  • Audit technical SEO, content quality, and security
  • Analyze mobile responsiveness and page speed

Installation

Claude
  1. Copy the MCP Server URL: https://crawler.insightfulmcp.com/
  2. Open Claude Connectors Settings
  3. Scroll to the bottom and click Add custom connector
  4. Paste the URL and click Add
  5. Click Connect and sign in to InsightfulPipe if asked. Claude then lists the connector as connected.
ChatGPT

Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.

  1. Turn on Developer mode in ChatGPT settings
  2. Create a new app for a remote MCP server and paste the URL: https://crawler.insightfulmcp.com/
  3. Sign in to InsightfulPipe if asked. The connection finishes as soon as you are signed in.

See OpenAI's guide: Developer mode and MCP apps in ChatGPT

Claude Code
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Cursor

Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):

{

"mcpServers": { "crawler": { "url": "https://crawler.insightfulmcp.com/" } } }

When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.

Available Actions

33 actions: 33 read, 0 write.

Read Actions (33)

Show all 33 read actions

ActionDescription
ai-crawler-checkerCheck permissions for AI training bots and crawlers
amp-checkerVerify AMP implementation quality and discoverability
brand-extractorExtract brand design details from a website (colors, fonts, buttons, logos)
canonical-checkerValidate canonical URLs and conflicting hints
character-encoding-checkerValidate declared charset and encoding consistency
content-optimizer-checkerAnalyze on-page content quality and keyword density
content-quality-checkerScore readability, word count, and duplication risk
deprecated-html-checkerDetect obsolete tags or attributes still in use
favicon-checkerConfirm favicon/icon discovery across devices
headings-checkerReview heading hierarchy (H1-H6) for structure gaps
hreflang-checkerReview international hreflang annotations
image-optimization-checkerCheck alt text, formats, and compression levels
indexability-checkerReview robots/meta directives affecting indexation
internal-linking-checkerMap internal links and surface opportunities
language-checkerVerify html[lang] attributes and language targeting
link-analysis-checkerDetect broken or low-quality links on page
link-extractorExtract all links from a page and categorize them (internal and external)
llms-txt-checkerParse llms.txt instructions for AI crawlers
meta-tags-checkerInspect meta title/description tags across the page
mobile-responsive-checkerAudit responsive layout rules and breakpoints
mobile-viewport-checkerEnsure viewport meta tags and responsive meta configs are in place
page-load-checkerMeasure page weight and render-blocking assets
page-speed-checkerMeasure load times and highlight slow resources
robots-txt-checkerParse robots.txt directives and highlight blocking issues
robots-txt-generatorGenerate robots.txt content with optional AI bot restrictions
security-headers-checkerCheck CSP/HSTS and other security headers
seo-audit-checkerComprehensive SEO audit covering technical and content issues
sitemap-generatorCrawl the target domain and produce an XML sitemap
social-media-checkerValidate Open Graph and Twitter Card metadata
ssl-certificate-checkerInspect certificate chain, expiry, and HTTPS enforcement
status-code-checkerTrace HTTP status/redirect chains for a URL
structured-data-checkerValidate Schema.org markup and structured data coverage
url-structure-checkerEvaluate keyword usage and cleanliness of URLs

Control What Your AI Can Do

You decide what AI agents can do with each connected account:

  • Turn individual actions on or off for every connected account, so agents only see the actions you allow.
  • Connect as Read-only or Read & Write. A read-only connection can only enable read actions.
  • Destructive actions stay off by default. Actions such as deletes are disabled until an admin enables them.
  • Team access per account. Restricted team members only use the accounts they are granted, with the read actions enabled on them.

Usage Examples

Full SEO Audit
"Run a comprehensive SEO audit on https://example.com"
Check Technical SEO
"Check the robots.txt and indexability of https://example.com"
Analyze Internal Links
"Map all the internal links on this page"
Generate Sitemap
"Generate an XML sitemap for https://example.com"
Extract Brand Elements
"Extract the brand colors, fonts, and logos from https://company.com"
Security Audit
"Check the SSL certificate and security headers for this site"

Why Web Crawler MCP?

For SEO Professionals
  • Comprehensive audits - 25+ specialized checks
  • Technical SEO - Robots, canonical, structured data
  • Content analysis - Quality scoring and optimization
For Web Developers
  • Debug issues - Find broken links, redirect chains
  • Performance - Page speed and resource analysis
  • Security - SSL and header validation
For Agencies
  • Client audits - Quick site assessments
  • Competitive analysis - Analyze competitor sites
  • Reporting - Generate findings conversationally

Security & Privacy

  • Secure requests - HTTPS support

Pricing

The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.

Ready-Made Skills and Prompts

Explore More MCP Servers by Insightful Pipe

Visit [insightfulpipe.com/mcp-servers](https://insightfulpipe.com/mcp-servers) to discover our full collection of MCP servers for marketing and analytics.

SEO & Performance MCP Servers
Analytics MCP Servers

[View All MCP Servers →](https://insightfulpipe.com/mcp-servers)

Resources

Support

[Insightful Pipe](https://insightfulpipe.com) — AI-powered marketing analytics through MCP servers. Explore all integrations →

License

MIT License - see LICENSE for details.