プロトタイプ · プレビュー版：公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。レビューとアカウント機能は今後のステップで始まります。
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説
初心者モード オン
配色システムに合わせるライトダーク
言語ไทยEnglish中文日本語한국어EspañolDeutsch
☰ メニュー設定
初心者モード オン
配色システムに合わせるライトダーク
言語ไทยEnglish中文日本語한국어EspañolDeutsch

Web Crawler MCP by InsightfulPipe

作者：Insightful-Pipeバージョン 1.0.0i★ –iクラウドで動く
レジストリ名com.insightfulpipe/crawler

インストール

概要

作者による説明（英語の原文）

Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.

PopNx MCPの3つの柱

この3つを1つのスコアにまとめることはしません。意見、測定、人気はそれぞれ別のものだからです。

できること

このサーバーのやさしい解説はまだ書いていません。以下はレジストリから読み取った事実です。

  • 接続方法: クラウドで動く
  • トランスポート: Streamable HTTP
  • カテゴリ: ウェブ・ブラウザ

インストール

使っているAIアプリを選んで、設定をコピーしてください。

インストールの前に

  • 基本チェック：1項目中1項目に合格
  • 作者のサーバーで動きます。あなたが頼んだ内容は、作者のサーバーを通ります。
  • レジストリには、入力が必要なキーは載っていません。

必要なもの

どのアプリを使っていますか？

上でアプリを選んでください。選んだアプリを覚えておくので、次からはボタンに「…にインストール」と表示されます。

ウェブ、デスクトップ、モバイルのClaudeで使えます：

  1. Settings → Connectors を開く
  2. Add custom connector を押す
  3. 下のアドレスを貼り付けて Add を押す
  4. サインインを求められたら、作者のサービスにサインインする
SettingsConnectors1+ Add2https://…3
https://crawler.insightfulmcp.com/

ターミナルでこれを実行します

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

Cursorで開く

または、設定を自分でコピーする

プロジェクトの .cursor/mcp.json、または ~/.cursor/mcp.json に貼り付けます

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。

VS Codeで開く

または、設定を自分でコピーする

プロジェクトの .vscode/mcp.json に貼り付けます

{
  "servers": {
    "crawler": {
      "type": "http",
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。

ChatGPTがつなげるのは、インターネット上のサーバーだけです：

  1. ウェブ版のChatGPTを開き → Settings → Connectors (Apps)
  2. Create または Add を押す（プランによっては、先に Advanced で Developer mode をオンにする必要があります）
  3. 下のアドレスを貼り付け、名前を付けて保存する
  4. サインインを求められたら、作者のサービスにサインインする
SettingsConnectors1+ Create2https://…3
https://crawler.insightfulmcp.com/

メニューの名前は、プランや時期によって少し違うことがあります。

選んだアプリは、この端末のCookieに保存されます。アカウントは不要です。

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

できること

このサーバーのツール一覧はまだ読み取っていません。エンドポイントは順番にチェックしています。

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月7日にチェック

  • ✓ 合格

    作者とリポジトリが一致

    レジストリ名はドメイン insightfulpipe.com で確認済みです（レジストリがドメインの所有を確認しています）

  • … 未チェック

    今もメンテナンスされている

    このリポジトリはまだGitHubから読み取っていません

  • … 未チェック

    ライセンスがある

    このリポジトリはまだGitHubから読み取っていません

  • … 未チェック

    エンドポイントが応答する

    まだチェックしていません。エンドポイントは順番にチェックしています

  • … 未チェック

    OAuthでサインイン

    まだチェックしていません。エンドポイントは順番にチェックしています

  • … 未チェック

    ツールの説明に隠れた指示がない

    まだチェックしていません。エンドポイントをチェックするときにツール一覧を読み取ります

ウェブ・ブラウザのほかのサーバーとの比較i

  • このカテゴリのほかの879件のうち0%よりスターが多い
  • このカテゴリのほかの879件のうち66%より最近レジストリに公開
  • 基本チェックの結果が、このカテゴリのほかの879件のうち100%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

Web Crawler MCP by InsightfulPipeは安全ですか？

当てはまる基本チェック1項目のうち1項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか？

レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。

パソコンで動きますか、それともクラウドですか？

作者のクラウドで動きます。インストール不要でインターネット経由でつながりますが、送った内容は作者のサーバーを通ります。

今もメンテナンスされていますか？

GitHubリポジトリの最終更新は–、最新バージョン（1.0.0）がレジストリに届いたのは17 日前です。

どのアプリで使えますか？

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。URLでつながるので、リモートMCPサーバーに対応したアプリ（開発者モードのChatGPTなど）でも使えます。

代わりに使えるものは？

同じカテゴリには：Browser Use, Chrome DevTools MCP, MCP Server Browser

代わりの候補

同じカテゴリで、ほかの作者が作ったサーバー。スターの多い順。

カードの見方：★ GitHubスターi3つの柱：レビュー · チェック · 利用状況i更新＝最新バージョンをレジストリに公開した日i

Browser Use

作者：browser-use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

パソコンでもクラウドでも★ 120,087MIT17 日前更新
インストール

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

Comprehensive SEO auditing and web crawling through AI with MCP.

Part of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

MCP Server URL

https://crawler.insightfulmcp.com/

What is Web Crawler MCP?

Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:

  • Run 25+ specialized SEO checkers on any URL
  • Generate XML sitemaps and robots.txt files
  • Extract brand design elements from websites
  • Audit technical SEO, content quality, and security
  • Analyze mobile responsiveness and page speed

Installation

Claude
  1. Copy the MCP Server URL: https://crawler.insightfulmcp.com/
  2. Open Claude Connectors Settings
  3. Scroll to the bottom and click Add custom connector
  4. Paste the URL and click Add
  5. Click Connect and sign in to InsightfulPipe if asked. Claude then lists the connector as connected.
ChatGPT

Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.

  1. Turn on Developer mode in ChatGPT settings
  2. Create a new app for a remote MCP server and paste the URL: https://crawler.insightfulmcp.com/
  3. Sign in to InsightfulPipe if asked. The connection finishes as soon as you are signed in.

See OpenAI's guide: Developer mode and MCP apps in ChatGPT

Claude Code
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Cursor

Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):

{

"mcpServers": { "crawler": { "url": "https://crawler.insightfulmcp.com/" } } }

When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.

Available Actions

33 actions: 33 read, 0 write.

Read Actions (33)

Show all 33 read actions

ActionDescription
ai-crawler-checkerCheck permissions for AI training bots and crawlers
amp-checkerVerify AMP implementation quality and discoverability
brand-extractorExtract brand design details from a website (colors, fonts, buttons, logos)
canonical-checkerValidate canonical URLs and conflicting hints
character-encoding-checkerValidate declared charset and encoding consistency
content-optimizer-checkerAnalyze on-page content quality and keyword density
content-quality-checkerScore readability, word count, and duplication risk
deprecated-html-checkerDetect obsolete tags or attributes still in use
favicon-checkerConfirm favicon/icon discovery across devices
headings-checkerReview heading hierarchy (H1-H6) for structure gaps
hreflang-checkerReview international hreflang annotations
image-optimization-checkerCheck alt text, formats, and compression levels
indexability-checkerReview robots/meta directives affecting indexation
internal-linking-checkerMap internal links and surface opportunities
language-checkerVerify html[lang] attributes and language targeting
link-analysis-checkerDetect broken or low-quality links on page
link-extractorExtract all links from a page and categorize them (internal and external)
llms-txt-checkerParse llms.txt instructions for AI crawlers
meta-tags-checkerInspect meta title/description tags across the page
mobile-responsive-checkerAudit responsive layout rules and breakpoints
mobile-viewport-checkerEnsure viewport meta tags and responsive meta configs are in place
page-load-checkerMeasure page weight and render-blocking assets
page-speed-checkerMeasure load times and highlight slow resources
robots-txt-checkerParse robots.txt directives and highlight blocking issues
robots-txt-generatorGenerate robots.txt content with optional AI bot restrictions
security-headers-checkerCheck CSP/HSTS and other security headers
seo-audit-checkerComprehensive SEO audit covering technical and content issues
sitemap-generatorCrawl the target domain and produce an XML sitemap
social-media-checkerValidate Open Graph and Twitter Card metadata
ssl-certificate-checkerInspect certificate chain, expiry, and HTTPS enforcement
status-code-checkerTrace HTTP status/redirect chains for a URL
structured-data-checkerValidate Schema.org markup and structured data coverage
url-structure-checkerEvaluate keyword usage and cleanliness of URLs

Control What Your AI Can Do

You decide what AI agents can do with each connected account:

  • Turn individual actions on or off for every connected account, so agents only see the actions you allow.
  • Connect as Read-only or Read & Write. A read-only connection can only enable read actions.
  • Destructive actions stay off by default. Actions such as deletes are disabled until an admin enables them.
  • Team access per account. Restricted team members only use the accounts they are granted, with the read actions enabled on them.

Usage Examples

Full SEO Audit
"Run a comprehensive SEO audit on https://example.com"
Check Technical SEO
"Check the robots.txt and indexability of https://example.com"
Analyze Internal Links
"Map all the internal links on this page"
Generate Sitemap
"Generate an XML sitemap for https://example.com"
Extract Brand Elements
"Extract the brand colors, fonts, and logos from https://company.com"
Security Audit
"Check the SSL certificate and security headers for this site"

Why Web Crawler MCP?

For SEO Professionals
  • Comprehensive audits - 25+ specialized checks
  • Technical SEO - Robots, canonical, structured data
  • Content analysis - Quality scoring and optimization
For Web Developers
  • Debug issues - Find broken links, redirect chains
  • Performance - Page speed and resource analysis
  • Security - SSL and header validation
For Agencies
  • Client audits - Quick site assessments
  • Competitive analysis - Analyze competitor sites
  • Reporting - Generate findings conversationally

Security & Privacy

  • Secure requests - HTTPS support

Pricing

The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.

Ready-Made Skills and Prompts

Explore More MCP Servers by Insightful Pipe

Visit [insightfulpipe.com/mcp-servers](https://insightfulpipe.com/mcp-servers) to discover our full collection of MCP servers for marketing and analytics.

SEO & Performance MCP Servers
Analytics MCP Servers

[View All MCP Servers →](https://insightfulpipe.com/mcp-servers)

Resources

Support

[Insightful Pipe](https://insightfulpipe.com) — AI-powered marketing analytics through MCP servers. Explore all integrations →

License

MIT License - see LICENSE for details.

PopNxに聞く