Web Crawler MCP by InsightfulPipe

Name: Web Crawler MCP by InsightfulPipe
Author: Insightful-Pipe

제작자: Insightful-Pipe버전 1.0.0i★ –i클라우드에서 실행

레지스트리 이름com.insightfulpipe/crawler

설치

개요

제작자가 쓴 설명(영어 원문)

Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.

PopNx MCP의 세 기둥

이 세 가지는 절대 하나의 점수로 합치지 않아요. 의견, 측정, 인기는 서로 다른 것이니까요.

사용자 의견i아직 리뷰가 없어요리뷰는 다음 단계에서 계정 기능과 함께 열려요
우리의 기본 점검i1개 중 1개 통과공개된 정보로 점검했으며, 코드는 아직 스캔하지 않았어요
사용 정도i아직 측정 안 함★ –

할 수 있는 일

이 서버는 아직 쉬운 말로 된 요약을 쓰지 못했어요. 아래는 레지스트리에서 읽어 온 사실이에요.

연결 방식: 클라우드에서 실행
전송 방식: Streamable HTTP
카테고리: 웹 및 브라우저

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

설치하기 전에

기본 점검: 1개 중 1개 통과
제작자의 서버에서 실행돼요. 내가 요청한 내용은 제작자의 서버를 거쳐요.
레지스트리에 입력해야 할 키가 나와 있지 않아요.

필요한 것

클라우드에서 실행설치할 것 없음. 인터넷으로 연결돼요

어떤 앱을 쓰세요?

ClaudeClaude CodeCursorVS CodeChatGPT

위에서 앱을 고르세요. 기억해 두었다가 다음부터는 버튼에 “…에 설치”라고 표시해요.

웹, 데스크톱, 모바일의 Claude에서 쓸 수 있어요:

Settings → Connectors 열기
Add custom connector 누르기
아래 주소를 붙여 넣고 Add 누르기
로그인하라고 하면 제작자의 서비스에 로그인하기

https://crawler.insightfulmcp.com/

터미널에서 이 명령어를 실행하세요

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

Cursor에서 열기

또는 설정을 직접 복사하기

프로젝트의 .cursor/mcp.json 또는 ~/.cursor/mcp.json에 붙여 넣으세요

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

VS Code에서 열기

또는 설정을 직접 복사하기

프로젝트의 .vscode/mcp.json에 붙여 넣으세요

{
  "servers": {
    "crawler": {
      "type": "http",
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

ChatGPT는 인터넷에 있는 서버에만 연결할 수 있어요:

웹에서 ChatGPT 열기 → Settings → Connectors (Apps)
Create 또는 Add 누르기(일부 요금제는 먼저 Advanced에서 Developer mode를 켜야 해요)
아래 주소를 붙여 넣고 이름을 정한 뒤 저장하기
로그인하라고 하면 제작자의 서비스에 로그인하기

https://crawler.insightfulmcp.com/

메뉴 이름은 요금제나 시기에 따라 조금 다를 수 있어요.

선택한 앱은 이 기기의 쿠키에만 저장돼요. 계정은 필요 없어요.

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

할 수 있는 일

아직 이 서버의 도구 목록을 읽지 않았어요. 엔드포인트는 차례대로 돌아가며 점검해요.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 6일 점검

✓ 통과
제작자와 저장소 일치
레지스트리 이름이 도메인 insightfulpipe.com 기준으로 확인되었어요(레지스트리가 도메인 소유를 확인해요)
… 아직 점검 안 함
계속 관리되고 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
… 아직 점검 안 함
라이선스 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
… 아직 점검 안 함
엔드포인트 응답
아직 점검하지 않았어요. 엔드포인트는 차례대로 돌아가며 점검해요
… 아직 점검 안 함
OAuth로 로그인
아직 점검하지 않았어요. 엔드포인트는 차례대로 돌아가며 점검해요
… 아직 점검 안 함
도구 설명에 숨겨진 지시 없음
아직 점검하지 않았어요. 엔드포인트를 점검할 때 도구 목록을 읽어요

웹 및 브라우저 카테고리의 다른 서버와 비교i

이 카테고리의 다른 서버 875개 중 0%보다 스타가 많아요
이 카테고리의 다른 서버 875개 중 66%보다 최근에 레지스트리에 공개됐어요
기본 점검 결과가 이 카테고리의 다른 서버 875개 중 100%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

Web Crawler MCP by InsightfulPipe, 안전한가요?

해당하는 기본 점검 1개 중 1개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

레지스트리에 필수 키가 나와 있지 않아요. 다만 처음 쓸 때 로그인을 요구하는 서버도 있어요.

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

제작자의 클라우드에서 실행돼요. 설치 없이 인터넷으로 연결하지만, 보내는 내용은 제작자의 서버를 거쳐요.

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 – 변경됐고, 최신 버전(1.0.0)은 16일 전 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. URL로 연결되기 때문에, 원격 MCP 서버를 지원하는 앱(예: 개발자 모드의 ChatGPT)에서도 쓸 수 있어요.

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: Browser Use, Chrome DevTools MCP, MCP Server Browser

대안

같은 카테고리에서 다른 제작자가 만든 서버예요. 스타 순으로 정렬했어요.

카드 보는 법:★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

Browser Use

제작자: browser-use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

컴퓨터 또는 클라우드★ 120,087MIT16일 전 업데이트

설치

Chrome DevTools MCP

제작자: ChromeDevTools

MCP server for Chrome DevTools

내 컴퓨터에서 실행★ 54,821Apache-2.015일 전 업데이트

설치

MCP Server Browser

제작자: bytedance

MCP server for browser use access

내 컴퓨터에서 실행★ 39,550Apache-2.014개월 전 업데이트

설치

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

Comprehensive SEO auditing and web crawling through AI with MCP.

Part of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

MCP Server URL

https://crawler.insightfulmcp.com/

What is Web Crawler MCP?

Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:

Run 25+ specialized SEO checkers on any URL
Generate XML sitemaps and robots.txt files
Extract brand design elements from websites
Audit technical SEO, content quality, and security
Analyze mobile responsiveness and page speed

Installation

Claude

Copy the MCP Server URL: https://crawler.insightfulmcp.com/
Open Claude Connectors Settings
Scroll to the bottom and click Add custom connector
Paste the URL and click Add
Click Connect and sign in to InsightfulPipe if asked. Claude then lists the connector as connected.

ChatGPT

Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.

Turn on Developer mode in ChatGPT settings
Create a new app for a remote MCP server and paste the URL: https://crawler.insightfulmcp.com/
Sign in to InsightfulPipe if asked. The connection finishes as soon as you are signed in.

See OpenAI's guide: Developer mode and MCP apps in ChatGPT

Claude Code

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

Cursor

Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):

"mcpServers": { "crawler": { "url": "https://crawler.insightfulmcp.com/" } } }

When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.

Available Actions

33 actions: 33 read, 0 write.

Read Actions (33)

Show all 33 read actions

Action	Description
`ai-crawler-checker`	Check permissions for AI training bots and crawlers
`amp-checker`	Verify AMP implementation quality and discoverability
`brand-extractor`	Extract brand design details from a website (colors, fonts, buttons, logos)
`canonical-checker`	Validate canonical URLs and conflicting hints
`character-encoding-checker`	Validate declared charset and encoding consistency
`content-optimizer-checker`	Analyze on-page content quality and keyword density
`content-quality-checker`	Score readability, word count, and duplication risk
`deprecated-html-checker`	Detect obsolete tags or attributes still in use
`favicon-checker`	Confirm favicon/icon discovery across devices
`headings-checker`	Review heading hierarchy (H1-H6) for structure gaps
`hreflang-checker`	Review international hreflang annotations
`image-optimization-checker`	Check alt text, formats, and compression levels
`indexability-checker`	Review robots/meta directives affecting indexation
`internal-linking-checker`	Map internal links and surface opportunities
`language-checker`	Verify html[lang] attributes and language targeting
`link-analysis-checker`	Detect broken or low-quality links on page
`link-extractor`	Extract all links from a page and categorize them (internal and external)
`llms-txt-checker`	Parse llms.txt instructions for AI crawlers
`meta-tags-checker`	Inspect meta title/description tags across the page
`mobile-responsive-checker`	Audit responsive layout rules and breakpoints
`mobile-viewport-checker`	Ensure viewport meta tags and responsive meta configs are in place
`page-load-checker`	Measure page weight and render-blocking assets
`page-speed-checker`	Measure load times and highlight slow resources
`robots-txt-checker`	Parse robots.txt directives and highlight blocking issues
`robots-txt-generator`	Generate robots.txt content with optional AI bot restrictions
`security-headers-checker`	Check CSP/HSTS and other security headers
`seo-audit-checker`	Comprehensive SEO audit covering technical and content issues
`sitemap-generator`	Crawl the target domain and produce an XML sitemap
`social-media-checker`	Validate Open Graph and Twitter Card metadata
`ssl-certificate-checker`	Inspect certificate chain, expiry, and HTTPS enforcement
`status-code-checker`	Trace HTTP status/redirect chains for a URL
`structured-data-checker`	Validate Schema.org markup and structured data coverage
`url-structure-checker`	Evaluate keyword usage and cleanliness of URLs

Control What Your AI Can Do

You decide what AI agents can do with each connected account:

Turn individual actions on or off for every connected account, so agents only see the actions you allow.
Connect as Read-only or Read & Write. A read-only connection can only enable read actions.
Destructive actions stay off by default. Actions such as deletes are disabled until an admin enables them.
Team access per account. Restricted team members only use the accounts they are granted, with the read actions enabled on them.

Usage Examples

Full SEO Audit

"Run a comprehensive SEO audit on https://example.com"

Check Technical SEO

"Check the robots.txt and indexability of https://example.com"

Analyze Internal Links

"Map all the internal links on this page"

Generate Sitemap

"Generate an XML sitemap for https://example.com"

Extract Brand Elements

"Extract the brand colors, fonts, and logos from https://company.com"

Security Audit

"Check the SSL certificate and security headers for this site"

Why Web Crawler MCP?

For SEO Professionals

Comprehensive audits - 25+ specialized checks
Technical SEO - Robots, canonical, structured data
Content analysis - Quality scoring and optimization

For Web Developers

Debug issues - Find broken links, redirect chains
Performance - Page speed and resource analysis
Security - SSL and header validation

For Agencies

Client audits - Quick site assessments
Competitive analysis - Analyze competitor sites
Reporting - Generate findings conversationally

Security & Privacy

Secure requests - HTTPS support

Pricing

The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.

Ready-Made Skills and Prompts

Claude skills for SEO and marketing — ready-made skills that run on your connected data
Comprehensive SEO Site Audit
Technical SEO Health Check
Content Quality Assessment

Explore More MCP Servers by Insightful Pipe

Visit [insightfulpipe.com/mcp-servers](https://insightfulpipe.com/mcp-servers) to discover our full collection of MCP servers for marketing and analytics.

SEO & Performance MCP Servers

PageSpeed MCP - Performance analysis
Google Search Console MCP - Search analytics
Screenshot MCP - Visual capture
Google My Business MCP - Local SEO

Analytics MCP Servers

Google Analytics MCP - Website analytics
Enrichment MCP - Data enrichment

[View All MCP Servers →](https://insightfulpipe.com/mcp-servers)

Resources

Support

Documentation: insightfulpipe.com/docs
All MCP Servers: insightfulpipe.com/mcp-servers
Email: support@insightfulpipe.com

[Insightful Pipe](https://insightfulpipe.com) — AI-powered marketing analytics through MCP servers. Explore all integrations →

License

MIT License - see LICENSE for details.

Web Crawler MCP by InsightfulPipe

개요

PopNx MCP의 세 기둥

할 수 있는 일

설치

설치하기 전에

할 수 있는 일

기본 점검i

제작자와 저장소 일치

계속 관리되고 있음

라이선스 있음

엔드포인트 응답

OAuth로 로그인

도구 설명에 숨겨진 지시 없음

웹 및 브라우저 카테고리의 다른 서버와 비교i

자주 묻는 질문

대안

Browser Use

Chrome DevTools MCP

MCP Server Browser

제작자의 README

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

MCP Server URL

What is Web Crawler MCP?

Installation

Claude

ChatGPT

Claude Code

Cursor

Available Actions

Read Actions (33)

Control What Your AI Can Do

Usage Examples

Full SEO Audit

Check Technical SEO

Analyze Internal Links

Generate Sitemap

Extract Brand Elements

Security Audit

Why Web Crawler MCP?

For SEO Professionals

For Web Developers

For Agencies

Security & Privacy

Pricing

Ready-Made Skills and Prompts

Explore More MCP Servers by Insightful Pipe

SEO & Performance MCP Servers

Analytics MCP Servers

Resources

Support

License