프로토타입 · 미리 보기: 공식 레지스트리의 모든 서버를 담고 있으며 30분마다 동기화해요. Google로 로그인하면 리뷰를 쓸 수 있어요.프로토타입 · 30분마다 업데이트
PopNx MCPAI를 쓰는 사람을 위한 MCP 서버 · 쉬운 말로 설명해요
☰ 메뉴한국어 설정
초보자 모드 켜기
색상시스템 설정라이트화이트다크
언어ไทยEnglish中文日本語한국어EspañolDeutsch

Web Crawler MCP by InsightfulPipe

제작자: Insightful-Pipe버전 1.0.0i★ 0i클라우드에서 실행
레지스트리 이름com.insightfulpipe/crawler

설치 방법

What it does

Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.

  • Connects 클라우드에서 실행
  • Account or key Sign in to the service when you connect (OAuth)
  • Category 웹 및 브라우저

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

검사 5/5 통과 · 내가 묻는 내용은 제작자 서버(crawler.insightfulmcp.com)를 거쳐요 · ✓ 명령 확인 2026년 11월 13일

먼저: 어떤 AI를 쓰시나요?

쓰는 앱을 고르면 아래에 단계가 나옵니다.

Claude에 연결할 수 있어요 · 약 2분

키 필요 없음, 설치 필요 없음 · claude.ai나 데스크톱 앱에서 한 번 설정하면 채팅에서 쓸 수 있어요 · 무료 계정은 1개까지 · Team/Enterprise는 소유자(Owner)가 추가

  1. Claude의 Connectors 페이지 열기

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4

  2. “Add” → “Custom” → “Web”를 누르고 이 2칸 채우기

    여기서 복사해 Claude의 같은 이름 칸에 붙여 넣고 Continue를 누르세요

    Name · 이름Web Crawler MCP by InsightfulPipe
    Remote MCP server URL · 주소https://crawler.insightfulmcp.com/

    Claude가 찾은 로그인 설정 화면에서 Continue를 누르고 · Authentication은 제작자 안내대로(Sign in now, Sign in when needed, No sign in) 고른 뒤 Add를 누르세요

  3. 채팅에서 켜기

    +ConnectorsWeb Crawler MCP by InsightfulPipe

  4. 해 보기

    Web Crawler MCP by InsightfulPipe을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Claude가 Web Crawler MCP by InsightfulPipe을 쓰고 있다고 하거나 답에 Web Crawler MCP by InsightfulPipe 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

ChatGPT 연결은 요금제에 따라 달라요

전체 MCP: 웹 ChatGPT Business, Enterprise, Edu · Pro: 읽기/가져오기 권한으로 연결, 데이터를 바꾸는 도구는 안 될 수 있어요 · Plus: 공식 문서 미확인, 플러그인 화면에 사용자 지정 MCP 추가 항목이 보이면 시도해 볼 수 있어요 · 웹만

  1. 웹 ChatGPT에서 MCP 추가 페이지 열기

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4

  2. 이름과 주소 입력

    이름을 넣고 Connection에 주소를 붙여 넣은 뒤 경고에 체크하고 Create as a plugin을 누르세요

    Name · 이름Web Crawler MCP by InsightfulPipe
    Connection · 주소https://crawler.insightfulmcp.com/

  3. 채팅에서 Web Crawler MCP by InsightfulPipe 고르기

    새 채팅을 열고 입력 전에 플러그인 목록에서 Web Crawler MCP by InsightfulPipe을 고르세요

  4. 해 보기

    Web Crawler MCP by InsightfulPipe을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ ChatGPT가 Web Crawler MCP by InsightfulPipe을 쓰고 있다고 하거나 답에 Web Crawler MCP by InsightfulPipe 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 OpenAI 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Claude Code에 연결할 수 있어요 · 약 2분

키 필요 없음, 설치 필요 없음

  1. 터미널 열기

    Mac: Command+스페이스를 누르고 Terminal 입력 · Windows: PowerShell 열기

  2. 이 명령을 붙여 넣고 Enter

    claude mcp add --transport http --scope user crawler https://crawler.insightfulmcp.com/

  3. Claude Code에서 /mcp 입력

    Web Crawler MCP by InsightfulPipe이 목록에 있고 연결됨으로 보이면 돼요

  4. 해 보기

    Web Crawler MCP by InsightfulPipe을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Claude Code가 Web Crawler MCP by InsightfulPipe을 쓰고 있다고 하거나 답에 Web Crawler MCP by InsightfulPipe 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Cursor에 연결할 수 있어요 · 약 2분

키 필요 없음, 설치 필요 없음

  1. 이 버튼으로 Cursor 열기

    Cursor에서 열기

    Cursor가 설치를 확인하면 Install을 누르세요

  2. Cursor에서 AI 채팅을 Agent 모드로 열기

  3. 해 보기

    Web Crawler MCP by InsightfulPipe을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ Cursor가 Web Crawler MCP by InsightfulPipe을 쓰고 있다고 하거나 답에 Web Crawler MCP by InsightfulPipe 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 Cursor 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

VS Code에 연결할 수 있어요 · 약 2분

키 필요 없음, 설치 필요 없음

  1. 이 버튼으로 VS Code 열기

    VS Code에서 열기

    VS Code가 설치를 확인하면 Install을 누르세요

  2. VS Code에서 AI 채팅을 Agent 모드로 열기

  3. 해 보기

    Web Crawler MCP by InsightfulPipe을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐

    ✓ VS Code가 Web Crawler MCP by InsightfulPipe을 쓰고 있다고 하거나 답에 Web Crawler MCP by InsightfulPipe 도구 이름이 나오면 연결된 거예요

메뉴 이름은 2026년 11월 11일에 VS Code 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요

Windsurf, Zed, Gemini CLI 같은 다른 MCP 앱은 추가 방법이 저마다 달라요. 앱 목록에서 확인하세요

MCP를 쓰는 앱 모두 보기 →

웹으로 연결하는 앱용 주소

주소https://crawler.insightfulmcp.com/

JSON 설정은 아래 “개발자용”에 있어요

막혔나요? Web Crawler MCP by InsightfulPipe을 쓰는 사람에게 물어보세요💬 토론 →
개발자용: 터미널 명령과 JSON 설정

웹으로 연결

Claude Code

claude mcp add --transport http --scope user crawler https://crawler.insightfulmcp.com/

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "crawler": {
      "type": "http",
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

한눈에 보기

주간 다운로드i
npm/PyPI에 없음
확인된 도메인
✓ insightfulpipe.com
연결 방식
클라우드에서 실행
전송 방식
streamable-http
최신 버전i
1.0.0
레지스트리 공개i
2026년 10월 21일
코드 마지막 변경i
2026년 10월 10일
제작자
Insightful-Pipe
웹사이트
insightfulpipe.com
레지스트리 상태
활성

어떤 앱에서 쓸 수 있나요

이 서버의 연결 방식과 각 앱의 공식 문서를 바탕으로 했어요. 2026년 11월 10일 확인.

인터넷으로 연결하는 앱

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

모든 앱과 장단점 →

할 수 있는 일

서버가 도구 목록을 보여 주기 전에 로그인을 요구해요.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 15일 점검

  • ✓ 통과

    제작자와 저장소 일치

    레지스트리 이름이 도메인 insightfulpipe.com 기준으로 확인되었어요(레지스트리가 도메인 소유를 확인해요)

  • ✓ 통과

    계속 관리되고 있음

    코드 마지막 변경: 36일 전

  • ✓ 통과

    라이선스 있음

    MIT 사용

  • ✓ 통과

    엔드포인트 응답

    159ms 만에 응답(HTTP 401)

  • ✓ 통과

    OAuth로 로그인

    OAuth 로그인을 지원한다고 밝혀서, AI 앱이 로그인 화면으로 안내해 줘요

  • … 아직 점검 안 함

    도구 설명에 숨겨진 지시 없음

    아직 점검하지 않았어요. 엔드포인트를 점검할 때 도구 목록을 읽어요

우리가 확인하는 것 → · JSON

제작자: 재확인 요청 또는 잘못된 정보 신고

로그인

토론

질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.

아직 글이 없어요. 처음으로 질문하거나 공유해 보세요.

이곳의 글은 사용자가 쓴 것으로, PopNx 팀의 글이 아니에요.

로그인하고 글쓰기

사용자 리뷰

아직 리뷰가 없어요

로그인하고 리뷰 쓰기

웹 및 브라우저 카테고리의 다른 서버와 비교i

  • 이 카테고리의 다른 서버 1524개 중 0%보다 스타가 많아요
  • 이 카테고리의 다른 서버 1524개 중 55%보다 최근에 레지스트리에 공개됐어요
  • 기본 점검 결과가 이 카테고리의 다른 서버 1524개 중 100%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

Web Crawler MCP by InsightfulPipe, 안전한가요?

해당하는 기본 점검 5개 중 5개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

레지스트리에 필수 키가 나와 있지 않아요. 다만 처음 쓸 때 로그인을 요구하는 서버도 있어요.

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

제작자의 클라우드에서 실행돼요. 설치 없이 인터넷으로 연결하지만, 보내는 내용은 제작자의 서버를 거쳐요.

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 36일 전 변경됐고, 최신 버전(1.0.0)은 25일 전 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. URL로 연결되므로 원격 MCP를 받는 앱에서도 쓸 수 있어요. 예: 웹 ChatGPT(Business 이상은 전체 MCP, Pro는 읽기 전용).

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: Browser Use, changedetection.io (official), Apify MCP Server, Actionbook, Flowershow

비슷하게 동작하는 다른 것

같은 카테고리, 다른 제작자, 명령 확인 완료. 공식이 먼저, 그다음 스타 순.

카드 보는 법:↓ 주간 다운로드i★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

제작자: browser-use널리 사용됨↓ 167.3만/주★ 12.1만25일 전 업데이트

컴퓨터 또는 클라우드✓ 서비스 회사 · browser-use.com
설치

changedetection.io (official)

Official changedetection.io MCP: web page change tracking, back-in-stock and price alerts.

제작자: dgtlmoon널리 사용됨★ 3.6만10일 전 업데이트

클라우드에서 실행✓ 서비스 회사 · changedetection.io
연결 방법

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

제작자: apify널리 사용됨★ 1.6만그저께 업데이트

클라우드에서 실행✓ 서비스 회사 · apify.com
연결 방법

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

제작자: actionbook성장 중★ 1.6천27일 전 업데이트

클라우드에서 실행✓ 서비스 회사 · actionbook.app
연결 방법

Flowershow

Publish Markdown and HTML from your AI session as a live website. No account needed.

제작자: flowershow성장 중★ 1.1천20일 전 업데이트

클라우드에서 실행✓ 서비스 회사 · flowershow.app
연결 방법
  • Browser Use — 클라우드 또는 컴퓨터 설치 모두 가능 · 키 필요 · Claude 디렉터리에 있음
  • changedetection.io (official) — 클라우드에서 동작, 설치 불필요 · 키 불필요
  • Apify MCP Server — 클라우드에서 동작, 설치 불필요 · 키 필요
  • Actionbook — 클라우드에서 동작, 설치 불필요 · 키 불필요
  • Flowershow — 클라우드에서 동작, 설치 불필요 · 키 불필요

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

Web Crawler MCP Server (SEO Crawler) by Insightful Pipe

Comprehensive SEO auditing and web crawling through AI with MCP.

Part of the Insightful Pipe MCP Server Collection — The Web Crawler MCP server enables Claude, ChatGPT, Cursor, and other AI assistants to perform SEO audits, extract data, and analyze websites. Run 25+ specialized SEO checks, generate sitemaps, and extract brand information.

MCP Server URL

https://crawler.insightfulmcp.com/

What is Web Crawler MCP?

Web Crawler MCP is a remote Model Context Protocol server that provides AI assistants with comprehensive SEO auditing and web crawling capabilities. This integration allows you to:

  • Run 25+ specialized SEO checkers on any URL
  • Generate XML sitemaps and robots.txt files
  • Extract brand design elements from websites
  • Audit technical SEO, content quality, and security
  • Analyze mobile responsiveness and page speed

Installation

Claude
  1. Copy the MCP Server URL: https://crawler.insightfulmcp.com/
  2. Open Claude Connectors Settings
  3. Scroll to the bottom and click Add custom connector
  4. Paste the URL and click Add
  5. Click Connect and sign in to InsightfulPipe if asked. Claude then lists the connector as connected.
ChatGPT

Custom MCP servers are added through ChatGPT's Developer mode. Availability depends on your ChatGPT plan, and workspace admins may need to allow it.

  1. Turn on Developer mode in ChatGPT settings
  2. Create a new app for a remote MCP server and paste the URL: https://crawler.insightfulmcp.com/
  3. Sign in to InsightfulPipe if asked. The connection finishes as soon as you are signed in.

See OpenAI's guide: Developer mode and MCP apps in ChatGPT

Claude Code
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Cursor

Add the server to ~/.cursor/mcp.json (all projects) or .cursor/mcp.json (one project):

{

"mcpServers": { "crawler": { "url": "https://crawler.insightfulmcp.com/" } } }

When Cursor shows Needs authentication, click Connect and sign in to InsightfulPipe if asked.

Available Actions

33 actions: 33 read, 0 write.

Read Actions (33)

Show all 33 read actions

ActionDescription
ai-crawler-checkerCheck permissions for AI training bots and crawlers
amp-checkerVerify AMP implementation quality and discoverability
brand-extractorExtract brand design details from a website (colors, fonts, buttons, logos)
canonical-checkerValidate canonical URLs and conflicting hints
character-encoding-checkerValidate declared charset and encoding consistency
content-optimizer-checkerAnalyze on-page content quality and keyword density
content-quality-checkerScore readability, word count, and duplication risk
deprecated-html-checkerDetect obsolete tags or attributes still in use
favicon-checkerConfirm favicon/icon discovery across devices
headings-checkerReview heading hierarchy (H1-H6) for structure gaps
hreflang-checkerReview international hreflang annotations
image-optimization-checkerCheck alt text, formats, and compression levels
indexability-checkerReview robots/meta directives affecting indexation
internal-linking-checkerMap internal links and surface opportunities
language-checkerVerify html[lang] attributes and language targeting
link-analysis-checkerDetect broken or low-quality links on page
link-extractorExtract all links from a page and categorize them (internal and external)
llms-txt-checkerParse llms.txt instructions for AI crawlers
meta-tags-checkerInspect meta title/description tags across the page
mobile-responsive-checkerAudit responsive layout rules and breakpoints
mobile-viewport-checkerEnsure viewport meta tags and responsive meta configs are in place
page-load-checkerMeasure page weight and render-blocking assets
page-speed-checkerMeasure load times and highlight slow resources
robots-txt-checkerParse robots.txt directives and highlight blocking issues
robots-txt-generatorGenerate robots.txt content with optional AI bot restrictions
security-headers-checkerCheck CSP/HSTS and other security headers
seo-audit-checkerComprehensive SEO audit covering technical and content issues
sitemap-generatorCrawl the target domain and produce an XML sitemap
social-media-checkerValidate Open Graph and Twitter Card metadata
ssl-certificate-checkerInspect certificate chain, expiry, and HTTPS enforcement
status-code-checkerTrace HTTP status/redirect chains for a URL
structured-data-checkerValidate Schema.org markup and structured data coverage
url-structure-checkerEvaluate keyword usage and cleanliness of URLs

Control What Your AI Can Do

You decide what AI agents can do with each connected account:

  • Turn individual actions on or off for every connected account, so agents only see the actions you allow.
  • Connect as Read-only or Read & Write. A read-only connection can only enable read actions.
  • Destructive actions stay off by default. Actions such as deletes are disabled until an admin enables them.
  • Team access per account. Restricted team members only use the accounts they are granted, with the read actions enabled on them.

Usage Examples

Full SEO Audit
"Run a comprehensive SEO audit on https://example.com"
Check Technical SEO
"Check the robots.txt and indexability of https://example.com"
Analyze Internal Links
"Map all the internal links on this page"
Generate Sitemap
"Generate an XML sitemap for https://example.com"
Extract Brand Elements
"Extract the brand colors, fonts, and logos from https://company.com"
Security Audit
"Check the SSL certificate and security headers for this site"

Why Web Crawler MCP?

For SEO Professionals
  • Comprehensive audits - 25+ specialized checks
  • Technical SEO - Robots, canonical, structured data
  • Content analysis - Quality scoring and optimization
For Web Developers
  • Debug issues - Find broken links, redirect chains
  • Performance - Page speed and resource analysis
  • Security - SSL and header validation
For Agencies
  • Client audits - Quick site assessments
  • Competitive analysis - Analyze competitor sites
  • Reporting - Generate findings conversationally

Security & Privacy

  • Secure requests - HTTPS support

Pricing

The Web Crawler MCP server is included in every InsightfulPipe plan, together with all other MCP servers and the CLI. Plans start at $29.99/month, and you can try it for 7 days. See insightfulpipe.com/pricing for current plans.

Ready-Made Skills and Prompts

Explore More MCP Servers by Insightful Pipe

Visit [insightfulpipe.com/mcp-servers](https://insightfulpipe.com/mcp-servers) to discover our full collection of MCP servers for marketing and analytics.

SEO & Performance MCP Servers
Analytics MCP Servers

[View All MCP Servers →](https://insightfulpipe.com/mcp-servers)

Resources

Support

[Insightful Pipe](https://insightfulpipe.com) — AI-powered marketing analytics through MCP servers. Explore all integrations →

License

MIT License - see LICENSE for details.