Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Mit Google anmelden, um Bewertungen zu schreiben.Prototyp · alle 30 Min. aktualisiert
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt

AI Crawlability Check

von Milan344sVersion 2.0.0i★ 0iLäuft in der CloudOffizielle Website ↗
Name in der Registryio.github.Milan344s/ai-crawlability-check

So installierst du es

What it does

Check if AI crawlers like GPTBot and ClaudeBot can reach, index and quote any web page.

  • Connects Läuft in der Cloud
  • Account or key No key needed
  • Category Web & Browser

Zusammen nutzen mit

Skills, die der KI diese Art Arbeit beibringen; sie funktionieren zusammen mit diesem

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

von google-research★ 35.6381 Skills

Skill · Anleitung

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

von BigBodyCobain★ 11.6051 Skills

Skill · Anleitung

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

von gosom★ 8.2361 Skills

Skill · Anleitung

Warum es hier steht

Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert

Beliebtheit0/80GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20
Aktualität12/12Volle Punkte für Release oder Codeänderung in 30 Tagen
Antwortet noch8/8Der Cloud-Endpoint antwortete bei der letzten Prüfung
Nutzungswert20/100

Qualität: 5/5 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Mit einem Satz von deiner KI installieren lassen

Installiere bitte AI Crawlability Check. Folge https://mcp.popnx.com/i/milan344s-ai-crawlability-check.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.

Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen

5/5 Prüfungen bestanden · Was du fragst, läuft über den Server des Anbieters (mcp.milan-novotny.com) · ✓ Befehle geprüft am 19. Nov. 2026

Zuerst: Welche KI nutzt du?

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude · etwa 2 Min.

Kein Schlüssel, nichts zu installieren · Einmal auf claude.ai oder in der Desktop-App einrichten, dann im Chat nutzen · kostenlose Konten können 1 hinzufügen · bei Team/Enterprise fügt ein Owner ihn hinzu

  1. Öffne die Connectors-Seite von Claude

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  2. Klicke „Add“ → „Custom“ → „Web“ und fülle diese 2 Felder aus

    Kopiere jeden Wert in das gleichnamige Feld in Claude und klicke Continue

    Name · NameAI Crawlability Check
    Remote MCP server URL · Adressehttps://mcp.milan-novotny.com/mcp

    Klicke auf der von Claude erkannten Anmelde-Seite auf Continue · wähle bei Authentication, was der Anbieter angibt (Sign in now, Sign in when needed oder No sign in), dann Add

  3. Im Chat einschalten

    +ConnectorsAI Crawlability Check

  4. Ausprobieren

    Nutze AI Crawlability Check und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude sagt, dass es AI Crawlability Check nutzt, oder ein Werkzeug von AI Crawlability Check in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit ChatGPT je nach Tarif

Volles MCP: ChatGPT Business, Enterprise oder Edu im Web · Pro: verbindet mit Lese-/Abrufrechten, Werkzeuge, die Daten ändern, gehen evtl. nicht · Plus: in der Doku nicht bestätigt; siehst du auf der Plugins-Seite eine Option für eigene MCP-Server, kannst du es versuchen · nur Web

  1. In ChatGPT im Web die Seite zum Hinzufügen von MCP öffnen

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4
  2. Name und Adresse eintragen

    Namen eingeben, Adresse unter Connection einfügen, Risikohinweis abhaken und Create as a plugin klicken

    Name · NameAI Crawlability Check
    Connection · Adressehttps://mcp.milan-novotny.com/mcp
  3. AI Crawlability Check im Chat auswählen

    Neuen Chat öffnen und vor dem Tippen AI Crawlability Check aus deinen Plugins wählen

  4. Ausprobieren

    Nutze AI Crawlability Check und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn ChatGPT sagt, dass es AI Crawlability Check nutzt, oder ein Werkzeug von AI Crawlability Check in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von OpenAI abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Claude Code · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Terminal öffnen

    Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen

  2. Diesen Befehl einfügen und Enter drücken

    claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcp
  3. /mcp in Claude Code eingeben

    AI Crawlability Check sollte in der Liste als verbunden erscheinen

  4. Ausprobieren

    Nutze AI Crawlability Check und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude Code sagt, dass es AI Crawlability Check nutzt, oder ein Werkzeug von AI Crawlability Check in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Mit diesem Button Cursor öffnen

    In Cursor öffnen

    Cursor fragt nach einer Bestätigung; klicke Install

  2. KI-Chat in Cursor im Agent-Modus öffnen

  3. Ausprobieren

    Nutze AI Crawlability Check und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Cursor sagt, dass es AI Crawlability Check nutzt, oder ein Werkzeug von AI Crawlability Check in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code · etwa 2 Min.

Kein Schlüssel, nichts zu installieren

  1. Mit diesem Button VS Code öffnen

    In VS Code öffnen

    VS Code fragt nach einer Bestätigung; klicke Install

  2. KI-Chat in VS Code im Agent-Modus öffnen

  3. Ausprobieren

    Nutze AI Crawlability Check und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn VS Code sagt, dass es AI Crawlability Check nutzt, oder ein Werkzeug von AI Crawlability Check in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

Adresse für Apps, die über das Web verbinden

Adressehttps://mcp.milan-novotny.com/mcp

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die AI Crawlability Check nutzen💬 Diskussion →
Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Über das Web

Claude Code

claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcp

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "ai-crawlability-check": {
      "url": "https://mcp.milan-novotny.com/mcp"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "ai-crawlability-check": {
      "type": "http",
      "url": "https://mcp.milan-novotny.com/mcp"
    }
  }
}

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

Downloads pro Wochei
Nicht auf npm/PyPI
Verbindung
Läuft in der Cloud
Transport
streamable-http
Neueste Versioni
2.0.0
In der Registry veröffentlichti
19. Nov. 2026
Code zuletzt geänderti
19. Nov. 2026
Zuletzt geprüft
19. Nov. 2026
Entwickler
Milan344s
Registry-Status
Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Verbinden sich über das Internet in

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Tool-Namen und -Beschreibungen genau so, wie der Server sie am 19. Nov. 2026 gemeldet hat. Geschrieben hat sie der Entwickler, nicht wir; wir zeigen sie als reinen Text.

  • check_ai_crawler_access

    Reports which AI crawlers may fetch a public URL. Reads the site's robots.txt and returns allowed or blocked, with the deciding rule, for each known AI crawler from OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon and others, split into search and answer-time

  • check_ai_indexability

    Checks whether a public page can be indexed by search and AI engines once a crawler reaches it. Measures HTTP status and redirects, noindex, canonical target, how much copy exists in the raw HTML without JavaScript, client-side rendering signals, title and H1, XML sitemap coverag

  • check_ai_citability

    Fetches a public page and scores how quotable its content is for AI engines once it is crawled and indexed. Measures answer-first structure, question headings, lists and tables, FAQ, paragraph and sentence length, statistic and source density, named entities, schema, author, fres

  • check_seo_basics

    Fetches a public page and runs 24 measurable on-page SEO checks: title and meta description length, H1, heading hierarchy, keyword placement and density, slug, canonical, internal and external links, anchor text, image alt text, schema and social tags. Pass the target keyword to

  • get_review_rubric

    Returns a scoring rubric as text for the judgment items the URL tools cannot measure: geo (would an AI engine quote this article?) or seo (pre-publish SEO review). Fetches nothing.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 20. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde mit dem GitHub-Konto Milan344s bestätigt, dem das Repo gehört

  • ✓ Bestanden

    Wird noch gepflegt

    Code zuletzt geändert: gestern

  • ✓ Bestanden

    Hat eine Lizenz

    Nutzt MIT

  • ✓ Bestanden

    Endpunkt antwortet

    Antwort in 77 ms (HTTP 200)

  • – Nicht zutreffend

    Anmeldung mit OAuth

    Keine Anmeldung nötig

  • ✓ Bestanden

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Wir haben 5 Tool-Beschreibungen gelesen und keine versteckten Anweisungen an die KI gefunden

Was wir prüfen → · JSON

Entwickler: neue Prüfung anfordern oder falsche Angaben melden
Für Anbieter: Badge ins README

Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/milan344s-ai-crawlability-check.svg)](https://mcp.popnx.com/en/servers/milan344s-ai-crawlability-check)

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Anmelden, um eine Bewertung zu schreiben

Im Vergleich mit anderen in Web & Browseri

  • Mehr Sterne als 0 % der anderen 1645 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 98 % der anderen 1645 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 99 % der anderen 1645 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist AI Crawlability Check sicher?

Er hat 5 von 5 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.

Läuft er auf meinem Computer oder in der Cloud?

Er läuft in der Cloud des Entwicklers. Du verbindest dich übers Internet, ohne etwas zu installieren, aber was du sendest, läuft über die Server des Entwicklers.

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt gestern geändert, und die neueste Version (2.0.0) kam gestern in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL und funktioniert daher auch in Apps mit Remote-MCP, etwa ChatGPT im Web (volles MCP ab Business; Pro nur lesend).

Was kann ich stattdessen nutzen?

In derselben Kategorie: Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook

Ähnliche Alternativen

Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

von browser-useWeit verbreitet↓ 1,7 Mio./Wo.★ 121.458Aktualisiert vor 30 Tagen

Computer oder Cloud✓ vom Dienst · browser-use.com

changedetection.io (official)

Official changedetection.io MCP: web page change tracking, back-in-stock and price alerts.

von dgtlmoonWeit verbreitet★ 35.894Aktualisiert vor 15 Tagen

Läuft in der Cloud✓ vom Dienst · changedetection.io

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

von apifyWeit verbreitet★ 16.999Aktualisiert vor 3 Tagen

Läuft in der Cloud✓ vom Dienst · apify.com

Pomerado

Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use

von PomeradoWachsend★ 1801Aktualisiert vorgestern

Läuft in der Cloud✓ vom Dienst · pomerado.ai

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

von actionbookWachsend★ 1631Aktualisiert vor 32 Tagen

Läuft in der Cloud✓ vom Dienst · actionbook.app
Im Vergleich mit ähnlichen
Dieser
AI Crawlability Check
Browser Usechangedetection.io (official)Apify MCP ServerPomeradoActionbook
Läuft woLäuft in der Cloud, keine InstallationIn der Cloud oder auf deinem RechnerLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine Installation
Braucht SchlüsselNeinJaNeinJaNeinNein
Mit + in Claude hinzufügenNeinJaNeinNeinNeinNein
Basisprüfungen5/55/53/34/44/44/4
LizenzMITMITApache-2.0MITMITApache-2.0
PreisKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im Register

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

AI Crawlability Check

AI Crawlability Check is a free Model Context Protocol (MCP) server that tells your AI assistant whether AI crawlers can reach a web page, whether the page can be indexed, and whether its content is quotable.

It checks robots.txt rules for 29 AI crawlers, including GPTBot, ClaudeBot, PerplexityBot and OAI-SearchBot, and runs 70 measured checks across four tools. It is hosted, needs no account and no API key, and stores nothing.

  • Endpoint: https://mcp.milan-novotny.com/mcp (Streamable HTTP, no authentication)
  • Documentation: https://www.milan-novotny.com/tools/ai-crawlability-mcp/
  • Privacy and terms: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/
  • MCP Registry name: io.github.Milan344s/ai-crawlability-check

Connect

Claude (web and desktop). Settings, Connectors, "Add custom connector", then paste the endpoint URL.

Claude Code

claude mcp add --transport http ai-crawlability https://mcp.milan-novotny.com/mcp

Cursor and other clients with a JSON config

{

"mcpServers": { "ai-crawlability": { "url": "https://mcp.milan-novotny.com/mcp" } } }

Then ask in plain language:

  • "Are we blocking GPTBot, ClaudeBot or PerplexityBot on https://example.com/pricing?"
  • "Check whether this page can be indexed by AI search engines, and list the fixes."
  • "Run all the crawlability checks on our five most important URLs and give me one table."

Tools

All five tools are read-only.

ToolInputWhat it returns
check_ai_crawler_accessurlAllowed or blocked for 29 AI crawlers with the deciding robots.txt rule, plus 9 scored checks: robots.txt health, catch-all rules, server refusals, noindex, snippet rules, declared sitemaps, Content-Signal lines and llms.txt.
check_ai_indexabilityurl15 scored checks: HTTP status and redirects, noindex, canonical target, copy present in the raw HTML, JavaScript dependence, XML sitemap coverage, response time, HTML size, structured data, dates and language.
check_ai_citabilityurl22 scored checks on answer-first structure, question headings, lists and tables, statistics with sources, named entities, schema, author and freshness. Tuned for articles and guides.
check_seo_basicsurl, keyword (optional)24 on-page SEO checks: title, meta description, H1, heading order, keyword use, slug, canonical, links, alt text and schema.
get_review_rubrictype: geo or seoA review rubric as text, for the judgment a script cannot make.

Every URL tool returns a 0 to 100 score, the measured value behind each check, the reason the check matters and a fix for each failure.

Example result

check_ai_crawler_access on a page whose robots.txt blocks most AI crawlers (shortened):

{

"tool": "check_ai_crawler_access", "score": 45, "verdict": "Weak", "summary": "9 of 19 search and answer-time bots and 3 of 10 training bots may fetch this URL according to robots.txt.", "top_fixes": [ { "check": "answer_bots_allowed", "status": "fail", "fix": "Allow these user agents for this path in robots.txt: ..." } ], "bots": [ { "bot": "OAI-SearchBot", "owner": "OpenAI", "role": "answer", "allowed": false, "decided_by": "Disallow: / (group OAI-SearchBot)" } ] }

Crawlers checked

Names and purposes were verified against each vendor's own crawler documentation on 19 November 2026. Bytespider has no vendor documentation and is included because it appears in most block lists. Corrections are welcome as issues or pull requests against src/robots.js.

Search and answer-time crawlers
CrawlerOwnerWhat it is forVendor position on robots.txt
OAI-SearchBotOpenAISurfaces sites in ChatGPT searchHonors
ChatGPT-UserOpenAILive fetch when a ChatGPT user or custom GPT asksMay not apply (user-triggered)
Claude-SearchBotAnthropicCrawls to improve search results in ClaudeHonors
Claude-UserAnthropicLive fetch when a Claude user asksHonors
PerplexityBotPerplexityPerplexity search index; not used for model trainingHonors
Perplexity-UserPerplexityLive fetch when a Perplexity user asksGenerally ignores (user-triggered)
GooglebotGoogleGoogle Search, including AI Overviews and AI ModeHonors
BingbotMicrosoftBing index, which also grounds CopilotHonors
ApplebotAppleSearch across Siri, Spotlight and SafariHonors
DuckAssistBotDuckDuckGoReal-time fetch for DuckDuckGo AI answers; no trainingHonors
meta-webindexerMetaMeta AI search results and citationsNot stated
meta-externalfetcherMetaUser-requested link fetches for Meta AIMay bypass (user-triggered)
Amzn-SearchBotAmazonSearch in Amazon products such as Alexa; no trainingHonors
Amzn-UserAmazonLive fetch for Amazon user requests; no trainingMay not follow all rules (user-triggered)
MistralAI-IndexMistralMistral search index; no trainingNot stated
MistralAI-UserMistralLive fetch when a Le Chat user asksHonors
YouBotYou.comYou.com search indexHonors
Google-AgentGoogleGoogle-hosted agents browsing for a userGenerally ignores (user-triggered)
Claude-AgentAnthropicHosted Claude browser acting for a userNot stated
Training crawlers and control tokens
CrawlerOwnerWhat it is forVendor position on robots.txt
GPTBotOpenAIOpenAI model trainingHonors
ClaudeBotAnthropicAnthropic model trainingHonors
Google-ExtendedGoogleControl token for Gemini training and grounding; no effect on SearchHonors
Applebot-ExtendedAppleControl token for Apple AI training on Applebot dataHonors
meta-externalagentMetaTraining Meta AI models and improving productsNot stated
AmazonbotAmazonImproves Amazon products; data may train Amazon AI modelsHonors
MistralAI-TrainingMistralMistral training datasetsHonors
CCBotCommon CrawlOpen web archive, widely reused as AI training dataHonors
AI2BotAllen Institute for AITraining open language modelsNot stated
BytespiderByteDanceByteDance crawler, reported as model trainingNo vendor documentation found

robots.txt matching follows RFC 9309: the most specific user-agent group wins, the longest matching rule wins, and Allow beats Disallow on a tie.

Limits

  • It queries no index. The scores say whether a page can be crawled, indexed and quoted. They do not say whether any AI engine cites it today.
  • Bot-specific firewall rules are invisible. The server reads robots.txt, meta tags and headers. It reports when its own request is refused, and it never sends another company's crawler user agent.
  • No JavaScript. Pages are read as raw HTML on purpose, because that is how most AI crawlers read them.
  • Sitemaps are sampled. At most 5 sitemap files are read per check.
  • Public pages only. Private, local and non-standard addresses are refused.

How it works

The server is one Cloudflare Worker with no dependencies, no storage and no language model. It implements the MCP Streamable HTTP transport statelessly: every POST to /mcp is a self-contained JSON-RPC exchange.

FilePurpose
src/index.jsMCP protocol handling, tool definitions, landing page
src/crawl.jsCrawler access and indexability tools
src/citability.js, src/seo.jsCitability and SEO tools, scoring
src/robots.jsCrawler list and RFC 9309 matching
src/html.jsDependency-free HTML extraction
src/fetchpage.jsFetch guard: public hosts only, 1.5 MB cap, 12 second timeout
src/rubrics.jsThe two review rubrics
test/run.mjsProtocol, unit and tool tests

Run it yourself

Requires Node.js 22 or later.

npm test

Run the URL tools against a live page:

node test/run.mjs https://example.com/ "optional keyword"

Start a local server on port 8787:

npm run dev

To deploy your own copy, remove the routes line from wrangler.toml (it points at this project's domain) and run npm run deploy.

Privacy

The server keeps no state. It has no database, no accounts and no cookies, and it does not log tool inputs. For a URL it requests that page and the same site's robots.txt, llms.txt, llms-full.txt and up to 5 sitemap files, with the user agent milan-novotny-mcp/1.0. Full policy: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/

Author and licence

Built by Milan Novotný as a personal project. Crawler and product names belong to their owners; this project is not affiliated with or endorsed by any of them.

Released under the MIT licence.