Prototipo · Versión preliminar: todos los servidores del registro oficial, sincronizados cada 30 minutos. Inicia sesión con Google para escribir reseñas.Prototipo · se actualiza cada 30 min
PopNx MCPServidores MCP para quienes usan IA · en palabras sencillas

AI Crawlability Check

de Milan344sversión 2.0.0i★ 0iSe ejecuta en la nubeSitio oficial ↗
Nombre en el registroio.github.Milan344s/ai-crawlability-check

Cómo instalar

What it does

Check if AI crawlers like GPTBot and ClaudeBot can reach, index and quote any web page.

  • Connects Se ejecuta en la nube
  • Account or key No key needed
  • Category Web y navegadores

Úsalo junto con

Skills que enseñan a la IA este tipo de trabajo; funcionan junto a este

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

de google-research★ 35.6381 skills

Skill · Guía de trabajo

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

de BigBodyCobain★ 11.6051 skills

Skill · Guía de trabajo

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

de gosom★ 82361 skills

Skill · Guía de trabajo

Por qué está en este puesto

Las listas se ordenan por una puntuación de uso (sobre 100) con estas partes

Popularidad0/80Estrellas de GitHub o descargas semanales: la mayor cuenta 60, la menor 20
Actualidad12/12Puntuación completa con una versión o cambio de código en 30 días
Sigue respondiendo8/8El endpoint en la nube respondió en la última revisión
Puntuación de uso20/100

Calidad: Pasó 5/5 revisiones básicas (se muestra, no ordena) · Impulso: Sin datos aún (Solo se usa en la pestaña En auge)

Instalación

Elige la app de IA que usas y copia la configuración.

Que tu IA lo instale con una frase

Instala AI Crawlability Check. Sigue https://mcp.popnx.com/i/milan344s-ai-crawlability-check.md, enséñame los comandos y espera mi OK antes de ejecutarlos.

Pégala en una IA que trabaje en tu equipo (como Claude Code o Cursor). Lee nuestros pasos, te muestra los comandos y espera tu OK. Sin clave ni registro. · Ver el texto completo que lee tu IA

Pasó 5/5 revisiones · Lo que preguntas pasa por el servidor del autor (mcp.milan-novotny.com) · ✓ Comandos revisados el 19 nov 2026

Primero: ¿qué IA usas?

Elige tu app y los pasos aparecen abajo.

Funciona con Claude · unos 2 min

Sin clave y sin instalar nada · Configúralo una vez en claude.ai o en la app de escritorio y úsalo en el chat · las cuentas gratis pueden añadir 1 · en Team/Enterprise lo añade un Owner

  1. Abre la página Connectors de Claude

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  2. Pulsa “Add” → “Custom” → “Web” y completa estos 2 campos

    Copia cada valor al campo con el mismo nombre en Claude y pulsa Continue

    Name · NombreAI Crawlability Check
    Remote MCP server URL · Direcciónhttps://mcp.milan-novotny.com/mcp

    Pulsa Continue en la pantalla de inicio de sesión que detectó Claude · en Authentication elige lo que indique el autor (Sign in now, Sign in when needed o No sign in) y pulsa Add

  3. Actívalo en un chat

    +ConnectorsAI Crawlability Check

  4. Pruébalo

    Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Claude dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con ChatGPT según tu plan

MCP completo: ChatGPT Business, Enterprise o Edu en la web · Pro: conecta con permisos de lectura/obtención, así que las herramientas que cambian datos pueden no funcionar · Plus: no confirmado en la documentación; si ves una opción para añadir MCP propio en la página de plugins puedes probar · solo web

  1. Abre la página para añadir MCP en ChatGPT web

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4
  2. Escribe el nombre y la dirección

    Pon un nombre, pega la dirección en Connection, marca el aviso de riesgo y pulsa Create as a plugin

    Name · NombreAI Crawlability Check
    Connection · Direcciónhttps://mcp.milan-novotny.com/mcp
  3. Elige AI Crawlability Check en un chat

    Abre un chat nuevo y elige AI Crawlability Check en tus plugins antes de escribir

  4. Pruébalo

    Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si ChatGPT dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de OpenAI el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con Claude Code · unos 2 min

Sin clave y sin instalar nada

  1. Abre la Terminal

    Mac: pulsa Command+Espacio y escribe Terminal · Windows: abre PowerShell

  2. Pega este comando y pulsa Enter

    claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcp
  3. Escribe /mcp en Claude Code

    Deberías ver AI Crawlability Check en la lista como conectado

  4. Pruébalo

    Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Claude Code dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con Cursor · unos 2 min

Sin clave y sin instalar nada

  1. Pulsa este botón para abrir Cursor

    Abrir en Cursor

    Cursor te pedirá confirmar; pulsa Install

  2. Abre el chat de IA de Cursor en modo Agent

  3. Pruébalo

    Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si Cursor dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de Cursor el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Funciona con VS Code · unos 2 min

Sin clave y sin instalar nada

  1. Pulsa este botón para abrir VS Code

    Abrir en VS Code

    VS Code te pedirá confirmar; pulsa Install

  2. Abre el chat de IA de VS Code en modo Agent

  3. Pruébalo

    Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa

    ✓ Si VS Code dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado

Nombres de menú comprobados con la ayuda de VS Code el 11 nov 2026 · tu pantalla puede variar un poco según la versión

Otras apps que usan MCP, como Windsurf, Zed o Gemini CLI, añaden servidores de forma distinta. Míralo en la lista de apps

Ver todas las apps que usan MCP →

Dirección para apps que se conectan por la web

Direcciónhttps://mcp.milan-novotny.com/mcp

La configuración JSON está en “Para desarrolladores”, abajo

¿Te atascaste? Pregunta a quien usa AI Crawlability Check💬 Conversación →
Para desarrolladores: comandos de Terminal y configuración JSON

Por la web

Claude Code

claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcp

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "ai-crawlability-check": {
      "url": "https://mcp.milan-novotny.com/mcp"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "ai-crawlability-check": {
      "type": "http",
      "url": "https://mcp.milan-novotny.com/mcp"
    }
  }
}

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

De un vistazo

Descargas por semanai
No está en npm/PyPI
Conexión
Se ejecuta en la nube
Transporte
streamable-http
Última versióni
2.0.0
Publicado en el registroi
19 nov 2026
Último cambio de códigoi
19 nov 2026
Última revisión
19 nov 2026
Creador
Milan344s
Estado en el registro
Activo

Qué apps pueden usarlo

Según cómo se conecta este servidor y la documentación de cada app, comprobado el 10 nov 2026.

Se conectan por internet en

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

Todas las apps, con ventajas y desventajas →

Qué puede hacer

Nombres y descripciones de las herramientas tal como los informó el servidor el 19 nov 2026. Los escribió el creador, no nosotros; los mostramos como texto sin formato.

  • check_ai_crawler_access

    Reports which AI crawlers may fetch a public URL. Reads the site's robots.txt and returns allowed or blocked, with the deciding rule, for each known AI crawler from OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon and others, split into search and answer-time

  • check_ai_indexability

    Checks whether a public page can be indexed by search and AI engines once a crawler reaches it. Measures HTTP status and redirects, noindex, canonical target, how much copy exists in the raw HTML without JavaScript, client-side rendering signals, title and H1, XML sitemap coverag

  • check_ai_citability

    Fetches a public page and scores how quotable its content is for AI engines once it is crawled and indexed. Measures answer-first structure, question headings, lists and tables, FAQ, paragraph and sentence length, statistic and source density, named entities, schema, author, fres

  • check_seo_basics

    Fetches a public page and runs 24 measurable on-page SEO checks: title and meta description length, H1, heading hierarchy, keyword placement and density, slug, canonical, internal and external links, anchor text, image alt text, schema and social tags. Pass the target keyword to

  • get_review_rubric

    Returns a scoring rubric as text for the judgment items the URL tools cannot measure: geo (would an AI engine quote this article?) or seo (pre-publish SEO review). Fetches nothing.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 20 nov 2026

  • ✓ Superada

    El creador coincide con el repo

    El nombre en el registro se verificó con la cuenta de GitHub Milan344s, dueña del repo

  • ✓ Superada

    Sigue en mantenimiento

    Último cambio de código: ayer

  • ✓ Superada

    Tiene licencia

    Usa MIT

  • ✓ Superada

    El endpoint responde

    Respondió en 77 ms (HTTP 200)

  • – No aplica

    Inicio de sesión con OAuth

    No hace falta iniciar sesión

  • ✓ Superada

    Sin instrucciones ocultas en las descripciones de herramientas

    Leímos 5 descripciones de herramientas y no encontramos instrucciones ocultas para la IA

Qué revisamos → · JSON

Creadores: pedir otra revisión o avisar de un dato erróneo
Para autores: añade una insignia a tu README

Si lo creaste tú, pega este código en tu README. La insignia enlaza a esta página.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/milan344s-ai-crawlability-check.svg)](https://mcp.popnx.com/en/servers/milan344s-ai-crawlability-check)

Conversación

Pregunta, comparte un consejo o avisa de que no funciona. Ordenado por lo que la gente marcó como útil.

Aún no hay publicaciones. Sé la primera persona en preguntar o compartir.

Lo publicado aquí lo escriben usuarios, no el equipo de PopNx.

Inicia sesión para publicar

Reseñas de usuarios

Aún no hay reseñas

Inicia sesión para escribir una reseña

Comparado con otros en Web y navegadoresi

  • Más estrellas que el 0% de los otros 1645 servidores de esta categoría
  • Publicado en el registro más recientemente que el 98% de los otros 1645 servidores de esta categoría
  • Revisiones básicas iguales o mejores que el 99% de los otros 1645 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro AI Crawlability Check?

Superó 5 de 5 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en la nube del creador. Te conectas por internet sin instalar nada, pero lo que envías pasa por los servidores del creador.

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez ayer, y la última versión (2.0.0) llegó al registro ayer.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. Se conecta por URL, así que también sirve en apps que aceptan MCP remoto, como ChatGPT en la web (MCP completo en Business y superiores; Pro solo lectura).

¿Qué puedo usar en su lugar?

En la misma categoría: Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook

Alternativas parecidas

Misma categoría, otros creadores, comandos ya revisados. Primero los oficiales, luego por estrellas.

Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

de browser-useMuy usado↓ 1,7 M/sem★ 121,5 milActualizado hace 30 días

Computadora o nube✓ del servicio · browser-use.com

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

de apifyMuy usado★ 17 milActualizado hace 3 días

Se ejecuta en la nube✓ del servicio · apify.com

Pomerado

Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use

de PomeradoEn crecimiento★ 1,8 milActualizado anteayer

Se ejecuta en la nube✓ del servicio · pomerado.ai

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

de actionbookEn crecimiento★ 1,6 milActualizado hace 32 días

Se ejecuta en la nube✓ del servicio · actionbook.app
Comparado con otros parecidos
Este
AI Crawlability Check
Browser Usechangedetection.io (official)Apify MCP ServerPomeradoActionbook
Dónde se ejecutaFunciona en la nube, sin instalar nadaEn la nube o instalado en tu equipoFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nadaFunciona en la nube, sin instalar nada
Necesita claveNoSíNoSíNoNo
Se añade con + en ClaudeNoSíNoNoNoNo
Revisiones básicas5/55/53/34/44/44/4
LicenciaMITMITApache-2.0MITMITApache-2.0
PrecioSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registroSin coste en el registro

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

AI Crawlability Check

AI Crawlability Check is a free Model Context Protocol (MCP) server that tells your AI assistant whether AI crawlers can reach a web page, whether the page can be indexed, and whether its content is quotable.

It checks robots.txt rules for 29 AI crawlers, including GPTBot, ClaudeBot, PerplexityBot and OAI-SearchBot, and runs 70 measured checks across four tools. It is hosted, needs no account and no API key, and stores nothing.

  • Endpoint: https://mcp.milan-novotny.com/mcp (Streamable HTTP, no authentication)
  • Documentation: https://www.milan-novotny.com/tools/ai-crawlability-mcp/
  • Privacy and terms: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/
  • MCP Registry name: io.github.Milan344s/ai-crawlability-check

Connect

Claude (web and desktop). Settings, Connectors, "Add custom connector", then paste the endpoint URL.

Claude Code

claude mcp add --transport http ai-crawlability https://mcp.milan-novotny.com/mcp

Cursor and other clients with a JSON config

{

"mcpServers": { "ai-crawlability": { "url": "https://mcp.milan-novotny.com/mcp" } } }

Then ask in plain language:

  • "Are we blocking GPTBot, ClaudeBot or PerplexityBot on https://example.com/pricing?"
  • "Check whether this page can be indexed by AI search engines, and list the fixes."
  • "Run all the crawlability checks on our five most important URLs and give me one table."

Tools

All five tools are read-only.

ToolInputWhat it returns
check_ai_crawler_accessurlAllowed or blocked for 29 AI crawlers with the deciding robots.txt rule, plus 9 scored checks: robots.txt health, catch-all rules, server refusals, noindex, snippet rules, declared sitemaps, Content-Signal lines and llms.txt.
check_ai_indexabilityurl15 scored checks: HTTP status and redirects, noindex, canonical target, copy present in the raw HTML, JavaScript dependence, XML sitemap coverage, response time, HTML size, structured data, dates and language.
check_ai_citabilityurl22 scored checks on answer-first structure, question headings, lists and tables, statistics with sources, named entities, schema, author and freshness. Tuned for articles and guides.
check_seo_basicsurl, keyword (optional)24 on-page SEO checks: title, meta description, H1, heading order, keyword use, slug, canonical, links, alt text and schema.
get_review_rubrictype: geo or seoA review rubric as text, for the judgment a script cannot make.

Every URL tool returns a 0 to 100 score, the measured value behind each check, the reason the check matters and a fix for each failure.

Example result

check_ai_crawler_access on a page whose robots.txt blocks most AI crawlers (shortened):

{

"tool": "check_ai_crawler_access", "score": 45, "verdict": "Weak", "summary": "9 of 19 search and answer-time bots and 3 of 10 training bots may fetch this URL according to robots.txt.", "top_fixes": [ { "check": "answer_bots_allowed", "status": "fail", "fix": "Allow these user agents for this path in robots.txt: ..." } ], "bots": [ { "bot": "OAI-SearchBot", "owner": "OpenAI", "role": "answer", "allowed": false, "decided_by": "Disallow: / (group OAI-SearchBot)" } ] }

Crawlers checked

Names and purposes were verified against each vendor's own crawler documentation on 19 November 2026. Bytespider has no vendor documentation and is included because it appears in most block lists. Corrections are welcome as issues or pull requests against src/robots.js.

Search and answer-time crawlers
CrawlerOwnerWhat it is forVendor position on robots.txt
OAI-SearchBotOpenAISurfaces sites in ChatGPT searchHonors
ChatGPT-UserOpenAILive fetch when a ChatGPT user or custom GPT asksMay not apply (user-triggered)
Claude-SearchBotAnthropicCrawls to improve search results in ClaudeHonors
Claude-UserAnthropicLive fetch when a Claude user asksHonors
PerplexityBotPerplexityPerplexity search index; not used for model trainingHonors
Perplexity-UserPerplexityLive fetch when a Perplexity user asksGenerally ignores (user-triggered)
GooglebotGoogleGoogle Search, including AI Overviews and AI ModeHonors
BingbotMicrosoftBing index, which also grounds CopilotHonors
ApplebotAppleSearch across Siri, Spotlight and SafariHonors
DuckAssistBotDuckDuckGoReal-time fetch for DuckDuckGo AI answers; no trainingHonors
meta-webindexerMetaMeta AI search results and citationsNot stated
meta-externalfetcherMetaUser-requested link fetches for Meta AIMay bypass (user-triggered)
Amzn-SearchBotAmazonSearch in Amazon products such as Alexa; no trainingHonors
Amzn-UserAmazonLive fetch for Amazon user requests; no trainingMay not follow all rules (user-triggered)
MistralAI-IndexMistralMistral search index; no trainingNot stated
MistralAI-UserMistralLive fetch when a Le Chat user asksHonors
YouBotYou.comYou.com search indexHonors
Google-AgentGoogleGoogle-hosted agents browsing for a userGenerally ignores (user-triggered)
Claude-AgentAnthropicHosted Claude browser acting for a userNot stated
Training crawlers and control tokens
CrawlerOwnerWhat it is forVendor position on robots.txt
GPTBotOpenAIOpenAI model trainingHonors
ClaudeBotAnthropicAnthropic model trainingHonors
Google-ExtendedGoogleControl token for Gemini training and grounding; no effect on SearchHonors
Applebot-ExtendedAppleControl token for Apple AI training on Applebot dataHonors
meta-externalagentMetaTraining Meta AI models and improving productsNot stated
AmazonbotAmazonImproves Amazon products; data may train Amazon AI modelsHonors
MistralAI-TrainingMistralMistral training datasetsHonors
CCBotCommon CrawlOpen web archive, widely reused as AI training dataHonors
AI2BotAllen Institute for AITraining open language modelsNot stated
BytespiderByteDanceByteDance crawler, reported as model trainingNo vendor documentation found

robots.txt matching follows RFC 9309: the most specific user-agent group wins, the longest matching rule wins, and Allow beats Disallow on a tie.

Limits

  • It queries no index. The scores say whether a page can be crawled, indexed and quoted. They do not say whether any AI engine cites it today.
  • Bot-specific firewall rules are invisible. The server reads robots.txt, meta tags and headers. It reports when its own request is refused, and it never sends another company's crawler user agent.
  • No JavaScript. Pages are read as raw HTML on purpose, because that is how most AI crawlers read them.
  • Sitemaps are sampled. At most 5 sitemap files are read per check.
  • Public pages only. Private, local and non-standard addresses are refused.

How it works

The server is one Cloudflare Worker with no dependencies, no storage and no language model. It implements the MCP Streamable HTTP transport statelessly: every POST to /mcp is a self-contained JSON-RPC exchange.

FilePurpose
src/index.jsMCP protocol handling, tool definitions, landing page
src/crawl.jsCrawler access and indexability tools
src/citability.js, src/seo.jsCitability and SEO tools, scoring
src/robots.jsCrawler list and RFC 9309 matching
src/html.jsDependency-free HTML extraction
src/fetchpage.jsFetch guard: public hosts only, 1.5 MB cap, 12 second timeout
src/rubrics.jsThe two review rubrics
test/run.mjsProtocol, unit and tool tests

Run it yourself

Requires Node.js 22 or later.

npm test

Run the URL tools against a live page:

node test/run.mjs https://example.com/ "optional keyword"

Start a local server on port 8787:

npm run dev

To deploy your own copy, remove the routes line from wrangler.toml (it points at this project's domain) and run npm run deploy.

Privacy

The server keeps no state. It has no database, no accounts and no cookies, and it does not log tool inputs. For a URL it requests that page and the same site's robots.txt, llms.txt, llms-full.txt and up to 5 sitemap files, with the user agent milan-novotny-mcp/1.0. Full policy: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/

Author and licence

Built by Milan Novotný as a personal project. Crawler and product names belong to their owners; this project is not affiliated with or endorsed by any of them.

Released under the MIT licence.