timesfm
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Check if AI crawlers like GPTBot and ClaudeBot can reach, index and quote any web page.
Skills que enseñan a la IA este tipo de trabajo; funcionan junto a este
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…
scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place
Las listas se ordenan por una puntuación de uso (sobre 100) con estas partes
| Popularidad | 0/80 | Estrellas de GitHub o descargas semanales: la mayor cuenta 60, la menor 20 |
|---|---|---|
| Actualidad | 12/12 | Puntuación completa con una versión o cambio de código en 30 días |
| Sigue respondiendo | 8/8 | El endpoint en la nube respondió en la última revisión |
| Puntuación de uso | 20/100 |
Calidad: Pasó 5/5 revisiones básicas (se muestra, no ordena) · Impulso: Sin datos aún (Solo se usa en la pestaña En auge)
Elige la app de IA que usas y copia la configuración.
Que tu IA lo instale con una frase
Instala AI Crawlability Check. Sigue https://mcp.popnx.com/i/milan344s-ai-crawlability-check.md, enséñame los comandos y espera mi OK antes de ejecutarlos.Pégala en una IA que trabaje en tu equipo (como Claude Code o Cursor). Lee nuestros pasos, te muestra los comandos y espera tu OK. Sin clave ni registro. · Ver el texto completo que lee tu IA
Pasó 5/5 revisiones · Lo que preguntas pasa por el servidor del autor (mcp.milan-novotny.com) · ✓ Comandos revisados el 19 nov 2026
Primero: ¿qué IA usas?
Elige tu app y los pasos aparecen abajo.
Funciona con Claude · unos 2 min
Sin clave y sin instalar nada · Configúralo una vez en claude.ai o en la app de escritorio y úsalo en el chat · las cuentas gratis pueden añadir 1 · en Team/Enterprise lo añade un Owner
CustomizeConnectors
Copia cada valor al campo con el mismo nombre en Claude y pulsa Continue
AI Crawlability Checkhttps://mcp.milan-novotny.com/mcpPulsa Continue en la pantalla de inicio de sesión que detectó Claude · en Authentication elige lo que indique el autor (Sign in now, Sign in when needed o No sign in) y pulsa Add
+ConnectorsAI Crawlability Check
Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa✓ Si Claude dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado
Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión
Funciona con ChatGPT según tu plan
MCP completo: ChatGPT Business, Enterprise o Edu en la web · Pro: conecta con permisos de lectura/obtención, así que las herramientas que cambian datos pueden no funcionar · Plus: no confirmado en la documentación; si ves una opción para añadir MCP propio en la página de plugins puedes probar · solo web
Plugins+Add custom MCP server
Pon un nombre, pega la dirección en Connection, marca el aviso de riesgo y pulsa Create as a plugin
AI Crawlability Checkhttps://mcp.milan-novotny.com/mcpAbre un chat nuevo y elige AI Crawlability Check en tus plugins antes de escribir
Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa✓ Si ChatGPT dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado
Nombres de menú comprobados con la ayuda de OpenAI el 11 nov 2026 · tu pantalla puede variar un poco según la versión
Funciona con Claude Code · unos 2 min
Sin clave y sin instalar nada
Mac: pulsa Command+Espacio y escribe Terminal · Windows: abre PowerShell
claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcpDeberías ver AI Crawlability Check en la lista como conectado
Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa✓ Si Claude Code dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado
Nombres de menú comprobados con la ayuda de Anthropic el 11 nov 2026 · tu pantalla puede variar un poco según la versión
Funciona con Cursor · unos 2 min
Sin clave y sin instalar nada
Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa✓ Si Cursor dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado
Nombres de menú comprobados con la ayuda de Cursor el 11 nov 2026 · tu pantalla puede variar un poco según la versión
Funciona con VS Code · unos 2 min
Sin clave y sin instalar nada
Usa AI Crawlability Check y dime qué puedes hacer por mí; luego muéstrame una cosa✓ Si VS Code dice que está usando AI Crawlability Check o muestra una herramienta de AI Crawlability Check en la respuesta, ya está conectado
Nombres de menú comprobados con la ayuda de VS Code el 11 nov 2026 · tu pantalla puede variar un poco según la versión
Otras apps que usan MCP, como Windsurf, Zed o Gemini CLI, añaden servidores de forma distinta. Míralo en la lista de apps
Ver todas las apps que usan MCP →
Dirección para apps que se conectan por la web
https://mcp.milan-novotny.com/mcpLa configuración JSON está en “Para desarrolladores”, abajo
Claude Code
claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcpCursor (~/.cursor/mcp.json)
{
"mcpServers": {
"ai-crawlability-check": {
"url": "https://mcp.milan-novotny.com/mcp"
}
}
}VS Code (mcp.json)
{
"servers": {
"ai-crawlability-check": {
"type": "http",
"url": "https://mcp.milan-novotny.com/mcp"
}
}
}Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.
Según cómo se conecta este servidor y la documentación de cada app, comprobado el 10 nov 2026.
Se conectan por internet en
ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast
Nombres y descripciones de las herramientas tal como los informó el servidor el 19 nov 2026. Los escribió el creador, no nosotros; los mostramos como texto sin formato.
check_ai_crawler_accessReports which AI crawlers may fetch a public URL. Reads the site's robots.txt and returns allowed or blocked, with the deciding rule, for each known AI crawler from OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon and others, split into search and answer-time
check_ai_indexabilityChecks whether a public page can be indexed by search and AI engines once a crawler reaches it. Measures HTTP status and redirects, noindex, canonical target, how much copy exists in the raw HTML without JavaScript, client-side rendering signals, title and H1, XML sitemap coverag
check_ai_citabilityFetches a public page and scores how quotable its content is for AI engines once it is crawled and indexed. Measures answer-first structure, question headings, lists and tables, FAQ, paragraph and sentence length, statistic and source density, named entities, schema, author, fres
check_seo_basicsFetches a public page and runs 24 measurable on-page SEO checks: title and meta description length, H1, heading hierarchy, keyword placement and density, slug, canonical, internal and external links, anchor text, image alt text, schema and social tags. Pass the target keyword to
get_review_rubricReturns a scoring rubric as text for the judgment items the URL tools cannot measure: geo (would an AI engine quote this article?) or seo (pre-publish SEO review). Fetches nothing.
Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 20 nov 2026
El nombre en el registro se verificó con la cuenta de GitHub Milan344s, dueña del repo
Último cambio de código: ayer
Usa MIT
Respondió en 77 ms (HTTP 200)
No hace falta iniciar sesión
Leímos 5 descripciones de herramientas y no encontramos instrucciones ocultas para la IA
Si lo creaste tú, pega este código en tu README. La insignia enlaza a esta página.
[](https://mcp.popnx.com/en/servers/milan344s-ai-crawlability-check)Pregunta, comparte un consejo o avisa de que no funciona. Ordenado por lo que la gente marcó como útil.
Aún no hay publicaciones. Sé la primera persona en preguntar o compartir.
Lo publicado aquí lo escriben usuarios, no el equipo de PopNx.
Aún no hay reseñas
Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.
Superó 5 de 5 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.
El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.
Se ejecuta en la nube del creador. Te conectas por internet sin instalar nada, pero lo que envías pasa por los servidores del creador.
El repo de GitHub cambió por última vez ayer, y la última versión (2.0.0) llegó al registro ayer.
Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. Se conecta por URL, así que también sirve en apps que aceptan MCP remoto, como ChatGPT en la web (MCP completo en Business y superiores; Pro solo lectura).
En la misma categoría: Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook
Misma categoría, otros creadores, comandos ya revisados. Primero los oficiales, luego por estrellas.
Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi
Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.
Official changedetection.io MCP: web page change tracking, back-in-stock and price alerts.
Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡
Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use
Let your AI agent operate any website through a real, logged-in browser session.
| Este AI Crawlability Check | Browser Use | changedetection.io (official) | Apify MCP Server | Pomerado | Actionbook | |
|---|---|---|---|---|---|---|
| Dónde se ejecuta | Funciona en la nube, sin instalar nada | En la nube o instalado en tu equipo | Funciona en la nube, sin instalar nada | Funciona en la nube, sin instalar nada | Funciona en la nube, sin instalar nada | Funciona en la nube, sin instalar nada |
| Necesita clave | No | Sí | No | Sí | No | No |
| Se añade con + en Claude | No | Sí | No | No | No | No |
| Revisiones básicas | 5/5 | 5/5 | 3/3 | 4/4 | 4/4 | 4/4 |
| Licencia | MIT | MIT | Apache-2.0 | MIT | MIT | Apache-2.0 |
| Precio | Sin coste en el registro | Sin coste en el registro | Sin coste en el registro | Sin coste en el registro | Sin coste en el registro | Sin coste en el registro |
Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.
AI Crawlability Check is a free Model Context Protocol (MCP) server that tells your AI assistant whether AI crawlers can reach a web page, whether the page can be indexed, and whether its content is quotable.
It checks robots.txt rules for 29 AI crawlers, including GPTBot, ClaudeBot, PerplexityBot and OAI-SearchBot, and runs 70 measured checks across four tools. It is hosted, needs no account and no API key, and stores nothing.
https://mcp.milan-novotny.com/mcp (Streamable HTTP, no authentication)io.github.Milan344s/ai-crawlability-checkClaude (web and desktop). Settings, Connectors, "Add custom connector", then paste the endpoint URL.
Claude Code
claude mcp add --transport http ai-crawlability https://mcp.milan-novotny.com/mcp
Cursor and other clients with a JSON config
{
"mcpServers": { "ai-crawlability": { "url": "https://mcp.milan-novotny.com/mcp" } } }
Then ask in plain language:
All five tools are read-only.
| Tool | Input | What it returns |
|---|---|---|
check_ai_crawler_access | url | Allowed or blocked for 29 AI crawlers with the deciding robots.txt rule, plus 9 scored checks: robots.txt health, catch-all rules, server refusals, noindex, snippet rules, declared sitemaps, Content-Signal lines and llms.txt. |
check_ai_indexability | url | 15 scored checks: HTTP status and redirects, noindex, canonical target, copy present in the raw HTML, JavaScript dependence, XML sitemap coverage, response time, HTML size, structured data, dates and language. |
check_ai_citability | url | 22 scored checks on answer-first structure, question headings, lists and tables, statistics with sources, named entities, schema, author and freshness. Tuned for articles and guides. |
check_seo_basics | url, keyword (optional) | 24 on-page SEO checks: title, meta description, H1, heading order, keyword use, slug, canonical, links, alt text and schema. |
get_review_rubric | type: geo or seo | A review rubric as text, for the judgment a script cannot make. |
Every URL tool returns a 0 to 100 score, the measured value behind each check, the reason the check matters and a fix for each failure.
check_ai_crawler_access on a page whose robots.txt blocks most AI crawlers (shortened):
{
"tool": "check_ai_crawler_access", "score": 45, "verdict": "Weak", "summary": "9 of 19 search and answer-time bots and 3 of 10 training bots may fetch this URL according to robots.txt.", "top_fixes": [ { "check": "answer_bots_allowed", "status": "fail", "fix": "Allow these user agents for this path in robots.txt: ..." } ], "bots": [ { "bot": "OAI-SearchBot", "owner": "OpenAI", "role": "answer", "allowed": false, "decided_by": "Disallow: / (group OAI-SearchBot)" } ] }
Names and purposes were verified against each vendor's own crawler documentation on 19 November 2026. Bytespider has no vendor documentation and is included because it appears in most block lists. Corrections are welcome as issues or pull requests against src/robots.js.
| Crawler | Owner | What it is for | Vendor position on robots.txt |
|---|---|---|---|
OAI-SearchBot | OpenAI | Surfaces sites in ChatGPT search | Honors |
ChatGPT-User | OpenAI | Live fetch when a ChatGPT user or custom GPT asks | May not apply (user-triggered) |
Claude-SearchBot | Anthropic | Crawls to improve search results in Claude | Honors |
Claude-User | Anthropic | Live fetch when a Claude user asks | Honors |
PerplexityBot | Perplexity | Perplexity search index; not used for model training | Honors |
Perplexity-User | Perplexity | Live fetch when a Perplexity user asks | Generally ignores (user-triggered) |
Googlebot | Google Search, including AI Overviews and AI Mode | Honors | |
Bingbot | Microsoft | Bing index, which also grounds Copilot | Honors |
Applebot | Apple | Search across Siri, Spotlight and Safari | Honors |
DuckAssistBot | DuckDuckGo | Real-time fetch for DuckDuckGo AI answers; no training | Honors |
meta-webindexer | Meta | Meta AI search results and citations | Not stated |
meta-externalfetcher | Meta | User-requested link fetches for Meta AI | May bypass (user-triggered) |
Amzn-SearchBot | Amazon | Search in Amazon products such as Alexa; no training | Honors |
Amzn-User | Amazon | Live fetch for Amazon user requests; no training | May not follow all rules (user-triggered) |
MistralAI-Index | Mistral | Mistral search index; no training | Not stated |
MistralAI-User | Mistral | Live fetch when a Le Chat user asks | Honors |
YouBot | You.com | You.com search index | Honors |
Google-Agent | Google-hosted agents browsing for a user | Generally ignores (user-triggered) | |
Claude-Agent | Anthropic | Hosted Claude browser acting for a user | Not stated |
| Crawler | Owner | What it is for | Vendor position on robots.txt |
|---|---|---|---|
GPTBot | OpenAI | OpenAI model training | Honors |
ClaudeBot | Anthropic | Anthropic model training | Honors |
Google-Extended | Control token for Gemini training and grounding; no effect on Search | Honors | |
Applebot-Extended | Apple | Control token for Apple AI training on Applebot data | Honors |
meta-externalagent | Meta | Training Meta AI models and improving products | Not stated |
Amazonbot | Amazon | Improves Amazon products; data may train Amazon AI models | Honors |
MistralAI-Training | Mistral | Mistral training datasets | Honors |
CCBot | Common Crawl | Open web archive, widely reused as AI training data | Honors |
AI2Bot | Allen Institute for AI | Training open language models | Not stated |
Bytespider | ByteDance | ByteDance crawler, reported as model training | No vendor documentation found |
robots.txt matching follows RFC 9309: the most specific user-agent group wins, the longest matching rule wins, and Allow beats Disallow on a tie.
The server is one Cloudflare Worker with no dependencies, no storage and no language model. It implements the MCP Streamable HTTP transport statelessly: every POST to /mcp is a self-contained JSON-RPC exchange.
| File | Purpose |
|---|---|
src/index.js | MCP protocol handling, tool definitions, landing page |
src/crawl.js | Crawler access and indexability tools |
src/citability.js, src/seo.js | Citability and SEO tools, scoring |
src/robots.js | Crawler list and RFC 9309 matching |
src/html.js | Dependency-free HTML extraction |
src/fetchpage.js | Fetch guard: public hosts only, 1.5 MB cap, 12 second timeout |
src/rubrics.js | The two review rubrics |
test/run.mjs | Protocol, unit and tool tests |
Requires Node.js 22 or later.
npm test
Run the URL tools against a live page:
node test/run.mjs https://example.com/ "optional keyword"
Start a local server on port 8787:
npm run dev
To deploy your own copy, remove the routes line from wrangler.toml (it points at this project's domain) and run npm run deploy.
The server keeps no state. It has no database, no accounts and no cookies, and it does not log tool inputs. For a URL it requests that page and the same site's robots.txt, llms.txt, llms-full.txt and up to 5 sitemap files, with the user agent milan-novotny-mcp/1.0. Full policy: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/
Built by Milan Novotný as a personal project. Crawler and product names belong to their owners; this project is not affiliated with or endorsed by any of them.
Released under the MIT licence.