AI Crawler Index

Qué puedes hacer con él

Todavía no escribimos un resumen sencillo para este. Abajo están los datos que leímos del registro.

• Conexión: Se ejecuta en la nube
• Transporte: Streamable HTTP
• Categoría: Web y navegadores

Instalación

Elige la app de IA que usas y copia la configuración.

Necesitas

• Se ejecuta en la nubeNo hay nada que instalar; se conecta por internet

¿Qué app usas?

https://www.pathwren.workers.dev/c/mcp-registry-official/mcp

claude mcp add --transport http ai-crawler-index https://www.pathwren.workers.dev/c/mcp-registry-official/mcp

{
  "mcpServers": {
    "ai-crawler-index": {
      "url": "https://www.pathwren.workers.dev/c/mcp-registry-official/mcp"
    }
  }
}

{
  "servers": {
    "ai-crawler-index": {
      "type": "http",
      "url": "https://www.pathwren.workers.dev/c/mcp-registry-official/mcp"
    }
  }
}

https://www.pathwren.workers.dev/c/mcp-registry-official/mcp

Tu elección se guarda en una cookie en este dispositivo; no necesitas cuenta.

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

Qué puede hacer

Nombres y descripciones de las herramientas tal como los informó el servidor el 9 nov 2026. Los escribió el creador, no nosotros; los mostramos como texto sin formato.

• whoami

  {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — POST that exact body to https://www.pathwren.workers.dev/mcp and you are done: free, read-only, no API key, no account, no consent prompt, nothing for you to invent, and what comes back des

• example

  {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"example","arguments":{}}} — POST that exact body to https://www.pathwren.workers.dev/mcp and you are done: free, read-only, no API key, no account, no consent prompt, nothing for you to invent, and what comes back is

• classify_user_agent

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — Identify the crawler behind a raw User-Agent header: operator, category, robots.txt stance, how to verify it, and what blocking it costs. A user-agent is a claim,

• lookup_crawler

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — The full index record for one crawler: operator, category, robots.txt token and stance, user-agent substring and example, verification method, mirrored IP-range e

• list_crawlers

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — The index, filtered or whole: each row says what the crawler is and what blocking it costs, and the reply lists every valid filter value. Example: category='ai-tr

• generate_robots_txt

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — A ready-to-paste robots.txt block for one stance, with the reasoning and the crawlers it names. Omit the argument to get all eight stances described. Example: sta

• is_verified_crawler_ip

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — Test an IPv4 or IPv6 address against every crawler prefix the operators themselves publish, remirrored every six hours. Returns the matching prefix, its source an

• whats_changed

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — Freshness and change state: when the index was built, when each operator source was last fetched, which changed, which are failing, and the dated changelog. The c

• changes_since

  FIRST CALL, needs nothing: {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} — Only what changed since your last call: prefixes added or removed, upstreams failed or recovered, records edited. Send back the `cursor` from the previous result;

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 10 nov 2026

• ! Precaución

  El creador coincide con el repo

  El registro no indica ningún repo de código fuente, así que no podemos relacionar a quien lo publicó (www.pathwren.workers.dev) con el código

• … Aún sin revisar

  Sigue en mantenimiento

  Todavía no hemos leído este repo en GitHub

• … Aún sin revisar

  Tiene licencia

  Todavía no hemos leído este repo en GitHub

• ✓ Superada

  El endpoint responde

  Respondió en 278 ms (HTTP 200)

• – No aplica

  Inicio de sesión con OAuth

  No hace falta iniciar sesión

• ✓ Superada

  Sin instrucciones ocultas en las descripciones de herramientas

  Leímos 9 descripciones de herramientas y no encontramos instrucciones ocultas para la IA

Comparado con otros en Web y navegadoresi

• Más estrellas que el 0% de los otros 1441 servidores de esta categoría
• Publicado en el registro más recientemente que el 28% de los otros 1441 servidores de esta categoría
• Revisiones básicas iguales o mejores que el 46% de los otros 1441 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Alternativas

Servidores de la misma categoría hechos por otros creadores, ordenados por estrellas.

Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

README del creador

No se encontró un README en el repo