Robotstxt AI

Name: Robotstxt AI
Author: sharozdawa

de sharozdawaversión 1.0.1i★ –iSe ejecuta en tu computadora

Nombre en el registroio.github.sharozdawa/robotstxt-ai

Instalar

Resumen

Descripción del creador (original en inglés)

Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

Los tres pilares de PopNx MCP

Estos tres nunca se combinan en una sola puntuación: las opiniones, las mediciones y la popularidad son cosas distintas.

Opinión de usuariosiAún no hay reseñasLas reseñas se abrirán junto con las cuentas en una etapa posterior
Nuestras revisiones básicasi1 de 1 superadasRevisado con información pública; el código aún no se ha escaneado
UsoiAún sin medir★ –

Qué puedes hacer con él

Todavía no escribimos un resumen sencillo para este. Abajo están los datos que leímos del registro.

Conexión: Se ejecuta en tu computadora
Transporte: stdio
Categoría: Web y navegadores

Instalación

Elige la app de IA que usas y copia la configuración.

Antes de instalar

Revisiones básicas: 1 de 1 superadas
Se ejecuta en tu computadora con los permisos de tu usuario (archivos, red, apps).
El registro no indica ninguna clave que completar.

Necesitas

npmNode.js instalado (para el comando npx)

¿Qué app usas?

ClaudeClaude CodeCursorVS CodeChatGPT

Elige tu app arriba. La recordamos, así que la próxima vez el botón dirá “Instalar en …”.

Abre Claude Desktop → Settings → Developer → Edit Config y pega esto en claude_desktop_config.json

{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

Ejecuta esto en tu terminal

claude mcp add robotstxt-ai -- npx -y robotstxt-ai-mcp

Abrir en Cursor

O copia la configuración tú

Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json

{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

Abrir en VS Code

O copia la configuración tú

Pégalo en .vscode/mcp.json de tu proyecto

{
  "servers": {
    "robotstxt-ai": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

Este se ejecuta en tu computadora, y ChatGPT solo puede conectarse a servidores en internet. Elige otra app.

Tu elección se guarda en una cookie en este dispositivo; no necesitas cuenta.

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

Qué puede hacer

Se ejecuta en tu computadora; la lista de herramientas aparece en tu app de IA después de instalarlo.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 8 nov 2026

✓ Superada
El creador coincide con el repo
El nombre en el registro se verificó con la cuenta de GitHub sharozdawa, dueña del repo
… Aún sin revisar
Sigue en mantenimiento
Todavía no hemos leído este repo en GitHub
… Aún sin revisar
Tiene licencia
Todavía no hemos leído este repo en GitHub
– No aplica
El endpoint responde
Este se ejecuta en tu computadora; no hay endpoint en internet
– No aplica
Inicio de sesión con OAuth
Se ejecuta en tu computadora y usa ajustes locales en su lugar
… Aún sin revisar
Sin instrucciones ocultas en las descripciones de herramientas
Se ejecuta en tu computadora; solo podemos leer listas de herramientas de endpoints en internet

Comparado con otros en Web y navegadoresi

Más estrellas que el 0% de los otros 1378 servidores de esta categoría
Publicado en el registro más recientemente que el 5% de los otros 1378 servidores de esta categoría
Revisiones básicas iguales o mejores que el 100% de los otros 1378 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro Robotstxt AI?

Superó 1 de 1 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

El registro no indica ninguna clave obligatoria, aunque algunos servidores te piden iniciar sesión la primera vez que los usas.

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en tu computadora. Tu app de IA lo inicia cuando hace falta, y los datos no pasan por los servidores del creador (a menos que el propio servidor llame a un servicio en línea).

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez –, y la última versión (1.0.1) llegó al registro hace 8 meses.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. También necesitas Node.js en tu computadora.

¿Qué puedo usar en su lugar?

En la misma categoría: Browser Use, Chrome DevTools MCP, MCP Server Browser

Alternativas

Servidores de la misma categoría hechos por otros creadores, ordenados por estrellas.

Cómo leer una tarjeta:★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

Browser Use

de browser-use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

Computadora o nube★ 120.087MITActualizado hace 18 días

Instalar

Chrome DevTools MCP

de ChromeDevTools

MCP server for Chrome DevTools

Se ejecuta en tu computadora★ 54.821Apache-2.0Actualizado hace 16 días

Instalar

MCP Server Browser

de bytedance

MCP server for browser use access

Se ejecuta en tu computadora★ 39.550Apache-2.0Actualizado hace 14 meses

Instalar

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

Manage which AI bots can crawl your website — visually.

Toggle GPTBot, ClaudeBot, PerplexityBot, and 20+ AI crawlers on/off with a simple UI. Analyze any site's robots.txt instantly.

Features

Visual Toggle UI — Block or allow AI bots with simple on/off switches
20+ AI Bots Database — GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent, and more
Analyze Existing robots.txt — Paste or fetch any robots.txt to see which AI bots are blocked
Generate robots.txt — Create a complete robots.txt with your chosen rules
MCP Server — Use with Claude Desktop, Cursor, or any MCP-compatible AI assistant
Check Bot Status — Verify if a specific bot is blocked on any website

MCP Tools

Tool	Description
`fetch_robots`	Fetch and analyze a robots.txt from any URL
`analyze_robots`	Analyze pasted robots.txt content for AI bot blocking status
`generate_robots`	Generate a robots.txt with specified blocked bots and custom rules
`list_ai_bots`	List all known AI bots with user-agents, companies, and descriptions
`check_bot_status`	Check if a specific bot is blocked on a given website

Installation

Web App

git clone https://github.com/sharozdawa/robotstxt-ai.git

cd robotstxt-ai npm install npm run dev

Open http://localhost:3000 in your browser.

MCP Server — Claude Desktop

Add to your claude_desktop_config.json:

"mcpServers": { "robotstxt-ai": { "command": "npx", "args": ["-y", "robotstxt-ai-mcp"] } } }

MCP Server — Cursor

Add to .cursor/mcp.json:

"mcpServers": { "robotstxt-ai": { "command": "npx", "args": ["-y", "robotstxt-ai-mcp"] } } }

Tracked Bots

The server knows about 25+ bots including:

AI Crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent
AI Search: ChatGPT-User, OAI-SearchBot, PerplexityBot, YouBot
Search Engines: Googlebot, Bingbot, YandexBot, Baiduspider, DuckDuckBot

Why robotstxt.ai vs Manual Editing

Feature	robotstxt.ai	Manual Editing
Visual toggle UI	Yes	No
20+ AI bots database	Yes	Research yourself
Analyze existing robots.txt	Yes	No
MCP Server	Yes	No
Price	Free	Free but tedious

More Open Source SEO Tools

Tool	Description
awesome-seo-mcp-servers	Curated list of SEO MCP servers and agent skills
indexnow-mcp	Instant URL indexing via IndexNow
schema-gen	Schema.org JSON-LD markup generator
ai-visibility	AI brand visibility tracker

License

MIT

Built by [Sharoz Dawa](https://sharozdawa.com) — SEO Professional & Digital Marketing Expert

Robotstxt AI

Resumen

Los tres pilares de PopNx MCP

Qué puedes hacer con él

Instalación

Antes de instalar

Qué puede hacer

Revisiones básicasi

El creador coincide con el repo

Sigue en mantenimiento

Tiene licencia

El endpoint responde

Inicio de sesión con OAuth

Sin instrucciones ocultas en las descripciones de herramientas

Comparado con otros en Web y navegadoresi

Preguntas frecuentes

Alternativas

Browser Use

Chrome DevTools MCP

MCP Server Browser

README del creador

Features

MCP Tools

Installation

Web App

MCP Server — Claude Desktop

MCP Server — Cursor

Tracked Bots

Why robotstxt.ai vs Manual Editing

More Open Source SEO Tools

License