Robotstxt AI

Name: Robotstxt AI
Author: sharozdawa

作者：sharozdawa版本 1.0.1i★ –i在你的电脑上运行

注册名称io.github.sharozdawa/robotstxt-ai

安装

概览

作者提供的说明（英文原文）

Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

PopNx MCP 的三大支柱

这三项永远不会合并成一个分数：意见、测量和人气是不同的东西。

用户评价i暂无评价评价功能将在后续阶段与账户功能一起开放
我们的基础检查i1 项中通过 1 项依据公开信息检查；尚未扫描代码
使用情况i非常新↓ 49/周 · ★ –

它能帮你做什么

我们还没有为它写通俗的介绍。下面是我们从注册中心读取到的事实。

连接方式: 在你的电脑上运行
传输方式: stdio
分类: 网页与浏览器

安装

选择你使用的 AI 应用，然后复制设置。

安装之前

基础检查：1 项中通过 1 项
在你的电脑上运行，拥有你的用户账户的权限（文件、网络、应用）。
注册中心没有列出需要填写的密钥。

你需要

npm已安装 Node.js（用于 npx 命令）

你用的是哪个应用？

ClaudeClaude CodeCursorVS CodeChatGPT

在上方选择你的应用。我们会记住它，下次按钮会显示“安装到 …”。

打开 Claude Desktop → Settings → Developer → Edit Config，把下面的内容粘贴到 claude_desktop_config.json

{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

在终端中运行这条命令

claude mcp add robotstxt-ai -- npx -y robotstxt-ai-mcp

在 Cursor 中打开

或者自己复制设置

粘贴到项目中的 .cursor/mcp.json，或 ~/.cursor/mcp.json

{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

浏览器会先询问是否打开应用，然后应用会显示设置并请你确认。密钥的值会留空，由你自己填写。

在 VS Code 中打开

或者自己复制设置

粘贴到项目中的 .vscode/mcp.json

{
  "servers": {
    "robotstxt-ai": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

浏览器会先询问是否打开应用，然后应用会显示设置并请你确认。密钥的值会留空，由你自己填写。

这个服务器在你的电脑上运行，而 ChatGPT 只能连接互联网上的服务器。请选择其他应用。

你的选择通过 Cookie 保存在这台设备上，无需账户。

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同，请以 README 为准。

它能做什么

它在你的电脑上运行；安装后，工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息；我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月8日

✓ 通过
作者与仓库一致
注册名称已通过 GitHub 账户 sharozdawa 验证，该账户拥有此仓库
… 尚未检查
仍在维护
我们还没有从 GitHub 读取这个仓库
… 尚未检查
有许可证
我们还没有从 GitHub 读取这个仓库
– 不适用
端点有响应
它在你的电脑上运行，没有互联网端点
– 不适用
使用 OAuth 登录
在你的电脑上运行，改用本地设置
… 尚未检查
工具描述中没有隐藏指令
它在你的电脑上运行；我们只能读取互联网端点的工具列表

与“网页与浏览器”中的其他服务器比较i

星标数多于此分类中其他 1380 个服务器的 0%
发布到注册中心的时间比此分类中其他 1380 个服务器的 5% 更新
基础检查结果等于或优于此分类中其他 1380 个服务器的 100%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时，星标数才计入。

常见问题

Robotstxt AI 安全吗？

它在 1 项适用的基础检查中通过了 1 项。我们没有阅读代码。在添加密钥或令牌之前，请先看看这个服务器要求哪些权限，并使用只具备所需权限的密钥。

它需要哪些密钥或代码？

注册中心没有列出必需的密钥，不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端？

它在你的电脑上运行。你的 AI 应用会在需要时启动它，数据不会经过作者的服务器（除非它自己调用在线服务）。

它还在维护吗？

GitHub 仓库最后更新于–，最新版本（1.0.1）于8个月前进入注册中心。

哪些应用可以使用它？

支持 MCP 的应用，例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Node.js。

有什么可以替代它？

同一分类中有：Browser Use, Chrome DevTools MCP, MCP Server Browser

替代选择

同一分类中其他作者的服务器，按星标数排序。

如何看卡片：↓ 每周下载量i★ GitHub 星标i三大支柱：评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

作者：browser-use广泛使用↓ 155.2万/周★ 12万18天前更新

电脑或云端✓ browser-use.com

安装

Chrome DevTools MCP

MCP server for Chrome DevTools

作者：ChromeDevTools广泛使用↓ 188.4万/周★ 5.5万17天前更新

在你的电脑上运行

安装

MCP Server Browser

MCP server for browser use access

作者：bytedance广泛使用↓ 792/周★ 4万14个月前更新

在你的电脑上运行

安装

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

Manage which AI bots can crawl your website — visually.

Toggle GPTBot, ClaudeBot, PerplexityBot, and 20+ AI crawlers on/off with a simple UI. Analyze any site's robots.txt instantly.

Features

Visual Toggle UI — Block or allow AI bots with simple on/off switches
20+ AI Bots Database — GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent, and more
Analyze Existing robots.txt — Paste or fetch any robots.txt to see which AI bots are blocked
Generate robots.txt — Create a complete robots.txt with your chosen rules
MCP Server — Use with Claude Desktop, Cursor, or any MCP-compatible AI assistant
Check Bot Status — Verify if a specific bot is blocked on any website

MCP Tools

Tool	Description
`fetch_robots`	Fetch and analyze a robots.txt from any URL
`analyze_robots`	Analyze pasted robots.txt content for AI bot blocking status
`generate_robots`	Generate a robots.txt with specified blocked bots and custom rules
`list_ai_bots`	List all known AI bots with user-agents, companies, and descriptions
`check_bot_status`	Check if a specific bot is blocked on a given website

Installation

Web App

git clone https://github.com/sharozdawa/robotstxt-ai.git

cd robotstxt-ai npm install npm run dev

Open http://localhost:3000 in your browser.

MCP Server — Claude Desktop

Add to your claude_desktop_config.json:

"mcpServers": { "robotstxt-ai": { "command": "npx", "args": ["-y", "robotstxt-ai-mcp"] } } }

MCP Server — Cursor

Add to .cursor/mcp.json:

"mcpServers": { "robotstxt-ai": { "command": "npx", "args": ["-y", "robotstxt-ai-mcp"] } } }

Tracked Bots

The server knows about 25+ bots including:

AI Crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent
AI Search: ChatGPT-User, OAI-SearchBot, PerplexityBot, YouBot
Search Engines: Googlebot, Bingbot, YandexBot, Baiduspider, DuckDuckBot

Why robotstxt.ai vs Manual Editing

Feature	robotstxt.ai	Manual Editing
Visual toggle UI	Yes	No
20+ AI bots database	Yes	Research yourself
Analyze existing robots.txt	Yes	No
MCP Server	Yes	No
Price	Free	Free but tedious

More Open Source SEO Tools

Tool	Description
awesome-seo-mcp-servers	Curated list of SEO MCP servers and agent skills
indexnow-mcp	Instant URL indexing via IndexNow
schema-gen	Schema.org JSON-LD markup generator
ai-visibility	AI brand visibility tracker

License

MIT

Built by [Sharoz Dawa](https://sharozdawa.com) — SEO Professional & Digital Marketing Expert