Browser Use
제작자: browser-use
Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.
컴퓨터 또는 클라우드★ 120,087MIT18일 전 업데이트
설치
Robotstxt AI
개요
제작자가 쓴 설명(영어 원문)
Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.
PopNx MCP의 세 기둥
이 세 가지는 절대 하나의 점수로 합치지 않아요. 의견, 측정, 인기는 서로 다른 것이니까요.
- 사용자 의견i아직 리뷰가 없어요리뷰는 다음 단계에서 계정 기능과 함께 열려요
- 우리의 기본 점검i1개 중 1개 통과공개된 정보로 점검했으며, 코드는 아직 스캔하지 않았어요
- 사용 정도i아직 측정 안 함★ –
할 수 있는 일
이 서버는 아직 쉬운 말로 된 요약을 쓰지 못했어요. 아래는 레지스트리에서 읽어 온 사실이에요.
- 연결 방식: 내 컴퓨터에서 실행
- 전송 방식: stdio
- 카테고리: 웹 및 브라우저
설치
쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.
설치하기 전에
- 기본 점검: 1개 중 1개 통과
- 내 컴퓨터에서 내 사용자 계정의 권한(파일, 네트워크, 앱)으로 실행돼요.
- 레지스트리에 입력해야 할 키가 나와 있지 않아요.
필요한 것
- npmNode.js 설치(npx 명령어용)
어떤 앱을 쓰세요?
위에서 앱을 고르세요. 기억해 두었다가 다음부터는 버튼에 “…에 설치”라고 표시해요.
Claude Desktop → Settings → Developer → Edit Config를 열고 claude_desktop_config.json에 이 내용을 붙여 넣으세요
{
"mcpServers": {
"robotstxt-ai": {
"command": "npx",
"args": [
"-y",
"robotstxt-ai-mcp"
]
}
}
}터미널에서 이 명령어를 실행하세요
claude mcp add robotstxt-ai -- npx -y robotstxt-ai-mcp또는 설정을 직접 복사하기
프로젝트의 .cursor/mcp.json 또는 ~/.cursor/mcp.json에 붙여 넣으세요
{
"mcpServers": {
"robotstxt-ai": {
"command": "npx",
"args": [
"-y",
"robotstxt-ai-mcp"
]
}
}
}브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.
또는 설정을 직접 복사하기
프로젝트의 .vscode/mcp.json에 붙여 넣으세요
{
"servers": {
"robotstxt-ai": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"robotstxt-ai-mcp"
]
}
}
}브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.
이 서버는 내 컴퓨터에서 실행되는데, ChatGPT는 인터넷에 있는 서버에만 연결할 수 있어요. 다른 앱을 고르세요.
선택한 앱은 이 기기의 쿠키에만 저장돼요. 계정은 필요 없어요.
이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.
할 수 있는 일
내 컴퓨터에서 실행돼요. 설치하면 AI 앱에 도구 목록이 나타나요.
기본 점검i
누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 7일 점검
- ✓ 통과
제작자와 저장소 일치
레지스트리 이름이 GitHub 계정 sharozdawa 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요
- … 아직 점검 안 함
계속 관리되고 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
- … 아직 점검 안 함
라이선스 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
- – 해당 없음
엔드포인트 응답
내 컴퓨터에서 실행되는 서버라 인터넷 엔드포인트가 없어요
- – 해당 없음
OAuth로 로그인
내 컴퓨터에서 실행되며, 대신 로컬 설정을 사용해요
- … 아직 점검 안 함
도구 설명에 숨겨진 지시 없음
내 컴퓨터에서 실행돼요. 도구 목록은 인터넷 엔드포인트가 있는 서버에서만 읽을 수 있어요
웹 및 브라우저 카테고리의 다른 서버와 비교i
- 이 카테고리의 다른 서버 1378개 중 0%보다 스타가 많아요
- 이 카테고리의 다른 서버 1378개 중 5%보다 최근에 레지스트리에 공개됐어요
- 기본 점검 결과가 이 카테고리의 다른 서버 1378개 중 100%와 같거나 더 좋아요
레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.
자주 묻는 질문
Robotstxt AI, 안전한가요?
해당하는 기본 점검 1개 중 1개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.
어떤 키나 코드가 필요한가요?
레지스트리에 필수 키가 나와 있지 않아요. 다만 처음 쓸 때 로그인을 요구하는 서버도 있어요.
내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?
내 컴퓨터에서 실행돼요. AI 앱이 필요할 때 실행하고, 데이터는 제작자의 서버를 거치지 않아요(서버 자체가 온라인 서비스를 호출하는 경우는 제외).
아직 관리되고 있나요?
GitHub 저장소는 마지막으로 – 변경됐고, 최신 버전(1.0.1)은 8개월 전 레지스트리에 올라왔어요.
어떤 앱에서 쓸 수 있나요?
Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. 내 컴퓨터에 Node.js도 있어야 해요.
대신 쓸 수 있는 건 뭐가 있나요?
같은 카테고리에는: Browser Use, Chrome DevTools MCP, MCP Server Browser
대안
같은 카테고리에서 다른 제작자가 만든 서버예요. 스타 순으로 정렬했어요.
카드 보는 법:★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i
Chrome DevTools MCP
제작자: ChromeDevTools
MCP server for Chrome DevTools
내 컴퓨터에서 실행★ 54,821Apache-2.016일 전 업데이트
설치
MCP Server Browser
제작자: bytedance
MCP server for browser use access
내 컴퓨터에서 실행★ 39,550Apache-2.014개월 전 업데이트
설치
제작자의 README
README 열기
제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.
Manage which AI bots can crawl your website — visually.
Toggle GPTBot, ClaudeBot, PerplexityBot, and 20+ AI crawlers on/off with a simple UI. Analyze any site's robots.txt instantly.
Features
- Visual Toggle UI — Block or allow AI bots with simple on/off switches
- 20+ AI Bots Database — GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent, and more
- Analyze Existing robots.txt — Paste or fetch any robots.txt to see which AI bots are blocked
- Generate robots.txt — Create a complete robots.txt with your chosen rules
- MCP Server — Use with Claude Desktop, Cursor, or any MCP-compatible AI assistant
- Check Bot Status — Verify if a specific bot is blocked on any website
MCP Tools
| Tool | Description |
|---|---|
fetch_robots | Fetch and analyze a robots.txt from any URL |
analyze_robots | Analyze pasted robots.txt content for AI bot blocking status |
generate_robots | Generate a robots.txt with specified blocked bots and custom rules |
list_ai_bots | List all known AI bots with user-agents, companies, and descriptions |
check_bot_status | Check if a specific bot is blocked on a given website |
Installation
Web App
git clone https://github.com/sharozdawa/robotstxt-ai.gitcd robotstxt-ai npm install npm run dev
Open http://localhost:3000 in your browser.
MCP Server — Claude Desktop
Add to your claude_desktop_config.json:
{"mcpServers": { "robotstxt-ai": { "command": "npx", "args": ["-y", "robotstxt-ai-mcp"] } } }
MCP Server — Cursor
Add to .cursor/mcp.json:
{"mcpServers": { "robotstxt-ai": { "command": "npx", "args": ["-y", "robotstxt-ai-mcp"] } } }
Tracked Bots
The server knows about 25+ bots including:
- AI Crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent
- AI Search: ChatGPT-User, OAI-SearchBot, PerplexityBot, YouBot
- Search Engines: Googlebot, Bingbot, YandexBot, Baiduspider, DuckDuckBot
Why robotstxt.ai vs Manual Editing
| Feature | robotstxt.ai | Manual Editing |
|---|---|---|
| Visual toggle UI | Yes | No |
| 20+ AI bots database | Yes | Research yourself |
| Analyze existing robots.txt | Yes | No |
| MCP Server | Yes | No |
| Price | Free | Free but tedious |
More Open Source SEO Tools
| Tool | Description |
|---|---|
| awesome-seo-mcp-servers | Curated list of SEO MCP servers and agent skills |
| indexnow-mcp | Instant URL indexing via IndexNow |
| schema-gen | Schema.org JSON-LD markup generator |
| ai-visibility | AI brand visibility tracker |
License
MIT
Built by [Sharoz Dawa](https://sharozdawa.com) — SEO Professional & Digital Marketing Expert