プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説

AI Crawlability Check

作者:Milan344sバージョン 2.0.0i★ 0iクラウドで動く公式サイト ↗
レジストリ名io.github.Milan344s/ai-crawlability-check

インストール方法

What it does

Check if AI crawlers like GPTBot and ClaudeBot can reach, index and quote any web page.

  • Connects クラウドで動く
  • Account or key No key needed
  • Category ウェブ・ブラウザ

一緒に使える

この種の作業を AI に教える Skill。これと一緒に使えます

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

作者:google-research★ 35,6381 個の skill

Skill · 手順書

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

作者:BigBodyCobain★ 11,6051 個の skill

Skill · 手順書

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

作者:gosom★ 8,2361 個の skill

Skill · 手順書

この順位の理由

一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり

人気0/80GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます
新しさ12/1230 日以内のリリースかコード更新で満点
応答中8/8前回の確認でクラウドのエンドポイントが応答
利用スコア20/100

品質: 基本チェック 5/5 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)

インストール

使っているAIアプリを選んで、設定をコピーしてください。

ひとことで AI にインストールしてもらう

AI Crawlability Check をインストールして。https://mcp.popnx.com/i/milan344s-ai-crawlability-check.md に従い、コマンドを見せて、私が OK するまで実行しないで。

パソコンで作業できる AI(Claude Code や Cursor など)に貼り付けます。手順を読み、コマンドを見せて、あなたの OK を待ちます。キー不要・登録不要。 · AI が読む全文を見る

チェック 5/5 合格 · 質問内容は提供元のサーバー(mcp.milan-novotny.com)を通ります · ✓ コマンド確認済み 2026年11月19日

まず:どの AI を使っていますか?

使っているアプリを選ぶと、下に手順が表示されます。

Claude につなげます · 約 2 分

キー不要、インストール不要 · claude.ai かデスクトップアプリで一度設定すれば、チャットで使えます · 無料アカウントは 1 つまで · Team/Enterprise はオーナー(Owner)が追加

  1. Claude の Connectors ページを開く

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  2. 「Add」→「Custom」→「Web」を押し、この 2 つを入力

    ここからコピーして Claude の同じ名前の欄に貼り付け、Continue を押します

    Name · 名前AI Crawlability Check
    Remote MCP server URL · アドレスhttps://mcp.milan-novotny.com/mcp

    Claude が検出したサインイン設定の画面で Continue を押す · Authentication は作者の説明どおり(Sign in now・Sign in when needed・No sign in)を選び Add を押します

  3. チャットで有効にする

    +ConnectorsAI Crawlability Check

  4. 試してみる

    AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

ChatGPT との接続はプランしだい

フル MCP:Web 版 ChatGPT の Business・Enterprise・Edu · Pro:読み取り/取得の権限で接続、データを変えるツールは使えないことがあります · Plus:公式ドキュメントで未確認。プラグイン画面にカスタム MCP を追加する項目があれば試せます · Web のみ

  1. Web 版 ChatGPT で MCP の追加ページを開く

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4
  2. 名前とアドレスを入力

    名前を入れ、Connection にアドレスを貼り付け、注意事項にチェックして Create as a plugin を押します

    Name · 名前AI Crawlability Check
    Connection · アドレスhttps://mcp.milan-novotny.com/mcp
  3. チャットで AI Crawlability Check を選ぶ

    新しいチャットを開き、入力前にプラグインの一覧から AI Crawlability Check を選びます

  4. 試してみる

    AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて

    ✓ ChatGPT が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に OpenAI のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Claude Code につなげます · 約 2 分

キー不要、インストール不要

  1. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く

  2. このコマンドを貼り付けて Enter

    claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcp
  3. Claude Code で /mcp と入力

    AI Crawlability Check が一覧にあり、接続済みと表示されれば OK です

  4. 試してみる

    AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude Code が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Cursor につなげます · 約 2 分

キー不要、インストール不要

  1. このボタンで Cursor を開く

    Cursor で開く

    Cursor がインストールの確認をするので Install を押します

  2. Cursor の AI チャットを Agent モードで開く

  3. 試してみる

    AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Cursor が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

VS Code につなげます · 約 2 分

キー不要、インストール不要

  1. このボタンで VS Code を開く

    VS Code で開く

    VS Code がインストールの確認をするので Install を押します

  2. VS Code の AI チャットを Agent モードで開く

  3. 試してみる

    AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて

    ✓ VS Code が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください

MCP を使えるアプリをすべて見る →

Web 経由でつなぐアプリ用のアドレス

アドレスhttps://mcp.milan-novotny.com/mcp

JSON 設定は下の「開発者向け」にあります

つまずいたら?AI Crawlability Check を使っている人に聞いてみましょう💬 ディスカッション →
開発者向け:ターミナルのコマンドと JSON 設定

Web 経由

Claude Code

claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcp

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "ai-crawlability-check": {
      "url": "https://mcp.milan-novotny.com/mcp"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "ai-crawlability-check": {
      "type": "http",
      "url": "https://mcp.milan-novotny.com/mcp"
    }
  }
}

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

ひと目でわかる

週あたりのダウンロードi
npm/PyPIにない
接続方法
クラウドで動く
トランスポート
streamable-http
最新バージョンi
2.0.0
レジストリ公開日i
2026年11月19日
コードの最終更新i
2026年11月19日
最終確認
2026年11月19日
作者
Milan344s
ウェブサイト
www.milan-novotny.com
レジストリでの状態
有効

使えるアプリ

このサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。

インターネット経由でつなげるアプリ

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

すべてのアプリと長所・短所 →

できること

ツールの名前と説明は、サーバーが2026年11月19日に返したそのままの内容です。書いたのは作者で、私たちではありません。プレーンテキストとして表示しています。

  • check_ai_crawler_access

    Reports which AI crawlers may fetch a public URL. Reads the site's robots.txt and returns allowed or blocked, with the deciding rule, for each known AI crawler from OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon and others, split into search and answer-time

  • check_ai_indexability

    Checks whether a public page can be indexed by search and AI engines once a crawler reaches it. Measures HTTP status and redirects, noindex, canonical target, how much copy exists in the raw HTML without JavaScript, client-side rendering signals, title and H1, XML sitemap coverag

  • check_ai_citability

    Fetches a public page and scores how quotable its content is for AI engines once it is crawled and indexed. Measures answer-first structure, question headings, lists and tables, FAQ, paragraph and sentence length, statistic and source density, named entities, schema, author, fres

  • check_seo_basics

    Fetches a public page and runs 24 measurable on-page SEO checks: title and meta description length, H1, heading hierarchy, keyword placement and density, slug, canonical, internal and external links, anchor text, image alt text, schema and social tags. Pass the target keyword to

  • get_review_rubric

    Returns a scoring rubric as text for the judgment items the URL tools cannot measure: geo (would an AI engine quote this article?) or seo (pre-publish SEO review). Fetches nothing.

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月20日にチェック

  • ✓ 合格

    作者とリポジトリが一致

    レジストリ名は、リポジトリを所有するGitHubアカウント Milan344s で確認済みです

  • ✓ 合格

    今もメンテナンスされている

    コードの最終更新:昨日

  • ✓ 合格

    ライセンスがある

    MITを使用

  • ✓ 合格

    エンドポイントが応答する

    77ミリ秒で応答(HTTP 200)

  • – 対象外

    OAuthでサインイン

    サインイン不要

  • ✓ 合格

    ツールの説明に隠れた指示がない

    5件のツールの説明を読み、AIへの隠れた指示は見つかりませんでした

確認していること → · JSON

作者の方へ:再確認の依頼・情報の誤りの報告
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/milan344s-ai-crawlability-check.svg)](https://mcp.popnx.com/en/servers/milan344s-ai-crawlability-check)

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

ユーザーレビュー

まだレビューはありません

ログインしてレビューを書く

ウェブ・ブラウザのほかのサーバーとの比較i

  • このカテゴリのほかの1645件のうち0%よりスターが多い
  • このカテゴリのほかの1645件のうち98%より最近レジストリに公開
  • 基本チェックの結果が、このカテゴリのほかの1645件のうち99%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

AI Crawlability Checkは安全ですか?

当てはまる基本チェック5項目のうち5項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか?

レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。

パソコンで動きますか、それともクラウドですか?

作者のクラウドで動きます。インストール不要でインターネット経由でつながりますが、送った内容は作者のサーバーを通ります。

今もメンテナンスされていますか?

GitHubリポジトリの最終更新は昨日、最新バージョン(2.0.0)がレジストリに届いたのは昨日です。

どのアプリで使えますか?

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。URL で接続するので、リモート MCP を受け付けるアプリでも使えます。例:Web 版 ChatGPT(Business 以上はフル MCP、Pro は読み取りのみ)。

代わりに使えるものは?

同じカテゴリには:Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook

似た働きのほかの候補

同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。

カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

作者:browser-use広く使われている↓ 167.3万/週★ 12.1万30 日前更新

パソコンでもクラウドでも✓ 提供元 · browser-use.com

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

作者:apify広く使われている★ 1.7万3 日前更新

クラウドで動く✓ 提供元 · apify.com

Pomerado

Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use

作者:Pomerado成長中★ 1801一昨日更新

クラウドで動く✓ 提供元 · pomerado.ai

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

作者:actionbook成長中★ 163132 日前更新

クラウドで動く✓ 提供元 · actionbook.app
似たものと比べる
これ
AI Crawlability Check
Browser Usechangedetection.io (official)Apify MCP ServerPomeradoActionbook
動く場所クラウドで動き、インストール不要クラウドでもパソコンにインストールでも使えるクラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要
キーが必要いいえはいいいえはいいいえいいえ
Claude で + から追加いいえはいいいえいいえいいえいいえ
基本チェック5/55/53/34/44/44/4
ライセンスMITMITApache-2.0MITMITApache-2.0
料金登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

AI Crawlability Check

AI Crawlability Check is a free Model Context Protocol (MCP) server that tells your AI assistant whether AI crawlers can reach a web page, whether the page can be indexed, and whether its content is quotable.

It checks robots.txt rules for 29 AI crawlers, including GPTBot, ClaudeBot, PerplexityBot and OAI-SearchBot, and runs 70 measured checks across four tools. It is hosted, needs no account and no API key, and stores nothing.

  • Endpoint: https://mcp.milan-novotny.com/mcp (Streamable HTTP, no authentication)
  • Documentation: https://www.milan-novotny.com/tools/ai-crawlability-mcp/
  • Privacy and terms: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/
  • MCP Registry name: io.github.Milan344s/ai-crawlability-check

Connect

Claude (web and desktop). Settings, Connectors, "Add custom connector", then paste the endpoint URL.

Claude Code

claude mcp add --transport http ai-crawlability https://mcp.milan-novotny.com/mcp

Cursor and other clients with a JSON config

{

"mcpServers": { "ai-crawlability": { "url": "https://mcp.milan-novotny.com/mcp" } } }

Then ask in plain language:

  • "Are we blocking GPTBot, ClaudeBot or PerplexityBot on https://example.com/pricing?"
  • "Check whether this page can be indexed by AI search engines, and list the fixes."
  • "Run all the crawlability checks on our five most important URLs and give me one table."

Tools

All five tools are read-only.

ToolInputWhat it returns
check_ai_crawler_accessurlAllowed or blocked for 29 AI crawlers with the deciding robots.txt rule, plus 9 scored checks: robots.txt health, catch-all rules, server refusals, noindex, snippet rules, declared sitemaps, Content-Signal lines and llms.txt.
check_ai_indexabilityurl15 scored checks: HTTP status and redirects, noindex, canonical target, copy present in the raw HTML, JavaScript dependence, XML sitemap coverage, response time, HTML size, structured data, dates and language.
check_ai_citabilityurl22 scored checks on answer-first structure, question headings, lists and tables, statistics with sources, named entities, schema, author and freshness. Tuned for articles and guides.
check_seo_basicsurl, keyword (optional)24 on-page SEO checks: title, meta description, H1, heading order, keyword use, slug, canonical, links, alt text and schema.
get_review_rubrictype: geo or seoA review rubric as text, for the judgment a script cannot make.

Every URL tool returns a 0 to 100 score, the measured value behind each check, the reason the check matters and a fix for each failure.

Example result

check_ai_crawler_access on a page whose robots.txt blocks most AI crawlers (shortened):

{

"tool": "check_ai_crawler_access", "score": 45, "verdict": "Weak", "summary": "9 of 19 search and answer-time bots and 3 of 10 training bots may fetch this URL according to robots.txt.", "top_fixes": [ { "check": "answer_bots_allowed", "status": "fail", "fix": "Allow these user agents for this path in robots.txt: ..." } ], "bots": [ { "bot": "OAI-SearchBot", "owner": "OpenAI", "role": "answer", "allowed": false, "decided_by": "Disallow: / (group OAI-SearchBot)" } ] }

Crawlers checked

Names and purposes were verified against each vendor's own crawler documentation on 19 November 2026. Bytespider has no vendor documentation and is included because it appears in most block lists. Corrections are welcome as issues or pull requests against src/robots.js.

Search and answer-time crawlers
CrawlerOwnerWhat it is forVendor position on robots.txt
OAI-SearchBotOpenAISurfaces sites in ChatGPT searchHonors
ChatGPT-UserOpenAILive fetch when a ChatGPT user or custom GPT asksMay not apply (user-triggered)
Claude-SearchBotAnthropicCrawls to improve search results in ClaudeHonors
Claude-UserAnthropicLive fetch when a Claude user asksHonors
PerplexityBotPerplexityPerplexity search index; not used for model trainingHonors
Perplexity-UserPerplexityLive fetch when a Perplexity user asksGenerally ignores (user-triggered)
GooglebotGoogleGoogle Search, including AI Overviews and AI ModeHonors
BingbotMicrosoftBing index, which also grounds CopilotHonors
ApplebotAppleSearch across Siri, Spotlight and SafariHonors
DuckAssistBotDuckDuckGoReal-time fetch for DuckDuckGo AI answers; no trainingHonors
meta-webindexerMetaMeta AI search results and citationsNot stated
meta-externalfetcherMetaUser-requested link fetches for Meta AIMay bypass (user-triggered)
Amzn-SearchBotAmazonSearch in Amazon products such as Alexa; no trainingHonors
Amzn-UserAmazonLive fetch for Amazon user requests; no trainingMay not follow all rules (user-triggered)
MistralAI-IndexMistralMistral search index; no trainingNot stated
MistralAI-UserMistralLive fetch when a Le Chat user asksHonors
YouBotYou.comYou.com search indexHonors
Google-AgentGoogleGoogle-hosted agents browsing for a userGenerally ignores (user-triggered)
Claude-AgentAnthropicHosted Claude browser acting for a userNot stated
Training crawlers and control tokens
CrawlerOwnerWhat it is forVendor position on robots.txt
GPTBotOpenAIOpenAI model trainingHonors
ClaudeBotAnthropicAnthropic model trainingHonors
Google-ExtendedGoogleControl token for Gemini training and grounding; no effect on SearchHonors
Applebot-ExtendedAppleControl token for Apple AI training on Applebot dataHonors
meta-externalagentMetaTraining Meta AI models and improving productsNot stated
AmazonbotAmazonImproves Amazon products; data may train Amazon AI modelsHonors
MistralAI-TrainingMistralMistral training datasetsHonors
CCBotCommon CrawlOpen web archive, widely reused as AI training dataHonors
AI2BotAllen Institute for AITraining open language modelsNot stated
BytespiderByteDanceByteDance crawler, reported as model trainingNo vendor documentation found

robots.txt matching follows RFC 9309: the most specific user-agent group wins, the longest matching rule wins, and Allow beats Disallow on a tie.

Limits

  • It queries no index. The scores say whether a page can be crawled, indexed and quoted. They do not say whether any AI engine cites it today.
  • Bot-specific firewall rules are invisible. The server reads robots.txt, meta tags and headers. It reports when its own request is refused, and it never sends another company's crawler user agent.
  • No JavaScript. Pages are read as raw HTML on purpose, because that is how most AI crawlers read them.
  • Sitemaps are sampled. At most 5 sitemap files are read per check.
  • Public pages only. Private, local and non-standard addresses are refused.

How it works

The server is one Cloudflare Worker with no dependencies, no storage and no language model. It implements the MCP Streamable HTTP transport statelessly: every POST to /mcp is a self-contained JSON-RPC exchange.

FilePurpose
src/index.jsMCP protocol handling, tool definitions, landing page
src/crawl.jsCrawler access and indexability tools
src/citability.js, src/seo.jsCitability and SEO tools, scoring
src/robots.jsCrawler list and RFC 9309 matching
src/html.jsDependency-free HTML extraction
src/fetchpage.jsFetch guard: public hosts only, 1.5 MB cap, 12 second timeout
src/rubrics.jsThe two review rubrics
test/run.mjsProtocol, unit and tool tests

Run it yourself

Requires Node.js 22 or later.

npm test

Run the URL tools against a live page:

node test/run.mjs https://example.com/ "optional keyword"

Start a local server on port 8787:

npm run dev

To deploy your own copy, remove the routes line from wrangler.toml (it points at this project's domain) and run npm run deploy.

Privacy

The server keeps no state. It has no database, no accounts and no cookies, and it does not log tool inputs. For a URL it requests that page and the same site's robots.txt, llms.txt, llms-full.txt and up to 5 sitemap files, with the user agent milan-novotny-mcp/1.0. Full policy: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/

Author and licence

Built by Milan Novotný as a personal project. Crawler and product names belong to their owners; this project is not affiliated with or endorsed by any of them.

Released under the MIT licence.