timesfm
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Check if AI crawlers like GPTBot and ClaudeBot can reach, index and quote any web page.
この種の作業を AI に教える Skill。これと一緒に使えます
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…
scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place
一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり
| 人気 | 0/80 | GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます |
|---|---|---|
| 新しさ | 12/12 | 30 日以内のリリースかコード更新で満点 |
| 応答中 | 8/8 | 前回の確認でクラウドのエンドポイントが応答 |
| 利用スコア | 20/100 |
品質: 基本チェック 5/5 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)
使っているAIアプリを選んで、設定をコピーしてください。
ひとことで AI にインストールしてもらう
AI Crawlability Check をインストールして。https://mcp.popnx.com/i/milan344s-ai-crawlability-check.md に従い、コマンドを見せて、私が OK するまで実行しないで。パソコンで作業できる AI(Claude Code や Cursor など)に貼り付けます。手順を読み、コマンドを見せて、あなたの OK を待ちます。キー不要・登録不要。 · AI が読む全文を見る
チェック 5/5 合格 · 質問内容は提供元のサーバー(mcp.milan-novotny.com)を通ります · ✓ コマンド確認済み 2026年11月19日
まず:どの AI を使っていますか?
使っているアプリを選ぶと、下に手順が表示されます。
Claude につなげます · 約 2 分
キー不要、インストール不要 · claude.ai かデスクトップアプリで一度設定すれば、チャットで使えます · 無料アカウントは 1 つまで · Team/Enterprise はオーナー(Owner)が追加
CustomizeConnectors
ここからコピーして Claude の同じ名前の欄に貼り付け、Continue を押します
AI Crawlability Checkhttps://mcp.milan-novotny.com/mcpClaude が検出したサインイン設定の画面で Continue を押す · Authentication は作者の説明どおり(Sign in now・Sign in when needed・No sign in)を選び Add を押します
+ConnectorsAI Crawlability Check
AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて✓ Claude が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です
メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
ChatGPT との接続はプランしだい
フル MCP:Web 版 ChatGPT の Business・Enterprise・Edu · Pro:読み取り/取得の権限で接続、データを変えるツールは使えないことがあります · Plus:公式ドキュメントで未確認。プラグイン画面にカスタム MCP を追加する項目があれば試せます · Web のみ
Plugins+Add custom MCP server
名前を入れ、Connection にアドレスを貼り付け、注意事項にチェックして Create as a plugin を押します
AI Crawlability Checkhttps://mcp.milan-novotny.com/mcp新しいチャットを開き、入力前にプラグインの一覧から AI Crawlability Check を選びます
AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて✓ ChatGPT が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です
メニュー名は 2026年11月11日 に OpenAI のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
Claude Code につなげます · 約 2 分
キー不要、インストール不要
Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く
claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcpAI Crawlability Check が一覧にあり、接続済みと表示されれば OK です
AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて✓ Claude Code が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です
メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
Cursor につなげます · 約 2 分
キー不要、インストール不要
AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて✓ Cursor が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です
メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
VS Code につなげます · 約 2 分
キー不要、インストール不要
AI Crawlability Check を使って、私に何ができるか教えて、1 つやってみせて✓ VS Code が AI Crawlability Check を使っていると言うか、回答に AI Crawlability Check のツール名が出れば接続成功です
メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください
Web 経由でつなぐアプリ用のアドレス
https://mcp.milan-novotny.com/mcpJSON 設定は下の「開発者向け」にあります
Claude Code
claude mcp add --transport http --scope user ai-crawlability-check https://mcp.milan-novotny.com/mcpCursor (~/.cursor/mcp.json)
{
"mcpServers": {
"ai-crawlability-check": {
"url": "https://mcp.milan-novotny.com/mcp"
}
}
}VS Code (mcp.json)
{
"servers": {
"ai-crawlability-check": {
"type": "http",
"url": "https://mcp.milan-novotny.com/mcp"
}
}
}この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。
このサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。
インターネット経由でつなげるアプリ
ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast
ツールの名前と説明は、サーバーが2026年11月19日に返したそのままの内容です。書いたのは作者で、私たちではありません。プレーンテキストとして表示しています。
check_ai_crawler_accessReports which AI crawlers may fetch a public URL. Reads the site's robots.txt and returns allowed or blocked, with the deciding rule, for each known AI crawler from OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon and others, split into search and answer-time
check_ai_indexabilityChecks whether a public page can be indexed by search and AI engines once a crawler reaches it. Measures HTTP status and redirects, noindex, canonical target, how much copy exists in the raw HTML without JavaScript, client-side rendering signals, title and H1, XML sitemap coverag
check_ai_citabilityFetches a public page and scores how quotable its content is for AI engines once it is crawled and indexed. Measures answer-first structure, question headings, lists and tables, FAQ, paragraph and sentence length, statistic and source density, named entities, schema, author, fres
check_seo_basicsFetches a public page and runs 24 measurable on-page SEO checks: title and meta description length, H1, heading hierarchy, keyword placement and density, slug, canonical, internal and external links, anchor text, image alt text, schema and social tags. Pass the target keyword to
get_review_rubricReturns a scoring rubric as text for the judgment items the URL tools cannot measure: geo (would an AI engine quote this article?) or seo (pre-publish SEO review). Fetches nothing.
誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月20日にチェック
レジストリ名は、リポジトリを所有するGitHubアカウント Milan344s で確認済みです
コードの最終更新:昨日
MITを使用
77ミリ秒で応答(HTTP 200)
サインイン不要
5件のツールの説明を読み、AIへの隠れた指示は見つかりませんでした
作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。
[](https://mcp.popnx.com/en/servers/milan344s-ai-crawlability-check)質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。
まだレビューはありません
レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。
当てはまる基本チェック5項目のうち5項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。
レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。
作者のクラウドで動きます。インストール不要でインターネット経由でつながりますが、送った内容は作者のサーバーを通ります。
GitHubリポジトリの最終更新は昨日、最新バージョン(2.0.0)がレジストリに届いたのは昨日です。
Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。URL で接続するので、リモート MCP を受け付けるアプリでも使えます。例:Web 版 ChatGPT(Business 以上はフル MCP、Pro は読み取りのみ)。
同じカテゴリには:Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook
同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。
カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i
Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.
Official changedetection.io MCP: web page change tracking, back-in-stock and price alerts.
Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡
Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use
Let your AI agent operate any website through a real, logged-in browser session.
| これ AI Crawlability Check | Browser Use | changedetection.io (official) | Apify MCP Server | Pomerado | Actionbook | |
|---|---|---|---|---|---|---|
| 動く場所 | クラウドで動き、インストール不要 | クラウドでもパソコンにインストールでも使える | クラウドで動き、インストール不要 | クラウドで動き、インストール不要 | クラウドで動き、インストール不要 | クラウドで動き、インストール不要 |
| キーが必要 | いいえ | はい | いいえ | はい | いいえ | いいえ |
| Claude で + から追加 | いいえ | はい | いいえ | いいえ | いいえ | いいえ |
| 基本チェック | 5/5 | 5/5 | 3/3 | 4/4 | 4/4 | 4/4 |
| ライセンス | MIT | MIT | Apache-2.0 | MIT | MIT | Apache-2.0 |
| 料金 | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし |
作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。
AI Crawlability Check is a free Model Context Protocol (MCP) server that tells your AI assistant whether AI crawlers can reach a web page, whether the page can be indexed, and whether its content is quotable.
It checks robots.txt rules for 29 AI crawlers, including GPTBot, ClaudeBot, PerplexityBot and OAI-SearchBot, and runs 70 measured checks across four tools. It is hosted, needs no account and no API key, and stores nothing.
https://mcp.milan-novotny.com/mcp (Streamable HTTP, no authentication)io.github.Milan344s/ai-crawlability-checkClaude (web and desktop). Settings, Connectors, "Add custom connector", then paste the endpoint URL.
Claude Code
claude mcp add --transport http ai-crawlability https://mcp.milan-novotny.com/mcp
Cursor and other clients with a JSON config
{
"mcpServers": { "ai-crawlability": { "url": "https://mcp.milan-novotny.com/mcp" } } }
Then ask in plain language:
All five tools are read-only.
| Tool | Input | What it returns |
|---|---|---|
check_ai_crawler_access | url | Allowed or blocked for 29 AI crawlers with the deciding robots.txt rule, plus 9 scored checks: robots.txt health, catch-all rules, server refusals, noindex, snippet rules, declared sitemaps, Content-Signal lines and llms.txt. |
check_ai_indexability | url | 15 scored checks: HTTP status and redirects, noindex, canonical target, copy present in the raw HTML, JavaScript dependence, XML sitemap coverage, response time, HTML size, structured data, dates and language. |
check_ai_citability | url | 22 scored checks on answer-first structure, question headings, lists and tables, statistics with sources, named entities, schema, author and freshness. Tuned for articles and guides. |
check_seo_basics | url, keyword (optional) | 24 on-page SEO checks: title, meta description, H1, heading order, keyword use, slug, canonical, links, alt text and schema. |
get_review_rubric | type: geo or seo | A review rubric as text, for the judgment a script cannot make. |
Every URL tool returns a 0 to 100 score, the measured value behind each check, the reason the check matters and a fix for each failure.
check_ai_crawler_access on a page whose robots.txt blocks most AI crawlers (shortened):
{
"tool": "check_ai_crawler_access", "score": 45, "verdict": "Weak", "summary": "9 of 19 search and answer-time bots and 3 of 10 training bots may fetch this URL according to robots.txt.", "top_fixes": [ { "check": "answer_bots_allowed", "status": "fail", "fix": "Allow these user agents for this path in robots.txt: ..." } ], "bots": [ { "bot": "OAI-SearchBot", "owner": "OpenAI", "role": "answer", "allowed": false, "decided_by": "Disallow: / (group OAI-SearchBot)" } ] }
Names and purposes were verified against each vendor's own crawler documentation on 19 November 2026. Bytespider has no vendor documentation and is included because it appears in most block lists. Corrections are welcome as issues or pull requests against src/robots.js.
| Crawler | Owner | What it is for | Vendor position on robots.txt |
|---|---|---|---|
OAI-SearchBot | OpenAI | Surfaces sites in ChatGPT search | Honors |
ChatGPT-User | OpenAI | Live fetch when a ChatGPT user or custom GPT asks | May not apply (user-triggered) |
Claude-SearchBot | Anthropic | Crawls to improve search results in Claude | Honors |
Claude-User | Anthropic | Live fetch when a Claude user asks | Honors |
PerplexityBot | Perplexity | Perplexity search index; not used for model training | Honors |
Perplexity-User | Perplexity | Live fetch when a Perplexity user asks | Generally ignores (user-triggered) |
Googlebot | Google Search, including AI Overviews and AI Mode | Honors | |
Bingbot | Microsoft | Bing index, which also grounds Copilot | Honors |
Applebot | Apple | Search across Siri, Spotlight and Safari | Honors |
DuckAssistBot | DuckDuckGo | Real-time fetch for DuckDuckGo AI answers; no training | Honors |
meta-webindexer | Meta | Meta AI search results and citations | Not stated |
meta-externalfetcher | Meta | User-requested link fetches for Meta AI | May bypass (user-triggered) |
Amzn-SearchBot | Amazon | Search in Amazon products such as Alexa; no training | Honors |
Amzn-User | Amazon | Live fetch for Amazon user requests; no training | May not follow all rules (user-triggered) |
MistralAI-Index | Mistral | Mistral search index; no training | Not stated |
MistralAI-User | Mistral | Live fetch when a Le Chat user asks | Honors |
YouBot | You.com | You.com search index | Honors |
Google-Agent | Google-hosted agents browsing for a user | Generally ignores (user-triggered) | |
Claude-Agent | Anthropic | Hosted Claude browser acting for a user | Not stated |
| Crawler | Owner | What it is for | Vendor position on robots.txt |
|---|---|---|---|
GPTBot | OpenAI | OpenAI model training | Honors |
ClaudeBot | Anthropic | Anthropic model training | Honors |
Google-Extended | Control token for Gemini training and grounding; no effect on Search | Honors | |
Applebot-Extended | Apple | Control token for Apple AI training on Applebot data | Honors |
meta-externalagent | Meta | Training Meta AI models and improving products | Not stated |
Amazonbot | Amazon | Improves Amazon products; data may train Amazon AI models | Honors |
MistralAI-Training | Mistral | Mistral training datasets | Honors |
CCBot | Common Crawl | Open web archive, widely reused as AI training data | Honors |
AI2Bot | Allen Institute for AI | Training open language models | Not stated |
Bytespider | ByteDance | ByteDance crawler, reported as model training | No vendor documentation found |
robots.txt matching follows RFC 9309: the most specific user-agent group wins, the longest matching rule wins, and Allow beats Disallow on a tie.
The server is one Cloudflare Worker with no dependencies, no storage and no language model. It implements the MCP Streamable HTTP transport statelessly: every POST to /mcp is a self-contained JSON-RPC exchange.
| File | Purpose |
|---|---|
src/index.js | MCP protocol handling, tool definitions, landing page |
src/crawl.js | Crawler access and indexability tools |
src/citability.js, src/seo.js | Citability and SEO tools, scoring |
src/robots.js | Crawler list and RFC 9309 matching |
src/html.js | Dependency-free HTML extraction |
src/fetchpage.js | Fetch guard: public hosts only, 1.5 MB cap, 12 second timeout |
src/rubrics.js | The two review rubrics |
test/run.mjs | Protocol, unit and tool tests |
Requires Node.js 22 or later.
npm test
Run the URL tools against a live page:
node test/run.mjs https://example.com/ "optional keyword"
Start a local server on port 8787:
npm run dev
To deploy your own copy, remove the routes line from wrangler.toml (it points at this project's domain) and run npm run deploy.
The server keeps no state. It has no database, no accounts and no cookies, and it does not log tool inputs. For a URL it requests that page and the same site's robots.txt, llms.txt, llms-full.txt and up to 5 sitemap files, with the user agent milan-novotny-mcp/1.0. Full policy: https://www.milan-novotny.com/tools/ai-crawlability-mcp/privacy/
Built by Milan Novotný as a personal project. Crawler and product names belong to their owners; this project is not affiliated with or endorsed by any of them.
Released under the MIT licence.