プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説 ログイン

EdgeFetch

作者:bartrumbバージョン 2.7.0i★ 1iパソコンで動く公式サイト ↗
レジストリ名io.github.bartrumb/edgefetch

インストール方法

できること

Self-hosted web scraping, search, and BYO-LLM research MCP server in one Go binary.

作者による原文

  • 接続方法 パソコンで動く
  • アカウントまたはキー キー不要
  • カテゴリ 検索・AIの記憶

一緒に使える

この種の作業を AI に教える Skill。これと一緒に使えます

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

作者:google-research★ 35,6551 個の skill

Skill · 手順書

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

作者:BigBodyCobain★ 11,6191 個の skill

Skill · 手順書

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

作者:gosom★ 8,3151 個の skill

Skill · 手順書

この順位の理由

一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり

人気4/80GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます
新しさ12/1230 日以内のリリースかコード更新で満点
応答中0/8前回の確認でクラウドのエンドポイントが応答
利用スコア16/100

品質: 基本チェック 3/3 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)

インストール

使っているAIアプリを選んで、設定をコピーしてください。

ひとことで AI にインストールしてもらう

EdgeFetch をインストールして。https://mcp.popnx.com/i/bartrumb-edgefetch.md に従い、コマンドを見せて、私が OK するまで実行しないで。

パソコンで作業できる AI(Claude Code や Cursor など)に貼り付けます。手順を読み、コマンドを見せて、あなたの OK を待ちます。キー不要・登録不要。 · AI が読む全文を見る

チェック 3/3 合格 · あなたのパソコンで動きます · ✓ コマンド確認済み 2026年11月22日

まず:どの AI を使っていますか?

使っているアプリを選ぶと、下に手順が表示されます。

Claude につなげますが、先に準備が必要です

先にパソコンへ Docker を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません

AI にインストールしてもらう

このメッセージを Claude のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Claude に MCP server EdgeFetch を入れてください。順番に:1) docker --version で Docker があるか確認。なければ https://www.docker.com/products/docker-desktop/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "edgefetch": { "command": "docker", "args": [ "run", "-i", "--rm", "ghcr.io/bartrumb/edgefetch-agent:2.7.0", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、EdgeFetch のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Docker を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    docker --version
    • バージョン番号(例 Docker version …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: Docker Desktop を入れます:Mac は Docker.dmg を開いてアイコンを「アプリケーション」へドラッグ(Mac に合わせて Apple silicon か Intel を選ぶ)· Windows は Docker Desktop Installer.exe をダブルクリック · 入れたら Docker Desktop アプリを開いたままにします。curl コマンドは不要です

    Docker のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: docker --version

    一度入れれば、Docker を使うすべてのツールで使えます

  2. パソコン版 Claude アプリの設定ファイルを開く

    SettingsDeveloperEdit Config

  3. この設定を貼り付けて保存

    {
      "mcpServers": {
        "edgefetch": {
          "command": "docker",
          "args": [
            "run",
            "-i",
            "--rm",
            "ghcr.io/bartrumb/edgefetch-agent:2.7.0",
            "mcp"
          ]
        }
      }
    }
  4. Claude を終了してもう一度開く

  5. 試してみる

    EdgeFetch を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude が EdgeFetch を使っていると言うか、回答に EdgeFetch のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

ChatGPT はまだ EdgeFetch につなげません

EdgeFetch はパソコンに入れて使うものですが、ChatGPT は Web 上で動くサーバーにしかつなげません

代わりにできること

A · EdgeFetch につなげるアプリを使う

  • 先にパソコンへ Docker を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません
  • 先にパソコンへ Docker を入れてください(1 回だけ)
  • 先にパソコンへ Docker を入れてください(1 回だけ)
  • 先にパソコンへ Docker を入れてください(1 回だけ)

B · 検索・AIの記憶 の中で ChatGPT につなげる別のサーバー

同じカテゴリでよく使われているものから、キーなしでアドレスだけでつなげるものを選びました

Claude Code につなげますが、先に準備が必要です

先にパソコンへ Docker を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを Claude Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Claude Code に MCP server EdgeFetch を入れてください。順番に:1) docker --version で Docker があるか確認。なければ https://www.docker.com/products/docker-desktop/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):claude mcp add --scope user edgefetch -- docker run -i --rm ghcr.io/bartrumb/edgefetch-agent:2.7.0 mcp 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、EdgeFetch のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Docker を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    docker --version
    • バージョン番号(例 Docker version …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: Docker Desktop を入れます:Mac は Docker.dmg を開いてアイコンを「アプリケーション」へドラッグ(Mac に合わせて Apple silicon か Intel を選ぶ)· Windows は Docker Desktop Installer.exe をダブルクリック · 入れたら Docker Desktop アプリを開いたままにします。curl コマンドは不要です

    Docker のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: docker --version

    一度入れれば、Docker を使うすべてのツールで使えます

  2. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く

  3. このコマンドを貼り付けて Enter

    claude mcp add --scope user edgefetch -- docker run -i --rm ghcr.io/bartrumb/edgefetch-agent:2.7.0 mcp
  4. Claude Code で /mcp と入力

    EdgeFetch が一覧にあり、接続済みと表示されれば OK です

  5. 試してみる

    EdgeFetch を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude Code が EdgeFetch を使っていると言うか、回答に EdgeFetch のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Cursor につなげますが、先に準備が必要です

先にパソコンへ Docker を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを Cursor のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Cursor に MCP server EdgeFetch を入れてください。順番に:1) docker --version で Docker があるか確認。なければ https://www.docker.com/products/docker-desktop/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "edgefetch": { "command": "docker", "args": [ "run", "-i", "--rm", "ghcr.io/bartrumb/edgefetch-agent:2.7.0", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、EdgeFetch のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Docker を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    docker --version
    • バージョン番号(例 Docker version …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: Docker Desktop を入れます:Mac は Docker.dmg を開いてアイコンを「アプリケーション」へドラッグ(Mac に合わせて Apple silicon か Intel を選ぶ)· Windows は Docker Desktop Installer.exe をダブルクリック · 入れたら Docker Desktop アプリを開いたままにします。curl コマンドは不要です

    Docker のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: docker --version

    一度入れれば、Docker を使うすべてのツールで使えます

  2. このボタンで Cursor を開く

    Cursor で開く

    Cursor がインストールの確認をするので Install を押します

  3. Cursor の AI チャットを Agent モードで開く

  4. 試してみる

    EdgeFetch を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Cursor が EdgeFetch を使っていると言うか、回答に EdgeFetch のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

VS Code につなげますが、先に準備が必要です

先にパソコンへ Docker を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを VS Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの VS Code に MCP server EdgeFetch を入れてください。順番に:1) docker --version で Docker があるか確認。なければ https://www.docker.com/products/docker-desktop/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "servers": { "edgefetch": { "type": "stdio", "command": "docker", "args": [ "run", "-i", "--rm", "ghcr.io/bartrumb/edgefetch-agent:2.7.0", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、EdgeFetch のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. Docker を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    docker --version
    • バージョン番号(例 Docker version …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: Docker Desktop を入れます:Mac は Docker.dmg を開いてアイコンを「アプリケーション」へドラッグ(Mac に合わせて Apple silicon か Intel を選ぶ)· Windows は Docker Desktop Installer.exe をダブルクリック · 入れたら Docker Desktop アプリを開いたままにします。curl コマンドは不要です

    Docker のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: docker --version

    一度入れれば、Docker を使うすべてのツールで使えます

  2. このボタンで VS Code を開く

    VS Code で開く

    VS Code がインストールの確認をするので Install を押します

  3. VS Code の AI チャットを Agent モードで開く

  4. 試してみる

    EdgeFetch を使って、私に何ができるか教えて、1 つやってみせて

    ✓ VS Code が EdgeFetch を使っていると言うか、回答に EdgeFetch のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください

MCP を使えるアプリをすべて見る →

JSON 設定は下の「開発者向け」にあります

つまずいたら?EdgeFetch を使っている人に聞いてみましょう💬 ディスカッション →
開発者向け:ターミナルのコマンドと JSON 設定

パソコンにインストール

Claude Code

claude mcp add --scope user edgefetch -- docker run -i --rm ghcr.io/bartrumb/edgefetch-agent:2.7.0 mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "edgefetch": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/bartrumb/edgefetch-agent:2.7.0",
        "mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "edgefetch": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/bartrumb/edgefetch-agent:2.7.0",
        "mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "edgefetch": {
      "type": "stdio",
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/bartrumb/edgefetch-agent:2.7.0",
        "mcp"
      ]
    }
  }
}

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

ひと目でわかる

週あたりのダウンロードi
npm/PyPIにない
接続方法
パソコンで動く
最新バージョンi
2.7.0
レジストリ公開日i
2026年11月22日
コードの最終更新i
2026年11月22日
作者
bartrumb
パッケージ
oci: ghcr.io/bartrumb/edgefetch-agent:2.7.0
ウェブサイト
edgefetch.dev
レジストリでの状態
有効

使えるアプリ

このサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。

パソコン上で動かせるアプリ

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

すべてのアプリと長所・短所 →

できること

パソコンで動くサーバーです。インストールすると、ツール一覧がAIアプリに表示されます。

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月22日にチェック

  • ✓ 合格

    作者とリポジトリが一致

    レジストリ名は、リポジトリを所有するGitHubアカウント bartrumb で確認済みです

  • ✓ 合格

    今もメンテナンスされている

    コードの最終更新:今日

  • ✓ 合格

    ライセンスがある

    MITを使用

  • – 対象外

    エンドポイントが応答する

    これはパソコンで動くため、インターネット上のエンドポイントはありません

  • – 対象外

    OAuthでサインイン

    パソコンで動き、代わりにローカルの設定を使います

  • … 未チェック

    ツールの説明に隠れた指示がない

    パソコンで動くサーバーです。ツール一覧を読み取れるのは、インターネット上のエンドポイントがある場合だけです

公開済みの脆弱性(OSV.dev)

未確認:バージョン付きの npm と PyPI パッケージのみ確認できます

確認していること → · JSON

作者の方へ:再確認の依頼・情報の誤りの報告
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/bartrumb-edgefetch.svg)](https://mcp.popnx.com/en/servers/bartrumb-edgefetch)

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

ユーザーレビュー

まだレビューはありません

ログインしてレビューを書く

検索・AIの記憶のほかのサーバーとの比較i

  • このカテゴリのほかの6606件のうち77%よりスターが多い
  • このカテゴリのほかの6606件のうち99%より最近レジストリに公開
  • 基本チェックの結果が、このカテゴリのほかの6606件のうち99%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

EdgeFetchは安全ですか?

当てはまる基本チェック3項目のうち3項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか?

レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。

パソコンで動きますか、それともクラウドですか?

あなたのパソコンで動きます。必要なときにAIアプリが起動し、データは作者のサーバーを通りません(サーバー自体がオンラインサービスを呼び出す場合を除きます)。

今もメンテナンスされていますか?

GitHubリポジトリの最終更新は今日、最新バージョン(2.7.0)がレジストリに届いたのは今日です。

どのアプリで使えますか?

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。パソコンにDockerも必要です。

代わりに使えるものは?

同じカテゴリには:OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)

似た働きのほかの候補

同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。

カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i

OpenSEO

Keyword research, site audits, rank tracking and AI visibility for your AI agent.

作者:every-app広く使われている★ 2.9万8 日前更新

クラウドで動く✓ everyapp.com

Exa

Official Exa MCP for web search, content fetching, and multi-step research.

作者:exa-labs広く使われている★ 5252一昨日更新

クラウドで動く✓ 提供元 · exa.aiPopNx チームが実際に試用

Microsoft Learn MCP

Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.

作者:MicrosoftDocs広く使われている★ 200212 か月前更新

クラウドで動く✓ 提供元 · microsoft.comPopNx チームが実際に試用

Docs

Search and read Empryo's documentation. Read-only, no auth, no local access.

作者:proxysoul成長中★ 16313 か月前更新

クラウドで動く✓ empryo.com
似たものと比べる
これ
EdgeFetch
OpenSEOExaMicrosoft Learn MCPDocsCOTAL actions (cotal.ai)
動く場所パソコンにインストールが必要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要
キーが必要いいえいいえいいえいいえいいえいいえ
Claude で + から追加いいえはいはいはいいいえいいえ
基本チェック3/35/52/44/44/44/4
ライセンスMITMITMITCC-BY-4.0NOASSERTIONApache-2.0
料金登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

EdgeFetch

EdgeFetch is a self-hosted web scraping and search server for AI agents — open-source worker, SDKs, and adapters ([MIT](LICENSE)) with a fair-source hub ([FSL-1.1](hub/LICENSE), MIT after two years). You run one ~8 MB Go binary on any box you own (a Raspberry Pi, your Home Assistant, a spare laptop), and your agents get clean Markdown and structured data through MCP — with zero open ports, zero Redis or Postgres, and no per-page bill.

Built for the agent web: user-triggered, never trains, signs its requests with Web Bot Auth, asks for Markdown first, honours robots.txt and Content Signals, and treats 402 as a price, not an error.

Try It in 60 Seconds

# Option 1 — Full 15-Tool Hub + BYO-LLM /v1/agent + 50+ Site/ATS/Commerce Adapters + /admin UI + FTS5 in Docker (zero cloud account):

git clone https://github.com/bartrumb/edgefetch.git && cd edgefetch export CALLER_TOKEN="$(openssl rand -hex 24)" AGENT_TOKEN="$(openssl rand -hex 24)" docker compose up --build -d

Open http://127.0.0.1:8787/admin and sign in with $CALLER_TOKEN

Option 2 — Standalone ~8 MB Local Go Binary for Claude Code, Claude Desktop, Cursor, Windsurf, Gemini CLI & Codex (zero containers/ports):

go install github.com/bartrumb/edgefetch/v2/cmd/edgefetch@latest edgefetch init && edgefetch doctor

What Stands Out

  • Outbound-only workers with zero open ports (inbound LAN invisibility): Workers on a Raspberry Pi, NAS, or Home Assistant box behind CGNAT/Starlink dial *out* over TLS WebSockets (WSS /agent/ws) to your Hub (AGENT_TOKEN per site; OAuth 2.1 PKCE + CSRF for MCP//admin callers). Your home router and local LAN remain completely unreachable from the internet *(note: outbound fetches originate from your worker node's WAN IP, or from Cloudflare's edge IP when using target: "cloudflare").*
  • Dial-time SSRF protection (including the browser): politeness.RejectNonPublicPeer checks resolved peer IPs inside Go's net.Dialer.Control right before connect() (blocking DNS-rebinding TOCTOU), and headless Chromium subresources are forced through an in-process loopback CONNECT proxy (--host-resolver-rules=MAP * ~NOTFOUND).
  • Polite by design — with actionable `blocked.suggestion` rerouting: robots.txt and Content-Signal: ai-input are enforced on every hop (including 30x redirects), Retry-After is honored per host, HTTP 402 (x402) halts immediately as payment_required without auto-paying, anti-bot challenges (Cloudflare, Akamai, DataDome, PerimeterX, AWS WAF, Imperva) halt on the first attempt, and IETF RFC 9421 Web Bot Auth (Ed25519 HTTP Message Signatures) is built in. When a path is blocked by robots.txt or a WAF, EdgeFetch returns a structured `blocked.suggestion` steering your agent to official public JSON boards, registries, or APIs (e.g., Greenhouse/Ashby/Workday CXS instead of LinkedIn, or Overpass/Nominatim instead of OSM /api/).
  • Clean Two-Plane Architecture (Pure Go Edge Engine & Hub + Serverless V8 Hub):
  • Go Data Plane & Standalone Hub (`cmd/`, `internal/` — 1 external Go module `coder/websocket`, `0` transitive deps, `~8 MB` static binary): Runs 100% standalone with zero TypeScript/Node (edgefetch scrape, edgefetch mcp over stdio, or edgefetch --mode=hub with embedded declarative site adapters!) *or* as an outbound worker daemon, handling every untrusted socket, dial-time SSRF check, 100% RFC 9309 robots.txt check, streaming PDF parse, and CDP Chromium session.
  • Cloudflare / Portable Fair-Source Hub Plane (`hub/` — vetted runtime packages: `re2js`, `htmlparser2`, `ws`, `yaml`): Optional full-featured fleet coordinator running natively on Cloudflare Hibernating WebSocket Durable Objects + D1 FTS5 + R2 ($0 idle) or self-hosted node:sqlite (dist/portable-server.mjs, 0 runtime node_modules in containers). Combines Google RE2 linear-time Thompson NFA regex safety (re2js), WHATWG HTML5 CSS-selector extraction (parseHtmlDoc via htmlparser2), RFC 6455 WebSocket framing (ws), shared Go+TS declarative YAML manifests (internal/extract/manifests/*.yaml), and 56+ MIT-licensed hot-deployable site/ATS/commerce adapters (hub/src/extractors/).
  • 50+ keyless site, commerce, open-data & ATS adapters + Store `catalog` + Autonomous BYO-LLM `/v1/agent`: 15 MCP tools (agent, find_extractors, scrape, extract, map, crawl, search, jobs, catalog, search_collection, interact, read_artifact, fetch_url, fetch_batch, list_agents), drop-in Firecrawl /v2/* compatibility, linear 64 KiB framework detection, polite full-store Shopify (custom domains + /products.json) & WooCommerce inventory catalogs with variant diffs, and Claude-style dynamic adapter routing across Workable, Greenhouse (US/EU), Ashby, Lever (US/EU), Workday CXS, iCIMS, Rippling, Gem, Pinpoint, Teamtailor, BambooHR, Oracle HCM, SmartRecruiters, SEC EDGAR, Y Combinator, Socrata / CKAN / ArcGIS / Legistar Open Data, DOI/Crossref, OpenAlex, arXiv, ClinicalTrials.gov, PubMed, NIST NVD, GitHub, Stack Overflow, npm, crates.io, Hugging Face, OpenRouter, and 256 MiB streaming PDFs — supporting offline local LLMs (Ollama, LM Studio, vLLM) or online BYO-LLM (OpenAI, Anthropic, Gemini, OpenRouter, Workers AI) with live SSE streaming and $0 Zero Data Retention. Add a new adapter in one file via npm run adapter:new ([docs/ADAPTERS.md](docs/ADAPTERS.md)).

Project status: Young personal project (started November 2026), running daily as the sole web/search layer on the author's 3-node fleet (Home Assistant OS x86_64, Windows VM, and arm64). Open-source worker, SDKs, and adapters (MIT); fair-source hub (FSL-1.1-MIT, MIT after two years). Issues and PRs are triaged weekly. See [docs/LAUNCH-FAQ.md](docs/LAUNCH-FAQ.md) for honest trade-offs.


Head-to-Head vs. Other AI Crawlers & MCP Servers

Full architectural & trade-off breakdown: [docs/COMPARISON.md](docs/COMPARISON.md) · Common questions: [docs/LAUNCH-FAQ.md](docs/LAUNCH-FAQ.md)

DimensionEdgeFetch (`v2.6`)Firecrawl (Self-Hosted)Firecrawl / Tavily (Cloud)Crawl4AIJina Reader
LicenseOpen-source worker, SDKs & adapters (`MIT`); fair-source hub (`FSL-1.1`, `MIT` after 2 yrs)AGPL-3.0 (core)Proprietary SaaSApache-2.0 (+ attribution)Apache-2.0
Minimum Self-Hosted Stack1 `~8 MB` Go binary *or* 1 container (node:sqlite + /data, 0 Redis, 0 Postgres)Docker Compose + Redis + PostgreSQL + RabbitMQ + Playwright (2–4 GB+ RAM)Cloud API keyPython 3.10+ + Playwright (600 MB–1.5 GB RAM)Node.js + Puppeteer
Worker Supply Chain1 Go module (`coder/websocket`, 0 transitive deps)Dozens of npm + OS depsVendor SaaS40+ PyPI packagesDozens of npm deps
Zero-Port Outbound Home/Edge Fleet (`WSS`)Yes — Home Assistant OS, NAS, RPi, Mac/PC behind CGNAT/StarlinkNo (needs open ports, VPN, or paid residential proxies)Paid proxy creditsNo (single-host or DIY queue)No
Desktop `stdio` MCP (`edgefetch mcp`)Yes — `~8 MB` binary uses pre-installed OS Edge/Chrome/Brave (0 ports, 0 300 MB browser download)Requires cloud key or full Docker stackCloud API key requiredPython + Playwright setupCloud URL or Node server
DNS-Rebinding SSRF + Browser Subresource Guard**Dial-time RejectNonPublicPeer + loopback CONNECT SSRFProxy (MAP * ~NOTFOUND)**Application URL blocklistVendor-managedOptional / app-levelApp-level
Web Search (`search` tool)Bring your own Serper/Brave/Tavily keys, or SearXNG + `edge-map` + D1 FTS5 for `$0`Proprietary / SearXNGSeparate SaaS plansBring-your-owns.jina.ai
OpenTelemetry (`OTLP/HTTP` + W3C `traceparent`)Stitched Hub → Go `httptrace` (`dnsMs`, `connectMs`, `tlsMs`, `ttfbMs`) to any collectorInternal logs / BullMQVendor dashboard onlyPython logsInternal logs
Typical Cost (50k scrapes + 5k searches / mo)¹`$0 – $5 / mo` (Cloudflare Hibernating DO + homelab + SearXNG)$25 – $80+ / mo (VPS + proxy GBs)$49 – $130+ / mo$10 – $40+ / mo (VPS + proxies)Credit-metered

*¹ Cost assumptions checked Nov 20, 2026: compares Cloudflare Workers Free ($0) or Paid ($5/mo) within R2 (10 GB) and D1 (5 GB) monthly free tiers plus self-hosted SearXNG ($0, using existing home/VPS compute) against published Firecrawl Standard ($19–$99/mo) + Tavily Researcher ($30+/mo) plans.*


Architecture & High-Availability Mesh

flowchart TD

Admin["Browser (/admin Control Center)"] -->|"HMAC Session + CSRF"| HubW["Primary Hub (Cloudflare DO / Fly / Railway / Render)"] Claude["Claude Code / Cursor (/mcp)"] -->|"OAuth 2.1 PKCE or Bearer"| HubW Claude -.->|"Automatic HA Failover (baseUrls)"| GoHub["Standby Go Hub (--mode=hub,agent on VPS / Tailscale)"] HubW -->|"WSS /agent/ws (W3C traceparent)"| S1["Docker / VPS Fat Node (amd64)"] HubW -->|"WSS /agent/ws (W3C traceparent)"| S2["Mac Mini / RPi5 Node (arm64)"] HubW -->|"WSS /agent/ws (W3C traceparent)"| S3["Home Assistant OS Add-on"] GoHub -->|"Active-Active EDGEFETCH_HUB_URLS"| S1 GoHub -->|"Active-Active EDGEFETCH_HUB_URLS"| S2 HubW -.->|"Async OTLP/HTTP JSON"| OTel["Any OTel Collector (Tempo / Jaeger / Honeycomb / Axiom)"] S1 -.->|"Child httptrace Spans"| OTel


Deployment Modes in Detail

Option A: Standalone Worker Container (Linux, macOS, Windows, NAS, RPi, or VPS)

Multi-arch OCI manifests (linux/amd64 + linux/arm64) run as non-root 65532:65532:

# Full "Fat" Agent (Go HTTP/2 + SSRF-proxied Headless Chromium + SwiftShader + Poppler PDF):

docker run -d --name edgefetch-agent --restart=un

冒頭だけを表示しています。続きはリポジトリで読めます