プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説

WebSkrap

作者:kacigayaバージョン 3.6.0i★ 3iパソコンで動く公式サイト ↗
レジストリ名io.github.kacigaya/webskrap

インストール方法

What it does

Stealth web fetch, search and real Chrome control for AI agents.

  • Connects パソコンで動く
  • Account or key No key needed
  • Category ウェブ・ブラウザ

一緒に使える

この種の作業を AI に教える Skill。これと一緒に使えます

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

作者:google-research★ 35,6291 個の skill

Skill · 手順書

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

作者:BigBodyCobain★ 11,6021 個の skill

Skill · 手順書

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

作者:gosom★ 8,2091 個の skill

Skill · 手順書

この順位の理由

一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり

人気9/80GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます
新しさ12/1230 日以内のリリースかコード更新で満点
応答中0/8前回の確認でクラウドのエンドポイントが応答
利用スコア21/100

品質: 基本チェック 3/3 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)

インストール

使っているAIアプリを選んで、設定をコピーしてください。

ひとことで AI にインストールしてもらう

WebSkrap をインストールして。https://mcp.popnx.com/i/kacigaya-webskrap.md に従い、コマンドを見せて、私が OK するまで実行しないで。

パソコンで作業できる AI(Claude Code や Cursor など)に貼り付けます。手順を読み、コマンドを見せて、あなたの OK を待ちます。キー不要・登録不要。 · AI が読む全文を見る

チェック 3/3 合格 · あなたのパソコンで動きます · ✓ コマンド確認済み 2026年11月17日

まず:どの AI を使っていますか?

使っているアプリを選ぶと、下に手順が表示されます。

Claude につなげますが、先に準備が必要です

先にパソコンへ Python (uv) を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません

AI にインストールしてもらう

このメッセージを Claude のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Claude に MCP server WebSkrap を入れてください。順番に:1) uv --version で uv があるか確認。なければ https://docs.astral.sh/uv/getting-started/installation/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "webskrap": { "command": "uvx", "args": [ "webskrap", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、WebSkrap のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. uv を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    uv --version
    • バージョン番号(例 uv …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: uv にはクリック式のインストーラーがありません。uv 公式ページからお使いの OS(macOS か Windows)用の 1 行コマンドをコピーしてターミナルに貼り付けます · Python を別に入れる必要はなく、必要なときに uv が自動で取得します

    uv のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: uv --version

    一度入れれば、uv を使うすべてのツールで使えます

  2. パソコン版 Claude アプリの設定ファイルを開く

    SettingsDeveloperEdit Config

  3. この設定を貼り付けて保存

    {
      "mcpServers": {
        "webskrap": {
          "command": "uvx",
          "args": [
            "webskrap",
            "mcp"
          ]
        }
      }
    }
  4. Claude を終了してもう一度開く

  5. 試してみる

    WebSkrap を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude が WebSkrap を使っていると言うか、回答に WebSkrap のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

ChatGPT はまだ WebSkrap につなげません

WebSkrap はパソコンに入れて使うものですが、ChatGPT は Web 上で動くサーバーにしかつなげません

代わりにできること

A · WebSkrap につなげるアプリを使う

  • 先にパソコンへ Python (uv) を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません
  • 先にパソコンへ Python (uv) を入れてください(1 回だけ)
  • 先にパソコンへ Python (uv) を入れてください(1 回だけ)
  • 先にパソコンへ Python (uv) を入れてください(1 回だけ)

B · ウェブ・ブラウザ の中で ChatGPT につなげる別のサーバー

同じカテゴリでよく使われているものから、キーなしでアドレスだけでつなげるものを選びました

Claude Code につなげますが、先に準備が必要です

先にパソコンへ Python (uv) を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを Claude Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Claude Code に MCP server WebSkrap を入れてください。順番に:1) uv --version で uv があるか確認。なければ https://docs.astral.sh/uv/getting-started/installation/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):claude mcp add --scope user webskrap -- uvx webskrap mcp 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、WebSkrap のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. uv を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    uv --version
    • バージョン番号(例 uv …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: uv にはクリック式のインストーラーがありません。uv 公式ページからお使いの OS(macOS か Windows)用の 1 行コマンドをコピーしてターミナルに貼り付けます · Python を別に入れる必要はなく、必要なときに uv が自動で取得します

    uv のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: uv --version

    一度入れれば、uv を使うすべてのツールで使えます

  2. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く

  3. このコマンドを貼り付けて Enter

    claude mcp add --scope user webskrap -- uvx webskrap mcp
  4. Claude Code で /mcp と入力

    WebSkrap が一覧にあり、接続済みと表示されれば OK です

  5. 試してみる

    WebSkrap を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Claude Code が WebSkrap を使っていると言うか、回答に WebSkrap のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Cursor につなげますが、先に準備が必要です

先にパソコンへ Python (uv) を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを Cursor のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの Cursor に MCP server WebSkrap を入れてください。順番に:1) uv --version で uv があるか確認。なければ https://docs.astral.sh/uv/getting-started/installation/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "webskrap": { "command": "uvx", "args": [ "webskrap", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、WebSkrap のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. uv を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    uv --version
    • バージョン番号(例 uv …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: uv にはクリック式のインストーラーがありません。uv 公式ページからお使いの OS(macOS か Windows)用の 1 行コマンドをコピーしてターミナルに貼り付けます · Python を別に入れる必要はなく、必要なときに uv が自動で取得します

    uv のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: uv --version

    一度入れれば、uv を使うすべてのツールで使えます

  2. このボタンで Cursor を開く

    Cursor で開く

    Cursor がインストールの確認をするので Install を押します

  3. Cursor の AI チャットを Agent モードで開く

  4. 試してみる

    WebSkrap を使って、私に何ができるか教えて、1 つやってみせて

    ✓ Cursor が WebSkrap を使っていると言うか、回答に WebSkrap のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

VS Code につなげますが、先に準備が必要です

先にパソコンへ Python (uv) を入れてください(1 回だけ)

AI にインストールしてもらう

このメッセージを VS Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。

このパソコンの VS Code に MCP server WebSkrap を入れてください。順番に:1) uv --version で uv があるか確認。なければ https://docs.astral.sh/uv/getting-started/installation/ から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "servers": { "webskrap": { "type": "stdio", "command": "uvx", "args": [ "webskrap", "mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、WebSkrap のツールが本当に表示されるか確認する。

このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。

  1. uv を入れる(まだなければ)

    もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

    uv --version
    • バージョン番号(例 uv …)が出る = 入っています。この手順は飛ばせます
    • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
    ターミナルの開き方

    Mac:⌘ + Space を押し、Terminal と入力して Enter

    Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

    まだ入っていない場合: uv にはクリック式のインストーラーがありません。uv 公式ページからお使いの OS(macOS か Windows)用の 1 行コマンドをコピーしてターミナルに貼り付けます · Python を別に入れる必要はなく、必要なときに uv が自動で取得します

    uv のダウンロードページを開く ↗

    入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: uv --version

    一度入れれば、uv を使うすべてのツールで使えます

  2. このボタンで VS Code を開く

    VS Code で開く

    VS Code がインストールの確認をするので Install を押します

  3. VS Code の AI チャットを Agent モードで開く

  4. 試してみる

    WebSkrap を使って、私に何ができるか教えて、1 つやってみせて

    ✓ VS Code が WebSkrap を使っていると言うか、回答に WebSkrap のツール名が出れば接続成功です

メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります

Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください

MCP を使えるアプリをすべて見る →

JSON 設定は下の「開発者向け」にあります

つまずいたら?WebSkrap を使っている人に聞いてみましょう💬 ディスカッション →
開発者向け:ターミナルのコマンドと JSON 設定

パソコンにインストール

Claude Code

claude mcp add --scope user webskrap -- uvx webskrap mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "webskrap": {
      "command": "uvx",
      "args": [
        "webskrap",
        "mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "webskrap": {
      "command": "uvx",
      "args": [
        "webskrap",
        "mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "webskrap": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "webskrap",
        "mcp"
      ]
    }
  }
}

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

ひと目でわかる

週あたりのダウンロードi
324/週
接続方法
パソコンで動く
最新バージョンi
3.6.0
レジストリ公開日i
2026年11月17日
コードの最終更新i
2026年11月18日
作者
kacigaya
パッケージ
pypi: webskrap
ウェブサイト
kacigaya.github.io
レジストリでの状態
有効

使えるアプリ

このサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。

パソコン上で動かせるアプリ

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

すべてのアプリと長所・短所 →

できること

パソコンで動くサーバーです。インストールすると、ツール一覧がAIアプリに表示されます。

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月19日にチェック

  • ✓ 合格

    作者とリポジトリが一致

    レジストリ名は、リポジトリを所有するGitHubアカウント kacigaya で確認済みです

  • ✓ 合格

    今もメンテナンスされている

    コードの最終更新:昨日

  • ✓ 合格

    ライセンスがある

    Apache-2.0を使用

  • – 対象外

    エンドポイントが応答する

    これはパソコンで動くため、インターネット上のエンドポイントはありません

  • – 対象外

    OAuthでサインイン

    パソコンで動き、代わりにローカルの設定を使います

  • … 未チェック

    ツールの説明に隠れた指示がない

    パソコンで動くサーバーです。ツール一覧を読み取れるのは、インターネット上のエンドポイントがある場合だけです

公開済みの脆弱性(OSV.dev)

OSV.dev に webskrap@3.6.0 の登録はありません

このバージョンのパッケージ本体のみ確認。すべての依存関係ではありません · 確認日 2026年11月17日

確認していること → · JSON

作者の方へ:再確認の依頼・情報の誤りの報告
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/kacigaya-webskrap.svg)](https://mcp.popnx.com/en/servers/kacigaya-webskrap)

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

ユーザーレビュー

まだレビューはありません

ログインしてレビューを書く

ウェブ・ブラウザのほかのサーバーとの比較i

  • このカテゴリのほかの1613件のうち86%よりスターが多い
  • このカテゴリのほかの1613件のうち94%より最近レジストリに公開
  • 基本チェックの結果が、このカテゴリのほかの1613件のうち99%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

WebSkrapは安全ですか?

当てはまる基本チェック3項目のうち3項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか?

レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。

パソコンで動きますか、それともクラウドですか?

あなたのパソコンで動きます。必要なときにAIアプリが起動し、データは作者のサーバーを通りません(サーバー自体がオンラインサービスを呼び出す場合を除きます)。

今もメンテナンスされていますか?

GitHubリポジトリの最終更新は昨日、最新バージョン(3.6.0)がレジストリに届いたのは一昨日です。

どのアプリで使えますか?

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。パソコンにPython (uv)も必要です。

代わりに使えるものは?

同じカテゴリには:Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook

似た働きのほかの候補

同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。

カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

作者:browser-use広く使われている↓ 167.3万/週★ 12.1万29 日前更新

パソコンでもクラウドでも✓ 提供元 · browser-use.com

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

作者:apify広く使われている★ 1.7万一昨日更新

クラウドで動く✓ 提供元 · apify.com

Pomerado

Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use

作者:Pomerado成長中★ 1798昨日更新

クラウドで動く✓ 提供元 · pomerado.ai

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

作者:actionbook成長中★ 163131 日前更新

クラウドで動く✓ 提供元 · actionbook.app
似たものと比べる
これ
WebSkrap
Browser Usechangedetection.io (official)Apify MCP ServerPomeradoActionbook
動く場所パソコンにインストールが必要クラウドでもパソコンにインストールでも使えるクラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要クラウドで動き、インストール不要
キーが必要いいえはいいいえはいいいえいいえ
Claude で + から追加いいえはいいいえいいえいいえいいえ
基本チェック3/35/53/34/44/44/4
ライセンスApache-2.0MITApache-2.0MITMITApache-2.0
料金登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし登録情報に費用の記載なし

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

WebSkrap

Async-first Python scraping on its own Chrome DevTools Protocol client, with persistent sessions, resource routing, stealth defaults, web search, a CLI, and an MCP server for agents.

Install

pip install webskrap

webskrap install

webskrap install downloads Chrome for Testing. WebSkrap drives it through its own CDP client, with no Playwright. Upgrading from 2.x? Read the migration guide.

Quickstart

import asyncio

from webskrap import WebSkrapClient

async def main() -> None: async with WebSkrapClient() as client: result = await client.fetch("https://example.com") print(result.status, result.title) print(result.text[:200])

asyncio.run(main())

For deferred content, pass ready_selector="#content" to a Python fetch or --ready-selector '#content' to CLI fetch. Both MCP fetch tools accept ready_selector too. The selector must become visible after consent dismissal. Known challenge pages (DataDome, Cloudflare, HUMAN, Akamai, AWS WAF, and reCAPTCHA or hCaptcha on a 403, 429 or 503 page) and provider block pages (DataDome, Cloudflare, Akamai) raise blocked. WebSkrap waits for device checks that reload the page. It does not retry refusals. With solve_cloudflare=True (CLI --solve-cloudflare), it clicks Cloudflare's Turnstile checkbox; see Cloudflare Turnstile. With solve_datadome=True (CLI --solve-datadome), it drags DataDome's slider; see DataDome slider. With solve_perimeterx=True (CLI --solve-perimeterx), it holds HUMAN's Press & Hold button; see HUMAN Press & Hold. With solve_recaptcha=True (CLI --solve-recaptcha), it clicks a reCAPTCHA v2 or hCaptcha checkbox on a blocking page; see reCAPTCHA and hCaptcha checkbox. Ordinary HTTP errors still return ok=False. For an empty HTTP error body, Chromium can show its own error page. The returned text or HTML is that rendered page. The status, headers, and final_url still come from the HTTP response.

For any other CAPTCHA, complete it by hand: open a persistent browser with webskrap browser open --headed --session manual --proxy http://localhost:8888 URL. Complete the check in that browser. Keep the same session, profile, and proxy for later commands. On a remote host, use a desktop connection to its display. virtual_display=True alone does not provide a remote desktop.

Keep profile_mode="native" for the browser's own identity. On Linux with Xvfb, virtual_display=True runs a headed browser without a visible desktop window. Full profile emulation is useful for device tests, but cannot replace every worker or iframe value. See the identity limits.

Python batches

Use client.fetch_many(urls) to fetch a finite batch in order with one browser:

async with WebSkrapClient() as client:

results = await client.fetch_many( ["https://example.com", "https://example.org"], text_only=True )

Each batch shares cookies and storage, then closes its browser. Separate batches and client.fetch() calls use fresh sessions. An explicit user_data_dir can still share state on disk. Empty batches do not launch a browser. The first page error stops the batch and raises; no partial list is returned. Ordinary HTTP errors remain results with ok=False. screenshot=True uses a separate generated PNG filename for each page.

For large inputs, per-page options, or state across batches, create a session with session = await client.session("crawl"). Call await session.fetch(url) for each URL. Close it with await client.close_session("crawl"), or let the client context close it. Session names belong to one client. Use separate sessions for unrelated callers.

Select elements

Query fetched HTML with CSS selectors. Use parse_html(html) for HTML from other sources.

async with WebSkrapClient() as client:

result = await client.fetch("https://example.com") print(result.css_first("h1").text) print([a.attrs["href"] for a in result.css("a[href]")])

Search

A search loads the engine's results page in the same stealth browser and returns the organic hits. Click-tracking redirects are unwrapped, so each url is the destination itself. Bing is the default; use engine="ddg" for DuckDuckGo's HTML endpoint. Google is not offered.

async with WebSkrapClient() as client:

result = await client.search("example domain", max_results=5) for hit in result.hits: print(hit.title, hit.url)

webskrap search "example domain" --engine ddg --max-results 10 --format json

When an engine distrusts the exit address it serves a bot challenge. That comes back as a blocked error, not as zero hits. Switch engine, reuse a persistent profile, or change the exit IP. WebSkrap does not retry.

Cloudflare Turnstile

solve_cloudflare=True (CLI --solve-cloudflare) handles Cloudflare's "Just a moment" page, like Scrapling's option of the same name. It is off by default; without it a Cloudflare challenge fails fast with blocked. With it, WebSkrap waits on the challenge page. When Cloudflare draws its Turnstile checkbox, the cursor wanders for 1.5 to 3 seconds, follows a curved path to the checkbox and clicks with a mouse-like button hold. The checkbox position is read from the widget's own DOM before each click. If the page has not cleared 20 seconds later, WebSkrap clicks again, at most three times. The checkbox gets up to 60 seconds from when it first appears, on top of timeout_ms. Success is reported only after the real page loads and no challenge is detected on it; otherwise the call fails with blocked.

It works in headless, headed and virtual_display modes. A click only answers the widget: Cloudflare still scores the browser and the exit IP, so a headless browser or a flagged IP can still be refused. No token is read, copied or injected, and no outside solving service is used. Other CAPTCHAs, such as image and audio puzzles, are reported as blocked and never touched.

DataDome slider

solve_datadome=True (CLI --solve-datadome) handles DataDome's slider CAPTCHA. It is off by default; without it a DataDome CAPTCHA fails fast with blocked. With it, WebSkrap waits on the CAPTCHA page. When DataDome draws its slider, the cursor wanders for 3 to 5 seconds, moves to the handle, grabs it and drags it onto the slot in 35 small moves: slow, then faster, then slow again, with a little jitter. The handle and slot positions are read from the CAPTCHA frame's DOM before each drag. If the page has not cleared 10 seconds later, WebSkrap drags again, at most three times. The slider gets up to 60 seconds from when it first appears, on top of timeout_ms. Success is reported only after the real page loads and no challenge is detected on it; otherwise the call fails with blocked.

A drag only answers the slider: DataDome still scores the browser, the exit IP and the gesture. A hard block has no slider and stays blocked. Headed and virtual_display browsers passed in live runs; a headless browser can get the hard block instead. No cookie or token is read, copied or injected, no outside solving service is used, and DataDome's audio and image puzzles are never touched.

HUMAN Press & Hold

solve_perimeterx=True (CLI --solve-perimeterx) handles the Press & Hold challenge of HUMAN Security (formerly PerimeterX). It is off by default; without it the challenge page fails fast with blocked. With it, WebSkrap waits on the challenge page. When HUMAN draws its button, the cursor follows a curved path to it, presses, and holds with a small hand tremor until the button's progress fill is complete, then lets go. The button is read from the challenge frame's DOM before each hold. If the page has not cleared 8 seconds later, WebSkrap holds again, at most three times. The button gets up to 60 seconds from when it first appears, on top of timeout_ms. Success is reported only after the real page loads and no challenge is detected on it; otherwise the call fails with blocked.

A hold only answers the widget: HUMAN still scores the browser and the exit IP. In live runs it refused every completed hold from a flagged IP, in every browser mode, and accepted the first hold from a cleaner exit. No cookie or token is read, copied or injected, and no outside solving service is used.

reCAPTCHA and hCaptcha checkbox

solve_recaptcha=True (CLI --solve-recaptcha) clicks the "I'm not a robot" checkbox of reCAPTCHA v2 or hCaptcha on a page that blocks the site: a 403, 429 or 503 response that carries the widget. It is off by default; without it such a page fails fast with blocked. With it, WebSkrap waits for the widget, moves the cursor like a person and clicks the checkbox. When the provider trusts the browser, the box ticks and the page's own callback continues to the real page. If the page has not cleared 15 seconds later, WebSkrap clicks again, at most twice within 60 seconds. When the provider opens an image challenge instead, WebSkrap leaves it alone and the call fails with blocked at once.

For a checkbox inside a form, fill the form, then call browser_solve_captcha (CLI webskrap browser solve-captcha) before you submit it. Its captcha.state is checked, challenge, gone, timeout or not_found.

The click only answers the checkbox: the provider still scores the browser and the exit IP, and a datacenter IP usually gets the image challenge. reCAPTCHA v3 and invisible widgets have no checkbox and are not handled. No token is read, copied or injected, and no outside solving service is used.

Use them responsibly: only on sites whose terms and applicable law allow automated access, and at a polite rate. Passing a challenge does not grant permission to collect data you may not collect.

webskrap fetch https://example.com --virtual-display --solve-cloudflare

webskrap fetch https://example.com --virtual-display --solve-datadome webskrap fetch https://example.com --virtual-display --solve-perimeterx webskrap fetch https://example.com --virtual-display --solve-recaptcha webskrap browser solve-captcha

Visual browser interaction

Agents can see the rendered viewport and interact by coordinates, including canvas and controls missing from the accessibility tree. MCP browser_view returns a PNG image directly; browser_mouse clicks, moves, scrolls, or drags. browser_insert_text inserts literal text into the focused control.

webskrap browser open https://example.com

webskrap browser view viewport.png --format json

Open the returned PNG with your agent's image viewer, then choose coordinates.

webskrap browser mouse click 120 80 webskrap browser insert-text "hello" webskrap browser press

冒頭だけを表示しています。続きはリポジトリで読めます