Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Mit Google anmelden, um Bewertungen zu schreiben.Prototyp · alle 30 Min. aktualisiert
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt

WebSkrap

von kacigayaVersion 3.6.0i★ 3iLäuft auf deinem ComputerOffizielle Website ↗
Name in der Registryio.github.kacigaya/webskrap

So installierst du es

What it does

Stealth web fetch, search and real Chrome control for AI agents.

  • Connects Läuft auf deinem Computer
  • Account or key No key needed
  • Category Web & Browser

Zusammen nutzen mit

Skills, die der KI diese Art Arbeit beibringen; sie funktionieren zusammen mit diesem

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

von google-research★ 35.6291 Skills

Skill · Anleitung

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

von BigBodyCobain★ 11.6021 Skills

Skill · Anleitung

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

von gosom★ 8.2091 Skills

Skill · Anleitung

Warum es hier steht

Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert

Beliebtheit9/80GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20
Aktualität12/12Volle Punkte für Release oder Codeänderung in 30 Tagen
Antwortet noch0/8Der Cloud-Endpoint antwortete bei der letzten Prüfung
Nutzungswert21/100

Qualität: 3/3 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)

Installation

Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.

Mit einem Satz von deiner KI installieren lassen

Installiere bitte WebSkrap. Folge https://mcp.popnx.com/i/kacigaya-webskrap.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.

Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen

3/3 Prüfungen bestanden · Läuft auf deinem Computer · ✓ Befehle geprüft am 17. Nov. 2026

Zuerst: Welche KI nutzt du?

Wähle deine App, dann erscheinen die Schritte unten.

Klappt mit Claude, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy

Von der KI installieren lassen

Kopiere diese Nachricht in einen Claude-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server WebSkrap für Claude auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "webskrap": { "command": "uvx", "args": [ "webskrap", "mcp" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von WebSkrap wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

  1. uv installieren (falls noch nicht vorhanden)

    Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter

    uv --version
    • Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
    • "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
    So öffnest du das Terminal

    Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter

    Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen

    Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst

    Download-Seite von uv öffnen ↗

    Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version

    Einmal installieren, gilt für alles, was uv braucht

  2. Einstellungsdatei der Claude-Desktop-App öffnen

    SettingsDeveloperEdit Config

  3. Diese Einstellungen einfügen und speichern

    {
      "mcpServers": {
        "webskrap": {
          "command": "uvx",
          "args": [
            "webskrap",
            "mcp"
          ]
        }
      }
    }
  4. Claude beenden und neu öffnen

  5. Ausprobieren

    Nutze WebSkrap und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude sagt, dass es WebSkrap nutzt, oder ein Werkzeug von WebSkrap in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

ChatGPT kann WebSkrap noch nicht verbinden

WebSkrap läuft auf deinem Computer, aber ChatGPT verbindet nur Server, die im Web laufen

Das kannst du stattdessen tun

A · Eine App nutzen, die WebSkrap verbinden kann

  • Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy
  • Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
  • Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
  • Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

B · Andere in Web & Browser, die mit ChatGPT funktionieren

Aus den meistgenutzten derselben Kategorie, nur solche, die per Adresse ohne Schlüssel verbinden

Klappt mit Claude Code, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

Von der KI installieren lassen

Kopiere diese Nachricht in einen Claude Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server WebSkrap für Claude Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): claude mcp add --scope user webskrap -- uvx webskrap mcp 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von WebSkrap wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

  1. uv installieren (falls noch nicht vorhanden)

    Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter

    uv --version
    • Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
    • "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
    So öffnest du das Terminal

    Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter

    Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen

    Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst

    Download-Seite von uv öffnen ↗

    Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version

    Einmal installieren, gilt für alles, was uv braucht

  2. Terminal öffnen

    Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen

  3. Diesen Befehl einfügen und Enter drücken

    claude mcp add --scope user webskrap -- uvx webskrap mcp
  4. /mcp in Claude Code eingeben

    WebSkrap sollte in der Liste als verbunden erscheinen

  5. Ausprobieren

    Nutze WebSkrap und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Claude Code sagt, dass es WebSkrap nutzt, oder ein Werkzeug von WebSkrap in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit Cursor, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

Von der KI installieren lassen

Kopiere diese Nachricht in einen Cursor-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server WebSkrap für Cursor auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "webskrap": { "command": "uvx", "args": [ "webskrap", "mcp" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von WebSkrap wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

  1. uv installieren (falls noch nicht vorhanden)

    Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter

    uv --version
    • Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
    • "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
    So öffnest du das Terminal

    Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter

    Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen

    Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst

    Download-Seite von uv öffnen ↗

    Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version

    Einmal installieren, gilt für alles, was uv braucht

  2. Mit diesem Button Cursor öffnen

    In Cursor öffnen

    Cursor fragt nach einer Bestätigung; klicke Install

  3. KI-Chat in Cursor im Agent-Modus öffnen

  4. Ausprobieren

    Nutze WebSkrap und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn Cursor sagt, dass es WebSkrap nutzt, oder ein Werkzeug von WebSkrap in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Klappt mit VS Code, aber erst etwas vorbereiten

Installiere zuerst Python (uv) auf deinem Computer (nur einmal)

Von der KI installieren lassen

Kopiere diese Nachricht in einen VS Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.

Installiere bitte den MCP server WebSkrap für VS Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "servers": { "webskrap": { "type": "stdio", "command": "uvx", "args": [ "webskrap", "mcp" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von WebSkrap wirklich erscheinen.

Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.

  1. uv installieren (falls noch nicht vorhanden)

    Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter

    uv --version
    • Eine Versionsnummer wie uv … = installiert, diesen Schritt überspringen
    • "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
    So öffnest du das Terminal

    Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter

    Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen

    Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst

    Download-Seite von uv öffnen ↗

    Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version

    Einmal installieren, gilt für alles, was uv braucht

  2. Mit diesem Button VS Code öffnen

    In VS Code öffnen

    VS Code fragt nach einer Bestätigung; klicke Install

  3. KI-Chat in VS Code im Agent-Modus öffnen

  4. Ausprobieren

    Nutze WebSkrap und sag mir, was du für mich tun kannst; zeig mir dann eine Sache

    ✓ Wenn VS Code sagt, dass es WebSkrap nutzt, oder ein Werkzeug von WebSkrap in der Antwort zeigt, bist du verbunden

Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen

Andere Apps mit MCP, etwa Windsurf, Zed oder Gemini CLI, fügen Server unterschiedlich hinzu. Sieh in der App-Liste nach

Alle Apps mit MCP ansehen →

JSON-Einstellungen stehen unten unter „Für Entwickler“

Hängst du fest? Frag Leute, die WebSkrap nutzen💬 Diskussion →
Für Entwickler: Terminal-Befehle und JSON-Einstellungen

Auf deinem Computer installiert

Claude Code

claude mcp add --scope user webskrap -- uvx webskrap mcp

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "webskrap": {
      "command": "uvx",
      "args": [
        "webskrap",
        "mcp"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "webskrap": {
      "command": "uvx",
      "args": [
        "webskrap",
        "mcp"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "webskrap": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "webskrap",
        "mcp"
      ]
    }
  }
}

Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.

Auf einen Blick

Downloads pro Wochei
324/Wo.
Lizenzi
Apache-2.0
Verbindung
Läuft auf deinem Computer
Neueste Versioni
3.6.0
In der Registry veröffentlichti
17. Nov. 2026
Code zuletzt geänderti
18. Nov. 2026
Entwickler
kacigaya
Pakete
pypi: webskrap
Registry-Status
Aktiv

Welche Apps ihn nutzen können

Basierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.

Laufen auf deinem Computer in

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

Alle Apps, mit Vor- und Nachteilen →

Was er kann

Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.

Basischecksi

Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 19. Nov. 2026

  • ✓ Bestanden

    Entwickler passt zum Repo

    Der Registry-Name wurde mit dem GitHub-Konto kacigaya bestätigt, dem das Repo gehört

  • ✓ Bestanden

    Wird noch gepflegt

    Code zuletzt geändert: gestern

  • ✓ Bestanden

    Hat eine Lizenz

    Nutzt Apache-2.0

  • – Nicht zutreffend

    Endpunkt antwortet

    Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet

  • – Nicht zutreffend

    Anmeldung mit OAuth

    Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen

  • … Noch nicht geprüft

    Keine versteckten Anweisungen in Tool-Beschreibungen

    Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen

Veröffentlichte Schwachstellen (OSV.dev)

Keine Einträge auf OSV.dev für webskrap@3.6.0

Prüft nur diese Paketversion, nicht alle Abhängigkeiten · geprüft 17. Nov. 2026

Was wir prüfen → · JSON

Entwickler: neue Prüfung anfordern oder falsche Angaben melden
Für Anbieter: Badge ins README

Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/kacigaya-webskrap.svg)](https://mcp.popnx.com/en/servers/kacigaya-webskrap)

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Anmelden, um zu posten

Nutzerbewertungen

Noch keine Bewertungen

Anmelden, um eine Bewertung zu schreiben

Im Vergleich mit anderen in Web & Browseri

  • Mehr Sterne als 86 % der anderen 1613 Server in dieser Kategorie
  • Neuer in der Registry veröffentlicht als 94 % der anderen 1613 Server in dieser Kategorie
  • Basischecks gleich gut wie oder besser als bei 99 % der anderen 1613 Server in dieser Kategorie

Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.

Häufige Fragen

Ist WebSkrap sicher?

Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.

Welche Schlüssel oder Codes braucht er?

Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.

Läuft er auf meinem Computer oder in der Cloud?

Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).

Wird er noch gepflegt?

Das GitHub-Repo wurde zuletzt gestern geändert, und die neueste Version (3.6.0) kam vorgestern in die Registry.

Welche Apps können ihn nutzen?

Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.

Was kann ich stattdessen nutzen?

In derselben Kategorie: Browser Use, changedetection.io (official), Apify MCP Server, Pomerado, Actionbook

Ähnliche Alternativen

Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.

So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti

Browser Use

Browser agents and stealth cloud browsers for AI: run web tasks, fill forms, extract data.

von browser-useWeit verbreitet↓ 1,7 Mio./Wo.★ 121.385Aktualisiert vor 29 Tagen

Computer oder Cloud✓ vom Dienst · browser-use.com

changedetection.io (official)

Official changedetection.io MCP: web page change tracking, back-in-stock and price alerts.

von dgtlmoonWeit verbreitet★ 35.894Aktualisiert vor 14 Tagen

Läuft in der Cloud✓ vom Dienst · changedetection.io

Apify MCP Server

Extract data from any website with thousands of scrapers, crawlers, and automations on Apify Store ⚡

von apifyWeit verbreitet★ 16.866Aktualisiert vorgestern

Läuft in der Cloud✓ vom Dienst · apify.com

Pomerado

Connect your agents to any website. The cheaper, faster and more reliable alternative to browser use

von PomeradoWachsend★ 1798Aktualisiert gestern

Läuft in der Cloud✓ vom Dienst · pomerado.ai

Actionbook

Let your AI agent operate any website through a real, logged-in browser session.

von actionbookWachsend★ 1631Aktualisiert vor 31 Tagen

Läuft in der Cloud✓ vom Dienst · actionbook.app
Im Vergleich mit ähnlichen
Dieser
WebSkrap
Browser Usechangedetection.io (official)Apify MCP ServerPomeradoActionbook
Läuft woWird auf deinem Rechner installiertIn der Cloud oder auf deinem RechnerLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine InstallationLäuft in der Cloud, keine Installation
Braucht SchlüsselNeinJaNeinJaNeinNein
Mit + in Claude hinzufügenNeinJaNeinNeinNeinNein
Basisprüfungen3/35/53/34/44/44/4
LizenzApache-2.0MITApache-2.0MITMITApache-2.0
PreisKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im RegisterKeine Kosten im Register

README vom Entwickler

README öffnen

Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.

WebSkrap

Async-first Python scraping on its own Chrome DevTools Protocol client, with persistent sessions, resource routing, stealth defaults, web search, a CLI, and an MCP server for agents.

Install

pip install webskrap

webskrap install

webskrap install downloads Chrome for Testing. WebSkrap drives it through its own CDP client, with no Playwright. Upgrading from 2.x? Read the migration guide.

Quickstart

import asyncio

from webskrap import WebSkrapClient

async def main() -> None: async with WebSkrapClient() as client: result = await client.fetch("https://example.com") print(result.status, result.title) print(result.text[:200])

asyncio.run(main())

For deferred content, pass ready_selector="#content" to a Python fetch or --ready-selector '#content' to CLI fetch. Both MCP fetch tools accept ready_selector too. The selector must become visible after consent dismissal. Known challenge pages (DataDome, Cloudflare, HUMAN, Akamai, AWS WAF, and reCAPTCHA or hCaptcha on a 403, 429 or 503 page) and provider block pages (DataDome, Cloudflare, Akamai) raise blocked. WebSkrap waits for device checks that reload the page. It does not retry refusals. With solve_cloudflare=True (CLI --solve-cloudflare), it clicks Cloudflare's Turnstile checkbox; see Cloudflare Turnstile. With solve_datadome=True (CLI --solve-datadome), it drags DataDome's slider; see DataDome slider. With solve_perimeterx=True (CLI --solve-perimeterx), it holds HUMAN's Press & Hold button; see HUMAN Press & Hold. With solve_recaptcha=True (CLI --solve-recaptcha), it clicks a reCAPTCHA v2 or hCaptcha checkbox on a blocking page; see reCAPTCHA and hCaptcha checkbox. Ordinary HTTP errors still return ok=False. For an empty HTTP error body, Chromium can show its own error page. The returned text or HTML is that rendered page. The status, headers, and final_url still come from the HTTP response.

For any other CAPTCHA, complete it by hand: open a persistent browser with webskrap browser open --headed --session manual --proxy http://localhost:8888 URL. Complete the check in that browser. Keep the same session, profile, and proxy for later commands. On a remote host, use a desktop connection to its display. virtual_display=True alone does not provide a remote desktop.

Keep profile_mode="native" for the browser's own identity. On Linux with Xvfb, virtual_display=True runs a headed browser without a visible desktop window. Full profile emulation is useful for device tests, but cannot replace every worker or iframe value. See the identity limits.

Python batches

Use client.fetch_many(urls) to fetch a finite batch in order with one browser:

async with WebSkrapClient() as client:

results = await client.fetch_many( ["https://example.com", "https://example.org"], text_only=True )

Each batch shares cookies and storage, then closes its browser. Separate batches and client.fetch() calls use fresh sessions. An explicit user_data_dir can still share state on disk. Empty batches do not launch a browser. The first page error stops the batch and raises; no partial list is returned. Ordinary HTTP errors remain results with ok=False. screenshot=True uses a separate generated PNG filename for each page.

For large inputs, per-page options, or state across batches, create a session with session = await client.session("crawl"). Call await session.fetch(url) for each URL. Close it with await client.close_session("crawl"), or let the client context close it. Session names belong to one client. Use separate sessions for unrelated callers.

Select elements

Query fetched HTML with CSS selectors. Use parse_html(html) for HTML from other sources.

async with WebSkrapClient() as client:

result = await client.fetch("https://example.com") print(result.css_first("h1").text) print([a.attrs["href"] for a in result.css("a[href]")])

Search

A search loads the engine's results page in the same stealth browser and returns the organic hits. Click-tracking redirects are unwrapped, so each url is the destination itself. Bing is the default; use engine="ddg" for DuckDuckGo's HTML endpoint. Google is not offered.

async with WebSkrapClient() as client:

result = await client.search("example domain", max_results=5) for hit in result.hits: print(hit.title, hit.url)

webskrap search "example domain" --engine ddg --max-results 10 --format json

When an engine distrusts the exit address it serves a bot challenge. That comes back as a blocked error, not as zero hits. Switch engine, reuse a persistent profile, or change the exit IP. WebSkrap does not retry.

Cloudflare Turnstile

solve_cloudflare=True (CLI --solve-cloudflare) handles Cloudflare's "Just a moment" page, like Scrapling's option of the same name. It is off by default; without it a Cloudflare challenge fails fast with blocked. With it, WebSkrap waits on the challenge page. When Cloudflare draws its Turnstile checkbox, the cursor wanders for 1.5 to 3 seconds, follows a curved path to the checkbox and clicks with a mouse-like button hold. The checkbox position is read from the widget's own DOM before each click. If the page has not cleared 20 seconds later, WebSkrap clicks again, at most three times. The checkbox gets up to 60 seconds from when it first appears, on top of timeout_ms. Success is reported only after the real page loads and no challenge is detected on it; otherwise the call fails with blocked.

It works in headless, headed and virtual_display modes. A click only answers the widget: Cloudflare still scores the browser and the exit IP, so a headless browser or a flagged IP can still be refused. No token is read, copied or injected, and no outside solving service is used. Other CAPTCHAs, such as image and audio puzzles, are reported as blocked and never touched.

DataDome slider

solve_datadome=True (CLI --solve-datadome) handles DataDome's slider CAPTCHA. It is off by default; without it a DataDome CAPTCHA fails fast with blocked. With it, WebSkrap waits on the CAPTCHA page. When DataDome draws its slider, the cursor wanders for 3 to 5 seconds, moves to the handle, grabs it and drags it onto the slot in 35 small moves: slow, then faster, then slow again, with a little jitter. The handle and slot positions are read from the CAPTCHA frame's DOM before each drag. If the page has not cleared 10 seconds later, WebSkrap drags again, at most three times. The slider gets up to 60 seconds from when it first appears, on top of timeout_ms. Success is reported only after the real page loads and no challenge is detected on it; otherwise the call fails with blocked.

A drag only answers the slider: DataDome still scores the browser, the exit IP and the gesture. A hard block has no slider and stays blocked. Headed and virtual_display browsers passed in live runs; a headless browser can get the hard block instead. No cookie or token is read, copied or injected, no outside solving service is used, and DataDome's audio and image puzzles are never touched.

HUMAN Press & Hold

solve_perimeterx=True (CLI --solve-perimeterx) handles the Press & Hold challenge of HUMAN Security (formerly PerimeterX). It is off by default; without it the challenge page fails fast with blocked. With it, WebSkrap waits on the challenge page. When HUMAN draws its button, the cursor follows a curved path to it, presses, and holds with a small hand tremor until the button's progress fill is complete, then lets go. The button is read from the challenge frame's DOM before each hold. If the page has not cleared 8 seconds later, WebSkrap holds again, at most three times. The button gets up to 60 seconds from when it first appears, on top of timeout_ms. Success is reported only after the real page loads and no challenge is detected on it; otherwise the call fails with blocked.

A hold only answers the widget: HUMAN still scores the browser and the exit IP. In live runs it refused every completed hold from a flagged IP, in every browser mode, and accepted the first hold from a cleaner exit. No cookie or token is read, copied or injected, and no outside solving service is used.

reCAPTCHA and hCaptcha checkbox

solve_recaptcha=True (CLI --solve-recaptcha) clicks the "I'm not a robot" checkbox of reCAPTCHA v2 or hCaptcha on a page that blocks the site: a 403, 429 or 503 response that carries the widget. It is off by default; without it such a page fails fast with blocked. With it, WebSkrap waits for the widget, moves the cursor like a person and clicks the checkbox. When the provider trusts the browser, the box ticks and the page's own callback continues to the real page. If the page has not cleared 15 seconds later, WebSkrap clicks again, at most twice within 60 seconds. When the provider opens an image challenge instead, WebSkrap leaves it alone and the call fails with blocked at once.

For a checkbox inside a form, fill the form, then call browser_solve_captcha (CLI webskrap browser solve-captcha) before you submit it. Its captcha.state is checked, challenge, gone, timeout or not_found.

The click only answers the checkbox: the provider still scores the browser and the exit IP, and a datacenter IP usually gets the image challenge. reCAPTCHA v3 and invisible widgets have no checkbox and are not handled. No token is read, copied or injected, and no outside solving service is used.

Use them responsibly: only on sites whose terms and applicable law allow automated access, and at a polite rate. Passing a challenge does not grant permission to collect data you may not collect.

webskrap fetch https://example.com --virtual-display --solve-cloudflare

webskrap fetch https://example.com --virtual-display --solve-datadome webskrap fetch https://example.com --virtual-display --solve-perimeterx webskrap fetch https://example.com --virtual-display --solve-recaptcha webskrap browser solve-captcha

Visual browser interaction

Agents can see the rendered viewport and interact by coordinates, including canvas and controls missing from the accessibility tree. MCP browser_view returns a PNG image directly; browser_mouse clicks, moves, scrolls, or drags. browser_insert_text inserts literal text into the focused control.

webskrap browser open https://example.com

webskrap browser view viewport.png --format json

Open the returned PNG with your agent's image viewer, then choose coordinates.

webskrap browser mouse click 120 80 webskrap browser insert-text "hello" webskrap browser press

Nur der Anfang wird gezeigt; den Rest findest du im Repo