Web Search API Eval
Überblick
Beschreibung vom Entwickler (englisches Original)
Web search API benchmark for AI agents: You.com, Tavily, Exa, Parallel. Results and charts.
Die drei Säulen von PopNx MCP
Diese drei werden nie zu einer Punktzahl zusammengefasst: Meinungen, Messungen und Beliebtheit sind verschiedene Dinge.
- Stimmen der NutzeriNoch keine BewertungenBewertungen starten in einem späteren Schritt zusammen mit Benutzerkonten
- Unsere Basischecksi3 von 3 bestandenAnhand öffentlicher Informationen geprüft; Code noch nicht gescannt
- NutzungiGanz neu↓ 69/Wo. · ★ –
Was du damit machen kannst
Für diesen Server haben wir noch keine Zusammenfassung in einfacher Sprache geschrieben. Unten stehen die Fakten, die wir aus der Registry gelesen haben.
- Verbindung: Computer oder Cloud
- Transport: stdio, Streamable HTTP
- Kategorie: Suche & KI-Gedächtnis
- Das musst du eintragen: YDC_API_KEY, TAVILY_API_KEY, EXA_API_KEY, PARALLEL_API_KEY
Installation
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Bevor du installierst
- Basischecks: 3 von 3 bestanden
- Läuft auf dem Server des Entwicklers: Was du fragst, läuft über dessen Server.
- Kann 11 Dinge (Tools) get_overall_results, get_scorecard, compare_providers, recommend_provider …
- Das trägst du selbst ein:
YDC_API_KEY,TAVILY_API_KEY,EXA_API_KEY,PARALLEL_API_KEY
Als geheim markierte Werte sind Schlüssel zu deinem Konto. Gib sie nie weiter und füge sie nie in einen Chat ein.
Du brauchst
- Läuft in der CloudNichts zu installieren; die Verbindung läuft übers Internet
- npmNode.js installiert (für den Befehl npx)
Welche App nutzt du?
Wähle oben deine App. Wir merken sie uns, damit der Button beim nächsten Mal „In … installieren“ anzeigt.
Funktioniert in Claude im Web, auf dem Desktop und auf dem Handy:
- Öffne Settings → Connectors
- Tippe auf Add custom connector
- Füge die Adresse unten ein und tippe auf Add
- Wenn eine Anmeldung verlangt wird, melde dich beim Dienst des Entwicklers an
https://websearch-api-eval.psberkeleymba.workers.dev/mcpOder führ ihn auf deinem Computer aus
Öffne Claude Desktop → Settings → Developer → Edit Config und füge dies in claude_desktop_config.json ein
{
"mcpServers": {
"websearch-api-eval": {
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}Führe das in deinem Terminal aus
claude mcp add --transport http websearch-api-eval https://websearch-api-eval.psberkeleymba.workers.dev/mcpOder führ ihn auf deinem Computer aus
claude mcp add websearch-api-eval --env YDC_API_KEY=your-value --env TAVILY_API_KEY=your-value --env EXA_API_KEY=your-value --env PARALLEL_API_KEY=your-value -- npx -y websearch-api-eval-mcpTrag die leeren Werte ein, bevor du ihn startest.
Oder kopier die Einstellungen selbst
In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen
{
"mcpServers": {
"websearch-api-eval": {
"url": "https://websearch-api-eval.psberkeleymba.workers.dev/mcp"
}
}
}Oder führ ihn auf deinem Computer aus
Oder kopier die Einstellungen selbst
In .cursor/mcp.json in deinem Projekt oder in ~/.cursor/mcp.json einfügen
{
"mcpServers": {
"websearch-api-eval": {
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
Oder kopier die Einstellungen selbst
In .vscode/mcp.json in deinem Projekt einfügen
{
"servers": {
"websearch-api-eval": {
"type": "http",
"url": "https://websearch-api-eval.psberkeleymba.workers.dev/mcp"
}
}
}Oder führ ihn auf deinem Computer aus
Oder kopier die Einstellungen selbst
In .vscode/mcp.json in deinem Projekt einfügen
{
"servers": {
"websearch-api-eval": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}Dein Browser fragt, ob er die App öffnen darf, dann zeigt die App die Einstellungen und bittet dich um Bestätigung. Schlüsselwerte bleiben leer, damit du sie selbst einträgst.
ChatGPT verbindet sich nur mit Servern im Internet:
- Öffne ChatGPT im Web → Settings → Connectors (Apps)
- Tippe auf Create oder Add (bei manchen Tarifen musst du zuerst Developer mode unter Advanced einschalten)
- Füge die Adresse unten ein, gib ihr einen Namen und speichere
- Wenn eine Anmeldung verlangt wird, melde dich beim Dienst des Entwicklers an
https://websearch-api-eval.psberkeleymba.workers.dev/mcpMenünamen können sich je nach Tarif und mit der Zeit leicht unterscheiden.
Deine Auswahl bleibt in einem Cookie auf diesem Gerät; kein Konto nötig.
Werte, die du selbst einträgst
- Optional. You.com API key, used only by run_live_search
- Optional. Tavily API key, used only by run_live_search
- Optional. Exa API key, used only by run_live_search
- Optional. Parallel API key, used only by run_live_search
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
Was er kann
Tool-Namen und -Beschreibungen genau so, wie der Server sie am 7. Nov. 2026 gemeldet hat. Geschrieben hat sie der Entwickler, nicht wir; wir zeigen sie als reinen Text.
get_overall_resultsHeadline findings and the overall scorecard across all 30 queries (90 calls per API): accuracy, fully correct, precision@5, freshness, empty responses, failed calls, latency p50/p95, cost per correct answer. Also the per-use-case summary, which API fits which agent, and developer
get_scorecardFull metric scorecard for one use case (gtm, insurance, finance) or 'overall'. Metrics: search-only latency p50/p95 (server and client), calls under 1 s, accuracy, freshness (% in window, newest relevant result age), content in one call, tokens, search cost.
compare_providersCompare two or more of You.com, Tavily, Exa and Parallel side by side, overall or within one use case, optionally filtered to metrics whose name contains a keyword (e.g. 'latency', 'accuracy', 'fresh', 'cost', 'empty').
recommend_providerWhich web search API fits an agent, based on this benchmark: live voice/chat turns, deep research, semantic or long-tail queries, docs lookups, or a specific use case (GTM, insurance, finance). Returns the guidance with the supporting numbers.
list_questionsThe 30 benchmark questions (G1-G10 GTM, I1-I10 insurance, F1-F10 finance): ID, what the agent is asked, the search call and freshness.
get_questionOne benchmark question by ID (e.g. G3, I4, F5): the task, search call, parameters, answer key with sources, and what each API returned with its accuracy score (0-2, mean of 3 runs).
get_chartsThe published graphs: overall scorecard, key metrics and per-query grids for GTM, insurance and finance, and developer activation. Without chart_id, lists them with titles and image links; with chart_id, also returns the image.
get_methodologyHow the benchmark was run and graded: query design, identical request parameters, 3 runs per query, latency timing, SimpleQA and FreshQA grading, the 10 metrics and the standards they follow, and limits.
how_to_run_locallyHow to rerun this benchmark on your own machine with your own API keys, including on your own queries. Nothing runs on this server.
searchSearch the Web Search API Eval benchmark (results, questions, methodology, charts, how to run). Returns matching document IDs, titles and URLs.
fetchFull text of one benchmark document by its ID (for example question-F5, scorecard-finance, overall, methodology).
Basischecksi
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 8. Nov. 2026
- ✓ Bestanden
Entwickler passt zum Repo
Der Registry-Name wurde mit dem GitHub-Konto psinglap bestätigt, dem das Repo gehört
- … Noch nicht geprüft
Wird noch gepflegt
Dieses Repo haben wir noch nicht von GitHub gelesen
- … Noch nicht geprüft
Hat eine Lizenz
Dieses Repo haben wir noch nicht von GitHub gelesen
- ✓ Bestanden
Endpunkt antwortet
Antwort in 204 ms (HTTP 200)
- – Nicht zutreffend
Anmeldung mit OAuth
Keine Anmeldung nötig
- ✓ Bestanden
Keine versteckten Anweisungen in Tool-Beschreibungen
Wir haben 11 Tool-Beschreibungen gelesen und keine versteckten Anweisungen an die KI gefunden
Im Vergleich mit anderen in Suche & KI-Gedächtnisi
- Mehr Sterne als 0 % der anderen 5688 Server in dieser Kategorie
- Neuer in der Registry veröffentlicht als 76 % der anderen 5688 Server in dieser Kategorie
- Basischecks gleich gut wie oder besser als bei 100 % der anderen 5688 Server in dieser Kategorie
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Häufige Fragen
Ist Web Search API Eval sicher?
Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Welche Schlüssel oder Codes braucht er?
Das musst du eintragen: YDC_API_KEY, TAVILY_API_KEY, EXA_API_KEY, PARALLEL_API_KEY
Läuft er auf meinem Computer oder in der Cloud?
Beides geht: Installiere ihn auf deinem Computer oder verbinde dich mit der Cloud-Version.
Wird er noch gepflegt?
Das GitHub-Repo wurde zuletzt – geändert, und die neueste Version (1.1.0) kam vor 12 Tagen in die Registry.
Welche Apps können ihn nutzen?
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Er verbindet sich per URL, also funktionieren auch Apps, die Remote-MCP-Server akzeptieren, zum Beispiel ChatGPT im Entwicklermodus.
Was kann ich stattdessen nutzen?
In derselben Kategorie: Context7, Codebase Memory, Exa
Alternativen
Server derselben Kategorie von anderen Entwicklern, sortiert nach Sternen.
So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Codebase Memory
Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.
Exa
Connect AI agents to Exa for web search, content fetching, and multi-step research.
README vom Entwickler
README öffnen
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
Web Search API Eval: MCP server
An MCP server that lets Claude, ChatGPT, Cursor and other AI assistants answer questions about the Web Search API Eval benchmark (You.com, Tavily, Exa and Parallel on 30 agent queries), and run your own live search spot checks.
Use it two ways:
| Hosted (no install) | Local (npm) | |
|---|---|---|
| Connect | https://websearch-api-eval.psberkeleymba.workers.dev/mcp | npx -y websearch-api-eval-mcp |
| Works in | Claude, ChatGPT, any remote MCP client | Claude Desktop, Claude Code, Cursor, VS Code, any stdio MCP client |
| Benchmark tools | ✅ | ✅ |
run_live_search with your own keys | — | ✅ |
Install
Claude Code
claude mcp add websearch-api-eval -- npx -y websearch-api-eval-mcp
Claude Desktop, Cursor, VS Code (add to the client's MCP config):
{
"mcpServers": { "websearch-api-eval": { "command": "npx", "args": ["-y", "websearch-api-eval-mcp"], "env": { "YDC_API_KEY": "optional", "TAVILY_API_KEY": "optional", "EXA_API_KEY": "optional", "PARALLEL_API_KEY": "optional" } } } }
The keys are optional and only used by run_live_search. Leave out any provider you don't have a key for. Requires Node.js 18 or later.
Hosted, no install: in Claude, Settings → Connectors → Add custom connector → paste the hosted URL. In ChatGPT, create an app in Developer mode with the same URL and no authentication.
Tools
| Tool | Returns |
|---|---|
get_overall_results | Headline, overall scorecard, per-use-case summary, which API fits which agent, developer activation |
get_scorecard | Full scorecard for overall, gtm, insurance or finance |
compare_providers | Two or more providers side by side, optionally filtered by metric keyword |
recommend_provider | Which API fits an agent's need, with supporting numbers |
list_questions | The 30 questions, filterable by use case |
get_question | One question: task, search call, answer key, sources, what each API returned and its score |
get_charts | The published graphs; with chart_id, also the image |
get_methodology | How tests ran and were graded, the 10 metrics and their standards, limits |
how_to_run_locally | Steps and keys to rerun the full benchmark on your own machine |
search, fetch | Generic search and document fetch (used by ChatGPT research features) |
run_live_search (local only) | Sends one query to each provider using your own API keys and returns latency, result count and top results |
The benchmark tools are read-only and read the published results (run Oct 8, 2026). run_live_search calls the providers directly from your machine with your keys and uses your own credits; a single call is a spot check, not a graded benchmark. For the full graded run, use the harness.
Example questions
- "Which web search API is fastest for a voice agent?"
- "Compare Exa and Parallel on finance."
- "What was question F5 and who got it right?"
- "Show me the overall scorecard chart."
- "Run a live search for 'FOMC minutes' and compare the providers."
Data and updates
Results come from data/*.json on the published site, built from the Evaluation page by data/build_data.py. After a new benchmark run, rebuild the data and push; both the hosted and npm servers pick it up with no redeploy or new release.
Develop
cd mcp
npm install npx wrangler dev # hosted server locally at http://localhost:8787/mcp npm run build # npm package entry at dist/cli.js npx @modelcontextprotocol/inspector@0.17.2 node dist/cli.js # call tools by hand npx wrangler deploy # deploy the hosted server npm publish # publish the npm package
Built with the official MCP TypeScript SDK. Registry entry: io.github.psinglap/websearch-api-eval (server.json).
Privacy and support
No sign-in, no cookies, no storage, no request logging. Privacy Policy · Terms · Support · MIT License