Web Search API Eval
Resumen
Descripción del creador (original en inglés)
Web search API benchmark for AI agents: You.com, Tavily, Exa, Parallel. Results and charts.
Los tres pilares de PopNx MCP
Estos tres nunca se combinan en una sola puntuación: las opiniones, las mediciones y la popularidad son cosas distintas.
- Opinión de usuariosiAún no hay reseñasLas reseñas se abrirán junto con las cuentas en una etapa posterior
- Nuestras revisiones básicasi3 de 3 superadasRevisado con información pública; el código aún no se ha escaneado
- UsoiMuy nuevo↓ 69/sem · ★ –
Qué puedes hacer con él
Todavía no escribimos un resumen sencillo para este. Abajo están los datos que leímos del registro.
- Conexión: Computadora o nube
- Transporte: stdio, Streamable HTTP
- Categoría: Búsqueda y memoria de IA
- Debes completar: YDC_API_KEY, TAVILY_API_KEY, EXA_API_KEY, PARALLEL_API_KEY
Instalación
Elige la app de IA que usas y copia la configuración.
Antes de instalar
- Revisiones básicas: 3 de 3 superadas
- Se ejecuta en el servidor del creador: lo que le pidas pasa por su servidor.
- Puede hacer 11 cosas (herramientas) get_overall_results, get_scorecard, compare_providers, recommend_provider …
- Debes completar tú:
YDC_API_KEY,TAVILY_API_KEY,EXA_API_KEY,PARALLEL_API_KEY
Los valores marcados como secretos son llaves de tu cuenta. Nunca los compartas ni los pegues en un chat.
Necesitas
- Se ejecuta en la nubeNo hay nada que instalar; se conecta por internet
- npmNode.js instalado (para el comando npx)
¿Qué app usas?
Elige tu app arriba. La recordamos, así que la próxima vez el botón dirá “Instalar en …”.
Funciona en Claude para web, escritorio y móvil:
- Abre Settings → Connectors
- Presiona Add custom connector
- Pega la dirección de abajo y presiona Add
- Si te pide iniciar sesión, inicia sesión en el servicio del creador
https://websearch-api-eval.psberkeleymba.workers.dev/mcpO ejecútalo en tu computadora
Abre Claude Desktop → Settings → Developer → Edit Config y pega esto en claude_desktop_config.json
{
"mcpServers": {
"websearch-api-eval": {
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}Ejecuta esto en tu terminal
claude mcp add --transport http websearch-api-eval https://websearch-api-eval.psberkeleymba.workers.dev/mcpO ejecútalo en tu computadora
claude mcp add websearch-api-eval --env YDC_API_KEY=your-value --env TAVILY_API_KEY=your-value --env EXA_API_KEY=your-value --env PARALLEL_API_KEY=your-value -- npx -y websearch-api-eval-mcpCompleta los valores vacíos antes de ejecutarlo.
O copia la configuración tú
Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json
{
"mcpServers": {
"websearch-api-eval": {
"url": "https://websearch-api-eval.psberkeleymba.workers.dev/mcp"
}
}
}O ejecútalo en tu computadora
O copia la configuración tú
Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json
{
"mcpServers": {
"websearch-api-eval": {
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.
O copia la configuración tú
Pégalo en .vscode/mcp.json de tu proyecto
{
"servers": {
"websearch-api-eval": {
"type": "http",
"url": "https://websearch-api-eval.psberkeleymba.workers.dev/mcp"
}
}
}O ejecútalo en tu computadora
O copia la configuración tú
Pégalo en .vscode/mcp.json de tu proyecto
{
"servers": {
"websearch-api-eval": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.
ChatGPT solo se conecta a servidores en internet:
- Abre ChatGPT en la web → Settings → Connectors (Apps)
- Presiona Create o Add (en algunos planes primero hay que activar Developer mode en Advanced)
- Pega la dirección de abajo, ponle un nombre y guarda
- Si te pide iniciar sesión, inicia sesión en el servicio del creador
https://websearch-api-eval.psberkeleymba.workers.dev/mcpLos nombres de los menús pueden variar un poco según el plan y con el tiempo.
Tu elección se guarda en una cookie en este dispositivo; no necesitas cuenta.
Valores que debes completar
- Optional. You.com API key, used only by run_live_search
- Optional. Tavily API key, used only by run_live_search
- Optional. Exa API key, used only by run_live_search
- Optional. Parallel API key, used only by run_live_search
Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.
Qué puede hacer
Nombres y descripciones de las herramientas tal como los informó el servidor el 7 nov 2026. Los escribió el creador, no nosotros; los mostramos como texto sin formato.
get_overall_resultsHeadline findings and the overall scorecard across all 30 queries (90 calls per API): accuracy, fully correct, precision@5, freshness, empty responses, failed calls, latency p50/p95, cost per correct answer. Also the per-use-case summary, which API fits which agent, and developer
get_scorecardFull metric scorecard for one use case (gtm, insurance, finance) or 'overall'. Metrics: search-only latency p50/p95 (server and client), calls under 1 s, accuracy, freshness (% in window, newest relevant result age), content in one call, tokens, search cost.
compare_providersCompare two or more of You.com, Tavily, Exa and Parallel side by side, overall or within one use case, optionally filtered to metrics whose name contains a keyword (e.g. 'latency', 'accuracy', 'fresh', 'cost', 'empty').
recommend_providerWhich web search API fits an agent, based on this benchmark: live voice/chat turns, deep research, semantic or long-tail queries, docs lookups, or a specific use case (GTM, insurance, finance). Returns the guidance with the supporting numbers.
list_questionsThe 30 benchmark questions (G1-G10 GTM, I1-I10 insurance, F1-F10 finance): ID, what the agent is asked, the search call and freshness.
get_questionOne benchmark question by ID (e.g. G3, I4, F5): the task, search call, parameters, answer key with sources, and what each API returned with its accuracy score (0-2, mean of 3 runs).
get_chartsThe published graphs: overall scorecard, key metrics and per-query grids for GTM, insurance and finance, and developer activation. Without chart_id, lists them with titles and image links; with chart_id, also returns the image.
get_methodologyHow the benchmark was run and graded: query design, identical request parameters, 3 runs per query, latency timing, SimpleQA and FreshQA grading, the 10 metrics and the standards they follow, and limits.
how_to_run_locallyHow to rerun this benchmark on your own machine with your own API keys, including on your own queries. Nothing runs on this server.
searchSearch the Web Search API Eval benchmark (results, questions, methodology, charts, how to run). Returns matching document IDs, titles and URLs.
fetchFull text of one benchmark document by its ID (for example question-F5, scorecard-finance, overall, methodology).
Revisiones básicasi
Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 9 nov 2026
- ✓ Superada
El creador coincide con el repo
El nombre en el registro se verificó con la cuenta de GitHub psinglap, dueña del repo
- … Aún sin revisar
Sigue en mantenimiento
Todavía no hemos leído este repo en GitHub
- … Aún sin revisar
Tiene licencia
Todavía no hemos leído este repo en GitHub
- ✓ Superada
El endpoint responde
Respondió en 204 ms (HTTP 200)
- – No aplica
Inicio de sesión con OAuth
No hace falta iniciar sesión
- ✓ Superada
Sin instrucciones ocultas en las descripciones de herramientas
Leímos 11 descripciones de herramientas y no encontramos instrucciones ocultas para la IA
Comparado con otros en Búsqueda y memoria de IAi
- Más estrellas que el 0% de los otros 5727 servidores de esta categoría
- Publicado en el registro más recientemente que el 75% de los otros 5727 servidores de esta categoría
- Revisiones básicas iguales o mejores que el 100% de los otros 5727 servidores de esta categoría
Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.
Preguntas frecuentes
¿Es seguro Web Search API Eval?
Superó 3 de 3 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.
¿Qué claves o códigos necesita?
Debes completar: YDC_API_KEY, TAVILY_API_KEY, EXA_API_KEY, PARALLEL_API_KEY
¿Se ejecuta en mi computadora o en la nube?
Funciona de las dos formas: instálalo en tu computadora o conéctate a la versión en la nube.
¿Sigue en mantenimiento?
El repo de GitHub cambió por última vez –, y la última versión (1.1.0) llegó al registro hace 12 días.
¿Qué apps pueden usarlo?
Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. Se conecta por URL, así que también funcionan las apps que aceptan servidores MCP remotos, como ChatGPT en modo desarrollador.
¿Qué puedo usar en su lugar?
En la misma categoría: Context7, Codebase Memory, Exa
Alternativas
Servidores de la misma categoría hechos por otros creadores, ordenados por estrellas.
Cómo leer una tarjeta:↓ Descargas por semanai★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi
Codebase Memory
Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.
Exa
Connect AI agents to Exa for web search, content fetching, and multi-step research.
README del creador
Abrir el README
Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.
Web Search API Eval: MCP server
An MCP server that lets Claude, ChatGPT, Cursor and other AI assistants answer questions about the Web Search API Eval benchmark (You.com, Tavily, Exa and Parallel on 30 agent queries), and run your own live search spot checks.
Use it two ways:
| Hosted (no install) | Local (npm) | |
|---|---|---|
| Connect | https://websearch-api-eval.psberkeleymba.workers.dev/mcp | npx -y websearch-api-eval-mcp |
| Works in | Claude, ChatGPT, any remote MCP client | Claude Desktop, Claude Code, Cursor, VS Code, any stdio MCP client |
| Benchmark tools | ✅ | ✅ |
run_live_search with your own keys | — | ✅ |
Install
Claude Code
claude mcp add websearch-api-eval -- npx -y websearch-api-eval-mcp
Claude Desktop, Cursor, VS Code (add to the client's MCP config):
{
"mcpServers": { "websearch-api-eval": { "command": "npx", "args": ["-y", "websearch-api-eval-mcp"], "env": { "YDC_API_KEY": "optional", "TAVILY_API_KEY": "optional", "EXA_API_KEY": "optional", "PARALLEL_API_KEY": "optional" } } } }
The keys are optional and only used by run_live_search. Leave out any provider you don't have a key for. Requires Node.js 18 or later.
Hosted, no install: in Claude, Settings → Connectors → Add custom connector → paste the hosted URL. In ChatGPT, create an app in Developer mode with the same URL and no authentication.
Tools
| Tool | Returns |
|---|---|
get_overall_results | Headline, overall scorecard, per-use-case summary, which API fits which agent, developer activation |
get_scorecard | Full scorecard for overall, gtm, insurance or finance |
compare_providers | Two or more providers side by side, optionally filtered by metric keyword |
recommend_provider | Which API fits an agent's need, with supporting numbers |
list_questions | The 30 questions, filterable by use case |
get_question | One question: task, search call, answer key, sources, what each API returned and its score |
get_charts | The published graphs; with chart_id, also the image |
get_methodology | How tests ran and were graded, the 10 metrics and their standards, limits |
how_to_run_locally | Steps and keys to rerun the full benchmark on your own machine |
search, fetch | Generic search and document fetch (used by ChatGPT research features) |
run_live_search (local only) | Sends one query to each provider using your own API keys and returns latency, result count and top results |
The benchmark tools are read-only and read the published results (run Oct 8, 2026). run_live_search calls the providers directly from your machine with your keys and uses your own credits; a single call is a spot check, not a graded benchmark. For the full graded run, use the harness.
Example questions
- "Which web search API is fastest for a voice agent?"
- "Compare Exa and Parallel on finance."
- "What was question F5 and who got it right?"
- "Show me the overall scorecard chart."
- "Run a live search for 'FOMC minutes' and compare the providers."
Data and updates
Results come from data/*.json on the published site, built from the Evaluation page by data/build_data.py. After a new benchmark run, rebuild the data and push; both the hosted and npm servers pick it up with no redeploy or new release.
Develop
cd mcp
npm install npx wrangler dev # hosted server locally at http://localhost:8787/mcp npm run build # npm package entry at dist/cli.js npx @modelcontextprotocol/inspector@0.17.2 node dist/cli.js # call tools by hand npx wrangler deploy # deploy the hosted server npm publish # publish the npm package
Built with the official MCP TypeScript SDK. Registry entry: io.github.psinglap/websearch-api-eval (server.json).
Privacy and support
No sign-in, no cookies, no storage, no request logging. Privacy Policy · Terms · Support · MIT License