Web Search API Eval
概要
作者による説明(英語の原文)
Web search API benchmark for AI agents: You.com, Tavily, Exa, Parallel. Results and charts.
PopNx MCPの3つの柱
この3つを1つのスコアにまとめることはしません。意見、測定、人気はそれぞれ別のものだからです。
- 利用者の声iレビューはまだありませんレビューは今後のステップで、アカウント機能と一緒に始まります
- 私たちの基本チェックi3項目中3項目に合格公開情報からチェック。コードはまだスキャンしていません
- 利用状況iとても新しい↓ 69/週 · ★ –
できること
このサーバーのやさしい解説はまだ書いていません。以下はレジストリから読み取った事実です。
- 接続方法: パソコンでもクラウドでも
- トランスポート: stdio, Streamable HTTP
- カテゴリ: 検索・AIの記憶
- 入力が必要なもの:YDC_API_KEY, TAVILY_API_KEY, EXA_API_KEY, PARALLEL_API_KEY
インストール
使っているAIアプリを選んで、設定をコピーしてください。
インストールの前に
- 基本チェック:3項目中3項目に合格
- 作者のサーバーで動きます。あなたが頼んだ内容は、作者のサーバーを通ります。
- できること:11件(ツール) get_overall_results, get_scorecard, compare_providers, recommend_provider …
- 自分で入力するもの:
YDC_API_KEY,TAVILY_API_KEY,EXA_API_KEY,PARALLEL_API_KEY
「秘密」と表示された値は、あなたのアカウントの鍵です。絶対に人に教えたり、チャットに貼り付けたりしないでください。
必要なもの
どのアプリを使っていますか?
上でアプリを選んでください。選んだアプリを覚えておくので、次からはボタンに「…にインストール」と表示されます。
ウェブ、デスクトップ、モバイルのClaudeで使えます:
- Settings → Connectors を開く
- Add custom connector を押す
- 下のアドレスを貼り付けて Add を押す
- サインインを求められたら、作者のサービスにサインインする
https://websearch-api-eval.psberkeleymba.workers.dev/mcpまたは、パソコンで動かす
Claude Desktop → Settings → Developer → Edit Config を開き、claude_desktop_config.json にこれを貼り付けます
{
"mcpServers": {
"websearch-api-eval": {
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}ターミナルでこれを実行します
claude mcp add --transport http websearch-api-eval https://websearch-api-eval.psberkeleymba.workers.dev/mcpまたは、パソコンで動かす
claude mcp add websearch-api-eval --env YDC_API_KEY=your-value --env TAVILY_API_KEY=your-value --env EXA_API_KEY=your-value --env PARALLEL_API_KEY=your-value -- npx -y websearch-api-eval-mcp動かす前に、空欄の値を入力してください。
または、設定を自分でコピーする
プロジェクトの .cursor/mcp.json、または ~/.cursor/mcp.json に貼り付けます
{
"mcpServers": {
"websearch-api-eval": {
"url": "https://websearch-api-eval.psberkeleymba.workers.dev/mcp"
}
}
}または、パソコンで動かす
または、設定を自分でコピーする
プロジェクトの .cursor/mcp.json、または ~/.cursor/mcp.json に貼り付けます
{
"mcpServers": {
"websearch-api-eval": {
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。
または、設定を自分でコピーする
プロジェクトの .vscode/mcp.json に貼り付けます
{
"servers": {
"websearch-api-eval": {
"type": "http",
"url": "https://websearch-api-eval.psberkeleymba.workers.dev/mcp"
}
}
}または、パソコンで動かす
または、設定を自分でコピーする
プロジェクトの .vscode/mcp.json に貼り付けます
{
"servers": {
"websearch-api-eval": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"websearch-api-eval-mcp"
],
"env": {
"YDC_API_KEY": "your-value",
"TAVILY_API_KEY": "your-value",
"EXA_API_KEY": "your-value",
"PARALLEL_API_KEY": "your-value"
}
}
}
}ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。
ChatGPTがつなげるのは、インターネット上のサーバーだけです:
- ウェブ版のChatGPTを開き → Settings → Connectors (Apps)
- Create または Add を押す(プランによっては、先に Advanced で Developer mode をオンにする必要があります)
- 下のアドレスを貼り付け、名前を付けて保存する
- サインインを求められたら、作者のサービスにサインインする
https://websearch-api-eval.psberkeleymba.workers.dev/mcpメニューの名前は、プランや時期によって少し違うことがあります。
選んだアプリは、この端末のCookieに保存されます。アカウントは不要です。
自分で入力する値
- Optional. You.com API key, used only by run_live_search
- Optional. Tavily API key, used only by run_live_search
- Optional. Exa API key, used only by run_live_search
- Optional. Parallel API key, used only by run_live_search
この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。
できること
ツールの名前と説明は、サーバーが2026年11月7日に返したそのままの内容です。書いたのは作者で、私たちではありません。プレーンテキストとして表示しています。
get_overall_resultsHeadline findings and the overall scorecard across all 30 queries (90 calls per API): accuracy, fully correct, precision@5, freshness, empty responses, failed calls, latency p50/p95, cost per correct answer. Also the per-use-case summary, which API fits which agent, and developer
get_scorecardFull metric scorecard for one use case (gtm, insurance, finance) or 'overall'. Metrics: search-only latency p50/p95 (server and client), calls under 1 s, accuracy, freshness (% in window, newest relevant result age), content in one call, tokens, search cost.
compare_providersCompare two or more of You.com, Tavily, Exa and Parallel side by side, overall or within one use case, optionally filtered to metrics whose name contains a keyword (e.g. 'latency', 'accuracy', 'fresh', 'cost', 'empty').
recommend_providerWhich web search API fits an agent, based on this benchmark: live voice/chat turns, deep research, semantic or long-tail queries, docs lookups, or a specific use case (GTM, insurance, finance). Returns the guidance with the supporting numbers.
list_questionsThe 30 benchmark questions (G1-G10 GTM, I1-I10 insurance, F1-F10 finance): ID, what the agent is asked, the search call and freshness.
get_questionOne benchmark question by ID (e.g. G3, I4, F5): the task, search call, parameters, answer key with sources, and what each API returned with its accuracy score (0-2, mean of 3 runs).
get_chartsThe published graphs: overall scorecard, key metrics and per-query grids for GTM, insurance and finance, and developer activation. Without chart_id, lists them with titles and image links; with chart_id, also returns the image.
get_methodologyHow the benchmark was run and graded: query design, identical request parameters, 3 runs per query, latency timing, SimpleQA and FreshQA grading, the 10 metrics and the standards they follow, and limits.
how_to_run_locallyHow to rerun this benchmark on your own machine with your own API keys, including on your own queries. Nothing runs on this server.
searchSearch the Web Search API Eval benchmark (results, questions, methodology, charts, how to run). Returns matching document IDs, titles and URLs.
fetchFull text of one benchmark document by its ID (for example question-F5, scorecard-finance, overall, methodology).
基本チェックi
誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月8日にチェック
- ✓ 合格
作者とリポジトリが一致
レジストリ名は、リポジトリを所有するGitHubアカウント psinglap で確認済みです
- … 未チェック
今もメンテナンスされている
このリポジトリはまだGitHubから読み取っていません
- … 未チェック
ライセンスがある
このリポジトリはまだGitHubから読み取っていません
- ✓ 合格
エンドポイントが応答する
204ミリ秒で応答(HTTP 200)
- – 対象外
OAuthでサインイン
サインイン不要
- ✓ 合格
ツールの説明に隠れた指示がない
11件のツールの説明を読み、AIへの隠れた指示は見つかりませんでした
検索・AIの記憶のほかのサーバーとの比較i
- このカテゴリのほかの5718件のうち0%よりスターが多い
- このカテゴリのほかの5718件のうち75%より最近レジストリに公開
- 基本チェックの結果が、このカテゴリのほかの5718件のうち100%と同じかそれ以上
レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。
よくある質問
Web Search API Evalは安全ですか?
当てはまる基本チェック3項目のうち3項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。
どんなキーやコードが必要ですか?
入力が必要なもの:YDC_API_KEY, TAVILY_API_KEY, EXA_API_KEY, PARALLEL_API_KEY
パソコンで動きますか、それともクラウドですか?
どちらでも使えます。パソコンにインストールしても、クラウド版につないでもかまいません。
今もメンテナンスされていますか?
GitHubリポジトリの最終更新は–、最新バージョン(1.1.0)がレジストリに届いたのは12 日前です。
どのアプリで使えますか?
Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。URLでつながるので、リモートMCPサーバーに対応したアプリ(開発者モードのChatGPTなど)でも使えます。
代わりに使えるものは?
同じカテゴリには:Context7, Codebase Memory, Exa
代わりの候補
同じカテゴリで、ほかの作者が作ったサーバー。スターの多い順。
カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i
Codebase Memory
Codebase knowledge graph for AI agents — 162 languages, sub-ms queries, 99% fewer tokens.
Exa
Connect AI agents to Exa for web search, content fetching, and multi-step research.
作者のREADME
READMEを開く
作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。
Web Search API Eval: MCP server
An MCP server that lets Claude, ChatGPT, Cursor and other AI assistants answer questions about the Web Search API Eval benchmark (You.com, Tavily, Exa and Parallel on 30 agent queries), and run your own live search spot checks.
Use it two ways:
| Hosted (no install) | Local (npm) | |
|---|---|---|
| Connect | https://websearch-api-eval.psberkeleymba.workers.dev/mcp | npx -y websearch-api-eval-mcp |
| Works in | Claude, ChatGPT, any remote MCP client | Claude Desktop, Claude Code, Cursor, VS Code, any stdio MCP client |
| Benchmark tools | ✅ | ✅ |
run_live_search with your own keys | — | ✅ |
Install
Claude Code
claude mcp add websearch-api-eval -- npx -y websearch-api-eval-mcp
Claude Desktop, Cursor, VS Code (add to the client's MCP config):
{
"mcpServers": { "websearch-api-eval": { "command": "npx", "args": ["-y", "websearch-api-eval-mcp"], "env": { "YDC_API_KEY": "optional", "TAVILY_API_KEY": "optional", "EXA_API_KEY": "optional", "PARALLEL_API_KEY": "optional" } } } }
The keys are optional and only used by run_live_search. Leave out any provider you don't have a key for. Requires Node.js 18 or later.
Hosted, no install: in Claude, Settings → Connectors → Add custom connector → paste the hosted URL. In ChatGPT, create an app in Developer mode with the same URL and no authentication.
Tools
| Tool | Returns |
|---|---|
get_overall_results | Headline, overall scorecard, per-use-case summary, which API fits which agent, developer activation |
get_scorecard | Full scorecard for overall, gtm, insurance or finance |
compare_providers | Two or more providers side by side, optionally filtered by metric keyword |
recommend_provider | Which API fits an agent's need, with supporting numbers |
list_questions | The 30 questions, filterable by use case |
get_question | One question: task, search call, answer key, sources, what each API returned and its score |
get_charts | The published graphs; with chart_id, also the image |
get_methodology | How tests ran and were graded, the 10 metrics and their standards, limits |
how_to_run_locally | Steps and keys to rerun the full benchmark on your own machine |
search, fetch | Generic search and document fetch (used by ChatGPT research features) |
run_live_search (local only) | Sends one query to each provider using your own API keys and returns latency, result count and top results |
The benchmark tools are read-only and read the published results (run Oct 8, 2026). run_live_search calls the providers directly from your machine with your keys and uses your own credits; a single call is a spot check, not a graded benchmark. For the full graded run, use the harness.
Example questions
- "Which web search API is fastest for a voice agent?"
- "Compare Exa and Parallel on finance."
- "What was question F5 and who got it right?"
- "Show me the overall scorecard chart."
- "Run a live search for 'FOMC minutes' and compare the providers."
Data and updates
Results come from data/*.json on the published site, built from the Evaluation page by data/build_data.py. After a new benchmark run, rebuild the data and push; both the hosted and npm servers pick it up with no redeploy or new release.
Develop
cd mcp
npm install npx wrangler dev # hosted server locally at http://localhost:8787/mcp npm run build # npm package entry at dist/cli.js npx @modelcontextprotocol/inspector@0.17.2 node dist/cli.js # call tools by hand npx wrangler deploy # deploy the hosted server npm publish # publish the npm package
Built with the official MCP TypeScript SDK. Registry entry: io.github.psinglap/websearch-api-eval (server.json).
Privacy and support
No sign-in, no cookies, no storage, no request logging. Privacy Policy · Terms · Support · MIT License