プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説

evals-skills Skill

リポジトリ ↗

作者:ai-evals-course★ 1,823 (whole repo)9 個の skill

★ Stars are for the whole repo, not each skill

Pick the skill to install

What it does

This repo is a collection of 9 skills; it is a guide with example skills

  • Connects Instruction files the AI reads
  • Account or key No key found in README or SKILL.md
  • Category コーディング
Maker’s original description
Skills that guide AI coding agents to help you build product-specific AI evals.
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/skill/ai-evals-course-evals-skills.svg)](https://mcp.popnx.com/en/skills/ai-evals-course-evals-skills)

一緒に使える

同じ作業で AI をサービスにつなぐ MCP

REA

Reverse engineer anything from your terminal or agent with one CLI and MCP server.

作者:morluto広く使われている↓ 38.9万/週★ 46.9万7 日前更新

MCP · サービスにつなぐパソコンで動く

Fallow

Codebase intelligence for TypeScript and JavaScript, exposed as structured MCP analysis tools.

作者:fallow-rs広く使われている↓ 244.1万/週★ 5383一昨日更新

MCP · サービスにつなぐパソコンで動く

似た Skill

同じ種類の作業。Skill 一覧と同じ並び

似たものと比べる
これ
evals-skills
reaandrej-karpathy-skillsgraphifyMoneyPrinterTurbo
作者ai-evals-coursemorlutomultica-aiGraphify-Labsharry0703
Skill 数91111
GitHub スター1,823468,733234,332150,287144,566
最終コード更新2026年10月25日2026年11月19日2026年4月20日2026年11月18日2026年11月18日
ライセンスApache-2.0MIT–Apache-2.0MIT

ai-evals-course による 9 個の Skill(指示セット)。AI が読んでそのとおりに作業します · MCP server ではありません

Pick the skill to install

Install only the ones you use. Open a skill to see how to install it

Install the whole set (9)

If you want every one, let the AI install them in one go. Know 2 things first

  • Every installed skill’s description is loaded into every chat. The more you install, the easier it is for the AI to pick the wrong one
  • Some skills duplicate tools the AI already has built in. Installing only the ones you use works better
Where to install
Please install all 9 skills from https://github.com/ai-evals-course/evals-skills: build-review-interface, error-discovery, eval-audit, evals-start, evaluate-rag, generate-synthetic-data, validate-evaluator, write-code-eval, write-judge-prompt, for all my projects, putting each at ~/.claude/skills/<skill name> (in Codex use ~/.agents/skills/<skill name>, in Cursor ~/.cursor/skills/<skill name>). Folders in the repo: build-review-interface = skills/build-review-interface · error-discovery = skills/error-discovery · eval-audit = skills/eval-audit · evals-start = skills/evals-start · evaluate-rag = skills/evaluate-rag · generate-synthetic-data = skills/generate-synthetic-data · validate-evaluator = skills/validate-evaluator · write-code-eval = skills/write-code-eval · write-judge-prompt = skills/write-judge-prompt. First show me every file and tell me whether any has scripts or changes machine settings, then tell me the full path you will install each one to and wait for me to agree.
Please install all 9 skills from https://github.com/ai-evals-course/evals-skills: build-review-interface, error-discovery, eval-audit, evals-start, evaluate-rag, generate-synthetic-data, validate-evaluator, write-code-eval, write-judge-prompt, into the project this chat is open in (at .claude/skills/<skill name>; in Codex use .agents/skills/<skill name>, in Cursor .cursor/skills/<skill name>). Folders in the repo: build-review-interface = skills/build-review-interface · error-discovery = skills/error-discovery · eval-audit = skills/eval-audit · evals-start = skills/evals-start · evaluate-rag = skills/evaluate-rag · generate-synthetic-data = skills/generate-synthetic-data · validate-evaluator = skills/validate-evaluator · write-code-eval = skills/write-code-eval · write-judge-prompt = skills/write-judge-prompt. First show me every file and tell me whether any has scripts or changes machine settings, then tell me the project name and the full path you will install each one to and wait for me to agree.

Uploading to Claude on the web and apps: you need 9 uploads, one ZIP per skill. Open each skill in the list below to download it

Checked against official docs 2026年11月12日 · Source: support.claude.com, code.claude.com, learn.chatgpt.com, cursor.com

  • build-review-interface

    Build a custom browser-based annotation interface tailored to your data for reviewing LLM traces and collecting structured feedback. Use when you need to build an annotation tool, review traces, or collect human labels.

  • error-discovery

    Run error analysis on a dataset. Build a review UI, select diverse samples, monitor annotations, and organize failure modes.

  • eval-audit

    Audit an LLM eval pipeline and surface problems: missing error analysis, unvalidated judges, vanity metrics, etc. Use when inheriting an eval system, when unsure whether evals are trustworthy, or as a starting point when no eval infrastructure exists. Do NOT use when the goal is to build a new eval…

  • evals-start

    Entry point for evals. Use when the user asks for help with evals, does not know where to begin, or asks for something no other skill in this plugin matches. Do NOT use when a more specific skill in this plugin already matches; load that skill directly.

  • evaluate-rag

    Guides evaluation of RAG pipeline retrieval and generation quality. Use when evaluating a retrieval-augmented generation system, measuring retrieval quality, assessing generation faithfulness or relevance, generating synthetic QA pairs for retrieval testing, or optimizing chunking strategies.

  • generate-synthetic-data

    Create diverse synthetic test inputs for LLM pipeline evaluation using dimension-based tuple generation. Use when bootstrapping an eval dataset, when real user data is sparse, or when stress-testing specific failure hypotheses. Do NOT use when you already have 100+ representative real traces (use s…

  • validate-evaluator

    Calibrate an LLM judge against human labels using data splits, TPR/TNR, and bias correction. Use after writing a judge prompt (write-judge-prompt) when you need to verify alignment before trusting its outputs. Do NOT use for code-based evaluators (those are deterministic; test with unit tests per `…

  • write-code-eval

    Write code evaluators for known failure modes with objective rules. Use when code can check the rule from a trace, with or without a reference answer. Use `write-judge-prompt` when the rule requires interpretation.

  • write-judge-prompt

    Design LLM-as-Judge evaluators for subjective criteria that code-based checks cannot handle. Use when a failure mode requires interpretation (tone, faithfulness, relevance, completeness). Do NOT use when the failure mode can be checked with code (regex, schema validation, execution tests); use `wri…

Skill と MCP の違い

MCP = 手

AI を外部のサービスやデータにつなぎます(例:Notion を読む、請求書を作る)。プログラムやサーバーが動いている必要があります。

Skill = 手順書

作業のやり方を AI に教えるテキストファイル。どのサービスにもつながりません。

重なる部分もあります。ツールを呼ぶスクリプト付きの Skill や、知識だけを渡す MCP もあります。やりたい作業から選んでください。

使えるアプリ

提供元の記載なし · SKILL.md 形式の Skill は Claude Code、Codex、Cursor など Agent Skills 対応アプリで使えます

インストール

Pick a skill first

This repo has 9 skills. Pick one from the list above; its page shows every way to install it, including letting the AI install it and a ZIP

Let the AI install it
Upload to claude.ai

Go to the skill list ↑

The maker’s command installs the whole set of 9
Node.js を入れる(まだなければ)

もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter

node -v
  • バージョン番号(例 v26.13.1)が出る = 入っています。この手順は飛ばせます
  • "command not found"(Windows では "is not recognized")が出る = まだ入っていないか、入れた直後でターミナルを開き直す必要があります
ターミナルの開き方

Mac:⌘ + Space を押し、Terminal と入力して Enter

Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」

まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です

Node.js のダウンロードページを開く ↗

入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v

一度入れれば、Node.js を使うすべてのツールで使えます

npx skills add https://github.com/ai-evals-course/evals-skills

提供元の README から引用。提供元のコードをダウンロードして実行します

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

GitHub の情報

GitHub スター
1,823
Stars are for the whole repo, not each skill
提供元
ai-evals-course
ライセンス
Apache-2.0
最終コード更新
2026年10月25日
repo 内の SKILL.md(翻訳版とテンプレートを含む)
9