Prototyp · Vorschau: alle Server aus der offiziellen Registry, alle 30 Minuten synchronisiert. Mit Google anmelden, um Bewertungen zu schreiben.Prototyp · alle 30 Min. aktualisiert
PopNx MCPMCP-Server für alle, die KI nutzen · in einfachen Worten erklärt

evals-skills Skill

Repository ↗

von ai-evals-course★ 1.810 (whole repo)9 Skills

★ Stars are for the whole repo, not each skill

Pick the skill to install

What it does

This repo is a collection of 9 skills; it is a guide with example skills

  • Connects Instruction files the AI reads
  • Account or key No key found in README or SKILL.md
  • Category Programmieren
Maker’s original description
Skills that guide AI coding agents to help you build product-specific AI evals.
Für Anbieter: Badge ins README

Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/skill/ai-evals-course-evals-skills.svg)](https://mcp.popnx.com/en/skills/ai-evals-course-evals-skills)

Zusammen nutzen mit

MCP-Server, die die KI für dieselbe Arbeit mit Diensten verbinden

REA

Reverse engineer anything from your terminal or agent with one CLI and MCP server.

von morlutoWeit verbreitet↓ 388.706/Wo.★ 467.990Aktualisiert vor 7 Tagen

MCP · Verbindet einen DienstLäuft auf deinem Computer

Fallow

Codebase intelligence for TypeScript and JavaScript, exposed as structured MCP analysis tools.

von fallow-rsWeit verbreitet↓ 2,4 Mio./Wo.★ 5383Aktualisiert vorgestern

MCP · Verbindet einen DienstLäuft auf deinem Computer

Desktop Commander

MCP server for terminal commands, file operations, and process management

von wonderwhy-erWeit verbreitet↓ 740.317/Wo.★ 10.349Aktualisiert gestern

MCP · Verbindet einen DienstLäuft auf deinem Computer

Ähnliche Skills

Gleiche Art Arbeit, sortiert wie die Skill-Liste

Im Vergleich mit ähnlichen
Dieser
evals-skills
reaandrej-karpathy-skillsgraphifyMoneyPrinterTurbo
Anbieterai-evals-coursemorlutomultica-aiGraphify-Labsharry0703
Skills91111
GitHub-Sterne1.810467.235234.125149.873144.332
Letzte Codeänderung25. Okt. 202618. Nov. 202620. Apr. 202618. Nov. 202618. Nov. 2026
LizenzApache-2.0MIT–Apache-2.0MIT

9 Skills (Anweisungssammlungen) von ai-evals-course, die eine KI liest und befolgt · kein MCP-Server

Pick the skill to install

Install only the ones you use. Open a skill to see how to install it

Install the whole set (9)

If you want every one, let the AI install them in one go. Know 2 things first

  • Every installed skill’s description is loaded into every chat. The more you install, the easier it is for the AI to pick the wrong one
  • Some skills duplicate tools the AI already has built in. Installing only the ones you use works better
Where to install
Please install all 9 skills from https://github.com/ai-evals-course/evals-skills: build-review-interface, error-discovery, eval-audit, evals-start, evaluate-rag, generate-synthetic-data, validate-evaluator, write-code-eval, write-judge-prompt, for all my projects, putting each at ~/.claude/skills/<skill name> (in Codex use ~/.agents/skills/<skill name>, in Cursor ~/.cursor/skills/<skill name>). Folders in the repo: build-review-interface = skills/build-review-interface · error-discovery = skills/error-discovery · eval-audit = skills/eval-audit · evals-start = skills/evals-start · evaluate-rag = skills/evaluate-rag · generate-synthetic-data = skills/generate-synthetic-data · validate-evaluator = skills/validate-evaluator · write-code-eval = skills/write-code-eval · write-judge-prompt = skills/write-judge-prompt. First show me every file and tell me whether any has scripts or changes machine settings, then tell me the full path you will install each one to and wait for me to agree.
Please install all 9 skills from https://github.com/ai-evals-course/evals-skills: build-review-interface, error-discovery, eval-audit, evals-start, evaluate-rag, generate-synthetic-data, validate-evaluator, write-code-eval, write-judge-prompt, into the project this chat is open in (at .claude/skills/<skill name>; in Codex use .agents/skills/<skill name>, in Cursor .cursor/skills/<skill name>). Folders in the repo: build-review-interface = skills/build-review-interface · error-discovery = skills/error-discovery · eval-audit = skills/eval-audit · evals-start = skills/evals-start · evaluate-rag = skills/evaluate-rag · generate-synthetic-data = skills/generate-synthetic-data · validate-evaluator = skills/validate-evaluator · write-code-eval = skills/write-code-eval · write-judge-prompt = skills/write-judge-prompt. First show me every file and tell me whether any has scripts or changes machine settings, then tell me the project name and the full path you will install each one to and wait for me to agree.

Uploading to Claude on the web and apps: you need 9 uploads, one ZIP per skill. Open each skill in the list below to download it

Checked against official docs 12. Nov. 2026 · Source: support.claude.com, code.claude.com, learn.chatgpt.com, cursor.com

  • build-review-interface

    Build a custom browser-based annotation interface tailored to your data for reviewing LLM traces and collecting structured feedback. Use when you need to build an annotation tool, review traces, or collect human labels.

  • error-discovery

    Run error analysis on a dataset. Build a review UI, select diverse samples, monitor annotations, and organize failure modes.

  • eval-audit

    Audit an LLM eval pipeline and surface problems: missing error analysis, unvalidated judges, vanity metrics, etc. Use when inheriting an eval system, when unsure whether evals are trustworthy, or as a starting point when no eval infrastructure exists. Do NOT use when the goal is to build a new eval…

  • evals-start

    Entry point for evals. Use when the user asks for help with evals, does not know where to begin, or asks for something no other skill in this plugin matches. Do NOT use when a more specific skill in this plugin already matches; load that skill directly.

  • evaluate-rag

    Guides evaluation of RAG pipeline retrieval and generation quality. Use when evaluating a retrieval-augmented generation system, measuring retrieval quality, assessing generation faithfulness or relevance, generating synthetic QA pairs for retrieval testing, or optimizing chunking strategies.

  • generate-synthetic-data

    Create diverse synthetic test inputs for LLM pipeline evaluation using dimension-based tuple generation. Use when bootstrapping an eval dataset, when real user data is sparse, or when stress-testing specific failure hypotheses. Do NOT use when you already have 100+ representative real traces (use s…

  • validate-evaluator

    Calibrate an LLM judge against human labels using data splits, TPR/TNR, and bias correction. Use after writing a judge prompt (write-judge-prompt) when you need to verify alignment before trusting its outputs. Do NOT use for code-based evaluators (those are deterministic; test with unit tests per `…

  • write-code-eval

    Write code evaluators for known failure modes with objective rules. Use when code can check the rule from a trace, with or without a reference answer. Use `write-judge-prompt` when the rule requires interpretation.

  • write-judge-prompt

    Design LLM-as-Judge evaluators for subjective criteria that code-based checks cannot handle. Use when a failure mode requires interpretation (tone, faithfulness, relevance, completeness). Do NOT use when the failure mode can be checked with code (regex, schema validation, execution tests); use `wri…

Was einen Skill von MCP unterscheidet

MCP = die Hände

Verbindet die KI mit einem externen Dienst oder Daten, etwa Notion lesen oder eine Rechnung erstellen. Ein Programm oder Server muss laufen.

Skill = das Handbuch

Eine Textdatei, die der KI zeigt, wie eine Aufgabe geht. Sie verbindet sich mit nichts.

Manches überschneidet sich: Einige Skills starten Skripte mit Werkzeugen, einige MCP-Server liefern nur Wissen. Geh von der Aufgabe aus.

Funktioniert mit

Vom Anbieter nicht angegeben · SKILL.md-Skills laufen in Apps mit Agent-Skills-Unterstützung wie Claude Code, Codex und Cursor

Installieren

Pick a skill first

This repo has 9 skills. Pick one from the list above; its page shows every way to install it, including letting the AI install it and a ZIP

Let the AI install it
Upload to claude.ai

Go to the skill list ↑

The maker’s command installs the whole set of 9
Node.js installieren (falls noch nicht vorhanden)

Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter

node -v
  • Eine Versionsnummer wie v26.13.1 = installiert, diesen Schritt überspringen
  • "command not found" (unter Windows "is not recognized") = noch nicht installiert, oder gerade installiert und das Terminal muss neu geöffnet werden
So öffnest du das Terminal

Mac: ⌘ + Leertaste drücken, Terminal eingeben, Enter

Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen

Noch nicht installiert: Öffne die offizielle Download-Seite, wähle die LTS-Version und den Klick-Installer: .pkg auf dem Mac · .msi unter Windows. Doppelklicken und bis zum Ende durchklicken. Kein curl-Befehl nötig

Download-Seite von Node.js öffnen ↗

Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: node -v

Einmal installieren, gilt für alles, was Node.js braucht

npx skills add https://github.com/ai-evals-course/evals-skills

Aus dem README des Anbieters; lädt den Code des Anbieters herunter und führt ihn aus

Diskussion

Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.

Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.

Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.

Anmelden, um zu posten

Von GitHub

GitHub-Sterne
1.810
Stars are for the whole repo, not each skill
Anbieter
ai-evals-course
Lizenz
Apache-2.0
Letzte Codeänderung
25. Okt. 2026
SKILL.md-Dateien im Repo (mit Übersetzungen und Vorlagen)
9