REA
Reverse engineer anything from your terminal or agent with one CLI and MCP server.
This repo is a collection of 9 skills; it is a guide with example skills
Skills that guide AI coding agents to help you build product-specific AI evals.제작자라면 이 코드를 README에 붙여 넣으세요. 배지는 이 페이지로 연결됩니다.
[](https://mcp.popnx.com/en/skills/ai-evals-course-evals-skills)같은 작업에서 AI를 서비스에 연결하는 MCP
Reverse engineer anything from your terminal or agent with one CLI and MCP server.
Codebase intelligence for TypeScript and JavaScript, exposed as structured MCP analysis tools.
MCP server for terminal commands, file operations, and process management
같은 종류의 작업, Skill 목록과 같은 순서
| 이 항목 evals-skills | rea | andrej-karpathy-skills | graphify | MoneyPrinterTurbo | |
|---|---|---|---|---|---|
| 제작자 | ai-evals-course | morluto | multica-ai | Graphify-Labs | harry0703 |
| Skill 수 | 9 | 1 | 1 | 1 | 1 |
| GitHub 별 | 1,810 | 467,235 | 234,125 | 149,873 | 144,332 |
| 마지막 코드 변경 | 2026년 10월 25일 | 2026년 11월 18일 | 2026년 4월 20일 | 2026년 11월 18일 | 2026년 11월 18일 |
| 라이선스 | Apache-2.0 | MIT | – | Apache-2.0 | MIT |
ai-evals-course의 Skill(지시 묶음) 9개, AI가 읽고 그대로 일해요 · MCP server가 아니에요
Install only the ones you use. Open a skill to see how to install it
If you want every one, let the AI install them in one go. Know 2 things first
Uploading to Claude on the web and apps: you need 9 uploads, one ZIP per skill. Open each skill in the list below to download it
Checked against official docs 2026년 11월 12일 · Source: support.claude.com, code.claude.com, learn.chatgpt.com, cursor.com
Build a custom browser-based annotation interface tailored to your data for reviewing LLM traces and collecting structured feedback. Use when you need to build an annotation tool, review traces, or collect human labels.
Run error analysis on a dataset. Build a review UI, select diverse samples, monitor annotations, and organize failure modes.
Audit an LLM eval pipeline and surface problems: missing error analysis, unvalidated judges, vanity metrics, etc. Use when inheriting an eval system, when unsure whether evals are trustworthy, or as a starting point when no eval infrastructure exists. Do NOT use when the goal is to build a new eval…
Entry point for evals. Use when the user asks for help with evals, does not know where to begin, or asks for something no other skill in this plugin matches. Do NOT use when a more specific skill in this plugin already matches; load that skill directly.
Guides evaluation of RAG pipeline retrieval and generation quality. Use when evaluating a retrieval-augmented generation system, measuring retrieval quality, assessing generation faithfulness or relevance, generating synthetic QA pairs for retrieval testing, or optimizing chunking strategies.
Create diverse synthetic test inputs for LLM pipeline evaluation using dimension-based tuple generation. Use when bootstrapping an eval dataset, when real user data is sparse, or when stress-testing specific failure hypotheses. Do NOT use when you already have 100+ representative real traces (use s…
Calibrate an LLM judge against human labels using data splits, TPR/TNR, and bias correction. Use after writing a judge prompt (write-judge-prompt) when you need to verify alignment before trusting its outputs. Do NOT use for code-based evaluators (those are deterministic; test with unit tests per `…
Write code evaluators for known failure modes with objective rules. Use when code can check the rule from a trace, with or without a reference answer. Use `write-judge-prompt` when the rule requires interpretation.
Design LLM-as-Judge evaluators for subjective criteria that code-based checks cannot handle. Use when a failure mode requires interpretation (tone, faithfulness, relevance, completeness). Do NOT use when the failure mode can be checked with code (regex, schema validation, execution tests); use `wri…
MCP = 손
AI를 외부 서비스나 데이터에 연결합니다(예: Notion 읽기, 청구서 만들기). 프로그램이나 서버가 실행 중이어야 합니다.
Skill = 안내서
작업 방법을 AI에게 가르치는 텍스트 파일. 어떤 서비스에도 연결되지 않습니다.
겹치는 경우도 있습니다. 도구를 부르는 스크립트가 있는 Skill도, 지식만 보내는 MCP도 있습니다. 하려는 작업을 기준으로 고르세요.
제작자가 밝히지 않음 · SKILL.md 형식 Skill은 Claude Code, Codex, Cursor 같은 Agent Skills 지원 앱에서 써요
This repo has 9 skills. Pick one from the list above; its page shows every way to install it, including letting the AI install it and a ZIP
이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter
node -vMac: ⌘ + Space를 누르고 Terminal 입력 후 Enter
Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"
아직 설치하지 않았다면: 공식 다운로드 페이지에서 LTS 버전과 클릭형 설치 파일을 고르세요: Mac은 .pkg · Windows는 .msi. 더블클릭 후 끝까지 진행하면 됩니다. curl 명령은 필요 없습니다
설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: node -v
한 번 설치하면 Node.js가 필요한 모든 도구에서 쓸 수 있습니다
npx skills add https://github.com/ai-evals-course/evals-skills제작자 README에서 가져온 명령으로, 제작자 코드를 내려받아 실행해요
질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.