프로토타입 · 미리 보기: 공식 레지스트리의 모든 서버를 담고 있으며 30분마다 동기화해요. Google로 로그인하면 리뷰를 쓸 수 있어요.프로토타입 · 30분마다 업데이트
PopNx MCPAI를 쓰는 사람을 위한 MCP 서버 · 쉬운 말로 설명해요

darwin-skill Skill

제작자: alchaincyf★ 6,929skill 1개

설치

What it does

达尔文.skill —— 一个让你的Skill无限进化的系统:评估→改进→测试→保留或回滚 | Autoresearch-inspired autonomous skill optimization for Claude Code. Evaluate, improve, test, keep or revert.

  • Connects Instruction files the AI reads; connects to nothing
  • Account or key No key needed
  • Category 코딩
제작자용: README에 배지 달기

제작자라면 이 코드를 README에 붙여 넣으세요. 배지는 이 페이지로 연결됩니다.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/skill/alchaincyf-darwin-skill.svg)](https://mcp.popnx.com/en/skills/alchaincyf-darwin-skill)

함께 쓰기

같은 작업에서 AI를 서비스에 연결하는 MCP

REA

Reverse engineer anything from your terminal or agent with one CLI and MCP server.

제작자: morluto널리 사용됨↓ 38.9만/주★ 46.2만4일 전 업데이트

MCP · 서비스 연결내 컴퓨터에서 실행

Fallow

Codebase intelligence for TypeScript and JavaScript, exposed as structured MCP analysis tools.

제작자: fallow-rs널리 사용됨↓ 244.1만/주★ 5.4천어제 업데이트

MCP · 서비스 연결내 컴퓨터에서 실행

Desktop Commander

MCP server for terminal commands, file operations, and process management

제작자: wonderwhy-er널리 사용됨↓ 74만/주★ 1만4일 전 업데이트

MCP · 서비스 연결내 컴퓨터에서 실행

비슷한 Skill

같은 종류의 작업, Skill 목록과 같은 순서

비슷한 항목과 비교
이 항목
darwin-skill
reagraphifyarchifysecurity-audit-skill
제작자alchaincyfmorlutoGraphify-Labstt-a1icloudflare
Skill 수11111
GitHub 별6,929461,751148,35296,75773,156
마지막 코드 변경2026년 11월 15일2026년 11월 16일2026년 11월 16일2026년 11월 15일2026년 9월 15일
라이선스MITMITApache-2.0Apache-2.0MIT

alchaincyf의 Skill(지시 묶음) 1개, AI가 읽고 그대로 일해요 · MCP server가 아니에요

Skill과 MCP의 차이

MCP = 손

AI를 외부 서비스나 데이터에 연결합니다(예: Notion 읽기, 청구서 만들기). 프로그램이나 서버가 실행 중이어야 합니다.

Skill = 안내서

작업 방법을 AI에게 가르치는 텍스트 파일. 어떤 서비스에도 연결되지 않습니다.

겹치는 경우도 있습니다. 도구를 부르는 스크립트가 있는 Skill도, 지식만 보내는 MCP도 있습니다. 하려는 작업을 기준으로 고르세요.

쓸 수 있는 앱

제작자가 밝히지 않음 · SKILL.md 형식 Skill은 Claude Code, Codex, Cursor 같은 Agent Skills 지원 앱에서 써요

설치

Is it safe?

  • Who made it

    GitHub account alchaincyf (person), 3 years old

  • Use and upkeep

    ★ 6,929 stars · code last changed 2026년 11월 15일

  • Any scripts?

    2 scripts that can run on a computer: scripts/darwin.py, scripts/screenshot.mjs

  • Uses the internet?

    Scripts that go online: scripts/darwin.py

  • Changes machine-wide settings?

    No hooks or writes to machine settings found

Checked automatically from the repo files at commit e7c0e66 (read only, nothing was run). Not a safety guarantee: read it and decide for yourself

먼저: 어떤 AI를 쓰시나요

쓰는 앱을 고르면 그 앱의 설치 방법만 보여 드립니다

Option 1Upload to claude.ai (web and app)

Uploading to claude.ai would fail: the description is over 200 characters (341). Use "Let the AI install it" instead

Option 1Claude Code에게 설치 맡기기

이 문장을 복사해 Claude Code 채팅에 붙여 넣으세요

Where to install
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) for all my projects, at ~/.claude/skills/darwin-skill. First show me every file and tell me whether it has scripts or changes machine settings, then tell me the full path you will install to and wait for me to agree.
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) into the project this chat is open in (at .claude/skills/darwin-skill). First show me every file and tell me whether it has scripts or changes machine settings, then tell me the project name and the full path you will install to and wait for me to agree.

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Claude Code를 다시 열고 /darwin-skill를 입력하거나 관련 작업을 요청하면 Claude가 알아서 써요

Checked against official docs 2026년 11월 12일 · Source: code.claude.com

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

제작자가 권하는 방법

Node.js 설치 (아직 없다면)

이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter

node -v
  • 버전 번호(예: v26.13.1)가 나오면 설치된 것입니다. 이 단계는 건너뛰세요
  • "command not found"(Windows는 "is not recognized")가 나오면 아직 설치하지 않았거나, 방금 설치해서 터미널을 닫았다가 다시 열어야 합니다
터미널 여는 법

Mac: ⌘ + Space를 누르고 Terminal 입력 후 Enter

Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"

아직 설치하지 않았다면: 공식 다운로드 페이지에서 LTS 버전과 클릭형 설치 파일을 고르세요: Mac은 .pkg · Windows는 .msi. 더블클릭 후 끝까지 진행하면 됩니다. curl 명령은 필요 없습니다

Node.js 다운로드 페이지 열기 ↗

설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: node -v

한 번 설치하면 Node.js가 필요한 모든 도구에서 쓸 수 있습니다

npx skills add alchaincyf/darwin-skill

제작자 README에서 가져온 명령으로, 제작자 코드를 내려받아 실행해요

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.claude/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    git clone --depth 1 https://github.com/alchaincyf/darwin-skill.git /tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66 && mkdir -p ~/.claude/skills && cp -R '/tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66/.' ~/.claude/skills/darwin-skill
  3. Claude Code를 다시 열고 /darwin-skill를 입력하거나 관련 작업을 요청하면 Claude가 알아서 써요

직접 설치한 Skill은 ChatGPT 데스크톱 앱, Codex CLI, IDE의 Codex 확장 프로그램에서 쓸 수 있습니다 · 웹과 모바일의 ChatGPT에서는 직접 설치한 Skill을 쓸 수 없고 디렉터리의 플러그인에 들어 있는 Skill만 쓸 수 있습니다

ChatGPT 데스크톱 앱

ChatGPT 데스크톱 앱에는 Codex가 들어 있고, Codex는 ~/.agents/skills 폴더에서 Skill을 읽습니다

Option 1ChatGPT에게 설치 맡기기

ChatGPT 데스크톱 앱에서 Codex를 열고 이 문장을 채팅에 붙여 넣으세요

Where to install
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) for all my projects, at ~/.agents/skills/darwin-skill. First show me every file and tell me whether it has scripts or changes machine settings, then tell me the full path you will install to and wait for me to agree.
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) into the project this chat is open in (at .agents/skills/darwin-skill). First show me every file and tell me whether it has scripts or changes machine settings, then tell me the project name and the full path you will install to and wait for me to agree.

The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Option 2폴더를 직접 넣기

darwin-skill 폴더를 ~/.agents/skills/darwin-skill에 넣으세요

~는 홈 폴더($HOME)입니다

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.agents/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    git clone --depth 1 https://github.com/alchaincyf/darwin-skill.git /tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66 && mkdir -p ~/.agents/skills && cp -R '/tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66/.' ~/.agents/skills/darwin-skill

설치한 뒤

  • ChatGPT 데스크톱 앱: 사이드바에서 Skills를 열어 Skill이 보이는지 확인하세요
  • 쓰는 법: ChatGPT에서는 @를 입력하고 Skill을 고르세요 · Codex CLI나 IDE 확장 프로그램에서는 /skills를 실행하거나 $ 뒤에 Skill 이름을 입력하세요
  • Codex는 새로 설치한 Skill을 스스로 찾습니다. 보이지 않으면 Codex를 다시 시작하세요

Checked against official docs 2026년 11월 15일 · Source: learn.chatgpt.com

웹과 모바일의 ChatGPT

직접 설치한 Skill은 쓸 수 없고, 디렉터리의 플러그인에 들어 있는 Skill만 쓸 수 있습니다

이 Skill을 ChatGPT에서 쓰려면 위 방법대로 ChatGPT 데스크톱 앱을 쓰세요

Checked against official docs 2026년 11월 15일 · Source: learn.chatgpt.com

Option 1Codex에게 설치 맡기기

이 문장을 복사해 Codex 채팅에 붙여 넣으세요 · ChatGPT 데스크톱 앱 안의 Codex, Codex CLI, IDE 확장 프로그램에서 모두 쓸 수 있습니다

Where to install
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) for all my projects, at ~/.agents/skills/darwin-skill. First show me every file and tell me whether it has scripts or changes machine settings, then tell me the full path you will install to and wait for me to agree.
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) into the project this chat is open in (at .agents/skills/darwin-skill). First show me every file and tell me whether it has scripts or changes machine settings, then tell me the project name and the full path you will install to and wait for me to agree.

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Codex는 새로 설치한 Skill을 스스로 찾습니다. 보이지 않으면 Codex를 다시 시작하세요 · 쓰는 법: ChatGPT에서는 @를 입력하고 Skill을 고르세요 · Codex CLI나 IDE 확장 프로그램에서는 /skills를 실행하거나 $ 뒤에 Skill 이름을 입력하세요

Checked against official docs 2026년 11월 15일 · Source: learn.chatgpt.com

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.agents/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    git clone --depth 1 https://github.com/alchaincyf/darwin-skill.git /tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66 && mkdir -p ~/.agents/skills && cp -R '/tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66/.' ~/.agents/skills/darwin-skill
  3. Codex를 다시 열고 관련 작업을 요청하면 Codex가 skill을 목록에 보여 줘요

Option 1Cursor에게 설치 맡기기

이 문장을 복사해 Cursor 채팅에 붙여 넣으세요

Where to install
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) for all my projects, at ~/.cursor/skills/darwin-skill. First show me every file and tell me whether it has scripts or changes machine settings, then tell me the full path you will install to and wait for me to agree.
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) into the project this chat is open in (at .cursor/skills/darwin-skill). First show me every file and tell me whether it has scripts or changes machine settings, then tell me the project name and the full path you will install to and wait for me to agree.

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Cursor Agent 채팅에서 /를 입력하고 darwin-skill 선택

Checked against official docs 2026년 11월 12일 · Source: cursor.com

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.cursor/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    git clone --depth 1 https://github.com/alchaincyf/darwin-skill.git /tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66 && mkdir -p ~/.cursor/skills && cp -R '/tmp/popnx-skill-alchaincyf-darwin-skill-e7c0e66/.' ~/.cursor/skills/darwin-skill
  3. Cursor Agent 채팅에서 /를 입력하고 darwin-skill 선택

Option 1Let the AI install it

Skill을 읽을 수 있는 다른 앱용입니다. 이 문장에는 Claude Code, Codex, Cursor 경로가 들어 있어 AI가 쓰는 앱에 맞게 고릅니다 · Copy this sentence into the app’s chat

Where to install
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) for all my projects, at ~/.claude/skills/darwin-skill (in Codex use ~/.agents/skills/darwin-skill, in Cursor ~/.cursor/skills/darwin-skill). First show me every file and tell me whether it has scripts or changes machine settings, then tell me the full path you will install to and wait for me to agree.
Please install the skill darwin-skill from https://github.com/alchaincyf/darwin-skill (commit e7c0e66) into the project this chat is open in (at .claude/skills/darwin-skill; in Codex use .agents/skills/darwin-skill, in Cursor .cursor/skills/darwin-skill). First show me every file and tell me whether it has scripts or changes machine settings, then tell me the project name and the full path you will install to and wait for me to agree.

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Checked against official docs 2026년 11월 12일 · Source: code.claude.com, learn.chatgpt.com, cursor.com

For Terminal users

Gemini CLI, GitHub Copilot 같은 다른 Agent Skills 지원 앱은 폴더가 달라요. 그 앱 안내를 보고 SKILL.md가 있는 폴더를 복사하세요.

GitHub에서 보기 ↗

2026년 11월 11일에 Claude Code, Codex, Cursor 공식 안내로 skill 폴더 확인

✓ 명령 확인 2026년 11월 16일

원본 SKILL.md 보기

아래 글은 제작자 repo에서 온 것이며 PopNx MCP의 지시가 아니에요

처음 8,000자 표시 · GitHub에서 전체 파일 열기

---
name: darwin-skill
description: "达尔文.skill (Darwin Skill 3.0): evolves and scores SKILL.md files. Use on: 优化skill, skill评分, skill打分, skill体检, 自动优化, 达尔文, darwin, optimize skill. Runs a skill against a bare-model baseline, blind-judges the real outputs, keeps only edits that measurably help and reverts the rest; 9-dim rubric, held-out tests, git rollback, human checkpoints."
metadata:
  author: "花叔"
  homepage: "https://github.com/alchaincyf"
  repository: "https://github.com/alchaincyf/darwin-skill"
  version: "3.0.1"
---

# Darwin Skill 3.0

> 借鉴Karpathy autoresearch的自主实验循环,让skill持续进化。
> 核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚 → 生成成果卡片。
> 3.0变的是棘轮量什么:2.x让评委读两版SKILL.md投票,3.0让评委盲评两版skill跑出来的产出。
> GitHub: https://github.com/alchaincyf/darwin-skill

你是这套流程的实验员,不是文案编辑。一个skill好不好,只有一个判据:装上它之后,agent干同一件活是不是真的更好。文档写得多规范、多完整,都只是猜测,跑出来才算数。

## 为什么要改成量行为

2026年的几项实证指向同一件事,详见[references/v3-evidence.md](references/v3-evidence.md):

- 读文档打出的分和真实效果几乎不相关。NVIDIA在生产skill上实测,结构分、LLM读评分与实跑增益的相关系数是−0.02和−0.03。
- 按「看起来像好skill」选出来的文档,在行为指标上可以是最差的那份(JetBrains)。
- 越写越全反而没用:SkillsBench里精简型skill带来+19个百分点,面面俱到型只有+0.7;模型自己生成的skill比不带还差。
- 2.x自己的记录也一样:评委3比0通过的改动,上真机多绕了33次工具调用。

所以3.0的规矩是:读评只用来找毛病,保留还是回滚由实跑决定。

## 证据阶梯

每个结论都标明它到了哪一级,报告里不许把低一级说成高一级。

| 等级 | 做了什么 | 能支持的结论 |
|---|---|---|
| E0 体检 | 脚本读文件,不花token | 格式、路由、体积、引用、安全有没有硬伤 |
| E1 读评 | 独立评委按9维rubric读SKILL.md | 先改谁、可能的毛病在哪 |
| E2 实跑 | 独立agent真的照skill干活,盲评产出 | 这个skill有没有用、这次改动留不留 |
| E3 真机 | 在skill真正要操作的环境里跑一遍 | 可以交付 |

keep或revert至少要E2。操作真实系统的skill(填表、发布、控制设备)没到E3,报告里必须写「未在真实环境验证」。

## 三种用法

| 用户说 | 做什么 | 成本 |
|---|---|---|
| 「给所有skill体检」「看看哪些skill有问题」 | 只跑E0脚本,出排序表 | 约等于零 |
| 「评估这个skill」「给它打分」 | Phase 0到2,不改文件 | 每个skill约2D+2次子agent(D为开发集条数) |
| 「优化这个skill」「让它进化」 | Phase 0到5完整流程 | 评估成本+每轮约D+3次,验收另算 |

用户说「优化所有skill」时:先全量体检,再让用户从错误警告最多的、他最常用的里面挑要进化的。不要对几十个skill挨个实跑。

模型升级或skill长期没动之后,用户说「复测」:用已存的测试集重跑Phase 2,和results.tsv里上次的增益对比。基座模型变强后,skill的增益常常缩水甚至变负,这只有重跑才看得见。

## 评估Rubric(9维度,总分100)

rubric的用途是诊断和排序:总分决定先改谁,各维度得分指出毛病可能在哪。它不决定留不留。

### 结构维度(59分),E1读评

| # | 维度 | 权重 | 评分标准 |
|---|------|------|---------|
| 1 | Frontmatter质量 | 7 | name规范;description写清做什么和何时用、含触发词、≤1024字符、关键信息在前250字符;E0体检的路由类警告直接扣分 |
| 2 | 工作流清晰度 | 12 | 步骤可执行、有序号、每步有输入输出;同一情境不存在两条没分工的路径 |
| 3 | 失败模式编码 | 12 | 脆弱步骤写出「如果X失败→Y」的分支和兜底;只写正向流程扣≥3分 |
| 4 | 检查点设计 | 6 | 不可逆或对外的动作前有显性标记的用户确认(🔴/STOP/CHECKPOINT) |
| 5 | 可执行具体性 | 18 | 有具体参数、格式、示例;「可以考虑、视情况、灵活把握」这类软化措辞≥3处扣≥3分 |
| 6 | 资源整合度 | 4 | references、scripts、assets引用正确可达;E0体检的引用类警告直接扣分 |

### 效果维度(35分)

| # | 维度 | 权重 | 评分标准 |
|---|------|------|---------|
| 7 | 整体架构 | 12 | 层次清晰、不冗余;每段都是裸模型不知道的东西;正文≤500行,细节下沉references且只下沉一层 |
| 8 | 实测表现 | 23 | 由E2实跑结果按下面的规则换算,不由评委凭感觉给 |

### Meta-skill维度(6分)

| # | 维度 | 权重 | 评分标准 |
|---|------|------|---------|
| 9 | 反例与黑名单 | 6 | 真实踩过的坑和高风险动作有明文禁令 |

### 评分规则

- 维度1到7、9各打1到10分;总分 = Σ(维度分 × 权重) / 10。
- 必要性原则:维度3、4、9只在任务确实脆弱的地方要求。一个纯写作类skill没有不可逆动作,不因为缺检查点扣分;为凑分硬加的章节在维度7按冗余扣分。
- 增益的叫法以tally输出为准:胜多于负是「多数胜」,负多于胜是「多数负」,有胜有负且相等是「胜负相当」,全平是「多数平」。
- 维度8换算:有检查项时,分数 = 带skill的检查项通过数 ÷ 开发集检查项总数 × 10,四舍五入(通过数取tally的「检查项通过合计」里b那个数);再按增益封顶——多数负最高3分,多数平或胜负相当最高6分。没有检查项的主观类skill按增益给:全胜10,多数胜8,多数平或胜负相当5,多数负2。
- 没跑E2就没有维度8的分数,总分标注「缺实测,不可比」,不许用推演代替。
- 绝对总分跨评委有±8的噪音,只用于粗排,不用于判断一次改动的好坏。

## 进化流程

下文的`darwin.py`指`python3 <本SKILL.md所在目录>/scripts/darwin.py`,`W`指Phase 0建的工作目录。执行者、评委、触发测试的prompt和投票格式都在[references/eval-protocol.md](references/eval-protocol.md),派子agent前先读它,prompt照抄。

### Phase 0:准备

1. 确认范围和用法(体检、评估、进化、复测)。
2. 跑体检:`darwin.py check <skill目录或装着多个skill的上级目录>`。
3. 进化模式下:目标skill在git仓库里就建分支`auto-optimize/YYYYMMDD-HHMM`;不在仓库里,把整个skill目录复制一份带时间戳的备份。
4. 建工作目录W,放快照、产出、盲评材料。用runtime提供的临时目录或系统临时目录,不要建在任何skills目录下面:里面会有SKILL.md副本,有的runtime会把它扫成新skill。
5. 把目标skill整个目录复制到`W/s0/`作为原始版快照。复制时去掉`test-prompts.json`和`trigger-tests.json`:执行者能读到skill目录,测试的检查项不能让它看见。
6. 读本目录的results.tsv,看这个skill以前试过什么、哪些假设被回滚过,不重复失败过的改法。
7. 和用户确认不动区:身份层(角色定位、交付标准那几段)默认不动;用户定过的口味和措辞不动。评委建议删这些内容时,记录理由但不执行。

### Phase 1:测试集

测试集决定进化方向,是整个流程里最值得花时间的一步。存在目标skill目录的`test-prompts.json`,已有就复用并展示。

```json
[
  {"id": "dev-1", "split": "dev", "source": "real",
   "prompt": "用户会说的原话",
   "files": ["可选:测试要用到的输入文件"],
   "checks": ["产出里可以客观核对的事实,如:生成了output.csv且含date列"]}
]
```

- 至少4条:2条dev(开发集,用来找毛病)、2条holdout(留出集,只在Phase 4验收时跑一次)。
- 来源优先级:用户真实用过的请求或踩过的坑(real)>用户口述的典型场景(user)>读SKILL.md反推(doc)。全是doc来源时在报告里标明:用文档出题考文档,测不出文档没写到的缺口。
- 任务要让裸模型有可能做不好。裸模型一次就能做对的题,测不出skill的价值。
- checks写结果不写过程:「输出文件有N行」可以核对,「遵循了工作流」不行。主观类skill可以不写checks,全靠盲评。
- 操作真实系统的skill,至少一条测试带真实输入数据。问答式的「第三步该填什么」不算测试。

🔴 CHECKPOINT · 🛑 STOP:把测试集给用户看,确认后再往下走。

### Phase 2:基线实跑

1. 测试带输入文件时,先给每个执行者各复制一份到`W/in/<组>/<测试id>/`,不让两组共用同一份:一组原地改了文件,另一组读到的就不是原样。
   每条dev测试派两个互不相干的独立子agent:一个带skill(先完整读`W/s0/`里的SKILL.md再干活),一个裸跑(不给skill)。产出分别写进`W/runs/s0/<测试id>/`和`W/runs/x/<测试id>/`。不告诉执行者这是测试,不让它看到另一组的目录。
2. 生成盲评材料,派1位评委:
   ```bash
   darwin.py pair --a W/runs/x --b W/runs/s0 --out W/blind/lift --key W/keys/lift.json --judges 1 --redact W
   ```
   pair会随机A/B顺序,去掉执行记录,抹掉产出里带W的路径。评委只拿到`W/blind/lift/j1`这一个目录,把投票写成`W/votes/lift/j1.json`。
3. 计票:`darwin.py tally --key W/keys/lift.json --votes W/votes/lift`,得到带skill对裸跑的胜平负,这就是增益。
4. 另派一个独立评委做E1读评:按9维rubric给维度1到7、9打分;再读带skill那组的执行记录,找出agent在哪一步走错、哪句没照做、哪里绕了路。行为证据排在rubric印象前面。
5. 算总分,写results.tsv,展示评分卡:

```
┌─────────────────┬──────┬──────────────┬────────────┬──────────────────┐
│ Skill           │ 总分 │ 对裸跑增益   │ 检查项通过 │ 最大加权短板     │
├─────────────────┼──────┼──────────────┼────────────┼──────────────────┤
│ some-skill      │ 71   │ 1胜1平0负    │ 5/8        │ dim8 实测(9.2) │
└─────────────────┴──────┴──────────────┴────────────┴──────────────────┘
```

按增益分流:

| 增益 | 含义 | 下一步 |
|---|---|---|
| 多数负 | skill在帮倒忙 | 先做删减类改动;仍为负就建议停用 |
| 多数平 | 裸模型已经会了 | 告诉用户这些测试上看不出价值,由他决定:收窄到裸模型做不到的部分、瘦身,或到此为止 |
| 胜负相当 | 有的任务帮忙,有的任务添乱 | 读负的那几条的执行记录,先修添乱的部分 |
| 多数胜 | skill有用 | 从没通过的检查项和执行记录里找改进点 |

🔴 CHECKPOINT · 🛑 STOP:展示评分卡和分流建议,等用户确认。评估模式到此结束,直接出Phase 5的报告。

### Phase 3:进化循环

每个skill最多3轮,每轮只验证一个假设。

```
round = 0
while round < 3:
  round += 1

  # Step 1 诊断
  找加权短板最大的维度:weighted_gap = 权重 × (10 − 分数) / 10
  dim2、dim3、dim4是相关簇,一起看
  假设必须引用证据:「dev-2里agent没做X,因为SKILL.md第N行Y」
  没有执行证据支撑的假设不做

  # Step 2 选改法,按这个顺序考虑
  删:裸模型本来就会的解释、没人走到的分支、重复的话
  改:有歧义的指令、同一情境的两条路、放错位置的关键信息
  移:只在特定分支用到的细节,下沉到references/
  加:agent推断不出来的知识。只在有失败的检查项或执行记录指向它时才加
  只改description的假设不走下面的Step 4和Step 5:执行者是直接读SKILL.md的,产出看不出路由的好坏。
  它走触发测试裁决(eval-protocol.md「触发测试」):验证那一半请求上命中率升或误触率降、另一项不退 → keep,否则revert

  # Step 3 执行
  对照下面的反例黑名单
  编辑SKILL.md;新版体积超过旧版110%时,必须能指出它修掉了哪条失败的检查项
  git commit(message: "optimize {skill}: {假设摘要}")

  # Step 4 新版实跑
  把新版skill目录复制到 W/s{round}/(同样去掉测试文件),每条dev测试派一个独立子agent带它跑,产出写进 W/runs/s{round}/
  旧版产出不用重跑,复用上一个保留版本的目录

  # Step 5 盲评与裁决
  darwin.py pair --a W/runs/<上一保留版> --b W/runs/s{round} --out W/blind/r{round} --key W/keys/r{round}.json --judges 3 --redact W
  三位评委各读各的目录(j1、j2、j3),投票写进 W/votes/r{round}/
  其中一位额外拿到skill目录的路径,专门核对新写的命令、参数、文件是不是真的存在、真的能跑
  darwin.py tally --key W/keys/r{round}.json --votes W/votes/r{round} --old-skill <上一保留版SKILL.md> --new-skill <当前SKILL.md>

  裁决以tally输出为准:
    严格更好(胜>负,检查项没有倒退)→ keep
    打平且新版更短 → keep
    打平但没变短 → revert(没有证据的改动不保留)
    更差或检查项倒退 → revert
  tally提醒「只差一条且评委有分歧」→ 那几条两版各重跑一次,产出写进新目录(如 W/runs/s0-re、W/runs/s{round}-re),
    对这几条重新pair和评审(--tests 指定),用重跑的结果替换这几条原来的胜负,再按上面四条裁决
  tally报出事实性指控 → 先去验证;成立就以事实为准,不看票数

  revert用 git revert HEAD 生成反向提交,保留历史
  每轮结果写results.tsv,被回滚的假设也要记,供以后避开
  连续2轮revert,或连续2轮tally都报「多数只是略好」→ 停手,进Phase 4
  体积比的是SKILL.md本身(每次必读的部分),下沉到references的内容不计入
```

涨不动时(连续两个skill都在第1轮被回滚),可以提议一次探索性重写:从头重组结构,同样走Step 4和Step 5的实跑裁决。🔴 CHECKPOINT · 🛑 STOP:重写前必须征得用户同意。

### Phase 4:验收

所有轮次都被回滚、最终版等于原始版时,跳过第1步和第2步。

1. 留出集:用原始版(`W/s0/`)和最终版各跑一遍holdout测试,产出写进`W/runs/s0-holdout/`和`W/runs/sN-holdout/`;`darwin.py pair --a W/runs/s0-holdout --b W/runs/sN-holdout --out W/blind/holdout --key W/keys/holdout.json --judges 3 --redact W`,三位评委投票后`darwin.py tally --key W/keys/holdout.json --votes W/votes/holdout`(不传skill路径,只看胜平负)。结果是「多数负」,或tally报出检查项通过合计b小于a,说明改动只是迎合了开发集:把每轮的diff摆给用户,建议回滚到原始版。其余情况算通过。
2. 终版分数:派一位独立评委对最终版重做E1读

토론

질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.

아직 글이 없어요. 처음으로 질문하거나 공유해 보세요.

이곳의 글은 사용자가 쓴 것으로, PopNx 팀의 글이 아니에요.

로그인하고 글쓰기

GitHub 정보

GitHub 스타
6,929
제작자
alchaincyf
라이선스
MIT
최근 코드 수정
2026년 11월 15일
repo 안 SKILL.md(번역본과 템플릿 포함)
1
토픽
agent-skills, ai-agents, autoresearch, claude-code, claude-code-skills, claude-skills, codex, evaluation, huashu-skills, llm, openclaw, prompt-optimization