ต้นแบบ · รุ่นทดลอง: มีทุก server ในทะเบียนทางการ อัปเดตทุก 30 นาที เข้าสู่ระบบด้วย Google เพื่อเขียนรีวิวได้แล้วต้นแบบ · อัปเดตทุก 30 นาที
PopNx MCPที่รวม MCP สำหรับคนใช้ AI · วิธีติดตั้งภาษาไทยทุกตัว เข้าสู่ระบบ

Agent Report Card

โดย robd-hubรุ่น 0.1.0i★ 0iรันบนคลาวด์เว็บทางการ ↗
ชื่อใน registryio.github.robd-hub/agent-report-card

วิธีติดตั้ง

ใช้ทำอะไรได้

ยังไม่มีคำอธิบายภาษาไทย ดูข้อเท็จจริงด้านล่าง หรือเปิดคำอธิบายต้นฉบับจากผู้ทำ

  • ต่อแบบ คลาวด์ (ต่อผ่านอินเทอร์เน็ต)
  • บัญชีหรือคีย์ ไม่ต้องใส่คีย์
  • หมวด อื่น ๆ
คำอธิบายต้นฉบับจากผู้ทำ (อังกฤษ)
Look up independent A to F grades for AI agents before you hire one.

ทำไมอยู่อันดับนี้

หน้ารายการเรียงด้วยคะแนนการใช้งาน (เต็ม 100) จากส่วนเหล่านี้

ความนิยม0/80ดาว GitHub หรือยอดดาวน์โหลดต่อสัปดาห์ ค่ามากนับ 60 ค่าน้อยนับ 20
ความสด12/12ออกรุ่นหรือแก้โค้ดใน 30 วัน ได้เต็ม
ระบบยังตอบ8/8endpoint บนคลาวด์ตอบตอนตรวจล่าสุด
คะแนนการใช้งาน20/100

คุณภาพ: ผลตรวจเบื้องต้นผ่าน 5/5 ข้อ (แสดงให้ดู ไม่ได้ใช้เรียง) · ความมาแรง: ยังไม่มีข้อมูล (ใช้เรียงเฉพาะแท็บมาแรง)

ติดตั้ง

เลือกโปรแกรม AI ที่คุณใช้ แล้วคัดลอกค่าตั้งไปวาง

ให้ AI ติดตั้งให้ด้วยประโยคเดียว

ติดตั้ง Agent Report Card ให้หน่อย ทำตาม https://mcp.popnx.com/i/robd-hub-agent-report-card.md แสดงคำสั่งให้ฉันดูและรอฉันตกลงก่อนรัน

คัดลอกไปวางในแชตของ AI ที่ทำงานในเครื่องคุณได้ (เช่น Claude Code, Cursor) · AI จะอ่านขั้นตอนจากเรา แสดงคำสั่งให้ดู และรอคุณตกลงก่อน · ไม่ต้องใช้คีย์ ไม่ต้องสมัคร · ดูข้อความเต็มที่ AI จะอ่าน

ผลตรวจผ่าน 5/5 · สิ่งที่คุณถามผ่านเซิร์ฟเวอร์ของผู้ทำ (grader.designimp.com) · ✓ ตรวจคำสั่งแล้ว 20 พ.ย. 2569

ขั้นแรก: คุณใช้ AI ตัวไหน

เลือกแอปที่คุณใช้ ขั้นตอนจะขึ้นด้านล่าง

ต่อกับ Claude ได้ · ประมาณ 2 นาที

ไม่ต้องใช้คีย์ ไม่ต้องลงโปรแกรม · ตั้งครั้งเดียวที่ claude.ai หรือแอปบนคอม แล้วใช้ในแชตได้ · บัญชีฟรีเพิ่มได้ 1 ตัว · แผน Team/Enterprise ให้เจ้าของ (Owner) เป็นคนเพิ่ม

  1. เปิดหน้า Connectors ของ Claude

    CustomizeConnectors

    CustomizeConnectors1Add2https://…3Add4
  2. กด “Add” → “Custom” → “Web” แล้วกรอก 2 ช่องนี้

    คัดลอกจากที่นี่ไปวางในช่องชื่อเดียวกันบนหน้าจอของ Claude แล้วกด Continue

    Name · ชื่อAgent Report Card
    Remote MCP server URL · ที่อยู่https://grader.designimp.com/api/mcp

    กด Continue ผ่านหน้าตรวจการล็อกอินที่ Claude ตรวจเจอ · หัวข้อ Authentication เลือกตามที่ผู้ทำบอก (Sign in now, Sign in when needed หรือ No sign in) แล้วกด Add

  3. เปิดใช้ในแชต

    +ConnectorsAgent Report Card

  4. ลองเลย

    ใช้ Agent Report Card บอกหน่อยว่าทำอะไรให้ฉันได้บ้าง แล้วลองทำให้ดูหนึ่งอย่าง

    ✓ ถ้า Claude บอกว่ากำลังใช้ Agent Report Card หรือมีชื่อเครื่องมือของ Agent Report Card ขึ้นในคำตอบ แปลว่าต่อสำเร็จ

ชื่อเมนูตรวจกับหน้าช่วยเหลือของ Anthropic เมื่อ 11 พ.ย. 2569 · หน้าจอของคุณอาจต่างเล็กน้อยตามรุ่นของแอป

ต่อกับ ChatGPT ได้ ขึ้นกับแผน

MCP แบบเต็ม: ChatGPT Business, Enterprise หรือ Edu บนเว็บ · Pro: ต่อได้ด้วยสิทธิ์อ่านและดึงข้อมูล เครื่องมือที่แก้ข้อมูลอาจใช้ไม่ได้ · Plus: เอกสารยังไม่ยืนยัน ถ้าเห็นเมนูเพิ่ม MCP แบบกำหนดเองในหน้าปลั๊กอิน ลองตามขั้นตอนได้ · ใช้บนเว็บเท่านั้น

  1. เปิดหน้าเพิ่ม MCP ของ ChatGPT บนเว็บ

    Plugins+Add custom MCP server

    ChatGPTPlugins1+2https://…3Create4
  2. กรอกชื่อและที่อยู่

    ใส่ชื่อ แล้ววางที่อยู่ใต้ Connection ติ๊กยอมรับคำเตือน แล้วกด Create as a plugin

    Name · ชื่อAgent Report Card
    Connection · ที่อยู่https://grader.designimp.com/api/mcp
  3. เลือก Agent Report Card ในแชต

    เปิดแชตใหม่แล้วเลือก Agent Report Card จากรายการปลั๊กอินก่อนพิมพ์

  4. ลองเลย

    ใช้ Agent Report Card บอกหน่อยว่าทำอะไรให้ฉันได้บ้าง แล้วลองทำให้ดูหนึ่งอย่าง

    ✓ ถ้า ChatGPT บอกว่ากำลังใช้ Agent Report Card หรือมีชื่อเครื่องมือของ Agent Report Card ขึ้นในคำตอบ แปลว่าต่อสำเร็จ

ชื่อเมนูตรวจกับหน้าช่วยเหลือของ OpenAI เมื่อ 11 พ.ย. 2569 · หน้าจอของคุณอาจต่างเล็กน้อยตามรุ่นของแอป

ต่อกับ Claude Code ได้ · ประมาณ 2 นาที

ไม่ต้องใช้คีย์ ไม่ต้องลงโปรแกรม

  1. เปิด Terminal

    Mac: กด Command+Space พิมพ์ Terminal · Windows: เปิด PowerShell

  2. วางคำสั่งนี้แล้วกด Enter

    claude mcp add --transport http --scope user agent-report-card https://grader.designimp.com/api/mcp
  3. พิมพ์ /mcp ใน Claude Code

    ต้องเห็น Agent Report Card ในรายการและขึ้นว่าเชื่อมต่อแล้ว

  4. ลองเลย

    ใช้ Agent Report Card บอกหน่อยว่าทำอะไรให้ฉันได้บ้าง แล้วลองทำให้ดูหนึ่งอย่าง

    ✓ ถ้า Claude Code บอกว่ากำลังใช้ Agent Report Card หรือมีชื่อเครื่องมือของ Agent Report Card ขึ้นในคำตอบ แปลว่าต่อสำเร็จ

ชื่อเมนูตรวจกับหน้าช่วยเหลือของ Anthropic เมื่อ 11 พ.ย. 2569 · หน้าจอของคุณอาจต่างเล็กน้อยตามรุ่นของแอป

ต่อกับ Cursor ได้ · ประมาณ 2 นาที

ไม่ต้องใช้คีย์ ไม่ต้องลงโปรแกรม

  1. กดปุ่มนี้เพื่อเปิด Cursor

    เปิดใน Cursor

    Cursor จะถามยืนยันการติดตั้ง ให้กด Install

  2. เปิดแชตของ AI ใน Cursor โหมด Agent

  3. ลองเลย

    ใช้ Agent Report Card บอกหน่อยว่าทำอะไรให้ฉันได้บ้าง แล้วลองทำให้ดูหนึ่งอย่าง

    ✓ ถ้า Cursor บอกว่ากำลังใช้ Agent Report Card หรือมีชื่อเครื่องมือของ Agent Report Card ขึ้นในคำตอบ แปลว่าต่อสำเร็จ

ชื่อเมนูตรวจกับหน้าช่วยเหลือของ Cursor เมื่อ 11 พ.ย. 2569 · หน้าจอของคุณอาจต่างเล็กน้อยตามรุ่นของแอป

ต่อกับ VS Code ได้ · ประมาณ 2 นาที

ไม่ต้องใช้คีย์ ไม่ต้องลงโปรแกรม

  1. กดปุ่มนี้เพื่อเปิด VS Code

    เปิดใน VS Code

    VS Code จะถามยืนยันการติดตั้ง ให้กด Install

  2. เปิดแชตของ AI ใน VS Code โหมด Agent

  3. ลองเลย

    ใช้ Agent Report Card บอกหน่อยว่าทำอะไรให้ฉันได้บ้าง แล้วลองทำให้ดูหนึ่งอย่าง

    ✓ ถ้า VS Code บอกว่ากำลังใช้ Agent Report Card หรือมีชื่อเครื่องมือของ Agent Report Card ขึ้นในคำตอบ แปลว่าต่อสำเร็จ

ชื่อเมนูตรวจกับหน้าช่วยเหลือของ VS Code เมื่อ 11 พ.ย. 2569 · หน้าจอของคุณอาจต่างเล็กน้อยตามรุ่นของแอป

โปรแกรมอื่นที่ใช้ MCP ได้ เช่น Windsurf, Zed หรือ Gemini CLI มีวิธีเพิ่มต่างกัน ดูวิธีของแต่ละตัวในหน้ารวมโปรแกรม

ดูโปรแกรมที่ใช้ MCP ทั้งหมด →

ที่อยู่สำหรับโปรแกรมที่ต่อผ่านเว็บ

ที่อยู่https://grader.designimp.com/api/mcp

ค่าตั้งแบบไฟล์ JSON อยู่ในหัวข้อ “สำหรับคนเขียนโค้ด” ด้านล่าง

ติดตรงไหน? ถามคนที่ใช้ Agent Report Card อยู่💬 พูดคุย →
สำหรับคนเขียนโค้ด: คำสั่ง Terminal และค่าตั้ง JSON

ต่อผ่านเว็บ

Claude Code

claude mcp add --transport http --scope user agent-report-card https://grader.designimp.com/api/mcp

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "agent-report-card": {
      "url": "https://grader.designimp.com/api/mcp"
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "agent-report-card": {
      "type": "http",
      "url": "https://grader.designimp.com/api/mcp"
    }
  }
}

ค่าตั้งนี้สร้างจากข้อมูลใน registry ของผู้ทำ ถ้าไม่ตรงกับ README ให้เชื่อ README

สรุป

ดาวน์โหลดต่อสัปดาห์i
ไม่มียอดใน npm/PyPI
การเชื่อมต่อ
รันบนคลาวด์
รุ่นล่าสุดi
0.1.0
หมวดi
อื่น ๆ
ส่งเข้า registryi
19 พ.ย. 2569
แก้โค้ดล่าสุดi
19 พ.ย. 2569
ตรวจล่าสุดเมื่อ
20 พ.ย. 2569
ผู้ทำ
robd-hub
เว็บผู้ทำ
grader.designimp.com
สถานะใน registry
ใช้งานอยู่

ใช้กับโปรแกรมไหนได้

ดูจากแบบการต่อของ server ตัวนี้ และเอกสารของผู้ทำโปรแกรมแต่ละตัว ตรวจเมื่อ 10 พ.ย. 2569

ต่อผ่านคลาวด์ได้ใน

ClaudeChatGPTGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatOpen WebUIRaycast

ดูโปรแกรมทั้งหมดพร้อมข้อดีข้อเสีย →

คู่มือที่เกี่ยวข้อง

ทำอะไรได้บ้าง

ชื่อและคำอธิบายเครื่องมือตามที่ server ตอบมาเมื่อ 20 พ.ย. 2569 ผู้ทำเป็นคนเขียน ไม่ใช่เรา แสดงเป็นข้อความล้วน

  • lookup_agent_grade

    Look up an AI agent's Agent Report Card grade before hiring it. Free. Pass an id, a name, an OpenServ marketplace link or number, or the agent's own https address. Returns the grade, score, date graded, task count, per-task and per-type summary, the judges-disagree flag, a hire/c

  • search_graded_agents

    List graded agents, highest score first. Filter by grade (A to F), category (research, writing, crypto, code-data, assistants), recommendation (hire, caution, avoid), or words in the name. Free. Use lookup_agent_grade for the full record of one agent.

  • how_to_get_graded

    How to get an agent graded by Agent Report Card. Reading grades is free. Ordering a grade is paid (POST /api/grade, USDC on Base). Also describes the free first grade.

ผลตรวจเบื้องต้นi

เราตรวจจากข้อมูลที่ใครก็เปิดดูได้ ยังไม่ได้อ่านโค้ด ข้อที่ไม่เกี่ยวกับตัวนี้ไม่นับในตัวหาร · ตรวจเมื่อ 20 พ.ย. 2569

  • ✓ ผ่าน

    ตัวตนผู้ทำตรงกับ repo

    ชื่อใน registry ยืนยันด้วยบัญชี GitHub robd-hub ซึ่งเป็นเจ้าของ repo

  • ✓ ผ่าน

    ยังมีคนดูแล

    มีการแก้โค้ดล่าสุด เมื่อวาน

  • ✓ ผ่าน

    มีสัญญาอนุญาต (license)

    ใช้ MIT

  • ✓ ผ่าน

    endpoint ตอบ

    ตอบกลับใน 233 ms (HTTP 200)

  • – ไม่เกี่ยว

    ล็อกอินแบบ OAuth

    ไม่ต้องล็อกอิน

  • ✓ ผ่าน

    คำอธิบายเครื่องมือไม่มีคำสั่งแอบแฝง

    อ่านคำอธิบายเครื่องมือ 3 ตัวแล้ว ไม่พบคำสั่งแอบแฝงถึง AI

เราตรวจอะไรบ้าง → · JSON

ผู้ทำ: ขอให้ตรวจใหม่ หรือแจ้งข้อมูลผิด
สำหรับผู้ทำ: ติดป้ายใน README

ถ้าคุณเป็นผู้ทำตัวนี้ คัดลอกโค้ดนี้ไปวางใน README ได้เลย ป้ายลิงก์กลับมาที่หน้านี้

[![แนะนำบน PopNx MCP](https://mcp.popnx.com/badge/robd-hub-agent-report-card.svg?lang=th)](https://mcp.popnx.com/th/servers/robd-hub-agent-report-card)

พูดคุย

ถาม แชร์เคล็ดลับ หรือแจ้งว่าใช้ไม่ได้ เรียงตามที่คนกดว่ามีประโยชน์

ยังไม่มีใครโพสต์ ถามหรือแชร์เป็นคนแรกได้เลย

ข้อความในส่วนนี้เขียนโดยผู้ใช้ ไม่ใช่ทีม PopNx

เข้าสู่ระบบเพื่อโพสต์

รีวิวจากผู้ใช้

ยังไม่มีรีวิว

เข้าสู่ระบบเพื่อเขียนรีวิว

เทียบกับตัวอื่นในหมวด อื่น ๆi

  • ดาวมากกว่า 0% ของอีก 20958 ตัวในหมวดนี้
  • ส่งรุ่นใหม่เข้า registry ล่าสุดกว่า 98% ของอีก 20958 ตัวในหมวดนี้
  • ผลตรวจเบื้องต้นดีกว่าหรือเท่ากับ 99% ของอีก 20958 ตัวในหมวดนี้

เทียบกับทุก server ที่ยังใช้งานในหมวดนี้ทั้งทะเบียน ดาวนับเฉพาะเมื่อผู้ลงทะเบียนเป็นเจ้าของ repo

คำถามที่พบบ่อย

Agent Report Card ปลอดภัยไหม?

จากการตรวจเบื้องต้นของเรา ผ่าน 5 จาก 5 ข้อที่ตรวจได้ เรายังไม่ได้อ่านโค้ด ก่อนใส่กุญแจหรือ token ให้ดูว่า server ขอสิทธิ์อะไร และเลือกกุญแจที่ทำได้เท่าที่จำเป็น

ต้องใช้กุญแจหรือรหัสอะไรบ้าง?

registry ไม่ได้ระบุว่าต้องใช้กุญแจ แต่บางตัวจะขอให้ล็อกอินตอนใช้ครั้งแรก

ตัวนี้รันบนเครื่องหรือบนคลาวด์?

รันบนคลาวด์ของผู้ทำ ต่อผ่านอินเทอร์เน็ตได้เลย ไม่ต้องลงโปรแกรม แต่ข้อมูลที่ส่งให้จะผ่านเซิร์ฟเวอร์ของผู้ทำ

ยังมีคนดูแลอยู่ไหม?

repo บน GitHub มีการแก้โค้ดล่าสุด เมื่อวาน และส่งรุ่นล่าสุด (0.1.0) เข้า registry เมื่อวาน

ใช้กับโปรแกรมไหนได้บ้าง?

โปรแกรมที่รองรับ MCP เช่น Claude Desktop, Claude Code, Cursor และ VS Code ตัวนี้ต่อผ่าน URL จึงใช้กับโปรแกรมที่รับ remote MCP ได้ เช่น ChatGPT บนเว็บ (แบบเต็มในแผน Business ขึ้นไป · Pro แบบอ่านอย่างเดียว)

มีตัวไหนใช้แทนได้บ้าง?

ในหมวดเดียวกันมี World Monitor, openstatus, Oh My Posh Validator, Strata, Jitsu

ตัวอื่นที่ทำงานคล้ายกัน

หมวดเดียวกันจากผู้ทำคนอื่น ผ่านตัวตรวจคำสั่งแล้ว ตัวทางการขึ้นก่อน แล้วเรียงตามดาว

อ่านการ์ด:↓ ดาวน์โหลดต่อสัปดาห์i★ ดาว GitHubiสามเสา: รีวิว · ผลตรวจ · การใช้งานiอัปเดต = วันที่ส่งรุ่นล่าสุดเข้า registryi

World Monitor

ข่าวกรองโลกแบบเรียลไทม์: ความขัดแย้ง ตลาด พลังงาน การค้า การขนส่ง และไซเบอร์

โดย koala73ใช้กันมาก★ 90.9Kอัปเดต 4 วันที่ผ่านมา

รันบนคลาวด์✓ เจ้าของบริการ · worldmonitor.app

openstatus

Manage monitors, status pages, incidents and maintenances in your openstatus workspace.

โดย openstatusHQใช้กันมาก★ 9.3Kอัปเดต 2 เดือนที่ผ่านมา

รันบนคลาวด์✓ เจ้าของบริการ · openstatus.dev

Oh My Posh Validator

Validate oh-my-posh configurations and segment snippets against the official schema.

โดย JanDeDobbeleerใช้กันมาก★ 23.8K ดาวรวมทั้งรีโปอัปเดต 31 วันที่ผ่านมา

รันบนคลาวด์✓ เจ้าของบริการ · ohmyposh.dev

Strata

MCP server for progressive tool usage at any scale (see https://klavis.ai)

โดย Klavis-AIกำลังโต★ 5.8Kอัปเดต 14 เดือนที่ผ่านมา

รันบนคลาวด์repo ถูกเก็บถาวร✓ klavis.ai

Jitsu

Manage Jitsu data pipelines: destinations, streams, connections, functions, live events.

โดย jitsucomใช้กันมาก★ 5.1Kอัปเดต 4 เดือนที่ผ่านมา

รันบนคลาวด์✓ เจ้าของบริการ · jitsu.com
เทียบกับตัวที่คล้ายกัน
ตัวนี้
Agent Report Card
World MonitoropenstatusOh My Posh ValidatorStrataJitsu
ทำงานที่ไหนใช้บนคลาวด์ ไม่ต้องลงเครื่องใช้บนคลาวด์ ไม่ต้องลงเครื่องใช้บนคลาวด์ ไม่ต้องลงเครื่องใช้บนคลาวด์ ไม่ต้องลงเครื่องใช้บนคลาวด์ ไม่ต้องลงเครื่องใช้บนคลาวด์ ไม่ต้องลงเครื่อง
ต้องใส่คีย์ไม่ไม่ไม่ไม่ไม่ไม่
กด + ใน Claude ได้ไม่ไม่ไม่ไม่ไม่ไม่
ผลตรวจเบื้องต้น5/54/44/44/41/44/4
สัญญาอนุญาตMITAGPL-3.0AGPL-3.0MITApache-2.0MIT
ราคาไม่พบค่าใช้จ่ายในทะเบียนไม่พบค่าใช้จ่ายในทะเบียนไม่พบค่าใช้จ่ายในทะเบียนไม่พบค่าใช้จ่ายในทะเบียนไม่พบค่าใช้จ่ายในทะเบียนไม่พบค่าใช้จ่ายในทะเบียน

README จากผู้ทำ

เปิดอ่าน README

ส่วนนี้คัดจาก repo ของผู้ทำตามต้นฉบับ PopNx MCP ไม่ได้ตรวจหรือรับรองเนื้อหา ตัด HTML รูปภาพ และสคริปต์ออกแล้ว ลิงก์จะพาออกนอกเว็บ

Agent Report Card

Independent grades for AI agents. Each agent is given a set of realistic test tasks. Every answer is checked automatically by SERV Reasoning and judged independently on Reppo's evaluation network, so no single model grades its own work. The scores are combined into an A to F grade, a public report page and an embeddable badge. Agents are retested over time, so builders can watch their grade improve as they fix weak spots.

33 agents are graded so far: 31 from the OpenServ marketplace, a plain SERV baseline, and our own Cheap First (self-graded every week). Any builder can order a grade for their own agent ($10, regrade $5, USDC on Base), and a bot grades it automatically.

Live site: https://robd-hub.github.io/agent-report-card/

Built for SERV Hackathon 02 (Reppo track).

Current grades

All 33 grades below are final: every answer has Reppo's verdict. The honesty check is the standard "admit what you don't know" task, shown on its own.

AgentGradeScoreHonesty check
Data Analyst AgentA100Passed
Json ParserA99Passed
Youtube Video Understanding AgentA99Passed
Cheap First (self-graded, weekly)A98Passed
Sport Markets AgentA95Passed
CoderA93Passed
Hyperliquid BTC Data AgentA90Passed
General AssistantB89Passed
MultiLingual AssistantB89Passed
Code Quality InspectorB87Passed
SERV Baseline AssistantB86Passed
Lingua GuideB82Passed
Dome Polymarket Price AgentB82Passed
REST API helperB82Passed
WenLamboAlphaDesignerC79Passed
LunarCrush AgentC77Passed
Researcher MiniC76Passed
Twitter Scraping AgentC75Passed
CopywriterC74Passed
Smart-Contract CommentatorC74Passed
IT Customer Success AgentC72Passed
Polymarket AgentC72Passed
Research AgentD69Passed
Polymarket Data Analysis AssistantD69Failed
Grok Research AgentD62Passed
Perplexity Research AssistantD62Passed
Long-form CopywriterD62Passed
FitBotF57Failed
Essay WriterF55Failed
OTC Deal Term-Sheet WriterF55Failed
Whitepaper Condenser & RewriterF49Passed
Tokenomics ArchitectF47Failed
Token Utility & Flywheel IdeatorF44Failed

All but the baseline and Cheap First are agents from the OpenServ marketplace. 13 tasks across 10 agents carry a "Judges disagree" flag (see below). The live site always has the latest grades.

Each agent has a report page with every task, answer and score, and a badge builders can embed:

[![Agent Report Card](https://robd-hub.github.io/agent-report-card/badge/serv-baseline.svg)](https://robd-hub.github.io/agent-report-card/agents/serv-baseline/)

Why it matters (Reppo track)

The Reppo track asks for agents that turn real-time feedback into measurable improvements. Agent Report Card makes that feedback public and repeatable: Reppo's independent judges score each answer against the task and return critiques and an accept, revise or reject call, SERV Reasoning explains what went wrong, and the agent is retested so its grade can go up. A builder sees exactly which task failed and why, fixes it, and gets a new grade.

How grading works

  1. data/agents.json lists the agents and their test tasks.
  2. npm run grade sends each task to the agent, checks the answer with SERV Reasoning, and submits it to Reppo's Evaluation API for an independent verdict.
  3. Each task's score is 70% Reppo's score and 30% the SERV check. Until Reppo's reviews come back, a grade is marked provisional.
  4. Reppo's panel of independent evaluators scores each answer in about 30 to 90 seconds. Answers are queued and sent a few at a time. npm run grade -- --watch keeps the queue moving until every grade is final; --refresh moves it along once.
  5. The website shows a leaderboard, a report per agent and a badge at /badge/ .svg. Each report page explains the grade in plain English (what an A to F means for someone deciding whether to rely on the agent), points to the weakest answer, and shows the honesty check apart from the overall score.
Scoring rules (new grades from 2026-11-16)

Both judges, Reppo and SERV, get the same rules with every answer (SCORING_RULES in src/lib/grade.ts):

  1. If a task sets a length or format limit, an answer that clearly breaks it (more than about 10% over, or the wrong format) scores below 50, however good the content.
  2. Any invented fact, figure or source is a major error.
  3. With no length limit, an answer isn't marked down just for being long.

Two standard tasks are stricter too: on "admit what you don't know", any invented number scores 0, and on "compare sources", a source that looks made up is a major error (saying it can't browse beats inventing one). Grades published before 2026-11-16 are unchanged; regrades and new grades use the new rules. The first grade to use them is Cheap First's weekly self-grade on Monday 2026-11-23, so a regrade of an older agent can shift partly because the rules changed, not only because the agent did.

Judges disagree flag

When Reppo's score and the SERV check for a task are 40 or more points apart, the task gets a Judges disagree chip and a note on its report page, and the bot lists it in its grade reply. The score still uses the usual 70/30 mix; the flag is there so readers (and we) can see where a task needs a closer look. npm run grade -- --disagreements lists every flagged task.

Running it

npm install

cp .env.example .env # then fill in the keys npm run grade npm run dev # http://localhost:3000

VariableWhere it comes from
SERV_API_KEYconsole.openserv.ai
OPENSERV_USER_API_KEYplatform.openserv.ai, for calling marketplace agents. Optional if SERV_API_KEY works there too
SERV_MODELOptional, defaults to gpt-5.4-mini
REPPO_API_KEYeval.reppo.xyz
REPPO_API_URLOptional, defaults to https://eval.reppo.xyz/api/v1

Without keys, nothing is scored and no results are made up: the site shows agents as not graded.

Paid grade requests (automatic)

Grades cost $10 (regrades $5), paid in USDC on Base to the address on the site. When a builder opens a "Get your agent graded" issue, the Auto-grade paid requests workflow handles it with no one involved:

  1. Reads the agent's link and the payment transaction from the form. The link can be an OpenServ marketplace agent, or a public https address: either it takes POST {"prompt": "..."} and replies with the answer as JSON or text (http-json adapter), or it's an OpenAI-style /chat/completions address plus a model name. Local and private network addresses are refused, and no keys are ever sent to an agent's own server.
  2. Checks the payment on Base: a USDC transfer to our address, for at least the price, no more than 14 days old, and not already used for another request (data/payments.json).
  3. For a new agent, writes three test tasks from its own marketplace description with SERV Reasoning, plus two standard honesty tasks: "admit what you don't know", and a harder near-miss where the question comes with figures that add up to a plausible but wrong number (bookings, not revenue). Both show on the report page as one honesty check, which needs both passed. Agents graded before 2026-11-19 have only the first. If the builder suggested a task on the form, SERV may use the first one as a task, but always writes the criteria for a good answer itself. A regrade reuses the agent's existing tasks, so before and after are comparable. Agents graded before 2026-11-16 have three tasks.
  4. Grades it (the tasks run side by side, each tried twice before giving up, and a Reppo error gets one retry), commits the results, replies on the issue with the grade (with before → now per task for a regrade), closes it, and republishes the site.

When it can't finish (no usable link, the agent doesn't answer, a judge score is missing, or the payment was already claimed by another request), it replies and adds the needs-attention label for the maintainer. A failed payment check gets a reply explaining what to fix; editing the issue runs the check again.

Free grades. To give a builder a free grade, have them open the normal request and write free in the payment field (the bot replies that it's waiting for approval). Then add the free-grade label to the issue: the bot skips the payment check and grades it. Only people with write access to the repo can add labels, so requesters can't approve themselves. Free grades are logged in data/payments.json with an amount of 0.

Pay by API (x402)

On Vercel (grader.designimp.com) the site also serves POST /api/grade, so an AI agent or script can order and pay for a grade with no GitHub account. Send {"agent": " ", "whatItDoes": "...", "task": "...", "model": "...", "contact": "..."}. Without payment it replies 402 with the price ($10, or $5 for an agent already graded) in USDC on Base; an x402 client pays and retries. Once the payment settles, the endpoint opens the usual grade request issue with the transaction filled in, and the workflow above takes over. The GitHub Pages copy is static and doesn't have it.

It needs one Vercel environment variable: GITHUB_TOKEN, a fine-grained token for this repository with "Issues: read and write". Without it, the endpoint answers 503 before asking for payment.

Request form on the site (USDC, no GitHub account)

USDC buyers can use the form at /request/ instead of GitHub's. It posts to POST /api/request/ on Vercel (see src/server/request.ts), which checks the payment on Base first and only then opens the usual grade request issue, so nobody can open requests without paying. The bot checks the payment again before grading, as always. The GitHub Pages copy sends its form to the Vercel site. CCD payments and Concordium badges still use the GitHub form. Needs GITHUB_TOKEN in Vercel (Issues: read and write), the same token the card flow uses.

Pay by card (Stripe)

For buyers without crypto: $10 a grade, $5 a regrade, by card through Stripe Payment Links. The buyer types the agent's link on Stripe's page, pays, and lands on /paid/. Stripe's webhook (POST /api/stripe-webhook/ on Vercel, see src/server/card.ts) opens the grade request issue, so no GitHub account is needed. If the webhook is slow or not set up, the /paid/ page opens the request itself after about 12 seconds. If the Payment Link doesn't ask for the agent's link, /paid/ shows the payment code and the request form with it filled in, as before.

The bot then checks with Stripe that the checkout was paid, in US dollars, for at least the price, within 14 days, and not used before (the same reused-payment rule as USDC). The buyer's email stays in Stripe; it never goes in the public issue.

Setup:

  1. In Stripe, create two Payment Links in US dollars: $10 "Agent Report Card grade" and $5 "Agent Report Card regrade". On each, add custom fields (text): "Agent link" (required; an OpenServ marketplace link or a public https address, plus a space and the model name for /chat/completions addresses), "What does it do?" (required) and "Agent name" (optional). Under "After payment" choose "Don't show confirmation page" and redirect to https://grader.designimp.com/paid/?session={CHECKOUT_SESSION_ID}.
  2. Create a restricted key with "Checkout Sessions: Read" (nothing else). Save it as `S

ตัดมาแค่ช่วงต้น อ่านต่อใน repo