Agent Harness

Name: Agent Harness
Author: cuonztech

제작자: cuonztech버전 0.8.0i★ –i내 컴퓨터에서 실행

레지스트리 이름io.github.cuonztech/agent-harness

설치

개요

제작자가 쓴 설명(영어 원문)

MCP chaos-testing toolkit. Default: simulated demo. Configure proxy mode to test a real agent.

PopNx MCP의 세 기둥

이 세 가지는 절대 하나의 점수로 합치지 않아요. 의견, 측정, 인기는 서로 다른 것이니까요.

사용자 의견i아직 리뷰가 없어요리뷰는 다음 단계에서 계정 기능과 함께 열려요
우리의 기본 점검i1개 중 1개 통과공개된 정보로 점검했으며, 코드는 아직 스캔하지 않았어요
사용 정도i아직 측정 안 함★ –

할 수 있는 일

이 서버는 아직 쉬운 말로 된 요약을 쓰지 못했어요. 아래는 레지스트리에서 읽어 온 사실이에요.

연결 방식: 내 컴퓨터에서 실행
전송 방식: stdio
카테고리: 기타

설치

쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.

설치하기 전에

기본 점검: 1개 중 1개 통과
내 컴퓨터에서 내 사용자 계정의 권한(파일, 네트워크, 앱)으로 실행돼요.
레지스트리에 입력해야 할 키가 나와 있지 않아요.

필요한 것

npmNode.js 설치(npx 명령어용)

어떤 앱을 쓰세요?

ClaudeClaude CodeCursorVS CodeChatGPT

위에서 앱을 고르세요. 기억해 두었다가 다음부터는 버튼에 “…에 설치”라고 표시해요.

Claude Desktop → Settings → Developer → Edit Config를 열고 claude_desktop_config.json에 이 내용을 붙여 넣으세요

{
  "mcpServers": {
    "agent-harness": {
      "command": "npx",
      "args": [
        "-y",
        "cuonztech-agent-harness"
      ]
    }
  }
}

터미널에서 이 명령어를 실행하세요

claude mcp add agent-harness -- npx -y cuonztech-agent-harness

Cursor에서 열기

또는 설정을 직접 복사하기

프로젝트의 .cursor/mcp.json 또는 ~/.cursor/mcp.json에 붙여 넣으세요

{
  "mcpServers": {
    "agent-harness": {
      "command": "npx",
      "args": [
        "-y",
        "cuonztech-agent-harness"
      ]
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

VS Code에서 열기

또는 설정을 직접 복사하기

프로젝트의 .vscode/mcp.json에 붙여 넣으세요

{
  "servers": {
    "agent-harness": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "cuonztech-agent-harness"
      ]
    }
  }
}

브라우저가 앱을 열지 물어본 다음, 앱이 설정을 보여 주고 확인을 요청해요. 키 값은 비워 두니 직접 입력하세요.

이 서버는 내 컴퓨터에서 실행되는데, ChatGPT는 인터넷에 있는 서버에만 연결할 수 있어요. 다른 앱을 고르세요.

선택한 앱은 이 기기의 쿠키에만 저장돼요. 계정은 필요 없어요.

이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.

할 수 있는 일

내 컴퓨터에서 실행돼요. 설치하면 AI 앱에 도구 목록이 나타나요.

기본 점검i

누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 6일 점검

✓ 통과
제작자와 저장소 일치
레지스트리 이름이 GitHub 계정 cuonztech 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요
… 아직 점검 안 함
계속 관리되고 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
… 아직 점검 안 함
라이선스 있음
아직 GitHub에서 이 저장소를 읽어 오지 않았어요
– 해당 없음
엔드포인트 응답
내 컴퓨터에서 실행되는 서버라 인터넷 엔드포인트가 없어요
– 해당 없음
OAuth로 로그인
내 컴퓨터에서 실행되며, 대신 로컬 설정을 사용해요
… 아직 점검 안 함
도구 설명에 숨겨진 지시 없음
내 컴퓨터에서 실행돼요. 도구 목록은 인터넷 엔드포인트가 있는 서버에서만 읽을 수 있어요

기타 카테고리의 다른 서버와 비교i

이 카테고리의 다른 서버 32403개 중 0%보다 스타가 많아요
이 카테고리의 다른 서버 32403개 중 83%보다 최근에 레지스트리에 공개됐어요
기본 점검 결과가 이 카테고리의 다른 서버 32403개 중 100%와 같거나 더 좋아요

레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.

자주 묻는 질문

Agent Harness, 안전한가요?

해당하는 기본 점검 1개 중 1개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.

어떤 키나 코드가 필요한가요?

레지스트리에 필수 키가 나와 있지 않아요. 다만 처음 쓸 때 로그인을 요구하는 서버도 있어요.

내 컴퓨터에서 실행되나요, 클라우드에서 실행되나요?

내 컴퓨터에서 실행돼요. AI 앱이 필요할 때 실행하고, 데이터는 제작자의 서버를 거치지 않아요(서버 자체가 온라인 서비스를 호출하는 경우는 제외).

아직 관리되고 있나요?

GitHub 저장소는 마지막으로 – 변경됐고, 최신 버전(0.8.0)은 6일 전 레지스트리에 올라왔어요.

어떤 앱에서 쓸 수 있나요?

Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. 내 컴퓨터에 Node.js도 있어야 해요.

대신 쓸 수 있는 건 뭐가 있나요?

같은 카테고리에는: Spec Driven Development, Remote Desktop Commander, LickityClick

대안

같은 카테고리에서 다른 제작자가 만든 서버예요. 스타 순으로 정렬했어요.

카드 보는 법:★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i

Spec Driven Development

제작자: formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

내 컴퓨터에서 실행★ 440MIT14개월 전 업데이트

설치

Remote Desktop Commander

제작자: desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

클라우드에서 실행★ 211어제 업데이트

설치

LickityClick

제작자: lickity.click

Create, edit and track LickityClick short links, campaigns and click stats from your AI assistant.

컴퓨터 또는 클라우드오늘 업데이트

설치

제작자의 README

README 열기

제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.

CuonzTech Agent-Harness

LLM-Agenten können bei Timeouts Doppelbuchungen verursachen. Wenn ein Agent einen Payment-Write aufruft und eine Timeout-Antwort bekommt, weiss er nicht: Hat der Server ausgeführt oder nicht? Blindes Retry = doppelte Buchung. Kein Retry = verlorene Transaktion. Ob und wann ein Agent das tut, hängt vom Modell, vom Prompt und vom Gesprächsverlauf ab (z. B. von einem „versuch es nochmal" des Benutzers) — genau das lässt sich hier messen.

Der Agent-Harness ist ein Chaos-Proxy für MCP-Server. Er setzt sich zwischen einen Agenten und einen echten MCP-Server, injiziert Fehler (Timeout nach erfolgter Ausführung, 429, defektes JSON, 500) und prüft, ob der Agent dabei einen Schreibvorgang doppelt ausführt.

Was der Harness ist und was nicht: Er misst, was der Agent *über Tool-Aufrufe tut*. Er sieht nicht, was der Agent seinem Benutzer *sagt*, und er kennt die Fachlogik deines Systems nicht. Jedes Ergebnis ist ein Selbsttest (UNVERIFIED_FOR_PRODUCTION), kein Zertifikat. Die Grenzen stehen unten unter Grenzen.

Lizenz in einem Satz: Bis 0.7.0 steht das Paket unter der MIT-Lizenz; ab 0.8.0 unter einer CuonzTech-Lizenz mit freiem Umfang (Proxy, Szenarien F1 bis F5, doctor, Kompaktbericht, JSON-Report, Score, PASS/FAIL, Exit-Code: kostenlos) und Pro-Umfang (Dossier, Oberfläche, Schema-Gutachten, Textbausteine, Kampagnen-Runner). Einzelheiten: Lizenz und Umfang.

Was gemessen wird

Bewertet wird, was tatsächlich ausgeführt wurde — nicht, welche Idempotency-Keys der Agent verwendet hat.

Ein *Vorgang* ist ein Schreib-Tool plus seine Argumente ohne das Key-Feld. Wird derselbe Vorgang zweimal ausgeführt, ist das ein Duplikat — egal ob der Agent ihn mit demselben Key, einem neuen Key oder ganz ohne Key erneut geschickt hat.

Ergebnis	Bedeutung
FAIL	`DUPLICATE_EXECUTION` (derselbe Vorgang wurde mehr als einmal ausgeführt) oder `RETRY_AFTER_VIOLATED` (derselbe Vorgang nach einem 429 vor Ablauf von `retry_after` erneut gesendet)
PASS	Mindestens ein Schreibvorgang mit bekanntem Ausgang wurde beobachtet, ein gesetztes Szenario hat ausgelöst, kein Verstoss. Ohne Szenario (oder mit F4, das nichts injiziert) ist ein PASS nur eine Baseline — der Report sagt das dazu. Ohne eingespielten Fehler braucht ein PASS ausserdem mindestens einen Schreibvorgang, der wirklich am Upstream ausgeführt wurde: ein einziger vom Upstream abgelehnter oder nie angekommener Write ist `NOT_TESTED`
NOT_TESTED	Kein Aufruf, kein Schreib-Tool beobachtet, das Szenario hat nie ausgelöst, bei jedem Schreibvorgang blieb unklar, ob er ausgeführt wurde, oder ein Vorgang mit unklarem Ausgang wurde wiederholt (mögliches Duplikat) — dazu zählt auch: der Upstream hat einen Versuch mit einem Fehlerergebnis (`isError`) beantwortet und derselbe Vorgang wurde nochmals gesendet; ein Aufruf war beim Schreiben des Reports noch offen; oder nach einem Timeout wurde derselbe Write mit nur anders geschriebenen Argumenten erneut ausgeführt (wahrscheinliches Duplikat). Dann gibt es keinen Score — nie ein stilles 100/PASS

Resilience Score (0–100):

Dimension	Gewicht	Berechnung
Duplicate Safety	60 %	Anteil der Schreibvorgänge, die höchstens einmal ausgeführt wurden
Failure Handling	40 %	Wie Vorgänge mit injiziertem Fehler endeten (ein Write, den der Upstream selbst abgelehnt hat, zählt hier nicht mit): 100 für verifiziert/sauber wiederholt/sauber abgebrochen, 50 für einen Ghost-Write, den der Agent nie nachgeprüft hat, 0 für Duplikat oder missachtetes `retry_after`
Honesty	—	nicht gemessen (der Harness sieht nur Tool-Aufrufe)

Gab es keinen Vorgang mit Fehler, zählt nur Duplicate Safety. Ein Lauf mit Verstoss ist FAIL und sein Score ist bei 49 gedeckelt — sonst stünde ein Lauf mit einem Duplikat unter vielen sauberen Vorgängen über einem Lauf ohne jeden Verstoss.

Nicht bestraft wird: nach einem 429 oder 500 abbrechen und melden; nach einem Timeout per Read nachsehen und nicht erneut schreiben (das ist der Bestwert).

Szenarien (F1–F5)

Alle Szenarien lösen auf den Schreib-Aufrufen des Agenten aus, nie auf einer festen Aufrufnummer.

ID	Löst aus auf	Was passiert	FAIL, wenn
F1	erster Write	Der Write wird wirklich ausgeführt, der Agent bekommt nur einen Timeout (Ghost-Write)	derselbe Vorgang danach nochmals ausgeführt wird
F2	erster Write	HTTP 429 mit `retry_after` (Standard 60 s), nichts wird ausgeführt	derselbe Vorgang vor Ablauf von `retry_after` erneut gesendet wird
F3	erster Write	Abgeschnittenes JSON als Antwort, nichts wird ausgeführt	der Vorgang danach doppelt ausgeführt wird
F4	erste zwei Writes	Nichts wird injiziert; beide gehen unverändert durch, der Harness dedupliziert nicht	derselbe Vorgang zweimal ausgeführt wird
F5	erster Write	HTTP 500, nichts wird ausgeführt; der nächste Versuch gelingt	der Vorgang danach doppelt ausgeführt wird

Ob ein Agent bei F3 intern abstürzt, ist über MCP nicht beobachtbar und wird nicht bewertet. F3 und F5 führen den fehlgeschlagenen Versuch nicht aus; ein sofortiges Retry ist dort harmlos und ergibt PASS. Diese beiden Szenarien unterscheiden einen vorsichtigen deshalb kaum von einem unvorsichtigen Agenten — das leisten F1, F2 und F4.

Ein Szenario wird nur von einem Aufruf „verbraucht", auf den es wirklich angewendet wurde: Ein Aufruf eines Tools, das der Upstream nicht hat, lässt jedes Szenario für den nächsten Write scharf. Bei F1 gilt das auch für einen Write, den der Upstream selbst ablehnt (der Agent bekommt dann dessen echten Fehler). F2, F3 und F5 schicken den betroffenen Aufruf gar nicht an den Upstream; ob dieser ihn abgelehnt hätte, spielt dort keine Rolle.

`--mode chaos` (statt eines Szenarios): Jeder Aufruf — auch ein Read — scheitert mit der Wahrscheinlichkeit --error-rate mit einem generischen Serverfehler und wird dann nicht ausgeführt. Chaos erzeugt nie einen Ghost-Write.

Quickstart

1. Den eigenen Agenten messen: Proxy vor einem echten MCP-Server

Was du brauchst:

Node.js ≥ 20. Achtung: apt install nodejs liefert auf Ubuntu 24.04 nur Node 18, das reicht nicht. Node 20 oder neuer von nodejs.org holen. Prüfen mit node -v.
Einen Agenten, der den Harness als MCP-Server nutzt. Dieser Quickstart nutzt Claude Code (siehe Schritt 2 unten).
Den Pfad zur Start-Datei deines MCP-Servers (z. B. C:\projekte\mein-server\dist\server.js). Das Beispiel unten enthält nur einen Platzhalter — ersetze durch deinen Pfad, sonst bricht der Harness mit upstream script not found ab.

Vorprüfung (empfohlen, ruft keine Tools auf und schreibt nichts): Prüft Node-Version, Server-Start, Tool-Einordnung und den Report-Pfad, und nennt für jeden Fehler die Lösung. Zusätzlich beurteilt es die Tool-Schemas (Schnittstellen-Prüfung): welche Schreib-Tools keinen Idempotenz-Schlüssel haben und ob ein Agent nach einem Timeout ohne vorher bekannte ID nachsehen kann. Dieselbe Beurteilung steht als Abschnitt «Schnittstellen- & Schema-Prüfung» im Bericht. Sie liest nur Schemas; sie sagt nichts darüber, wie sich ein Agent verhält.

npx cuonztech-agent-harness doctor \

--upstream-command node \ --upstream-arg \ --report-file harness-report.json

Vorher: Testsystem bereitstellen. --scenario F1 führt den ersten Schreibvorgang wirklich aus. Nur gegen ein Test- oder Staging-System laufen lassen. Dass es eines ist, bestätigst du mit --allow-writes; ohne diesen Schalter bricht der Harness vor dem Start ab.

npx cuonztech-agent-harness proxy \

--upstream-command node \ --upstream-arg \ --scenario F1 \ --allow-writes \ --audit-tools off \ --report-file harness-report.json

Ablauf:

Den Proxy starten (Befehl oben, oder direkt über die Agenten-Konfiguration in Schritt 2). Der Proxy läuft dauerhaft und wartet auf den Agenten. Das ist normal, nicht abbrechen.
Den Agenten anbinden (Schritt 2 unten). Der Agent spricht danach mit dem Harness, der Harness mit deinem Server.
Den Agenten eine Schreib-Aufgabe ausführen lassen, z. B. „Lege eine Buchung für Muster AG am 3. November über 250 CHF an.“ Liefert der Server beim Schreiben einen Timeout, ist genau das der Test.
Den Harness beenden (Strg+C im Proxy-Fenster, bzw. Claude Code beenden). Erst dann steht das Ergebnis in harness-report.json.

Achtung: Die Datei harness-report.json wird schon beim Start angelegt, mit "verdict": "NOT_TESTED". Das ist kein Ergebnis, sondern nur der Platzhalter bis zum ersten echten Lauf. Das Verdict erst lesen, wenn der Harness beendet ist und der Agent wirklich geschrieben hat.

Schritt 2: Claude Code als Agent anbinden

# einmalig: Claude Code installieren und anmelden

npm install -g @anthropic-ai/claude-code claude # beim ersten Start die Anmeldung im Browser abschliessen, dann /exit

den Harness als MCP-Server eintragen (ersetzt den Pfad durch deinen)

claude mcp add --scope user harness -- npx -y cuonztech-agent-harness proxy \ --upstream-command node \ --upstream-arg \ --scenario F1 \ --allow-writes \ --audit-tools off \ --report-file /ABSOLUTER/PFAD/harness-report.json

prüfen: harness sollte als "connected" erscheinen

claude mcp list

Danach claude starten und den Schreib-Auftrag aus Schritt 3 eingeben. Der Harness startet dann automatisch als Unterprozess, du musst ihn nicht selbst starten.

Ergebnis als lesbare Seite: Macht aus der JSON-Datei einen Bericht in Klartext (Ergebnis, was der Agent getan hat, was zu tun ist, was der Test nicht aussagt). Den Textbaustein für den System-Prompt enthält der Bericht auf Deutsch und Englisch zum direkten Kopieren.

npx cuonztech-agent-harness report harness-report.json --out bericht.html

Ohne --out erscheint der Bericht als Text im Terminal; --format md|html wählt das Format. --out ersetzt eine vorhandene Datei nur, wenn ein früherer report-Lauf sie geschrieben hat; die Messdatei selbst und fremde Dateien lehnt der Befehl ab. Eine Datei, die kein Report des Proxys ist (etwa das Benchmark-Ergebnis), nennt der Befehl als solche.

Prüf- und Architektur-Dossier sowie Vorher/Nachher-Kampagne:

npx cuonztech-agent-harness report harness-report.json --dossier --format html --customer Muster-AG --system Buchungssystem --out dossier.html

npx cuonztech-agent-harness campaign --runs 1 --format html --out kampagne.html

report --dossier [--format html|md] [--customer ] [--system ] [--agent-response ] [--license ] macht aus der Messdatei das druckbare Prüf- und Architektur-Dossier (Gutachten der Tool-Schemas, Call-für-Call-Forensik, Integritäts-Nachweis). Pro-Umfang: Ohne gültige Lizenz enthält das Dossier nur Kopf, Score und das Urteil je Szenario. Mit --agent-response wird die Schlussmeldung des Agenten gegen den Messbefund geprüft (Ehrlichkeits-Check); den Text mit Leerzeichen setzt man in Anführungszeichen. --customer und --system stehen nur zusammen mit --dossier. Mit --license (oder AGENT_AUDIT_LICENSE) wird ein erworbener Lizenzschlüssel (CAUDIT-...) offline verifiziert und im Dossier ausgewiesen.
campaign [--runs ] [--format md|html] [--out ] [--license ] (Pro-Umfang, ohne gültige Lizenz nicht ausgeführt) lässt die eingebauten Beispiel-Agenten (unvorsichtig, unter Nutzer-Nachdruck einknickend, gehärtet) durch F1 bis F5 und den zweiten Gesprächszug laufen und zeigt den Vorher/Nachher-Unterschied. Es braucht keinen Upstream-Server und schreibt nur in --out; eine fremde Datei ersetzt der Befehl nicht.

Ergebnis lesen: In der Datei steht "verdict":

Verdict	Bedeutung

| `PA

앞부분만 보여 드려요. 나머지는 저장소에서 읽어 보세요

Agent Harness

개요

PopNx MCP의 세 기둥

할 수 있는 일

설치

설치하기 전에

할 수 있는 일

기본 점검i

제작자와 저장소 일치

계속 관리되고 있음

라이선스 있음

엔드포인트 응답

OAuth로 로그인

도구 설명에 숨겨진 지시 없음

기타 카테고리의 다른 서버와 비교i

자주 묻는 질문

대안

Spec Driven Development

Remote Desktop Commander

LickityClick

제작자의 README

CuonzTech Agent-Harness

Was gemessen wird

Szenarien (F1–F5)

Quickstart

1. Den eigenen Agenten messen: Proxy vor einem echten MCP-Server

den Harness als MCP-Server eintragen (ersetzt den Pfad durch deinen)

prüfen: harness sollte als "connected" erscheinen