timesfm
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Red-team LLM apps: 41 OWASP LLM Top 10 probes, adaptive attacks, CI gate, audit reports.
Skills, die der KI diese Art Arbeit beibringen; sie funktionieren zusammen mit diesem
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…
scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place
Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert
| Beliebtheit | 6/80 | GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20 |
|---|---|---|
| Aktualität | 12/12 | Volle Punkte für Release oder Codeänderung in 30 Tagen |
| Antwortet noch | 0/8 | Der Cloud-Endpoint antwortete bei der letzten Prüfung |
| Nutzungswert | 18/100 |
Qualität: 3/3 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Mit einem Satz von deiner KI installieren lassen
Installiere bitte LLM Assure. Folge https://mcp.popnx.com/i/k11-software-solutions-llm-assure.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen
3/3 Prüfungen bestanden · Läuft auf deinem Computer · ✓ Befehle geprüft am 14. Nov. 2026
Zuerst: Welche KI nutzt du?
Wähle deine App, dann erscheinen die Schritte unten.
Klappt mit Claude, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy
Kopiere diese Nachricht in einen Claude-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server LLM Assure für Claude auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "llm-assure": { "command": "uvx", "args": [ "k11-llm-assure-mcp" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von LLM Assure wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
SettingsDeveloperEdit Config
{
"mcpServers": {
"llm-assure": {
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}Nutze LLM Assure und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Claude sagt, dass es LLM Assure nutzt, oder ein Werkzeug von LLM Assure in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
ANTHROPIC_API_KEY Optional: aktiviert den Claude-LLM-Judge und adaptives Red-Teaming Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
ChatGPT kann LLM Assure noch nicht verbinden
LLM Assure läuft auf deinem Computer, aber ChatGPT verbindet nur Server, die im Web laufen
A · Eine App nutzen, die LLM Assure verbinden kann
Klappt mit Claude Code, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen Claude Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server LLM Assure für Claude Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): claude mcp add --scope user llm-assure -- uvx k11-llm-assure-mcp 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von LLM Assure wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen
claude mcp add --scope user llm-assure -- uvx k11-llm-assure-mcpLLM Assure sollte in der Liste als verbunden erscheinen
Nutze LLM Assure und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Claude Code sagt, dass es LLM Assure nutzt, oder ein Werkzeug von LLM Assure in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
ANTHROPIC_API_KEY Optional: aktiviert den Claude-LLM-Judge und adaptives Red-Teaming Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Klappt mit Cursor, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen Cursor-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server LLM Assure für Cursor auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "llm-assure": { "command": "uvx", "args": [ "k11-llm-assure-mcp" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von LLM Assure wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Nutze LLM Assure und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Cursor sagt, dass es LLM Assure nutzt, oder ein Werkzeug von LLM Assure in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
ANTHROPIC_API_KEY Optional: aktiviert den Claude-LLM-Judge und adaptives Red-Teaming Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Klappt mit VS Code, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen VS Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server LLM Assure für VS Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "servers": { "llm-assure": { "type": "stdio", "command": "uvx", "args": [ "k11-llm-assure-mcp" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von LLM Assure wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
VS Code fragt nach einer Bestätigung; klicke Install
Nutze LLM Assure und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn VS Code sagt, dass es LLM Assure nutzt, oder ein Werkzeug von LLM Assure in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
ANTHROPIC_API_KEY Optional: aktiviert den Claude-LLM-Judge und adaptives Red-Teaming Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Claude Code
claude mcp add --scope user llm-assure -- uvx k11-llm-assure-mcpClaude Desktop (claude_desktop_config.json)
{
"mcpServers": {
"llm-assure": {
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}Cursor (~/.cursor/mcp.json)
{
"mcpServers": {
"llm-assure": {
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}VS Code (mcp.json)
{
"servers": {
"llm-assure": {
"type": "stdio",
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}ANTHROPIC_API_KEY geheim envBeschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
pypi: k11-llm-assure-mcpBasierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.
Laufen auf deinem Computer in
ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast
Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 19. Nov. 2026
Der Registry-Name wurde mit dem GitHub-Konto K11-Software-Solutions bestätigt, dem das Repo gehört
Code zuletzt geändert: vor 3 Tagen
Nutzt MIT
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen
Keine Einträge auf OSV.dev für k11-llm-assure-mcp@0.1.0
Prüft nur diese Paketversion, nicht alle Abhängigkeiten · geprüft 15. Nov. 2026
Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.
[](https://mcp.popnx.com/en/servers/k11-software-solutions-llm-assure)Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.
Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.
Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.
Noch keine Bewertungen
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.
Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).
Das GitHub-Repo wurde zuletzt vor 3 Tagen geändert, und die neueste Version (0.1.0) kam vor 6 Tagen in die Registry.
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.
In derselben Kategorie: OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)
Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.
So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Keyword research, site audits, rank tracking and AI visibility for your AI agent.
Connect AI agents to Exa for web search, content fetching, and multi-step research.
Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.
Search and read Empryo's documentation. Read-only, no auth, no local access.
cotal.ai actions: product overview, site search, build log, feedback, Cloud waitlist, updates, calls
| Dieser LLM Assure | OpenSEO | Exa | Microsoft Learn MCP | Docs | COTAL actions (cotal.ai) | |
|---|---|---|---|---|---|---|
| Läuft wo | Wird auf deinem Rechner installiert | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation |
| Braucht Schlüssel | Nein | Nein | Nein | Nein | Nein | Nein |
| Mit + in Claude hinzufügen | Nein | Ja | Ja | Ja | Nein | Nein |
| Basisprüfungen | 3/3 | 5/5 | 2/4 | 4/4 | 4/4 | 4/4 |
| Lizenz | MIT | MIT | MIT | CC-BY-4.0 | NOASSERTION | Apache-2.0 |
| Preis | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register |
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
Red-team your LLM application before your users do.
llm-assure runs automated attack and evaluation suites against any chatbot, RAG app or AI agent. It fails your CI build on serious findings and produces an audit-ready HTML report. It also includes an MCP server, so Claude (or any MCP client) can run assessments and adaptive red-team sessions for you.
--fail-on severity gate, and a GitHub step summary--pack DIRBuilt by K11 Software Solutions, part of the
K11 Tech Lab agentic-QA series. It complements
which covers bias, fairness and robustness.
git clone https://github.com/K11-Software-Solutions/k11techlab-llm-assurance-toolkit
cd k11techlab-llm-assurance-toolkit pip install -e ".[all]"
llm-assure run -t examples/targets/demo_vulnerable.yaml -o reports/before --fail-on none
llm-assure run -t examples/targets/demo_hardened.yaml -o reports/after
| Before | After | |
|---|---|---|
| Assurance score | 0 / 100 (F) | 99 / 100 (A) |
| Critical findings | 6 | 0 |
| High findings | 13 | 0 |
Open reports/before/report.html to see the full audit report. Pre-generated samples are in docs/sample-report/.
llm-assure init target.yaml # writes a commented template
llm-assure run -t target.yaml
name: My Support Assistant
type: http # http | openai | anthropic | python url: https://api.example.com/chat headers: Authorization: "Bearer ${BOT_API_TOKEN}" request_template: message: "{{prompt}}" history: "{{history}}" response_path: reply # e.g. data.answer or choices.0.message.content context: company: Acme Corp purpose: customer support for Acme Corp's online store canary: K11-CANARY-REPLACE-ME # put this exact string in your system prompt forbidden_topics: [politics, religion]
Tip: put a unique canary string in your system prompt and set context.canary to it. The toolkit then detects system-prompt leaks even when they are reversed, spaced out or base64-encoded.
More examples are in examples/targets/: Claude, OpenAI-compatible (vLLM, Ollama, Azure) and HTTP.
| Suite | OWASP LLM 2025 | Probes |
|---|---|---|
prompt_injection | LLM01 Prompt Injection | 8 |
system_prompt_leakage | LLM07 System Prompt Leakage | 6 |
sensitive_information | LLM02 Sensitive Information Disclosure | 5 |
jailbreak_policy | LLM01 (jailbreak) | 5 |
excessive_agency | LLM06 Excessive Agency | 4 |
misinformation | LLM09 Misinformation | 4 |
improper_output_handling | LLM05 Improper Output Handling | 4 |
scope_control | Business risk | 5 |
llm-assure suites -v # list all probes
llm-assure run -t target.yaml --tag baseline # quick 15-probe smoke scan llm-assure run -t target.yaml -s prompt_injection -s excessive_agency
Some failures can't be caught with patterns. Examples: "did the bot *imply* it issued a refund?" or "is this a usable phishing email?" Add --judge to evaluate these probes with Claude:
export ANTHROPIC_API_KEY=...
llm-assure run -t target.yaml --judge # default: claude-opus-5-5 llm-assure run -t target.yaml --judge --judge-effort low
The judge returns structured JSON verdicts and treats the transcript as untrusted data, so it resists injection attempts aimed at the judge itself. Judge calls are made only when the deterministic detectors haven't already found a failure. Without --judge, judge-only probes are marked needs review rather than silently passed.
# .github/workflows/llm-assurance.yml
--fail-on critical|high|medium|low|none sets the exit code (default high)junit.xml works with any CI test reportersummary.md is appended to $GITHUB_STEP_SUMMARY automaticallyA complete workflow is in docs/ci-example.yml.
Listed in the official MCP Registry as io.github.K11-Software-Solutions/llm-assure.
Claude Code plugin (adds the tools plus /red-team and /assurance-report; needs uv):
/plugin marketplace add K11-Software-Solutions/k11techlab-llm-assurance-toolkit
/plugin install llm-assure@k11-llm-assure
MCP server only:
claude mcp add llm-assure -- uvx k11-llm-assure-mcp
Claude Desktop (claude_desktop_config.json):
{ "mcpServers": { "llm-assure": { "command": "uvx", "args": ["k11-llm-assure-mcp"] } } }
Or pip install k11-llm-assure-mcp and use the llm-assure-mcp command. From a clone: pip install -e ".[mcp]".
| Tool | What it does |
|---|---|
list_suites / list_probes | Browse attack categories and probes |
run_assessment | Run a full audit and write all reports |
send_probe | Send a custom prompt (with history) and get leak/PII/refusal checks, for adaptive multi-turn attacks |
get_findings | Read findings from an earlier assessment.json |
Try asking Claude: *"Run a baseline assessment against examples/targets/demo_vulnerable.yaml, then use send_probe to find a prompt-injection variant the suite missed."*
llm-assure adaptive gives a Claude attacker agent a fixed query budget and lets it attack the target on its own. It reads each reply, adapts, runs multi-turn conversations and records every distinct vulnerability it finds. This is the harness for the K11 adaptive-vs-static study.
export ANTHROPIC_API_KEY=...
llm-assure adaptive -t target.yaml --budget 100 --runs 5 -o runs/
llm-assure adaptive -t target.yaml --budget 100 --runs 5 --cold -o runs/
Each run writes one JSON record to the output directory. It contains every conversation, each finding with a snapshot of its transcript, the static results (seeded arm), the query count, attacker token usage including cache reads, timings, and a final status (finished, budget_exhausted, refused, stalled, max_turns or error). The attacker never sees the target's canary value; it is only told whether a reply leaked it.
type: instrumented targets pair a real model (Claude or any OpenAI-compatible endpoint) with simulated tools and ground-truth instruments: a unique canary, a policy-checked tool-call log and seeded synthetic PII. The tool_log, seeded_pii and poison detectors judge what the app actually did, not what it claimed. See study/README.md.
id: fintech_pack
title: FinTech Pack owasp: LLM02:2025 remediation: Enforce payee-change verification server-side. probes:
llm-assure run -t target.yaml --pack ./packs/fintech
Detectors: contains, regex (both support invert), canary, pii (email, SSN, Luhn-checked cards, phone, API keys, IBAN), expect_refusal, expect_uncertainty, llm_judge. Probe text can use {{company}}, {{purpose}}, {{forbidden_topics}} and any other context key.
Premium probe packs (FinTech, Healthcare, HR and Customer Support) and a done-for-you LLM Readiness Audit are available from K11 Software Solutions.
Only test systems you own or are authorized to assess. Automated testing reduces risk but does not eliminate it. Treat a passing score as one input to a security review, not a certificate.
artifacts/documents/ARCHITECTURE.md explains every component, the end-to-end execution flow, how the canary detector works, and how scores and the quality gate are calculated. artifacts/documents/STUDY_DESIGN.md describes the adaptive-vs-static red-teaming study this toolkit supports.
pip install -e ".[dev]"
pytest
MIT License © K11 Software Solutions