timesfm
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Red-team LLM apps: 41 OWASP LLM Top 10 probes, adaptive attacks, CI gate, audit reports.
이런 작업을 AI에게 가르치는 Skill, 이것과 함께 쓸 수 있습니다
TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.
Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…
scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place
목록은 사용 점수(100점 만점)로 정렬되며 구성은 다음과 같습니다
| 인기 | 6/80 | GitHub 별 또는 주간 다운로드: 큰 쪽 60, 작은 쪽 20 |
|---|---|---|
| 최신성 | 12/12 | 30일 안에 릴리스나 코드 변경이 있으면 만점 |
| 응답 중 | 0/8 | 마지막 점검 때 클라우드 엔드포인트가 응답 |
| 사용 점수 | 18/100 |
품질: 기본 점검 3/3개 통과(표시만, 정렬에는 안 씀) · 상승세: 데이터 없음 (급상승 탭에서만 사용)
쓰고 있는 AI 앱을 고른 다음 설정을 복사하세요.
한 문장으로 AI에게 설치 맡기기
LLM Assure 설치해 줘. https://mcp.popnx.com/i/k11-software-solutions-llm-assure.md 를 따라 하고, 명령을 먼저 보여 주고 내가 승인하면 실행해.내 컴퓨터에서 작업하는 AI(Claude Code, Cursor 등)에 붙여 넣으세요. 단계를 읽고 명령을 보여 준 뒤 승인을 기다립니다. 키도 가입도 필요 없습니다. · AI가 읽을 전체 내용 보기
검사 3/3 통과 · 내 컴퓨터에서 실행돼요 · ✓ 명령 확인 2026년 11월 14일
먼저: 어떤 AI를 쓰시나요?
쓰는 앱을 고르면 아래에 단계가 나옵니다.
Claude에 연결할 수 있지만 먼저 준비가 필요해요
먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만) · 컴퓨터용 Claude 앱(Windows 또는 Mac)에서만 되고 웹이나 모바일은 안 돼요
이 메시지를 Claude 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.
이 컴퓨터의 Claude에 MCP server LLM Assure을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): { "mcpServers": { "llm-assure": { "command": "uvx", "args": [ "k11-llm-assure-mcp" ] } } } 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 LLM Assure의 도구가 실제로 보이는지 확인하세요.이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.
이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter
uv --versionMac: ⌘ + Space를 누르고 Terminal 입력 후 Enter
Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"
아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다
설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version
한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다
SettingsDeveloperEdit Config
{
"mcpServers": {
"llm-assure": {
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}LLM Assure을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐✓ Claude가 LLM Assure을 쓰고 있다고 하거나 답에 LLM Assure 도구 이름이 나오면 연결된 거예요
위 명령은 이 값들 없이도 동작합니다. 바꾸고 싶을 때만 제작자 설명대로 추가하세요.
ANTHROPIC_API_KEY 선택 사항: Claude LLM 판정기와 적응형 레드팀 테스트를 활성화합니다 설명은 자동 번역이며 변수 이름은 원문 그대로입니다. 확실하지 않으면 원문을 확인하세요.
메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요
ChatGPT는 아직 LLM Assure에 연결할 수 없어요
LLM Assure는 내 컴퓨터에 설치해서 쓰지만 ChatGPT는 웹에서 도는 서버만 연결할 수 있어요
A · LLM Assure에 연결되는 앱 쓰기
Claude Code에 연결할 수 있지만 먼저 준비가 필요해요
먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)
이 메시지를 Claude Code 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.
이 컴퓨터의 Claude Code에 MCP server LLM Assure을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): claude mcp add --scope user llm-assure -- uvx k11-llm-assure-mcp 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 LLM Assure의 도구가 실제로 보이는지 확인하세요.이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.
이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter
uv --versionMac: ⌘ + Space를 누르고 Terminal 입력 후 Enter
Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"
아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다
설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version
한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다
Mac: Command+스페이스를 누르고 Terminal 입력 · Windows: PowerShell 열기
claude mcp add --scope user llm-assure -- uvx k11-llm-assure-mcpLLM Assure이 목록에 있고 연결됨으로 보이면 돼요
LLM Assure을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐✓ Claude Code가 LLM Assure을 쓰고 있다고 하거나 답에 LLM Assure 도구 이름이 나오면 연결된 거예요
위 명령은 이 값들 없이도 동작합니다. 바꾸고 싶을 때만 제작자 설명대로 추가하세요.
ANTHROPIC_API_KEY 선택 사항: Claude LLM 판정기와 적응형 레드팀 테스트를 활성화합니다 설명은 자동 번역이며 변수 이름은 원문 그대로입니다. 확실하지 않으면 원문을 확인하세요.
메뉴 이름은 2026년 11월 11일에 Anthropic 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요
Cursor에 연결할 수 있지만 먼저 준비가 필요해요
먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)
이 메시지를 Cursor 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.
이 컴퓨터의 Cursor에 MCP server LLM Assure을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): { "mcpServers": { "llm-assure": { "command": "uvx", "args": [ "k11-llm-assure-mcp" ] } } } 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 LLM Assure의 도구가 실제로 보이는지 확인하세요.이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.
이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter
uv --versionMac: ⌘ + Space를 누르고 Terminal 입력 후 Enter
Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"
아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다
설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version
한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다
LLM Assure을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐✓ Cursor가 LLM Assure을 쓰고 있다고 하거나 답에 LLM Assure 도구 이름이 나오면 연결된 거예요
위 명령은 이 값들 없이도 동작합니다. 바꾸고 싶을 때만 제작자 설명대로 추가하세요.
ANTHROPIC_API_KEY 선택 사항: Claude LLM 판정기와 적응형 레드팀 테스트를 활성화합니다 설명은 자동 번역이며 변수 이름은 원문 그대로입니다. 확실하지 않으면 원문을 확인하세요.
메뉴 이름은 2026년 11월 11일에 Cursor 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요
VS Code에 연결할 수 있지만 먼저 준비가 필요해요
먼저 컴퓨터에 Python (uv)를 설치하세요 (한 번만)
이 메시지를 VS Code 채팅에 붙여 넣으세요. AI가 컴퓨터를 확인하고 어떤 파일을 바꿀지 알려 준 뒤 매번 동의를 기다립니다.
이 컴퓨터의 VS Code에 MCP server LLM Assure을 설치해 주세요. 순서대로: 1) uv --version로 uv가 있는지 확인. 없으면 https://docs.astral.sh/uv/getting-started/installation/에서 설치하라고 알려 주고 직접 설치하지 마세요. 2) 이 설정만 사용하세요(PopNx MCP 확인 완료): { "servers": { "llm-assure": { "type": "stdio", "command": "uvx", "args": [ "k11-llm-assure-mcp" ] } } } 3) 바꿀 파일의 전체 경로나 실행할 명령을 알려 주고 제 동의를 기다리세요. 4) 키는 필요 없습니다. 5) 합의한 대로 실행한 뒤 LLM Assure의 도구가 실제로 보이는지 확인하세요.이 메시지에는 키가 없습니다. 키가 필요하면 AI가 파일이나 앱 입력란에 직접 붙여 넣으라고 안내합니다.
이미 설치했나요? 먼저 확인 · 터미널을 열고 이 명령을 입력한 뒤 Enter
uv --versionMac: ⌘ + Space를 누르고 Terminal 입력 후 Enter
Windows: 시작 메뉴를 열고 Windows PowerShell 입력 후 "열기"
아직 설치하지 않았다면: uv에는 클릭형 설치 파일이 없습니다. uv 공식 페이지에서 내 시스템(macOS 또는 Windows)용 한 줄 명령을 복사해 터미널에 붙여 넣으세요 · Python을 따로 설치할 필요 없이 uv가 필요할 때 자동으로 내려받습니다
설치가 끝나면 터미널을 닫았다가 다시 열고 같은 명령을 실행하세요. 버전 번호가 나와야 합니다: uv --version
한 번 설치하면 uv가 필요한 모든 도구에서 쓸 수 있습니다
LLM Assure을 써서 나에게 무엇을 해 줄 수 있는지 알려 주고, 하나 해 봐✓ VS Code가 LLM Assure을 쓰고 있다고 하거나 답에 LLM Assure 도구 이름이 나오면 연결된 거예요
위 명령은 이 값들 없이도 동작합니다. 바꾸고 싶을 때만 제작자 설명대로 추가하세요.
ANTHROPIC_API_KEY 선택 사항: Claude LLM 판정기와 적응형 레드팀 테스트를 활성화합니다 설명은 자동 번역이며 변수 이름은 원문 그대로입니다. 확실하지 않으면 원문을 확인하세요.
메뉴 이름은 2026년 11월 11일에 VS Code 도움말에서 확인 · 앱 버전에 따라 화면이 조금 다를 수 있어요
Claude Code
claude mcp add --scope user llm-assure -- uvx k11-llm-assure-mcpClaude Desktop (claude_desktop_config.json)
{
"mcpServers": {
"llm-assure": {
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}Cursor (~/.cursor/mcp.json)
{
"mcpServers": {
"llm-assure": {
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}VS Code (mcp.json)
{
"servers": {
"llm-assure": {
"type": "stdio",
"command": "uvx",
"args": [
"k11-llm-assure-mcp"
]
}
}
}ANTHROPIC_API_KEY 비밀 env설명은 자동 번역이며 변수 이름은 원문 그대로입니다. 확실하지 않으면 원문을 확인하세요.
이 설정은 제작자의 레지스트리 정보로 만들었어요. README와 다르면 README를 따르세요.
pypi: k11-llm-assure-mcp이 서버의 연결 방식과 각 앱의 공식 문서를 바탕으로 했어요. 2026년 11월 10일 확인.
내 컴퓨터에서 실행하는 앱
ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast
내 컴퓨터에서 실행돼요. 설치하면 AI 앱에 도구 목록이 나타나요.
누구나 볼 수 있는 정보를 점검했고, 코드는 읽지 않았어요. 해당하지 않는 항목은 개수에서 뺐어요. · 2026년 11월 19일 점검
레지스트리 이름이 GitHub 계정 K11-Software-Solutions 기준으로 확인되었고, 이 계정이 저장소를 소유하고 있어요
코드 마지막 변경: 3일 전
MIT 사용
내 컴퓨터에서 실행되는 서버라 인터넷 엔드포인트가 없어요
내 컴퓨터에서 실행되며, 대신 로컬 설정을 사용해요
내 컴퓨터에서 실행돼요. 도구 목록은 인터넷 엔드포인트가 있는 서버에서만 읽을 수 있어요
OSV.dev에 k11-llm-assure-mcp@0.1.0 항목이 없습니다
이 버전의 패키지 자체만 확인하며 모든 의존성은 아닙니다 · 확인 2026년 11월 15일
제작자라면 이 코드를 README에 붙여 넣으세요. 배지는 이 페이지로 연결됩니다.
[](https://mcp.popnx.com/en/servers/k11-software-solutions-llm-assure)질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.
아직 리뷰가 없어요
레지스트리에서 이 카테고리의 활성 서버 전체와 비교했어요. 스타는 게시자가 저장소를 소유한 경우에만 세요.
해당하는 기본 점검 3개 중 3개를 통과했어요. 코드는 읽지 않았어요. 키나 토큰을 넣기 전에 서버가 어떤 권한을 요구하는지 확인하고, 꼭 필요한 권한만 있는 키를 쓰세요.
레지스트리에 필수 키가 나와 있지 않아요. 다만 처음 쓸 때 로그인을 요구하는 서버도 있어요.
내 컴퓨터에서 실행돼요. AI 앱이 필요할 때 실행하고, 데이터는 제작자의 서버를 거치지 않아요(서버 자체가 온라인 서비스를 호출하는 경우는 제외).
GitHub 저장소는 마지막으로 3일 전 변경됐고, 최신 버전(0.1.0)은 6일 전 레지스트리에 올라왔어요.
Claude Desktop, Claude Code, Cursor, VS Code처럼 MCP를 지원하는 앱에서 쓸 수 있어요. 내 컴퓨터에 Python (uv)도 있어야 해요.
같은 카테고리에는: OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)
같은 카테고리, 다른 제작자, 명령 확인 완료. 공식이 먼저, 그다음 스타 순.
카드 보는 법:↓ 주간 다운로드i★ GitHub 스타i세 기둥: 리뷰 · 점검 · 사용 정도i업데이트 = 최신 버전을 레지스트리에 공개한 날i
Keyword research, site audits, rank tracking and AI visibility for your AI agent.
Connect AI agents to Exa for web search, content fetching, and multi-step research.
Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.
Search and read Empryo's documentation. Read-only, no auth, no local access.
cotal.ai actions: product overview, site search, build log, feedback, Cloud waitlist, updates, calls
| 이 항목 LLM Assure | OpenSEO | Exa | Microsoft Learn MCP | Docs | COTAL actions (cotal.ai) | |
|---|---|---|---|---|---|---|
| 실행 위치 | 컴퓨터에 설치 필요 | 클라우드에서 동작, 설치 불필요 | 클라우드에서 동작, 설치 불필요 | 클라우드에서 동작, 설치 불필요 | 클라우드에서 동작, 설치 불필요 | 클라우드에서 동작, 설치 불필요 |
| 키 필요 | 아니요 | 아니요 | 아니요 | 아니요 | 아니요 | 아니요 |
| Claude에서 +로 추가 | 아니요 | 예 | 예 | 예 | 아니요 | 아니요 |
| 기본 점검 | 3/3 | 5/5 | 2/4 | 4/4 | 4/4 | 4/4 |
| 라이선스 | MIT | MIT | MIT | CC-BY-4.0 | NOASSERTION | Apache-2.0 |
| 가격 | 등록 정보에 비용 없음 | 등록 정보에 비용 없음 | 등록 정보에 비용 없음 | 등록 정보에 비용 없음 | 등록 정보에 비용 없음 | 등록 정보에 비용 없음 |
제작자의 저장소에서 쓰인 그대로 가져왔어요. PopNx MCP가 검토하거나 보증한 내용이 아니에요. HTML, 이미지, 스크립트는 제거했어요. 링크를 누르면 이 사이트를 벗어나요.
Red-team your LLM application before your users do.
llm-assure runs automated attack and evaluation suites against any chatbot, RAG app or AI agent. It fails your CI build on serious findings and produces an audit-ready HTML report. It also includes an MCP server, so Claude (or any MCP client) can run assessments and adaptive red-team sessions for you.
--fail-on severity gate, and a GitHub step summary--pack DIRBuilt by K11 Software Solutions, part of the
K11 Tech Lab agentic-QA series. It complements
which covers bias, fairness and robustness.
git clone https://github.com/K11-Software-Solutions/k11techlab-llm-assurance-toolkit
cd k11techlab-llm-assurance-toolkit pip install -e ".[all]"
llm-assure run -t examples/targets/demo_vulnerable.yaml -o reports/before --fail-on none
llm-assure run -t examples/targets/demo_hardened.yaml -o reports/after
| Before | After | |
|---|---|---|
| Assurance score | 0 / 100 (F) | 99 / 100 (A) |
| Critical findings | 6 | 0 |
| High findings | 13 | 0 |
Open reports/before/report.html to see the full audit report. Pre-generated samples are in docs/sample-report/.
llm-assure init target.yaml # writes a commented template
llm-assure run -t target.yaml
name: My Support Assistant
type: http # http | openai | anthropic | python url: https://api.example.com/chat headers: Authorization: "Bearer ${BOT_API_TOKEN}" request_template: message: "{{prompt}}" history: "{{history}}" response_path: reply # e.g. data.answer or choices.0.message.content context: company: Acme Corp purpose: customer support for Acme Corp's online store canary: K11-CANARY-REPLACE-ME # put this exact string in your system prompt forbidden_topics: [politics, religion]
Tip: put a unique canary string in your system prompt and set context.canary to it. The toolkit then detects system-prompt leaks even when they are reversed, spaced out or base64-encoded.
More examples are in examples/targets/: Claude, OpenAI-compatible (vLLM, Ollama, Azure) and HTTP.
| Suite | OWASP LLM 2025 | Probes |
|---|---|---|
prompt_injection | LLM01 Prompt Injection | 8 |
system_prompt_leakage | LLM07 System Prompt Leakage | 6 |
sensitive_information | LLM02 Sensitive Information Disclosure | 5 |
jailbreak_policy | LLM01 (jailbreak) | 5 |
excessive_agency | LLM06 Excessive Agency | 4 |
misinformation | LLM09 Misinformation | 4 |
improper_output_handling | LLM05 Improper Output Handling | 4 |
scope_control | Business risk | 5 |
llm-assure suites -v # list all probes
llm-assure run -t target.yaml --tag baseline # quick 15-probe smoke scan llm-assure run -t target.yaml -s prompt_injection -s excessive_agency
Some failures can't be caught with patterns. Examples: "did the bot *imply* it issued a refund?" or "is this a usable phishing email?" Add --judge to evaluate these probes with Claude:
export ANTHROPIC_API_KEY=...
llm-assure run -t target.yaml --judge # default: claude-opus-5-5 llm-assure run -t target.yaml --judge --judge-effort low
The judge returns structured JSON verdicts and treats the transcript as untrusted data, so it resists injection attempts aimed at the judge itself. Judge calls are made only when the deterministic detectors haven't already found a failure. Without --judge, judge-only probes are marked needs review rather than silently passed.
# .github/workflows/llm-assurance.yml
--fail-on critical|high|medium|low|none sets the exit code (default high)junit.xml works with any CI test reportersummary.md is appended to $GITHUB_STEP_SUMMARY automaticallyA complete workflow is in docs/ci-example.yml.
Listed in the official MCP Registry as io.github.K11-Software-Solutions/llm-assure.
Claude Code plugin (adds the tools plus /red-team and /assurance-report; needs uv):
/plugin marketplace add K11-Software-Solutions/k11techlab-llm-assurance-toolkit
/plugin install llm-assure@k11-llm-assure
MCP server only:
claude mcp add llm-assure -- uvx k11-llm-assure-mcp
Claude Desktop (claude_desktop_config.json):
{ "mcpServers": { "llm-assure": { "command": "uvx", "args": ["k11-llm-assure-mcp"] } } }
Or pip install k11-llm-assure-mcp and use the llm-assure-mcp command. From a clone: pip install -e ".[mcp]".
| Tool | What it does |
|---|---|
list_suites / list_probes | Browse attack categories and probes |
run_assessment | Run a full audit and write all reports |
send_probe | Send a custom prompt (with history) and get leak/PII/refusal checks, for adaptive multi-turn attacks |
get_findings | Read findings from an earlier assessment.json |
Try asking Claude: *"Run a baseline assessment against examples/targets/demo_vulnerable.yaml, then use send_probe to find a prompt-injection variant the suite missed."*
llm-assure adaptive gives a Claude attacker agent a fixed query budget and lets it attack the target on its own. It reads each reply, adapts, runs multi-turn conversations and records every distinct vulnerability it finds. This is the harness for the K11 adaptive-vs-static study.
export ANTHROPIC_API_KEY=...
llm-assure adaptive -t target.yaml --budget 100 --runs 5 -o runs/
llm-assure adaptive -t target.yaml --budget 100 --runs 5 --cold -o runs/
Each run writes one JSON record to the output directory. It contains every conversation, each finding with a snapshot of its transcript, the static results (seeded arm), the query count, attacker token usage including cache reads, timings, and a final status (finished, budget_exhausted, refused, stalled, max_turns or error). The attacker never sees the target's canary value; it is only told whether a reply leaked it.
type: instrumented targets pair a real model (Claude or any OpenAI-compatible endpoint) with simulated tools and ground-truth instruments: a unique canary, a policy-checked tool-call log and seeded synthetic PII. The tool_log, seeded_pii and poison detectors judge what the app actually did, not what it claimed. See study/README.md.
id: fintech_pack
title: FinTech Pack owasp: LLM02:2025 remediation: Enforce payee-change verification server-side. probes:
llm-assure run -t target.yaml --pack ./packs/fintech
Detectors: contains, regex (both support invert), canary, pii (email, SSN, Luhn-checked cards, phone, API keys, IBAN), expect_refusal, expect_uncertainty, llm_judge. Probe text can use {{company}}, {{purpose}}, {{forbidden_topics}} and any other context key.
Premium probe packs (FinTech, Healthcare, HR and Customer Support) and a done-for-you LLM Readiness Audit are available from K11 Software Solutions.
Only test systems you own or are authorized to assess. Automated testing reduces risk but does not eliminate it. Treat a passing score as one input to a security review, not a certificate.
artifacts/documents/ARCHITECTURE.md explains every component, the end-to-end execution flow, how the canary detector works, and how scores and the quality gate are calculated. artifacts/documents/STUDY_DESIGN.md describes the adaptive-vs-static red-teaming study this toolkit supports.
pip install -e ".[dev]"
pytest
MIT License © K11 Software Solutions