Llmtest MCP

Name: Llmtest MCP
Author: tjacquesson

de tjacquessonversión 0.6.1i★ –iSe ejecuta en tu computadora

Nombre en el registroio.github.tjacquesson/llmtest-mcp

Instalar

Resumen

Descripción del creador (original en inglés)

Benchmark AI models on real prompts. Find cheaper, faster alternatives across 340+ models.

Los tres pilares de PopNx MCP

Estos tres nunca se combinan en una sola puntuación: las opiniones, las mediciones y la popularidad son cosas distintas.

Opinión de usuariosiAún no hay reseñasLas reseñas se abrirán junto con las cuentas en una etapa posterior
Nuestras revisiones básicasi1 de 1 superadasRevisado con información pública; el código aún no se ha escaneado
UsoiAún sin medir★ –

Qué puedes hacer con él

Todavía no escribimos un resumen sencillo para este. Abajo están los datos que leímos del registro.

Conexión: Se ejecuta en tu computadora
Transporte: stdio
Categoría: Otros
Debes completar: LLMTEST_API_KEY

Instalación

Elige la app de IA que usas y copia la configuración.

Antes de instalar

Revisiones básicas: 1 de 1 superadas
Se ejecuta en tu computadora con los permisos de tu usuario (archivos, red, apps).
Debes completar tú: LLMTEST_API_KEY

Los valores marcados como secretos son llaves de tu cuenta. Nunca los compartas ni los pegues en un chat.

Necesitas

npmNode.js instalado (para el comando npx)

¿Qué app usas?

ClaudeClaude CodeCursorVS CodeChatGPT

Elige tu app arriba. La recordamos, así que la próxima vez el botón dirá “Instalar en …”.

Abre Claude Desktop → Settings → Developer → Edit Config y pega esto en claude_desktop_config.json

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

Ejecuta esto en tu terminal

claude mcp add llmtest --env LLMTEST_API_KEY=your-value -- npx -y llmtest-mcp

Completa los valores vacíos antes de ejecutarlo.

Abrir en Cursor

O copia la configuración tú

Pégalo en .cursor/mcp.json de tu proyecto, o en ~/.cursor/mcp.json

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

Abrir en VS Code

O copia la configuración tú

Pégalo en .vscode/mcp.json de tu proyecto

{
  "servers": {
    "llmtest": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "llmtest-mcp"
      ],
      "env": {
        "LLMTEST_API_KEY": "your-value"
      }
    }
  }
}

Tu navegador te pide permiso para abrir la app; luego la app muestra la configuración y te pide confirmar. Los valores de las claves quedan vacíos para que los completes tú.

Este se ejecuta en tu computadora, y ChatGPT solo puede conectarse a servidores en internet. Elige otra app.

Tu elección se guarda en una cookie en este dispositivo; no necesitas cuenta.

Valores que debes completar

LLMTEST_API_KEY secreto obligatorio env
Your LLMTest API key from https://llmtest.io/dashboard

Esta configuración se genera a partir de la ficha del creador en el registro. Si el README dice otra cosa, sigue el README.

Qué puede hacer

Se ejecuta en tu computadora; la lista de herramientas aparece en tu app de IA después de instalarlo.

Revisiones básicasi

Revisamos información que cualquiera puede ver; no hemos leído el código. Las revisiones que no aplican no se cuentan. · Revisado el 7 nov 2026

✓ Superada
El creador coincide con el repo
El nombre en el registro se verificó con la cuenta de GitHub tjacquesson, dueña del repo
… Aún sin revisar
Sigue en mantenimiento
Todavía no hemos leído este repo en GitHub
… Aún sin revisar
Tiene licencia
Todavía no hemos leído este repo en GitHub
– No aplica
El endpoint responde
Este se ejecuta en tu computadora; no hay endpoint en internet
– No aplica
Inicio de sesión con OAuth
Se ejecuta en tu computadora y usa ajustes locales en su lugar
… Aún sin revisar
Sin instrucciones ocultas en las descripciones de herramientas
Se ejecuta en tu computadora; solo podemos leer listas de herramientas de endpoints en internet

Comparado con otros en Otrosi

Más estrellas que el 0% de los otros 32572 servidores de esta categoría
Publicado en el registro más recientemente que el 10% de los otros 32572 servidores de esta categoría
Revisiones básicas iguales o mejores que el 100% de los otros 32572 servidores de esta categoría

Comparado con todos los servidores activos de esta categoría en el registro. Las estrellas solo cuentan cuando quien lo publica es dueño del repo.

Preguntas frecuentes

¿Es seguro Llmtest MCP?

Superó 1 de 1 revisiones básicas aplicables. No hemos leído el código. Antes de agregar una clave o un token, revisa qué acceso pide el servidor y usa una clave que tenga solo los permisos que necesitas.

¿Qué claves o códigos necesita?

Debes completar: LLMTEST_API_KEY

¿Se ejecuta en mi computadora o en la nube?

Se ejecuta en tu computadora. Tu app de IA lo inicia cuando hace falta, y los datos no pasan por los servidores del creador (a menos que el propio servidor llame a un servicio en línea).

¿Sigue en mantenimiento?

El repo de GitHub cambió por última vez –, y la última versión (0.6.1) llegó al registro hace 6 meses.

¿Qué apps pueden usarlo?

Las apps compatibles con MCP, como Claude Desktop, Claude Code, Cursor y VS Code. También necesitas Node.js en tu computadora.

¿Qué puedo usar en su lugar?

En la misma categoría: Spec Driven Development, Remote Desktop Commander, AvaHR

Alternativas

Servidores de la misma categoría hechos por otros creadores, ordenados por estrellas.

Cómo leer una tarjeta:★ Estrellas de GitHubiTres pilares: reseñas · revisiones · usoiActualizado = fecha en que se publicó la última versión en el registroi

Spec Driven Development

de formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

Se ejecuta en tu computadora★ 440MITActualizado hace 14 meses

Instalar

Remote Desktop Commander

de desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

Se ejecuta en la nube★ 211Actualizado ayer

Instalar

AvaHR

de avahr.com

Read hiring data and create inactive assessment and questionnaire drafts for human review.

Se ejecuta en la nubeActualizado hoy

Instalar

README del creador

Abrir el README

Copiado tal cual del repo del creador. PopNx MCP no lo ha revisado ni lo respalda. Se quitaron HTML, imágenes y scripts. Los enlaces llevan fuera de este sitio.

LLMTest MCP Server

MCP server that benchmarks AI models on your actual prompts and finds cheaper, faster alternatives. Works with Claude Code, Cursor, Windsurf, and any MCP-compatible tool.

Quick Start

1. Get your API key

2. Add to your tool

Claude Code:

claude mcp add llmtest -- npx llmtest-mcp

Then set your key:

export LLMTEST_API_KEY=llmt_your_key_here

Cursor / Windsurf / Other MCP clients:

Add to your MCP config file:

"mcpServers": { "llmtest": { "command": "npx", "args": ["llmtest-mcp"], "env": { "LLMTEST_API_KEY": "llmt_your_key_here" } } } }

3. Talk to your AI

Just ask in natural language:

"Check my LLMTest status"
"Find cheaper models for my AI calls"
"Run a benchmark on my blog-writer flow"
"What models are trending?"

How It Works

LLMTest is a proxy that sits between your app and AI providers. Point your app at https://llmtest.io/v1 instead of calling OpenAI/Anthropic directly, and LLMTest tracks your usage, benchmarks alternatives, and suggests cost savings.

This MCP server gives your AI assistant access to LLMTest's tools so it can manage everything for you.

Available Tools

Tool	Description
`status`	Show proxy status and activity summary
`list_flows`	List all AI flows with cost and latency stats
`get_suggestions`	Get pending model-switch recommendations
`update_suggestion`	Accept or dismiss a suggestion
`run_benchmark`	Benchmark a flow against challenger models
`optimize_prompt`	Rewrite a flow's prompt and find a cheaper model that still works
`seed_samples`	Add test prompts for pre-launch benchmarking
`list_samples`	Show stored test samples per flow
`list_new_models`	Show new and trending models
`get_account`	Check credit balance and usage
`get_autopilot_status`	Check whether autopilot is on and whether the account is eligible
`enable_autopilot`	Turn on weekly auto-optimization with safety gates + drift-based auto-revert
`disable_autopilot`	Turn off autopilot (existing optimizations stay active)
`list_active_optimizations`	List auto-accepted optimizations still inside their 24h revert window
`revert_optimization`	Roll an auto-accepted optimization back to the previous prompt

Autopilot

Autopilot automatically optimizes your flows on a weekly cadence. Changes that pass every safety gate go live with a 24-hour revert window. Drift detection keeps checking after that and rolls back if quality slips.

To enable from your IDE: ask your AI assistant something like "enable LLMTest autopilot". It will call enable_autopilot. Use get_autopilot_status to confirm prerequisites.

Prerequisites (checked per flow each cycle):

Autopilot enabled on the account
Email verified
Account age ≥ 14 days (trust ramp)
Flow has ≥ 20 real calls in the last 7 days
Flow not optimized by autopilot in the last 14 days (cooldown)
Positive credit balance (~$1–2 per run)

Safety gates (all must pass for auto-accept): 95% CI lower bound > 50% win rate, multi-judge agreement ≥ 80%, ≥ 20% total savings, no length-bias warning, golden-set regression check.

Revert: 24h window after auto-accept. After that, only drift detection can roll back.

Typical Workflow

Pre-launch (no traffic yet):

Tell your AI: "I'm building a support chatbot using gpt-4o"
It seeds realistic test samples with seed_samples
It runs run_benchmark to compare models
It shows you get_suggestions with cheaper alternatives

Post-launch (with real traffic):

Route your AI calls through https://llmtest.io/v1
LLMTest monitors usage and auto-benchmarks when flows hit 50+ calls
Ask "any cost-saving suggestions?" to see recommendations
Accept a suggestion and update your code

Environment Variables

Variable	Required	Description
`LLMTEST_API_KEY`	Yes	Your API key from llmtest.io/dashboard
`LLMTEST_BASE_URL`	No	Custom API URL (defaults to `https://llmtest.io`)

License

MIT

Llmtest MCP

Resumen

Los tres pilares de PopNx MCP

Qué puedes hacer con él

Instalación

Antes de instalar

Valores que debes completar

Qué puede hacer

Revisiones básicasi

El creador coincide con el repo

Sigue en mantenimiento

Tiene licencia

El endpoint responde

Inicio de sesión con OAuth

Sin instrucciones ocultas en las descripciones de herramientas

Comparado con otros en Otrosi

Preguntas frecuentes

Alternativas

Spec Driven Development

Remote Desktop Commander

AvaHR

README del creador

LLMTest MCP Server

Quick Start

1. Get your API key

2. Add to your tool

3. Talk to your AI

How It Works

Available Tools

Autopilot

Typical Workflow

Environment Variables

Links

License