Metrillm

Name: Metrillm
Author: MetriLLM

作者：MetriLLM版本 0.2.6i★ –i在你的电脑上运行

注册名称io.github.MetriLLM/metrillm

安装

概览

作者提供的说明（英文原文）

Benchmark local LLM models — speed, quality & hardware fitness verdict from any MCP client

PopNx MCP 的三大支柱

这三项永远不会合并成一个分数：意见、测量和人气是不同的东西。

用户评价i暂无评价评价功能将在后续阶段与账户功能一起开放
我们的基础检查i1 项中通过 1 项依据公开信息检查；尚未扫描代码
使用情况i尚未统计★ –

它能帮你做什么

我们还没有为它写通俗的介绍。下面是我们从注册中心读取到的事实。

连接方式: 在你的电脑上运行
传输方式: stdio
分类: 诊所与健康

安装

选择你使用的 AI 应用，然后复制设置。

安装之前

基础检查：1 项中通过 1 项
在你的电脑上运行，拥有你的用户账户的权限（文件、网络、应用）。
注册中心没有列出需要填写的密钥。

你需要

npm已安装 Node.js（用于 npx 命令）

你用的是哪个应用？

ClaudeClaude CodeCursorVS CodeChatGPT

在上方选择你的应用。我们会记住它，下次按钮会显示“安装到 …”。

打开 Claude Desktop → Settings → Developer → Edit Config，把下面的内容粘贴到 claude_desktop_config.json

{
  "mcpServers": {
    "metrillm": {
      "command": "npx",
      "args": [
        "-y",
        "metrillm-mcp"
      ]
    }
  }
}

在终端中运行这条命令

claude mcp add metrillm -- npx -y metrillm-mcp

在 Cursor 中打开

或者自己复制设置

粘贴到项目中的 .cursor/mcp.json，或 ~/.cursor/mcp.json

{
  "mcpServers": {
    "metrillm": {
      "command": "npx",
      "args": [
        "-y",
        "metrillm-mcp"
      ]
    }
  }
}

浏览器会先询问是否打开应用，然后应用会显示设置并请你确认。密钥的值会留空，由你自己填写。

在 VS Code 中打开

或者自己复制设置

粘贴到项目中的 .vscode/mcp.json

{
  "servers": {
    "metrillm": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y",
        "metrillm-mcp"
      ]
    }
  }
}

浏览器会先询问是否打开应用，然后应用会显示设置并请你确认。密钥的值会留空，由你自己填写。

这个服务器在你的电脑上运行，而 ChatGPT 只能连接互联网上的服务器。请选择其他应用。

你的选择通过 Cookie 保存在这台设备上，无需账户。

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同，请以 README 为准。

它能做什么

它在你的电脑上运行；安装后，工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息；我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月6日

✓ 通过
作者与仓库一致
注册名称已通过 GitHub 账户 MetriLLM 验证，该账户拥有此仓库
… 尚未检查
仍在维护
我们还没有从 GitHub 读取这个仓库
… 尚未检查
有许可证
我们还没有从 GitHub 读取这个仓库
– 不适用
端点有响应
它在你的电脑上运行，没有互联网端点
– 不适用
使用 OAuth 登录
在你的电脑上运行，改用本地设置
… 尚未检查
工具描述中没有隐藏指令
它在你的电脑上运行；我们只能读取互联网端点的工具列表

与“诊所与健康”中的其他服务器比较i

星标数多于此分类中其他 860 个服务器的 0%
发布到注册中心的时间比此分类中其他 860 个服务器的 3% 更新
基础检查结果等于或优于此分类中其他 860 个服务器的 100%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时，星标数才计入。

常见问题

Metrillm 安全吗？

它在 1 项适用的基础检查中通过了 1 项。我们没有阅读代码。在添加密钥或令牌之前，请先看看这个服务器要求哪些权限，并使用只具备所需权限的密钥。

它需要哪些密钥或代码？

注册中心没有列出必需的密钥，不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端？

它在你的电脑上运行。你的 AI 应用会在需要时启动它，数据不会经过作者的服务器（除非它自己调用在线服务）。

它还在维护吗？

GitHub 仓库最后更新于–，最新版本（0.2.6）于8个月前进入注册中心。

哪些应用可以使用它？

支持 MCP 的应用，例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Node.js。

有什么可以替代它？

同一分类中有：Mirobody, FHIR MCP Server, Google Health MCP

替代选择

同一分类中其他作者的服务器，按星标数排序。

如何看卡片：★ GitHub 星标i三大支柱：评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

Mirobody

作者：thetahealth

Lab results to LOINC codes and UCUM units, symptoms and diagnoses to ICPC-3. Offline, no API key.

在你的电脑上运行★ 1,408Apache-2.05天前更新

安装

FHIR MCP Server

作者：wso2

MCP server providing seamless access to FHIR APIs for AI tools and healthcare applications

在你的电脑上运行★ 137Apache-2.08天前更新

安装

Google Health MCP

作者：davidmosiah

Privacy-first unofficial Google Health API v4 MCP server for health, sleep, activity, HR agents

在你的电脑上运行★ 79MIT4个月前更新

安装

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

MetriLLM MCP Server

MCP (Model Context Protocol) server for MetriLLM — benchmark local LLMs directly from Claude Code, Cursor, Windsurf, Continue.dev, or any MCP-compatible client.

Quick Start

Claude Code

claude mcp add metrillm -- npx metrillm-mcp@latest

Claude Desktop

Add to claude_desktop_config.json:

"mcpServers": { "metrillm": { "command": "npx", "args": ["metrillm-mcp@latest"] } } }

Cursor / Windsurf / Continue.dev

Add to your editor's MCP configuration:

"mcpServers": { "metrillm": { "command": "npx", "args": ["metrillm-mcp@latest"] } } }

Prerequisites

Node.js >= 20
One local runtime available:
Ollama (ollama serve)
LM Studio (Local Server enabled)
At least one model available on the selected runtime

Available Tools

`list_models`

List all locally available LLM models.

Param	Type	Default	Description
`runtime`	`"ollama" \	"lm-studio"`	`"ollama"`	Inference runtime

Example response:

"models": [ { "name": "llama3.2:3b", "size": 2019393189, "parameterSize": "3.2B", "quantization": "Q4_K_M", "family": "llama" } ], "count": 1 }

`run_benchmark`

Run a full benchmark (performance + quality) on a local model.

Param	Type	Default	Description
`model`	`string`	(required)	Model name (e.g. `"llama3.2:3b"`)
`runtime`	`"ollama" \	"lm-studio"`	`"ollama"`	Inference runtime
`perfOnly`	`boolean`	`false`	If `true`, measure performance only (skip quality)

Example response:

"success": true, "model": "llama3.2:3b", "verdict": "GOOD", "globalScore": 65, "performance": { "tokensPerSecond": 42.5, "ttftMs": 120, "memoryUsedGB": 2.1, "memoryPercent": 13 }, "interpretation": "This model runs well on your hardware." }

`get_results`

Retrieve previous benchmark results stored locally.

Param	Type	Default	Description
`model`	`string`	(optional)	Filter by model name (substring match)
`runtime`	`"ollama" \	"lm-studio"`	`"ollama"`	Inference runtime

`share_result`

Upload a result to the public MetriLLM leaderboard.

Param	Type	Description
`resultFile`	`string`	Absolute path to the result JSON file

Uses official MetriLLM upload defaults out of the box.

Optional overrides for self-hosted/staging deployments:

METRILLM_SUPABASE_URL
METRILLM_SUPABASE_ANON_KEY
METRILLM_PUBLIC_RESULT_BASE_URL

Architecture

The MCP server is a thin wrapper around the existing MetriLLM CLI logic:

mcp/src/index.ts  → MCP entry point (stdio transport)

mcp/src/tools.ts → Tool definitions + calls to CLI modules ↓ ../src/core/ → CLI logic reused directly ../src/commands/ → CLI commands (bench, list)

No code duplication — the MCP server imports CLI modules directly.

Supported Runtimes

Runtime	Status
Ollama	Supported
LM Studio	Supported
MLX	Planned
llama.cpp	Planned
vLLM	Planned

The runtime parameter is present on every tool to prepare for multi-runtime support. Unimplemented runtimes return a clear error.

License

Apache License 2.0