原型 · 预览版:收录官方注册中心里的全部服务器,每 30 分钟同步一次。使用 Google 登录即可撰写评价。原型 · 每 30 分钟更新
PopNx MCP为使用 AI 的人准备的 MCP 服务器 · 用大白话讲清楚 登录

llm-sidecar

作者:awaistechnologist版本 0.9.3i★ 1i在你的电脑上运行代码仓库 ↗
注册名称io.github.awaistechnologist/llm-sidecar

安装方法

能做什么

Local MCP server: web search, cited answers, fact-checking and routed inference. No API key.

作者提供的原文

  • 连接方式 在你的电脑上运行
  • 账号或密钥 无需密钥
  • 分类 搜索与 AI 记忆

可搭配使用

教 AI 做这类工作的 Skill,可与本项一起使用

timesfm

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

作者:google-research★ 35,6421 个 skill

Skill · 操作手册

Shadowbroker

Open-source intelligence for the global theater. Track everything from the corporate/private jets of the wealthy, and spy satellites, to seismic events in one unified interface. Hook an AI agent up to have it parse through data and find previously unseen correlations. The knowledge is available to…

作者:BigBodyCobain★ 11,6081 个 skill

Skill · 操作手册

google-maps-scraper

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

作者:gosom★ 8,2561 个 skill

Skill · 操作手册

为什么排在这里

列表按使用分(满分 100)排序,由以下部分组成

热度4/80GitHub 星标或每周下载量:较大的计 60,较小的计 20
新鲜度12/1230 天内有发布或代码更新得满分
仍在响应0/8上次检查时云端端点有响应
使用分16/100

质量: 基础检查通过 3/3 项(仅展示,不用于排序) · 上升势头: 暂无数据 (只用于“上升中”标签)

安装

选择你使用的 AI 应用,然后复制设置。

用一句话让 AI 帮你安装

请帮我安装 llm-sidecar。按照 https://mcp.popnx.com/i/awaistechnologist-llm-sidecar.md 操作,先把命令给我看,等我同意后再运行。

粘贴到能在你电脑上工作的 AI(如 Claude Code、Cursor)。它会读取我们的步骤,先给你看命令,等你同意。无需密钥,无需注册。 · 查看 AI 会读取的全文

通过 3/3 项检查 · 在你的电脑上运行 · ✓ 命令已检查 2026年11月18日

第一步:你用哪个 AI?

选择你用的应用,步骤会显示在下方。

可连接 Claude,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用

让 AI 帮你安装

把这段话复制到 Claude 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Claude 安装 MCP server llm-sidecar,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "mcpServers": { "llm-sidecar": { "command": "uvx", "args": [ "llm-sidecar" ] } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 llm-sidecar 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 打开电脑版 Claude 应用的设置文件

    SettingsDeveloperEdit Config

  3. 粘贴这些设置并保存文件

    {
      "mcpServers": {
        "llm-sidecar": {
          "command": "uvx",
          "args": [
            "llm-sidecar"
          ]
        }
      }
    }
  4. 退出 Claude 再重新打开

  5. 试一试

    用 llm-sidecar 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude 说正在使用 llm-sidecar,或回答中出现 llm-sidecar 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

ChatGPT 暂时无法连接 llm-sidecar

llm-sidecar 需要安装在你的电脑上,而 ChatGPT 只能连接在网上运行的服务器

你可以改用这些方式

A · 使用能连接 llm-sidecar 的应用

  • 需要先在电脑上安装 Python (uv)(只需一次) · 仅限电脑上的 Claude 应用(Windows 或 Mac),网页和手机不可用
  • 需要先在电脑上安装 Python (uv)(只需一次)
  • 需要先在电脑上安装 Python (uv)(只需一次)
  • 需要先在电脑上安装 Python (uv)(只需一次)

B · 搜索与 AI 记忆 类中能连接 ChatGPT 的其他服务器

从同类中使用较多的里挑选,仅限用地址即可连接、无需密钥的

可连接 Claude Code,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次)

让 AI 帮你安装

把这段话复制到 Claude Code 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Claude Code 安装 MCP server llm-sidecar,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):claude mcp add --scope user llm-sidecar -- uvx llm-sidecar 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 llm-sidecar 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 打开终端

    Mac:按 Command+空格,输入 Terminal · Windows:打开 PowerShell

  3. 粘贴这条命令并按 Enter

    claude mcp add --scope user llm-sidecar -- uvx llm-sidecar
  4. 在 Claude Code 中输入 /mcp

    应能看到 llm-sidecar 在列表中并显示已连接

  5. 试一试

    用 llm-sidecar 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Claude Code 说正在使用 llm-sidecar,或回答中出现 llm-sidecar 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Anthropic 帮助页面核实 · 你的界面可能因版本略有不同

可连接 Cursor,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次)

让 AI 帮你安装

把这段话复制到 Cursor 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 Cursor 安装 MCP server llm-sidecar,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "mcpServers": { "llm-sidecar": { "command": "uvx", "args": [ "llm-sidecar" ] } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 llm-sidecar 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 点击这个按钮打开 Cursor

    在 Cursor 中打开

    Cursor 会请你确认安装,点击 Install

  3. 在 Cursor 中以 Agent 模式打开 AI 聊天

  4. 试一试

    用 llm-sidecar 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 Cursor 说正在使用 llm-sidecar,或回答中出现 llm-sidecar 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 Cursor 帮助页面核实 · 你的界面可能因版本略有不同

可连接 VS Code,但需要先准备

需要先在电脑上安装 Python (uv)(只需一次)

让 AI 帮你安装

把这段话复制到 VS Code 的对话里。AI 会先检查电脑,告诉你要改哪个文件,并且每次都等你同意。

请在这台电脑上为 VS Code 安装 MCP server llm-sidecar,按顺序:1) 用 uv --version 检查是否有 uv。没有的话,请让我从 https://docs.astral.sh/uv/getting-started/installation/ 安装,不要自己安装。2) 只使用这份配置(已通过 PopNx MCP 检查):{ "servers": { "llm-sidecar": { "type": "stdio", "command": "uvx", "args": [ "llm-sidecar" ] } } } 3) 告诉我要修改的文件完整路径或要运行的命令,等我同意。4) 不需要密钥。5) 按约定执行,然后确认 llm-sidecar 的工具真的出现了。

这段话不包含你的密钥。如果需要密钥,AI 会请你自己粘贴到文件或应用的输入框里。

  1. 安装 uv(如果还没有)

    已经装好了吗?先检查 · 打开终端,输入这条命令后按 Enter

    uv --version
    • 显示版本号(例如 uv …)= 已安装,可跳过这一步
    • 显示 "command not found"(Windows 显示 "is not recognized")= 还没安装,或刚装好但需要关掉终端再重新打开
    怎么打开终端

    Mac:按 ⌘ + Space,输入 Terminal 后按 Enter

    Windows:打开“开始”菜单,输入 Windows PowerShell,然后选“打开”

    还没安装: uv 没有点选式安装程序。从 uv 官方页面复制适合你系统(macOS 或 Windows)的一行命令,粘贴到终端 · 不需要单独安装 Python,uv 会在需要时自动下载

    打开 uv 下载页 ↗

    装好后关掉终端再打开,重新运行同一条命令,应显示版本号: uv --version

    安装一次,所有需要 uv 的工具都能用

  2. 点击这个按钮打开 VS Code

    在 VS Code 中打开

    VS Code 会请你确认安装,点击 Install

  3. 在 VS Code 中以 Agent 模式打开 AI 聊天

  4. 试一试

    用 llm-sidecar 告诉我你能帮我做什么,然后做一件给我看

    ✓ 如果 VS Code 说正在使用 llm-sidecar,或回答中出现 llm-sidecar 的工具名称,就表示连接成功

菜单名称已于 2026年11月11日 对照 VS Code 帮助页面核实 · 你的界面可能因版本略有不同

其他支持 MCP 的应用(如 Windsurf、Zed、Gemini CLI)添加方式各不相同,请在应用列表中查看

查看所有支持 MCP 的应用 →

JSON 设置在下方“开发者专用”中

卡住了?问问正在用 llm-sidecar 的人💬 讨论 →
开发者专用:终端命令和 JSON 设置

安装在电脑上

Claude Code

claude mcp add --scope user llm-sidecar -- uvx llm-sidecar

Claude Desktop (claude_desktop_config.json)

{
  "mcpServers": {
    "llm-sidecar": {
      "command": "uvx",
      "args": [
        "llm-sidecar"
      ]
    }
  }
}

Cursor (~/.cursor/mcp.json)

{
  "mcpServers": {
    "llm-sidecar": {
      "command": "uvx",
      "args": [
        "llm-sidecar"
      ]
    }
  }
}

VS Code (mcp.json)

{
  "servers": {
    "llm-sidecar": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "llm-sidecar"
      ]
    }
  }
}

这些设置是根据作者在注册中心的条目生成的。如果 README 的写法不同,请以 README 为准。

一览

每周下载量i
124/周
连接方式
在你的电脑上运行
最新版本i
0.9.3
发布到注册中心i
2026年11月18日
代码最后更新i
2026年11月18日
作者
awaistechnologist
软件包
pypi: llm-sidecar
注册状态
活跃

哪些应用可以使用它

依据这个服务器的连接方式和各应用自己的文档,检查于 2026年11月10日。

在你的电脑上运行,适用于

ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast

全部应用及其优缺点 →

它能做什么

它在你的电脑上运行;安装后,工具列表会显示在你的 AI 应用中。

基础检查i

我们检查的是任何人都能看到的信息;我们没有阅读代码。不适用的检查项不计入总数。 · 检查于 2026年11月21日

  • ✓ 通过

    作者与仓库一致

    注册名称已通过 GitHub 账户 awaistechnologist 验证,该账户拥有此仓库

  • ✓ 通过

    仍在维护

    代码最后更新于3天前

  • ✓ 通过

    有许可证

    使用 MIT

  • – 不适用

    端点有响应

    它在你的电脑上运行,没有互联网端点

  • – 不适用

    使用 OAuth 登录

    在你的电脑上运行,改用本地设置

  • … 尚未检查

    工具描述中没有隐藏指令

    它在你的电脑上运行;我们只能读取互联网端点的工具列表

已公开的漏洞(OSV.dev)

尚未检查

我们检查什么 → · JSON

作者:申请重新检查或报告信息错误
给作者:在 README 中加徽章

如果你是作者,可把这段代码贴到 README。徽章会链接回本页。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/awaistechnologist-llm-sidecar.svg)](https://mcp.popnx.com/en/servers/awaistechnologist-llm-sidecar)

讨论

提问、分享技巧或报告无法使用。按“有帮助”数量排序。

还没有帖子,欢迎第一个提问或分享。

此处内容由用户撰写,不代表 PopNx 团队。

登录后发帖

用户评价

还没有评价

登录后写评价

与“搜索与 AI 记忆”中的其他服务器比较i

  • 星标数多于此分类中其他 6535 个服务器的 77%
  • 发布到注册中心的时间比此分类中其他 6535 个服务器的 94% 更新
  • 基础检查结果等于或优于此分类中其他 6535 个服务器的 99%

与注册中心里这个分类中所有活跃的服务器比较。只有当发布者拥有该仓库时,星标数才计入。

常见问题

llm-sidecar 安全吗?

它在 3 项适用的基础检查中通过了 3 项。我们没有阅读代码。在添加密钥或令牌之前,请先看看这个服务器要求哪些权限,并使用只具备所需权限的密钥。

它需要哪些密钥或代码?

注册中心没有列出必需的密钥,不过有些服务器会在首次使用时要求你登录。

它在我的电脑上运行还是在云端?

它在你的电脑上运行。你的 AI 应用会在需要时启动它,数据不会经过作者的服务器(除非它自己调用在线服务)。

它还在维护吗?

GitHub 仓库最后更新于3天前,最新版本(0.9.3)于3天前进入注册中心。

哪些应用可以使用它?

支持 MCP 的应用,例如 Claude Desktop、Claude Code、Cursor 和 VS Code。你的电脑上还需要有 Python (uv)。

有什么可以替代它?

同一分类中有:OpenSEO, Exa, Microsoft Learn MCP, Docs, COTAL actions (cotal.ai)

功能相近的其他选择

同一分类、其他作者、命令已通过检查。官方的排在前面,再按星标排序。

如何看卡片:↓ 每周下载量i★ GitHub 星标i三大支柱:评价 · 检查 · 使用情况i更新 = 最新版本发布到注册中心的时间i

OpenSEO

Keyword research, site audits, rank tracking and AI visibility for your AI agent.

作者:every-app广泛使用★ 2.8万7天前更新

在云端运行✓ everyapp.com

Exa

Official Exa MCP for web search, content fetching, and multi-step research.

作者:exa-labs广泛使用★ 5245昨天更新

在云端运行✓ 服务方 · exa.aiPopNx 团队已实际试用

Microsoft Learn MCP

Official Microsoft Learn MCP Server – real-time, trusted docs & code samples for AI and LLMs.

作者:MicrosoftDocs广泛使用★ 200212个月前更新

在云端运行✓ 服务方 · microsoft.comPopNx 团队已实际试用

Docs

Search and read Empryo's documentation. Read-only, no auth, no local access.

作者:proxysoul正在增长★ 16293个月前更新

在云端运行✓ empryo.com
与相似项目对比
本项
llm-sidecar
OpenSEOExaMicrosoft Learn MCPDocsCOTAL actions (cotal.ai)
运行位置需要安装在电脑上在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装在云端运行,无需安装
需要密钥否否否否否否
可在 Claude 中按 + 添加否是是是否否
基础检查3/35/52/44/44/44/4
许可证MITMITMITCC-BY-4.0NOASSERTIONApache-2.0
价格登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用登记中未列出费用

作者的 README

打开 README

按原文从作者的仓库复制。PopNx MCP 没有审查或背书其内容。HTML、图片和脚本已被移除。链接会离开本站。

llm-sidecar

A local sidecar that gives every tool on your machine grounded, cited, routed AI — and never asks you which model to use.

One process. It picks a working model, searches the web, reads pages, checks facts, and tells you what everything cost. Works with no API key at all if you have Ollama; works better with one.

$ llm-sidecar answer "What is Iran's population?"

As of mid-2026, Iran's population is estimated at 93,168,497 (Worldometer, based on UN 2024 Revision). The 2025 estimate from Wikipedia is 92,417,681.

Caveat: Sources differ by year and methodology: Worldometer (2026 mid-year) gives 93.17 million; Wikipedia (2025 est.) gives 92.42 million.

Sources: · https://en.wikipedia.org/wiki/Demographics_of_Iran · https://www.worldometers.info/world-population/iran-population/

That came from the live web, not training data, and it says where it got it — including that the sources disagree. Ask something the web can't settle and it tells you, instead of guessing.

It is not instant: a grounded answer means a search, two or three page fetches and a model call, so expect tens of seconds — more on free models, which are slow and sometimes have to be rotated past.

Status: early (0.6.0). The API may still move. Extracted from

Agora, where the routing and

verification were originally built and proven.


Install

brew install pipx

pipx ensurepath exec $SHELL pipx install llm-sidecar

On Linux use apt install pipx instead of brew. That is the whole install — no extras to remember, every door works.

The third line matters: pipx ensurepath edits your shell config, and cannot change a shell that is already running. exec $SHELL reloads it. Without that you get command not found: llm-sidecar even though the install succeeded.

Add an OpenRouter key if you want free cloud models. Without one it runs entirely on Ollama.

llm-sidecar config key sk-or-your-key --save

llm-sidecar status

"command not found: pip" , or "externally-managed-environment"

Neither is broken — both are modern Python on macOS and Linux behaving as designed, and they are the reason this page says pipx.

`pip` is not a command on most Macs. Homebrew installs pip3, not pip. PyPI's install line is boilerplate it prints for every package; it doesn't know what your Python looks like.

`pip3 install` then refuses anyway, with error: externally-managed-environment. Since PEP 668, distributions mark their Python as off-limits to global installs, because system tooling depends on it and one bad upgrade breaks the OS.

pipx exists for exactly this. It creates a private virtualenv per tool and puts just the command on your PATH, so nothing global changes. It is the standard way to install a Python application, as opposed to a library.

For a library in your own project, pip is still right — inside that project's virtualenv:

python3 -m venv .venv

./.venv/bin/pip install llm-sidecar

</details>

Run it as a service

A sidecar you have to remember to start isn't one:

llm-sidecar service install     # launchd on macOS, systemd on Linux

Starts at login, restarts if it dies, logs to ~/Library/Logs/llm-sidecar.log. service status and service uninstall do what they say. Or just llm-sidecar serve in a terminal when you want it.

Now every tool on the machine can reach it:

export OPENAI_BASE_URL=http://localhost:4001/v1    # any OpenAI-compatible tool

export OPENAI_API_KEY=unused # the format demands the field

...and the dashboard is at http://localhost:4001.

From source

git clone https://github.com/awaistechnologist/llm-sidecar

cd llm-sidecar && ./install.sh && ./run.sh # Windows: install.bat, run.bat

install.sh reports what your machine can actually reach — Ollama and how many models, whether a key is set, whether Docker is around for SearXNG — and prints the MCP config with your real paths filled in.

Note that a clone under ~/Documents or ~/Desktop cannot be run as a launchd service: macOS keeps those behind a privacy prompt that background processes never receive. service install detects this and tells you rather than leaving a crash loop behind.

What it does

`answer`Ask a question → searches, reads the pages, answers from those pages only, with citations. Says "not in the sources" rather than guessing.
`verify`Grade claims against live evidence: supported / contradicted / unverified, each cited. Unresolved claims are re-checked against full page text.
`fact_check`Pull every claim out of a document and verify each one.
`complete` / `stream`Routed inference. Local, free cloud, or paid — you don't name a model.
`search` / `read_url`Keyless web search, and full page text with the navigation stripped.
`embed` / `rank`Text to vectors, and candidates ordered by similarity. Real semantic matching instead of substring matching.
`summarise` / `classify` / `extract`Bounded structured work at temperature 0, so it's repeatable and cached.
hardware advisorWhich of your Ollama models actually fit in RAM, before one crawls in swap.
usage ledgerWhat you spent, on which model, over time.

Why it exists

Most "LLM router" projects answer *which provider should this call go to*. That's plumbing. The point here is the layer above it: capabilities that are hard to build well and that every tool re-implements badly — grounded search, cited verification — sharing one routing, budget and cost substrate.

The routing does earn its keep in one specific way: a catalogue entry is not a working model. Free tiers throttle, checkpoints get retired, endpoints start returning empty completions. So before handing back a model, the picker spends one tiny call proving it answers *right now*.


Four ways in

Same core, four doors, because the consumers can't use each other's interface.

Library
from llm_sidecar import Sidecar

sc = Sidecar()

a = sc.answer("What shipped in Python 3.14?") if a.grounded: # False = the sources didn't settle it print(a.text, a.sources)

sc.verify(["The Eiffel Tower is in Berlin"]) # → contradicted, cited sc.fact_check(article) # extract claims, verify each sc.summarise(text, style="bullets", focus="security") sc.classify(tickets, labels=["bug", "feature", "question"]) sc.extract(invoice, {"total": "amount with currency", "due_date": "ISO date"})

sc.complete("Explain CRDTs") # routes itself sc.complete(messages=[...]) # real multi-turn sc.complete_many([p1, p2, p3]) # concurrent, ordered await sc.acomplete("...")

Semantic similarity — vectors, not substring matching

sc.rank("senior python backend engineer", [cv_a, cv_b, cv_c]) # ordered, scored sc.similarity("a golden retriever", "a puppy") # 0.86 sc.embed(["one", "two"]) # raw vectors

Guaranteed-shape output, enforced by the provider rather than parsed and hoped

sc.complete("Rate this candidate", schema={ "type": "object", "properties": {"score": {"type": "integer"}, "reason": {"type": "string"}}, "required": ["score", "reason"], })

sc.local_models() # your Ollama models, scored against this machine sc.usage(days=30) # what you spent sc.status() # everything at once

HTTP daemon — for any tool, in any language
llm-sidecar serve

export OPENAI_BASE_URL=http://localhost:4001/v1 export OPENAI_API_KEY=unused # the format demands the field

It speaks the chat-completions format every provider copied from OpenAI. That format is a de facto standard, not a vendor tie — Ollama and OpenRouter accept the identical request shape, which is why routing between them is a URL swap. The variable is named after OpenAI because the openai SDK reads it; other tools call the same setting --openai-api-base, apiBase, or "Base URL".

The `model` field is a request, not an instruction. A tool that hardcodes gpt-4o gets a verified working model and never finds out:

$ curl -s localhost:4001/v1/chat/completions -d '{"model":"gpt-4o", ...}'

{"model": "nvidia/nemotron-3-ultra-550b-a55b:free", ..., "x_sidecar": {"cost_usd": 0.0, "local": false, "cached": false}}

Beyond the standard surface: /v1/answer, /v1/verify, /ops/* for each capability, /status, /usage, /resolve-preview, /config/*. Swagger at /docs.

MCP — for agents

Nothing to install first:

{"mcpServers": {"llm-sidecar": {

"command": "uvx", "args": ["--from", "llm-sidecar", "llm-sidecar-mcp"]}}}

Or, after pipx install llm-sidecar:

{"mcpServers": {"llm-sidecar": {"command": "llm-sidecar-mcp"}}}

Both are copy-pasteable as they stand — no path to fill in.

17 tools, grouped by what they are for.

Evidence and verification: search_web · answer_question · read_url · verify_claims · extract_claims · fact_check_document

Bounded structured work: summarise · classify · extract_fields · delegate

Images, on Apple Silicon with the [images] extra: list_image_profiles · generate_image · edit_with_references · upscale_image

Housekeeping: usage_report · sidecar_status · whats_new

whats_new(since=" ") is how an agent finds out what changed without anyone telling it — see Finding out what changed.

Note what's *not* there: a general "call an LLM" tool. An MCP client is already a model, so exposing inference to it is close to a no-op. What it can't do for itself is fetch live evidence and grade claims against it. delegate is the exception — it's for offloading bulk work to something cheap.

CLI
llm-sidecar answer "who currently runs the ECB?"   # non-zero exit if ungrounded

llm-sidecar verify "the Great Wall is visible from space" llm-sidecar sum report.md --style bullets llm-sidecar models # local models vs your RAM llm-sidecar usage --days 30 llm-sidecar searxng up # better search, one command


How a model gets chosen

Two questions, always. Tier = how capable. Budget = what it may cost. They are independent.

What each capability asks for
  verify · fact_check · summarise · classify        ┐

extract · extract_claims · delegate ├──► tier "fast" ┘ bulk work, cheap

answer · chat · complete() ───► tier "balanced"

budget is always your configured default unless you pass one.

There is no separate "chat model". One picker serves everything, so changing a key or a budget changes every capability at once.

The resolution order

Four checks, first match wins.

  ① model="ollama/qwen2.5:32b" given?   ──yes──►  use it. never rotated.

(or "claude/opus", or any exact id) │ no ② is this tier LOCKED to a m

只显示了开头部分;其余内容请在仓库中阅读