impeccable
The design vocabulary for your coding agent. Steer with polish and bolder, review with critique and audit, catch AI slop before it ships.
Local, offline transcription, speakers, keyframes, on-screen text and review of any audio or video.
この種の作業を AI に教える Skill。これと一緒に使えます
The design vocabulary for your coding agent. Steer with polish and bolder, review with critique and audit, catch AI slop before it ships.
Editorial diagram design for Claude Code, Codex, GitHub Copilot, Cursor, Factory Droid, Qoder, and Pi. 45 diagram types. Self-contained HTML + SVG. No shadows. No Mermaid slop.
Create beautiful slides on the web using a coding agent's frontend skills
一覧は利用スコア(100 点満点)で並びます。内訳は次のとおり
| 人気 | 0/80 | GitHub スターか週間ダウンロード数。大きい方を 60、小さい方を 20 で数えます |
|---|---|---|
| 新しさ | 7/12 | 30 日以内のリリースかコード更新で満点 |
| 応答中 | 0/8 | 前回の確認でクラウドのエンドポイントが応答 |
| 利用スコア | 7/100 |
品質: 基本チェック 3/3 項目に合格(表示のみ、並び順には不使用) · 勢い: データなし (「急上昇」タブでのみ使用)
使っているAIアプリを選んで、設定をコピーしてください。
ひとことで AI にインストールしてもらう
Ollos MCP をインストールして。https://mcp.popnx.com/i/kelvinbiffi-ollos-mcp.md に従い、コマンドを見せて、私が OK するまで実行しないで。パソコンで作業できる AI(Claude Code や Cursor など)に貼り付けます。手順を読み、コマンドを見せて、あなたの OK を待ちます。キー不要・登録不要。 · AI が読む全文を見る
チェック 3/3 合格 · あなたのパソコンで動きます · ✓ コマンド確認済み 2026年11月14日
まず:どの AI を使っていますか?
使っているアプリを選ぶと、下に手順が表示されます。
Claude につなげますが、先に準備が必要です
先にパソコンへ Node.js を入れてください(1 回だけ) · パソコン版 Claude アプリ(Windows または Mac)のみ。Web やスマホでは使えません
このメッセージを Claude のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。
このパソコンの Claude に MCP server Ollos MCP を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "ollos": { "command": "npx", "args": [ "-y", "ollos-mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Ollos MCP のツールが本当に表示されるか確認する。このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。
もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter
node -vMac:⌘ + Space を押し、Terminal と入力して Enter
Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」
まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です
入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v
一度入れれば、Node.js を使うすべてのツールで使えます
SettingsDeveloperEdit Config
{
"mcpServers": {
"ollos": {
"command": "npx",
"args": [
"-y",
"ollos-mcp"
]
}
}
}Ollos MCP を使って、私に何ができるか教えて、1 つやってみせて✓ Claude が Ollos MCP を使っていると言うか、回答に Ollos MCP のツール名が出れば接続成功です
上のコマンドはこれらがなくても動きます。変えたいときだけ作者の説明に沿って追加してください。
OLLOS_HOME ジョブ、キャッシュ、モデルの配置場所。デフォルトは /.ollos OLLOS_OFFLINE 1 に設定すると、あらゆるネットワークアクセスを禁止します(モデルは事前にウォームアップしておく必要があります)。 OLLOS_YTDLP 動画サイトの URL 用 yt-dlp バイナリのパス(デフォルト: PATH から検索) OLLOS_YTDLP_ARGS Allow-listed yt-dlp flags, e.g. --no-check-certificates behind a TLS-intercepting proxy説明は自動翻訳です。変数名は原文のままです。迷ったら原文を確認してください。
メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
ChatGPT はまだ Ollos MCP につなげません
Ollos MCP はパソコンに入れて使うものですが、ChatGPT は Web 上で動くサーバーにしかつなげません
A · Ollos MCP につなげるアプリを使う
B · デザイン・画像・音声 の中で ChatGPT につなげる別のサーバー
同じカテゴリでよく使われているものから、キーなしでアドレスだけでつなげるものを選びました
Claude Code につなげますが、先に準備が必要です
先にパソコンへ Node.js を入れてください(1 回だけ)
このメッセージを Claude Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。
このパソコンの Claude Code に MCP server Ollos MCP を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):claude mcp add --scope user ollos -- npx -y ollos-mcp 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Ollos MCP のツールが本当に表示されるか確認する。このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。
もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter
node -vMac:⌘ + Space を押し、Terminal と入力して Enter
Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」
まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です
入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v
一度入れれば、Node.js を使うすべてのツールで使えます
Mac:Command+スペースで Terminal と入力 · Windows:PowerShell を開く
claude mcp add --scope user ollos -- npx -y ollos-mcpOllos MCP が一覧にあり、接続済みと表示されれば OK です
Ollos MCP を使って、私に何ができるか教えて、1 つやってみせて✓ Claude Code が Ollos MCP を使っていると言うか、回答に Ollos MCP のツール名が出れば接続成功です
上のコマンドはこれらがなくても動きます。変えたいときだけ作者の説明に沿って追加してください。
OLLOS_HOME ジョブ、キャッシュ、モデルの配置場所。デフォルトは /.ollos OLLOS_OFFLINE 1 に設定すると、あらゆるネットワークアクセスを禁止します(モデルは事前にウォームアップしておく必要があります)。 OLLOS_YTDLP 動画サイトの URL 用 yt-dlp バイナリのパス(デフォルト: PATH から検索) OLLOS_YTDLP_ARGS Allow-listed yt-dlp flags, e.g. --no-check-certificates behind a TLS-intercepting proxy説明は自動翻訳です。変数名は原文のままです。迷ったら原文を確認してください。
メニュー名は 2026年11月11日 に Anthropic のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
Cursor につなげますが、先に準備が必要です
先にパソコンへ Node.js を入れてください(1 回だけ)
このメッセージを Cursor のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。
このパソコンの Cursor に MCP server Ollos MCP を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "mcpServers": { "ollos": { "command": "npx", "args": [ "-y", "ollos-mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Ollos MCP のツールが本当に表示されるか確認する。このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。
もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter
node -vMac:⌘ + Space を押し、Terminal と入力して Enter
Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」
まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です
入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v
一度入れれば、Node.js を使うすべてのツールで使えます
Ollos MCP を使って、私に何ができるか教えて、1 つやってみせて✓ Cursor が Ollos MCP を使っていると言うか、回答に Ollos MCP のツール名が出れば接続成功です
上のコマンドはこれらがなくても動きます。変えたいときだけ作者の説明に沿って追加してください。
OLLOS_HOME ジョブ、キャッシュ、モデルの配置場所。デフォルトは /.ollos OLLOS_OFFLINE 1 に設定すると、あらゆるネットワークアクセスを禁止します(モデルは事前にウォームアップしておく必要があります)。 OLLOS_YTDLP 動画サイトの URL 用 yt-dlp バイナリのパス(デフォルト: PATH から検索) OLLOS_YTDLP_ARGS Allow-listed yt-dlp flags, e.g. --no-check-certificates behind a TLS-intercepting proxy説明は自動翻訳です。変数名は原文のままです。迷ったら原文を確認してください。
メニュー名は 2026年11月11日 に Cursor のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
VS Code につなげますが、先に準備が必要です
先にパソコンへ Node.js を入れてください(1 回だけ)
このメッセージを VS Code のチャットに貼り付けます。AI がパソコンを確認し、変更するファイルを伝え、毎回あなたの了承を待ちます。
このパソコンの VS Code に MCP server Ollos MCP を入れてください。順番に:1) node -v で Node.js があるか確認。なければ https://nodejs.org/en/download から入れるよう私に伝え、自分では入れない。2) この設定だけを使う(PopNx MCP の確認済み):{ "servers": { "ollos": { "type": "stdio", "command": "npx", "args": [ "-y", "ollos-mcp" ] } } } 3) 変更するファイルのフルパスか実行するコマンドを伝えて、私の了承を待つ。4) キーは不要。5) 了承した内容を実行し、Ollos MCP のツールが本当に表示されるか確認する。このメッセージにあなたのキーは含まれません。キーが必要な場合は、AI がファイルやアプリの入力欄にご自身で貼るよう案内します。
もう入っていますか?先に確認 · ターミナルを開き、このコマンドを入力して Enter
node -vMac:⌘ + Space を押し、Terminal と入力して Enter
Windows:スタートメニューを開き、Windows PowerShell と入力して「開く」
まだ入っていない場合: 公式ダウンロードページで LTS 版と、クリックで進むインストーラーを選びます:Mac は .pkg、Windows は .msi。ダブルクリックして最後まで進めるだけで、curl コマンドは不要です
入れ終わったらターミナルを閉じて開き直し、同じコマンドをもう一度実行します。バージョン番号が出れば完了です: node -v
一度入れれば、Node.js を使うすべてのツールで使えます
Ollos MCP を使って、私に何ができるか教えて、1 つやってみせて✓ VS Code が Ollos MCP を使っていると言うか、回答に Ollos MCP のツール名が出れば接続成功です
上のコマンドはこれらがなくても動きます。変えたいときだけ作者の説明に沿って追加してください。
OLLOS_HOME ジョブ、キャッシュ、モデルの配置場所。デフォルトは /.ollos OLLOS_OFFLINE 1 に設定すると、あらゆるネットワークアクセスを禁止します(モデルは事前にウォームアップしておく必要があります)。 OLLOS_YTDLP 動画サイトの URL 用 yt-dlp バイナリのパス(デフォルト: PATH から検索) OLLOS_YTDLP_ARGS Allow-listed yt-dlp flags, e.g. --no-check-certificates behind a TLS-intercepting proxy説明は自動翻訳です。変数名は原文のままです。迷ったら原文を確認してください。
メニュー名は 2026年11月11日 に VS Code のヘルプページで確認 · アプリのバージョンにより画面が少し違うことがあります
Windsurf、Zed、Gemini CLI など MCP を使える他のアプリは追加方法がそれぞれ違います。アプリ一覧で確認してください
JSON 設定は下の「開発者向け」にあります
Claude Code
claude mcp add --scope user ollos -- npx -y ollos-mcpClaude Desktop (claude_desktop_config.json)
{
"mcpServers": {
"ollos": {
"command": "npx",
"args": [
"-y",
"ollos-mcp"
]
}
}
}Cursor (~/.cursor/mcp.json)
{
"mcpServers": {
"ollos": {
"command": "npx",
"args": [
"-y",
"ollos-mcp"
]
}
}
}VS Code (mcp.json)
{
"servers": {
"ollos": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"ollos-mcp"
]
}
}
}OLLOS_HOME envOLLOS_OFFLINE envOLLOS_YTDLP envOLLOS_YTDLP_ARGS env説明は自動翻訳です。変数名は原文のままです。迷ったら原文を確認してください。
この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。
npm: ollos-mcpこのサーバーのつなぎ方と、各アプリの公式ドキュメントに基づきます。2026年11月10日に確認。
パソコン上で動かせるアプリ
ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast
パソコンで動くサーバーです。インストールすると、ツール一覧がAIアプリに表示されます。
誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月19日にチェック
レジストリ名は、リポジトリを所有するGitHubアカウント kelvinbiffi で確認済みです
コードの最終更新:2 か月前
Apache-2.0を使用
これはパソコンで動くため、インターネット上のエンドポイントはありません
パソコンで動き、代わりにローカルの設定を使います
パソコンで動くサーバーです。ツール一覧を読み取れるのは、インターネット上のエンドポイントがある場合だけです
OSV.dev に ollos-mcp@0.1.0 の登録はありません
このバージョンのパッケージ本体のみ確認。すべての依存関係ではありません · 確認日 2026年11月16日
作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。
[](https://mcp.popnx.com/en/servers/kelvinbiffi-ollos-mcp)質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。
まだレビューはありません
レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。
当てはまる基本チェック3項目のうち3項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。
レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。
あなたのパソコンで動きます。必要なときにAIアプリが起動し、データは作者のサーバーを通りません(サーバー自体がオンラインサービスを呼び出す場合を除きます)。
GitHubリポジトリの最終更新は2 か月前、最新バージョン(0.1.0)がレジストリに届いたのは2 か月前です。
Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。パソコンにNode.jsも必要です。
同じカテゴリには:HyperFrames by HeyGen, Pascal 3D Editor, draw.io, Figma MCP Server, Remocn: Remotion MCP server
同じカテゴリでほかの作者のもの。コマンドは確認済み。公式を先に、次にスター順。
カードの見方:↓ 週あたりのダウンロードi★ GitHubスターi3つの柱:レビュー · チェック · 利用状況i更新=最新バージョンをレジストリに公開した日i
Official HyperFrames by HeyGen: the best AI video editor in chat. Captions, motion graphics, MP4.
Create, inspect, validate, and save editable 3D building scenes with Pascal's MCP server.
Create draw.io diagrams in chat from Mermaid or XML, shown live and interactive. 10,000+ shapes.
The Figma MCP server brings Figma design context directly into your AI workflow.
Hosted MCP for Remotion videos: search Remocn components, read docs, plan a video, preview it.
| これ Ollos MCP | HyperFrames by HeyGen | Pascal 3D Editor | draw.io | Figma MCP Server | Remocn: Remotion MCP server | |
|---|---|---|---|---|---|---|
| 動く場所 | パソコンにインストールが必要 | クラウドで動き、インストール不要 | クラウドでもパソコンにインストールでも使える | クラウドで動き、インストール不要 | クラウドで動き、インストール不要 | クラウドで動き、インストール不要 |
| キーが必要 | いいえ | いいえ | いいえ | いいえ | いいえ | いいえ |
| Claude で + から追加 | いいえ | はい | いいえ | いいえ | はい | いいえ |
| 基本チェック | 3/3 | 4/4 | 5/5 | 4/4 | 4/4 | 4/4 |
| ライセンス | Apache-2.0 | Apache-2.0 | MIT | Apache-2.0 | – | MIT |
| 料金 | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし | 登録情報に費用の記載なし |
作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。
Eyes and ears for AI agents. Local, offline transcription, keyframes, on-screen text and a pre-publish review of any audio, video or image — as an MCP server, a CLI and a Node library. No Python, no cloud, no API key.
Docs: Tool reference · Design doc — decisions and measurements · Evaluation results · Contributing · Security · Changelog
11 minutes of screencast become 14 contact sheets and 3 KB of text. And it tells you if your API key is visible at 2:50.
npx ollos-mcp # MCP server on stdio
npx ollos review talk.mp4
*Ollos* is Galician for *eyes*.
Contents: Why · Install · Tools · Sources · CLI · Library · How it works · Evaluation · Requirements & performance · Privacy & security · Configuration · Troubleshooting · Known limits · Roadmap
Agents can't hear or watch. Today you either pay a transcription API, install a Python pipeline, or paste frames by hand. Ollos runs Whisper, speaker segmentation, perceptual-hash keyframing and OCR in Node, through ONNX Runtime, on your machine. The file never leaves it.
It was built for one workflow first — reviewing a screen recording before publishing — and grew into the general case: meetings, lessons, podcasts, downloaded videos.
Node 20+. npm install brings its own ffmpeg (ffmpeg-static); a system ffmpeg is used if present.
Claude Code
claude mcp add ollos -- npx -y ollos-mcp
or in the project's .mcp.json (the same JSON works for Claude Desktop's claude_desktop_config.json, Cursor's .cursor/mcp.json and Windsurf's mcp_config.json):
{
"mcpServers": { "ollos": { "command": "npx", "args": ["-y", "ollos-mcp"] } } }
VS Code — .vscode/mcp.json uses servers instead of mcpServers:
{
"servers": { "ollos": { "type": "stdio", "command": "npx", "args": ["-y", "ollos-mcp"] } } }
Claude Desktop reads ~/Library/Application Support/Claude/claude_desktop_config.json on macOS and %APPDATA%\Claude\claude_desktop_config.json on Windows. Environment variables (OLLOS_HOME, OLLOS_YTDLP, …) go in an env object next to args; use absolute paths, ~ is not expanded.
CLI
npm i -g ollos-mcp
ollos warmup # download the default ASR model and VAD (2.75 GB) ollos warmup --all # every model: fast ASR, speakers, search, OCR data (3.3 GB total) ollos doctor # check ffmpeg, models, free memory, cores
Models download on first use into ~/.ollos/models. Set OLLOS_OFFLINE=1 afterwards to forbid all network access.
Ten tools, one per distinct contract. Long work never blocks: it returns a jobId you poll.
| Tool | What it does |
|---|---|
ollos_probe | What the file really is: kind, duration, resolution, aspect (and which platforms it fits), codecs, tracks. Detects Zoom recording folders. Instant. |
ollos_transcribe | Whisper transcription with timestamps. Voice-activity gating skips silence; known hallucinations are filtered; vocabulary fixes domain terms. |
ollos_keyframes | The frames that carry information, packed into 3×3 timestamped contact sheets. Works on screen recordings where scene detection sees nothing. |
ollos_read_screen | OCR of on-screen text plus a secret scan: API keys, JWTs, .env lines, private deployment URLs. Always masked. |
ollos_review | Verdict before publishing: loudness vs platform, silences to cut, aspect ratio, secrets on screen. |
ollos_frames | Look at a sheet or a single frame as an image. |
ollos_diarize | Who spoke when: pyannote segmentation + WeSpeaker embeddings + clustering, with an 8-second voice clip per speaker so you can name them by ear. Uses Zoom per-participant tracks directly when present. *Experimental — see limits.* |
ollos_search | Hybrid BM25 + multilingual-embedding search over everything transcribed and read, fused by reciprocal rank. Returns passages with timestamps, never whole transcripts. |
ollos_job · ollos_cancel | Poll and stop jobs. Jobs live on disk and survive a server restart. |
Every parameter is documented in docs/TOOLS.md (one anchor per tool, e.g. ollos_transcribe); the tool descriptions the agent sees carry the same information.
source accepts a local path, a file:// URL, a Zoom local-recording folder (one audio track per participant), a direct https:// media URL, a video-site URL (YouTube, Instagram, TikTok, Vimeo, X, Loom… through yt-dlp) and a data: URI. URLs are downloaded once into the cache; the download runs inside the job and can be cancelled. Refused: private, loopback and link-local addresses on any redirect hop (OLLOS_ALLOW_PRIVATE=1 to allow), downloads over OLLOS_MAX_DOWNLOAD_MB, media over OLLOS_MAX_DURATION_SEC from any origin.
ollos transcribe "https://www.youtube.com/watch?v=eur8dUO9mvE" --lang en --from 0 --to 30
Tested commands, yt-dlp setup and proxy notes: examples/url-sources.md.
Results are concise by default and point to MCP resources (ollos://jobs/ /transcript, /ocr, /report, /sheet/ ) for the full artifacts, so a 2-hour meeting doesn't flood the context window. Pass format: "detailed" when you want it all.
ollos probe recording.mp4
ollos transcribe meeting.mp4 --lang pt --vocab "Claude Code,n8n,webhook" ollos keyframes lesson.mp4 --sensitivity normal --max-frames 120 ollos read-screen demo.mp4 ollos review episode.mp4 --platform youtube # exit 3 = block, 1 = warn or failure, 2 = usage error, 0 = ok ollos jobs · ollos job · ollos events · ollos cancel
Add --json for machine output.
import { createOllos, type TranscribeResult } from 'ollos-mcp'
const ollos = createOllos() const { job, result } = await ollos.transcribe({ source: 'talk.mp4', language: 'pt', vocabulary: ['MCP'] }) const transcript = result ?? (await ollos.wait (job.id)).result // inline when small, a job otherwise console.log(transcript?.segments[0])
More: examples/library.ts (every capability) and examples/library-url.ts (a YouTube URL as the source).
ollos-mcp/core has no MCP dependency: use it from n8n, a script, a Lambda.
Numbers below were measured on an 11:37 screencast (1890×1080, webcam overlay) on a 16-core laptop. They are why the design is what it is.
Transcription. Silero VAD marks speech; Whisper only sees speech (fewer hallucinations, 20–40% less work on meetings). whisper-large-v3-turbo at 1.7× real time got "MCP servers", "n8n", "VS Code" right where whisper-base (5.4×) got all three wrong. The one phonetic miss left ("Cloud Code") is fixed by vocabulary. Two Whisper sessions in parallel measured slower than one (0.6–1.0×), so ASR concurrency is 1 and speed comes from VAD and from running vision in parallel instead.
Anti-hallucination. Whisper doesn't go quiet on silence — it invents "Obrigado." and "Subtitles by the Amara.org community". Four filters, from production experience shared by the Vexa project: exact blocklist per language, repetition-loop collapse, no-speech gate, impossible speaking rate.
Keyframes. ffmpeg scene detection at 0.3 kept 4 frames in 11 minutes of screencast; mpdecimate removed 0% (the cursor and streaming text change every pixel). A 64-bit perceptual hash (dHash) at Hamming ≥ 6 kept 20% — one frame every 5–8 s — and that is the default. Hard cuts, transcript anchors and a 20-second floor fill the gaps.
OCR. Tesseract on a full 1890-px frame missed an on-screen URL entirely; on a 3× upscaled tile it read it whole at 90% confidence in 2.8 s. So OCR runs per tile, and URL-like text is re-joined when OCR splits it ("up. railway .app").
Secrets. Three signals, because OCR garbles the secret more often than the words around it. On a real "API Key Created" modal the plain JWT regex missed (OCR read eyJ as eyl), the entropy detector caught the 157-char token, and the UI context read at 66%. With an OCR-tolerant JWT pattern, native-resolution frames and a centre tile, the end-to-end run now reports it as high · jwt · near "API Key" → block. The first version also produced 58 false positives by running the entropy test on whitespace-stripped text; that is a regression test now. Values are always masked; the tool that warns about a leak must not be the leak.
Change-detected keyframes are the wrong tool for this specific check: a credential left on an unchanging screen for a minute contributes one dHash candidate, and a frame cap's prune step used to drop that one candidate on the same terms as a genuinely redundant frame — real miss, filed as #3. ollos_review's secrets check now reads the screen at a fixed 4-second cadence regardless of whether the picture changed, protects that guarantee through the frame cap (preserveFloor), and states the coverage it actually achieved in the finding — Read the full 11:37 at a 4s cadence on a normal-length recording, or an explicit Partial coverage: … note bounded by OLLOS_MAX_FRAMES on a very long one, instead of a clean verdict that silently checked less than it implied.
Speakers. Segmentation alone labelled three speakers on a one-person video (its ids are local to each 10-second window). Embedding every turn ≥ 1.5 s, average-linkage clustering at cosine 0.35, and absorbing tiny clusters brought it to one. The evaluation then showed the real failure mode: the same voice scores 0.58–0.86 against itself across positions and lengths, but 0.06–0.16 once background music is under it, so a jingle or an outro becomes its own "speaker" at any threshold. The tool stays experimental and says so in its output.
Jobs. Client timeouts are short (Messages API ~60 s). Every long tool returns a job handle; state lives in ~/.ollos/jobs/ /job.json, written atomically, with a 5-second heartbeat. On restart, orphaned jobs become interrupted instead of hanging forever. Small work (< 8 s estimated) runs inline and returns directly.
npm run eval runs ollos against public videos and writes eval/RESULTS.md. Reference transcripts are YouTube captions, so on auto-captioned fixtures WER is an agreement rate between two recognisers, not an absolute error.
| Fixture | Kind | Reference | WER | CER | Speakers (expected → found) |
|---|---|---|---|---|---|
| IBM Technology, *What is MCP?* (en, 3:46) | lightboard talk | professional captions | 1.4% | 0.5% | 1 → 2 (outro music) |
| Karine Lago, n8n assistant