Ffvoice

ffvoice-engine

🎙️ Offline speech-to-text & speaker diarization for AI agents — Whisper ASR, live captioning, an MCP server, a CLI and Python bindings. Fully on-device, no cloud API.

🎙️ 离线语音识别 + 说话人分离,AI Agent 开箱即用 —— Whisper 实时转写 · 实时字幕 · MCP server · CLI · Python 绑定 · 100% 本地运行,音频不上云。

---

Why ffvoice? / 为什么用 ffvoice？

The honest pitch: ffvoice is an integration layer, not a new ASR engine. It embeds whisper.cpp as-is and makes no changes to its accuracy or inference speed. What ffvoice adds is a batteries-included, pre-wired pipeline — microphone capture → RNNoise denoising → VAD segmentation → Whisper ASR → speaker diarization → live captions / WAV / FLAC / subtitles — delivered as a single C++ SDK with Python bindings, a CLI, and an MCP server that lets AI agents (Claude and others) transcribe audio out of the box — all in one pip install or cmake build.

诚实定位: ffvoice 是一个集成层，而非新的 ASR 引擎。它内嵌 whisper.cpp，不修改其识别精度或推理速度。ffvoice 带来的是一条开箱即用、预连接的完整管道——麦克风采集 → RNNoise 降噪 → VAD 分段 → Whisper ASR → 说话人分离 → 实时字幕 / WAV / FLAC / 字幕输出——打包成 C++ SDK + Python 绑定 + CLI，外加一个 MCP server,让 AI agent(Claude 等)开箱即用地转写音频——一条 pip install 或 cmake 即可完成。

Pain points it addresses / 解决的痛点

What ffvoice does NOT do / 不做什么

• ffvoice does not improve whisper.cpp's WER (word error rate) or speed. If Whisper tiny gives you 12% WER, ffvoice will too.
• ffvoice does not outperform sherpa-onnx or other optimized inference runtimes on raw transcription speed.
• ffvoice does not provide custom vocabulary or acoustic model fine-tuning.

If raw ASR accuracy or throughput is your primary concern, evaluate whisper.cpp directly or consider specialized runtimes. ffvoice's value is the integrated pipeline, not the ASR engine itself.

---

📋 项目介绍

ffvoice-engine 是一个轻量级、高性能的音频处理引擎，专注于实时音频采集、智能处理和语音识别。

🎯 使用场景

• 📝 会议记录 - 实时转写会议内容，说话人分离标注"谁说了什么"，自动生成字幕
• 🎓 在线教育 - 录制课程并生成字幕，支持多语言识别
• 🎙️ 播客制作 - 高质量音频录制 + RNNoise 降噪 + 自动字幕生成
• 🎵 音乐制作 - 低延迟音频采集，支持 FLAC 无损压缩
• 🤖 语音助手 - 实时语音识别和处理，构建本地 AI 语音应用
• 📡 直播字幕 - 边录边转写，生成实时字幕流

✨ 核心优势

vs 商业服务（Azure/Google Cloud Speech）:

• ✅ 完全离线 - 无需网络，保护隐私，零 API 费用
• ✅ 本地处理 - 无网络往返；端到端延迟取决于设备、模型与音频长度
• ✅ 开源免费 - MIT 协议，可商用

vs FFmpeg 命令行:

• ✅ 实时转写 - 边录边识别，支持 VAD 智能分段
• ✅ AI 降噪 - 集成 RNNoise 深度学习降噪
• ✅ C++ SDK - 可嵌入任何 C++ 应用，非黑盒工具

vs Python 方案（whisper-cli）:

• ✅ 原生管道 - C++20 实现，处理链无 Python 解释器与胶水开销
• ✅ 易部署 - 单一可执行文件，无 Python 环境依赖
• ✅ 同样的精度 - 内嵌 whisper.cpp，识别质量与上游一致（ffvoice 不改模型）

💡 技术亮点

• 🚀 零拷贝处理链 - 音频数据在内存中就地处理
• 🧠 智能 VAD 分段 - 基于 RNNoise VAD 的语音活动检测
• 🎯 高压缩比 - FLAC 无损压缩 2-3x，质量无损
• ⚡ whisper.cpp 推理 - 内嵌 whisper.cpp，Apple Silicon 上推理快于实时

核心特性

• ✅ 实时音频采集 - 低延迟麦克风/系统声音捕获 (PortAudio)
• ✅ 多格式输出 - WAV、FLAC 无损压缩
• ✅ 音频增强处理 - 音量归一化、高通滤波、RNNoise 降噪
• ✅ 离线语音识别 - Whisper ASR (tiny model，纯文本/SRT/VTT/JSON 四种格式，含词级时间戳)
• 🧪 滚动字幕流 - LiveCaptioner 输出 partial/final 事件；partial 会重复转写累计语音，不等同于增量流式解码
• ✅ 说话人分离 - Diarizer 离线 diarization（sherpa-onnx），自动标注"谁在何时说话"
• ✅ Agent 集成 - CLI + MCP server，AI agent 可直接调用本地离线语音能力

🏗️ 当前状态 (v0.8.3)

四个集成层路线图阶段全部交付，已发布到 PyPI（macOS / Linux / Windows，Python 3.10–3.14）。

完整历史见 CHANGELOG.md。

🚀 快速开始

依赖

• CMake 3.20+
• C++20 编译器（GCC 10+, Clang 12+, MSVC 2019+）
• FFmpeg 4.4+ (libavcodec, libavformat, libavutil, libswresample)
• PortAudio 19.7+ (音频采集)
• FLAC 1.5+ (无损压缩)
• whisper.cpp (可选，自动下载，用于语音识别)
• RNNoise (可选，自动下载，用于深度学习降噪)

macOS 安装：

brew install cmake ffmpeg portaudio flac

Linux (Ubuntu/Debian) 安装：

sudo apt-get install cmake build-essential \

libavcodec-dev libavformat-dev libavutil-dev libswresample-dev \ portaudio19-dev libflac-dev

Windows 安装：

# 使用 vcpkg 管理 C++ 依赖

1. 克隆 vcpkg（如果还没有）

git clone https://github.com/Microsoft/vcpkg.git C:\vcpkg C:\vcpkg\bootstrap-vcpkg.bat

2. 安装依赖包

C:\vcpkg\vcpkg install ffmpeg:x64-windows portaudio:x64-windows libflac:x64-windows

3. 设置环境变量（用于 CMake）

set CMAKE_TOOLCHAIN_FILE=C:\vcpkg\scripts\buildsystems\vcpkg.cmake

注意：Windows 用户也可以直接使用 PyPI 的预编译 wheels（推荐）

pip install ffvoice

编译

标准编译:

*Linux/macOS*:

mkdir build && cd build

cmake .. -DCMAKE_BUILD_TYPE=Release make -j$(nproc)

*Windows*:

mkdir build

cd build cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_TOOLCHAIN_FILE=C:\vcpkg\scripts\buildsystems\vcpkg.cmake cmake --build . --config Release

启用 RNNoise 降噪 (推荐，自动下载):

*Linux/macOS*:

mkdir build && cd build

cmake .. -DCMAKE_BUILD_TYPE=Release -DENABLE_RNNOISE=ON make -j$(nproc)

RNNoise 库会通过 CMake FetchContent 自动下载和编译

*Windows*:

# 注意：Windows 版本禁用 RNNoise（MSVC 不支持 VLA）

使用其他音频处理选项替代

启用 Whisper 语音识别 (推荐，自动下载):

*Linux/macOS*:

mkdir build && cd build

cmake .. -DCMAKE_BUILD_TYPE=Release -DENABLE_WHISPER=ON make -j$(nproc)

whisper.cpp 和 tiny 模型（39MB）会自动下载

*Windows*:

mkdir build

cd build cmake .. -DCMAKE_BUILD_TYPE=Release -DENABLE_WHISPER=ON -DCMAKE_TOOLCHAIN_FILE=C:\vcpkg\scripts\buildsystems\vcpkg.cmake cmake --build . --config Release

启用所有可选功能 (Linux/macOS):

cmake .. -DCMAKE_BUILD_TYPE=Release \

-DENABLE_RNNOISE=ON \ -DENABLE_WHISPER=ON make -j$(nproc)

使用

注意:

- Linux/macOS: 使用 ./build/ffvoice

- Windows: 使用 .\build\Release\ffvoice.exe

# 查看帮助

./build/ffvoice --help

生成测试 WAV 文件（440Hz A4 音符，3秒）

./build/ffvoice --test-wav test.wav

列出可用音频设备

./build/ffvoice --list-devices

录制 10 秒 WAV 音频（默认格式）

./build/ffvoice --record -o recording.wav -t 10

录制 30 秒 FLAC 音频（无损压缩）

./build/ffvoice --record -o recording.flac -t 30

使用最大压缩级别录制 FLAC

./build/ffvoice --record -o recording.flac --compression 8 -t 60

选择特定设备录制立体声

./build/ffvoice --record -d 1 -o stereo.wav --channels 2 -t 20

启用音频处理（音量归一化 + 高通滤波）

./build/ffvoice --record -o clean.wav --enable-processing -t 10

仅启用音量归一化

./build/ffvoice --record -o normalized.wav --normalize -t 10

自定义高通滤波频率（去除 100Hz 以下噪声）

./build/ffvoice --record -o filtered.flac --highpass 100 -t 20

组合：FLAC + 音频处理

./build/ffvoice --record -o studio.flac --normalize --highpass 80 -t 30

RNNoise 深度学习降噪（推荐用于语音录制，仅 Linux/macOS）

./build/ffvoice --record -o clean.wav --rnnoise -t 10

完整处理链（高通 + RNNoise + 归一化，仅 Linux/macOS）

./build/ffvoice --record -o studio.flac --highpass 80 --rnnoise --normalize -t 30

RNNoise + VAD (实验性，仅 Linux/macOS)

./build/ffvoice --record -o vad.wav --rnnoise-vad -t 20

播放录音

afplay recording.wav # 或 recording.flac

==================== 语音识别（需启用 ENABLE_WHISPER） ====================

转写音频文件为纯文本

./build/ffvoice --transcribe recording.wav -o transcript.txt

生成 SRT 字幕文件

./build/ffvoice --transcribe recording.wav --format srt -o subtitles.srt

生成 VTT 字幕文件

./build/ffvoice --transcribe recording.wav --format vtt -o subtitles.vtt

生成 JSON 转写文件（含分段级与词级时间戳）

./build/ffvoice --transcribe recording.wav --format json -o transcript.json

指定语言（中文）

./build/ffvoice --transcribe recording.wav --language zh -o transcript_zh.txt

转写 FLAC 文件

./build/ffvoice --transcribe recording.flac --format srt -o subtitles.srt

完整工作流：录制 + 音频处理 + 转写

./build/ffvoice --record -o speech.flac --highpass 80 --rnnoise --normalize -t 30 ./build/ffvoice --transcribe speech.flac --format srt -o speech.srt

==================== 实时语音识别（需启用 ENABLE_RNNOISE 和 ENABLE_WHISPER） ====================

边录边转写（实时模式）

./build/ffvoice --record -o speech.wav --rnnoise-vad --transcribe-live -t 60

实时转写 + 音频处理

./build/ffvoice --record -o speech.flac --rnnoise-vad --transcribe-live --highpass 80 --normalize -t 120

==================== 实时字幕流（需启用 ENABLE_WHISPER；LiveCaptioner） ====================

边说边出字幕：partial 字幕实时刷新，final 字幕断句落定

./build/ffvoice --record -o talk.wav --live-captions -t 60

调整 partial 字幕刷新间隔（毫秒）

./build/ffvoice --record -o talk.wav --live-captions --partial-interval 300 -t 60

==================== 说话人分离（需 -DENABLE_DIARIZATION=ON 构建） ====================

转写并标注说话人：每段带 speaker_id