MinerU
Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.
Cited knowledge graphs from local documents, extracted by small Ollama models on idle machines.
Originaltext des Herstellers
Skills, die der KI diese Art Arbeit beibringen; sie funktionieren zusammen mit diesem
Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.
A privacy-first app that strips AI watermarks from content you own.
Agent skills for Obsidian. Teach your agent to use Obsidian CLI and open formats including Markdown, Bases, JSON Canvas.
Listen sind nach einem Nutzungswert (von 100) aus diesen Teilen sortiert
| Beliebtheit | 4/80 | GitHub-Sterne oder wöchentliche Downloads: der größere Wert zählt 60, der kleinere 20 |
|---|---|---|
| Aktualität | 12/12 | Volle Punkte für Release oder Codeänderung in 30 Tagen |
| Antwortet noch | 0/8 | Der Cloud-Endpoint antwortete bei der letzten Prüfung |
| Nutzungswert | 16/100 |
Qualität: 3/3 Basisprüfungen bestanden (angezeigt, nicht zur Sortierung) · Schwung: Noch keine Daten (Nur im Tab Im Trend verwendet)
Wähle die KI-App, die du nutzt, und kopiere die Einstellungen.
Mit einem Satz von deiner KI installieren lassen
Installiere bitte Nightshift Grid. Folge https://mcp.popnx.com/i/redd34-nightshift-grid.md, zeig mir die Befehle und warte auf mein OK, bevor du sie ausführst.Füge ihn in eine KI ein, die auf deinem Rechner arbeitet (z. B. Claude Code oder Cursor). Sie liest unsere Schritte, zeigt dir die Befehle und wartet auf dein OK. Kein Schlüssel, keine Anmeldung. · Vollständigen Text ansehen
3/3 Prüfungen bestanden · Läuft auf deinem Computer · ✓ Befehle geprüft am 15. Nov. 2026
Zuerst: Welche KI nutzt du?
Wähle deine App, dann erscheinen die Schritte unten.
Klappt mit Claude, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal) · Nur in der Claude-App für den Computer (Windows oder Mac), nicht im Web oder auf dem Handy
Kopiere diese Nachricht in einen Claude-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server Nightshift Grid für Claude auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "nightshift-grid": { "command": "uvx", "args": [ "nightshift-grid" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von Nightshift Grid wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
SettingsDeveloperEdit Config
{
"mcpServers": {
"nightshift-grid": {
"command": "uvx",
"args": [
"nightshift-grid"
]
}
}
}Nutze Nightshift Grid und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Claude sagt, dass es Nightshift Grid nutzt, oder ein Werkzeug von Nightshift Grid in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
NIGHTSHIFT_URL Coordinator-URL. Nicht setzen, um das auf diesem Rechner mit nightshift up gestartete Grid zu verwenden. NIGHTSHIFT_TOKEN_FILE Datei mit dem Client-Token des Coordinators (nur bei Verwendung von NIGHTSHIFT_URL erforderlich). NIGHTSHIFT_MCP_ROOTS Ordner, aus denen der Server Dokumente lesen darf (Standard: das aktuelle Verzeichnis). Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
ChatGPT kann Nightshift Grid noch nicht verbinden
Nightshift Grid läuft auf deinem Computer, aber ChatGPT verbindet nur Server, die im Web laufen
A · Eine App nutzen, die Nightshift Grid verbinden kann
Klappt mit Claude Code, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen Claude Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server Nightshift Grid für Claude Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): claude mcp add --scope user nightshift-grid -- uvx nightshift-grid 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von Nightshift Grid wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Mac: Command+Leertaste drücken und Terminal tippen · Windows: PowerShell öffnen
claude mcp add --scope user nightshift-grid -- uvx nightshift-gridNightshift Grid sollte in der Liste als verbunden erscheinen
Nutze Nightshift Grid und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Claude Code sagt, dass es Nightshift Grid nutzt, oder ein Werkzeug von Nightshift Grid in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
NIGHTSHIFT_URL Coordinator-URL. Nicht setzen, um das auf diesem Rechner mit nightshift up gestartete Grid zu verwenden. NIGHTSHIFT_TOKEN_FILE Datei mit dem Client-Token des Coordinators (nur bei Verwendung von NIGHTSHIFT_URL erforderlich). NIGHTSHIFT_MCP_ROOTS Ordner, aus denen der Server Dokumente lesen darf (Standard: das aktuelle Verzeichnis). Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von Anthropic abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Klappt mit Cursor, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen Cursor-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server Nightshift Grid für Cursor auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "mcpServers": { "nightshift-grid": { "command": "uvx", "args": [ "nightshift-grid" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von Nightshift Grid wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
Nutze Nightshift Grid und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn Cursor sagt, dass es Nightshift Grid nutzt, oder ein Werkzeug von Nightshift Grid in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
NIGHTSHIFT_URL Coordinator-URL. Nicht setzen, um das auf diesem Rechner mit nightshift up gestartete Grid zu verwenden. NIGHTSHIFT_TOKEN_FILE Datei mit dem Client-Token des Coordinators (nur bei Verwendung von NIGHTSHIFT_URL erforderlich). NIGHTSHIFT_MCP_ROOTS Ordner, aus denen der Server Dokumente lesen darf (Standard: das aktuelle Verzeichnis). Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von Cursor abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Klappt mit VS Code, aber erst etwas vorbereiten
Installiere zuerst Python (uv) auf deinem Computer (nur einmal)
Kopiere diese Nachricht in einen VS Code-Chat. Die KI prüft deinen Rechner, sagt dir, welche Datei sie ändert, und wartet jedes Mal auf dein OK.
Installiere bitte den MCP server Nightshift Grid für VS Code auf diesem Rechner, in dieser Reihenfolge: 1) Prüfe uv mit uv --version. Fehlt es, sag mir, dass ich es von https://docs.astral.sh/uv/getting-started/installation/ installiere; installiere es nicht selbst. 2) Verwende nur diese Konfiguration (von PopNx MCP geprüft): { "servers": { "nightshift-grid": { "type": "stdio", "command": "uvx", "args": [ "nightshift-grid" ] } } } 3) Nenne mir den vollständigen Pfad der Datei, die du änderst, oder den Befehl, den du ausführst, und warte auf mein OK. 4) Kein Schlüssel nötig. 5) Führe das Vereinbarte aus und prüfe, dass die Tools von Nightshift Grid wirklich erscheinen.Diese Nachricht enthält keinen Schlüssel. Wird einer gebraucht, bittet dich die KI, ihn selbst in die Datei oder das Feld der App einzufügen.
Schon installiert? Zuerst prüfen · Öffne das Terminal, gib diesen Befehl ein und drücke Enter
uv --versionMac: ⌘ + Leertaste drücken, Terminal eingeben, Enter
Windows: Start öffnen, Windows PowerShell eingeben, dann Öffnen
Noch nicht installiert: uv hat keinen Klick-Installer. Kopiere den Einzeiler für dein System (macOS oder Windows) von der offiziellen uv-Seite ins Terminal · Python muss nicht extra installiert werden, uv lädt es bei Bedarf selbst
Download-Seite von uv öffnen ↗
Danach das Terminal schließen, neu öffnen und denselben Befehl erneut ausführen. Es muss eine Versionsnummer erscheinen: uv --version
Einmal installieren, gilt für alles, was uv braucht
VS Code fragt nach einer Bestätigung; klicke Install
Nutze Nightshift Grid und sag mir, was du für mich tun kannst; zeig mir dann eine Sache✓ Wenn VS Code sagt, dass es Nightshift Grid nutzt, oder ein Werkzeug von Nightshift Grid in der Antwort zeigt, bist du verbunden
Der Befehl oben funktioniert auch ohne diese Werte. Füge sie nur hinzu, wenn du etwas ändern willst, nach der Beschreibung des Autors.
NIGHTSHIFT_URL Coordinator-URL. Nicht setzen, um das auf diesem Rechner mit nightshift up gestartete Grid zu verwenden. NIGHTSHIFT_TOKEN_FILE Datei mit dem Client-Token des Coordinators (nur bei Verwendung von NIGHTSHIFT_URL erforderlich). NIGHTSHIFT_MCP_ROOTS Ordner, aus denen der Server Dokumente lesen darf (Standard: das aktuelle Verzeichnis). Beschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Menünamen am 11. Nov. 2026 mit der Hilfe von VS Code abgeglichen · dein Bildschirm kann je nach App-Version leicht abweichen
Claude Code
claude mcp add --scope user nightshift-grid -- uvx nightshift-gridClaude Desktop (claude_desktop_config.json)
{
"mcpServers": {
"nightshift-grid": {
"command": "uvx",
"args": [
"nightshift-grid"
]
}
}
}Cursor (~/.cursor/mcp.json)
{
"mcpServers": {
"nightshift-grid": {
"command": "uvx",
"args": [
"nightshift-grid"
]
}
}
}VS Code (mcp.json)
{
"servers": {
"nightshift-grid": {
"type": "stdio",
"command": "uvx",
"args": [
"nightshift-grid"
]
}
}
}NIGHTSHIFT_URL envNIGHTSHIFT_TOKEN_FILE envNIGHTSHIFT_MCP_ROOTS envBeschreibungen automatisch übersetzt; Variablennamen bleiben wie im Original. Im Zweifel das Original ansehen.
Diese Einstellungen werden aus dem Registry-Eintrag des Entwicklers erzeugt. Wenn in der README etwas anderes steht, folge der README.
pypi: nightshift-gridBasierend darauf, wie sich dieser Server verbindet, und auf der eigenen Doku jeder App, geprüft am 10. Nov. 2026.
Laufen auf deinem Computer in
ClaudeGooseLM StudioMsty StudioCherry StudioCursorVS Code + GitHub CopilotVisual StudioWindsurf (Devin Desktop)ZedKiroClineContinueJetBrains AI AssistantClaude CodeCodex CLIGemini CLIOpenCodenodecodeWarpLibreChatRaycast
Läuft auf deinem Computer; die Tool-Liste erscheint nach der Installation in deiner KI-App.
Wir prüfen Informationen, die jeder sehen kann; den Code haben wir nicht gelesen. Checks, die nicht zutreffen, werden nicht mitgezählt. · Geprüft am 20. Nov. 2026
Der Registry-Name wurde mit dem GitHub-Konto redd34 bestätigt, dem das Repo gehört
Code zuletzt geändert: vor 5 Tagen
Nutzt Apache-2.0
Dieser Server läuft auf deinem Computer; es gibt keinen Endpunkt im Internet
Läuft auf deinem Computer und nutzt stattdessen lokale Einstellungen
Läuft auf deinem Computer; Tool-Listen können wir nur von Endpunkten im Internet lesen
Keine Einträge auf OSV.dev für nightshift-grid@0.1.3
Prüft nur diese Paketversion, nicht alle Abhängigkeiten · geprüft 15. Nov. 2026
Wenn du das gebaut hast, füge diesen Code in dein README ein. Das Badge verlinkt auf diese Seite.
[](https://mcp.popnx.com/en/servers/redd34-nightshift-grid)Fragen, Tipps teilen oder melden, dass etwas nicht geht. Sortiert nach „hilfreich“.
Noch keine Beiträge. Stell die erste Frage oder teile einen Tipp.
Beiträge hier stammen von Nutzern, nicht vom PopNx-Team.
Noch keine Bewertungen
Verglichen mit allen aktiven Servern dieser Kategorie in der Registry. Sterne zählen nur, wenn dem Herausgeber das Repo gehört.
Er hat 3 von 3 zutreffenden Basischecks bestanden. Den Code haben wir nicht gelesen. Bevor du einen Schlüssel oder Token hinzufügst, sieh nach, welche Zugriffe der Server verlangt, und nutze einen Schlüssel, der nur die Berechtigungen hat, die du brauchst.
Die Registry nennt keinen erforderlichen Schlüssel, manche Server bitten dich aber bei der ersten Nutzung, dich anzumelden.
Er läuft auf deinem Computer. Deine KI-App startet ihn bei Bedarf, und die Daten laufen nicht über die Server des Entwicklers (außer der Server ruft selbst einen Onlinedienst auf).
Das GitHub-Repo wurde zuletzt vor 5 Tagen geändert, und die neueste Version (0.1.3) kam vor 5 Tagen in die Registry.
Apps, die MCP unterstützen, etwa Claude Desktop, Claude Code, Cursor und VS Code. Außerdem brauchst du Python (uv) auf deinem Computer.
In derselben Kategorie: Puter MCP, XcodeBuildMCP, Vexa, Atlassian Rovo MCP Server, Anki MCP Server
Gleiche Kategorie, andere Entwickler, Befehle bereits geprüft. Offizielle zuerst, dann nach Sternen.
So liest du eine Karte:↓ Downloads pro Wochei★ GitHub-SterneiDrei Säulen: Bewertungen · Checks · NutzungiAktualisiert = neueste Version in der Registry veröffentlichti
Puter MCP enables AI tools to interact with Puter: manage files, websites, workers, and more
XcodeBuildMCP provides tools for Xcode project management, simulator management, and app utilities.
Meeting bot and transcripts for Google Meet, Teams and Zoom. Live or after, speakers labelled.
Connect to Atlassian Jira, Confluence, Loom, and more to search, create, and manage your work.
MCP server for Anki flashcards: adaptive review, notes, media, and deck management via AnkiConnect.
| Dieser Nightshift Grid | Puter MCP | XcodeBuildMCP | Vexa | Atlassian Rovo MCP Server | Anki MCP Server | |
|---|---|---|---|---|---|---|
| Läuft wo | Wird auf deinem Rechner installiert | Läuft in der Cloud, keine Installation | Wird auf deinem Rechner installiert | Läuft in der Cloud, keine Installation | Läuft in der Cloud, keine Installation | Wird auf deinem Rechner installiert |
| Braucht Schlüssel | Nein | Nein | Nein | Ja | Nein | Nein |
| Mit + in Claude hinzufügen | Nein | Nein | Nein | Nein | Ja | Nein |
| Basisprüfungen | 3/3 | 4/4 | 3/3 | 2/4 | 4/4 | 3/3 |
| Lizenz | Apache-2.0 | AGPL-3.0 | MIT | Apache-2.0 | Apache-2.0 | MIT |
| Preis | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register | Keine Kosten im Register |
Unverändert aus dem Repo des Entwicklers übernommen. PopNx MCP hat den Inhalt weder geprüft noch empfiehlt es ihn. HTML, Bilder und Skripte wurden entfernt. Links führen von dieser Website weg.
Turn idle laptops, office PCs and legacy mini-PCs into a zero-CapEx, fault-tolerant local AI batch and GraphRAG cluster.
pipx install nightshift-grid # or: uv tool install nightshift-grid
nightshift up --mock --workers 3 # coordinator + 3 workers + live dashboard
A real (mock-inference) run recorded with scripts/record_demo.py. Benchmarks so far are from a single Mac; see Known limitations.
Nightshift Grid is a lightweight distributed compute engine ("SETI@home meets local enterprise MapReduce"). It harvests idle cycles across mixed local machines without slowing down the people using them.
It doesn't slice one giant model across slow LAN links, where Wi-Fi jitter destroys token throughput and one closed laptop lid kills the forward pass. Instead, every machine is a preemptible, fenced micro-worker running its own quantized small model (qwen3:4b, qwen2.5:3b, phi4-mini) via Ollama. A central coordinator hands out leased chunks. When a human touches the machine, the node yields immediately and its chunk moves to another node.
submit 24 chunks output_graph.jsonl
client ──────────────────────▶ Coordinator ───────────────────────▶ (1 record / chunk) │ ▲ lease(task_id, lease_id) / heartbeat 3s / complete / preempt ┌───────────────┼──┼────────────────┐ ▼ ▼ │ ▼ node-office-pc node-legacy-laptop node-mac-studio each: worker_daemon.py (Tier 2) (Tier 1) (Tier 3) + local Ollama
Most teams have gigabytes to terabytes of unstructured PDFs, logs and tickets that can't go to cloud APIs for cost or privacy reasons. Meanwhile the office PCs, laptops and mini-PCs that could process them sit mostly idle all day and fully idle overnight.
The common ways to pool local machines leave a gap for batch pipelines:
| Approach | Typical failure mode for batch work | Nightshift Grid |
|---|---|---|
| Tensor/layer splitting (one big model sharded across machines) | Bound by LAN serialization. One node dropping mid-pass stalls the whole request. | Each node runs a whole small model on independent chunks. A dropped node costs one chunk retry. |
| Stateless request routing (load-balance chat requests across nodes) | No durable job state, so a node dying mid-request fails that request. | Stateful MapReduce queue with fenced leases. Every chunk completes or is explicitly dead-lettered. |
| Dedicated inference pools | Machines must be handed over to the cluster. | Good-citizen harvesting: the human always wins and the grid backs off in milliseconds. |
Capability tiers decide what each node gets: Tier 1 (<8GB free) does embeddings and chunking, Tier 2 (8–24GB) does 3B–8B INT4 entity/relationship extraction, and Tier 3 (>24GB, or Apple Silicon with ≥16GB free) does heavy verification and synthesis.
A common trap when wrapping Ollama or llama.cpp in Python is breaking out of the token loop without closing the underlying socket. The server keeps generating, and the GPU stays pegged until the response finishes. A second trap is checking for user activity only when a token arrives. That leaves a blind spot while the model is loading weights or evaluating a long prompt.
Nightshift runs inference in its own asyncio task. An out-of-band activity watcher polls the chaos trigger file every 100ms and OS HID idle time every 500ms: IOKit HIDIdleTime read in-process on macOS (ioreg -c IOHIDSystem as a fallback), GetLastInputInfo on Windows, D-Bus or xprintidle on Linux. On activity it calls task.cancel(), which unwinds async with client.stream(...) and closes the connection, so Ollama stops generating.
Measured with qwen3:4b on Apple Silicon (GPU utilisation from IOKit, 250ms samples):
| Worker cancellation method | GPU utilisation afterwards |
|---|---|
| Stop the read loop, leave the response open | 84–94% until the model finishes |
Error raised inside async with client.stream | 0% by the first sample; next request ready in 0.04s |
Out-of-band task.cancel() (also covers model load and prompt eval) | 0% by the first sample |
Three workers (qwen3:4b, about 130 tok/s decode) processed a 24-chunk industrial-maintenance GraphRAG extraction job per phase, with auth enabled (python nightshift.py chaos-test --model qwen3:4b). All three workers ran on one Mac sharing one Ollama instance. Multi-machine runs are still to do.
| Chaos scenario / metric | Measured result |
|---|---|
Live human preemption (user returns mid-job on node-legacy-laptop) | 24/24 chunks in 47.3s, 0 failures |
| Activity → coordinator reclaims the lease (trigger file, 100ms poll) | 0.01–0.10s across runs (0.011s in the final run) |
| Lease reclaimed → re-assigned to another node | 0.8s |
| Activity → preempted chunk finished on the backup node | 5.2s |
| Work sent to the paused node while the human is active | 0 chunks |
Worker crash (SIGKILL node-office-pc mid-chunk) | 24/24 chunks in 45.8s |
SIGKILL → lease expiry (12s TTL) → re-assigned → done | 11.9s → +1.1s → 16.8s total |
Coordinator crash (SIGKILL coordinator mid-job, 3s outage, restart on same SQLite file) | 24/24 chunks in 46.4s, 24 attempts for 24 chunks (0 wasted) |
| Restart → ready; in-flight leases finished by their original holders | 0.23s; 2/2 |
Host CPU spike (busy-loop on all 16 cores mid-job, --max-host-cpu-pct 65) | 24/24 chunks in 54.4s; all 3 workers yielded (cpu_busy) in 1.9–2.7s, 0 leases while loaded, all resumed 2.1s after the load stopped |
| Unintended preemptions from the grid's own Ollama load (phases 1–3) | 0 |
| Auth (anonymous submit / worker token on client API / forged completion) | 401 / 401 / 401 |
| Output integrity (4 jobs) | 96/96 records, 0 missing, 0 duplicates, 434 triples |
With --native-idle-seconds, detection latency is bounded by the 500ms HID poll rather than the 100ms file poll. The HID path is covered by unit tests and live IOKit and ioreg reads. An end-to-end benchmark with real keyboard input is still to do, because synthesising HID events needs macOS Accessibility permission.
| Guarantee | Mechanism |
|---|---|
| No chunk lost | Every lease has a 12s TTL, extended by 3s heartbeats, and a reaper re-queues expired leases. Preemption and graceful SIGTERM hand leases back immediately. A worker can hold only one lease at a time. |
| Fenced leases (no split-brain) | Each assignment carries a unique lease_id. A partitioned or stalled worker can't heartbeat or complete a lease that was re-issued. The heartbeat reply (lease_valid: false) tells it to abort the zombie compute. |
| Race-free pull and pause | If a human returns while a pull is in flight, the new lease goes straight back. Preempt messages name their lease, so a late one can't revoke a newer lease. A paused node gets no work until it reports idle. |
| Dead-letter protection | Errors and lease expiries count toward MAX_FAILURES=3, after which the chunk is parked as FAILED. Human preemptions don't count as failures. |
| Clean graph output | Ollama structured outputs (a JSON schema) constrain decoding. normalize_extraction() coerces the output to [subject, RELATION, object] and canonicalises relation names (exceeded during → EXCEEDED_DURING) so edges merge across chunks. Reasoning tokens are disabled on thinking models (qwen3). Invalid output is a retryable failure. |
| Idempotent sink | output_graph.jsonl is fsynced per record and deduplicated by task_id, including across a coordinator restart or a failed fsync. Retried completions are no-ops. |
| Capability-aware scheduling | A worker serves the highest tier it's capable of first, so Tier 3 nodes aren't spent on Tier 1 work while Tier 3 work waits. Recovered chunks go to the front of the queue. |
| Survives coordinator crashes | Every state transition is journaled to SQLite (WAL) in one transaction. On restart, queue order, results and dead letters are recovered, and in-flight leases get a fresh TTL so workers that kept computing can still complete them. Workers retry completions for 30s to ride out the restart. About 11k durable transitions/s; a 50k-task job recovers in 0.3s. |
| Least-privilege auth | Separate bearer tokens for workers (/worker/*) and clients (/v1/*), so a compromised laptop can lease work but can't submit jobs or read results. Each worker registration gets a session secret (X-Nightshift-Session), so a live worker's id can't be hijacked. Constant-time comparison. Tokens come from files or env, never argv. Reused token files must be regular, owned by you and 0600 (no symlinks). The coordinator binds loopback by default and refuses a LAN bind without tokens. Browser Origin requests are refused, and in no-auth loopback mode untrusted Host headers are refused too (DNS-rebinding protection). |
| Good citizen beyond the keyboard | Workers also pause on battery power (--allow-battery to opt out) and under thermal throttling (macOS pmset, Linux sensors). They pause when *other* processes push host CPU over --max-host-cpu-pct (default 65; Ollama and co-located workers are excluded; sustain and hysteresis prevent flapping; the full process table is walked only every 30s, with new processes picked up on every 1s poll). They pause when free RAM drops under --min-free-ram-gb (default 2.0), evicting the model with keep_alive: 0; the resume threshold includes the model's size, so unloading can't cause a pause/reload loop. |
| Fail-closed idle sensing | With --native-idle-seconds, a worker that can't read HID idle time refuses to start (--allow-no-idle-sensor overrides). Sensors: macOS IOKit HIDIdleTime in-process (falling back to ioreg), Windows GetLastInputInfo, GNOME/Wayland Mutter and freedesktop ScreenSaver over D-Bus, X11 xprintidle. If a sensor dies at runtime, the worker pauses (idle_sensor_lost) rather than guessing. |
| Zero-config LAN discovery | worker_daemon.py --discover finds the coordinator over UDP broadcast. The reply carries an HMAC proof keyed by the worker token, so a rogue host can't impersonate the coordinator and harvest tokens. Replays fail (fresh nonce), two valid coordinators are an error, and responses are size-capped and rate-limited (not an amplifier). |
| Live vector index (optional) | --qdrant-url adds a Qdrant sink alongside the always-on JSONL. Writes are queued off the event loop, batched, embedded (nomic-embed-text, or a deterministic hash embedder) and upserted idempotently into nightshift_graph. Failures spool to disk and replay, and never fail a completion. One embedder per collection is enforced. |
| Preemption without lost work (Baton relay, opt-in) | With coordinator.py --relay