Deskwright

Name: Deskwright
Author: tristanmuzzu

作者：tristanmuzzuバージョン 0.1.1i★ –iパソコンで動く

レジストリ名io.github.tristanmuzzu/deskwright

インストール

概要

作者による説明（英語の原文）

Agents use real GNOME/Wayland apps: on your screen, or an invisible second desktop you never see

PopNx MCPの3つの柱

この3つを1つのスコアにまとめることはしません。意見、測定、人気はそれぞれ別のものだからです。

利用者の声iレビューはまだありませんレビューは今後のステップで、アカウント機能と一緒に始まります
私たちの基本チェックi1項目中1項目に合格公開情報からチェック。コードはまだスキャンしていません
利用状況i未計測★ –

できること

このサーバーのやさしい解説はまだ書いていません。以下はレジストリから読み取った事実です。

接続方法: パソコンで動く
トランスポート: stdio
カテゴリ: その他

インストール

使っているAIアプリを選んで、設定をコピーしてください。

インストールの前に

基本チェック：1項目中1項目に合格
あなたのパソコンで、あなたのユーザーと同じ権限（ファイル、ネットワーク、アプリ）で動きます。
自分で入力するもの： DESKWRIGHT_SESSION, DESKWRIGHT_INPUT_BACKEND

必要なもの

PyPIPythonのuvのインストール（uvxコマンドに必要）

どのアプリを使っていますか？

ClaudeClaude CodeCursorVS CodeChatGPT

上でアプリを選んでください。選んだアプリを覚えておくので、次からはボタンに「…にインストール」と表示されます。

Claude Desktop → Settings → Developer → Edit Config を開き、claude_desktop_config.json にこれを貼り付けます

{
  "mcpServers": {
    "deskwright": {
      "command": "uvx",
      "args": [
        "deskwright"
      ],
      "env": {
        "DESKWRIGHT_SESSION": "your-value",
        "DESKWRIGHT_INPUT_BACKEND": "your-value"
      }
    }
  }
}

ターミナルでこれを実行します

claude mcp add deskwright --env DESKWRIGHT_SESSION=your-value --env DESKWRIGHT_INPUT_BACKEND=your-value -- uvx deskwright

動かす前に、空欄の値を入力してください。

Cursorで開く

または、設定を自分でコピーする

プロジェクトの .cursor/mcp.json、または ~/.cursor/mcp.json に貼り付けます

{
  "mcpServers": {
    "deskwright": {
      "command": "uvx",
      "args": [
        "deskwright"
      ],
      "env": {
        "DESKWRIGHT_SESSION": "your-value",
        "DESKWRIGHT_INPUT_BACKEND": "your-value"
      }
    }
  }
}

ブラウザがアプリを開いてよいか確認し、そのあとアプリが設定を表示して確認を求めます。キーの値は空欄のままなので、自分で入力してください。

VS Codeで開く

または、設定を自分でコピーする

プロジェクトの .vscode/mcp.json に貼り付けます

{
  "servers": {
    "deskwright": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "deskwright"
      ],
      "env": {
        "DESKWRIGHT_SESSION": "your-value",
        "DESKWRIGHT_INPUT_BACKEND": "your-value"
      }
    }
  }
}

これはパソコンで動くサーバーですが、ChatGPTがつなげるのはインターネット上のサーバーだけです。ほかのアプリを選んでください。

選んだアプリは、この端末のCookieに保存されます。アカウントは不要です。

自分で入力する値

DESKWRIGHT_SESSION env
Which desktop to drive: 'primary' (the screen you are looking at), 'headless' for an invisible virtual-monitor session, or 'headless: ' to pick one of several.
DESKWRIGHT_INPUT_BACKEND env
Force the input path: 'mutter' for GNOME's org.gnome.Mutter.RemoteDesktop (no consent dialog), 'portal' for org.freedesktop.portal.RemoteDesktop (one consent, then persisted). Auto-selected when unse…

この設定は、作者のレジストリ登録情報から作成しています。READMEと違う場合は、READMEに従ってください。

できること

パソコンで動くサーバーです。インストールすると、ツール一覧がAIアプリに表示されます。

基本チェックi

誰でも見られる情報をチェックしており、コードは読んでいません。当てはまらない項目は数に入れていません。 · 2026年11月7日にチェック

✓ 合格
作者とリポジトリが一致
レジストリ名は、リポジトリを所有するGitHubアカウント tristanmuzzu で確認済みです
… 未チェック
今もメンテナンスされている
このリポジトリはまだGitHubから読み取っていません
… 未チェック
ライセンスがある
このリポジトリはまだGitHubから読み取っていません
– 対象外
エンドポイントが応答する
これはパソコンで動くため、インターネット上のエンドポイントはありません
– 対象外
OAuthでサインイン
パソコンで動き、代わりにローカルの設定を使います
… 未チェック
ツールの説明に隠れた指示がない
パソコンで動くサーバーです。ツール一覧を読み取れるのは、インターネット上のエンドポイントがある場合だけです

その他のほかのサーバーとの比較i

このカテゴリのほかの32623件のうち0%よりスターが多い
このカテゴリのほかの32623件のうち32%より最近レジストリに公開
基本チェックの結果が、このカテゴリのほかの32623件のうち100%と同じかそれ以上

レジストリでこのカテゴリにある有効なすべてのサーバーと比較しています。スターは、公開者がリポジトリの所有者である場合だけ数えます。

よくある質問

Deskwrightは安全ですか？

当てはまる基本チェック1項目のうち1項目に合格しました。コードは読んでいません。キーやトークンを追加する前に、サーバーがどんなアクセスを求めているかを確認し、必要な権限だけを持つキーを使ってください。

どんなキーやコードが必要ですか？

レジストリには必須のキーは載っていません。ただし、最初に使うときにサインインを求めるサーバーもあります。

パソコンで動きますか、それともクラウドですか？

あなたのパソコンで動きます。必要なときにAIアプリが起動し、データは作者のサーバーを通りません（サーバー自体がオンラインサービスを呼び出す場合を除きます）。

今もメンテナンスされていますか？

GitHubリポジトリの最終更新は–、最新バージョン（0.1.1）がレジストリに届いたのは2 か月前です。

どのアプリで使えますか？

Claude Desktop、Claude Code、Cursor、VS CodeなどのMCP対応アプリで使えます。パソコンにPython (uv)も必要です。

代わりに使えるものは？

同じカテゴリには：Spec Driven Development, Remote Desktop Commander, Draugr

代わりの候補

同じカテゴリで、ほかの作者が作ったサーバー。スターの多い順。

カードの見方：★ GitHubスターi3つの柱：レビュー · チェック · 利用状況i更新＝最新バージョンをレジストリに公開した日i

Spec Driven Development

作者：formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

パソコンで動く★ 440MIT14 か月前更新

インストール

Remote Desktop Commander

作者：desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

クラウドで動く★ 211一昨日更新

インストール

Draugr

作者：draugr-dev

Security scanning for AI agents: SAST, SCA, secrets, IaC, DAST, ranked by real risk.

パソコンで動く今日更新

インストール

作者のREADME

READMEを開く

作者のリポジトリから書かれたとおりにコピーしたものです。PopNx MCPは内容を確認・推奨していません。HTML、画像、スクリプトは取り除いています。リンクはこのサイトの外へ移動します。

Deskwright

Computer use for AI agents on GNOME Wayland.

Let your coding agent use your Linux desktop. Or give it one of its own, so it stops stealing your mouse.

Install • What it can do • A desktop of its own • When something's off • Security

Claude Code can edit your files and run your commands. It can't open GIMP, click a button in a settings dialog, or read what a native app is showing you. On macOS and Windows it can, through computer use. On Linux that's still on Anthropic's list.

This fills the gap on GNOME. It's an MCP server plus a small shell extension, and it hands an agent the actual desktop: launching apps, reading widgets, clicking, typing, dragging, window management, OCR and screen recording. Any MCP client can drive it. Claude Code, Codex, Cursor, your own script.

The part people tend to like most: DESKWRIGHT_SESSION=headless runs all of it on a virtual monitor that isn't on any of your screens. Your agent gets a real GNOME desktop to work on, and it never takes your focus.

Linux hybrid beta: 0.2.0b1

The beta adds guarded native controls, exact multi-control queries, adaptive visual fallback and shorter verified execution batches. It supports GNOME Wayland; Windows is not implemented. See the interaction guide and measurements and limits.

For a new installation:

pipx install --system-site-packages 'deskwright==0.2.0b1'

deskwright-setup

For an existing pipx installation, pipx upgrade --pip-args='--pre' deskwright keeps its existing system-site-packages setting. Run deskwright-setup to copy the updated extension, then log out and back in if setup reports a changed extension. Restart the MCP connection to load the updated Python tools. A connection restart alone cannot reload GNOME Shell's extension.

Why this exists

Wayland deliberately stops an application from seeing or touching any other window. That's a good rule, and it's why xdotool, wmctrl and grim either do nothing on GNOME or fail in ways that look like your own mistake. Every Linux computer-use project I found either shipped a Docker container running X11, or quietly assumed X11 and broke.

So I went looking for what GNOME actually permits, and it turns out to be quite a lot, just not where anyone looks. Mutter answers D-Bus. AT-SPI, the accessibility layer built for screen readers, exposes every real widget in every running app with its name, its role and the action it performs. And a shell extension runs inside gnome-shell itself, where the rest lives.

That middle one matters more than it sounds. Pressing a widget's own accessibility action isn't a nicer way to click. It's a different thing: it can't miss, it survives the window moving, and it needs no pointer at all. An agent working this way stops guessing at coordinates, and stops taking a screenshot after every action to find out what happened.

Install

You need GNOME Shell on Wayland. Check with echo $XDG_CURRENT_DESKTOP $XDG_SESSION_TYPE, which should mention GNOME and wayland.

The lazy way: hand it to your agent

Open Claude Code, or Codex, or whatever you use, and say:

Set up https://github.com/tristanmuzzu/deskwright on this machine,

follow the AGENTS.md.

AGENTS.md is a runbook written for agents. Every command, how to check each one worked, the right package names for Debian, Fedora and Arch, and the handful of things that go wrong with their fixes. Your agent will ask you for a sudo password once and tell you to log out once. That's your whole involvement.

By hand: two commands and a logout

pipx install --system-site-packages deskwright

deskwright-setup

deskwright-setup narrates every step. It turns on the accessibility flag, installs the bundled shell extension, and tells you about any missing system package with the right install line for your distro, so you're never guessing at package names. It never runs sudo itself.

Then log out and log back in. Once. There's no way around this one: on Wayland, gnome-shell only picks up an extension at session start.

Last step, point your client at it:

claude mcp add deskwright --scope user -- deskwright

That's it. Ask your agent to open an app and it will.

Why --system-site-packages , and what breaks without it

PyGObject publishes no wheels to PyPI. It's a distro package everywhere (python3-gi, python3-gobject, python-gobject), so an isolated venv can't import it. Leave the flag off and you get a server that starts cleanly and then dies on the first click with input_backend_failed.

uvx has no equivalent flag, which is the only reason this says pipx. If you'd rather skip pipx, a plain python3 -m venv --system-site-packages followed by pip install deskwright works identically.

As a Claude Code plugin instead

The repo is also a plugin marketplace. It registers the server plus a skill that teaches an agent which tool to reach for first.

claude plugin marketplace add tristanmuzzu/deskwright

claude plugin install deskwright@deskwright

The plugin runs the server from its own checkout, so there's no pip install. You still need the system packages and the extension, so run the setup out of the checkout Claude Code cloned for you, once:

~/.claude/plugins/marketplaces/deskwright/bin/deskwright-setup

Then log out and back in, same as above.

From a clone, if you want to hack on it

git clone https://github.com/tristanmuzzu/deskwright

cd deskwright bin/deskwright-setup ./mcp_server.py --self-test

./mcp_server.py is the same entry point as the deskwright command, by the path older registrations already point at. CONTRIBUTING.md has the layout and which test suites need a real session.

Check it works

DESKWRIGHT_SESSION=headless deskwright --self-test

You want 18/18 passed. It runs on a virtual monitor rather than your screen, so it's safe to run while you're working. The first run takes about 20 seconds because it has to start a second gnome-shell.

Drop DESKWRIGHT_SESSION=headless and it tests your real desktop instead. Do that one while you're looking at the screen: the self-test injects real input, because it's checking the guards that refuse dangerous key combinations.

When something's wrong, ask your agent to call desktop_health. It answers in one line whether this desktop is usable, then says which mechanisms work right now and what each of them will actually do.

What it can do

41 tools. Each returns enough that you do not need a second call to work out what happened. The order below is the order an agent should reach for them. Use native controls and exact queries where useful, with screenshots and ordinary input for visual work or incomplete accessibility.

Tool	What it's for
`ui_apps`, `ui_tree`, `ui_find`	Find things. `ui_find` searches 30 levels deep by default, because GTK4 nests far deeper than you'd expect.
`ui_press`	Compatibility API for invoking a widget by index path. Requires `expect_name` or `expect_role`; inspect the resulting state. Prefer `ui_action` for native identity and modal guards.
`ui_observe`, `ui_snapshot`, `ui_query`, `ui_inspect`, `ui_action`, `ui_wait`	Bounded native references, guarded actions and exact completion checks. See semantic interaction.
`ui_set_text`	Compatibility API for writing by index path, with exact readback. Prefer `ui_action` for native references, current-value comparison and modal guards.
`ui_read_text`	Read a widget's contents. This is how you verify something worked.
`launch_app`	Start an app by desktop id and wait for its window, inside one call.
`screen_map`	Where everything is, in pixels: windows top of stack first, plus every pressable widget of the focused app with the point to click it at. Each carries a `ref: N` you pass straight to `ui_press` or `pointer_click`. No coordinates to copy, identity re-checked on use.
`pointer_click`, `pointer_move`, `pointer_drag`, `pointer_scroll`	Real pointer input in absolute screen coordinates. Pass `expect_window` and a click that would land somewhere else is refused, with the blocker named so you can redirect in the same call.
`pointer_path`	Draw a continuous curve through a list of screen points, with one button press, bounded duration and interruption checks. Requires a target window.
`window_at`, `pointer_position`	What a click at a point would hit, before you click it. And where the pointer is now, or an honest note that only the last position it set is known.
`find_text`	Where a visible string is, in screen coordinates. OCR, about 0.3s for a window, and no image in your transcript. This is the answer for Chrome, Electron and Qt, which expose almost nothing to `ui_find`.
`wait_for`	Wait for a window, a widget, some text, a focus change or the clipboard, instead of sleeping a guessed number of seconds.
`region_changed`	Wait for pixels to change. For what `wait_for` can't express, like a reply arriving or a spinner stopping.
`assert_state`	Pass or fail with evidence, so a long run can decide for itself that it's finished.
`do_steps`	A known sequence in one call, validated before anything runs, with per-step retry and one picture at the end, or at the step that broke.
`list_windows`, `activate_window`, `window_layout`, `window_manage`	Window list, focus and layout. `window_layout` cannot close windows; general `window_manage` retains close.
`screenshot`, `zoom`	A picture, or a full-resolution crop of one window, region or widget. `zoom` never scales, so small text stays readable.
`screencast`, `frames`	For anything that moves, because a still can't show motion. `frames` also reports a per-frame delta series, which is how you tell a smooth scroll from a juddering one.
`type_text`, `press_keys`, `hold_key`	Keyboard input through compositor keysyms, with focus proven before anything gets typed.
`clipboard_read`, `clipboard_write`	Pasting beats two thousand keystrokes, and reading back is how you check it arrived.
`journal`	The trail of everything the agent did: arguments, outcome, whether it landed, screenshot hashes. For reviewing an unattended run, or working out where you are after a context reset.
`desktop_health`	One line on whether this desktop is usable, then the detail.

A second desktop it uses while you work

An agent that needs your screen is only half useful. deskwright-headless starts a separate GNOME session on a virtual monitor, with its own session bus, its own gnome-shell --headless and its own runtime directory. A server pinned to it drives that desktop with the same 41 tools while you keep the physical one.

deskwright-headless start                    # about 200 MB of gnome-shell, idempotent

deskwright-headless status # live

冒頭だけを表示しています。続きはリポジトリで読めます

Deskwright

概要

PopNx MCPの3つの柱

できること

インストール

インストールの前に

自分で入力する値

できること

基本チェックi

作者とリポジトリが一致

今もメンテナンスされている

ライセンスがある

エンドポイントが応答する

OAuthでサインイン

ツールの説明に隠れた指示がない

その他のほかのサーバーとの比較i

よくある質問

代わりの候補

Spec Driven Development

Remote Desktop Commander

Draugr

作者のREADME

Deskwright

Linux hybrid beta: 0.2.0b1

Why this exists

Install

The lazy way: hand it to your agent

By hand: two commands and a logout

Check it works

What it can do

A second desktop it uses while you work