Deskwright

Name: Deskwright
Author: tristanmuzzu

โดย tristanmuzzuรุ่น 0.1.1i★ –iรันบนเครื่อง

ชื่อใน registryio.github.tristanmuzzu/deskwright

ติดตั้ง

ภาพรวม

คำอธิบายจากผู้ทำ (ภาษาอังกฤษตามต้นฉบับ)

Agents use real GNOME/Wayland apps: on your screen, or an invisible second desktop you never see

สามเสาของ PopNx MCP

สามเรื่องนี้ไม่รวมเป็นคะแนนเดียว เพราะความเห็น การวัด และความนิยม เป็นคนละเรื่องกัน

เสียงผู้ใช้iยังไม่มีรีวิวรีวิวเปิดพร้อมระบบบัญชีในขั้นถัดไป
ผลตรวจเบื้องต้นของเราiผ่าน 1 จาก 1 ข้อตรวจจากข้อมูลที่เปิดอยู่ ยังไม่ได้สแกนโค้ด
การใช้งานiยังไม่ได้วัด★ –

ใช้ทำอะไรได้

ตัวนี้ยังไม่ได้เรียบเรียงเป็นภาษาไทย ด้านล่างคือข้อเท็จจริงที่เราอ่านจาก registry

การเชื่อมต่อ: รันบนเครื่อง
ช่องทาง (transport): stdio
หมวด: อื่น ๆ

ติดตั้ง

เลือกโปรแกรม AI ที่คุณใช้ แล้วคัดลอกค่าตั้งไปวาง

ก่อนติดตั้ง

ผลตรวจเบื้องต้น: ผ่าน 1 จาก 1 ข้อ
รันในเครื่องคุณด้วยสิทธิ์ของผู้ใช้คุณ (ไฟล์ อินเทอร์เน็ต แอปต่าง ๆ)
ค่าที่คุณต้องใส่เอง: DESKWRIGHT_SESSION, DESKWRIGHT_INPUT_BACKEND

ต้องเตรียมก่อน

PyPIติดตั้ง uv ของ Python (มีคำสั่ง uvx) ในเครื่อง

คุณใช้แอปไหน

ClaudeClaude CodeCursorVS CodeChatGPT

เลือกแอปด้านบน เราจำไว้ให้ ครั้งหน้าปุ่มจะขึ้นว่า “ติดตั้งลง …”

เปิด Claude Desktop → Settings → Developer → Edit Config แล้ววางค่านี้ในไฟล์ claude_desktop_config.json

{
  "mcpServers": {
    "deskwright": {
      "command": "uvx",
      "args": [
        "deskwright"
      ],
      "env": {
        "DESKWRIGHT_SESSION": "ใส่ค่าของคุณ",
        "DESKWRIGHT_INPUT_BACKEND": "ใส่ค่าของคุณ"
      }
    }
  }
}

พิมพ์คำสั่งนี้ใน Terminal

claude mcp add deskwright --env DESKWRIGHT_SESSION='ใส่ค่าของคุณ' --env DESKWRIGHT_INPUT_BACKEND='ใส่ค่าของคุณ' -- uvx deskwright

เติมค่าที่เว้นว่างไว้ก่อนรัน

เปิดใน Cursor

หรือคัดลอกค่าตั้งเอง

วางในไฟล์ .cursor/mcp.json ของโปรเจกต์ หรือ ~/.cursor/mcp.json

{
  "mcpServers": {
    "deskwright": {
      "command": "uvx",
      "args": [
        "deskwright"
      ],
      "env": {
        "DESKWRIGHT_SESSION": "ใส่ค่าของคุณ",
        "DESKWRIGHT_INPUT_BACKEND": "ใส่ค่าของคุณ"
      }
    }
  }
}

เบราว์เซอร์จะถามก่อนเปิดแอป จากนั้นแอปแสดงค่าตั้งให้ตรวจแล้วกดยืนยัน ช่อง key เว้นว่างไว้ให้คุณใส่เอง

เปิดใน VS Code

หรือคัดลอกค่าตั้งเอง

วางในไฟล์ .vscode/mcp.json ของโปรเจกต์

{
  "servers": {
    "deskwright": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "deskwright"
      ],
      "env": {
        "DESKWRIGHT_SESSION": "ใส่ค่าของคุณ",
        "DESKWRIGHT_INPUT_BACKEND": "ใส่ค่าของคุณ"
      }
    }
  }
}

ตัวนี้รันในเครื่องคุณ แต่ ChatGPT ต่อได้เฉพาะ server บนอินเทอร์เน็ต ลองเลือกแอปอื่น

ตัวเลือกเก็บในคุกกี้บนเครื่องนี้ ไม่ต้องมีบัญชี

ค่าที่ต้องใส่เอง

DESKWRIGHT_SESSION env
Which desktop to drive: 'primary' (the screen you are looking at), 'headless' for an invisible virtual-monitor session, or 'headless: ' to pick one of several.
DESKWRIGHT_INPUT_BACKEND env
Force the input path: 'mutter' for GNOME's org.gnome.Mutter.RemoteDesktop (no consent dialog), 'portal' for org.freedesktop.portal.RemoteDesktop (one consent, then persisted). Auto-selected when unse…

ค่าตั้งนี้สร้างจากข้อมูลใน registry ของผู้ทำ ถ้าไม่ตรงกับ README ให้เชื่อ README

ทำอะไรได้บ้าง

รันในเครื่องคุณ รายการเครื่องมือจะขึ้นในแอป AI หลังติดตั้ง

ผลตรวจเบื้องต้นi

เราตรวจจากข้อมูลที่ใครก็เปิดดูได้ ยังไม่ได้อ่านโค้ด ข้อที่ไม่เกี่ยวกับตัวนี้ไม่นับในตัวหาร · ตรวจเมื่อ 7 พ.ย. 2569

✓ ผ่าน
ตัวตนผู้ทำตรงกับ repo
ชื่อใน registry ยืนยันด้วยบัญชี GitHub tristanmuzzu ซึ่งเป็นเจ้าของ repo
… ยังไม่ตรวจ
ยังมีคนดูแล
ยังไม่ได้อ่านข้อมูล repo จาก GitHub
… ยังไม่ตรวจ
มีสัญญาอนุญาต (license)
ยังไม่ได้อ่านข้อมูล repo จาก GitHub
– ไม่เกี่ยว
endpoint ตอบ
ตัวนี้รันบนเครื่องคุณ ไม่มี endpoint บนอินเทอร์เน็ต
– ไม่เกี่ยว
ล็อกอินแบบ OAuth
ตัวนี้รันบนเครื่อง ใช้ค่าที่ตั้งในเครื่องแทน
… ยังไม่ตรวจ
คำอธิบายเครื่องมือไม่มีคำสั่งแอบแฝง
รันในเครื่องคุณ เราอ่านรายการเครื่องมือได้เฉพาะตัวที่มี endpoint บนอินเทอร์เน็ต

เทียบกับตัวอื่นในหมวด อื่น ๆi

ดาวมากกว่า 0% ของอีก 32583 ตัวในหมวดนี้
ส่งรุ่นใหม่เข้า registry ล่าสุดกว่า 32% ของอีก 32583 ตัวในหมวดนี้
ผลตรวจเบื้องต้นดีกว่าหรือเท่ากับ 100% ของอีก 32583 ตัวในหมวดนี้

เทียบกับทุก server ที่ยังใช้งานในหมวดนี้ทั้งทะเบียน ดาวนับเฉพาะเมื่อผู้ลงทะเบียนเป็นเจ้าของ repo

คำถามที่พบบ่อย

Deskwright ปลอดภัยไหม?

จากการตรวจเบื้องต้นของเรา ผ่าน 1 จาก 1 ข้อที่ตรวจได้ เรายังไม่ได้อ่านโค้ด ก่อนใส่กุญแจหรือ token ให้ดูว่า server ขอสิทธิ์อะไร และเลือกกุญแจที่ทำได้เท่าที่จำเป็น

ต้องใช้กุญแจหรือรหัสอะไรบ้าง?

registry ไม่ได้ระบุว่าต้องใช้กุญแจ แต่บางตัวจะขอให้ล็อกอินตอนใช้ครั้งแรก

ตัวนี้รันบนเครื่องหรือบนคลาวด์?

รันบนเครื่องของคุณ โปรแกรม AI จะเปิด server ขึ้นมาเองเมื่อใช้ ข้อมูลไม่ต้องผ่านเซิร์ฟเวอร์ของผู้ทำ (ยกเว้นตัวที่ไปเรียกบริการออนไลน์ต่อ)

ยังมีคนดูแลอยู่ไหม?

repo บน GitHub มีการแก้โค้ดล่าสุด – และส่งรุ่นล่าสุด (0.1.1) เข้า registry 2 เดือนที่ผ่านมา

ใช้กับโปรแกรมไหนได้บ้าง?

โปรแกรมที่รองรับ MCP เช่น Claude Desktop, Claude Code, Cursor และ VS Code ตัวนี้ต้องมี Python (uv) ในเครื่องด้วย

มีตัวไหนใช้แทนได้บ้าง?

ในหมวดเดียวกันมี Spec Driven Development, Remote Desktop Commander, sync. labs

ตัวที่ใช้แทนได้

server หมวดเดียวกันจากผู้ทำคนอื่น เรียงตามดาว

อ่านการ์ด:★ ดาว GitHubiสามเสา: รีวิว · ผลตรวจ · การใช้งานiอัปเดต = วันที่ส่งรุ่นล่าสุดเข้า registryi

Spec Driven Development

โดย formulahendry

MCP Server that facilitates spec-driven development workflows, not just Vibe Coding.

รันบนเครื่อง★ 440MITอัปเดต 14 เดือนที่ผ่านมา

ติดตั้ง

Remote Desktop Commander

โดย desktop-commander

Remote Desktop Commander: use files, terminal and processes on your own computers from any AI app.

รันบนคลาวด์★ 211อัปเดต เมื่อวาน

ติดตั้ง

sync. labs

โดย synchronicity-labs

Lipsync videos, dub them into other languages, make talking videos and open sync. Studio.

บนเครื่องหรือคลาวด์อัปเดต วันนี้

ติดตั้ง

README จากผู้ทำ

เปิดอ่าน README

ส่วนนี้คัดจาก repo ของผู้ทำตามต้นฉบับ PopNx MCP ไม่ได้ตรวจหรือรับรองเนื้อหา ตัด HTML รูปภาพ และสคริปต์ออกแล้ว ลิงก์จะพาออกนอกเว็บ

Deskwright

Computer use for AI agents on GNOME Wayland.

Let your coding agent use your Linux desktop. Or give it one of its own, so it stops stealing your mouse.

Install • What it can do • A desktop of its own • When something's off • Security

Claude Code can edit your files and run your commands. It can't open GIMP, click a button in a settings dialog, or read what a native app is showing you. On macOS and Windows it can, through computer use. On Linux that's still on Anthropic's list.

This fills the gap on GNOME. It's an MCP server plus a small shell extension, and it hands an agent the actual desktop: launching apps, reading widgets, clicking, typing, dragging, window management, OCR and screen recording. Any MCP client can drive it. Claude Code, Codex, Cursor, your own script.

The part people tend to like most: DESKWRIGHT_SESSION=headless runs all of it on a virtual monitor that isn't on any of your screens. Your agent gets a real GNOME desktop to work on, and it never takes your focus.

Linux hybrid beta: 0.2.0b1

The beta adds guarded native controls, exact multi-control queries, adaptive visual fallback and shorter verified execution batches. It supports GNOME Wayland; Windows is not implemented. See the interaction guide and measurements and limits.

For a new installation:

pipx install --system-site-packages 'deskwright==0.2.0b1'

deskwright-setup

For an existing pipx installation, pipx upgrade --pip-args='--pre' deskwright keeps its existing system-site-packages setting. Run deskwright-setup to copy the updated extension, then log out and back in if setup reports a changed extension. Restart the MCP connection to load the updated Python tools. A connection restart alone cannot reload GNOME Shell's extension.

Why this exists

Wayland deliberately stops an application from seeing or touching any other window. That's a good rule, and it's why xdotool, wmctrl and grim either do nothing on GNOME or fail in ways that look like your own mistake. Every Linux computer-use project I found either shipped a Docker container running X11, or quietly assumed X11 and broke.

So I went looking for what GNOME actually permits, and it turns out to be quite a lot, just not where anyone looks. Mutter answers D-Bus. AT-SPI, the accessibility layer built for screen readers, exposes every real widget in every running app with its name, its role and the action it performs. And a shell extension runs inside gnome-shell itself, where the rest lives.

That middle one matters more than it sounds. Pressing a widget's own accessibility action isn't a nicer way to click. It's a different thing: it can't miss, it survives the window moving, and it needs no pointer at all. An agent working this way stops guessing at coordinates, and stops taking a screenshot after every action to find out what happened.

Install

You need GNOME Shell on Wayland. Check with echo $XDG_CURRENT_DESKTOP $XDG_SESSION_TYPE, which should mention GNOME and wayland.

The lazy way: hand it to your agent

Open Claude Code, or Codex, or whatever you use, and say:

Set up https://github.com/tristanmuzzu/deskwright on this machine,

follow the AGENTS.md.

AGENTS.md is a runbook written for agents. Every command, how to check each one worked, the right package names for Debian, Fedora and Arch, and the handful of things that go wrong with their fixes. Your agent will ask you for a sudo password once and tell you to log out once. That's your whole involvement.

By hand: two commands and a logout

pipx install --system-site-packages deskwright

deskwright-setup

deskwright-setup narrates every step. It turns on the accessibility flag, installs the bundled shell extension, and tells you about any missing system package with the right install line for your distro, so you're never guessing at package names. It never runs sudo itself.

Then log out and log back in. Once. There's no way around this one: on Wayland, gnome-shell only picks up an extension at session start.

Last step, point your client at it:

claude mcp add deskwright --scope user -- deskwright

That's it. Ask your agent to open an app and it will.

Why --system-site-packages , and what breaks without it

PyGObject publishes no wheels to PyPI. It's a distro package everywhere (python3-gi, python3-gobject, python-gobject), so an isolated venv can't import it. Leave the flag off and you get a server that starts cleanly and then dies on the first click with input_backend_failed.

uvx has no equivalent flag, which is the only reason this says pipx. If you'd rather skip pipx, a plain python3 -m venv --system-site-packages followed by pip install deskwright works identically.

As a Claude Code plugin instead

The repo is also a plugin marketplace. It registers the server plus a skill that teaches an agent which tool to reach for first.

claude plugin marketplace add tristanmuzzu/deskwright

claude plugin install deskwright@deskwright

The plugin runs the server from its own checkout, so there's no pip install. You still need the system packages and the extension, so run the setup out of the checkout Claude Code cloned for you, once:

~/.claude/plugins/marketplaces/deskwright/bin/deskwright-setup

Then log out and back in, same as above.

From a clone, if you want to hack on it

git clone https://github.com/tristanmuzzu/deskwright

cd deskwright bin/deskwright-setup ./mcp_server.py --self-test

./mcp_server.py is the same entry point as the deskwright command, by the path older registrations already point at. CONTRIBUTING.md has the layout and which test suites need a real session.

Check it works

DESKWRIGHT_SESSION=headless deskwright --self-test

You want 18/18 passed. It runs on a virtual monitor rather than your screen, so it's safe to run while you're working. The first run takes about 20 seconds because it has to start a second gnome-shell.

Drop DESKWRIGHT_SESSION=headless and it tests your real desktop instead. Do that one while you're looking at the screen: the self-test injects real input, because it's checking the guards that refuse dangerous key combinations.

When something's wrong, ask your agent to call desktop_health. It answers in one line whether this desktop is usable, then says which mechanisms work right now and what each of them will actually do.

What it can do

41 tools. Each returns enough that you do not need a second call to work out what happened. The order below is the order an agent should reach for them. Use native controls and exact queries where useful, with screenshots and ordinary input for visual work or incomplete accessibility.

Tool	What it's for
`ui_apps`, `ui_tree`, `ui_find`	Find things. `ui_find` searches 30 levels deep by default, because GTK4 nests far deeper than you'd expect.
`ui_press`	Compatibility API for invoking a widget by index path. Requires `expect_name` or `expect_role`; inspect the resulting state. Prefer `ui_action` for native identity and modal guards.
`ui_observe`, `ui_snapshot`, `ui_query`, `ui_inspect`, `ui_action`, `ui_wait`	Bounded native references, guarded actions and exact completion checks. See semantic interaction.
`ui_set_text`	Compatibility API for writing by index path, with exact readback. Prefer `ui_action` for native references, current-value comparison and modal guards.
`ui_read_text`	Read a widget's contents. This is how you verify something worked.
`launch_app`	Start an app by desktop id and wait for its window, inside one call.
`screen_map`	Where everything is, in pixels: windows top of stack first, plus every pressable widget of the focused app with the point to click it at. Each carries a `ref: N` you pass straight to `ui_press` or `pointer_click`. No coordinates to copy, identity re-checked on use.
`pointer_click`, `pointer_move`, `pointer_drag`, `pointer_scroll`	Real pointer input in absolute screen coordinates. Pass `expect_window` and a click that would land somewhere else is refused, with the blocker named so you can redirect in the same call.
`pointer_path`	Draw a continuous curve through a list of screen points, with one button press, bounded duration and interruption checks. Requires a target window.
`window_at`, `pointer_position`	What a click at a point would hit, before you click it. And where the pointer is now, or an honest note that only the last position it set is known.
`find_text`	Where a visible string is, in screen coordinates. OCR, about 0.3s for a window, and no image in your transcript. This is the answer for Chrome, Electron and Qt, which expose almost nothing to `ui_find`.
`wait_for`	Wait for a window, a widget, some text, a focus change or the clipboard, instead of sleeping a guessed number of seconds.
`region_changed`	Wait for pixels to change. For what `wait_for` can't express, like a reply arriving or a spinner stopping.
`assert_state`	Pass or fail with evidence, so a long run can decide for itself that it's finished.
`do_steps`	A known sequence in one call, validated before anything runs, with per-step retry and one picture at the end, or at the step that broke.
`list_windows`, `activate_window`, `window_layout`, `window_manage`	Window list, focus and layout. `window_layout` cannot close windows; general `window_manage` retains close.
`screenshot`, `zoom`	A picture, or a full-resolution crop of one window, region or widget. `zoom` never scales, so small text stays readable.
`screencast`, `frames`	For anything that moves, because a still can't show motion. `frames` also reports a per-frame delta series, which is how you tell a smooth scroll from a juddering one.
`type_text`, `press_keys`, `hold_key`	Keyboard input through compositor keysyms, with focus proven before anything gets typed.
`clipboard_read`, `clipboard_write`	Pasting beats two thousand keystrokes, and reading back is how you check it arrived.
`journal`	The trail of everything the agent did: arguments, outcome, whether it landed, screenshot hashes. For reviewing an unattended run, or working out where you are after a context reset.
`desktop_health`	One line on whether this desktop is usable, then the detail.

A second desktop it uses while you work

An agent that needs your screen is only half useful. deskwright-headless starts a separate GNOME session on a virtual monitor, with its own session bus, its own gnome-shell --headless and its own runtime directory. A server pinned to it drives that desktop with the same 41 tools while you keep the physical one.

deskwright-headless start                    # about 200 MB of gnome-shell, idempotent

deskwright-headless status # live

ตัดมาแค่ช่วงต้น อ่านต่อใน repo

Deskwright

ภาพรวม

สามเสาของ PopNx MCP

ใช้ทำอะไรได้

ติดตั้ง

ก่อนติดตั้ง

ค่าที่ต้องใส่เอง

ทำอะไรได้บ้าง

ผลตรวจเบื้องต้นi

ตัวตนผู้ทำตรงกับ repo

ยังมีคนดูแล

มีสัญญาอนุญาต (license)

endpoint ตอบ

ล็อกอินแบบ OAuth

คำอธิบายเครื่องมือไม่มีคำสั่งแอบแฝง

เทียบกับตัวอื่นในหมวด อื่น ๆi

คำถามที่พบบ่อย

ตัวที่ใช้แทนได้

Spec Driven Development

Remote Desktop Commander

sync. labs

README จากผู้ทำ

Deskwright

Linux hybrid beta: 0.2.0b1

Why this exists

Install

The lazy way: hand it to your agent

By hand: two commands and a logout

Check it works

What it can do

A second desktop it uses while you work