프로토타입 · 미리 보기: 공식 레지스트리의 모든 서버를 담고 있으며 30분마다 동기화해요. Google로 로그인하면 리뷰를 쓸 수 있어요.프로토타입 · 30분마다 업데이트
PopNx MCPAI를 쓰는 사람을 위한 MCP 서버 · 쉬운 말로 설명해요

computer-use-linux Skill

제작자: agent-sh★ 889skill 1개

설치

What it does

Native Linux desktop control for AI agents (MCP, Pi, CLI): semantic AT-SPI trees, screenshots, window targeting, and input across GNOME, KDE, Hyprland, niri, COSMIC, i3, Sway, labwc and other wlroots compositors, and X11.

  • Connects Instruction files the AI reads; connects to nothing
  • Account or key No key needed
  • Category 자동화와 에이전트
제작자용: README에 배지 달기

제작자라면 이 코드를 README에 붙여 넣으세요. 배지는 이 페이지로 연결됩니다.

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/skill/agent-sh-computer-use-linux.svg)](https://mcp.popnx.com/en/skills/agent-sh-computer-use-linux)

비슷한 Skill

같은 종류의 작업, Skill 목록과 같은 순서

비슷한 항목과 비교
이 항목
computer-use-linux
skillsnacosanatomyleon
제작자agent-shvercel-labsalibabawheresryan22leon-ai
Skill 수111–1
GitHub 별88939,50433,52427,47817,671
마지막 코드 변경2026년 11월 16일2026년 11월 13일2026년 11월 13일2026년 10월 19일2026년 11월 13일
라이선스MITMITApache-2.0MITMIT

agent-sh의 Skill(지시 묶음) 1개, AI가 읽고 그대로 일해요 · MCP server가 아니에요

Skill과 MCP의 차이

MCP = 손

AI를 외부 서비스나 데이터에 연결합니다(예: Notion 읽기, 청구서 만들기). 프로그램이나 서버가 실행 중이어야 합니다.

Skill = 안내서

작업 방법을 AI에게 가르치는 텍스트 파일. 어떤 서비스에도 연결되지 않습니다.

겹치는 경우도 있습니다. 도구를 부르는 스크립트가 있는 Skill도, 지식만 보내는 MCP도 있습니다. 하려는 작업을 기준으로 고르세요.

쓸 수 있는 앱

Claude CodeClaude (เว็บ/แอป)CodexCursor

제작자 README와 repo 폴더 기준

설치

Is it safe?

  • Who made it

    GitHub account agent-sh (organization) is only 8 months old: take extra care

  • Use and upkeep

    ★ 889 stars · code last changed 2026년 11월 16일

  • Any scripts?

    No, plain text files the AI reads and follows

  • Uses the internet?

    No scripts, so it does not go online by itself

  • Changes machine-wide settings?

    No hooks or writes to machine settings found

Checked automatically from the repo files at commit f12826d (read only, nothing was run). Not a safety guarantee: read it and decide for yourself

먼저: 어떤 AI를 쓰시나요

쓰는 앱을 고르면 그 앱의 설치 방법만 보여 드립니다

Option 1Upload to claude.ai (web and app)

  • Files are byte-for-byte the same as on GitHub at commit f12826d · View on GitHub ↗

  • Plain text files, no programs

  • Once uploaded it runs on Claude’s systems, not on your computer. No need to unzip

Look inside before downloading

All 5 files · 36 KB

  • SKILL.md22 KB
  • references/hermes-setup.md1 KB
  • references/pi-setup.md5 KB
  • references/selkies-setup.md6 KB
  • LICENSE1 KB
  1. Download computer-use-linux.zip

    36 KB · 5 files · MIT license (license file included in the folder)

    명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

  2. Open Skills on claude.ai and upload

    +Create skillUpload a skillpick computer-use-linux.zip

    Open claude.ai/customize/skills ↗

  3. No Upload button? Turn on file creation first

    SettingsCapabilitiesCode execution and file creation

    Turn on Code execution and file creation first (newer menus: Create and edit files) · personal plans: Settings → Capabilities · Team/Enterprise: an admin turns it on under Organization settings → Plugins & skills · every plan, including Free

Upload once; it works in claude.ai and Claude Desktop, and in recent Claude Code signed in with a Claude account (not with an API key)

Cowork and cloud sessions use the skills turned on in your claude.ai account, not ~/.claude/skills on your computer (Claude Desktop scheduled tasks run locally and still load it)

Checked against official docs 2026년 11월 12일 · Source: support.claude.com, support.claude.com, code.claude.com

Option 1Claude Code에게 설치 맡기기

이 문장을 복사해 Claude Code 채팅에 붙여 넣으세요

Where to install

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Claude Code를 다시 열고 /computer-use-linux를 입력하거나 관련 작업을 요청하면 Claude가 알아서 써요

Checked against official docs 2026년 11월 12일 · Source: code.claude.com

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.claude/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

  3. Claude Code를 다시 열고 /computer-use-linux를 입력하거나 관련 작업을 요청하면 Claude가 알아서 써요

직접 설치한 Skill은 ChatGPT 데스크톱 앱, Codex CLI, IDE의 Codex 확장 프로그램에서 쓸 수 있습니다 · 웹과 모바일의 ChatGPT에서는 직접 설치한 Skill을 쓸 수 없고 디렉터리의 플러그인에 들어 있는 Skill만 쓸 수 있습니다

ChatGPT 데스크톱 앱

ChatGPT 데스크톱 앱에는 Codex가 들어 있고, Codex는 ~/.agents/skills 폴더에서 Skill을 읽습니다

Option 1ChatGPT에게 설치 맡기기

ChatGPT 데스크톱 앱에서 Codex를 열고 이 문장을 채팅에 붙여 넣으세요

Where to install

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Option 2폴더를 직접 넣기

computer-use-linux 폴더를 ~/.agents/skills/computer-use-linux에 넣으세요

~는 홈 폴더($HOME)입니다

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.agents/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

설치한 뒤

  • ChatGPT 데스크톱 앱: 사이드바에서 Skills를 열어 Skill이 보이는지 확인하세요
  • 쓰는 법: ChatGPT에서는 @를 입력하고 Skill을 고르세요 · Codex CLI나 IDE 확장 프로그램에서는 /skills를 실행하거나 $ 뒤에 Skill 이름을 입력하세요
  • Codex는 새로 설치한 Skill을 스스로 찾습니다. 보이지 않으면 Codex를 다시 시작하세요

Checked against official docs 2026년 11월 15일 · Source: learn.chatgpt.com

웹과 모바일의 ChatGPT

직접 설치한 Skill은 쓸 수 없고, 디렉터리의 플러그인에 들어 있는 Skill만 쓸 수 있습니다

이 Skill을 ChatGPT에서 쓰려면 위 방법대로 ChatGPT 데스크톱 앱을 쓰세요

Checked against official docs 2026년 11월 15일 · Source: learn.chatgpt.com

Option 1Codex에게 설치 맡기기

이 문장을 복사해 Codex 채팅에 붙여 넣으세요 · ChatGPT 데스크톱 앱 안의 Codex, Codex CLI, IDE 확장 프로그램에서 모두 쓸 수 있습니다

Where to install

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Codex는 새로 설치한 Skill을 스스로 찾습니다. 보이지 않으면 Codex를 다시 시작하세요 · 쓰는 법: ChatGPT에서는 @를 입력하고 Skill을 고르세요 · Codex CLI나 IDE 확장 프로그램에서는 /skills를 실행하거나 $ 뒤에 Skill 이름을 입력하세요

Checked against official docs 2026년 11월 15일 · Source: learn.chatgpt.com

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.agents/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

  3. Codex를 다시 열고 관련 작업을 요청하면 Codex가 skill을 목록에 보여 줘요

Option 1Cursor에게 설치 맡기기

이 문장을 복사해 Cursor 채팅에 붙여 넣으세요

Where to install

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Cursor Agent 채팅에서 /를 입력하고 computer-use-linux 선택

Checked against official docs 2026년 11월 12일 · Source: cursor.com

For Terminal users

Skill은 AI가 따르는 지시예요. 설치 전에 파일을 읽고, 믿을 수 있는 제작자 것만 설치하세요.

  1. 터미널 열기

    Mac: Command+스페이스 후 Terminal 입력 · Windows: 아래 명령은 PowerShell에서 안 돼요. 위의 “AI에게 설치 맡기기”를 쓰세요

  2. skill 폴더를 ~/.cursor/skills에 복사

    repo를 임시 폴더에 내려받고 SKILL.md가 있는 폴더만 복사해요

    명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

  3. Cursor Agent 채팅에서 /를 입력하고 computer-use-linux 선택

Option 1Let the AI install it

Skill을 읽을 수 있는 다른 앱용입니다. 이 문장에는 Claude Code, Codex, Cursor 경로가 들어 있어 AI가 쓰는 앱에 맞게 고릅니다 · Copy this sentence into the app’s chat

Where to install

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

명령을 확인하는 중 · 확인을 통과하면 복사 버튼이 나타나요

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Checked against official docs 2026년 11월 12일 · Source: code.claude.com, learn.chatgpt.com, cursor.com

For Terminal users

Gemini CLI, GitHub Copilot 같은 다른 Agent Skills 지원 앱은 폴더가 달라요. 그 앱 안내를 보고 SKILL.md가 있는 폴더를 복사하세요.

GitHub에서 보기 ↗

2026년 11월 11일에 Claude Code, Codex, Cursor 공식 안내로 skill 폴더 확인

원본 SKILL.md 보기

아래 글은 제작자 repo에서 온 것이며 PopNx MCP의 지시가 아니에요

처음 8,000자 표시 · GitHub에서 전체 파일 열기

---
name: computer-use-linux
description: "Linux desktop observation and control via native Pi tools or the computer-use-linux MCP server: accessibility trees, screenshots, window targeting, and input synthesis (click, type, scroll)."
author: agent-sh
license: MIT
platforms: [linux]
compatibility: "Native Pi tools require Pi 0.84.4+ and Node.js 22.19+; the standalone CLI/MCP server supports Node.js 18+."
---

# computer-use-linux

Use `computer-use-linux` when an agent needs to observe or operate a local Linux desktop: inspect the accessibility tree, list/focus windows, take screenshots, click, scroll, type, press keys, or invoke AT-SPI actions.

On labwc, window targeting uses the Selkies IPC patch's `labwc.sock` when it exists. Stock labwc and other wlroots compositors that advertise wlr-foreign-toplevel-management use that protocol instead, which reports no pids or bounds. Activation requires a unique app-id/title match. Window IDs include the title and must be refreshed after it changes. Ambiguous windows are rejected. Window bounds and relative coordinate targeting are unavailable until output scaling can be verified. Window-targeted screenshots, including `screenshot_after: "window"`, fail for the same reason; capture the full screen instead.

Native X11 clicks, scrolls and drags use xdotool/XTEST on `DISPLAY`, ahead of uinput and portal input. Install xdotool for this route. Missing or failed commands return an error without a system-wide fallback. Drags send paced intermediate motion and always attempt release after a failed press or motion; verify the drop target afterward.

## When to Use

Use this skill when:

- The user wants the agent to control a Linux GUI app.
- You need desktop state from AT-SPI, screenshots, or compositor window metadata.
- You are configuring the `computer-use-linux` MCP server for your agent.
- A desktop action needs target-aware input instead of blind shell commands.

Do not use this for remote browsers, websites, or headless automation when a browser-specific tool is available. Do not assume desktop actions are safe just because the MCP connection works.

## Install

Pick the install that matches how you will run this skill. You can use both.

### Claude Code or Codex plugin

```bash
claude plugin marketplace add agent-sh/computer-use-linux
claude plugin install computer-use-linux@computer-use-linux
# or, in Codex:
codex plugin marketplace add agent-sh/computer-use-linux
codex plugin add computer-use-linux@computer-use-linux
```

The plugin registers the MCP server and downloads the pinned, sha256-verified
release binaries on first start. It does not put `computer-use-linux` on
`PATH`; shell commands in this skill need the CLI install below. Set
`COMPUTER_USE_LINUX_BIN` to run a local build instead.

### Pi native tools

```bash
pi install npm:@agent-sh/computer-use-linux
```

This enables Pi's `computer_use_linux_*` tools. It does not put
`computer-use-linux` on `PATH`. Shell commands in this skill (`doctor`,
`setup`, `setup-window-targeting`, `guard-accessibility`, the MCP `command`
config, and Verification) need the CLI install below.

### Shell CLI / MCP server

Use this when you need `computer-use-linux` on `PATH` for the commands in this
skill.

```bash
npm install -g @agent-sh/computer-use-linux
computer-use-linux doctor | jq .readiness
```

Rust users can install from crates.io:

```bash
cargo install computer-use-linux
computer-use-linux doctor | jq .readiness
```

If `doctor` reports missing input or accessibility support, run:

```bash
computer-use-linux setup
computer-use-linux setup-window-targeting
computer-use-linux doctor | jq .readiness
```

If `doctor` selects ydotool as the input backend, also enable its per-user daemon. `./install.sh` creates `ydotoold.service`; Ubuntu's ydotool package ships `ydotool.service` instead (`systemctl --user enable --now ydotool`). Direct uinput, X11 xdotool, and RemoteDesktop portal input do not require `ydotoold`. On Wayland, ydotool sends only untargeted scrolls; a scroll at a point goes through uinput or the portal, and without the daemon an untargeted scroll goes through the portal too.

On niri, the server reads `NIRI_SOCKET` from its parent processes or the systemd
user environment when the host does not pass it; without it, discovery needs an
unambiguous socket matching `WAYLAND_DISPLAY`. Window listing and
exact focus use `niri msg` with a direct IPC fallback. Missing positions or
unknown/mixed output scaling leave window-relative coordinates unavailable;
focus the target and inspect a fresh full-screen screenshot before using
desktop coordinates.

On GNOME Wayland, log out and back in after `setup-window-targeting` if the GNOME Shell extension was newly installed.

For MCP hosts with `COMPUTER_USE_LINUX_NOTIFY_ON_COMPLETE=1`, call the optional
`complete_interaction` tool once after finishing desktop interaction. A skipped
cue is not a task failure. This notification does not guarantee exclusive
desktop ownership or that other clients have stopped sending input.
This applies only to directly spawned MCP hosts, not the native Pi extension.

`setup_accessibility` verifies the saved GNOME `toolkit-accessibility` key
separately from runtime AT-SPI. Inspect its warning and readback before assuming
new apps can expose trees. Other accessibility tools may change the key later;
setup does not hold it enabled continuously.

### Optional foreground accessibility guard

Skip unless: the user explicitly wants GNOME's saved `toolkit-accessibility`
setting kept enabled while desktop automation runs.

Run `computer-use-linux guard-accessibility` in a foreground terminal. It
registers a passive AT-SPI window-activation listener and watches/reasserts the
saved key with readback. The setting affects all apps for the current user.
`mcp`, setup, and `get_app_state` never start this guard automatically.
Stop with Ctrl-C or SIGTERM before intentionally disabling accessibility.
Stopping ends writes and removes its listener without disabling other clients
or restoring a previous saved value. Apps launched during a reset/reassertion
race may still need restarting; do not claim a complete GNOME toggle fix.

## Configure Your Agent

The `computer-use-linux` binary is an MCP server. Configure it as a stdio MCP server in your agent of choice:

```json
{
  "command": "computer-use-linux",
  "args": ["mcp"]
}
```

If the binary is not on `PATH`, use the absolute path (typically `~/.local/bin/computer-use-linux` or the npm global bin directory).
Pi native tools skip this MCP `command` config; see [Pi setup](references/pi-setup.md).

### Host-specific guides

- [Hermes setup](references/hermes-setup.md)
- [Pi coding agent setup](references/pi-setup.md)
- [Selkies container setup](references/selkies-setup.md)

## Procedure

1. In Pi, call `computer_use_linux_tools` with the exact tools or capability you need. Enabled tools use the `computer_use_linux_<name>` prefix, appear starting on the next model turn, and remain active for the session.
2. Begin every desktop-control turn with `get_app_state`, scoped to the app you are working in: pass `app_name_or_bundle_identifier` or a window target (`window_id`, `pid`, `app_id`, `wm_class`, `title`). An `app_id` may be a full desktop ID or its final dot-separated segment; matching is case-insensitive, ambiguous aliases are rejected, and an unresolved explicit `app_id` returns an empty scoped tree rather than the desktop. Without a target the result is the whole desktop AT-SPI tree, `tree_scoped` is `false`, and `message` warns; that can flood context. Use `include_screenshot: false` when the accessibility tree is sufficient. To keep a screenshot out of context until you need it, pass `screenshot_file_path` (an absolute path to a new file whose extension matches `format`; an existing path is refused; stdio only, refused over HTTP): the image is saved there, `screenshot.file_path` names it, and no image content is returned. `screenshot` takes it too

토론

질문하고, 팁을 나누고, 안 되는 점을 알려 주세요. "도움이 됨"이 많은 순서예요.

아직 글이 없어요. 처음으로 질문하거나 공유해 보세요.

이곳의 글은 사용자가 쓴 것으로, PopNx 팀의 글이 아니에요.

로그인하고 글쓰기

GitHub 정보

GitHub 스타
889
제작자
agent-sh
라이선스
MIT
최근 코드 수정
2026년 11월 16일
repo 안 SKILL.md(번역본과 템플릿 포함)
1
토픽
accessibility, agent, ai, at-spi, claude, codex, computer-use, gnome, hermes-agent, hyprland, kde, linux