プロトタイプ · プレビュー版:公式レジストリのすべてのサーバーを掲載し、30分ごとに同期しています。Google でログインするとレビューを書けます。プロトタイプ · 30分ごとに更新
PopNx MCPAIを使う人のためのMCPサーバー · やさしい言葉で解説

computer-use-linux Skill

作者:agent-sh★ 8891 個の skill

インストール

What it does

Native Linux desktop control for AI agents (MCP, Pi, CLI): semantic AT-SPI trees, screenshots, window targeting, and input across GNOME, KDE, Hyprland, niri, COSMIC, i3, Sway, labwc and other wlroots compositors, and X11.

  • Connects Instruction files the AI reads; connects to nothing
  • Account or key No key needed
  • Category 自動化とエージェント
作者向け:README にバッジを付ける

作者の方は、このコードを README に貼れます。バッジはこのページにリンクします。

[![Featured on PopNx MCP](https://mcp.popnx.com/badge/skill/agent-sh-computer-use-linux.svg)](https://mcp.popnx.com/en/skills/agent-sh-computer-use-linux)

似た Skill

同じ種類の作業。Skill 一覧と同じ並び

似たものと比べる
これ
computer-use-linux
skillsnacosanatomyleon
作者agent-shvercel-labsalibabawheresryan22leon-ai
Skill 数111–1
GitHub スター88939,50433,52427,47817,671
最終コード更新2026年11月16日2026年11月13日2026年11月13日2026年10月19日2026年11月13日
ライセンスMITMITApache-2.0MITMIT

agent-sh による 1 個の Skill(指示セット)。AI が読んでそのとおりに作業します · MCP server ではありません

Skill と MCP の違い

MCP = 手

AI を外部のサービスやデータにつなぎます(例:Notion を読む、請求書を作る)。プログラムやサーバーが動いている必要があります。

Skill = 手順書

作業のやり方を AI に教えるテキストファイル。どのサービスにもつながりません。

重なる部分もあります。ツールを呼ぶスクリプト付きの Skill や、知識だけを渡す MCP もあります。やりたい作業から選んでください。

使えるアプリ

Claude CodeClaude (เว็บ/แอป)CodexCursor

提供元の README と repo のフォルダから判断

インストール

Is it safe?

  • Who made it

    GitHub account agent-sh (organization) is only 8 months old: take extra care

  • Use and upkeep

    ★ 889 stars · code last changed 2026年11月16日

  • Any scripts?

    No, plain text files the AI reads and follows

  • Uses the internet?

    No scripts, so it does not go online by itself

  • Changes machine-wide settings?

    No hooks or writes to machine settings found

Checked automatically from the repo files at commit f12826d (read only, nothing was run). Not a safety guarantee: read it and decide for yourself

まず:どの AI を使っていますか

使っているアプリを選ぶと、そのアプリでのインストール方法だけが表示されます

Option 1Upload to claude.ai (web and app)

  • Files are byte-for-byte the same as on GitHub at commit f12826d · View on GitHub ↗

  • Plain text files, no programs

  • Once uploaded it runs on Claude’s systems, not on your computer. No need to unzip

Look inside before downloading

All 5 files · 36 KB

  • SKILL.md22 KB
  • references/hermes-setup.md1 KB
  • references/pi-setup.md5 KB
  • references/selkies-setup.md6 KB
  • LICENSE1 KB
  1. Download computer-use-linux.zip

    36 KB · 5 files · MIT license (license file included in the folder)

    コマンドを確認中 · 確認が通るとコピーボタンが出ます

  2. Open Skills on claude.ai and upload

    +Create skillUpload a skillpick computer-use-linux.zip

    Open claude.ai/customize/skills ↗

  3. No Upload button? Turn on file creation first

    SettingsCapabilitiesCode execution and file creation

    Turn on Code execution and file creation first (newer menus: Create and edit files) · personal plans: Settings → Capabilities · Team/Enterprise: an admin turns it on under Organization settings → Plugins & skills · every plan, including Free

Upload once; it works in claude.ai and Claude Desktop, and in recent Claude Code signed in with a Claude account (not with an API key)

Cowork and cloud sessions use the skills turned on in your claude.ai account, not ~/.claude/skills on your computer (Claude Desktop scheduled tasks run locally and still load it)

Checked against official docs 2026年11月12日 · Source: support.claude.com, support.claude.com, code.claude.com

Option 1Claude Code にインストールしてもらう

この文をコピーして Claude Code のチャットに貼り付けます

Where to install

コマンドを確認中 · 確認が通るとコピーボタンが出ます

コマンドを確認中 · 確認が通るとコピーボタンが出ます

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Claude Code を開き直し、/computer-use-linux と入力するか関連する作業を頼むと Claude が自動で使います

Checked against official docs 2026年11月12日 · Source: code.claude.com

For Terminal users

Skill は AI が従う指示です。入れる前にファイルを読み、信頼できる提供元のものだけを入れてください。

  1. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:下のコマンドは PowerShell では動きません。上の「AI にインストールしてもらう」を使ってください

  2. skill フォルダを ~/.claude/skills にコピー

    repo を一時フォルダにダウンロードし、SKILL.md のあるフォルダだけをコピーします

    コマンドを確認中 · 確認が通るとコピーボタンが出ます

  3. Claude Code を開き直し、/computer-use-linux と入力するか関連する作業を頼むと Claude が自動で使います

自分でインストールした Skill は ChatGPT デスクトップアプリ、Codex CLI、IDE の Codex 拡張機能で使えます · Web 版とモバイル版の ChatGPT では自分でインストールした Skill は使えず、ディレクトリのプラグインに含まれる Skill だけが使えます

ChatGPT デスクトップアプリ

ChatGPT デスクトップアプリには Codex が組み込まれていて、Codex は ~/.agents/skills フォルダから Skill を読み込みます

Option 1ChatGPT にインストールしてもらう

ChatGPT デスクトップアプリで Codex を開き、この文をチャットに貼り付けます

Where to install

コマンドを確認中 · 確認が通るとコピーボタンが出ます

コマンドを確認中 · 確認が通るとコピーボタンが出ます

The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Option 2自分でフォルダを置く

computer-use-linux フォルダを ~/.agents/skills/computer-use-linux に置きます

~ はホームフォルダ($HOME)です

For Terminal users

Skill は AI が従う指示です。入れる前にファイルを読み、信頼できる提供元のものだけを入れてください。

  1. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:下のコマンドは PowerShell では動きません。上の「AI にインストールしてもらう」を使ってください

  2. skill フォルダを ~/.agents/skills にコピー

    repo を一時フォルダにダウンロードし、SKILL.md のあるフォルダだけをコピーします

    コマンドを確認中 · 確認が通るとコピーボタンが出ます

インストールしたあと

  • ChatGPT デスクトップアプリ:サイドバーの Skills を開いて Skill があるか確認します
  • 使い方:ChatGPT では @ を入力して Skill を選びます · Codex CLI や IDE 拡張機能では /skills を実行するか、$ に続けて Skill 名を入力します
  • Codex は新しくインストールした Skill を自動で見つけます。表示されない場合は Codex を再起動してください

Checked against official docs 2026年11月15日 · Source: learn.chatgpt.com

Web 版とモバイル版の ChatGPT

自分でインストールした Skill は使えません。ディレクトリのプラグインに含まれる Skill だけが使えます

この Skill を ChatGPT で使うには、上の方法で ChatGPT デスクトップアプリを使ってください

Checked against official docs 2026年11月15日 · Source: learn.chatgpt.com

Option 1Codex にインストールしてもらう

この文をコピーして Codex のチャットに貼り付けます · ChatGPT デスクトップアプリ内の Codex、Codex CLI、IDE 拡張機能で使えます

Where to install

コマンドを確認中 · 確認が通るとコピーボタンが出ます

コマンドを確認中 · 確認が通るとコピーボタンが出ます

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Codex は新しくインストールした Skill を自動で見つけます。表示されない場合は Codex を再起動してください · 使い方:ChatGPT では @ を入力して Skill を選びます · Codex CLI や IDE 拡張機能では /skills を実行するか、$ に続けて Skill 名を入力します

Checked against official docs 2026年11月15日 · Source: learn.chatgpt.com

For Terminal users

Skill は AI が従う指示です。入れる前にファイルを読み、信頼できる提供元のものだけを入れてください。

  1. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:下のコマンドは PowerShell では動きません。上の「AI にインストールしてもらう」を使ってください

  2. skill フォルダを ~/.agents/skills にコピー

    repo を一時フォルダにダウンロードし、SKILL.md のあるフォルダだけをコピーします

    コマンドを確認中 · 確認が通るとコピーボタンが出ます

  3. Codex を開き直して関連する作業を頼むと、Codex が skill を一覧に出します

Option 1Cursor にインストールしてもらう

この文をコピーして Cursor のチャットに貼り付けます

Where to install

コマンドを確認中 · 確認が通るとコピーボタンが出ます

コマンドを確認中 · 確認が通るとコピーボタンが出ます

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Cursor の Agent チャットで / を入力し computer-use-linux を選ぶ

Checked against official docs 2026年11月12日 · Source: cursor.com

For Terminal users

Skill は AI が従う指示です。入れる前にファイルを読み、信頼できる提供元のものだけを入れてください。

  1. ターミナルを開く

    Mac:Command+スペースで Terminal と入力 · Windows:下のコマンドは PowerShell では動きません。上の「AI にインストールしてもらう」を使ってください

  2. skill フォルダを ~/.cursor/skills にコピー

    repo を一時フォルダにダウンロードし、SKILL.md のあるフォルダだけをコピーします

    コマンドを確認中 · 確認が通るとコピーボタンが出ます

  3. Cursor の Agent チャットで / を入力し computer-use-linux を選ぶ

Option 1Let the AI install it

Skill を読めるほかのアプリ向けです。この文には Claude Code、Codex、Cursor のパスが入っていて、AI が使っているアプリに合わせて選びます · Copy this sentence into the app’s chat

Where to install

コマンドを確認中 · 確認が通るとコピーボタンが出ます

コマンドを確認中 · 確認が通るとコピーボタンが出ます

For one project, paste it into a chat that is open in that project’s folder · The AI always shows you the path before installing

The AI tells you what it will do first and asks your permission at every step

Checked against official docs 2026年11月12日 · Source: code.claude.com, learn.chatgpt.com, cursor.com

For Terminal users

Gemini CLI や GitHub Copilot など Agent Skills 対応の他のアプリはフォルダが違います。そのアプリのガイドを見て、SKILL.md のあるフォルダをコピーしてください。

GitHub で見る ↗

2026年11月11日 に Claude Code、Codex、Cursor の公式ガイドで skill フォルダを確認

元の SKILL.md を見る

以下は提供元の repo の文章で、PopNx MCP の指示ではありません

最初の 8,000 文字を表示 · GitHub で全文を開く

---
name: computer-use-linux
description: "Linux desktop observation and control via native Pi tools or the computer-use-linux MCP server: accessibility trees, screenshots, window targeting, and input synthesis (click, type, scroll)."
author: agent-sh
license: MIT
platforms: [linux]
compatibility: "Native Pi tools require Pi 0.84.4+ and Node.js 22.19+; the standalone CLI/MCP server supports Node.js 18+."
---

# computer-use-linux

Use `computer-use-linux` when an agent needs to observe or operate a local Linux desktop: inspect the accessibility tree, list/focus windows, take screenshots, click, scroll, type, press keys, or invoke AT-SPI actions.

On labwc, window targeting uses the Selkies IPC patch's `labwc.sock` when it exists. Stock labwc and other wlroots compositors that advertise wlr-foreign-toplevel-management use that protocol instead, which reports no pids or bounds. Activation requires a unique app-id/title match. Window IDs include the title and must be refreshed after it changes. Ambiguous windows are rejected. Window bounds and relative coordinate targeting are unavailable until output scaling can be verified. Window-targeted screenshots, including `screenshot_after: "window"`, fail for the same reason; capture the full screen instead.

Native X11 clicks, scrolls and drags use xdotool/XTEST on `DISPLAY`, ahead of uinput and portal input. Install xdotool for this route. Missing or failed commands return an error without a system-wide fallback. Drags send paced intermediate motion and always attempt release after a failed press or motion; verify the drop target afterward.

## When to Use

Use this skill when:

- The user wants the agent to control a Linux GUI app.
- You need desktop state from AT-SPI, screenshots, or compositor window metadata.
- You are configuring the `computer-use-linux` MCP server for your agent.
- A desktop action needs target-aware input instead of blind shell commands.

Do not use this for remote browsers, websites, or headless automation when a browser-specific tool is available. Do not assume desktop actions are safe just because the MCP connection works.

## Install

Pick the install that matches how you will run this skill. You can use both.

### Claude Code or Codex plugin

```bash
claude plugin marketplace add agent-sh/computer-use-linux
claude plugin install computer-use-linux@computer-use-linux
# or, in Codex:
codex plugin marketplace add agent-sh/computer-use-linux
codex plugin add computer-use-linux@computer-use-linux
```

The plugin registers the MCP server and downloads the pinned, sha256-verified
release binaries on first start. It does not put `computer-use-linux` on
`PATH`; shell commands in this skill need the CLI install below. Set
`COMPUTER_USE_LINUX_BIN` to run a local build instead.

### Pi native tools

```bash
pi install npm:@agent-sh/computer-use-linux
```

This enables Pi's `computer_use_linux_*` tools. It does not put
`computer-use-linux` on `PATH`. Shell commands in this skill (`doctor`,
`setup`, `setup-window-targeting`, `guard-accessibility`, the MCP `command`
config, and Verification) need the CLI install below.

### Shell CLI / MCP server

Use this when you need `computer-use-linux` on `PATH` for the commands in this
skill.

```bash
npm install -g @agent-sh/computer-use-linux
computer-use-linux doctor | jq .readiness
```

Rust users can install from crates.io:

```bash
cargo install computer-use-linux
computer-use-linux doctor | jq .readiness
```

If `doctor` reports missing input or accessibility support, run:

```bash
computer-use-linux setup
computer-use-linux setup-window-targeting
computer-use-linux doctor | jq .readiness
```

If `doctor` selects ydotool as the input backend, also enable its per-user daemon. `./install.sh` creates `ydotoold.service`; Ubuntu's ydotool package ships `ydotool.service` instead (`systemctl --user enable --now ydotool`). Direct uinput, X11 xdotool, and RemoteDesktop portal input do not require `ydotoold`. On Wayland, ydotool sends only untargeted scrolls; a scroll at a point goes through uinput or the portal, and without the daemon an untargeted scroll goes through the portal too.

On niri, the server reads `NIRI_SOCKET` from its parent processes or the systemd
user environment when the host does not pass it; without it, discovery needs an
unambiguous socket matching `WAYLAND_DISPLAY`. Window listing and
exact focus use `niri msg` with a direct IPC fallback. Missing positions or
unknown/mixed output scaling leave window-relative coordinates unavailable;
focus the target and inspect a fresh full-screen screenshot before using
desktop coordinates.

On GNOME Wayland, log out and back in after `setup-window-targeting` if the GNOME Shell extension was newly installed.

For MCP hosts with `COMPUTER_USE_LINUX_NOTIFY_ON_COMPLETE=1`, call the optional
`complete_interaction` tool once after finishing desktop interaction. A skipped
cue is not a task failure. This notification does not guarantee exclusive
desktop ownership or that other clients have stopped sending input.
This applies only to directly spawned MCP hosts, not the native Pi extension.

`setup_accessibility` verifies the saved GNOME `toolkit-accessibility` key
separately from runtime AT-SPI. Inspect its warning and readback before assuming
new apps can expose trees. Other accessibility tools may change the key later;
setup does not hold it enabled continuously.

### Optional foreground accessibility guard

Skip unless: the user explicitly wants GNOME's saved `toolkit-accessibility`
setting kept enabled while desktop automation runs.

Run `computer-use-linux guard-accessibility` in a foreground terminal. It
registers a passive AT-SPI window-activation listener and watches/reasserts the
saved key with readback. The setting affects all apps for the current user.
`mcp`, setup, and `get_app_state` never start this guard automatically.
Stop with Ctrl-C or SIGTERM before intentionally disabling accessibility.
Stopping ends writes and removes its listener without disabling other clients
or restoring a previous saved value. Apps launched during a reset/reassertion
race may still need restarting; do not claim a complete GNOME toggle fix.

## Configure Your Agent

The `computer-use-linux` binary is an MCP server. Configure it as a stdio MCP server in your agent of choice:

```json
{
  "command": "computer-use-linux",
  "args": ["mcp"]
}
```

If the binary is not on `PATH`, use the absolute path (typically `~/.local/bin/computer-use-linux` or the npm global bin directory).
Pi native tools skip this MCP `command` config; see [Pi setup](references/pi-setup.md).

### Host-specific guides

- [Hermes setup](references/hermes-setup.md)
- [Pi coding agent setup](references/pi-setup.md)
- [Selkies container setup](references/selkies-setup.md)

## Procedure

1. In Pi, call `computer_use_linux_tools` with the exact tools or capability you need. Enabled tools use the `computer_use_linux_<name>` prefix, appear starting on the next model turn, and remain active for the session.
2. Begin every desktop-control turn with `get_app_state`, scoped to the app you are working in: pass `app_name_or_bundle_identifier` or a window target (`window_id`, `pid`, `app_id`, `wm_class`, `title`). An `app_id` may be a full desktop ID or its final dot-separated segment; matching is case-insensitive, ambiguous aliases are rejected, and an unresolved explicit `app_id` returns an empty scoped tree rather than the desktop. Without a target the result is the whole desktop AT-SPI tree, `tree_scoped` is `false`, and `message` warns; that can flood context. Use `include_screenshot: false` when the accessibility tree is sufficient. To keep a screenshot out of context until you need it, pass `screenshot_file_path` (an absolute path to a new file whose extension matches `format`; an existing path is refused; stdio only, refused over HTTP): the image is saved there, `screenshot.file_path` names it, and no image content is returned. `screenshot` takes it too

話し合い

質問、コツの共有、使えないことの報告ができます。「役に立った」の多い順です。

まだ投稿はありません。最初の質問や共有をどうぞ。

ここの投稿は利用者によるもので、PopNx チームのものではありません。

ログインして投稿

GitHub の情報

GitHub スター
889
提供元
agent-sh
ライセンス
MIT
最終コード更新
2026年11月16日
repo 内の SKILL.md(翻訳版とテンプレートを含む)
1
トピック
accessibility, agent, ai, at-spi, claude, codex, computer-use, gnome, hermes-agent, hyprland, kde, linux