GitHub は 10 月 1 日、Copilot CLI と Copilot デスクトップアプリ (macOS / Windows) で、デスクトップアプリを画面経由で操作する「Computer Use」をパブリックプレビューとして公開しました。/computer on もしくは Settings の Computer Use から opt-in して利用します。
アプリの表示内容を読み取り、クリック・入力・スクロール・ドラッグ・キー操作でユーザーの代わりに作業できます。API や MCP が無い GUI 専用の古いアプリや、Blender・iPhone Simulator のような専門ツールにも適用でき、作業中にマウスやキーボード、フォーカスを奪わない動作が特徴です。
主なポイント
- 対象は GitHub Copilot CLI と Copilot デスクトップアプリ (macOS / Windows)。ユーザーが opt-in する仕組み。
- 操作内容は画面要素の読み取りと GUI 操作 (クリック・入力・スクロール・ドラッグ・キー)。
- バックグラウンドで動作し、作業中の入力やウィンドウフォーカスを横取りしない。
- API / CLI / MCP を持たない GUI 専用アプリや、既存の自動化が難しいワークフローへの適用が想定。
- 10 月 2 日には Pierce Boggan 氏が X で経費処理・出張予約・E2E テスト短縮といったユースケースを紹介。
出典: GitHub Copilot can now interact with desktop apps with computer use