濃い紫のグラデーション背景に、アプリのウィンドウを指すカーソルを描いた抽象イラスト

記事

GitHub Copilotが「Computer Use」に対応——デスクトップアプリをAIが直接操作

GitHub Copilot CLIとCopilotアプリに、デスクトップアプリをAIが直接操作できる「Computer Use」機能がパブリックプレビューで追加されました。macOSとWindowsで使える仕組みと、安全に使うための承認フローを整理します。

GitHubは公式のGitHub Changelogで、GitHub Copilot CLIとCopilotアプリに「Computer Use」機能をパブリックプレビューとして追加したと発表しました。対応するのはmacOSとWindowsで、Copilotがデスクトップアプリケーションのアクセシビリティ情報や画面の視覚情報を読み取りながら、コントロールのクリック、テキストの入力や編集、キー操作、スクロール、ドラッグ、アプリをまたいだ画面遷移までを代行できるようになります。これまでのCopilotはエディタやターミナル、リポジトリ内の操作が中心でしたが、今回のアップデートでデスクトップ上のあらゆるアプリケーションが自動化の対象に加わる形です。コードの外側にある業務フローまでAIエージェントが踏み込めるようになる点で、開発者向けツールとしてのCopilotの役割が一段広がったアップデートだといえます。

APIやCLIを持たないソフトでも自動化できる

今回の機能が狙うのは、APIやコマンドラインインターフェース、MCP連携を持たないレガシーソフトやGUI専用アプリケーションの自動化です。GitHubが公開したデモでは、Copilotがブラウザ上の経費精算ワークフローを操作する様子が紹介されており、スプレッドシートや社内システムのように、これまで自動化の手が届きにくかった業務アプリも対象に含まれます。社内でしか使われていない古い管理画面や、ボタン操作でしか完結しないインストール済みのデスクトップソフトなど、スクリプト化が難しかった作業を自然言語の指示だけで任せられるようになる点が大きな変化です。長年「自動化したくてもできなかった」業務が多く残る現場ほど、恩恵を実感しやすいアップデートになりそうです。Copilotに「やりたいこと」「対象のアプリケーション」「守るべき制約」を具体的に伝えるほど、意図した通りの操作をしてもらいやすくなるとGitHubは案内しています。

左右に並んだ2つのアプリウィンドウを、点線でつながれたカーソルが指し示す抽象イラスト

操作には必ず承認が必要——権限管理の仕組み

安全面では、Copilotがアプリの操作を始める前に必ずユーザーの承認を求める仕組みになっています。一度許可したアプリは「常に許可する」設定にでき、その一覧はあとから見直したりリセットしたりすることも可能です。macOSでは、Computer Useの利用にあたって必要な「アクセシビリティ」と「画面収録」の権限設定もCopilotがガイドしてくれます。また、組織管理者はこの機能自体を無効化できるため、企業のセキュリティポリシーに合わせて利用範囲をコントロールできる点も押さえておきたいポイントです。承認なしにアプリが操作されることはない設計のため、エージェントに任せる範囲を少しずつ広げながら信頼関係を築いていける仕組みになっています。機密性の高い業務システムを扱う組織では、まず限定的な範囲で試験導入し、承認フローの運用を確認してから展開を広げるといった進め方が現実的でしょう。

使い方——CLIとアプリそれぞれの有効化方法

Computer Useの有効化は、GitHub Copilot CLIでは/computer onコマンドを実行するだけです。状態の確認は/computer show、無効化は/computer offで行えます。GitHub Copilotアプリの場合は、設定画面から「Computer Use」を選び、「Enable Computer Use」をオンにすることで利用を開始できます。アプリ側でも/computer onコマンドは引き続き使えます。通知の要約、プレゼンテーション資料の更新、デスクトップアプリをまたいだ情報の受け渡しなど、具体的なゴールを示すタスクほど相性が良いとGitHubは紹介しており、GUI中心の業務が多いチームにとっては試す価値のあるアップデートといえそうです。

日々の業務にどう影響するか

これまでCopilotの自動化はコードやリポジトリに閉じた範囲にとどまっていましたが、Computer Useによって、経費精算やチケット管理、社内ポータルの入力作業といった「画面を操作するだけの定型業務」もエージェントに任せられる選択肢が増えます。エンジニア以外のメンバーが使う業務アプリの自動化にもCopilotを応用できる可能性が出てきたことで、チームによってはツール導入の検討範囲そのものを見直すきっかけになりそうです。パブリックプレビューの段階では対応アプリや挙動の安定性に差があることも考えられるため、まずは影響範囲の小さいタスクから試し、承認フローの挙動に慣れていくのが安全な始め方といえます。社内ツールの自動化を検討していたものの開発リソースが確保できずに後回しにしていたチームにとっては、今回のアップデートが着手のきっかけになる可能性もありそうです。