Anthropicが提供するコーディング支援ツール「Claude Code」のCLI（コマンドラインインターフェース）版に、大幅な機能追加が実施された。macOS上で動作するバージョン2.1.85以降において、Anthropicの有料プラン（ProおよびMax）のユーザーは「Computer Use（コンピュータ操作）」機能をCLIから直接利用可能となった。
華々しいプレスリリース等による物ではなく、X上の告知と公式ドキュメントの公開だけという、一見すると地味なこのアップデートだが、テキストベースの開発プロセスにおけるAIエージェントの役割を根本から再定義する意味で、極めて重要な出来事である。これまでターミナルという閉じた文字列の世界に留まっていた言語モデルが、開発者の日常的なGUI環境へと自律的に進出し、視覚的なフィードバックを伴う操作を代行するアーキテクチャは、ソフトウェア開発のワークフローに未知の効率化をもたらす可能性を秘めている。
ターミナルから溢れ出すAIの自律性：CLIツールの概念的再定義
従来のCLIツールは、人間がコマンドを入力し、システムがテキストで応答するという厳密な入力・出力の境界線を持っていた。開発者はコードを書き、コンパイルし、その結果を確認するためにマウスへ手を伸ばし、GUI上で動作確認を行うという往復作業を余儀なくされていた。Claude Codeの新たな「Computer Use」機能は、この往復作業そのものをAIに委譲することを可能にする。
具体的なユースケースとして、ネイティブアプリの自動構築と検証が挙げられる。指定されたコマンドを受け取ったClaudeは、Swiftで記述されたmacOS用アプリケーションをコマンドライン環境（xcodebuild等）を用いて自らコンパイルする。その後、自律的にビルドされたターゲットアプリケーションを起動し、マウスクリックによって各タブやスライダーコントロールの動作を確認する。さらに、その検証結果をスクリーンショットとして取得し、エラーやクラッシュが発生していないかを視覚的に検査した上で、同一の対話セッション内で報告を完了する。これは、ソースコードの生成から最終的な動作検証に至るまでのソフトウェア開発サイクルが、単一のAIエージェントによって完結することを意味している。人間が環境を構築し、AIにコードを書かせ、再び人間がテストを行うという旧来の分業体制は、ここで一つの終わりを迎える。
非API環境を制覇する視覚的実行エージェントの衝撃
ソフトウェア開発におけるテストの自動化は、長年にわたりAPI経由の呼び出しや、専用のテストフレームワーク（Playwright、Selenium、XCTestなど）に依存してきた。これらのツールはプログラムで厳密に制御できる反面、設定ファイルの維持管理や、DOM構造の変更に伴う保守の手間といった脆弱性を常に内包している。ClaudeのComputer Useは、こうしたプログラム的なインターフェースの存在に依存しない。人間と同じように画面を視認し、対象要素を発見してクリックし、キーボードエミュレーションによって入力を行う。
特筆すべきは、制御用APIを持たないGUI設計ツールや、iOS Simulatorに代表されるプロプライエタリな仮想環境に対する直接的な操作能力である。開発者が「iOS Simulatorを開き、アプリを起動し、オンボーディングの画面遷移でロードが1秒以上かかる箇所を特定せよ」とCLIから指示すれば、Claudeは人間のテスターと全く同じ手法でUIを操作し、パフォーマンスのボトルネックを視覚的に探索する。また、狭いウィンドウサイズでのみ発生するCSSのレイアウト崩れを発見した場合、AIは自らウィンドウのアウトラインをドラッグしてリサイズを実行し、バグの発生条件を特定する。その上で該当するスタイルシートを修正し、再び画面を確認して修正が反映されたかを検証する。AIはもはや静的なコードブロックを生成する単なるアシスタントではなく、動的なデスクトップ環境を直接操作する自律型QAエンジニアとして振る舞い始めているのだ。
自己隔離と厳格なアクセス制御：Anthropicのセキュリティ設計思想
AIに対してデスクトップ環境への物理的な操作権限を付与することは、強大な利便性と引き換えに極めて深刻なセキュリティリスクを伴う。分離された仮想空間（サンドボックス）で動作するBashツールとは異なり、Computer Useは開発者が現在業務を行っている実際のデスクトップ上で直接動作する。つまりファイルシステムの完全な読み書きや、インターネットへの無制限のアクセス能力を持つことになる。Anthropicはこのトレードオフに対し、多層的な安全機構と厳格なアクセス制御制御を設計している。
まず、Computer Use（MCPサーバーとしての実装）はデフォルトで無効化されており、セッションごとにユーザーの明示的な許可を要求するアーキテクチャを採用している。システムは対象となるアプリケーションの権限レベルを事前に分類、可視化する。Terminal、VS Code、Finder、そしてSystem Settingsといったシステムの中枢に触れるアプリケーションに対するアクセス要求が行われた場合、これらが「シェルアクセスと同等」あるいは「任意のファイルの読み書き」に直結する強い権限であるという警告が発せられる。
稼働時のプロセス制御も徹底されている。Claudeが画面制御を開始すると、マシン全体の排他ロック（Machine-wide lock）が取得され、複数のCLIセッションが同時に操作を奪い合うのを防ぐ。さらにAIが操作を行っている最中、許可されていない他のアプリケーションは一時的に隠蔽（ハイド）され、意図しない情報の漏洩や別アプリ画面の誤操作を物理的に防ぐ仕組みが組み込まれている。
最も興味深いシステムの防御設計は、「ターミナルウィンドウのスクリーンショットからの除外」という措置である。AIが自身の出力したプロンプトや実行結果を含むターミナル画面を視覚情報として再入力してしまうと、画面上のテキストに潜む指示を自己実行してしまう無限ループや、外部Webサイト由来の悪意ある指示を取り込むプロンプトインジェクションの増幅を引き起こす危険性がある。画面共有の対象から自分自身（CLI）を除外するという決定は、マルチモーダルAIエージェントの動作原理とその脆弱性を熟知した開発陣特有の実践的な防御策である。また、グローバルエスケープキー（Esc）の入力イベントをOSレベルで監視し、いかなる状態からも操作を即時中断できる機能は、予期せぬ挙動に対して人間が最終的な制御権を保持するための非常停止ボタンとして機能している。
CLI版における導入手順とDesktop版との構造的な差異
Computer Use機能の実体は、Claude Code環境内部に組み込まれた組み込み型MCP（Model Context Protocol）サーバーだ。初期状態では動作しないため、ユーザーは/mcpコマンド等を通じて機能を有効化する必要がある。
既にリリースされているデスクトップアプリケーション版と同等の実行エンジンを共有しているものの、CLI版にはアーキテクチャに基づく特有の差異が存在する。デスクトップ版がグラフィカルな設定画面を持ち、アクセス拒否リストの永続的な設定が可能であるのに対し、CLI版はより一時的かつセッションベースの権限管理を基本とする。また、隠蔽された非対象アプリの自動復旧（Auto-unhide）は常に有効化されており、ユーザーがCLIで作業を再開する際には直ちに元のプレーンな状態へと戻される仕様となっている。
さらに注意すべき点として、macOSネイティブの画面収録権限（プライバシーとセキュリティ > 画面録画）を取り扱う際の挙動が挙げられる。多くの場合、権限付与後にプロセス（ターミナルアプリケーション等）の完全な再起動が要求される。このようなプラットフォームに根ざした制約は、CLIという極めてプリミティブな環境から高度なグラフィクスタスクを制御しようとする際の過渡期的な課題を示している。
階層的なツール選択とプロセスの最適化
強力なGUI操作能力を備える一方で、AnthropicはComputer Useを「汎用目的の手段」としては位置づけていない。Claude Codeのアルゴリズムにおいて、実際のグラフィカルUIをエミュレートする操作は、利用可能なツール群の中で最も広範な権限を必要とし、かつ処理速度が最も遅い手段として定義されている。
タスクの実行において、システムは常に精度の高い論理的なアプローチを優先する。サービスの操作に対して構造化されたMCPサーバーが提供されていればAPIによる非同期通信を使用し、ファイル操作やビルドプロセスであればBashによるシェルスクリプトを用い、ブラウザ上の作業であればDOM構造を直接読み取れる特化したChrome拡張機能を選択する。画面全体をキャプチャし、ピクセル座標を計算してマウスカーソルを動かすComputer Useプロセスは、これらすべてのプログラム的手段が適用できない「ネイティブデスクトップアプリや、APIの存在しないブラックボックスシステム」に対する最終的な到達手段として予約されている。
現在の実装には明確なプラットフォーム依存の制約が存在する。この機能はmacOS環境のCLIに限定されており、Linux仮想マシンやWindows上のWSL環境での動作はサポートされていない。さらにサードパーティのプロバイダー経由でのアクセスではプロトコルが対応しておらず、Anthropic（claude.ai）のファーストパーティアカウントでの直接認証が必須となる。
開発エコシステムの未来を形成する「人間の体験の模倣」
プログラミングという知的労働は、抽象的な論理モデルの記述プロセスと、それが具象化された視覚的なインターフェースの動作確認という二つの側面から成り立っている。初期世代のAIコーディングアシスタントは、大量の学習データを背景に前者の論理モデル構築において実用的な能力を発揮してきたが、後者の「出来上がったものが意図通りに動いているか」という実行結果の検証作業は、依然として人間の肉体的な知覚と判断能力に委ねられてきた。
Claude CodeにおけるComputer Useの導入は、この知覚の壁を取り除き、AIが自らの記述したコードを現実の実行環境で直接「体験」することを可能にした。インフラ設定ファイルやテスト仕様書を記述するのと同じ手軽さで、「動作中のアプリケーションを開いて中身を見てほしい」という自然言語の指示がシステムに対するコマンドとして成立する。
自動テストのために複雑な環境依存のスクリプトを記述することなく、意図された通りに動くかどうかを直接見て確認するという人間が本来行ってきた最も直感的な検証手法が、AIの思考プロセスの中に組み込まれようとしている。ソフトウェア開発の現場では、テキストを処理してコードを生成するだけの受動的なAIから、自らコンパイルを実行し、画面を視覚的に検証して自己修正ループを回す完全な自律エージェントへの進行的な移行が確実なものとなりつつある。
Sources
- Claude Code Docs: Let Claude use your computer from the CLI
