OpenAIは、macOS向けChatGPTネイティブアプリに大規模なアップデートを実施し、VS Code、Xcode、Terminal、iTerm2などの開発者向けアプリケーションとの連携機能を導入した。この新機能により、ユーザーはコードの手動コピー＆ペーストなしで、直接ChatGPTにアプリケーション内のコンテンツを解析させることが可能となっている。
ChatGPTの新機能「Work with Apps」とは
ChatGPTのこの「Work with Apps」と呼ばれる新たな機能は、macOSのアクセシビリティAPIを活用してアプリケーション内のテキストを読み取り、ChatGPTに送信する仕組みを採用している。現時点では、VS Code、Xcode、TextEdit、Terminal、iTerm2などの開発者向けツールに対応しており、ChatGPT Plus、Teamサブスクリプション加入者が即日利用可能となっている。Enterprise、Education向けユーザーへは数週間以内に展開される予定だ。
ChatGPT 🤝 VS Code, Xcode, Terminal, iTerm2
— OpenAI Developers (@OpenAIDevs) November 14, 2024
ChatGPT for macOS can now work with apps on your desktop. In this early beta for Plus and Team users, you can let ChatGPT look at coding apps to provide better answers. pic.twitter.com/3wMCZfby2U
プライバシーへの配慮も重視されており、ユーザーはChatGPTがどのアプリケーションを読み取れるかを細かく制御できる。また、VS Codeなど一部のアプリケーションでは、専用の拡張機能のインストールが必要となる。
Work with Appsの仕組みと制限事項
基本的な動作の仕組み
OpenAIのデスクトッププロダクトリード、Alexander Embericos氏によると、この機能の中核となるのはmacOSのアクセシビリティAPIである。このAPIは約20年の歴史を持つVoiceOver機能の基盤であり、一般的なアプリケーションに対して高い信頼性を誇る。
コンテンツの取り込み方式は対象アプリケーションによって異なる。VS Codeなどの特定のアプリケーションでは、直近200行のコードがプロンプトと共にChatGPTに送信される仕組みを採用している。一方、その他のアプリケーションではアクティブウィンドウの全テキストコンテンツを対象として解析を行う。
現時点での技術的制約
現行バージョンでは、テキストベースのコンテンツのみが解析対象となっており、写真やオブジェクトの配置、動画といった視覚的要素の認識には対応していない。また、VS Codeをはじめとする一部のアプリケーションでは専用の拡張機能をインストールする必要がある。
特筆すべき制約として、ChatGPTからアプリケーションへの直接的なコード書き込み機能は実装されていない点が挙げられる。これは競合製品であるGitHub Copilotなどと比較した際の大きな違いとなっている。また、特定のコード部分をハイライトして解析対象を指定することは可能だが、システムは常に周辺のコンテキストも含めて解析を行うため、完全な部分指定はできない仕様となっている。
アプリケーション互換性と今後の展望
現時点での対応アプリケーションは、VS Code、Apple Xcode、Terminal、iTerm2、TextEditに限定されている。これらはいずれも開発者向けツールであり、OpenAIがLLM（大規模言語モデル）の活用事例として最も人気の高いコーディング支援に注力していることを示している。
OpenAIは今後、文章作成系アプリケーションなど、より幅広い用途への対応を計画している。しかし、アクセシビリティAPIに依存する現在のアプローチでは対応できないアプリケーションも存在するため、新たな技術的アプローチの開発が必要となる可能性が高い。特に、アクセシビリティAPIでは読み取れない複雑なUIコンポーネントや、動的なコンテンツへの対応が今後の技術的課題となるだろう。
Sources
