AppleがWWDC 2024で発表した新しい「Apple Intelligence」は、Apple製デバイス上でローカルに動作するモデルと、Apple独自のAppleシリコンを搭載したAIサーバー上で動作するモデルを巧みに組み合わせたものだ。この戦略的な動きは、AppleがAI分野での競争力を強化し、ユーザーエクスペリエンスを根本から変革しようとする野心的な試みと言える。では、これらはどのような組み合わせで動作しているのだろうか？
Apple製品で用いられることを前提に構築されたAI
Appleは、彼らの基盤モデルについて以下の様に説明している：
「私たちのモデルは、ユーザーがApple製品を通じて日常的に行う活動を支援することを目的に作成され、すべての段階で責任を持って開発され、Appleのコアバリューに導かれています。 私たちは、言語モデル、拡散モデル、コーディングモデルなど、私たちの幅広い生成モデルファミリーについて、近日中にさらに多くの情報を共有できることを楽しみにしています」。
Apple Intelligenceと呼ばれる新しいAIシステムの中核を成すのが、「Foundation Language Models（基盤言語モデル）」だ。これらの大規模言語モデル（LLM）は、最大30億のパラメータを駆使し、一般的な生成AI機能を提供するように設計されている。具体的には、Apple Intelligence Foundation Modelsと呼ばれるこれらのモデルは、AFM-on-deviceとAFM-on-serverという2つの主要なモデルからなる。AFM-on-deviceはユーザーのデバイス上で直接動作し、即時性と優れたプライバシー保護を実現する一方、AFM-on-serverはAppleのサーバー上で実行され、より複雑で計算負荷の高いタスクを処理する。
これらのモデルの技術的基盤は、最先端のAI研究の成果を反映している。Transformerアーキテクチャを採用し、IO埋め込み行列、事前正規化、クエリキー正規化、グループ化されたクエリ注意機構、SwiGLU活性化関数、RoPE位置埋め込みなどの高度な技術を統合している。さらに、これらのモデルは人間の調整や入力を受けて微調整されており、より自然で文脈に応じた出力を生成できるよう設計されている。
Appleの戦略はオンデバイスモデルにとどまらない。Private Cloud Compute（PCC）と呼ばれるリモートAIサービスの導入により、クラウドベースの高度な処理能力も提供している。PCCは基本モデルに加えて、拡張された知能のための追加モデルにもアクセスできる。このサービスは、速度、精度、プライバシー、およびサイトの信頼性を向上させることを主な目標としている。特筆すべきは、PCCがAppleの消費者向けデバイスと同じSecure EnclaveやSecure Bootを使用していることだ。これにより、オペレーティングシステムやデータの改ざんを防ぎ、高度なセキュリティを確保している。
AppleのAI戦略の中で最も注目すべき点の一つは、責任あるAI開発へのコミットメントだ。Appleは、AIモデルの開発において、ユーザーの日常的な活動を支援するという明確な目的を掲げている。開発の各段階で責任ある方法を採用し、Appleの核心的価値観に沿ってAIを設計している。また、AIアライメントにも重点を置いており、AIシステムが人間の目標、価値観、および望ましい結果に適合するよう設計・実装することを重視している。
Appleの包括的なアプローチは、AIの未来に大きな影響を与える可能性がある。ローカル処理とクラウドベース処理を組み合わせることで、Appleは性能とプライバシーのバランスを取りつつ、ユーザーに高度なAI機能を提供することを目指している。さらに、AppleBotと呼ばれる自動化されたWebクローラーを使用してWeb上の情報を収集し、GitHubでホストされているオープンソースソフトウェアからもコードAIの学習を行っている。これらの取り組みにより、Appleの言語モデルはより広範な知識ベースを獲得し、多様なタスクに対応できるようになっている。
Appleは、これらの基盤モデルが言語、拡散、コーディングなど、さまざまな分野でのモデル開発につながると述べている。今後、これらのモデルがどのように進化し、Appleのエコシステム全体にどのような影響を与えるかが注目される。AI技術の急速な進歩と、それに伴う倫理的・社会的課題に対して、Appleがどのようなバランスを取りながら革新を続けていくのか、業界全体が見守っている。
Sources
コメント