個人開発者のLeonardo Alegría氏が、改造したPlayStation 4(PS4)で大規模言語モデルを動かすアプリ「Garlic LLM」を公開している。AlibabaのQwen3.5-9BをPS4本体のGPUで実行する仕組みで、動作中はインターネット接続も別のPCも必要ない。現在公開されている配布版はバージョン1.19だ。
開発者の公表値によると、標準型またはSlim型のPS4(ファームウェア11.52)で、会話の生成速度は毎秒31〜39トークン、コード生成では最大43トークンに達する。トークンとはAIモデルが文章を処理する単位で、文字数とは必ずしも一致しない。この動作を可能にしたのは、GPUの直接制御、モデルの量子化、生成するトークンの先読みという3つの技術的な工夫である。
GPUへの実行命令を自前で組み立てる仕組み
通常、アプリケーションがGPUで計算する際には、GPU計算用のAPIやライブラリを利用する。しかし、PS4の自作アプリ向けには、こうしたGPU計算用APIや機械学習ライブラリが提供されていない。そのため、Garlic LLMではGPUで実行するプログラムと、その実行を指示する命令列を開発者自身が用意したと、GitHubのREADMEで説明している。
まず、行列積、アテンション、正規化など、言語モデルに必要な演算をOpenCL Cで記述し、LLVMを使ってPS4のGCNアーキテクチャ向けにコンパイルする。こうして作られた計算プログラムは、GPU上で実際の演算を担う。一方、命令バッファーには、どのプログラムを、どのような条件で実行するかをGPUに伝える役割がある。Garlic LLMは、この実行指示も自前で組み立てている。
具体的には、GPUを制御するPM4形式の命令を生成する。公開されているmainブランチのengine.cを確認すると、計算プログラムのアドレスや引数、使用するリソース、スレッド数などを命令列に書き込み、DISPATCH_DIRECTという実行指示と処理グループ数を続けて記録している。ただし、公開されているmainブランチのコードと、配布版1.19のパッケージが完全に一致するかは確認されていない。
GPUを直接制御するには、計算の実行指示だけでなく、処理間の同期やCPUへの完了通知も必要になる。公開コードでは、次の手順で処理を進めている。
- 計算プログラムのアドレスや引数を指定し、GPUへの実行指示を命令バッファーに追加する。
- 各実行指示の後に同期処理を挿入し、古いキャッシュを無効化することで、次の計算が直前の結果を利用できるようにする。
- 命令バッファーの提出時には、キャッシュの書き戻しと完了ラベルへの書き込みを指定し、CPU側で処理の終了を確認する。
組み立てた命令列は、PS4のシステムAPIであるsceGnmSubmitCommandBuffersを通じてGPUに送られる。CPUは完了ラベルを繰り返し確認し、約20ミリ秒を過ぎても処理が終わらない場合は、確認の合間に短い待機を挟む。これは公開コードから確認できる処理の流れであり、実機での性能測定結果ではない。
この構成では、画面や文字の描画、入力テキストをトークンに分割する処理、音声処理の経路をCPU側が担当し、言語モデルの主要な演算をGPUが受け持つ。また、AIが生成したプログラムは、組み込みのMicroPythonを使ってPS4本体で実行できる。
8GBのメモリーに90億パラメーターのモデルを収める工夫
PS4は、CPUとGPUが共有する8GBのGDDR5メモリーを搭載している。Sonyの公式資料によると、北米では2013年に発売されたゲーム機だ。この限られたメモリーに90億パラメーターのQwen3.5-9Bを収めるため、Garlic LLMはモデルの重みを少ないビット数で表現する「量子化」を採用している。
開発者によると、重みの大半と出力ヘッドには4ビットのQ4形式を使用し、各層の多層パーセプトロン(MLP)に含まれる最大の2つの行列には、3ビットのQ3形式を使用している。Q3形式はスケール係数を含めて重み当たり約3.5ビットとなり、すべてをQ4形式で保存した場合と比べて約384MiBの容量を節約できるという。特に容量の大きい行列を圧縮することで、必要なメモリーを削減している。
READMEに掲載されたファイル一覧では、言語モデル本体が4.32GiB、先読み処理に使うMTPヘッドが0.20GiBで、合計4.52GiBとなっている。ただし、これは保存されているモデルファイルの容量だ。実行時には会話履歴を保持するキャッシュや演算用の作業領域、画面表示、音声処理などにもメモリーが必要なため、ファイル容量の合計がそのまま実行時の総メモリー使用量になるわけではない。
会話履歴の処理に使うアテンションキャッシュも4ビットに量子化しており、開発者によれば、Garlic LLMでは16Kトークンの文脈長を確保している。元のQwen3.5-9Bの公式モデルカードに記載された標準の文脈長は262,144トークンである。PS4向けの実装では、メモリー容量に合わせて保持できる文脈の長さを短くしている。
投機的デコードで高速化、音声機能とのメモリー配分が課題に
Garlic LLMは、モデルが次に生成するトークンを先読みすることで、生成速度を高めている。この処理に使うのが、Qwen3.5に備わるMulti-Token Prediction(MTP)ヘッドだ。
開発者のRedditへの投稿によると、MTPヘッドが最大2トークン先までの候補を生成し、本体のモデルがそれらをまとめて検証する。この方式は「投機的デコード」と呼ばれる。開発者は、この手法を使うことで、同じGPUでの生成速度が毎秒約22トークンから31〜39トークンに向上したと報告している。
一方、先読み処理には追加のメモリーが必要であり、音声機能との間で使用領域を調整する必要がある。音声モードでは、投機的デコードに使っていたメモリーを音声モデルに割り当てるため、言語モデルの生成速度は低下する。開発者がREADMEで示した標準型/Slim型PS4での数値は、次のとおりだ。
| 用途 | 言語モデルの生成速度 | メモリーの用途 |
|---|---|---|
| テキスト会話 | 毎秒31〜39トークン | 投機的デコードに使用 |
| 音声モード | 毎秒約22トークン | 音声モデルに割り当て |
音声モードの毎秒約22トークンという数値は、音声の再生速度ではなく、言語モデルが文章を生成する速度を指す。いずれも開発者の公表値であり、入力プロンプトや計測区間などの詳細な条件は示されていない。同一条件で測定した第三者による比較結果も確認されていない。
PS4で利用できる機能と動作条件
Hugging Faceで公開されている配布ページによると、バージョン1.19では、テキスト会話に加えて音声の入出力や、生成したMicroPythonプログラムの本体上での実行に対応している。アプリと各種モデルを同梱したパッケージの容量は約5.7GBで、前述の言語モデル本体とMTPヘッドの合計容量とは異なる。
音声会話は英語、スペイン語、ポルトガル語、ロシア語、イタリア語、フランス語、ドイツ語の7言語に対応している。音声入力には欧州の25言語を対象とした音声認識モデルを使用する。ただし、日本語はこれらの音声機能の対応言語に含まれておらず、日本語テキストの生成品質や速度に関する検証結果も公表されていない。
Garlic LLMを実行するには、改造ツール「GoldHEN」を導入したPS4が必要だ。Sonyの公認ソフトウェアではなく、開発者はGoldHENの導入を利用者の自己責任としている。
また、Garlic LLMの公式サイトでは、PS4 Proでも動作したとの報告が紹介されている。ファームウェア9.00、11.00、12.02を使用する3人のユーザーから動作報告があり、生成速度は最大毎秒45トークンに達したという。ただし、これは開発者自身が標準型/Slim型のPS4で測定した結果とは別のユーザー報告である。



