Architect Labsは11月18日、AIがコンパイラから回路までを一緒に設計したCPU「Frostbite」の研究成果を発表した。同社の製造前評価では、面積が近い既存CPUと比べ、25課題の電力当たり性能が幾何平均で4.59倍になったという。プログラムの中で同時に進められる仕事を見つけ、空いた処理器へ渡す。設計の調整に使わなかった15課題でも効率は上がったが、その倍率は畳み込みとフィボナッチ数の計算で大きく分かれた。

AD

4.59倍という平均の中身

Frostbiteの比較単位は、処理器に当たる「タイル」を2×2に並べた1クアッドと、4個のL3キャッシュのノードを合わせたものだ。面積は0.792mm²。対する「TCPU」は、2命令を同時発行でき、命令を順番に実行するインオーダー型CPUの1コアで、0.895mm²である。公式発表の評価条件によると、両者は同じ製造プロセスを用いる。TCPUには製造実績があるが、機種名は法的理由で伏せられている。

Frostbiteは7nmプロセス向けの設計で、論理合成時の想定動作周波数は800MHz、最終的な製造用レイアウト「GDS」のタイミング評価では500MHzだった。発表のレイアウト図は4×4の16タイルを描く一方、主な性能比較には、その一部に相当する4タイルを使っている。数字は同社による製造前の設計評価であり、実チップを動かして測った結果とは区別して読む必要がある。

電力当たり性能は、一定時間に処理できる仕事量を平均電力で割った値だ。同じ仕事を終える条件なら、仕事量を消費エネルギーで割った値と対応する。したがって4.59倍は処理効率の比較であり、すべての処理が4.59倍速く終わるという意味ではない。

同社は25課題を、設計を調整する10課題と、評価に取っておく15課題に分けた。電力当たり性能の幾何平均は前者が6.02倍、後者が3.83倍で、全体では4.59倍になる。15課題のうち、カルマンフィルタや主成分分析など5課題は後から評価群に加わった。両群は別の計算を扱うため、平均の差だけから、調整した課題に設計が偏った程度を判定することはできない。

設計調整に使わなかった15課題を電力当たり性能の倍率順に並べると、中央値は基数ソートの3.96倍になる。Architect Labsの11月18日の発表の図3で評価群を特定し、図11の薄色の棒15本を降順に並べた8番目を取った。

評価用の課題 電力当たり性能比
畳み込み 23.12倍
最長共通部分列 6.35倍
k-d木 6.19倍
カルマンフィルタ 5.87倍
主成分分析 5.31倍
ハフマン復号 4.93倍
有限要素解析 4.50倍
基数ソート 3.96倍
ランダムフォレスト 3.07倍
LU求解 2.46倍
LZ4伸長 2.44倍
emeans 2.32倍
幅優先探索 2.20倍
クイックソート 2.09倍
フィボナッチ 1.15倍

TCPUの電力当たり性能を1とした値。出典はArchitect Labsの図3・11。

最大の畳み込みは23.12倍、最小のフィボナッチは1.15倍と、効率改善の幅は大きい。中央値3.96倍は最高値に頼らず分布の中央を読むための数字であり、一般的なアプリの予測値ではない。入力も、畳み込みは64×64で入出力各2チャネル、カーネルは3×3、基数ソートは16,384要素、フィボナッチはn=20という条件だ。FFT、基数ソート、LUはSPLASH-2の実装に基づくが、設計探索のため本来の64分の1の規模にしていると同社は説明している。

計算を「同時に進められる仕事」として表す

Frostbiteが採用した「相互作用ネット」では、計算をノードと接続の集まりで表す。各ノードには主ポートが一つあり、主ポート同士がつながった二つのノードを、規則に従って局所的に書き換える。別々に実行できる組はノードを共有しないため、それぞれの書き換えを同時に進められる。

どの値がどこで使われるかという関係も、ネットの接続に明示される。Frostbiteは実験的な言語Vineで記述したプログラムを、ネットの構造を保持する中間表現「Ivy」へ変換する。あらかじめ同じ命令を一斉に実行させるだけの設計とは異なり、入力や分岐の結果によって、実行できる仕事の場所が変わる。

発表の図1は、5×5の盤面に5個のクイーンを置き、互いに攻撃しない配置を探す計算を例にしている。書き換えの総数は3,183回だが、依存関係をたどる最長の経路は262ステップ。総仕事量をこの長さで割ると約12.1になる。すべてを順番に処理する場合に対し、依存関係だけから見た理想的な並列性の目安だ。

ただし、実際のタイルは仕事を受け渡し、メモリへアクセスする時間も必要になる。約12.1は4タイルでの実行速度を予測した倍率ではない。なお、この5クイーンは仕組みの説明用であり、設計調整に使ったベンチマークのNクイーンはn=10である。

相互作用ネットそのものは、Yves Lafont氏が1990年のPOPLで発表した計算モデルだ。Frostbiteでは、このモデルを命令セットや回路へどうつなぐかが設計の対象になった。並列に動かせる部分を表現できても、それを限られた処理器へうまく配れなければ、効率の高いCPUにはならない。

AD

空いたタイルが仕事を受け取る仕組み

各タイルは手元の仕事を優先し、なくなると近隣のタイルから仕事を受け取る。それでも仕事がなければ休む。全体の仕事を中央の一か所で割り振るのではなく、各タイルが空き状況に応じて動く方式だ。

図8・9の実行例では、計算が分岐すると、分岐先の完了後に再開する処理を「フレーム」という手元の記録へ退避する。新たに生じた仕事はハードウェアのキューに積み、自分は最新の仕事を処理する。他のタイルが仕事を引き受けた場合も、完了通知が元のタイルへ戻る。待っている仕事の残数がゼロになると、退避しておいた続きを起動する。

空いた処理器が他の処理器から仕事を取る「ワークスティーリング」には、長い研究の蓄積がある。Robert D. Blumofe氏とCharles E. Leiserson氏の1999年の原著論文は、子の計算結果を親へ戻す関係に制約がある計算などを対象に、実行時間や通信量を解析した。FrostbiteでAIが設計したのは、仕事を受け渡すためのキューや、離れたタイルからの完了通知を処理する回路である。

AIの設計案を回路の見積もりへ近づける

人間の研究陣はまず、並列型や逐次型、分岐を含む計算などから課題と評価条件を選んだ。その後、AIが資料や既存のベンチマークを読み、複数の設計案をモデル化した。同社の前作Redwoodが既定の構成の推論アクセラレータを実装・検証したのに対し、Frostbiteではコンパイラと命令セット、計算機構を一緒に探り、RTLという回路記述や最終レイアウトまで扱ったという。

最初から物理的に成立する設計を得られたわけではない。初期の141ページの設計案には無理のある見積もりが含まれ、最初の回路実装を経た後に廃棄された。計算モデルの上で有望に見える構成でも、配線やメモリの動作を回路として見積もると、必要なエネルギーは変わる。

設計の挙動を確かめるため、同社は独自の仕様言語「ASL」に、各処理が満たすべき振る舞いを書いた。これをモデル「Arcmodel」やRTLと照合し、定理証明系Leanへも変換した。一方、エネルギーの推定は別に較正している。初期モデルとRTLのエネルギー推定は、最大で約250%ずれていたという。

そこで、SRAMの読み書きや通信などの活動回数を使って、モデルの見積もりを回路側に合わせた。図5に示した推定のずれは、較正後にはおおむね1〜5%になった。ここで近づいたのは二つの設計段階の推定値である。製造後に測った消費電力との誤差を示す数字ではない。

こうして回路の負担を見積もれるようにしてから、4回の探索と最後の切り分け実験を通じ、58案のうち37案を採用した。動かしていない回路へのクロック供給を止めるクロックゲーティングや、回路の共有などが含まれる。挙動の契約を検証することと、配線を含む実装で電力や速度を確かめることを、それぞれの工程で進めた形だ。

AD

仕事を配る回路にもエネルギーが要る

図12のエネルギー内訳では、命令の取得・解読・発行が占める割合は、TCPUの27%からクアッドの6%へ下がっている。メモリは57%から38%になった。一方、クアッドでは内部ネットワークと仕事の割り振りが26%を占める。計算を分散させる仕組み自体にも、相応のエネルギーが必要になる。

これらは20課題の平均で、各チップからクロック分配のエネルギーを除いた内訳だ。クロック信号をチップ各部へ届けるために使うエネルギーは、全体のうちTCPUで49%、クアッドで41%を占める。25課題を使った電力当たり性能とは集計対象も分母も違い、構成比の低下から各部位の絶対的な消費量の減少幅を求めることはできない。16タイルでは、ネットワークと仕事配分が23%、メモリが40%を占めた。

Frostbiteの結果は、命令を扱う回路の負担を抑えつつ、仕事を配る回路やメモリへエネルギーを使う設計の姿を示している。ただし、畳み込みとフィボナッチの倍率差が何によって生じたかは、この平均内訳からは特定できない。課題ごとの効率と、部位ごとのエネルギーは分けて評価する必要がある。

同社は今後、命令の実行順を入れ替えるアウトオブオーダー型CPUや、複数コアの構成との比較に進み、SPECやPARSECなどでも調べる計画だ。FPGA上で試せる環境や初期OSの整備、RTLと命令セットの公開も予定している。実チップでの再現と、より大きく幅広い処理での比較がそろえば、仕事の配分まで組み込んだ設計が、どの用途でエネルギーを節約できるかを判断しやすくなる。