コンピューターの処理性能を測定する定番ベンチマークソフト「Geekbench」の開発元Primate Labsが、AI処理能力の測定に特化した新たなベンチマークテスト「Geekbench AI」を正式リリースした。このツールは、従来のCPUやGPUに加え、近年注目を集めるNPU（Neural Processing Unit）の性能も測定可能であり、急速に進化するAI技術の世界に新たな指標をもたらすものとなるだろう。
多様なプラットフォームのAI処理能力を測定
Geekbench AIは、これまで「Geekbench ML」として開発が進められてきたツールを正式版としてリブランドしたものだ。本ツールは、Windows、macOS、Linux、iOS/iPadOS、Androidと幅広いプラットフォームで利用可能であり、各プラットフォームに最適化されたAIフレームワークをサポートしている。例えば、WindowsやLinuxではOpenVINO、Windows向けにはONNX、Snapdragon搭載Arm PCではQualcomm QNN、Android及びLinuxではTensor Flow Lite、AppleデバイスではCoreMLといった具合だ。
テストには次のワークロードと測定値が含まれる。
| テスト | メトリック |
|---|---|
| 画像分類 | トップ1の精度 |
| 画像セグメンテーション | ピクセル精度 |
| 物体検出 | F1スコア |
| 顔検出 | F1スコア |
| 姿勢推定 | オブジェクトキーポイントの類似性 |
| 深度推定 | 二乗平均平方根誤差 (RMSE) |
| スーパーイメージ解像度 | 構造類似性指標測定 (SSIM) |
| スタイル転送 | 構造類似性指標測定 (SSIM) |
| 機械翻訳 | バイリンガル評価代行 |
| テキスト分類 | トップ1の精度 |
Geekbench AIの特筆すべき特徴の一つは、AIワークロードの多様性に対応するため、複数の精度レベルで性能を測定する点にある。具体的には、単精度（single-precision）、半精度（half-precision）、量子化（quantized）データの3つの精度レベルでテストを実施する。単精度とは、しばしば32ビット精度またはINT32と呼ばれるものである。 半精度は16ビット精度、量子化スコアはINT8、または8ビット精度と呼ばれることが多い。
これにより、異なるAIタスクや利用可能なハードウェアに応じた性能評価が可能となる。ただし、パフォーマンス・スコアはTOPSでは表示されないので、必ずしも各社が宣伝しているような数値は表示されない。
さらに、Geekbench AIは処理速度だけでなく、結果の正確性も評価の対象としている。例えば、画像内の物体検出や分類、画像のアップスケーリングなどのタスクを用いて、AIモデルの出力が期待される結果にどれだけ近いかを測定する。これは、高速に動作するが精度の低いモデルと、やや遅いが高精度なモデルを適切に区別するために重要な指標となる。
Primate Labsは、公平な比較を実現するためのいくつかの工夫も施している。その一つが、全てのワークロードを最低1秒間実行するという仕組みだ。これにより、高性能なシステムでも適切に性能を評価でき、スマートフォンからデスクトップPC、専用AI処理ハードウェアまで、幅広いデバイス間の比較が可能となっている。
また、スコアの標準化も行われており、Lenovo ThinkStation P340（Core i7-10700搭載）を基準システムとし、このシステムのスコアを1,500と設定している。これにより、ユーザーは異なるデバイス間の相対的な性能を容易に比較できるようになっている。
Geekbench AIの応用範囲は広い。開発者にとっては、クロスプラットフォームでの一貫したパフォーマンスを確保するためのツールとして活用できる。ハードウェアエンジニアは、アーキテクチャの改善を評価する手段として利用可能だ。一般ユーザーにとっても、システムの比較やトラブルシューティングのツールとして有用性が高い。
すでにSamsungやNVIDIAといった大手企業がGeekbench AIを活用しているという事実は、このツールの信頼性と有用性を裏付けている。Primate Labsの創設者John Poole氏は、「AIの世界は急速に変化しています。市場のニーズやAI機能の変化に応じて、新しいリリースとアップデートを予定しています」とコメントしており、Geekbench AIが今後も進化を続けることを示唆している。
Geekbench AIは本日からWindows、macOS、Linux、iOS/iPadOS、Android向けにこちらのサイトからダウンロード可能だ。
AIテクノロジーが急速に普及し、MicrosoftのCopilot+イニシアチブが始動する中、Intel、AMD、Qualcomm、Appleといった大手チップメーカーもNPU性能の向上に注力している。このような状況下で、Geekbench AIはAI処理能力の客観的な指標として、今後のAIハードウェア開発や購買決定に重要な役割を果たすことが期待される。AIの性能が製品選択の重要な要素となりつつある現在、Geekbench AIの登場は時宜を得たものと言えるだろう。
Sources
- Geekbench: Introducing Geekbench AI
コメント