KIOXIAが生成AIの回答精度向上と大規模データ処理に貢献するSSDソフトウェア技術「AiSAQ™」をオープンソースとして公開した。DRAM依存を軽減し、RAGシステムの効率と拡張性を高める革新的な取り組みとして注目される。
生成AIの課題を解決、SSDベースの「KIOXIA AiSAQ™」とは
近年、目覚ましい発展を遂げる生成AIは、多様な分野で革新をもたらす可能性を秘めている。しかし、その一方で、膨大な計算資源、メモリ、ストレージを必要とし、導入コストが課題となるケースも少なくない。特に、生成AIの回答精度を高める技術として注目されるRAG(Retrieval Augmented Generation:検索拡張生成)は、大規模なデータ処理と高速な検索が求められる。
RAGは、LLM(Large Language Model:大規模言語モデル)が持つ知識に加え、外部のデータソースを参照することで、より文脈に沿った、精度の高い回答を生成する技術だ。企業内の機密情報や最新情報など、LLMの学習データに含まれていない情報を活用できるため、生成AIのビジネス応用において重要な役割を果たす。
RAGの中核となる技術の一つが、ベクトルデータベースにおけるANNS(Approximate Nearest Neighbor Search:近似最近傍探索)だ。ANNSは、大量のデータの中から、クエリベクトルに類似したベクトルを高速に検索するアルゴリズムである。従来、ANNSのインデックスデータは高速なDRAM上に配置されることが一般的であったが、DRAMの容量には限界があり、大規模なデータベースを扱う上でボトルネックとなっていた。
KIOXIAが開発し、オープンソースとして公開した「KIOXIA AiSAQ™(キオクシア アイザック)」は、この課題を解決するために生まれた革新的なソフトウェア技術である。「KIOXIA AiSAQ」は、SSD(Solid State Drive)を活用してANNSの検索アルゴリズムを最適化することで、DRAMの容量制約から解放され、生成AIの回答精度と大規模データセットへの対応力を向上させる。
「KIOXIA AiSAQ™」の3つの特長
1. DRAM容量に依存しない大規模データベース検索
「KIOXIA AiSAQ」の最大の特徴は、ANNSのインデックスデータをSSDに配置することで、サーバーのDRAM容量に依存せずに大規模なデータベースを検索できる点である。これにより、RAGシステムは、より大規模で複雑なデータセットを活用できるようになり、回答精度の向上が期待できる。KIOXIAは、「KIOXIA AiSAQ」により、数十億規模のデータセットに対して、メモリ使用量を抑えつつ、高速なANNS検索を実現すると述べている。
2. 効率的なRAGサービスとインデックス高速切り替え
同一サーバー上で複数のユーザーや用途別のデータベースを運用する場合、「KIOXIA AiSAQ」はその効率性を最大限に発揮する。従来、データベースを切り替える際には、インデックスデータをDRAMに再ロードする必要があったが、「KIOXIA AiSAQ」は、SSDに直接アクセスしてインデックスを切り替えるため、シームレスなデータベースの切り替えと、効率的なRAGサービスの提供を可能にする。
3. クラウド環境への最適化と柔軟なリソース構成
「KIOXIA AiSAQ」は、クラウドシステムで一般的なディスアグリゲーテッドストレージ環境に最適化されている。ベクトルデータをディスアグリゲーテッドストレージに配置し、複数のサーバーで共有することで、特定ユーザーや用途向けにベクトルデータベースの検索能力を柔軟かつ動的に調整できる。また、物理サーバー間での検索インスタンスの移行も容易になるため、クラウド環境におけるRAGシステムの運用効率を大幅に向上させることが期待できる。
専門家の視点:生成AIの民主化とRAG技術の進化
KIOXIA株式会社 CTO 兼 VP のAxel Stoermann氏は、以下のように述べている。「当社のAiSAQソリューションは、フラッシュベースのSSDをコアとした生成AIシステムのRAGアプリケーションのほぼ無限のスケーリングへの道を開く。SSDベースのANNSを活用することで、高価なDRAMへの依存度を下げながら、主要なインメモリソリューションのパフォーマンスニーズに匹敵する性能を実現し、大規模RAGアプリケーションのパフォーマンス範囲を大幅に拡大する。」
「KIOXIA AiSAQ」のオープンソース公開は、生成AI技術の民主化を大きく前進させる可能性がある。SSDという比較的手に入りやすいストレージを活用することで、より多くの企業や研究機関が、大規模なデータを用いた高度な生成AIシステムを構築し、RAG技術の研究開発を加速させることが期待される。
Sources
コメント