SanDiskは、Western Digitalからの独立後初となる投資家向けイベントで、AI市場に革新をもたらす新技術「High-Bandwidth Flash（HBF）」を発表した。HBFは、3D NANDの大容量性とHBM並みの帯域幅を両立し、AI推論ワークロードにおけるメモリ容量の課題を解決する画期的なソリューションである。
SanDiskが挑むAI時代のメモリボトルネック
AIモデルの巨大化に伴い、GPUメモリの容量と帯域幅に対する要求が急速に高まっている。SanDiskは、この課題に対し、NANDフラッシュメモリ技術を基盤とした革新的なソリューション「High Bandwidth Flash（HBF）」を開発した。HBFは、AIアクセラレータで広く利用されているHigh Bandwidth Memory（HBM）と連携するNANDベースのメモリソリューションだ。
HBF：3D NANDの容量とHBMの帯域幅を融合
HBFの最大の特徴は、3D NANDフラッシュメモリの大容量と、High Bandwidth Memory（HBM）に匹敵する高帯域幅を兼ね備えている点である。
これを実現するため、最新BiCS 3D NANDダイを16層に積層し、Through-Silicon Vias（TSV）と呼ばれる微細なデータパイプラインで接続。さらに、ロジック層を設けることで、個々のNANDサブアレイへの並列アクセスを可能にしている。これにより、現行のHBMソリューションの8倍から16倍という驚異的な密度と、HBMに匹敵するスループットを実現する。
SanDiskのメモリテクノロジー責任者であるAlper Ilkbahar氏は、「HBFテクノロジーは、AI推論ワークロード向けにHBMメモリを補完するものです。HBMメモリの帯域幅に匹敵しながら、8〜16倍の容量を同程度のコストで提供します。」と述べている。
HBFの技術的詳細と課題
HBFは、概念的にはHBMに似ている。複数の高性能フラッシュコアダイをTSVで相互接続し、ロジックダイ上に積層することで、フラッシュアレイ（またはフラッシュサブアレイ）への並列アクセスを実現しているのだ。HBFの基盤となるアーキテクチャは、SanDiskのBICS 3D NANDであり、CMOSをアレイ（CBA）設計に直接結合する技術を採用している。このロジック層がHBFの鍵となる可能性がある。
従来のNANDダイ設計では、コアNANDフラッシュメモリアレイをプレーン、ページ、ブロックとして扱うことが多い。一方、HBFはダイを「多数の」アレイに分割し、同時アクセスを可能にしている。各サブアレイ（独自のページとブロックを持つ）には、専用の読み取り/書き込みパスがあると考えられる。これはマルチプレーンNANDデバイスの動作に似ているが、HBFのコンセプトはそれをはるかに超えているようだ。
SanDiskによると、第1世代のHBFは16個のHBFコアダイを使用する予定とのことだ。これを実現するため、同社は16個のHBFコアダイの積層を可能にする最小限の反りを特徴とする独自の積層技術と、複数のHBFコアダイから同時にデータにアクセスできるロジックダイを発明した。何百、何千もの同時データストリームを処理できるロジックの複雑さは、通常のSSDコントローラーよりも高くなるはずである。
SanDiskは、HBF製品の実際の性能数値を明らかにしていないため、HBFがオリジナルのHBM（約128GB/秒）またはNVIDIAのB200の場合はスタックあたり1TB/秒を提供する最新のHBM3Eのスタックあたりの性能に匹敵するかどうかは不明だ。
ただし、SanDiskが提供した例からわかるのは、8つのHBFスタックが4TBのNANDメモリを搭載できること。つまり、各スタックは512GB（24GBの8-Hi HBM3Eスタックの21倍以上）を保存できる。16-Hi 512 GB HBFスタックは、各HBFコアダイが、ダイレベルの並列処理を可能にする複雑なロジックを備えた256 Gb 3D NANDデバイスであることを意味する。16個の3D NAND ICから毎秒数百ギガバイトのデータを送ることは依然として非常に重要であり、SanDiskがこれをどのように達成できるかは不明だ。
一方で、HBFがDRAMのビットあたりのレイテンシに匹敵することはない。そのため、SanDiskは、HBF製品が、大規模なAI推論データセットなど、読み取り集中型で高スループットのアプリケーションを対象としていると強調している。多くのAI推論タスクでは、重要な要素は、HBM（または他のタイプのDRAM）が提供する超低レイテンシではなく、実現可能なコストでの高いスループットである。したがって、HBFはすぐにはHBMに取って代わることはないかもしれないが、大容量、高帯域幅、NANDのようなコストを必要とするが、超低レイテンシは必要としない市場で地位を占める可能性がある。HBMからの移行を簡素化するために、HBFは同じ電気的インターフェースを持ち、いくつかのプロトコル変更があるが、HBMとのドロップイン互換性はない。
SanDiskは、次のように述べている。「機械的にも電気的にもHBMにできるだけ近づけるように努めてきましたが、ホストデバイスで有効にする必要があるマイナーなプロトコルの変更があります」。逆に言えば、HBFがHBMと同一の電気的インターフェースを使用し、プロトコルを一部変更することでHBMと連携可能であると考えられる。HBMの高速性とHBFの大容量を組み合わせることで、AIアクセラレータのメモリ階層を最適化できる可能性があるといえるだろう。。
SanDiskは、HBFが3世代にわたって進化するというビジョンを持っている。SanDiskは、HBFをオープンスタンダードにしたいと考えており、「業界の著名人やパートナー」で構成される技術諮問委員会を設立する予定だ。
Sources
