Tech Product

DistilBERT

Overview

DistilBERTは、Hugging Faceの研究チームが開発した、大規模言語モデルBERTの軽量版である。知識蒸留(Knowledge Distillation)技術を適用することで、オリジナルのBERTの性能を約97%保持しながら、パラメータ数を40%削減し、推論速度を60%高速化することに成功した。モバイルデバイスやエッジ環境での利用に適しており、巨大なモデルを実用的なサイズに凝縮する知識蒸留の有効性を広く世に知らしめた代表的なモデルの一つである。

Mentioned Articles

1 件

External Mentions

8 件