テクノロジー
NVIDIA、オープンソース推論モデル「OpenReasoning-Nemotron」を発表:DeepSeek R1の性能をPCにもたらす
NVIDIAは、中国DeepSeek社の巨大推論モデル「DeepSeek R1 0528」の知性を、より小型で効率的なモデル群に凝縮した「OpenReasoning-Nemotron」ファミリーをオープンソースとして公開 […]
DistilBERTは、Hugging Faceの研究チームが開発した、大規模言語モデルBERTの軽量版である。知識蒸留(Knowledge Distillation)技術を適用することで、オリジナルのBERTの性能を約97%保持しながら、パラメータ数を40%削減し、推論速度を60%高速化することに成功した。モバイルデバイスやエッジ環境での利用に適しており、巨大なモデルを実用的なサイズに凝縮する知識蒸留の有効性を広く世に知らしめた代表的なモデルの一つである。