蒸留
別名: モデル蒸留, 知識蒸留, knowledge distillation, Knowledge Distillation, 蒸留
Overview
モデル蒸留(知識蒸留)は、大規模な教師モデルが持つ知識を、より小型の生徒モデルに転移させる機械学習の手法です。単に教師モデルの出力を模倣させるだけでなく、教師モデルが問題を解く際の思考過程(例えば、中間層の活性化パターンやソフトラベル)を学習データとして利用することで、生徒モデルは元のサイズからは想像できないほど高い精度と性能を発揮できます。これにより、リソース制約のあるデバイス上でのAIモデルの展開が可能になります。
Mentioned Articles
20 件-
テクノロジー -
テクノロジーMicrosoft、オープンソース埋め込みモデル「Harrier」を公開 100超言語と32kコンテキストに対応、多言語MTEB v2で首位
Microsoftは2026年4月7日、Bing Blogでオープンソースのテキスト埋め込みモデルシリーズ「Harrier」を公開した。検索、取得、ランキング、文脈整理を支える埋め込み層を強化するもので、同社は多言語ベン […]
-
テクノロジー「人間の訓練にも膨大なエネルギーがかかる」OpenAI アルトマンCEO、AIのエネルギー消費批判に独自の反論
OpenAIのCEO、Sam Altman氏が、AIのエネルギー消費をめぐる議論に対し、挑発的ともいえる反論を展開した。インド・ニューデリーでThe Indian Express主催のイベントに登壇したAltman氏は、 […]
-
テクノロジーAI軍拡競争の裏側:Googleが明かす国家主導の「モデル抽出」とAI兵器化の最前線
2026年2月、Googleの脅威分析グループ(GTIG)が発表した最新の年次報告書「GTIG AI Threat Tracker」は、サイバーセキュリティの歴史における明確な転換点を提示した。かつて「AIを使った攻撃」 […]
-
テクノロジーOpenAI、中国DeepSeekの「蒸留によるただ乗り」を米議会に警告
2025年初頭、シリコンバレーとワシントンの双方に激震が走った。中国・杭州を拠点とするAIスタートアップ、DeepSeekが公開した「DeepSeek-R1」は、米国製モデルに匹敵する性能をわずかなコストで実現したとされ […]
-
サイエンス米研究所のAI研究員が「LED制御」の革新的定理を5時間で発見した
2026年1月、科学界に一つの衝撃が走った。ニューメキシコ州アルバカーキにあるサンディア国立研究所(Sandia National Laboratories)の物理学者チームが、人工知能(AI)を「実験パートナー」として […]
-
テクノロジーGoogleが「小型でも最強」のオープンソース翻訳AI「TranslateGemma」を発表
Googleの研究部門であるGoogle DeepMindおよびGoogle Translate Research Teamは2026年1月15日、最新のオープンモデル「TranslateGemma」を発表した。これは、 […]
-
テクノロジーNVIDIA、自動運転に「思考」を与えるAlpamayoプラットフォームを発表:CES 2026で示されたレベル4への道筋
2026年は「フィジカルAI」に関する動きが本格化しそうだ。 CES 2026において、AIコンピューティングの巨人NVIDIAは、自動運転開発のための包括的なオープンプラットフォーム「NVIDIA Alpamayo」フ […]
-
テクノロジーOpenAI、効率化により“70%”のコンピューティングマージンを達成も重くのしかかる無料ユーザーの負担とGeminiの陰
2025年12月現在、テクノロジー業界を駆け巡っている一つの数字がある。「70%」──これは、OpenAIが有料ユーザー向けのサービスにおいて達成したとされる「コンピューティング・マージン(Compute Margin) […]
-
テクノロジーGoogleが「Gemini 3 Flash」をリリース:検索とAIエージェントの常識を覆す「爆速・高知能」モデルの全貌
2025年12月18日、Googleは同社の最新AIモデル、「Gemini 3 Flash」を正式にリリースした。 だが、以前から存在した軽量版の“Flash”とは質的に異なる物で、単なる「軽量版モデルの更新」ではない。 […]
-
テクノロジーMicrosoft、オンデバイスAIエージェントを可能にする「Fara-7B」を発表
MicrosoftはAI技術のパラダイムを「対話(Chat)」から「行動(Agency)」へと劇的にシフトさせる実験的なモデル、「Fara-7B」を発表した。 これは単なる「賢いチャットボット」ではない。ユーザーの代わり […]
-
テクノロジーAnthropic、新AI「Claude Haiku 4.5」発表。5カ月前の最上位モデルに匹敵する性能と圧倒的低コストを実現
AIスタートアップのAnthropicは10月15日(現地時間)、同社の言語モデルファミリーに最新の小型モデル「Claude Haiku 4.5」を追加したと発表した。わずか5カ月前に最先端とされた中位モデル「Claud […]
-
テクノロジーDeepSeekはR1の訓練コストが29万ドルだと報告:だがそれは氷山の一角に過ぎない
中国のAI開発企業DeepSeekが、同社の推論モデル「R1」の訓練コストがわずか29.4万ドル(約4,400万円)であるとする詳細なレポートを発表した。OpenAIなどが数千万ドルから1億ドル以上を投じているとされる中 […]
-
テクノロジーAnthropic、中国系企業のAI利用を全世界で禁止へ:所有権に基づく新次元の規制が示す「AI新冷戦」の幕開け
デジタルの世界に、新たな「壁」が築かれようとしている。2025年9月5日(現地時間)、米国の有力AIスタートアップAnthropicは、同社のAIモデル「Claude」へのアクセスに関する利用規約を大幅に更新したと発表し […]
-
テクノロジーNVIDIA「G-Assist」がVRAM要件半減で多くのRTXユーザーが利用可能に
ドイツ・ケルンで開催されたGamescom 2025の舞台で、NVIDIAは同社のAIアシスタント「Project G-Assist」の未来を占う重要なアップデートを発表した。新しい軽量AIモデルの採用により、これまでハ […]
-
テクノロジーMeta、画像認識の常識を覆す「DINOv3」発表:”ラベル不要”で世界を認識する時代の幕開け
Meta AIは、自己教師あり学習を未曾有の規模でスケールアップした次世代コンピュータビジョンモデル「DINOv3」を発表した。人間によるラベル付けを一切必要とせず、17億枚の画像と70億パラメータで訓練されたDINOv […]
-
テクノロジーNVIDIA、オープンソース推論モデル「OpenReasoning-Nemotron」を発表:DeepSeek R1の性能をPCにもたらす
NVIDIAは、中国DeepSeek社の巨大推論モデル「DeepSeek R1 0528」の知性を、より小型で効率的なモデル群に凝縮した「OpenReasoning-Nemotron」ファミリーをオープンソースとして公開 […]
-
サイエンスQuEra、ハーバード、MIT、論理量子ビット上で「魔法状態蒸留」に世界初成功。汎用量子計算へ歴史的ブレークスルー
量子コンピュータが真の力を発揮するために不可欠とされた「魔法の状態」。その質を高める夢の技術「魔法状態蒸留」が、ついにエラーから完全に保護された論理空間で実現した。QuEra Computing、ハーバード大学、マサチュ […]
-
テクノロジーAI動画生成は「ライブ配信」の時代へ。MetaとUCバークレーが「StreamDiT」を発表、単一GPUで16fpsのリアルタイム生成を実現
これまで我々が目にしてきた高品質なAI動画生成モデルは、いわば「映画」であった。テキストを入力し、数分から数十分待つと、息をのむような短編クリップが完成する。しかし、それは常に完成品を鑑賞する一方通行の体験だった。 これ […]
-
テクノロジー米・著作権訴訟でAnthropicの「フェアユース」を認定も海賊版利用を断罪:AI業界の未来と倫理の境界線
AI開発のルールブックが、大きく書き換えられようとしている。2025年6月24日(現地時間)、カリフォルニア州北部地区連邦地方裁判所のWilliam Alsup判事は、AI企業Anthropicがそのモデル「Claude […]