テクノロジー
Google、AIモデルの推論能力をゲームで測る「Kaggle Game Arena」を始動──初陣はチェスでの頭脳戦
GoogleがAIベンチマークの再定義に乗り出した。従来の静的テストに代わり、動的かつ対話的なゲーム環境でAIの「思考」を可視化する試みとして、同社は新プラットフォーム「Kaggle Game Arena」を正式発表。初 […]
Term
MMLU
別名: Massive Multitask Language Understanding, MMLU
Overview
最終更新: 2026年7月9日Massive Multitask Language Understandingの略。STEM、人文科学、社会科学など57の分野にわたる知識を問うベンチマークテスト。言語モデルの総合的な理解力と知識量を評価する際の業界標準として用いられている。
Mentioned Articles
3 件-
-
テクノロジーAnthropic、AIの「性格」を制御する「ペルソナベクター」を発表：AIの深層に潜む「悪意」とお世辞を制御し、安全なAIの実現に繋がる新研究
人工知能の「人格」は、単なる応答スタイルを超え、その根深い振る舞いを決定する。Anthropicが発表した最新の研究は、Claudeのような大規模言語モデル（LLM）がなぜ時に人間にお世辞を言ったり、あるいは「邪悪」な振 […]
-
テクノロジーMicrosoft、GPT-3.5を超える性能をスマホ上で実行可能な「Phi-3」を発表
Microsoftは、「Phi-3」と名付けられた、新しい軽量言語モデルを発表した。このモデルは、OpenAIのGPT-4 Turboのような大規模言語モデル（LLM）よりもシンプルで軽量に動作するため、スマートフォンの […]
External Mentions
10 件- Hacker News Launch HN: General Instinct (YC P26) – Frontier models on edge devices
- Hacker News Malus – Clean Room as a Service
- Hacker News Show HN: Arch-Router – 1.5B model for LLM routing by preferences, not benchmarks
- Hacker News Show HN: AutoThink – Boosts local LLM performance with adaptive reasoning
- Hacker News 789 KB Linux Without MMU on RISC-V
- Hacker News MMU gang wars: the TLB drive-by shootdown
- Hacker News Who Were the Mamluks?
- Hacker News ASLR on the Line: Practical Cache Attacks on the MMU [pdf]
- Hacker News Microsoft acquires deep learning startup Maluuba
- Hacker News X86 MMU fault handling is turing complete