テクノロジー
AIベンチマークは意味がない？オックスフォード大が暴く“評価基準”の深き闇
「AIが司法試験に合格」「博士号レベルの知能を獲得」──。我々が日々目にする、人工知能（AI）の驚異的な進化を伝えるニュースの数々。しかし、その輝かしい成果の裏で、AIの能力を測る「物差し」そのものが、深刻な問題を抱えて […]
Term
GSM8K
Overview
最終更新: 2026年6月8日GSM8K (Grade School Math 8K) は、高品質な小学校レベルの算数文章題8,000問で構成されるデータセットです。多段階の推論が必要な問題が含まれており、AIモデルが論理的なステップを経て正解に到達できるかを評価する標準的な指標として用いられます。
Mentioned Articles
3 件-
-
テクノロジーSakana AI、自己適応型言語モデルを実現する革新的手法「Transformer²」を発表
Sakana AIは17日、大規模言語モデル（LLM）に新たな適応能力を付与する画期的な手法「Transformer²」（トランスフォーマー・スクエアード）を発表した。この技術は、言語モデルが異なるタスクに効率的に適応で […]
-
テクノロジーAIが「内なる独白」を行うようにしたところ、推論パフォーマンスが大幅に向上した
生成AIは使い方によっては便利な物だが、未だその出力は不安定な部分があり、時にデタラメを吐き出すなど問題が多い。“プロンプト・エンジニアリング”と呼ばれるような、大規模言語モデル（LLM）からの出力精度を上げる方法も数多 […]