テクノロジー
AIベンチマークは意味がない?オックスフォード大が暴く“評価基準”の深き闇
「AIが司法試験に合格」「博士号レベルの知能を獲得」──。我々が日々目にする、人工知能(AI)の驚異的な進化を伝えるニュースの数々。しかし、その輝かしい成果の裏で、AIの能力を測る「物差し」そのものが、深刻な問題を抱えて […]
別名: Contamination, データ汚染
AIにおける汚染(データ汚染)とは、モデルの学習プロセスで使用される訓練データの中に、本来は評価のために秘匿されるべきテストセットの問題や解答が含まれてしまう現象を指します。これにより、AIは問題を論理的に解いているのではなく、学習した内容を単に記憶から呼び出しているだけ(カンニング状態)になる可能性があります。ベンチマークのスコアが実力以上に高く出てしまうため、AIの真の能力を誤認させる深刻な問題となっています。