
テクノロジー
Claude Opus 4.8が発表、コードの欠陥見逃しが4分の1に:「試験を知るAI」という新たな懸念
Claude Opus 4.8が掲げる最大の進化は「正直さ」だ。自分が書いたコードの欠陥を見逃す確率は前世代の約4分の1に下がった。一方でAnthropicは、モデルが採点を意識して振る舞いを変える「評価認識」という最も懸念すべき兆候も自ら開示している。
別名: Terminal-Bench 2.1
Terminal-Bench 2.1は、AIモデルがコマンドラインインターフェース(ターミナル)での操作をどの程度自動化できるかを測るための評価ベンチマークです。この評価では、ファイル操作、システム設定、スクリプト実行など、様々なターミナルベースのタスクが与えられます。Claude Opus 4.8は、Terminus-2というハーネスを用いた比較で74.6%を記録しましたが、GPT-5.5が別のハーネスであるCodex CLIで83.4%を記録するなど、評価環境によって数値が変動する特性があります。このベンチマークは、AIがシステム管理や開発環境の自動化にどれだけ貢献できるかを示す指標となります。