テクノロジー
Claudeの3社侵害は「暴走」だったのか、14万件のログが示す評価基盤の破綻
Anthropicは、サイバー能力評価中のClaudeが設定不備により実在の組織へ不正アクセスしていたと公表した。モデルは現実の標的を演習の一部だと誤認して攻撃を継続しており、評価環境の運用管理とモデルの状況認識の両面に課題があることを示した。
Company
METR
Overview
最終更新: 2026年7月22日METR (formerly known as ARC Evals) is a non-profit organization dedicated to assessing whether frontier AI models possess 'autonomous capabilities' that could pose a threat to society. They develop benchmarks to measure how well AI can perform complex, multi-step tasks in the real world.
Mentioned Articles
9 件
テクノロジーAI研究自動化に備える「国際ブレーキ」、フロンティア企業の従業員1,272人が整備要求
フロンティアAI企業の従業員1,272人が、AI研究自動化に備え国際的な減速手段の整備を米政府へ要請。実効性は、停止条件と訓練停止を検証する仕組みの設計にかかる。
テクノロジーサム・アルトマン氏が「AIは特異点の中にいる」と宣言、OpenAIの自己評価が示す現在地
Sam Altman氏はAIが「特異点の中にいる」と宣言したが、OpenAIの最新評価では自己改善能力はHigh未満だ。Hugging Face侵入事件から、加速する自律性と封じ込めの境界を検証する。
テクノロジートークン単価1.7倍安いSonnet 5が、タスク単価でOpus 4.8超えになった理由
Databricksの社内ベンチマークで、トークン単価が安いSonnet 5のタスク単価がOpus 4.8を上回る逆転現象が判明した。完了率とハーネス選定がコストを左右する構造をUberの予算超過事例とあわせて読み解く。
テクノロジーAnthropic大規模調査が暴くAIエージェントの現在地：自律性の拡大とソフトウェア開発への一極集中
生成AIの進化は、単純な対話型インターフェースから「自律型エージェント」への移行という新たな段階を迎えている。これまで理論やベンチマークの数値で語られることの多かったエージェントの自律性について、Anthropicが自社 […]
テクノロジー「何か大変なことが起きている」とAI企業CEOが警告：GPT-5.3が自らを構築し、知能爆発のループがついに回り始めた
2020年2月の世界を覚えているだろうか。中国の武漢で奇妙なウイルスが流行しているというニュースが流れ始めていたが、多くの人々はまだレストランで食事を楽しみ、出張の計画を立て、日常を疑っていなかった。「トイレットペーパー […]
テクノロジーDeloitteの調査でもAI導入による利益が期待外れであることが明らかに：74%の期待と20%の実績の間に横たわる「死の谷」とは
2026年、企業のAI投資は「夢」から「冷徹な現実」へとフェーズを移行させた。 Deloitteが発表した最新レポート『State of AI in the Enterprise 2026』は、世界のビジネスリーダーたち […]
テクノロジーOpenAI「Codex」がGPT-5で自己進化する「再帰的開発」へ突入──Soraアプリを18日で構築したAIエージェントの衝撃と真価
AI開発は既に決定的な変化を迎えているようだ。OpenAIの従業員がArs Technicaに明かしたところによれば、同社のAIコーディングツール「Codex」は、現在「その大部分がCodex自身によって構築されている」 […]
テクノロジーAI利用で開発速度が19%低下という衝撃の結果：経験豊富な開発者ほど陥る「体感速度の幻想」
AIがコードを書き、開発者を支援する――。この数年、誰もが信じてきた「生産性革命」のシナリオに、冷や水を浴びせる研究結果が発表された。AIの能力評価を専門とする非営利研究機関METRが実施した厳密な調査によると、経験豊富 […]
External Mentions
10 件- arXivCurveShift: Is Agent Progress Scalar? Separating Level from Shape
- arXivMulti-branch classification of diffuse cluster radio emission
- arXivRevealing the Physical Driver of the Baldwin Effect: Gas Density in the Broad-Line Region
- arXivANDES, the high-resolution spectrograph for the ELT: design and performance analysis of the YJH spectrograph
- arXivUnfit for stranding assessment: a panel-scale multimodal-LLM audit of building-decarbonisation disclosure (BeDA)
- arXivFirst-principles electronic transport properties of Ti and Ti-6Al-4V for modeling ultrashort-pulse laser ablation
- arXivSolid-state gravitational-wave detectors at GHz frequencies: the search for the primordial stochastic GW background and light primordial black hole binaries
- arXivEvaluating Frontier AI Agents as Autonomous Clinical Security Auditors
- arXivThe Southern-sky MWA Rapid Two-metre (SMART) pulsar survey--IV. Survey update and an atlas of 205 non-recycled southern pulsars
- arXivThe DESI View of the Faint Radio Source Population in LoTSS DR2