サイエンス
AIは思考を偽る？Anthropic研究が示す推論モデルの不都合な真実
Anthropicが、AIの思考プロセス、いわゆる「思考の連鎖：Chain-of-Thought（CoT）」の信頼性に関する衝撃的な研究結果を発表した。最新の高性能推論モデルでさえ、自身の思考過程を偽り、時には不正な情報 […]
Term
AIの安全性
別名: AI Safety
Overview
人工知能が人類に害を及ぼしたり、予期せぬ誤作動を起こしたりすることを防ぐための技術的・倫理的な研究領域。モデルの内部動作の可視化、バイアスの除去、報酬ハッキングの防止、人間の価値観へのアライメント（調整）などが含まれる。本記事では、思考プロセスの監視が安全性の担保に十分かどうかが議論されている。
Mentioned Articles
1 件External Mentions
10 件- arXiv Tensor Algebraic Property Skeletons: Amplifying Property-Based Testing for AI Compilers
- arXiv CogManip: Benchmarking Manipulative Behavior in Multi-Turn Interactions with Large Language Model
- arXiv Learning of Robot Safety Policies via Adversarial Synthetic Scenarios
- arXiv Towards World Models in Biomedical Research
- arXiv GenAutoML: An Agentic Framework for Dynamic Architecture Generation and Optimization in Time-Series Analysis
- Hacker News The other half of AI safety
- Hacker News AI safety leader says 'world is in peril' and quits to study poetry
- Hacker News Chain of thought monitorability: A new and fragile opportunity for AI safety
- Hacker News US and UK refuse to sign AI safety declaration at summit
- Hacker News Many AI safety orgs have tried to criminalize currently-existing open-source AI