テクノロジー
なぜトップAI研究者はOpenAIやGoogleを捨て、Anthropicを選ぶのか？
シリコンバレーを震源地とするAI開発競争が、新たな局面を迎えている。それは「人材」、それも世界最高峰の頭脳を巡る静かで、しかし熾烈な争いだ。そして今、その勢力図に驚くべき地殻変動が起きていることが明らかになった。AI業界 […]
Tech Product
Superalignment
Overview
Superalignmentは、人間を遥かに凌駕する「超知能」AIが人類の利益に沿って行動するように制御（アライメント）するための技術的ブレークスルーを目的としたOpenAI内の特別チームです。計算資源の20%を割り当てられ、4年以内に中核的な課題を解決することを目指しています。
Mentioned Articles
4 件-
-
サイエンス超知能AIとは何か? それは人類を破滅させる可能性があるのか? そしてそれは本当にもうすぐ実現するのか?
2014年、イギリスの哲学者Nick Bostromは、『Superintelligence: Paths, Dangers, Strategies』という不吉なタイトルの人工知能(AI)の未来に関する本を出版した。この […]
-
テクノロジーAIアライメントとは何か？この考えはAIの安全性に対してどのような役割を果たすのか？
ますます高性能になる人工知能（AI）システムが普及するにつれ、それらがもたらすかもしれないリスクの問題が新たな緊急性を帯びてきた。政府、研究者、開発者はAIの安全性を強調している。 EUはAI規制について動き出し、英国は […]
-
テクノロジーOpenAI、人間を超えるAIの暴走を防ぐため、計算能力の20％を優先的に使えるスーパーチームを結成し研究を進める
OpenAIは、トップクラスの機械学習研究者とエンジニアで構成される新チーム「Superalignment」を社内に設立する事を発表した。このチームの目的は、「人間を超える超知能を持つ人工知能が暴走しないよう」に、スケー […]
External Mentions
8 件- arXiv Subliminal Signals in Preference Labels
- arXiv Selective Weak-to-Strong Generalization
- arXiv Limitations of refinement methods for weak to strong generalization
- arXiv Can Sound Replace Vision in LLaVA With Token Substitution?
- arXiv Super Co-alignment of Human and AI for Sustainable Symbiotic Society
- Hacker News Jan Leike joins Anthropic on their superalignment team
- Hacker News OpenAI's Long-Term AI Risk Team Has Disbanded
- Hacker News Introducing Superalignment