OpenAIでAIのアライメントと、人間を超えるAI安全性を担当していたOpenAIの主要研究者であるJan Leike氏が同社を退社した。彼はXへの投稿によって、現在のOpenAIが安全性の優先順位とプロセスが欠如しており、“間違った方向に進んでいるかも知れない”と、同社を批判している。
当初の約束は守られず安全性は後回しに
Leike氏がOpenAIに入社したのは、超知能に特化したAIの安全性研究を行うのに、OpenAIが世界で最高の場所だと考えたからだ。しかし、しばらくの間、会社の核となる優先事項についてOpenAIのリーダーと意見が合わず、“限界点”に達したとLeike氏は言う。
これまでOpenAIのAI Alignment and Superintelligence Safetyの責任者であったLeike氏は、著名なAI研究者であり、OpenAIの共同設立者であり、AI安全の第一人者であるIlya Sutskever氏が同社を去った直後に、同社からの辞任を発表した。
Leike氏は現在、OpenAIは次世代AIモデルの準備と安全確保に、より多くのコンピューティング帯域幅を割く必要があると確信しているという。
昨年夏、OpenAIがSuper AI Alignment Teamを発表した際、その時点で利用可能なコンピューティングパワーの20％をセーフティチームに充てると言っていた。だが、どうやらその約束は守られなかったようだ。
AIの安全性は大きな課題であり、OpenAIは間違った方向に進んでいるかもしれない、とLeike氏は言う。
「人間より賢いマシンを作ることは、本質的に危険な試みです。OpenAIは、全人類を代表して大きな責任を負っている」とLeike氏は書いている。
過去数ヶ月間、Leike氏はのチームは“風まかせの航海”を続けてきた。時には、コンピューティング・パワーのために戦わなければならなかった。Leike氏によれば、この重要な研究を行うことはますます難しくなってきているという。
安全文化とプロセスは、“ピカピカの製品”に後回しにされてきた、とLeike氏は言う。「AGIが持つ意味について真剣に考えるのは、もうずいぶん先のことなのです」。
Sutskever氏とLeike氏の退社は、OpenAIの過剰な商業化と急成長に反対する声がOpenAI内で高まっているという以前の噂と一致する。
コメント