WiredとBloombergの報道によると、OpenAIは、将来の高性能AIシステムの安全性を確保することに重点を置き、昨年7月に設立したばかりの「Superalignment」チームを解散した。今後同チームは独立した部署ではなくなり、一般的な安全性研究に統合される予定だという。
CEOと社長が元研究者からの批判に返答
こうした動きの中、先日辞任をした元AI安全担当研究者Jan Leike氏からの非難と批判を受け、OpenAIのCEO Sam Altman氏と共同設立者で社長のGreg Brockman氏は、長いが結局あいまいな声明をXに発表した。
メッセージを要約すると：進歩したAIは非常に有益なシステムだが、それに伴い安全基準という物も引き上げられ、これを達成するまでの期間が延びる可能性がある。安全性と能力の調和が必要であり、そのために安全研究を続けつつも世界にメリットをもたらす製品を提供し続け、フィードバックを慎重に評価していくとしている。
OpenAIの内部で何が起こったかについての一説は、AGIのリスクが単純に過大評価され、その結果、超AIに関する安全研究が誇張されたというものだ。
経営陣はこの傾向を認識し、それに応じてリソースを削減したとされている。しかし、安全チームは軽視されていると感じ、去っていく。この説は、スーパーアライメント・チームが廃止されたことと一致する。
「差し迫った巨悪を感じ取るような歪んだ現実観を持つ人たちを部屋にたくさん入れると、彼らは純潔のスパイラルの犠牲となり、ますます極端な信念を持つようになることが多い。やがて彼らは、彼らを受け入れ資金を提供する組織にとって有害な存在となる。彼らは疎外され、やがて去っていく」とMeta社のチーフAIリサーチャー、Yann LeCun氏は書いている。
しかし、ChatGPTの共同開発者でありOpenAIの共同設立者であるJohn Schulman氏の最近の発言は、Leike氏の役割を引き継ぐことになるが、この仮定と矛盾している。Schulman氏は、AGIは今後2～3年以内に実現すると考えている。彼は、このようなシステムが明確な安全ルールなしに多くの人々に展開されないように、一時停止の可能性を含む組織横断的なルールを提案さえしている。
「もしAGIが予想よりずっと早く実現したら、私たちは間違いなくそれについて注意したいと思うでしょう。安全に対処できることがはっきりするまで、トレーニングや配備のペースを少し落としたほうがいいかもしれません」とSchulman氏は述べている。
Sources
コメント