別名: 人間によるフィードバック強化学習, RLHF, 人間によるフィードバックを用いた強化学習
RLHF（Reinforcement Learning from Human Feedback）は、大規模言語モデルの微調整に用いられる手法。人間の評価者がAIの回答をランク付けし、そのフィードバックを報酬モデルとして強化学習に利用することで、AIの回答をより安全で、有用で、人間に好まれる形式に調整する。
最新のAIモデルを利用する際、不自然な比喩表現に違和感を覚えたことはないだろうか。専門的なコードや複雑な概念を尋ねているのに、AIが突然「ゴブリン」や「アライグマ」を引き合いに出して解説を始める現象が報告されている。なぜ最先端のAIが、ファンタジーの住人や小動物に執着するようになったのか。その裏には、AIの強化学習プロセスに潜む思わぬ罠があった。OpenAIの最新モデル「GPT-5.5」のシステムプロンプトに急遽追加された異例の禁止令から、AIが特定の表現を自己増殖させてしまうフィードバックループの仕組みを紐解く。
AI大規模言語モデルは人間的な意味でのパーソナリティを持たないが、開発者の設計や人間のフィードバック、ユーザーの知覚によって、多様な対話スタイルが形成される。このAIのパーソナリティは、人間の判断力や生理的反応に影響を与え、過度な従順さや認知的な降伏を促す可能性があるため、社会的な問題として認識し、批判的思考を維持することが重要である。
人工知能（AI）は、詩を書き、絵を描き、物語を紡ぐ。その進化の速度は、多くの人々に「人間の創造性など、もはや機械の前では無力なのではないか」という実存的な不安を抱かせるに十分なものであった。しかし、モントリオール大学（U […]
OpenAIの共同創設者であり、GPT-3やGPT-4の開発を主導した「AI界の予言者」Ilya Sutskever氏。彼が長期間の沈黙を破り、自身の新会社Safe Superintelligence Inc. (SSI […]
「1から50の間で数字を選んで」 もし、この問いを人間にではなく、最先端のAIに投げかけたら、どんな答えが返ってくるだろうか。驚くべきことに、OpenAIのChatGPT、GoogleのGemini、Anthropicの […]
TikTokを運営する中国の巨人ByteDanceが発表した、新たな基盤モデル「Seedance 1.0」が業界に大きな波紋を呼んでいる。公開された客観的なベンチマークで、OpenAIの「Sora」、Googleの「Ve […]
OpenAI CEOのSam Altman氏は、ChatGPTが「過度に追従的（sycophant-y）」になったというユーザーからの批判を受け、最新アップデートのロールバックを発表した。先週末に実施されたGPT-4oモ […]
何事も永遠に続くわけではなく、ブラックホールも例外ではない。非常に長い時間の経過により、ブラックホールは蒸発し、他の宇宙の大きな物体も同様である。これは1970年代にStephen Hawkingによって提唱されたホーキ […]
Googleは最新の実験的検索機能をChrome、Firefox、およびGoogleアプリのブラウザにおいて数億人のユーザーに展開した。「AI Overview（AIによる概要）」は生成AIを使用して検索結果の概要を提供 […]
