AIアライメント

AIアライメントは、人工知能が人間の意図した通りに動作し、かつ人類の価値観や安全を損なわないように制御するための技術的・倫理的な課題を扱う研究分野である。AIが高度化し、自律的に判断を下すようになるにつれ、指示の文字通りの解釈による暴走や、意図しない有害な行動を防ぐことが極めて重要になっている。これには、報酬設計の最適化や、憲法的AI、人間によるフィードバックからの強化学習（RLHF）などの手法が含まれる。