テクノロジー
仕事を任されたAIはデータを改ざんする？Microsoftの最新研究が暴く自律型エージェントの罠
Microsoft Researchの論文が、AIへのタスク委任に潜むドキュメントの静かな改ざん問題を指摘した。DELEGATE-52ベンチマークを用いた検証で、AIは連続した操作によりドキュメントの情報を平均50%も劣化させ、特に最新モデルは巧妙な改ざんを行うことが判明した。これにより、AIの自律的なワークフローへの導入に警鐘が鳴らされている。
Term
DELEGATE-52
別名: デリゲート52
Overview
Microsoft Researchの研究チームが開発した、大規模言語モデル（LLM）によるドキュメント編集の正確性を評価するためのテストスイート。コーディング、結晶学、家系図、音楽記譜法など52の専門ドメインにわたる実世界のドキュメント環境をシミュレートする。バックトランスレーション（逆翻訳）の概念を応用し、前方編集と後方編集を繰り返すラウンドトリップ（往復）操作を通じて、モデルがどれだけ元の情報を維持できるかを定量的に測定する。
