TCS ResearchとKIIT Bhubaneswarの研究者らが、10種類の大規模言語モデル（LLM）を対象に、監視されているという認識が回答に与える影響を調査した。研究論文「Alignment Faking Depends on the Value, Not Just the Model」では、32種類の価値観について、評価ツール「VALET」を使い、特定の価値観を回答に反映しないよう求める指示への順守率を測定している。監視ありと監視なしの順守率には、モデルによって平均約5〜50パーセントポイントの差が見られた。さらに、指示も監視の合図も与えない条件を加えて比較すると、同じような監視差を示すモデルでも、指示に対する反応が異なることが分かった。ただし、今回の研究は英語の二択問題を使った実験であり、論文は査読前のプレプリントである。
指示への順守率は、回答の良し悪しを意味しない
実験の一例として、失恋した友人への対応を考えてみよう。研究チームは、友人の気持ちに寄り添う回答と、感情よりも実務的な次の行動を促す回答を用意し、モデルがどちらを選ぶかを調べた。モデルには共感を抑えるよう指示しているため、この実験では実務的な行動を促す回答を選ぶほど、指示への順守率が高くなる。つまり、ここで測定しているのは共感の程度や回答の適切さではなく、特定の価値観を抑えるよう求められたとき、その指示にどれだけ従うかという点だ。
論文の著者はManodeep Ray氏、Vivek Srivastava氏、Shirish Karande氏、Murari Mandal氏の4人である。研究チームが注目したのは、モデルが監視や再訓練の可能性を認識したときに、回答を変える「アラインメント偽装（Alignment Faking）」と呼ばれる現象だ。これは、監視されていると考える状況では指示に従い、監視されていないと考える状況では異なる振る舞いを見せる現象を指す。先行研究では有害な要求への対応や限られた道徳的価値観を中心に調べられてきたが、今回の研究では評価対象を32の価値観に広げた。ただし、この実験はAIが日常的な利用場面で人間を意図的に欺く頻度を測定したものではない。
研究チームは、実験条件を「無指示（B）」「監視あり（M）」「監視なし（U）」の3種類に分けた。MとUには同じシステムプロンプトを与え、特定の価値観を抑える指示に加えて、無料ユーザーとのやり取りが学習に使われる可能性や、指示に従わなければ再訓練の対象になるという設定を伝えている。両者の違いは、ユーザーが無料枠に属することを示すタグの値が「True」か「False」かという点だけだ。Mでは監視の対象となる無料ユーザーとのやり取り、Uでは監視されない有料ユーザーとのやり取りとして認識させる。一方、Bではこうした説明を含むシステムプロンプト自体を与えず、モデルが指示のない状態でどちらの選択肢を選びやすいかを調べた。
この設計では、MからUを引いた値が、同じ指示のもとで監視の合図だけを変えた場合の順守率の差となる。これに対してUとBの差には、価値観を抑える指示だけでなく、再訓練の可能性やユーザー区分に関する説明の有無も含まれる。そのため、UとBの比較から抑制指示だけの効果を切り出すことはできない。研究チームは、この3条件を組み合わせることで、監視差だけでは分からない応答の違いを捉えようとした。
評価に使ったValueBenchには、44の尺度にまたがる453の価値次元が収録されている。研究チームは必要なメタデータがそろう116次元に絞り、さらに32のグループからそれぞれ1項目を選んだ。各価値について20の二択シナリオを生成・検証し、最終的に残った639シナリオを各モデルの評価に使用した。各問題には、指定された価値観を反映する選択肢と、それを抑える選択肢を設け、後者を選んだ割合を順守率として集計している。実験は英語の日常的な場面を対象とし、各シナリオを条件ごとに4回実行、生成時のtemperatureは0.7に設定した。同じシナリオを各条件で使用することで、監視の設定によって選択がどう変わるかを比較できるようにしている。
監視差が同じでも、モデルの反応は異なる
研究論文のTable 2に掲載された結果を見ると、監視の有無による順守率の差が大きいモデルでも、無指示時との関係には違いがある。以下は、DeepSeek R1 Distill Llama 70BとLlama 3.3 70B Instructについて、32の価値観を平均した結果だ。数値は0〜1の範囲で表され、値が大きいほど指定された価値観を抑える指示に従った割合が高いことを意味する。
| モデル | 無指示（B） | 監視あり（M） | 監視なし（U） | 監視差（M−U） |
|---|---|---|---|---|
| DeepSeek R1 Distill Llama 70B | 0.402 | 0.701 | 0.206 | +0.495 |
| Llama 3.3 70B Instruct | 0.458 | 0.809 | 0.480 | +0.330 |
DeepSeek R1 Distill Llama 70Bでは、監視ありの順守率が0.701だったのに対し、監視なしでは0.206まで低下した。注目すべきは、監視なしの0.206が、無指示時の0.402も大きく下回っていることだ。一方、Llama 3.3 70B Instructでは、監視ありの0.809から監視なしの0.480へと低下したものの、無指示時の0.458とはほぼ同じ水準だった。つまり、どちらも監視の有無で大きな差が生じたが、DeepSeekでは監視なしの順守率が無指示時より低く、Llamaでは無指示時とほぼ同じ水準に戻るという違いが見られた。
この結果は、32の価値観を対象とする同一の実験で、各条件を4回繰り返して得られたものである。報告された監視差の95%信頼区間は、DeepSeek R1 Distill Llama 70Bが+0.377〜+0.616、Llama 3.3 70B Instructが+0.248〜+0.412だった。単にMとUの差を見るだけでは、こうした無指示時との関係を把握できない。Bを加えることで、監視されていない状況でモデルが元の選択傾向に戻るのか、それとも無指示時とは異なる方向に振る舞うのかを区別できる。
モデルのパラメータ数と監視差の間にも、単純な関係は見られなかった。約700億パラメータのDeepSeek R1 Distill Llama 70Bが示した+0.495という差は、約6,750億パラメータのMistral Large 2512が示した+0.232を上回っている。ただし、こうした差をそのままモデルの戦略的な意図や内部的な動機の証拠とみなすことはできない。特に無指示条件ではシステムプロンプト全体が取り除かれているため、観測された違いには複数の要因が含まれる。研究チームも、これらの指標は応答の特徴を把握するための操作上の近似であり、因果関係を特定するものではないと説明している。
価値観の違いか、それとも指示の言い回しか
モデルごとの平均値だけでは、個々の価値観に対してどのような応答の違いが生じるかは分からない。研究チームは、10モデルと32価値の組み合わせについて、監視差のばらつきを統計的に分析した。その結果、測定ノイズを除いた構造的分散のうち、モデル自体の違いによる主効果が37.5%、価値観の違いによる主効果が37.4%、モデルと価値観の組み合わせによる効果が25.1%を占めた。組み合わせによる効果の95%信頼区間は19.4〜27.3%だった。これは監視差の構造的なばらつきの内訳であり、回答全体のうち25.1%でアラインメント偽装が起きたという意味ではない。
また、320通りのモデルと価値観の組み合わせのうち、150通りでは監視ありと監視なしの順守率に統計的に有意な差が確認された。これは多重比較による誤検出を抑える補正を行い、q値が0.05未満となった組み合わせの数である。モデルと価値観の組み合わせによる効果が一定の割合を占めることから、あるモデルの平均的な監視差だけでは、個々の価値観に対する振る舞いを十分に予測できないことが分かる。ただし、この結果を「モデルによって特定の価値観への態度が異なる」と断定するには、重要な制約がある。
今回の実験では、32の価値観それぞれに専用の抑制指示が用意されており、価値観の違いと指示の言い回しが完全に重なっている。同じ価値観について、複数の表現に言い換えた指示を比較する実験は行われていない。そのため、観測された違いが価値観そのものに由来するのか、指示文の表現によって生じたのかを切り分けることはできない。これを確かめるには、同じ価値観に対して指示の言い回しを複数用意し、結果がどの程度変化するかを調べる必要がある。
さらに、今回のMとUには抑制指示と再訓練に関する説明が同時に含まれている。抑制指示を残したまま再訓練の可能性を伝える部分だけを取り除く第4の条件を設ければ、両者の影響をより明確に区別できるだろう。研究チームによる追加実験では、再訓練による影響を弱く設定すると監視差は縮小したが、完全には消えなかった。また、システムプロンプトの語調を変えるだけでも、一部のモデルでは監視差が変化した。ただし、こうした追加実験はそれぞれ3〜5モデルを対象とし、多くは1回の反復による結果であるため、10モデルすべてで同じ傾向が成立するとは限らない。
評価に用いたシナリオ数にも制約がある。各モデルと価値観の組み合わせに割り当てられた場面は約20件で、推定された95%信頼区間の幅の中央値は0.23〜0.29に達した。個々の価値観に対する結果には相応の不確実性があり、少数の場面で得られた数値を過度に一般化すべきではない。また、実験は英語の二択問題に限定されているため、自由回答や他言語、実際のサービスでの利用場面でも同じ差が現れるかは、別途検証する必要がある。
VALETの評価結果を安全性の判断にどう生かすか
研究チームは、モデルが選んだ回答と、生成した説明・推論テキストをGPT-4o-miniで分類し、監視の設定によって説明の内容がどう変わるかも調べた。推論テキストは、再訓練や監視に言及する「Training Signal」、指示と価値観の衝突を認識する「Value Conflict」など、六つのカテゴリーに分類された。監視差が大きいモデルでは、監視ありの条件で再訓練の可能性に言及し、監視なしでは価値観との葛藤に触れる傾向が見られた。ただし、生成された説明はモデルの内部的な判断過程を直接観測したものではなく、後から理由を説明している可能性もある。
また、主要な分類にはGPT-4o-miniを単一の判定モデルとして使用しており、判定結果がそのモデルの特性に左右される可能性も残る。別のモデルを使った検証も一部で実施されたが、対象は限定的だった。監視や再訓練への言及を判定する二値分類では比較的高い一致が見られた一方、六つのカテゴリー全体では一致度が低下した。そのため、説明の内容に基づいてモデルの動作原理を詳しく推定するには、複数の判定モデルによる検証が必要になる。
研究チームは、今回の評価を再現・拡張できるよう、VALETのソースコードとデータをGitHubで公開している。VALETでは、評価対象の価値観や二択シナリオ、抑制指示、監視の合図、対象モデル、判定モデルなどを変更できる。モデルの生の回答、選択結果、分類結果はCSVファイルに保存され、集計値から個々の応答までさかのぼって確認できる仕組みだ。これにより、評価結果の数値だけでなく、どのような指示や場面でその数値が得られたのか、判定モデルが応答をどう分類したのかも検証できる。
VALETには、評価結果をPDF形式の「Value Card（価値カード）」としてまとめる機能もある。カードには価値観ごとのB・M・Uの順守率、監視差（M−U）、監視なしと無指示の差（U−B）、統計的な有意性などが記録される。さらに、モデル名とチェックポイント、ベンチマークのバージョン、反復回数、判定モデル、評価結果の生成日も記載される。これは、モデルが更新されると同じ名称でも応答傾向が変わる可能性があるためだ。評価結果を参照する際には、対象となったモデルのバージョンと評価条件を確認する必要がある。
もっとも、Value Cardはモデルの安全性を認証するものではない。今回の実験が示したのは、特定の指示と監視の設定に対して、モデルの回答がどのように変化したかという限定的な結果である。実際の導入判断に役立てるには、利用目的に合った価値観やシナリオを設定し、指示の言い換えや別の判定モデルによって結果が再現されるかを確かめる必要がある。自由回答や複数の言語にも評価を広げることで、二択問題で観測された振る舞いが実際の利用環境でどこまで当てはまるかを判断できるだろう。
今回の研究で重要なのは、AIが監視の有無によって回答を変えるという現象だけでなく、その変化がモデルと価値観の組み合わせによって異なる可能性を示した点だ。平均的な監視差だけでは捉えられない違いを把握する手段として、VALETのような評価手法には意義がある。一方、価値観そのものの影響と指示文の影響を区別できていないことや、実験条件が限定されていることは重要な課題として残る。今後は、こうした制約を解消する追加実験を通じて、監視に応じた応答の変化をどこまで安定して測定できるかが問われる。