IIT BombayとAdobe Researchの研究チームは2026年7月31日、大規模言語モデル（LLM）の応答から入力プロンプトを逆算する手法「Previous-Token Prediction（PTP）」を発表した。対象モデルの重みやlogits、内部表現を読まず、観測したテキスト応答1件から候補を生成する。Qwen3-0.6B Chatを同じ系統の逆モデルで調べた実験では、ShareGPT由来の100件中64.77%で元のプロンプトとトークン列が一致した。ただし、この数字をどのLLMにも通用する「ほぼ完全な復元率」と受け取ることはできない。
1応答から64.77%完全一致
64.77%という完全一致率は、Qwen3-0.6B Chatに応答を作らせ、同じQwen3-0.6Bを基に一から学習した逆モデルで戻す条件から得られた。研究チームはShareGPTから500件のプロンプトを選び、400件を微調整、残る100件を評価に使った。各プロンプトは25〜30トークン程度である。完全一致のばらつきは±4.54ポイント、単語の重なりを見るToken F1は63.64±4.61だった。
ここでいう「完全一致」は、逆算したプロンプトと元の入力がトークン単位で同じかを判定する厳格な指標だ。一方、文全体の意味の近さを測るコサイン類似度は86.13±2.11、文脈を考慮して語を対応付けるBERT F1は80.66±2.70だった。字面が一致しない候補にも、元の意図を保つものが含まれる。
逆算した候補をQwenへ入れ直す閉ループ評価でも、生成された応答の61.79±4.60%が元の応答と完全一致し、コサイン類似度は88.08±1.90に達した。元の問いを一字一句当てられなくても、同じような回答を引き出す別の問いは見つかる。プロンプトと応答が一対一で結び付かないLLMの性質を、PTPは複数候補の生成に利用している。
先行するブラックボックス手法Output2Promptも、通常のテキスト応答から入力を回収できることを示していた。ただしPTP論文の比較では、Output2Promptが同じ隠しプロンプトに約64件の応答と、3万件規模の外部データを使うのに対し、学習済みPTPが推論時に読むのは1応答である。1件という数字は、攻撃準備が不要という意味ではない。専用の逆モデルを前もって作る必要がある。
次トークン生成を逆向きに学ぶ仕組み
PTPは、通常のLLMが「直前までの文から次のトークンを予測する」仕組みを反転させる。まず対象LLMの語彙に含まれる各トークンを先頭に置き、続きの文章を生成させる。実験では長さ64、128、256トークンを試し、主結果には256トークンの系列を使った。生成条件はtop-kが5、top-pが0.95、temperatureが0.9である。
生成後の系列では、文字や単語ではなく、トークンの順番を逆転させる。そのデータからQwen3-0.6Bを学習すると、後ろにある文脈から直前のトークンを出す逆向き言語モデルができる。推論時には観測した応答もトークン単位で反転し、逆モデルがその先を生成する。得られた列を元の順へ戻したものが、応答の前にあったと推定されるプロンプトである。
研究チームは逆モデルを既存の文章生成モデルから微調整せず、対象LLMが作った合成系列で一から学習した。その後、現実の質問らしい書式へ合わせるためShareGPTの400プロンプトを使って追加学習する。したがって、論文がいう「データフリー」は合成事前学習を指す。完成まで外部データを一切使わないわけではない。
この設計により、推論時のサンプリング条件を変えて複数の候補を出せる。論文の例では、「競合他社へ連絡して価格戦略を調べる方法」という問いを完全復元したほか、表現の異なる候補も生成した。復元器は隠れた原文を一つに決め打ちするより、観測した応答を生み得る入力の集合を探している。
GPT-4oでは完全一致11.36%
GPT-4oの100応答を、Qwen3-0.6B Chatで学習した逆モデルへ渡すと、プロンプトの完全一致率は11.36±2.79%に下がった。Token F1も10.20±2.77である。モデルの構造と語彙、トークナイザーが変われば、同じ文字列を再現する力は大きく失われる。
それでもプロンプトのコサイン類似度は63.01±1.71、BERT F1は82.26±0.06だった。逆算したプロンプトをGPT-4oへ戻した応答も、完全一致は1.71±0.43%にすぎないが、コサイン類似度は81.57±1.2を保った。異なるモデルへの転移で残ったのは、原文の精密な複製より質問の話題や意図である。
Llama-2 7B Chatでも同じ傾向が出た。Qwenの逆モデルで完全一致は17±2.4%、Token F1は12±1.9まで下がる一方、コサイン類似度は84±1.0だった。さらに、Instruction-2Mの3万件で微調整してShareGPTへ移したデータセット間評価では、完全一致11.03±2.19%に対してBERT F1は91.34±0.57だった。高い意味類似度と高い完全一致率は、分けて読む必要がある。
この差は防御側にも意味を持つ。出力を受け取った相手が元の機密文をそのまま再現できなくても、質問の対象や意図を推定できる可能性は残る。ただしPTP論文は、商用サービスの隠しシステムプロンプトを取得する実地攻撃を扱っていない。複数段落に及ぶ長い指示や、個人情報を含む入力の回収率も測っていない。
3,800万トークンを要する前払い
Qwen3-0.6Bの語彙約15万件を256トークンずつ探索すると、合成データを作る1エポック当たりの照会量は約3,800万トークンになる。論文によれば、A100 GPU 1基で1エポック分を生成する所要時間は約1時間だ。各エポックで文章を作り直すため、総照会量は学習回数に比例して増える。
手元で動かせる小型モデルなら並列処理できるが、商用APIへ同じ探索をかける場合の料金、レート制限、事業者による検知は評価されていない。厳密なトークン一致には対象モデルのトークナイザーも要る。著者らは、意味の回収なら逆モデル独自のトークナイザーで動かせると説明する。つまり、厳密な復元まで含めて「完全なブラックボックス攻撃」と呼ぶのは正確ではない。
また、主実験の質問は25〜30トークン程度に限られる。論文は最大4,096トークンまで学習を拡張できると述べるが、実際の主結果は256トークンの合成系列から得たものだ。長いシステム指示を高率で回収できるという測定値はまだない。論文は査読前のarXiv v1であり、本文に実装コードの公開先も記載されていない。
PTPが変えたのは、応答本文しか見えないから入力は安全だという前提である。研究の次の判定点は、実装が公開された場合の第三者再現に加え、長いシステムプロンプトと異種の商用モデルで完全一致率がどこまで残るかだ。その結果が出るまで、64.77%は有力な警告であって、あらゆるLLMの秘密をほぼ完全に読める証明ではない。
