OpenAIは2026年11月16日、児童性的虐待コンテンツ(CSAM)の疑いがある画像を検出し、人による確認へ振り分ける新しい分類器を発表した。審査・承認を受けた組織は、APIを通じて無料で利用できる。あわせてChatGPTでは、CSAMを探そうとする行動に対して警告を表示し、利用を一時停止する措置も打ち出した。
同社の初期評価では、従来の保護機能とほぼ同数の虐待画像を検出しながら、確認対象としてフラグを付ける画像を48%削減できると試算している。新分類器は、従来の検出手法では見つけにくかった画像にも対応し、確認担当者の負担を軽減することを目的としている。
既知の画像照合に、新たな疑いを検出する分類器を追加
既知のCSAMを検出する代表的な手法に、画像の「指紋」を比較する知覚ハッシュ照合がある。画像がリサイズや圧縮されていても、登録済みの画像との一致を見つけられる。OpenAIの新分類器は、こうした既知画像の照合を補完し、新しく作られた画像や加工された画像、AI生成CSAMの疑いを検出するためのものだ。
公開されたモデルカードによると、新分類器はOpenAI内部のCLIP画像エンコーダーと、3層の多層パーセプトロン(MLP)を組み合わせている。画像エンコーダーが入力画像を数値表現に変換し、MLPがカテゴリーごとのスコアを算出する仕組みだ。MLPはCSAMのデータを使って訓練され、画像エンコーダーの一部の層も調整された。OpenAIは、未知のデータに対する検出性能と処理速度のバランスを考慮して、この構成を採用したと説明している。
APIは「CSAMの疑い」と「AI生成CSAMの疑い」という2種類のスコアを返す。両者は排他的な分類ではなく、同じ画像で両方のスコアが高くなる場合もある。前者はCSAMに該当する可能性を示し、後者はAI生成CSAMの疑いを評価するもので、画像の生成方法や出自を証明する仕組みではない。
OpenAIは、分類器のスコアだけで画像がCSAMに該当すると確定できるわけではないと明記している。スコアは確認対象の選別や優先順位付けに利用し、内容の判断や法的対応は適切な権限を持つ担当者が行う。また、分類器APIに送信された画像は保存せずに処理し、モデルの訓練や評価にも再利用しないという。
確認対象を48%削減、検出精度の評価には注意が必要
OpenAIが示した48%という削減率は、ユーザーがアップロードした画像を対象に、従来の保護機能と新分類器を比較した初期評価に基づく試算である。ほぼ同数の虐待画像を検出しながら、確認対象としてフラグを付ける画像を48%減らせると見積もった。同じ発表で示された「約2倍」という数字は、フラグが付いた画像のうち実際に虐待画像だった割合の改善を指す。
確認対象が減り、その中に含まれる真の陽性の割合が高まれば、担当者はより少ない画像を確認するだけで済む。ただし、48%という数字は画像の件数に関する試算であり、確認作業にかかる時間や担当者の心理的負担が同じ割合で減少したという実測結果ではない。
分類器の性能を理解するうえで重要なのが、適合率(Precision)と再現率(Recall)だ。適合率は、分類器が陽性と判定した画像のうち、実際に陽性だった画像の割合を表す。一方、再現率は、実際に陽性である画像のうち、分類器が正しく検出できた割合を示す。判定基準を厳しくすれば確認対象を減らせる可能性がある反面、検出できない陽性画像が増えるおそれもある。
モデルカードのTable 7には、同じ判定閾値を使っても、評価対象となる画像の集まりによって適合率が大きく変わることが示されている。判定閾値とは、分類器が出力したスコアを基に、どの画像を確認対象とするかを決める境界値である。
| 信号 | オフライン評価の適合率 | ChatGPTトラフィックでのオンライン評価の適合率 |
|---|---|---|
| CSAMの疑い | 99.1% | 29.8% |
| AI生成CSAMの疑い | 100% | 34.0% |
注:各信号について、オフライン評価とオンライン評価には同じ既定閾値を使用している。閾値はCSAMの疑いが0.996324、AI生成CSAMの疑いが0.90。オフライン評価には学習に使用していない画像を用い、オンライン評価にはChatGPTの代表的なトラフィックの高スコア領域から抽出した標本を使用しているため、評価対象の母集団は異なる。
オフライン評価には計46,849枚の画像が使用された。このうちCSAMの陽性画像は6,849枚で、AI生成CSAMの陽性画像2,275枚もその中に含まれる。既定閾値での再現率は、CSAMが6,849枚中5,490枚を検出した80.2%、AI生成CSAMが2,275枚中1,966枚を検出した86.4%だった。
OpenAIによると、オフライン評価用の画像には、実際のChatGPTトラフィックと比べてCSAMが高い割合で含まれている。CSAMの出現率が低い環境では、問題のない画像のごく一部を誤って陽性と判定するだけでも、確認対象に占める真の陽性の割合は大きく低下する。このため、オフライン評価で99%以上の適合率を示した分類器でも、実際のトラフィックでは30%前後まで下がることがある。
また、オンライン評価は高スコア領域から抽出した画像を対象としており、再現率についても閾値間の相対比較に用いる設計となっている。導入組織は、公開された評価結果をそのまま自社環境に当てはめるのではなく、実際に扱う画像を使って確認対象の件数と検出できる陽性画像の数を評価する必要がある。
検出結果を確認・通報につなげる仕組み
新分類器のAPIを利用するには、申請フォームの提出、Personaによる本人確認、導入手続き、適用条件への同意が必要となる。OpenAIは、オンラインサービスの安全対策担当者、児童保護に取り組むNGO、法執行機関などによる利用を想定している。
導入効果を検証する方法は、大きく二つある。一つは、既存の仕組みで人が確認している画像に分類器を適用し、確認対象をどこまで減らせるか調べる方法だ。もう一つは、従来のシステムが検出していない画像にも適用し、新たに検出できるCSAMがあるか評価する方法である。自動的なブロックと人による確認では求められる精度が異なるため、用途に応じて判定閾値を調整することになる。
OpenAIは、既知画像の知覚ハッシュ照合に新分類器を組み合わせ、検出した疑いのある画像を訓練済みの担当者が確認する運用を推奨している。
| 工程 | 対象・役割 | 次の対応 |
|---|---|---|
| 知覚ハッシュ照合 | 既知のCSAMと画像の指紋を照合する | 既存の対応手続き |
| 新分類器 | 未知のCSAMの疑いをスコアで評価する | 人による確認 |
| 訓練済みで適切な権限を持つ担当者 | 画像の内容と地域の法的要件を確認する | 必要な対応・通報 |
注:モデルカードの推奨構成と開発者ガイドに基づく。分類器のスコアだけではCSAMへの該当性や通報義務は確定せず、地域の法的要件と組織の権限に従った判断が必要となる。
分類器を実際の安全対策に組み込むには、検出後の対応体制も欠かせない。開発者ガイドでは、利用者向けの通報窓口を設けるほか、安全識別子を使ってアップロード画像と利用者を関連付けることを推奨している。また、記録の保存方針、対応責任者、緊急時の報告先を定め、確認担当者への教育や心理的支援を整えることも求めている。分類器による検出から人による確認、必要に応じた通報までを一連の手続きとして構築する考え方だ。
ChatGPTでは警告と利用停止を導入、異議申立てにも対応
外部組織向けの分類器とは別に、OpenAIはChatGPT上でCSAMを探そうとする行動への介入措置も発表した。該当する行動を検出した場合、警告の表示、会話へのアクセス遮断、24時間の利用停止、専門的な支援窓口への案内などを行う。支援案内は、問題となる行動をやめるための助けを提供するものだ。違反を繰り返した場合は、さらに長期間の利用制限やアカウントの閉鎖、当局への通報につながる可能性があるという。
OpenAIのヘルプページによると、CSAMを探そうとする要求が検出された場合、警告などの措置が取られることがある。警告が表示されると会話は停止し、ログインしている場合は履歴から非表示となって再開できなくなる。ただし、履歴から非表示になることと、会話データが削除されることは異なる。一時的な利用停止が適用された場合はサインアウトされ、そのアカウントでのサインインやサービス利用もできなくなる。
現在の対象は、個人アカウントで利用するWeb版とモバイル版のChat modeおよびWork modeだ。ログインしていない利用者にも警告が表示される場合がある。一方、Business、Enterprise、Edu、Healthcareの各ワークスペースに加え、音声モード、Codex、デスクトップアプリは現時点で対象外となっている。これらの措置は世界各地で段階的に導入されており、国によって表示内容が異なる場合もある。
アカウントが停止された場合、理由や停止期間、利用者が取れる対応はメールで通知される。異議がある場合は、通知メールに記載されたリンクから申し立てることができる。永久閉鎖について別途通知を受けた場合は、その通知に記載された手順に従う。今回の発表では24時間の利用停止が示されているが、現行のヘルプページでは複数の介入措置が説明されているため、個別の停止期間や解除条件は実際に届く通知で確認する必要がある。



