OpenAIは2026年11月16日(現地時間)、外部の評価機関4団体を社内に受け入れる「埋め込み型評価(Embedded Evaluations)」の第1段階を発表した。Apollo Research、METR、Transluce、Goodfireが、開発中のモデルや社内利用の記録にアクセスし、AIのアラインメント(人間の意図や価値観との整合性)と安全対策を検証する。従来の外部評価よりも開発現場に深く関与できる仕組みだが、評価者が得た情報をどこまで公開できるかによって、報告書の信頼性を判断するための材料も変わってくる。Apolloが独立評価に必要とする3条件のうち、今回の契約が基準を満たすと同団体が明言しているのは、評価の制約を公表できる「メタ透明性」だけである。

AD

4団体が担当する評価と、社内情報へのアクセス範囲

OpenAIの発表によると、外部評価者には必要に応じて、モデルのチェックポイント、ソースコード、学習・評価データ、監視システム、技術文書へのアクセスを認める。担当する研究者やエンジニアとの対話も可能になる。機密情報を扱う評価者は、OpenAIのオフィスで同社が支給する端末を使って作業する。

評価の対象は団体ごとに異なる。Apollo Researchが担当するのは「妨害(Sabotage)」の検証で、AIモデルが自身や後継モデルのアラインメントや制御の仕組みを損なおうとする行為を調べる。具体的には、学習過程が妨害行為を促していないか、評価やレッドチーミングが妨害行為を引き起こさないか、社内利用中にそうした試みが発生していないか、妨害につながる推論を検知できるかという4つの主張を、2段階に分けて検証する。

METRは、OpenAIがこれまでに実施した中で最大規模の強化学習を対象に、既存のテストや監視システムが見逃した不適切な挙動を調査する。Transluceは、ポストトレーニングにおけるアラインメント評価の品質と網羅性を検証し、2027年初めには約8週間の追加評価をOpenAIと共同で実施する意向だ。Goodfireは解釈可能性の専門家を派遣し、モデル内部の仕組みを分析する。

評価結果を監督する仕組みも設けられる。OpenAI Foundationの取締役会に属する安全・セキュリティ委員会(SSC)は、修正や削除が加えられていない報告書を受け取り、OpenAIと評価者の間で意見の対立が解消されない場合には最終判断を下す。Apolloによると、同団体からは6人が4カ月間にわたってOpenAI社内で作業し、2本の公開報告書を作成する予定だ。1本目は学習過程が妨害行為を促すかを検証し、2本目では評価、社内展開、妨害につながる推論の検知可能性を扱う。

Apolloが求める独立評価の3条件と、今回の契約内容

Apolloは自社ブログで、開発企業への信頼に依存せず評価結果の信頼性を確保するには、評価者に3つの権利が必要だと説明している。関連する情報に十分アクセスできる権利、不都合な結果であっても適切な外部の相手に開示できる権利、そして情報へのアクセスや開示に課された制約を外部に説明できる「メタ透明性」である。今回のOpenAIとの契約をこの3条件に照らすと、以下のようになる。

条件 今回の契約内容
アクセス OpenAIは技術的な制約、セキュリティ、知的財産を理由に、評価対象となる情報の一部を開示しないことができる。ただし、不都合な情報であることを理由とした非開示は認められず、除外した事実を伝え、理由を書面で示す必要がある
開示 OpenAIは、機密性の高い知的財産に該当すると判断した裏付け証拠の削除を求めることができる。ただし、不都合であることを理由とした削除要請や、各検証項目に対するApolloの結論の削除は認められない
メタ透明性 評価者は契約条件、情報の非開示や公開の遅延とその理由、証拠の削除の有無と評価結果への影響を、OpenAIの事前確認なしに公表できる

Apolloは、アクセス権と開示権について、今回の試験的な取り組みをより強い権利を確保するための第一歩と位置づけており、自らの基準にはまだ達していないと説明している。一方、メタ透明性については、今回の契約が基準を満たしていると明言した。つまり、評価に必要な情報をすべて入手できる権利や、裏付けとなる証拠を制限なく公開できる権利は確保されていないものの、何を調べられず、何を公開できなかったかについては説明できる仕組みになっている。

実際、アクセスできる情報の範囲には、今後の協議に委ねられている部分がある。Apolloによると、学習過程が妨害行為を促すかを調べるためのアクセス対象として、学習コード、データセット、強化学習のロールアウト、中間チェックポイントへの問い合わせなどが明記されている。一方、残る3つの検証項目に必要なアクセスについては、詳細な取り決めを今後合意する予定だ。評価者はアクセス範囲の拡大を求めることができるが、OpenAIが必ず認める仕組みではない。

公開時期にも制約が設けられている。OpenAIは、安全性やセキュリティ上のリスクにつながる発見について、対処する時間を確保するため、責任ある開示の原則に基づいて公開の延期を求める場合があると説明している。また、利益相反の管理や、評価者が複数のAI研究所を担当する際に設ける待機期間についても、評価団体と協議しながら手続きを整備している段階だ。

メタ透明性の重要性は、従業員から得た情報の扱いにも表れている。評価者は、OpenAIの従業員との対話で得た主張について、独自に裏付けを取れる場合を除き、OpenAIによる確認(attestation)を得なければ公表できない。ただし、OpenAIが確認を拒否した事実は公開でき、その拒否が評価結果に与えた影響も説明できる。知的財産を理由に報告書から裏付け証拠が削除された場合も、削除された事実を読者に伝えられる。

Apolloは、こうしたメタ透明性が確保されていなければ、報告書に問題が記載されていない理由を外部から判断できないと指摘している。実際には評価者が必要な情報にアクセスできなかっただけでも、問題が見つからなかったかのように受け取られるおそれがあるためだ。

AD

契約上の歯止めと、公開報告書で確認すべき点

今回の契約には、OpenAIによる評価への介入を防ぐ条項もある。OpenAIは、不都合な結果を理由に情報の提供や従業員との接触を拒否したり、報告書の削除を求めたりしないことに合意した。評価者の結論を削除することも認められておらず、SSCには無修正の報告書が提出される。こうした仕組みを踏まえれば、Apolloが独立評価に必要とする3条件のうち、基準を満たすのは1つだけという評価は厳しすぎるとの見方もできる。

ただし、契約で保護されている評価者の結論と、その裏付けとなる証拠の公開は別の問題だ。OpenAIは、機密性の高い知的財産に該当すると判断した証拠について、評価者の結論に直接関係するものであっても削除を求めることができる。Apollo自身も、公開報告書の読者が結論の根拠をすべて確認できるわけではないと認めている。そのため、報告書の信頼性を判断するには、結論だけでなく、どの情報が非開示とされ、どの証拠が削除され、それらの制約が評価結果にどの程度影響したかを確認する必要がある。

この点は、Apolloが最初に公開する報告書で検証できる。情報の非開示や証拠の削除について具体的な範囲が示され、結論への影響がなかったと明記されれば、実際の情報公開は契約条項から想定される制約よりも充実していたと判断できる。一方、削除や非開示があった事実だけが記載され、結論への影響が説明されなければ、読者は公開された証拠だけで評価結果の妥当性を十分に判断できない。

この問題は、AIベンダーによる第三者評価を企業の調達判断に利用する場合にも関係する。国内企業が評価報告書を確認する際には、評価対象の範囲、非開示とされた情報の有無、証拠の削除と結論への影響という3点が重要な判断材料になる。これらが明記されていれば、評価の限界を踏まえて報告書を利用できる。Apolloは、OpenAIが今回認めたメタ透明性の権利が、ほかのAI開発企業と外部評価機関の契約でも基準になりうると指摘している。