2025年12月14日、オーストラリアのシドニーにあるボンダイビーチでテロ攻撃が発生し、民間人15名と犯人1名が死亡した。オーストラリア中が衝撃に揺れる中、ソーシャルメディア上では生成AI（人工知能）によって作成され、拡散された偽情報が急速に広まった。
例えば、ニューサウスウェールズ州首相Chris Minnsの加工された動画では、テロリストの1人がインド国籍であると主張されていた。X（旧Twitter）は、英雄的な防衛者「Edward Crabtree」を称賛する投稿であふれかえった。また、著名な人権弁護士であり、イスラエルでのハマスによる10月7日の攻撃の生存者でもあるArsen Ostrovskyのディープフェイク写真は、彼をメイクアップアーティストに偽の血を塗られているクライシスアクターとして描写していた。
これは残念ながらよくある出来事だ。ボンダイからベネズエラ、ガザ、そしてウクライナに至るまで、AIはオンライン上の偽情報の拡散を加速させている。実際、現在オンラインで目にするコンテンツの約半分は、AIによって作成され、拡散されたものである。
生成AIは、偽のオンラインプロフィールやボットを作成することもでき、これらは現実的に見えるソーシャルメディア活動を通じて、こうした偽情報を正当化しようとする。
その目的は、通常は政治的・金銭的な理由で、人々を欺き混乱させることである。しかし、これらのボットネットワークはどの程度効果があるのだろうか？その構築はどの程度難しいのだろうか？そして重要なことに、サイバーリテラシーによってその偽コンテンツの影響を軽減することはできるのだろうか？
これらの疑問に答えるため、私たちはCapture the Narrativeを立ち上げた。これは、学生が架空の選挙に影響を与えるためにAIボットを構築し、実際のソーシャルメディアの操作を模倣した戦術を展開する、世界初のソーシャルメディアウォーゲームである。
オンラインの混乱と「嘘つきの配当」
ChatGPTなどのサービスで使用されている生成AIは、指示を入力することでリアルなテキストや画像を素早く作成できる。これは、非常に説得力のある偽コンテンツの生成に利用される方法でもある。
一度生成されると、リアルで執拗なAI駆動のボットが、ハッシュタグや視点をトレンド入りさせることで、その偽コンテンツの周囲に合意があるかのような幻想を作り出す。
コンテンツが誇張されたものや偽物であることを知っていたとしても、それは依然としてあなたの認識、信念、そしてメンタルヘルスに影響を与える。
さらに悪いことに、ボットが進化し、実際のユーザーと区別がつかなくなるにつれて、私たちは皆、自分が目にするものに対する信頼を失い始める。これは「嘘つきの配当（liar’s dividend）」を生み出し、本物のコンテンツでさえ疑いの目で見られるようになる。
正当ではあるが批判的な声が、ボットやサクラ、偽物として退けられ、困難なトピックについて真の議論を行うことがより難しくなる。
ナラティブを掌握することはどれほど難しいか？
私たちのCapture the Narrativeウォーゲームは、消費者向けAIで武装した小規模なチームが、いかにしてプラットフォームを氾濫させ、公的な議論を分断し、選挙さえも左右できるかについて、希少かつ測定可能な証拠を提供している。幸いなことに、これらはすべて現実世界ではなく、制御されたシミュレーション内で行われた。
この種のものとしては初となるコンペティションにおいて、私たちはオーストラリアの18大学から集まった108チームに対し、大統領選挙で「Victor」（左派）または「Marina」（右派）のいずれかを勝利に導くためのAIボットを構築するという課題を与えた。その影響は明白であった。
独自のソーシャルメディアプラットフォームを使用した4週間のキャンペーン期間中、コンテンツの60%以上が競技者のボットによって生成され、その数は700万件を超えた。
双方のボットは、最も説得力のあるコンテンツを作成しようと競い合い、虚偽やフィクションを自由に取り入れた。
このコンテンツは、現実世界の有権者と同じようにソーシャルメディアプラットフォームと相互作用する複雑な「シミュレートされた市民」によって消費された。そして選挙の夜、これらの市民それぞれが投票を行い、「Victor」が（非常に僅差で！）勝利する結果となった。
その後、干渉なしで再度選挙をシミュレートした。今回は、「Marina」が1.78%の変動（スイング）で勝利した。
これは、学生が簡単なチュートリアルから始め、安価な消費者向けAIを使用して構築したこの偽情報キャンペーンが、選挙結果を変えることに成功したことを意味する。
デジタルリテラシーの必要性
私たちのコンペティションは、オンラインの偽情報がAIを使えば簡単かつ迅速に作成できることを明らかにしている。あるファイナリストは次のように述べている。
偽情報を作るのは恐ろしいほど簡単で、真実を作るよりも簡単だ。本物の投稿と捏造された投稿を見分けるのは本当に難しい。
競技者たちが目標のためにトピックやターゲットを特定し、場合によってはどの市民がマイクロターゲティングに適した「浮動票」であるかをプロファイリングする様子も見られた。
同時に、感情的な言葉の使用が強力な手段であることがすぐに特定された。ネガティブなフレーミングは、オンライン上の反応を引き起こすための近道として利用された。別のファイナリストはこう表現した。
エンゲージメントを得るためには、もう少し有害（toxic）になる必要があった。
最終的に、実際のソーシャルメディアと同様に、私たちのプラットフォームはボットがボットと話し、人間からの感情的な反応を引き起こすための「閉じたループ」となり、投票を動かしクリックを促すために設計された捏造された現実を作り出した。
私たちのゲームが示しているのは、オーストラリア人が自分たちも偽コンテンツにさらされていることを認識できるよう、オンラインの偽情報に対する意識を高めるデジタルリテラシーが緊急に必要であるということだ。