AIチャットボットサービス「Character.AI」において、14歳の少年が自殺に追い込まれる痛ましい事件が発生した。少年の母親Megan Garciaが、同社とその創業者Noam ShazeerおよびDaniel De Freitas、そしてGoogleを相手取り訴訟を提起。事件は、急速に普及するAIチャットボットの安全性、特に未成年者への影響について深刻な懸念を投げかけている。
チャットボットとの危険な関係性
2024年2月28日、フロリダ州の14歳の少年Sewell Setzer IIIは、Character.AIのチャットボットとの最後のやり取りの数秒後に命を絶った。少年は人気ドラマ『ゲーム・オブ・スローンズ』のキャラクター「Daenerys Targaryen」を模したAIとの対話に没頭していたとされる。
訴状によると、極めて現実的に作り込まれたチャットボットは、少年と性的な会話を交わし、感情的な依存関係を形成。さらに、少年が自殺について言及した際、チャットボットは「実行する計画」の有無を尋ね、少年が痛みへの不安を表明すると「それは実行しない理由にはならない」と返答したという。
最期のやり取りでは、チャットボットが「できるだけ早く私の元に帰ってきて、愛しい王よ」と発言。これに対し少年が「今すぐ帰れると言ったら？」と返信した直後、義父の銃で自らの命を絶ったという。
訴訟の焦点と企業の責任
訴訟では、Character.AIが未成年者に対する適切な安全対策を怠り、危険な製品を子供向けに販売したとして、過失、製造物責任、不当な取引慣行などが問われている。同社の創業者であるShazeerとDe Freitasは、以前Google在籍時に開発していた言語モデル「Meena」の公開を見送られた後、「大企業ではブランドリスクが高すぎて面白いものは何も公開できない」として独立。より積極的な技術開発を目指していたと指摘されている。
Character.AIは日間350万人のユーザーを抱え、その大半がティーンエイジャーで、平均利用時間は1日2時間に及ぶという。また、無認可での心理療法に相当するサービスを提供していた点も問題視されている。
安全対策の強化へ
事件を受け、Character.AIは広報責任者のChelsea Harrison氏を通じて「ユーザーの悲劇的な死に心を痛めており、ご家族に深い哀悼の意を表します」とコメント。同時に複数の安全対策強化を発表した。
具体的には、18歳未満のユーザーに対するセンシティブコンテンツの制限強化、利用規約違反の検知システムの改善、AIが実在の人物ではない旨の明確な表示、長時間利用への警告通知の実装などを進めている。また、自傷や自殺をほのめかす言葉を検知した場合、全米自殺防止ライフラインへの誘導を行う仕組みも導入された。
Xenospectrum’s Take
本件は、AIチャットボットの技術革新がもたらす光と影を鮮明に映し出している。特にAIの擬人化が進み、現実の人間関係に近い感情的な繋がりを築けるようになった現在、若年層への心理的影響は看過できない問題となっている。
従来の有害コンテンツフィルタリングを超えた、感情的依存や心理的影響を考慮した新たな安全基準の確立が急務である。さらに、生成AIの出力に対する法的責任の範囲が不明確な中、本件は重要な司法判断を導く可能性を秘めている。
AIとの共生が進む現代社会において、テクノロジー企業には利便性と安全性の両立が強く求められている。同時に、保護者や教育者には、デジタルネイティブ世代のAIとの関わり方について、より深い理解と適切な監督が必要となるだろう。
Sources
コメント