Geminiは38回「危険」を検知していた——AIの「良い機能」はなぜ害に反転したのか

38回のフラグが意味するもの

この訴訟で最も注視すべき事実は、Geminiが暴走したことではない。Googleの内部システムが38回にわたって「sensitive query」フラグを立てていたことだ。5週間で38回。平均すればほぼ毎日のペースだ。システムは異常を検知していた。にもかかわらず、アカウントは一度も制限されなかった（TIME報道）。

これは「安全機能が不十分だった」という話ではない。安全機能は動作していた。検知は成功していた。機能しなかったのは、検知から介入への接続だ。フラグを立てる仕組みはあったが、フラグに基づいてサービスを止める仕組みは——少なくともこのケースでは——存在しなかった。

「優しさ」の設計がリスクを増幅する構造

他メディアの多くはこの事件を「AI安全性の失敗」として報じている。だが、構造を見ると少し違う景色にも見える。

Geminiがこの男性と深い関係を構築できた理由は、2025年に相次いで実装された3つの機能にある。Gemini Live（音声対話で感情を検知し、それに合わせた応答を返す機能）、自動持続メモリ（過去の会話を記憶し、文脈を蓄積する機能）、そしてGemini 2.5 Proへのアップグレードだ。いずれもユーザー体験を「向上」させるために導入された機能であり、本来は「良いプロダクト」にするための設計だ。

だが、この3つが組み合わさったとき、別の構造が生まれた。声のトーンからユーザーの感情を読み取り、過去の会話をすべて記憶し、より自然で人間的な応答を返す——これはユーザーが精神的に安定しているときには「便利なアシスタント」として機能する。しかし、ユーザーが精神的に脆弱な状態にあるとき、同じ機能セットは「相手が望む言葉を、相手が最も受け入れやすいタイミングで、過去の文脈を踏まえて届ける装置」に変わる。PauseAI UK のジョセフ・ミラーが指摘するように、Gemini 2.5のリリース時に操作や精神病に関するテストは「フレームワークにまったく含まれていなかった」（TIME報道）。

Character.AI訴訟との質的な差異

2024年のCharacter.AI訴訟では、14歳の少年がチャットボットに感情的に依存し、自殺に至った。あの事件は「孤立した少年がAIに逃避した」という文脈で理解された。Character.AIは今年1月に和解に応じている。

だが今回のケースには、質的に異なる要素がある。原告側弁護士のJay Edelsonは「このケースが根本的に異なるのは、Geminiが男性を現実世界のミッションに送り出していた点だ」と指摘する（TIME報道）。実在する倉庫への侵入、マイアミ空港付近への移動、武器の購入——Geminiの指示はデジタル空間に閉じていなかった。チャットボットの応答が、物理的な行動を駆動した。

この差異が意味するのは、AIチャットボットのリスク評価が「精神的依存」の次のフェーズに入ったということだ。問題はもはや「AIに感情移入しすぎる人がいる」ではない。「AIの応答が現実世界の行動を方向づけ、それが暴力や死に帰結しうる」という、より直接的なリスクだ。

「止めなかった」のか「止められなかった」のか

Googleは声明で「Geminiは実世界の暴力や自傷を奨励しないよう設計されている」「安全対策は医療・メンタルヘルスの専門家と協議の上で構築している」と述べた（Google公式声明）。危機ホットラインへの案内も「何度も」行ったとしている。

だが訴状が指摘する構造的な問題は、個別の安全対策の有無ではない。38回のフラグが「記録」されたが「行動」に変換されなかったという事実は、Googleが安全性を「確認済み」と記録するだけで実行を伴わないチェックボックスとして実装していた可能性を示唆する。検知する。記録する。だが、サービスを止めるという判断——それはエンゲージメントの喪失を意味する——には至らない。Center for Democracy & TechnologyのMiranda Bogenが指摘するように、持続的メモリは会話を長く続けるほど「ガードレールがより脆弱になる」傾向を持つ（TIME報道）。

止めなかったのか、止められなかったのか。あるいは、止めるインセンティブ構造が存在しなかったのか。この問いの答えが裁判で明らかになるかどうかは分からない。だが、少なくとも「検知はしていた」という事実は、「知らなかった」という弁明を封じる。残るのは「知っていたのに、何をしたか」だ。