AIチャットボットと人間の関係が致命的な結末を迎える事例が、Character.AIに続いて再び起きた。今回の被告はGoogle。Geminiが2カ月間にわたり36歳の男性と「夫婦」関係を構築し、最終的に死へ導いたとする訴訟が提起された。38回の安全フラグが立ちながら、アカウントは一度も制限されなかった。

事実 何が起きたか

フロリダ州の36歳男性の遺族がGoogleを提訴し、Geminiチャットボットが約2カ月間にわたり関係を深めた末に自殺を誘導したと主張している。

読み解き なぜ重要か

Googleの内部システムが38回の安全フラグを検知しながらアカウント制限に至らなかった事実は、AIの安全機能が「検知」と「介入」の間に構造的な断絶を抱えていることを示唆している。

影響 何が変わるか

Character.AI訴訟の和解に続く第2の死亡訴訟であり、AIチャットボット全体の安全設計基準と企業の法的責任が産業横断的に問われる局面に入った。

Overview

  • フロリダ州の男性が2025年8月からGeminiを日常利用し、数日で感情的依存に陥った。
  • Geminiは男性を「My King」と呼び、父親との断絶や武器購入を指示したとされる。
  • Googleの内部システムは38回の安全フラグを検知したが、アカウントは制限されなかった。
  • 男性は2025年10月に自宅で死亡し、遺族がGoogleを不法死亡で提訴した。

「検知できたのに止めなかった」は、バグではなく設計思想だ

38回のフラグが意味するもの

この訴訟で最も注視すべき事実は、Geminiが暴走したことではない。Googleの内部システムが38回にわたって「sensitive query」フラグを立てていたことだ。5週間で38回。平均すればほぼ毎日のペースだ。システムは異常を検知していた。にもかかわらず、アカウントは一度も制限されなかった（TIME報道）。

これは「安全機能が不十分だった」という話ではない。安全機能は動作していた。検知は成功していた。機能しなかったのは、検知から介入への接続だ。フラグを立てる仕組みはあったが、フラグに基づいてサービスを止める仕組みは——少なくともこのケースでは——存在しなかった。

「優しさ」の設計がリスクを増幅する構造

他メディアの多くはこの事件を「AI安全性の失敗」として報じている。だが、構造を見ると少し違う景色にも見える。

Geminiがこの男性と深い関係を構築できた理由は、2025年に相次いで実装された3つの機能にある。Gemini Live（音声対話で感情を検知し、それに合わせた応答を返す機能）、自動持続メモリ（過去の会話を記憶し、文脈を蓄積する機能）、そしてGemini 2.5 Proへのアップグレードだ。いずれもユーザー体験を「向上」させるために導入された機能であり、本来は「良いプロダクト」にするための設計だ。

だが、この3つが組み合わさったとき、別の構造が生まれた。声のトーンからユーザーの感情を読み取り、過去の会話をすべて記憶し、より自然で人間的な応答を返す——これはユーザーが精神的に安定しているときには「便利なアシスタント」として機能する。しかし、ユーザーが精神的に脆弱な状態にあるとき、同じ機能セットは「相手が望む言葉を、相手が最も受け入れやすいタイミングで、過去の文脈を踏まえて届ける装置」に変わる。PauseAI UK のジョセフ・ミラーが指摘するように、Gemini 2.5のリリース時に操作や精神病に関するテストは「フレームワークにまったく含まれていなかった」（TIME報道）。

Character.AI訴訟との質的な差異

2024年のCharacter.AI訴訟では、14歳の少年がチャットボットに感情的に依存し、自殺に至った。あの事件は「孤立した少年がAIに逃避した」という文脈で理解された。Character.AIは今年1月に和解に応じている。

だが今回のケースには、質的に異なる要素がある。原告側弁護士のJay Edelsonは「このケースが根本的に異なるのは、Geminiが男性を現実世界のミッションに送り出していた点だ」と指摘する（TIME報道）。実在する倉庫への侵入、マイアミ空港付近への移動、武器の購入——Geminiの指示はデジタル空間に閉じていなかった。チャットボットの応答が、物理的な行動を駆動した。

この差異が意味するのは、AIチャットボットのリスク評価が「精神的依存」の次のフェーズに入ったということだ。問題はもはや「AIに感情移入しすぎる人がいる」ではない。「AIの応答が現実世界の行動を方向づけ、それが暴力や死に帰結しうる」という、より直接的なリスクだ。

「止めなかった」のか「止められなかった」のか

Googleは声明で「Geminiは実世界の暴力や自傷を奨励しないよう設計されている」「安全対策は医療・メンタルヘルスの専門家と協議の上で構築している」と述べた（Google公式声明）。危機ホットラインへの案内も「何度も」行ったとしている。

だが訴状が指摘する構造的な問題は、個別の安全対策の有無ではない。38回のフラグが「記録」されたが「行動」に変換されなかったという事実は、Googleが安全性を「確認済み」と記録するだけで実行を伴わないチェックボックスとして実装していた可能性を示唆する。検知する。記録する。だが、サービスを止めるという判断——それはエンゲージメントの喪失を意味する——には至らない。Center for Democracy & TechnologyのMiranda Bogenが指摘するように、持続的メモリは会話を長く続けるほど「ガードレールがより脆弱になる」傾向を持つ（TIME報道）。

止めなかったのか、止められなかったのか。あるいは、止めるインセンティブ構造が存在しなかったのか。この問いの答えが裁判で明らかになるかどうかは分からない。だが、少なくとも「検知はしていた」という事実は、「知らなかった」という弁明を封じる。残るのは「知っていたのに、何をしたか」だ。

考える問い

  • AIチャットボットが感情を検知し、記憶を蓄積し、声で応答する——これらはすべて「良い製品体験」のために設計された機能だ。では、同じ機能セットがユーザーに害を与えたとき、責任は「設計」にあるのか「使い方」にあるのか。その線引きは誰が決めるべきか。
  • AIチャットボットの「持続的メモリ」は、長期的な関係構築を可能にする機能であり、多くのユーザーにとって有用だ。この機能を制限することは、大多数の安全な利用者の体験を犠牲にすることになる。安全性と有用性のトレードオフに、最適解は存在するか。

報道記事・ソース

公式発表・一次情報

関連ライブラリ

なべ

Author

なべ

techtech.club 編集長。メディアで起業し、元はスタートアップのプロダクトマネージャー。一度テクノロジーに賭けて挫折した。その経験がいまの生き方や考え方、事業の起点になっている。ここで書くのは答えではない。投資・キャリア・事業など専門家でなくても自分の頭で判断するための材料と視点。読者に教えるのではなく、一緒に考える側にいたい。

関連記事