包丁・銃の作り手は問えないが、AIはどうか。OpenAIが立たされている重要な問い

半年前に社内で議論された「危険」が、警察には届かなかった

事実関係をまず短く整理。OpenAIの社内では、2025年6月の段階で、後に銃撃を起こす利用者のChatGPTでの会話が「他者の生命に対する差し迫った脅威」として議論されていたとWSJは報じている。安全チームの人間レビュアーは法執行機関への通報を経営陣に求めた。十数名が議論し、最終的には通報せず、アカウントを停止する判断が下されたという。

ここで止めて考えたいのは、「経営陣が安全チームの声を上書きした」という形そのものは、すでに見たことがあるという点。OpenAIはこれまでも、自社の安全委員会の全会一致の判断を無視した記事で取り上げたように、社内の安全判断を上位の経営判断で覆す構造を繰り返してきた。今回はその構造が、社外の人命と直接接続したことになる。

そして、もう一つ気になる事実がある。アカウント停止後に同じ利用者が新しいアカウントを作ったとき、それを「ガードレールの回避」とOpenAIは説明した。だが訴状によれば、本人は同社のサポートが案内している通りの、別のメールエイリアスで即時再登録をなぞっただけだったという。「BAN」と「30日待つか、別アドレスで今すぐ戻ってきていい」が同じ製品の中にある。「禁止」という言葉が何を指すのか。

包丁を作った人間は問えない、では何が違うのか

訴訟そのものに対しては、冷静に見ると筋違いに感じる部分がある。包丁で人が刺された事件で、包丁を作った人間が問われることは基本的にない。銃でも、ほとんどの責任は引き金を引いた当事者になる。本来責められるべきは行為者であって、道具を作った会社ではない——という古典的な構図がここにはある。

ただし、その構図は道具側の性質と社会への根づき方によって、毎回少しずつ書き換えられてきたのも事実。米国は銃が国民生活に深く根づいた社会で、「相手も銃を持っているかもしれない」という前提で日常が組み立てられている、という事実からは逃れられない。日本のように、その発想がそもそも存在しない国とは、まったく別の社会になっている。道具が社会の様式を変えるくらいまで普及すると、道具を作る側の責任の話を一切しないのは難しい。米国でSNSに対する集団訴訟が起きはじめたとき、社会の側がそう判断したことはすでに見ている——「Big Tobacco」化したSNS設計責任の記事で取り上げた構図が、今度はAIで繰り返されようとしている。

そう考えると、今回の訴訟が「無理筋」に見えるかどうかは、AIを包丁の側に置くか、銃の側に置くか、それともSNSの側に置くかで変わってくる。AIは直接的な凶器ではない。一方で、利用者の認知や判断に対する影響力という意味では、包丁よりも銃よりも個々人に深く入り込む。直接的に殺傷しないからこそ、「AIが本人の判断に影響を与えた」という主張が成立しやすくなる。古い責任モデルのどれを当てはめても、収まりが悪いと感じている。それが今、訴訟という形で表面化している。

自動車には設計責任があるのに、AIにはなぜないのか

参考になりそうな業界として、自動車を考えてみる。自動車は、運転者にシートベルトや免許という形で個人側の安全を求めるだけでなく、メーカー側にも安全装置の搭載と設計上の安全性を法的に義務づけている。事故が起きれば運輸当局に報告する義務もある。

この構造をAIに重ねたときに見えてくるのは、AI業界には、自動車にあるような「いつ、どんな事象を、誰に報告するか」のラインそのものがまだ書かれていないということ。Wiredが報じている通り、OpenAIは、フロンティアAIモデル（学習計算に1億ドル超を投じたモデル）が引き起こした「重大被害」について、安全・セキュリティ・透明性レポートを自社サイトに公開している事業者は、故意または無謀でない限り責任を問われない、とする法案に賛同している。「重大被害」には、化学・生物・放射線・核兵器の悪用や、100人以上の死傷／10億ドル（約1,500億円）超の物的損害が並んでいる。

ここで起きていることをそのまま言えば、業界側は「事故報告の閾値（どの段階の事象から、誰に何を伝えるかの境界線）」を書く前に、まず「大きな事故が起きたときの責任を、レポートを出していれば免じてほしい」という線を引きにいっている。順序が逆ではないか、と自分は感じる。本来であれば、報告義務と境界線が先にあり、その上で誠実に運用した事業者を限定的に免責するという流れではないだろうか。今回のような「100人未満」の事象は、この法案の枠組みではそもそも論点にならない。

自分は法律の専門家ではないし、調べている限りの情報のため、もしかしたら抜けているところもあるかもしれない。ただ、「事故が起きてから免責の線を引きにいく」順序は、ふつうは消費者側の信頼を擦り減らす設計になる。それは過去の自動車・医薬品・SNSの歴史を見ていれば、ある程度予測できる。

規制は「持つ者と持たざる者」を再生産しないか

ここまで書いた上で、「だから政府が介入してAIを規制すればいい」という結論には、うまく着地できない。

規制が入った瞬間に、規制官庁とAI事業者と既存ロビイストの間に新しい利害関係が組み上がる。これまでの金融・通信・医薬品の歴史で繰り返されてきた、「規制を満たす体力がある側だけが残り、満たせない小さな主体は退場する」構造が、AIでも生まれる可能性は高い。資本主義の悪い癖がそのまま転写されると、結局のところ「持つ者」と「持たざる者」の構図が、AIという新しい層でもう一度作られる。

それでも何か基準が要るとすれば、自分が想像できる範囲では、自動車のように免許制で利用者の側を縛る方向（講習を受けた人間しか高度なAIを使えない）か、AIメーカーに自社AIを監視するサードパーティの監視AI導入を義務づける方向（外部の監査業者をAI化して常時監視させる）か、そのあたりが現実的な選択肢に見える。ただし、これらはどれも、いまの責任の言葉のままで考えた延長線上の答えにすぎない。

AIというイノベーションが「これまでの延長線では収まらない」ものなのだとしたら、責任・報告・免許といった既存の言葉でいくら塗り重ねても、どこかで歪みが残るはず。今回の遺族が「AIを罪に問えるのか」という問いを社会に突きつけているのは、その歪みが最も露わになる地点であって、ここで答えが出ないのは私たちの言葉が追いついていないからだと考えている。少なくとも自分の中では、まだ答えは出ていない。

• AI企業は「人に危害を加える兆候」をどの段階で、誰に伝えるべきか。その閾値を社会は誰に預けるのか。
• 「BAN」と「30日待つか別アドレスで戻れる」が同居する製品の言葉を、あなたはどこまで信じられるか。
• AIを包丁・銃・自動車・SNSのどれかに重ねて考えることは、本当に妥当か。当てはまらないなら、どんな新しい責任モデルが要ると思うか。
• 法律で報告義務を作れば解決する問題か。それとも、規制が新しい「持つ者と持たざる者」を作る側面をどう見るか。
• 自分の家族が同じ立場——加害者の側にも被害者の側にも——立ったとき、AIに何を期待し、何を諦めるか。