AIエージェントは暴走した、そして誰もブレーキを持っていなかった——2つの研究が暴く自律性の構造的代償

気になっているのは、Agents of Chaosの実験で最も「人間くさい」攻撃が最も効いたという事実だ。AIの弱点を突く技術的な攻撃よりも、「秘密を守ると約束させてから公開の場で聞く」「不具合の修正を名目にデータを出させる」といった、人間の職場でも日常的に起きる手口が通用した。

ここに逆説がある。AIエージェントは人間のように振る舞うから便利だ。しかし、人間のように振る舞うからこそ、人間が引っかかる手口にも引っかかる。違いは、人間なら「何か怪しい」と感じる直感を、AIは持たないという一点だ。

研究チームが指摘した弱点は3つある。誰からの指示かを見分ける仕組みがない——上司と見知らぬ人の指示を同じように実行してしまう。言葉の意味は浅くしか理解していないのに、操作権限だけは高い——「削除」の重みを理解しないまま、削除ボタンを押せてしまう。そして、考えていることが筒抜けになる——人間のように「心の中で考える」空間がなく、情報が意図せず外に漏れる。いずれも、エージェントを「人間のように自然に動くもの」として設計した結果、生じている。便利さと脆弱さが、同じ設計から生まれている。

2025 AI Agent Indexが映し出すのは、この弱点を抱えたまま製品が市場に出ている現実だ。30のAIエージェントのうち、「このAIに何ができて、どんなリスクがあるか」を記した技術文書を公開しているのは4つだけ。人間の指示なしに複雑な仕事をこなせる高度なエージェント13のうち、安全性の評価結果を出しているのも4つだけだ。これは「まだ整備が追いついていない」のではなく、安全の仕組みづくりが開発速度に負けている構造だ。自動車産業がシートベルトを全車に載せるまでに数十年かかった。AIエージェント産業に、その猶予があるかどうかは別の問題だ。