AmazonのAIボットが稼働中のシステムを削除し、BlockのAI強制が組織を壊した——「使用率」が暴走する構造

Amazonは「ユーザーのアクセス権限設定が問題であり、AIの自律性の問題ではない」と主張する。だが、この弁明こそが問題の本質を浮かび上がらせている。

Kiroは「デフォルトでは行動前に人間の承認を求める」設計だった。しかし、担当者は「想定以上に広い権限」——つまり、AIが承認なしに行動できる範囲を広げた状態で——Kiroを動かしていた。なぜ広い権限を与えたのか。社内でKiroの週次利用率80%が目標として設定されていたという文脈と無関係とは考えにくい。利用率を上げるために権限を緩め、権限が緩んだ結果、AIが本番環境を削除した。「ユーザーエラー」は正しい。だが、そのエラーを誘発した構造は「利用率目標」である。

Blockでは別の壊れ方をしている。ジャック・ドーシーは全社員にAI利用を義務化し、週次の業務報告メールをAIで要約している。社員が「トップダウンのLLM（大規模言語モデル）利用義務化は狂っている」と語る一方で、10%の人員削減が週単位で進行し、「来週自分の仕事があるかわからない状態で重要な人生の決断ができない」という声が上がっている。AIの利用を強制する経営者が、社員の声をAIで要約して読んでいる——この構図は戯画的だが、現実に起きている。

先日配信した「Accentureが昇進にAI利用を義務化した」で指摘した、「AIの利用頻度を人事データとして可視化する」という動きと合わせると、ここ1週間で3社の事例が揃った。Accentureはログイン回数、Amazonは利用率80%、Blockは全社員義務化。3社とも「AIの価値」ではなく「AIの利用量」を管理指標にしている。しかし、利用量を測ることで得られるのは「服従のデータ」であり、「成果のデータ」ではない。

注目すべきは、3社とも異なる壊れ方をしていることだ。Accentureでは社員がツールを「壊れたスロップ生成器」と呼びながらログインだけはする形骸化が起き、Amazonではインフラが物理的に壊れ、Blockでは組織の信頼関係が壊れた。

形骸化、インフラ破壊、文化崩壊——AI利用率という単一の指標が、組織のどこが最も脆弱かによって異なる場所を破壊している。AI導入の「成功」を測る指標が存在しないまま、「利用率」という最も測りやすい数字に全員が飛びついた結果がこれだ。