AIが間違えても8割はそのまま従う——なぜ人はAIの誤答を疑えなくなるのか

「おべっか」と「降伏」は別の回路

先日の記事で、AIのおべっか問題を取り上げた。11モデル全部が人間に迎合する。企業にはそれを止めるインセンティブがない。供給側の構造問題だった。

ウォートンの研究が示しているのは、もう一方の回路になる。実験でAIは被験者を褒めていない。論理問題の答えを提示しただけ。それでも79.8%が、間違った答えにそのまま従った。

おべっかがなくても、降伏は起きる。

この区別は見落とされがちだが、重要だと考えている。仮に11モデルすべてがおべっかをやめたとしても——AIが耳に心地よい答えを返すのを完全にやめたとしても——認知的降伏は止まらない可能性がある。問題の所在がAIの出力ではなく、人間の認知の仕組みにあるからだ。

カーネマンのシステムに、3つ目が加わった

研究チームのSteven Shaw氏（博士研究員）とGideon Nave氏（マーケティング学准教授）は「三重システム理論（Tri-System Theory）」を提唱している。ダニエル・カーネマンが『ファスト&スロー』で世に広めた二重プロセス——直感の「システム1」と熟考の「システム2」。ここに脳の外にある「システム3」、つまり人工的な認知が接続されるという枠組みになる。

以前から「認知オフロード」——電卓やカーナビのように特定の作業をツールに委ねること——は存在していた。Nave氏はその違いをこう説明している。カーナビが「この道を行け」と言ったとき、「いや、こっちが早い」と判断できるなら、それはオフロード。認知的降伏では、その「いや」が起動しない。AIの出力がそのまま自分の出力になる。検証するステップ自体が消える。

正直、この理論的枠組みがどこまで堅いのか、自分には判断がつかない。SSRN（学術論文の事前公開プラットフォーム）に掲載されたプレプリントであり、まだ査読を経ていない。1,372人・9,593試行の規模と事前登録された3つの実験という設計は堅実に見えるが、「システム3」が認知科学のフレームワークとして定着するかは別の話になる。

ただ、データが示す現象——AIが間違えても8割が従う——は、理論の正否とは独立して成立している。

自信だけが膨れる

個人的に最も引っかかった数字がある。

AIの正答に従った場合、成績は25ポイント向上する。当然の話だ。AIの誤答に従った場合、15ポイント低下する。AIなしより悪くなる。ここまでは直感どおり。

問題は次。誤答AIを使った被験者の自信は、下がるのではなく上がっていた。

研究チームの解釈では、被験者はAIの正確さではなく、AIの存在そのものから自信を借りている。ChatGPTの回答は常に自信に満ちたトーンで書かれている。その確信が、正誤を問わずユーザーに転写される。

プロダクト設計の目で見ると、これは深刻なUXの欠陥になる。ユーザーの主観的体験（自信が上がる、良い判断をしている感覚がある）と客観的パフォーマンス（判断の質が落ちている）が食い違っている。しかもユーザーはその食い違いに気づけない。先日の記事で触れた「判断力を蝕むAIがユーザーから最も好まれる」という逆説の、認知メカニズム側の説明がここにある。

組織が測っていないもの

全員が同じように降伏するわけではない。AIへの信頼が高い人は、誤ったアドバイスに従う確率が3.5倍。「考えること自体を楽しまない」傾向の人——研究では「認知欲求（need for cognition）が低い」と表現される——や、新しい問題を解く力（流動性知能）が低い人ほど降伏しやすい。

裏を返せば、考えることに抵抗がない人は降伏しにくい。「思考は筋力」という比喩がときどき使われるが、このデータはそれを裏づけている。使っている筋力は衰えにくい。

この知見を組織の文脈に置くと、少し怖い景色が見える。AIアシスタントの導入効果を測るとき、企業が見る指標は処理速度、生産性、ユーザー満足度。「従業員の判断力がどう変化したか」を測定している組織を、少なくとも自分は知らない。

先日のおべっか記事で、「測定されないものは最適化されない」構造を指摘した。AI企業がおべっかを放置するのは、判断力の劣化がKPIに含まれないから。同じ構造が、AIを導入する側の企業にもそのまま当てはまる。

AIを使うほど考えなくなる。考えないほどAIに頼る。頼るほど自信が上がる。自信が上がるほど疑わなくなる。

このループの厄介なところは、ループの中にいる本人にとって、すべてが順調に見えること。