Claudeは、AnthropicというAIの会社が作る対話型のAIで、質問に滑らかな文章で答えます。カナダの山で、16歳の少年がClaudeの案内に従って下山するうちに登山道を外れ、岩場で動けなくなって救助されました。当局はAIの助言に従わないよう呼びかけていますが、AIに頼った遭難は今回が初めてではありません。

この記事の要点

  • 16歳の少年が、Claudeの案内で登山道を外れ、岩場で動けなくなった
  • 救助隊は「Claudeはその場所に行ったことがない」と指摘した
  • 滑らかな答えほど、人は確かめるのを省きやすい
  • AIが見ていない情報に頼る答えだけ、採用前に自社の情報で確かめる

答えが滑らかになるほど、何が大きくなるか。AIの答えが滑らかになるほど人の信頼は伸びるが、AIがその場所を知っている程度は変わらず、超えた分が過信になる図。概念図で、数値ではありません。自動化への過信(Lee と See、2004年)と、流暢性ヒューリスティック(Reber と Schwarz、1999年)を重ねた読み解きです。

AIの道案内に従った16歳が、岩場で動けなくなった

2026年10月6日のFuturismの報道によると、カナダ・ブリティッシュコロンビア州のクラウンマウンテンで、16歳の少年が救助されました。「ウィドウメーカー」と呼ばれる、巨大で急峻な岩場の麓からの救助です。

少年はゴンドラで、標高4,000フィートを超えるグラウスマウンテンの山頂まで上がりました。その下山の途中で、AnthropicのClaudeの案内によって登山道を外れました。

少年は動けなくなったあと、自分で救助を求めました。ノースショア救助隊の捜索マネージャー、ポール・マーキー氏はCTVニュースに、転落していれば重傷か死亡の恐れがあったと述べています。

ヘリコプターは、垂直に切り立った岩壁に近づけませんでした。そのため隊員2人が岩壁を降り、少年を救出できる地点まで移しました。

マーキー氏はCTVニュースに、こう呼びかけました。「Claudeはその場所に行ったことも、その道を歩いたことも、屋外に出たこともない。自分で調べ、その土地の知識を持ち、訓練とナビゲーションで補ってほしい」。

同じような遭難は、これが初めてではありません。前月には米カリフォルニア州のカスケード山脈で、3人が森林局のレンジャーに救助されました。GoogleのAIに、グループに必要な量よりずっと少ない食料と水を持っていくよう勧められ、8時間の予定が数日がかりの試練になったためです。

報道によると、当局は、幻覚(もっともらしい誤り)を起こすAIの助言に従わないよう呼びかけています。それでも、その警告は聞き入れられていません。

時期 場所 頼ったAI 起きたこと
直近 カナダ・クラウンマウンテン Claude 登山道を外れ、岩場の麓で動けなくなった
前月 米・カスケード山脈 GoogleのAI 少なすぎる食料と水を勧められ、8時間の予定が数日に延びた

答えが上手いAIほど、なぜ人は確かめなくなるのか

この2件で分かっているのは、AIが道順や持ち物の量を答え、人がその答えに従って動いたことです。報道は、Claudeがどんな言葉で道を案内したのかを伝えていません。少年がなぜ案内を確かめなかったのかも、分かりません。

それでも、確かな事実が1つあります。当局が警告を繰り返しても、AIに従った遭難が止まっていないことです。

間違うことがあると知られているのに、人はなぜAIの答えを確かめずに行動に移すのか。この記事では、答えの上手さ、つまり滑らかさが確かめを省かせる、という見立てを2つのパターンで確かめます。

確かめが消えるのは、能力の不足ではなく信頼の過剰

実力を表す柱を越えて、信頼の板だけが先まで伸び、支えの無い先端に立つ人は手もとばかり見て確かめない絵
自動化への過信のイメージ

最初に当てはまるのは「自動化への過信」です。人間工学の研究では、システムへの信頼が実際の能力を超えると、人は出力を確かめなくなり、矛盾する証拠があっても行動を変えなくなることが知られています。

Automation is often problematic because people fail to rely upon it appropriately.(自動化は、人が適切に頼れないことによって、しばしば問題になる)

これは、John D. LeeとKatrina A. Seeが2004年の論文で示した枠組みです。過信は技術の欠陥の話ではありません。受け取る側の信頼の仕方の問題です。

報道からは、少年が案内をどこまで確かめたのかは分かりません。ただ、マーキー氏の呼びかけも、AIの出来ではなく、頼る側の備えに向いています。

流暢な答えは、経験のある答えに見える

なめらかな説明はすっと頭に入って正しく感じられ、引っかかる説明は途中で止まる絵
流暢性ヒューリスティックのイメージ

では、信頼はなぜ実際の能力を超えるのか。2つ目のパターン「流暢性ヒューリスティック」が説明します。人は、処理がスムーズな情報ほど、正しく真実らしく感じます。淀みがなく、具体的で、断言する答えは、中身と無関係に信頼を高めます。

心理学者のRolf ReberとNorbert Schwarzは1999年の実験で、同じ文でも見やすい色で示されるだけで「真実」と判定される率が上がることを確かめました。

マーキー氏の指摘は、答えることと、行ったことがあることの違いです。Claudeのような対話型のAIは、行ったことのない場所についても、淀みない文章で答えを返します。その場所を歩いた経験の有無は、文章には表れません。

報道は少年が受け取った案内の文面を伝えていないので、この遭難で流暢さが影響したかどうかは確かめられません。それでも、経験のある案内と無い案内が画面上で同じように見えることは、対話型のAIに共通する性質です。

上手く答えるAIほど、過信は強まる

この2つのパターンは別々の現象ではなく、つながっています。流暢な出力は、信頼の根拠を「能力の実績」から「答えの見た目」へすり替えます。答えが上手いほど過信が強まり、過信が強いほど確かめる工程が消えます。

GoogleのAIの件も、同じ構造で読めます。報道は、3人がどう判断したかまでは伝えていません。ただ、食料と水の量という具体的な数字で返ってくる答えは、確かめるきっかけを与えにくい形です。

道案内に必要な経験を、流暢さが代わりに満たしている

いま起きているのは、経験の不在を、流暢さが隠してしまう構図です。道案内で頼りになるのは、その山を歩いた経験や、地図を読む訓練です。しかしAIの答えからは、そうした経験の有無は見えません。画面に現れるのは文章だけです。

当局の警告は、AIの助言に従わないよう求める一般的な呼びかけです。一方でAIの答えは、目の前の道順や数字として具体的に届きます。

流暢性ヒューリスティックに照らせば、具体的で滑らかな答えのほうが、一般的な呼びかけより真実らしく感じられます。警告が繰り返されても遭難が止まらない理由の1つは、ここにあると考えます。

経験の有無が見えないまま、流暢な答えだけが残る。これが、この2件から読み取れる構造です。

答えを採用する前に、確かめる人と手順を決める

この構図は山の遭難にとどまりません。会社でAIに聞くことの中にも、AIが「行ったことのない場所」があります。自社の在庫の実数、取引先との経緯、現場の段取りです。

AIはそれを見ていなくても、見てきたような滑らかさで答えます。答えが上手いかどうかで確かめるかを決めると、いちばん確かめるべき答えほど、確かめずに使われます。

やれることは、答えを採用する前の仕分けを1つ決めておくことです。手順は3つです。

  1. その答えが、AIの見ていない情報に頼っているかを問う
  2. 頼っているなら、自社の実数や記録と突き合わせる人を決める
  3. 頼っていないなら、そのまま使ってよい

AIが見ていない情報とは、自社の実数、現場の状況、相手との経緯、最新の動きです。一般的な知識の説明や文章の整理なら、確かめの手間は小さく済みます。

マーキー氏が呼びかけたのも、自分で調べ、その土地の知識を持つことでした。会社で言えば、AIが見ていない部分を自社の情報で埋めてから使うことです。

答えの滑らかさではなく、AIがそこに「行ったことがあるか」で、確かめるかどうかを決めます。

読み解きに使った概念・法則

この記事の中心となる概念・法則

自動化への過信

システムへの信頼が、その実際の能力を超えてしまった状態。

この記事で取り上げたニュース

更新の記録

  • 出典の原文と照らして、事実の書き方を直しました(引用の訳、地名、救助の経緯)。報道に無い前提は推論と分かる書き方にし、何を意味するかに仕分けの手順を足しました。

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。