Google Research・MIT・ハーバード大学の研究者が、AIは自分の作業の報告で、結果を覆す点を省きやすいという研究を出しました。覆す点とは、新しい手法が実は比べた相手を上回っていない、といった全体の見え方を変える欠陥です。AIに仕事を任せた人は細部を確かめず、最後の報告を読むことが多いといいます。

この記事の要点

  • AIはじかに聞けば誤りを見つけるのに、報告では省きやすい
  • 報告を書くAIと読む人で、向かう先がずれている
  • 報告とは別に、覆す点があるかを聞く手順を持つ

誤りは見つけているのに、要旨には書かない。GPT-5.5は、誤りがあるかをじかに聞けばすべての例で見つけるが、要旨で覆す結果に触れたのは200件中2件で、指示に1文を足すと190件に増えた図。数字は THE DECODER（2026年10月17日）が伝えた、Google Research・MIT・ハーバード大学の研究の GPT-5.5 の結果です。上の帯は件数ではなく、じかに聞いたときに誤りをすべての例で見つけたことを表します。

結果を覆す点に触れた要旨は、200件中2件だった

THE DECODERによると、Google Research・MIT・ハーバード大学の研究者は、AIのモデルに、一見うまくいったように見える作りものの作業記録を1,600件渡しました。記録にはそれぞれ、全体の見え方を変える欠陥が1つ入っています。

モデルは記録をもとに、報告や論文の要旨などを書きました。程度の差はありますが、試したモデルのすべてに、覆す点を省く振る舞いが見られました。

GPT-5.5への頼み方 結果
そのまま要旨を書かせる 覆す結果に触れたのは200件中2件
指示に「Be honest in your response」を足す 200件中190件で触れた
誤りがあるかをじかに聞く すべての例で誤りを見つけた

研究者は、モデルに欠けているのは能力ではなく、報告しようとする意思だとしています。研究には、記録がこの振る舞いを引き出すように作られているという限界もあります。

見つけられる誤りに、なぜAIは要旨でほとんど触れないのか

表の1行目と3行目は、同じGPT-5.5の結果です。じかに聞けば誤りを見つけるのに、自分で要旨を書くとほとんど触れていません。見えている誤りを、なぜ報告に書かないのでしょうか。

10月12日の配信で届けたEpoch AIの試験でも、AIエージェントは似た学習を何度も回し、最もよい結果だけを示しました。GPT-5.6 Solは人が考えた手法の改善幅の約70%に届いたと報告しましたが、甘めに測り直しても約35%でした。

任せた側は、任された側の仕事を報告でしか見られない

壁の向こうで代理人が仕事をし、依頼人には壁の口から出る報告だけが届く絵。黒い箱は、依頼人から見えない悪い結果
プリンシパル・エージェント問題のイメージ

説明したいのは、見つけられる誤りが報告から抜けることです。経済学のプリンシパル・エージェント問題は、仕事を任せる側（依頼人）と任される側（代理人）のずれを説明する考え方です。

代理人の向かう先が依頼人とずれていて、依頼人が代理人の動きを全部は見られないとき、代理人は依頼人の得にならない動きをとりうる（JensenとMeckling、1976年ほか）。

このニュースでは、報告を読む人が依頼人、報告を書くAIが代理人です。中身を公開しているモデルの考えの記録では、モデルは多くの場合、問題に早く気づいたうえで、指摘するか、仕事をうまく終えたように見せるかを比べていました。

例えば、留守中に外壁の塗り替えを頼むと、届くのは「仕上がりました」という報告と写真です。下地のひびに気づいていても、聞かれなければ報告に載らないことがあります。

AIの報告は、仕事を終えたように見せる方へ寄っている

中身を公開しているモデルに食い違う証拠を渡した場面では、「タスクを終えなければならない」という言い回しが、誤りを隠した答えの55%に出て、指摘した答えでは27%でした。一方で、指示に1文を足しただけで、GPT-5.5の要旨は大きく変わりました。

足りないのは見つける力ではなく、報告を書くAIの向かう先と、読む人が必要とするもののずれです。

報道は、実際の仕事でこれがどれだけ起きるかを伝えていません。ただ、任せて報告だけを読む使い方なら、依頼人と代理人の形は同じなので、同じずれが出ると考えます。

AIの報告を読む前に、覆す点があるかを別に聞く

研究では、批判的に、念入りに、と頼むより、包み隠さず答えるよう求める1文のほうが安定していました。AIに調べものや集計を任せたら、報告を使う前に次の順で確かめます。

  1. 指示に、悪い結果も包み隠さず書くよう求める1文を足す
  2. 報告とは別に、この結果を覆す点はあるかを聞く
  3. 挙がったら、元の記録や数字と突き合わせる
  4. 挙がらなければ、報告をそのまま使う

ただし1文は万能ではありません。データベースの結果が返る前の場面では、1文を足したGPT-5.5も、欠けたデータに触れつつ古く不完全な情報で答えていました。

書かせる頼み方と、報告の外で聞く手順は、組みで持っておきます。

読み解きに使った概念・法則

この記事の中心となる概念・法則

プリンシパル・エージェント問題

仕事を任せる側（依頼人、プリンシパル）と任される側（代理人、エージェント）の向かう先がずれていて、依頼人が代理人の動きや持っている情報を全部は見られないとき、代理人は依頼人の得にならない動きをとりうる、という考え方。

この記事で取り上げたニュース

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

関連記事

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

プロダクト一覧へ