スタンフォード大学の研究者2人が、言語モデル(文章で答えるAI)についてよく引用されてきた50の研究結果を、2024年7月から2026年9月に出た20のモデルで確かめ直しました。結果には、AIにできないことを示すものと、好みや傾向を示すものがあります。

この記事の要点

  • よく引用されたAIの研究結果の44%が、いまのモデルでは当てはまらなかった
  • 「AIにはできない」が最も早く古び、AIの好みや傾向を示す結果は長く残った
  • 事実は分野ごとの速さで覆り(事実の半減期)、AIの研究結果は2年で4割近くが覆った
  • AIに任せない理由に確かめた日とモデル名を添え、新しいモデルで試し直す

AIの研究結果は、2年でどれだけ古くなるか。よく引用されたAIの研究結果を100件あたりの点で表した図。発表時は当てはまらない結果が0件、1年後に16件、2年後に39件へ増え、オレンジの点が広がる。数字は THE DECODER が伝えたスタンフォード大学の研究(よく引用された50の研究結果を20のモデルで確かめ直した)による。割合を100件あたりの点に置きかえています。

よく引用されたAIの研究結果50のうち、44%がもう当てはまらない

THE DECODERによると、スタンフォード大学の研究者オーウェン・クイーンとジェームズ・ゾウは、言語モデルについてよく引用される50の研究結果を、20のモデルで確かめ直しました。44%はすでに当てはまらず、さらに34%が大きく弱まっていました。

当てはまらなくなった割合は、1年後に16%、2年後に39%です。結果の種類によって古くなる速さは違い、次の2つは対照的でした。

  • AIにできないこと:最も早く古びた。単語の中の文字を数える、長い文章の途中の情報を落とす、など
  • AIの好みや傾向:長く残った。評価役で自分の答えを好む、利用者に迎合する、など

確かめられた弱点ほど、なぜ先に当てはまらなくなるのか

研究で確かめられた結果は、確かな知識に見えます。それなのに2年で4割近くが当てはまらなくなり、「AIにはできない」が最も早く古びました。

事実には、分野ごとに古くなる速さがある

事実のカードの山が、同じ時間ごとに半分ずつ覆って低くなり、残る事実を結ぶ線が下がっていく、という見立ての絵
事実の半減期のイメージ

まず説明したいのは、確かめられた結果が、時間がたつと当てはまらなくなっていく点です。手がかりは事実の半減期で、ある分野の事実の半分が覆るまでの時間を、放射性の物質が半分に減る時間に見立てる考え方です。1つの事実がいつ覆るかは読めなくても、まとまりで見れば覆る速さはつかめます。

このニュースでは、研究結果が事実に、後から出たモデルで当てはまらなくなることが覆ることに当たります。AIについての事実は、年単位で覆っていきます。

職場でも、取引先の担当者の一覧や仕入れ値の目安は、1年もすると何割かが変わっています。どれが変わったかは、電話や見積もりで確かめるまで分かりません。

正しい答えのある苦手から、先に消えていく

研究者は、文字を数えるような誤りには正しい答えがあり、開発者が学習で目指す先がはっきりしているためだとみています。答えの決まった計算問題の間違いが、ドリルのくり返しで先に減っていくのと同じ構図です。

古くなり方は、モデルでも違います。出典の作り話を、同じ指示で比べた結果です。

モデル 引いた出典のうち作り話の割合
GPT-3.5(2023年の研究) 55%
GPT-6.1 Sol 0%
Claude Sonnet 5.5 1%
Qwen3.7-Flash(2026年のモデル) 69%

研究は、この結果をもう安心と読まないよう注意し、論文にはモデルの版と日付を記すよう求めています。AIについての知識は、結果の種類とモデルごとに、違う速さで古くなっています。

AIに任せない理由には、確かめた日とモデル名を添える

報道は、古い研究結果で会社がAIの使い方を決めた例を伝えていません。ただ研究者は、AIの実際の振る舞いと人の見方のずれが信頼と使う頻度に響く、というアンドレイ・カルパシーの投稿を挙げています。

職場の「AIには無理」も、古くなる事実の1つと考えます。次の順で見直します。

  1. AIに任せていない仕事と、任せない理由を書き出す
  2. 理由ごとに、確かめた日と使ったモデル名を添える
  3. 正しい答えのある苦手は、新しいモデルで自分の仕事を試し直す
  4. 迎合のような傾向は残る前提で、AIの賛成を決め手にしない

いつの事実かが分かれば、読む人は古さを判断できます。私の会社でも、補助金のページに受付の日程を書いていて、受付が終わると古くなる形でした。日程は事務局の発表を見てもらう形にし、金額には、いつの公募要領の決まりかを添えています。

去年試してうまくいかなかった表の集計や、長い資料の読み込み。AIには無理と決めたままの仕事は、多くの職場にあると思います。試し直した結果や任せない理由を、この下のおたより欄で聞かせてください。

読み解きに使った概念・法則

この記事の中心となる概念・法則

事実の半減期

ある分野で正しいとされている事実は、新しい調べで少しずつ覆っていき、その半分が覆るまでの時間で、知識が古くなる速さを表せる、という考え方。

この記事で取り上げたニュース

その後の関連ニュース

更新の記録

  • 2026-11-11、同じ構造をScale LabsとCAISのRemote Labor Indexでも観測した(THE DECODERによると、Upworkの実際の仕事240件で依頼主が受け取れる質に仕上げた割合は、約1年前の最高がManusの2.5%、7月のFable 5が約16%、Fable 5.2が41.3%で、試験のどのAIも解けなかった仕事を50件近く仕上げた。工業製品のデザインとアニメーションはまだほとんどできない)
  • 2026-11-15、同じ構造をAnthropicのClaude Opus 5.5の頼み方の指針でも観測した(THE DECODERによると、Anthropicは、前の世代のモデルで必要だった図の値の書き写しや先に下書きを頼むことはもう不要で、Opus 5.5は最も低い設定でも込み入った図の値をOpus 5の最も高い設定より正確に読むとした。「よく考えて」のような言い回しを外すと、測れるほどの質の低下なしに応答が早く始まったという。約1年半前には、こうした言い回しで出来を引き出せることがあった)

あなたの話も、聞かせてください

前に試してAIには無理だと思った仕事を、あとで試し直したことはありますか。任せられるようになった話でも、いまも任せられない話でも、試し直していない理由でも構いません。

おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。

編集部へのおたより

ニックネームや名無しでも問題ありません。

0 / 1,000字

お仕事や立場を添えると、編集部が背景をつかみやすくなります。

おたよりの紹介

掲載前に編集部が確認します。
人や会社が分かる部分は外します。

編集部へのおたより

この話についてのおたより

元のおたより

この話を読んで思ったことや、あなたの経験・疑問を聞かせてください。編集部に届けます。

送った内容は、編集部が確認したうえで、この話の下に掲載します。

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

EXPLORE

ほかのコンテンツも読む

気になるテーマに切り替えて、続きを探せます。

注目の企業

今日のニュース

  • AIの答えを確かめる負担、生産性の伸びを打ち消すことも

    認知工学の研究者が、AIの答えが正しいかを確かめる時間と労力が、生産性の伸びを打ち消すことがあると論じています。経験のある開発者を対象にした試験では、AIを使うと速くなったと感じていたのに、作業時間は19%増えました。筆者は、確かめるための時間、研修、権限を働く人に与えるべきだとしています。

    原文を読む(The Conversation) ↗
  • 職場のAIに何を入力してよいか、名前を消すだけでは不十分

    ChatGPT

    AIに渡す情報について、専門家は、名前を顧客番号に置き換えても本人をたどれれば匿名にならないと指摘しています。どの作業にどの情報を使ってよいかは、会社が決めて従業員に示すべきだとしています。勤め先の指定と違うChatGPTを使ったセラピストが、機密情報は入れていないと話したが解雇された例もあります。

    原文を読む(Computerworld) ↗
  • Google、AIによる完全自動のサイバー攻撃を初めて確認

    Google

    Googleの脅威分析チームは、AIが弱点(脆弱性)探しから攻撃までを人の手を介さずに行う事例を初めて確認しました。見つかった仕組みは、修正プログラムの適用前後のコードを比べて弱点を探し、攻撃を自動で実行します。Googleは、より強力な攻撃は数ヶ月先に迫っているとしています。

    原文を読む(THE DECODER) ↗

仕事と組織の変化

各社のIT活用

  • 代金の受け取りでのPaidの使い方

    オートバックスセブンPaid

    • 代金の受け取り

    法人会員の支払いに請求書払いを入れ、店頭でも使える専用のカードで掛け払いにして、請求を法人の本社にまとめている

    同じ仕事の他社事例を見る →
  • 社員の情報でのカオナビの使い方

    日本ハムカオナビ

    • 社員の情報

    組織全体を見渡した人材の配置と、育成を見据えた計画的な異動・配置ができる基盤をつくるために入れた

    同じ仕事の他社事例を見る →
  • 文章・資料づくりでのAzure OpenAI Service(IIJ GIO with Microsoft Azure)の使い方

    ふくおかFGAzure OpenAI Service(IIJ GIO with Microsoft Azure)

    • 文章・資料づくり

    文書の下書きや企画のアイデア出し、マーケット情報の整理に、本部と営業店の約6,000人が使える社内の生成AIを使っている

    同じ仕事の他社事例を見る →

情報流出・サイバー被害