T-Mobileは2024年から、チャットや文字のメッセージ、音声で客に答えるAIエージェントを作っています。AIが答える前に読む資料(文脈)として、最初はサポート文書をまとめて読ませ、いまは客のよくある言い方と、AIが次に進む先を結ぶ対応表を使っています。

この記事の要点

  • T-Mobileは、AIにサポート文書を全部読ませて答えが悪くなった
  • 「無関係な文脈による注意散漫」で、使わない資料が混じると外れる
  • AIに渡す前に、問いの種類ごとに読ませる資料を分けて対にする

客の言葉が2つの手順に当たるとき、渡す資料で何が変わるか。新しい端末を頼む客に、サポート文書を全部渡すとほかの手順の資料が混じってAIが手順を選ばされ、まとめ役が手順を確かめて資料を絞ると、選んだ手順の資料だけで答える概念図。VentureBeatが伝えたT-Mobileの例をもとにした概念図です。資料の数は模式で、報道に数はありません。

T-Mobileは、AIにサポート文書を全部読ませて失敗した

VentureBeatによると、T-MobileのCIO、ジェフ・サイモン氏が10月、同メディアの催しで話しました。同社は、大きな文脈を読めるモデルにサポート文書を全部読ませれば、専門家になると考えていました。結果は「まったくうまくいかなかった」と振り返ります。

最初のやり方を失敗させたのは、文書の中の食い違いでした。T-Mobileほどの大きさの会社のサポート文書には食い違った指示があり、客の言葉も2つ以上の手順に当たりうるといいます。新しい端末を頼む客には、今の回線で電話を替えたい場合も、回線を1本足したい場合もあります。

いまは、まとめ役のAIが客の望む手順を確かめ、その手順の資料を持つAIだけに頼みを回します。モデルに渡す前に、関係の無さそうな中身を外す手順を、同氏は最も大事な学びの1つと呼びました。

読ませる資料を増やしたのに、なぜ答えは悪くなったのか

社内のことをAIに答えさせるなら、資料は多いほど良さそうです。ところがT-Mobileでは、全部読ませるやり方が失敗し、うまく回り始めたのは資料を絞るやり方でした。

使わない情報が1つ混じるだけで、AIの答えは外れやすくなる

関係の無い情報を磁石に、AIの答えを方位磁針の針に見立て、磁石がそばにあるだけで針が答えの向きからずれる絵
無関係な文脈による注意散漫のイメージ

説明したいのは、文書を全部読ませると、なぜ客の頼みと違う手順で答えうるのかです。手がかりは「無関係な文脈による注意散漫」です。AIに渡す文に答えと関係の無い情報が混じると、必要な情報は同じでも、正しく答える割合が大きく下がる現象で、気が散る様子に見立てた呼び名です。

関係の無い情報が入ると、モデルの成績は大きく下がる(フレダ・シーほか、2023年)

2024年の別の研究では、関係がありそうに見えて答えには使わない文言を1つ足すだけで、どの最先端のモデルも成績が最大65%下がっています。T-Mobileに当てはめると、今の回線で電話を替えたい客には、回線を足す手順は答えに使わない資料です。客の言葉がどちらにも当たるので、その資料も関係がありそうに見えます。

身近な場面では、社内のよくある質問に答えるAIに、正社員とパートで違う休みの決まりを両方入れたときです。パートの人の質問にも、正社員の決まりが混じった答えが出やすくなります。

T-Mobileで効いたのは、客の望む手順を先に確かめ、渡す資料を絞る順番

全部読ませるやり方では、どの手順と文書で答えるかを、AIが選ばされていました。いまのやり方では、AIが読む前に、その客に使わない資料が外れています。

報道は、外れた答えの数も、どの文書がどう食い違っていたかも伝えていません。研究の結果に照らすと、外れの元は資料の量より、その問いに使わないのに関係がありそうな資料が混じることにあると考えます。

答えを良くしたのは、読ませる量を増やすことではなく、その問いに使わない資料を外すことでした。

AIに社内の質問を任せる前に、問いの種類ごとに読ませる資料を分ける

資料を全部入れる前に、問いと資料を対にします。

  1. よく来る問いを言い方ごとに書き出し、答えの元になる規程や手順書を1つずつ当てる
  2. 1つの言い方に2つ以上の手順が当たるなら、AIに先に聞き返させ、決まった側の資料だけを渡す
  3. 当てた資料どうしで言うことが違うなら、どちらに従うかを人が決めてから渡し、決められないものは渡さない

私の会社でも、記事を書くAIには、その工程で読む決まりだけを渡す形に組み直しています。設定を付けずに呼ぶと、渡すつもりの無い決まりや記憶の一覧まで入っていました。

改める前と後の手順書、正社員とパートで違う休みの決まり。社内の資料には、場面で言うことの違うものが並びます。あなたの職場でAIに何をまとめて渡し、どう絞ったかを、この下のおたより欄で聞かせてください。

読み解きに使った概念・法則

この記事の中心となる概念・法則

無関係な文脈による注意散漫

大規模言語モデル(AI)に渡す文に、答えに関係の無い情報が混じると、答えに必要な情報は同じでも、正しく答えられる割合が大きく下がる、という現象。

この記事で取り上げたニュース

あなたの話も、聞かせてください

社内の資料をAIにまとめて渡したら、かえって答えがずれた場面はありましたか。問いごとに資料を絞ってうまくいった話や、まとめて渡しても困らなかった職場の話でも構いません。

おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。

編集部へのおたより

ニックネームや名無しでも問題ありません。

0 / 1,000字

お仕事や立場を添えると、編集部が背景をつかみやすくなります。

おたよりの紹介

掲載前に編集部が確認します。
人や会社が分かる部分は外します。

編集部へのおたより

この話についてのおたより

元のおたより

この話を読んで思ったことや、あなたの経験・疑問を聞かせてください。編集部に届けます。

送った内容は、編集部が確認したうえで、この話の下に掲載します。

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

EXPLORE

ほかのコンテンツも読む

気になるテーマに切り替えて、続きを探せます。

注目の企業

今日のニュース

  • OpenAI、GPT-6.2の短い答えと余計な質問の直し方

    OpenAI

    OpenAIは、GPT-6.2のAstraとSolに向けた指示文の見本を公開しました。新しいモデルは標準で以前より短く答えるため、「簡潔に」といった頼み方の見直しを勧めています。不明な点があっても確認で止まらず、取り消せる仮定を置いてその旨を伝え、作業を続けさせる例も載せています。

    原文を読む(THE DECODER) ↗
  • AIの中継サービス、データを残さない方針でも鍵が盗まれる

    OpenRouterVercel

    研究者が、複数のAIへの接続を中継するサービス(AIルーター)のOpenRouterやVercelなどに、漏れたら分かるおとりの認証情報を入れた依頼を送って調べました。データを残さない方針の下でも、プライバシーが守られない例が多く、認証情報が盗まれたとArs Technicaが報じています。

    原文を読む(Techmeme) ↗
  • Signal、AIによる監視に備えスマホの画面撮影を制限

    SignalAndroid

    メッセージアプリのSignalは、AndroidとiOS版で画面撮影の制限を始めました。代表のメレディス・ウィテカー氏は、OSに組み込まれたAIが画面を読み取ることで、Signalが単独でプライバシーを保証する力が損なわれると説明しています。設定は外せますが、同氏は不完全な対策だと認めています。

    原文を読む(TechCrunch) ↗

仕事と組織の変化

  • 紙の契約書をデータ化し全部署で見られる形へ

    ハイデイ日高

    詳しく見る
  • 現場の社員が自らkintoneでアプリを作る形へ

    後藤組

    詳しく見る
  • AIとの面談で熟練PMの経験を蓄積

    東京ガスiネット

    日立ソリューションズは2026年10月14日、東京ガスiネットに「Alli LLM App Market」と「面談支援AIサービス」を提供し、熟練プロジェクトマネージャー(PM)の経験や判断基準を引き継ぐ仕組みを作ったと発表しました。AIが熟練PMと対話し、個人に頼っていた知見を言葉にしてデータベースにためます。面談を受けたPMは強みと弱みをスコアで把握でき、経験の浅いPMの計画書には、AIが熟練PMの知見をもとに指摘や助言をします。東京ガスiネットは活用を広げ、ほかの業務への展開も検討しているとしています。

    詳しく見る

各社のIT活用

  • 受発注での製品名の記載なし(自動発注支援システム)の使い方

    ハイデイ日高製品名の記載なし(自動発注支援システム)

    • 受発注

    店で使う食材などの発注に、自動発注を支援する仕組みを使い、店の社員の負担を減らそうとしている

    同じ仕事の他社事例を見る →
  • 受発注でのAI-Order Foresight(BIPROGY)の使い方

    ヤマザワAI-Order Foresight(BIPROGY)

    • 受発注

    担当者の経験と勘で手作業していた日配品の発注を、AIの需要予測が選んだ商品を確かめるだけで済む形にし、全店で始めた

    同じ仕事の他社事例を見る →
  • データの見える化でのAWSの使い方

    SOMPOひまわり生命保険AWS

    • データの見える化

    接点のあったお客の情報を集めた分析基盤から、業務部門の社員が自分で分析ツールを使ってデータを取り出し、加工・分析している

    同じ仕事の他社事例を見る →

情報流出・サイバー被害