T-Mobileは2024年から、チャットや文字のメッセージ、音声で客に答えるAIエージェントを作っています。AIが答える前に読む資料(文脈)として、最初はサポート文書をまとめて読ませ、いまは客のよくある言い方と、AIが次に進む先を結ぶ対応表を使っています。
この記事の要点
- T-Mobileは、AIにサポート文書を全部読ませて答えが悪くなった
- 「無関係な文脈による注意散漫」で、使わない資料が混じると外れる
- AIに渡す前に、問いの種類ごとに読ませる資料を分けて対にする
客の言葉が2つの手順に当たるとき、渡す資料で何が変わるか。新しい端末を頼む客に、サポート文書を全部渡すとほかの手順の資料が混じってAIが手順を選ばされ、まとめ役が手順を確かめて資料を絞ると、選んだ手順の資料だけで答える概念図。VentureBeatが伝えたT-Mobileの例をもとにした概念図です。資料の数は模式で、報道に数はありません。
T-Mobileは、AIにサポート文書を全部読ませて失敗した
VentureBeatによると、T-MobileのCIO、ジェフ・サイモン氏が10月、同メディアの催しで話しました。同社は、大きな文脈を読めるモデルにサポート文書を全部読ませれば、専門家になると考えていました。結果は「まったくうまくいかなかった」と振り返ります。
最初のやり方を失敗させたのは、文書の中の食い違いでした。T-Mobileほどの大きさの会社のサポート文書には食い違った指示があり、客の言葉も2つ以上の手順に当たりうるといいます。新しい端末を頼む客には、今の回線で電話を替えたい場合も、回線を1本足したい場合もあります。
いまは、まとめ役のAIが客の望む手順を確かめ、その手順の資料を持つAIだけに頼みを回します。モデルに渡す前に、関係の無さそうな中身を外す手順を、同氏は最も大事な学びの1つと呼びました。
読ませる資料を増やしたのに、なぜ答えは悪くなったのか
社内のことをAIに答えさせるなら、資料は多いほど良さそうです。ところがT-Mobileでは、全部読ませるやり方が失敗し、うまく回り始めたのは資料を絞るやり方でした。
使わない情報が1つ混じるだけで、AIの答えは外れやすくなる

説明したいのは、文書を全部読ませると、なぜ客の頼みと違う手順で答えうるのかです。手がかりは「無関係な文脈による注意散漫」です。AIに渡す文に答えと関係の無い情報が混じると、必要な情報は同じでも、正しく答える割合が大きく下がる現象で、気が散る様子に見立てた呼び名です。
関係の無い情報が入ると、モデルの成績は大きく下がる(フレダ・シーほか、2023年)
2024年の別の研究では、関係がありそうに見えて答えには使わない文言を1つ足すだけで、どの最先端のモデルも成績が最大65%下がっています。T-Mobileに当てはめると、今の回線で電話を替えたい客には、回線を足す手順は答えに使わない資料です。客の言葉がどちらにも当たるので、その資料も関係がありそうに見えます。
身近な場面では、社内のよくある質問に答えるAIに、正社員とパートで違う休みの決まりを両方入れたときです。パートの人の質問にも、正社員の決まりが混じった答えが出やすくなります。
T-Mobileで効いたのは、客の望む手順を先に確かめ、渡す資料を絞る順番
全部読ませるやり方では、どの手順と文書で答えるかを、AIが選ばされていました。いまのやり方では、AIが読む前に、その客に使わない資料が外れています。
報道は、外れた答えの数も、どの文書がどう食い違っていたかも伝えていません。研究の結果に照らすと、外れの元は資料の量より、その問いに使わないのに関係がありそうな資料が混じることにあると考えます。
答えを良くしたのは、読ませる量を増やすことではなく、その問いに使わない資料を外すことでした。
AIに社内の質問を任せる前に、問いの種類ごとに読ませる資料を分ける
資料を全部入れる前に、問いと資料を対にします。
- よく来る問いを言い方ごとに書き出し、答えの元になる規程や手順書を1つずつ当てる
- 1つの言い方に2つ以上の手順が当たるなら、AIに先に聞き返させ、決まった側の資料だけを渡す
- 当てた資料どうしで言うことが違うなら、どちらに従うかを人が決めてから渡し、決められないものは渡さない
私の会社でも、記事を書くAIには、その工程で読む決まりだけを渡す形に組み直しています。設定を付けずに呼ぶと、渡すつもりの無い決まりや記憶の一覧まで入っていました。
改める前と後の手順書、正社員とパートで違う休みの決まり。社内の資料には、場面で言うことの違うものが並びます。あなたの職場でAIに何をまとめて渡し、どう絞ったかを、この下のおたより欄で聞かせてください。
読み解きに使った概念・法則
無関係な文脈による注意散漫
大規模言語モデル(AI)に渡す文に、答えに関係の無い情報が混じると、答えに必要な情報は同じでも、正しく答えられる割合が大きく下がる、という現象。
この記事で取り上げたニュース
あなたの話も、聞かせてください
社内の資料をAIにまとめて渡したら、かえって答えがずれた場面はありましたか。問いごとに資料を絞ってうまくいった話や、まとめて渡しても困らなかった職場の話でも構いません。
おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。
届いたおたより
おたよりと、編集部からのお返事
気になった話があれば、あなたの経験・考え・疑問もおたよりで送れます。
自分のおたよりは、送ったブラウザでだけ確認できます。ブラウザの保存データを消すと、非公開の本文をこの欄で見返せなくなります。
シェアする
Googleで探しやすくするPRODUCT
注目ツール
直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。
EXPLORE
ほかのコンテンツも読む
気になるテーマに切り替えて、続きを探せます。
注目の企業
今日のニュース
OpenAI、GPT-6.2の短い答えと余計な質問の直し方
原文を読む(THE DECODER) ↗OpenAIは、GPT-6.2のAstraとSolに向けた指示文の見本を公開しました。新しいモデルは標準で以前より短く答えるため、「簡潔に」といった頼み方の見直しを勧めています。不明な点があっても確認で止まらず、取り消せる仮定を置いてその旨を伝え、作業を続けさせる例も載せています。
AIの中継サービス、データを残さない方針でも鍵が盗まれる
原文を読む(Techmeme) ↗研究者が、複数のAIへの接続を中継するサービス(AIルーター)のOpenRouterやVercelなどに、漏れたら分かるおとりの認証情報を入れた依頼を送って調べました。データを残さない方針の下でも、プライバシーが守られない例が多く、認証情報が盗まれたとArs Technicaが報じています。
Signal、AIによる監視に備えスマホの画面撮影を制限
原文を読む(TechCrunch) ↗メッセージアプリのSignalは、AndroidとiOS版で画面撮影の制限を始めました。代表のメレディス・ウィテカー氏は、OSに組み込まれたAIが画面を読み取ることで、Signalが単独でプライバシーを保証する力が損なわれると説明しています。設定は外せますが、同氏は不完全な対策だと認めています。
仕事と組織の変化
各社のIT活用
受発注での製品名の記載なし(自動発注支援システム)の使い方
受発注でのAI-Order Foresight(BIPROGY)の使い方
ヤマザワAI-Order Foresight(BIPROGY)
- 受発注
担当者の経験と勘で手作業していた日配品の発注を、AIの需要予測が選んだ商品を確かめるだけで済む形にし、全店で始めた
同じ仕事の他社事例を見る →データの見える化でのAWSの使い方
Signal