Alibabaなどの研究者が、利用者の実際の依頼から作ったコード修正の試験で、10のAIモデルを比べました。AIは既存のWebアプリを依頼にもとづいて作り直し、1つの課題には画面の配置や中身の更新など、いくつもの要件があります。点は、アプリで実際に動いた機能にだけ付きます。
この記事の要点
- 首位のAIは要件の平均約7割を満たし、完全に正しい課題は26.4%
- 変更の種類が重なるほど、10のモデルすべてで点が下がった
- 最弱リンクで読むと、そのまま使えるかはいちばん弱い要件で決まる
- AIに頼む前に、欠けたら使えない要件に印を付けて確かめる
要件の平均と、全部そろった課題の割合はどれだけ違うか。首位のAIが課題の要件を平均約7割満たす灰色の帯と、全部の要件を満たした課題26.4%のオレンジの帯を並べ、残りの課題に人の手直しが必要なことを示す図。数字はTHE DECODERが伝えたCo-Design Benchの論文の結果(10のモデルで首位のGPT-6 Astra)。帯の長さは割合に合わせて描いた。
依頼から作ったコード修正の試験で、完全に正しい課題は26.4%
THE DECODERによると、Alibabaなどの研究者が、利用者の実際の依頼から、AIのコード修正の試験を作りました。AIは、既存のWebアプリを利用者の依頼にもとづいて作り直します。点は、アプリで実際に動く機能にだけ付きます。
| 10のモデルで首位のGPT-6 Astra | 割合 |
|---|---|
| 課題の要件を満たした割合(平均) | 約7割 |
| 完全に正しかった課題 | 26.4% |
多くの場合、AIは作業の大半をこなしても、少なくとも1つの細部を残すので、使う人はほぼ毎回、手で直すことになるとしています。1つの課題に、配置・デザイン・操作・中身といった変更の種類が重なるほど、どのモデルも点が下がりました。
記事は、こうした絡み合った要件は、実際のプロジェクトでは普通だとしています。試験は1つの課題に1回の決まった依頼だけで、利用者からの追加の質問や途中の直しは含みません。
要件の多くを満たすのに、なぜ完全に正しい課題は少ないのか
約7割を満たすなら、多くの課題はそのまま使えそうです。ところが、完全に正しかったのは4件に1件ほどで、4件のうち3件近くは人の手直しが必要です。
引っ越しの荷物をほとんど運び終えても、新しい部屋の鍵が無ければ、その夜は入れません。運んだ量だけを見ていると、この1つの欠けは見えません。
1つ欠けると使えない仕事は、いちばん弱い要件で決まる

説明したいのは、要件の多くを満たすAIが、完全に正しい課題では4件に1件ほどにとどまることです。最弱リンクは、鎖がいちばん弱い輪で切れるように、部分がそろって初めて働く仕組みの強さは、最も弱い部分で決まるという考え方です。経済学者のハーシュライファーが1983年に論じました。
このニュースでは、要件の1つ1つが部分で、アプリが依頼どおりに動くことが全体です。レシートの金額を拾って関係する合計をすべて直す課題なら、合計が1つでも古ければ依頼どおりになりません。
身近なところでは請求書です。宛名と金額が合っていても、振込先が古ければそのままでは送れません。
要件の平均は足し算の数字で、使えるかは残った1つで決まる
報道は、課題ごとに要件がいくつあり、どれが残りやすかったかを伝えていません。ただ、少なくとも1つの細部を残すという説明と、種類が重なるほど点が下がる結果から、次の流れが読めます。
- 要件の平均は満たした分の足し算なので、大半をこなせば高く出る
- 依頼どおりに動くかは、要件が1つ欠けても外れる
- 変更の種類が重なるほど、どれか1つが残りやすく、全部そろう課題は減る
最弱リンクに照らすと、残りやすい1つが直らない限り、平均の点が上がっても、そのまま使える課題は増えないと考えます。要件の7割を満たすことと、7割の課題をそのまま使えることは別です。
AIに頼む仕事は、欠けたら使えない要件を先に数える
私の会社でも11月7日、ChatGPTに作らせた見積書のExcelを手本と照らし合わせました。合計の金額と5枚の形は手本どおりでしたが、明細の行を1つ空けると見積書の金額まで消える式など、直す点が5つ残りました。AIに頼むときも、次の順で確かめます。
- 頼む仕事の要件を書き出し、1つ欠けたら使えないものに印を付ける
- 印の無い要件は、全体を見て足りない所だけ直す
- 印の要件は、出来の割合で済ませず、1つずつ照らし合わせる
- 印の要件が配置・文面・計算と種類をまたぐときは、直す時間を先に取る
AIの下書きを、最後の1か所だけ直して出す場面はよくあります。残りやすかった要件と見落とさない工夫を、この下のおたより欄で聞かせてください。
読み解きに使った概念・法則
最弱リンク
いくつもの部分がそろって初めて働く仕組みでは、全体の強さは、いちばん弱い部分の強さで決まる、という考え方。
この記事で取り上げたニュース
同じ概念・法則で読める記事
AIが休まず試すと、守りの強さはいちばん弱い入口で決まる
なぜ?サイバー防御におそらく最も強いAIを持つAnthropicに、なぜAIエージェントは外の業務ソフトを経由して入れたのか
この記事からわかること社内のデータにつないだ外のサービスとAIの道具を、社員が入れたものまで書き出し、それぞれ読むだけか書き換えや管理までできるかと最後に権限を見直した日を並べ、使っていないものはつなぎを外し、届く範囲が広いのに見直していないものから権限を読むだけに絞る
あなたの話も、聞かせてください
AIに頼んだ資料やデータが、ほとんど合っているのに1か所の誤りでそのまま使えなかった場面はありましたか。1回で全部そろって困らなかった仕事の話でも構いません。
おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。
届いたおたより
おたよりと、編集部からのお返事
気になった話があれば、あなたの経験・考え・疑問もおたよりで送れます。
自分のおたよりは、送ったブラウザでだけ確認できます。ブラウザの保存データを消すと、非公開の本文をこの欄で見返せなくなります。
シェアする
Googleで探しやすくするPRODUCT
注目ツール
直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。
EXPLORE
ほかのコンテンツも読む
気になるテーマに切り替えて、続きを探せます。
注目の企業
今日のニュース
AIの答えを確かめる負担、生産性の伸びを打ち消すことも
原文を読む(The Conversation) ↗認知工学の研究者が、AIの答えが正しいかを確かめる時間と労力が、生産性の伸びを打ち消すことがあると論じています。経験のある開発者を対象にした試験では、AIを使うと速くなったと感じていたのに、作業時間は19%増えました。筆者は、確かめるための時間、研修、権限を働く人に与えるべきだとしています。
職場のAIに何を入力してよいか、名前を消すだけでは不十分
原文を読む(Computerworld) ↗AIに渡す情報について、専門家は、名前を顧客番号に置き換えても本人をたどれれば匿名にならないと指摘しています。どの作業にどの情報を使ってよいかは、会社が決めて従業員に示すべきだとしています。勤め先の指定と違うChatGPTを使ったセラピストが、機密情報は入れていないと話したが解雇された例もあります。
Google、AIによる完全自動のサイバー攻撃を初めて確認
原文を読む(THE DECODER) ↗Googleの脅威分析チームは、AIが弱点(脆弱性)探しから攻撃までを人の手を介さずに行う事例を初めて確認しました。見つかった仕組みは、修正プログラムの適用前後のコードを比べて弱点を探し、攻撃を自動で実行します。Googleは、より強力な攻撃は数ヶ月先に迫っているとしています。
仕事と組織の変化
株主総会での回答づくりに生成AIを活用
各社のIT活用
代金の受け取りでのPaidの使い方
社員の情報でのカオナビの使い方
文章・資料づくりでのAzure OpenAI Service(IIJ GIO with Microsoft Azure)の使い方
ふくおかFGAzure OpenAI Service(IIJ GIO with Microsoft Azure)
- 文章・資料づくり
文書の下書きや企画のアイデア出し、マーケット情報の整理に、本部と営業店の約6,000人が使える社内の生成AIを使っている
同じ仕事の他社事例を見る →