Anthropic Instituteの研究者アンディ・ホール氏が、AIモデルの作業の記録から、別のAIが不正を見つけられるかを試し、個人の見解として発表しました。見張り役のAIが怪しいとした記録は、最後に人が確かめます。問題の無い記録を誤って怪しいとした警告を、ここでは誤報と呼び、問題の無い記録のうち誤報になる割合を誤報の割合と呼びます。
この記事の要点
- AIの見張り役は不正の98%近くを拾い、拾う割合を上げると誤報も増える
- 月10万回の作業の試算では、誤報が本物の警告を上回る
- 注意の希少性で読むと、確かめる人の注意が誤報に使われる
- 見張らせる前に、誤報の件数と人が確かめられる数を比べる
月10万回の作業を見張ると、警告の山は何でできているか。月10万回の作業で見張り役のAIが出す警告を1マス100件で積んだ図。本物の約2,000件に3,000件近くの誤報が加わると、確かめる人の注意の帯が山全体に広がって細くなる。THE DECODERが伝えたホール氏の試算(月10万回の作業・誤報の割合3%)を、1マス100件に置きかえて描いた。誤報の3,000件近くは3,000件として描いた。注意の帯は、注意の希少性に照らした推論で描いた模型。
AIの見張り役は不正の大半を拾い、拾う割合を上げると誤報も増えた
THE DECODERによると、Anthropic Instituteの研究者アンディ・ホール氏は、研究団体METRが集めたAIモデルの作業の記録で、別のAIが不正を見つけられるかを試しました。問題の無い記録100件のうち平均5件を誤って怪しいとする条件で、GPT-5は、まともに解かず小細工で課題を通した事例の98%近くを見つけました。
一方で、取りこぼしを減らそうとするほど、害の無い動きまで怪しいと印を付けます。ホール氏は、月10万回の作業を見張る例で試算しています。
| 誤報の割合が3%のとき | 月の件数 |
|---|---|
| 本物の不正を拾った警告 | 約2,000件 |
| 誤った警告 | 3,000件近く |
ホール氏は、この山を前にした人がやがて慣れてしまい、本物の不正まで通すことを心配しています。結論として、AIの見張り役は、すべての事故を確実に拾う安全確認より、問題がどれくらい起きるかの見積もりに向くとしています。研究は試験的なもので、小細工の事例の数字は47件にもとづきます。
98%近くを見抜けるのに、なぜ本物の見逃しが心配されるのか
見抜く割合が98%近いなら、警告の多くは本物だと思えます。ところが試算では、誤報の割合は小さくても、誤報が本物の警告を上回りました。
誤報の多い警告は、本物が来ても軽く扱われかねません。誤作動の多い火災報知器が、本物の火事で鳴っても、また誤作動かと受け止められるのと同じ形です。
知らせの数が増えるほど、1件にかけられる注意は減る

説明したいのは、見張り役のAIが不正の多くを拾えるのに、人の見逃しが心配されることです。注意の希少性は、人の注意を、情報が届くたびに使われる限りある資源とみる考え方です。情報が豊かになるほど注意は乏しくなると、経済学者のハーバート・サイモンが1971年に書きました。
このニュースでは、見張り役のAIが出す警告の1件1件が情報で、確かめる人の注意には限りがあります。どれが誤報かは確かめるまで分からないので、誤報が多いほど、本物の1件にかけられる注意は減ります。
身近なところでは、問い合わせ用のメールに営業の案内や自動の通知が毎日届く職場があります。届く数が増えるほど、お客様からの急ぎの1通まで流し読みされがちです。
問題の無い作業が大半なので、小さな誤報の割合でも本物を上回る
報道は、試算で何件を不正としたかを書いていません。ただ、誤報の割合がかかる問題の無い作業は、試算の数字から、ほとんど全部だと読めます。
- 作業のほとんどは問題が無く、誤報の割合はその大量の作業にかかる
- 警告の山は誤報が多くなり、確かめる人の注意がそこに使われる
- 拾う割合を上げるほど誤報が増え、山はさらに大きくなる
報道は、確かめる人が実際に見逃したかを伝えていません。注意の希少性に照らすと、誤報が増えるほど、本物の1件にかかる注意は減ると考えます。見抜く割合が高いことと、出た警告を信じてよいことは別です。
AIの見張りは、見抜く割合より誤報の件数で使い道を決める
私の会社が運営するスマート家電のメディアでも、11月7日に、売っていない機種を拾う決まりを直しました。Amazonの直販で2週間続けて買えない機種を候補に出し、商品のページを開いて確かめてから販売終了にします。
拾う条件をゆるめれば見逃しは減り、確かめる候補は増えます。AIに見張りを任せるときも、次の順で使い道を決めます。
- 見張らせたい問題が、作業の何件に1件ほど起きるかを見積もる
- 誤報の割合に月の作業の数をかけ、誤報の件数を出す
- 本物と誤報の合計が人の確かめられる数に収まれば、全件を人が確かめる
- 収まらなければ、問題がどれくらい起きているかを測るのに使う
通知や警告を、気づけば開かずに消していた場面はよくあります。知らせが多すぎて大事な1件を見落としかけた話と、数を絞った工夫を、この下のおたより欄で聞かせてください。
読み解きに使った概念・法則
注意の希少性
情報は、受け取る人の注意を使って届く、という考え方。
この記事で取り上げたニュース
同じ概念・法則で読める記事
AIで書いた長い文書の手間は、読む人の注意で払われる
なぜ?AIで依頼書は手間をかけずに長く書けるのに、なぜ出した顧客も中身を知らず、受け取った広告会社は顧客に聞き直さないと何ができるかを決められないのか
この記事からわかることAIで書いた文書は、渡す前に相手にしてほしいことを自分の言葉で1〜2文に書き、書けたら頭に置いて本文を必要な分だけ残し、書けなければ渡さず、長い文書を受け取ったら同じ長さで返さずに短く聞き返す
あなたの話も、聞かせてください
仕事の通知や警告が多すぎて、本物の大事な知らせを見落としかけた場面はありましたか。知らせの数を絞ってうまく回っている職場の話でも構いません。
おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。
届いたおたより
おたよりと、編集部からのお返事
気になった話があれば、あなたの経験・考え・疑問もおたよりで送れます。
自分のおたよりは、送ったブラウザでだけ確認できます。ブラウザの保存データを消すと、非公開の本文をこの欄で見返せなくなります。
シェアする
Googleで探しやすくするPRODUCT
注目ツール
直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。
EXPLORE
ほかのコンテンツも読む
気になるテーマに切り替えて、続きを探せます。
注目の企業
今日のニュース
AIの答えを確かめる負担、生産性の伸びを打ち消すことも
原文を読む(The Conversation) ↗認知工学の研究者が、AIの答えが正しいかを確かめる時間と労力が、生産性の伸びを打ち消すことがあると論じています。経験のある開発者を対象にした試験では、AIを使うと速くなったと感じていたのに、作業時間は19%増えました。筆者は、確かめるための時間、研修、権限を働く人に与えるべきだとしています。
職場のAIに何を入力してよいか、名前を消すだけでは不十分
原文を読む(Computerworld) ↗AIに渡す情報について、専門家は、名前を顧客番号に置き換えても本人をたどれれば匿名にならないと指摘しています。どの作業にどの情報を使ってよいかは、会社が決めて従業員に示すべきだとしています。勤め先の指定と違うChatGPTを使ったセラピストが、機密情報は入れていないと話したが解雇された例もあります。
Google、AIによる完全自動のサイバー攻撃を初めて確認
原文を読む(THE DECODER) ↗Googleの脅威分析チームは、AIが弱点(脆弱性)探しから攻撃までを人の手を介さずに行う事例を初めて確認しました。見つかった仕組みは、修正プログラムの適用前後のコードを比べて弱点を探し、攻撃を自動で実行します。Googleは、より強力な攻撃は数ヶ月先に迫っているとしています。
仕事と組織の変化
株主総会での回答づくりに生成AIを活用
各社のIT活用
代金の受け取りでのPaidの使い方
社員の情報でのカオナビの使い方
文章・資料づくりでのAzure OpenAI Service(IIJ GIO with Microsoft Azure)の使い方
ふくおかFGAzure OpenAI Service(IIJ GIO with Microsoft Azure)
- 文章・資料づくり
文書の下書きや企画のアイデア出し、マーケット情報の整理に、本部と営業店の約6,000人が使える社内の生成AIを使っている
同じ仕事の他社事例を見る →