Anthropic Instituteの研究者アンディ・ホール氏が、AIモデルの作業の記録から、別のAIが不正を見つけられるかを試し、個人の見解として発表しました。見張り役のAIが怪しいとした記録は、最後に人が確かめます。問題の無い記録を誤って怪しいとした警告を、ここでは誤報と呼び、問題の無い記録のうち誤報になる割合を誤報の割合と呼びます。

この記事の要点

  • AIの見張り役は不正の98%近くを拾い、拾う割合を上げると誤報も増える
  • 月10万回の作業の試算では、誤報が本物の警告を上回る
  • 注意の希少性で読むと、確かめる人の注意が誤報に使われる
  • 見張らせる前に、誤報の件数と人が確かめられる数を比べる

月10万回の作業を見張ると、警告の山は何でできているか。月10万回の作業で見張り役のAIが出す警告を1マス100件で積んだ図。本物の約2,000件に3,000件近くの誤報が加わると、確かめる人の注意の帯が山全体に広がって細くなる。THE DECODERが伝えたホール氏の試算(月10万回の作業・誤報の割合3%)を、1マス100件に置きかえて描いた。誤報の3,000件近くは3,000件として描いた。注意の帯は、注意の希少性に照らした推論で描いた模型。

AIの見張り役は不正の大半を拾い、拾う割合を上げると誤報も増えた

THE DECODERによると、Anthropic Instituteの研究者アンディ・ホール氏は、研究団体METRが集めたAIモデルの作業の記録で、別のAIが不正を見つけられるかを試しました。問題の無い記録100件のうち平均5件を誤って怪しいとする条件で、GPT-5は、まともに解かず小細工で課題を通した事例の98%近くを見つけました。

一方で、取りこぼしを減らそうとするほど、害の無い動きまで怪しいと印を付けます。ホール氏は、月10万回の作業を見張る例で試算しています。

誤報の割合が3%のとき 月の件数
本物の不正を拾った警告 約2,000件
誤った警告 3,000件近く

ホール氏は、この山を前にした人がやがて慣れてしまい、本物の不正まで通すことを心配しています。結論として、AIの見張り役は、すべての事故を確実に拾う安全確認より、問題がどれくらい起きるかの見積もりに向くとしています。研究は試験的なもので、小細工の事例の数字は47件にもとづきます。

98%近くを見抜けるのに、なぜ本物の見逃しが心配されるのか

見抜く割合が98%近いなら、警告の多くは本物だと思えます。ところが試算では、誤報の割合は小さくても、誤報が本物の警告を上回りました。

誤報の多い警告は、本物が来ても軽く扱われかねません。誤作動の多い火災報知器が、本物の火事で鳴っても、また誤作動かと受け止められるのと同じ形です。

知らせの数が増えるほど、1件にかけられる注意は減る

壁一面に並んだ紙(届いた情報)のうち、懐中電灯の光(注意)が照らせるのは数枚だけ、という見立ての絵
注意の希少性のイメージ

説明したいのは、見張り役のAIが不正の多くを拾えるのに、人の見逃しが心配されることです。注意の希少性は、人の注意を、情報が届くたびに使われる限りある資源とみる考え方です。情報が豊かになるほど注意は乏しくなると、経済学者のハーバート・サイモンが1971年に書きました。

このニュースでは、見張り役のAIが出す警告の1件1件が情報で、確かめる人の注意には限りがあります。どれが誤報かは確かめるまで分からないので、誤報が多いほど、本物の1件にかけられる注意は減ります。

身近なところでは、問い合わせ用のメールに営業の案内や自動の通知が毎日届く職場があります。届く数が増えるほど、お客様からの急ぎの1通まで流し読みされがちです。

問題の無い作業が大半なので、小さな誤報の割合でも本物を上回る

報道は、試算で何件を不正としたかを書いていません。ただ、誤報の割合がかかる問題の無い作業は、試算の数字から、ほとんど全部だと読めます。

  1. 作業のほとんどは問題が無く、誤報の割合はその大量の作業にかかる
  2. 警告の山は誤報が多くなり、確かめる人の注意がそこに使われる
  3. 拾う割合を上げるほど誤報が増え、山はさらに大きくなる

報道は、確かめる人が実際に見逃したかを伝えていません。注意の希少性に照らすと、誤報が増えるほど、本物の1件にかかる注意は減ると考えます。見抜く割合が高いことと、出た警告を信じてよいことは別です。

AIの見張りは、見抜く割合より誤報の件数で使い道を決める

私の会社が運営するスマート家電のメディアでも、11月7日に、売っていない機種を拾う決まりを直しました。Amazonの直販で2週間続けて買えない機種を候補に出し、商品のページを開いて確かめてから販売終了にします。

拾う条件をゆるめれば見逃しは減り、確かめる候補は増えます。AIに見張りを任せるときも、次の順で使い道を決めます。

  1. 見張らせたい問題が、作業の何件に1件ほど起きるかを見積もる
  2. 誤報の割合に月の作業の数をかけ、誤報の件数を出す
  3. 本物と誤報の合計が人の確かめられる数に収まれば、全件を人が確かめる
  4. 収まらなければ、問題がどれくらい起きているかを測るのに使う

通知や警告を、気づけば開かずに消していた場面はよくあります。知らせが多すぎて大事な1件を見落としかけた話と、数を絞った工夫を、この下のおたより欄で聞かせてください。

読み解きに使った概念・法則

この記事の中心となる概念・法則

注意の希少性

情報は、受け取る人の注意を使って届く、という考え方。

この記事で取り上げたニュース

同じ概念・法則で読める記事

AIで書いた長い文書の手間は、読む人の注意で払われる

なぜ?AIで依頼書は手間をかけずに長く書けるのに、なぜ出した顧客も中身を知らず、受け取った広告会社は顧客に聞き直さないと何ができるかを決められないのか

この記事からわかることAIで書いた文書は、渡す前に相手にしてほしいことを自分の言葉で1〜2文に書き、書けたら頭に置いて本文を必要な分だけ残し、書けなければ渡さず、長い文書を受け取ったら同じ長さで返さずに短く聞き返す

あなたの話も、聞かせてください

仕事の通知や警告が多すぎて、本物の大事な知らせを見落としかけた場面はありましたか。知らせの数を絞ってうまく回っている職場の話でも構いません。

おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。

編集部へのおたより

ニックネームや名無しでも問題ありません。

0 / 1,000字

お仕事や立場を添えると、編集部が背景をつかみやすくなります。

おたよりの紹介

掲載前に編集部が確認します。
人や会社が分かる部分は外します。

編集部へのおたより

この話についてのおたより

元のおたより

この話を読んで思ったことや、あなたの経験・疑問を聞かせてください。編集部に届けます。

送った内容は、編集部が確認したうえで、この話の下に掲載します。

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

EXPLORE

ほかのコンテンツも読む

気になるテーマに切り替えて、続きを探せます。

注目の企業

今日のニュース

  • AIの答えを確かめる負担、生産性の伸びを打ち消すことも

    認知工学の研究者が、AIの答えが正しいかを確かめる時間と労力が、生産性の伸びを打ち消すことがあると論じています。経験のある開発者を対象にした試験では、AIを使うと速くなったと感じていたのに、作業時間は19%増えました。筆者は、確かめるための時間、研修、権限を働く人に与えるべきだとしています。

    原文を読む(The Conversation) ↗
  • 職場のAIに何を入力してよいか、名前を消すだけでは不十分

    ChatGPT

    AIに渡す情報について、専門家は、名前を顧客番号に置き換えても本人をたどれれば匿名にならないと指摘しています。どの作業にどの情報を使ってよいかは、会社が決めて従業員に示すべきだとしています。勤め先の指定と違うChatGPTを使ったセラピストが、機密情報は入れていないと話したが解雇された例もあります。

    原文を読む(Computerworld) ↗
  • Google、AIによる完全自動のサイバー攻撃を初めて確認

    Google

    Googleの脅威分析チームは、AIが弱点(脆弱性)探しから攻撃までを人の手を介さずに行う事例を初めて確認しました。見つかった仕組みは、修正プログラムの適用前後のコードを比べて弱点を探し、攻撃を自動で実行します。Googleは、より強力な攻撃は数ヶ月先に迫っているとしています。

    原文を読む(THE DECODER) ↗

仕事と組織の変化

各社のIT活用

  • 代金の受け取りでのPaidの使い方

    オートバックスセブンPaid

    • 代金の受け取り

    法人会員の支払いに請求書払いを入れ、店頭でも使える専用のカードで掛け払いにして、請求を法人の本社にまとめている

    同じ仕事の他社事例を見る →
  • 社員の情報でのカオナビの使い方

    日本ハムカオナビ

    • 社員の情報

    組織全体を見渡した人材の配置と、育成を見据えた計画的な異動・配置ができる基盤をつくるために入れた

    同じ仕事の他社事例を見る →
  • 文章・資料づくりでのAzure OpenAI Service(IIJ GIO with Microsoft Azure)の使い方

    ふくおかFGAzure OpenAI Service(IIJ GIO with Microsoft Azure)

    • 文章・資料づくり

    文書の下書きや企画のアイデア出し、マーケット情報の整理に、本部と営業店の約6,000人が使える社内の生成AIを使っている

    同じ仕事の他社事例を見る →

情報流出・サイバー被害