Amazonは、ソフトウェアのエンジニアがAIを使うときの指針を社内に回し、自社のサイトに載せました。トークンは、AIが処理したり生み出したりするデータの単位です。使ったトークンの量やAIの道具の導入率は、チームや組織のAIの使い方を測る数字として使われています。

この記事の要点

  • Amazonは、順位のためにAIを多く使う社員を知り、順位表をやめた
  • 数字を目標にして押し上げると、数字は中身を表さなくなる
  • 指針は、使う量より長い目で見た成果で測るのが最善とした
  • AIを使った回数の横に、片付いた仕事の数を並べる

使う量を競わせると、棒のどこが伸びるか。4人の社員が使ったトークンの量を棒にした模型。順位表ができると、仕事に使った灰色の分は変わらず、順位のために増えたオレンジの分だけが伸びて1位が入れ替わる。長い目で見た成果で測ると、オレンジの分は数えない点線になり、1位が戻る。。模型で、人数や棒の長さは実測ではありません。CNBCが伝えた、順位を上げるためのトークンマキシングで順位表をやめたことと、長い目で見た成果で測るのが最善という指針を描きました。順位表が使う量で順位を付けていたことは推論です。

Amazonが社内の順位表をやめ、AIの使い方の指針を出した

CNBCによると、Amazonは5月、社員が順位を上げるためにトークンマキシングをしていると分かり、社内の順位表をやめました。トークンマキシングは、開発者が成果をほとんど気にせずAIをできるだけ多く使うことです。9月に社内に回した指針は、物差しについて次のように書いています。

物差し 指針の書き方
トークンの量・AIの道具の導入率・コードの変更や確認の数 大きな欠陥があり、費用と複雑さを増やしうる
長い目で見た成果 これで測り、これで測られるのが最善

ただし、トークンの量やコードの生成も、ほかのデータと並べて注意と判断をもって見るよう求め、すべて無視せよとまでは言っていません。Amazonは、仕事に合わないときにAIを使うことも勧めておらず、指針には次の一文もあります。

「いまのAIの道具で仕事が良くならないなら、それは失敗ではなく発見だ」

AIを急いで広げるAmazonが、なぜ社内の順位表をやめたのか

Amazonは、CEOのアンディ・ジャシー氏のもとで、社内の仕事に急いでAIを組み込んできました。AIを広めたい会社には、AIを多く使う人が上に来る順位表は便利に見えます。それでもAmazonは、社員が順位のためにAIを多く使っていると分かると、順位表をやめました。

数字を目標にして押し上げると、数字は中身を表さなくなる

壁の目盛りの前に同じ背のふたりが立ち、右の人は箱に乗って印を上げている。数字を目標にすると、中身は同じまま数字だけが上がることを背くらべに見立てた絵
グッドハートの法則のイメージ

説明したいのは、順位を競わせると、なぜ成果を気にせずAIを多く使う人が出てくるのかです。グッドハートの法則は、チャールズ・グッドハートが1975年に示した考え方で、ある数字を良くしようと押し進めると、ある所から先は本来の目的に役立たないか害になる、というものです。

物差しが目標になると、それは良い物差しではなくなる

例えば、ジムで通った回数を競うと、入口で会員証をかざして帰る日も1回に数えられます。回数は伸びても、体は変わりません。

報道は、順位表の付け方を伝えていません。順位を上げるためにAIを多く使ったという話に照らすと、使う量で上に来る表だったと考えます。

このニュースでは、トークンの量が物差しに、AIで仕事が進んだかが本来の目的に当たります。量を競わせると、成果を気にせず増やした分が混じり、量は仕事の進み具合を表さなくなります。

量を競わせると、量を増やすこと自体が目標になります。

Amazonは、使う量でなく、長い目で見た成果を目標にした

報道は、順位表があった間に成果や費用がどう動いたかを伝えていません。分かるのは物差しの変え方で、AWSのMarc Brooker氏はCNBCに、AIで技術者の生産性がどう上がったかを、リリースの回数や本番で成功した変更の数で見ていると話しました。

使う量を、ほかのデータと並べて読む手がかりにすれば、量を増やして見せる理由は薄れます。AIが役立たないと分かることを発見と呼べば、AIを使わない選択も報告として残せます。

AIを使った回数の横に、片付いた仕事の数を並べる

私の会社でも、やった回数より、何が変わったかを数えました。サイトに載せる会社のニュースを公開前に人が承認していましたが、承認の3回分を見返すと、外したものも直したものも0件でした。そこで10月21日に承認をやめ、自信の低い判定だけを確かめ役が元記事と照らす形にしました。

AIの使い方を数字で見るなら、次の順で進めます。使う量は、広がり具合を見る数字として残します。

  1. 社員ごとのAIの利用回数や利用率を、順位や評価に入れていないかを見る
  2. 入れているなら、同じ表にAIで片付いた仕事の数とやり直しの数を並べる
  3. 量だけが伸びて片付いた仕事が伸びないなら、量の順位を外す
  4. AIが役立たなかった仕事は、失敗でなく発見として報告してもらう

読み解きに使った概念・法則

この記事の中心となる概念・法則

グッドハートの法則

ある数字を物差しにして良くしようと押し進めると、ある所から先は、数字を上げても本来の目的に役立たないか、かえって害になる、という考え方。

この記事で取り上げたニュース

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

EXPLORE

ほかのコンテンツも読む

気になるテーマに切り替えて、続きを探せます。

注目の企業

今日のニュース

  • AIの答えを確かめる負担、生産性の伸びを打ち消すことも

    認知工学の研究者が、AIの答えが正しいかを確かめる時間と労力が、生産性の伸びを打ち消すことがあると論じています。経験のある開発者を対象にした試験では、AIを使うと速くなったと感じていたのに、作業時間は19%増えました。筆者は、確かめるための時間、研修、権限を働く人に与えるべきだとしています。

    原文を読む(The Conversation) ↗
  • 職場のAIに何を入力してよいか、名前を消すだけでは不十分

    ChatGPT

    AIに渡す情報について、専門家は、名前を顧客番号に置き換えても本人をたどれれば匿名にならないと指摘しています。どの作業にどの情報を使ってよいかは、会社が決めて従業員に示すべきだとしています。勤め先の指定と違うChatGPTを使ったセラピストが、機密情報は入れていないと話したが解雇された例もあります。

    原文を読む(Computerworld) ↗
  • Google、AIによる完全自動のサイバー攻撃を初めて確認

    Google

    Googleの脅威分析チームは、AIが弱点(脆弱性)探しから攻撃までを人の手を介さずに行う事例を初めて確認しました。見つかった仕組みは、修正プログラムの適用前後のコードを比べて弱点を探し、攻撃を自動で実行します。Googleは、より強力な攻撃は数ヶ月先に迫っているとしています。

    原文を読む(THE DECODER) ↗

仕事と組織の変化

各社のIT活用

  • 代金の受け取りでのPaidの使い方

    オートバックスセブンPaid

    • 代金の受け取り

    法人会員の支払いに請求書払いを入れ、店頭でも使える専用のカードで掛け払いにして、請求を法人の本社にまとめている

    同じ仕事の他社事例を見る →
  • 社員の情報でのカオナビの使い方

    日本ハムカオナビ

    • 社員の情報

    組織全体を見渡した人材の配置と、育成を見据えた計画的な異動・配置ができる基盤をつくるために入れた

    同じ仕事の他社事例を見る →
  • 文章・資料づくりでのAzure OpenAI Service(IIJ GIO with Microsoft Azure)の使い方

    ふくおかFGAzure OpenAI Service(IIJ GIO with Microsoft Azure)

    • 文章・資料づくり

    文書の下書きや企画のアイデア出し、マーケット情報の整理に、本部と営業店の約6,000人が使える社内の生成AIを使っている

    同じ仕事の他社事例を見る →

情報流出・サイバー被害