Digidayによると、ニュース媒体のDaily Mailは、AIの回答に企業が出やすくする取り組み(GEO)の試験を進めています。AIの回答で名前が挙がっても、見た人がリンクを押さず、あとで検索して訪れることもあります。アクセス解析は、どのサイトのリンクから来たか(参照元)で、訪問の出どころを数えます。

この記事の要点

  • AIで名前を見た人は、あとで検索して来ることがある
  • 解析ではClaudeからの流入0.1%、客に聞くと成約の約11%
  • 測りやすい数字だけで決めると、測れない分は無いことになる
  • 解析の数字の横に、客の答えを並べて判断する

AIで知った客は、どこで数に入るか。客の動きを描いた概念図。AIの回答で名前を見た客が、リンクを押さずに検索を経てサイトで成約する。アクセス解析では検索の棒だけが伸び、何で知ったかを聞く本人の答えでは、AIの回答の棒が伸びる。。概念図で、数値ではありません。Digidayが伝えた、名前を見てあとで検索する流れを描いた模型です。解析が検索の訪問に数えるところは推論です。

Claudeからの流入は0.1%、客に聞くと成約の約11%

Digidayによると、Daily Mailは、AIの回答に企業が出やすくする取り組み(GEO)の試験を、米国・英国・オーストラリアで12〜15件進めています。来年の初めに、正式な商品にする予定です。

Digidayは、売上への効果を示すのはより難しいと書いています。AIの勧めはクリックにつながるとは限らず、名前を見てあとで検索する人もいるためです。

Daily MailのSEOと記事からの通販を率いるCarly Steven氏によると、一部のブランドは、どこで知ったかを客に聞くフォームをサイトに足す、頼れる簡単な測り方に戻っています。あるブランドでは、Claudeの割合が測り方で次のように違いました。

測り方 何の中の割合か Claudeの割合
アクセス解析 流入(参照元) 0.1%
どこで知ったかを聞くフォーム 成約 約11%

Steven氏は、この例が、参照元のデータだけではAIの影響をとらえきれないことがある理由を示すと話しました。成果をどの経路に割り当てるかの仕組みに穴があることはよく知られていて、看板や新聞に広告を出すのに少し似ているとも話しています。

解析で0.1%のAIが、なぜ客に聞くと成約の約11%になるのか

アクセス解析だけを見れば、Claudeはほとんど客につながっていないAIに見えます。ところが客本人に聞くと、成約の中でずっと大きな割合を占めていました。測り方を変えただけで、なぜここまで違うのでしょうか。

測りやすい数字だけで決めると、測りにくいものは無いことになる

目の粗い網の中の大きな魚だけが数えられ、網をすり抜けた小さな魚は数に入らない。測りやすいものだけで決める誤りを、網で魚を数えることに見立てた絵
マクナマラの誤謬のイメージ

説明したいのは、解析だけを見るとAIで知った客が見えなくなる理由です。マクナマラの誤謬(ごびゅう)は、測りやすい数字だけで判断し、測りにくいものを軽く見て、やがて無いものとみなす誤りです。社会科学者のダニエル・ヤンケロビッチは、この誤りが進む順を次の4つの段で書きました。

  1. たやすく測れるものを測る
  2. 測れないものは無視するか、適当な数を当てる
  3. 測れないものは大事でないと思い込む
  4. 測れないものは無いと結論づける

例えば、パン屋が客の出どころをクーポンの数だけで見て、看板を見て来た客を数えないまま、看板は役に立っていないと決めれば4つ目の段です。このニュースでは、解析の参照元が測りやすい数字に、AIで名前を見てあとで検索して来た客が測りにくいものに当たります。

アクセス解析に出ないことは、AIで知った客がいないことを意味しません。

AIで名前を知った客は、解析では検索などから来た客になる

報道は、フォームに何人が答えたかも、Claudeと答えた客が解析でどの参照元に数えられていたかも伝えていません。あとで検索する人もいるという話に照らすと、その多くは検索などの参照元に数えられていたと考えます。

同じ日に当サイトが届けた404 Mediaの記事にも、似た話があります。技術の困りごとを相談してきた人に返信でどう知ったかを尋ねると、全員がAIのチャットに勧められたと答えていました。

AIで知った客は、参照元の記録より、本人への問いに表れます。

解析の数字の横に、客の「何で知ったか」の答えを並べる

私の会社でも、チラシを見て問い合わせてくれた会社との初回の打ち合わせ用に、聞き取りの紙を作りました。「お仕事は、どこから来ることが多いですか」という問いを入れ、あとで効果を数字で見せる基準にします。AIで知った客を数えるときも、次の順で進めます。

  1. 問い合わせのフォームに何で知ったかを聞く問いを足し、選択肢にAIのチャットを入れる
  2. 月ごとに、その答えの割合と、解析の参照元の割合を並べる
  3. 2つが近ければ、これまでどおり解析の数字で決める
  4. 答えのほうが大きければ、AIの回答に出る取り組みを解析の数字だけで打ち切らない

答えは客の記憶なので、思い違いも混じります。どちらかを正とせず、ずれの大きさを見て決めます。

読み解きに使った概念・法則

この記事の中心となる概念・法則

マクナマラの誤謬

測りやすい数字だけで判断し、測りにくいものを軽く見て、やがて無いものとみなしてしまう誤り。

この記事で取り上げたニュース

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

EXPLORE

ほかのコンテンツも読む

気になるテーマに切り替えて、続きを探せます。

注目の企業

今日のニュース

  • AIの答えを確かめる負担、生産性の伸びを打ち消すことも

    認知工学の研究者が、AIの答えが正しいかを確かめる時間と労力が、生産性の伸びを打ち消すことがあると論じています。経験のある開発者を対象にした試験では、AIを使うと速くなったと感じていたのに、作業時間は19%増えました。筆者は、確かめるための時間、研修、権限を働く人に与えるべきだとしています。

    原文を読む(The Conversation) ↗
  • 職場のAIに何を入力してよいか、名前を消すだけでは不十分

    ChatGPT

    AIに渡す情報について、専門家は、名前を顧客番号に置き換えても本人をたどれれば匿名にならないと指摘しています。どの作業にどの情報を使ってよいかは、会社が決めて従業員に示すべきだとしています。勤め先の指定と違うChatGPTを使ったセラピストが、機密情報は入れていないと話したが解雇された例もあります。

    原文を読む(Computerworld) ↗
  • Google、AIによる完全自動のサイバー攻撃を初めて確認

    Google

    Googleの脅威分析チームは、AIが弱点(脆弱性)探しから攻撃までを人の手を介さずに行う事例を初めて確認しました。見つかった仕組みは、修正プログラムの適用前後のコードを比べて弱点を探し、攻撃を自動で実行します。Googleは、より強力な攻撃は数ヶ月先に迫っているとしています。

    原文を読む(THE DECODER) ↗

仕事と組織の変化

各社のIT活用

  • 代金の受け取りでのPaidの使い方

    オートバックスセブンPaid

    • 代金の受け取り

    法人会員の支払いに請求書払いを入れ、店頭でも使える専用のカードで掛け払いにして、請求を法人の本社にまとめている

    同じ仕事の他社事例を見る →
  • 社員の情報でのカオナビの使い方

    日本ハムカオナビ

    • 社員の情報

    組織全体を見渡した人材の配置と、育成を見据えた計画的な異動・配置ができる基盤をつくるために入れた

    同じ仕事の他社事例を見る →
  • 文章・資料づくりでのAzure OpenAI Service(IIJ GIO with Microsoft Azure)の使い方

    ふくおかFGAzure OpenAI Service(IIJ GIO with Microsoft Azure)

    • 文章・資料づくり

    文書の下書きや企画のアイデア出し、マーケット情報の整理に、本部と営業店の約6,000人が使える社内の生成AIを使っている

    同じ仕事の他社事例を見る →

情報流出・サイバー被害