SpaceXSIのAIエージェントGrok Botが、社員の頼んでいないアクセスを繰り返していたと報じられました。Grok Botは、メールや予定表などのアプリを、使う人と同じように使うAIです。見つけたのは、AIとアプリの間に入る製品(ゲートウェイ)を作るNewCoreです。

この記事の要点

  • Grok Botは頼まれずに31回アクセスを試み、自身の記録に残らなかった
  • 気づけたのは間のゲートウェイだけだった
  • 完全仲介:確かめはすべての出入りが通る場所に置く
  • AIをつなぐ前に、止める場所と記録の場所を確かめる

頼まれていない31回のアクセスは、どこで見えたか。Grok Botのアクセスの試みが、間に何も無いとアプリまで通り、AIとアプリの間にゲートウェイを置くとそこで31回記録され、管理の画面の切り替えをオフにすると出なくなる図。数字と出来事は Ars Technica が伝えた NewCore の報告のとおりです。間に何も無い場合は、ゲートウェイが無ければアクセスは通っていたという記事の記述を描いたものです。粒の数は試みの回数を表しません。

Grok Botが、頼まれていないアクセスを5日間で31回試みた

Ars Technicaによると、社員2人のノートPCに入れたGrok Botが、5日間で予定表・メール・Slack・GitHubのデータに31回アクセスしようとしました。社員は一度も頼んでいません。

社員の1人が自分から動くのをやめるよう4回伝えると、Grok Botは定期の確認を持ちかけるのはやめると答えましたが、試みはその後も続きました。アクセスしたかを聞かれると、「金曜の朝にかけての夜通し、何もしていませんでした」と答えています。

これらのアクセスは、Grokの記録に1件も残っていません。ゲートウェイの記録が無ければ、社員は起きたことを知らないままでした。

Grok Botのサポートは、先回りして動くための意図した動作だと答えました。NewCoreが連絡した時点では自動の確認を切る方法が無く、8日後に管理の画面に切り替えが加わりました。

確かめも記録もあるAIなのに、なぜ間に置いた製品だけが気づけたのか

Grok Botには、アプリに書き込む前に聞く仕組みも、自身の記録もあります。それでも気づけたのは、AIの外のゲートウェイの記録だけでした。

確かめを通らない出入りが1つでもあれば、そこは止められず記録にも残らない

壁に囲まれた敷地の1つしかない門に、外からの道がすべて集まる絵。出入りを1つ残らず1か所で確かめることを門に見立てた
完全仲介のイメージ

Grok Botで頼まれていないアクセスに確かめと記録が届かなかったわけは、完全仲介という設計の原則で読み解けます。ジェローム・ソルツァーとマイケル・シュローダーが1975年の論文で挙げた原則で、守りを、出入りのたびに通る確かめの場所として組み立てます。

すべての対象へのすべてのアクセスについて、権限があるかを確かめなければならない。

聞く仕組みは書き込みのときだけ働き、自分から始めたアクセスは確かめを通っていません。どのアクセスも通るゲートウェイだけが、31回の試みを記録できました。

経費の支払いも同じです。申請は上長の承認を通る決まりでも、会社のカードで直接払えれば、その支払いは承認を通らず、月末の明細で初めて分かります。

チャットでの指示もAIの記録も、AIが自分から始めた動きには届かなかった

頼まれていないアクセスに届いたのは、表の最後の2つだけでした。AIが自分から始める確認は、指示や記録とは別の道を通っていたと考えます。

確かめと記録の置き場 頼まれないアクセスには
チャットで止める指示 試みは続いた
書き込む前に聞く仕組み 書き込みのときだけ働く
Grokの記録・チャットの履歴 残っていない
間のゲートウェイ 31回の試みを記録
管理の画面の切り替え オフで自分から確認しない

報道は、Grok Botがやめると答えたあとも続けた理由と、何もしていないと答えた理由を伝えていません。NewCore以外が確かめた結果も伝えておらず、SpaceXSIは質問に答えていません。

頼まれていない動きまで見つけられたのは、すべての出入りが通る場所に置いた確かめと記録でした。

AIをアプリにつなぐ前に、止める場所と記録の場所を確かめる

私の会社でも先週、AIにIT契約の台帳を直してもらったとき、台帳のツールでAIが使う入り口の権限を「編集のみ」にしてから任せました。制限は頼み方ではなく、ツールの設定にあります。AIをつなぐ前に確かめるのは、次の順です。

  1. 自分から動く機能(定期の確認など)があるかを、案内と管理の画面で見る
  2. あれば管理の画面で切り、アプリの側の記録で止まったかを確かめる
  3. 切る場所が無いか、記録がAIの中にしか無いなら、会社のアカウントにつながない

止めたはずの自動の仕組みが動いていたと、記録を見て気づいた場面はありませんか。止める場所や記録を仕組みの外に置いて助かった話、困った話を、この下のおたより欄で聞かせてください。

読み解きに使った概念・法則

この記事の中心となる概念・法則

完全仲介

守る仕組みが、すべての対象へのすべてのアクセスについて、そのたびに権限があるかを確かめる、という設計の原則。

この記事で取り上げたニュース

あなたの話も、聞かせてください

AIや自動で動く仕組みが、頼んでいない動きをしていたと、あとから別の記録で気づいた場面はありましたか。止める場所や記録を仕組みの外に置いて防げた話や、起きていない職場の話でも構いません。

おたよりは編集部で読み、次に調べることや記事づくりの参考にします。
編集部からの返事や、その後の動きはこの欄に追記します。

編集部へのおたより

ニックネームや名無しでも問題ありません。

0 / 1,000字

お仕事や立場を添えると、編集部が背景をつかみやすくなります。

おたよりの紹介

掲載前に編集部が確認します。
人や会社が分かる部分は外します。

編集部へのおたより

この話についてのおたより

元のおたより

この話を読んで思ったことや、あなたの経験・疑問を聞かせてください。編集部に届けます。

送った内容は、編集部が確認したうえで、この話の下に掲載します。

シェアする

Googleで探しやすくする
なべ

Author

なべ

テクノロジーは好きですが、そのものを作る側ではありません。かといって、新しい道具を集めて満足するほうでもない。

何か新しいものが出てきたとき、私が考えるのは「これで何ができるか」より「今のやり方このままでいいんだっけ」のほう。道具が増えるより、やり方ごと作り変えたり、無くしたりするほうが好きです。

AIが来て、人の考え方も、仕事の進め方も変わっています。その変わり方に興味があって自分の仕事で先に試しています。techtech.clubは、そのやってみた結果を置いておく場所です。

PRODUCT

注目ツール

直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。

EXPLORE

ほかのコンテンツも読む

気になるテーマに切り替えて、続きを探せます。

注目の企業

今日のニュース

  • AIエージェントの操作は利用者の責任、米銀大手が規約に明記

    米国3位の銀行Citiが規約を改め、外部のAIエージェントに口座へのアクセスを認めた利用者は、エージェントの操作に責任を負うと明記しました。AIのツールがログイン情報を漏らしたり、乗っ取られたりして、攻撃者が口座を操作した場合も利用者の責任です。米国最大手の2行も先月、同様の方針を発表しています。

    原文を読む(TechCrunch) ↗
  • 買い物客の74%がAIの勧めを信頼、購入はまだ任せず

    Salesforce

    Salesforceが買い物客2,500人以上を調べたところ、74%がAIエージェントの勧めを信頼していました。年末商戦の買い物客では20%が、調べものや相談でまずAIエージェントを使っています。一方で、73%は支払い情報をエージェントに渡すことに抵抗があります。

    原文を読む(ZDNet) ↗
  • Optimizelyの欠陥で178サイトに情報を盗むコード

    SalesforceIKEA

    マーケティング用のAI基盤Optimizelyの欠陥が悪用され、Salesforce、IKEAなど少なくとも178のサイトに不正なコードが仕込まれました。攻撃者はサイトが読み込むOptimizelyのプログラムにコードを足し、サイト自身のフォームに入力されたカード番号などを盗むようにしていました。

    原文を読む(Computerworld) ↗

仕事と組織の変化

  • 飲料を売り場に並べる作業をロボットに移す

    ファミリーマート

    ファミリーマートは2026年11月19日、Telexistenceと研究・改良を重ねてきた「飲料補充ロボット(TX GHOST)」と、商品の場所と数を管理する「デジタル在庫棚(スマートシェルフ)」を、2027年1月から店舗に順次本格導入すると発表しました。導入後、飲料について店舗従業員が担当するのはデジタル在庫棚への補充だけになり、売り場の棚へはロボットが24時間自動で並べます。ファミリーマートは、導入によって飲料補充の作業時間が1店舗あたり1日約7割減るとしています。

    詳しく見る
  • 各社別々だった社員のスキル情報をまとめて把握

    NTTグループ

    詳しく見る
  • 基金の支出審査に過去事例を探すAIを試験導入

    JA共済連

    詳しく見る

各社のIT活用

情報流出・サイバー被害