AIエージェントは、指示を受けて、パソコンやサーバーの操作まで自分で進めるAIです。スウェーデンでは、番組の制作会社がこれをサーバーに入れた後、放送前の1シーズン分のファイルが消えたと報じられました。初回は11月22日の予定でしたが、ファイルは戻せず、一から編集し直します。
この記事の要点
- スウェーデンの番組で、放送前の1シーズン分のファイルが消えた
- 現地紙はAIを入れた後と報じ、局は動かなかったバックアップを問題にした
- 危険は、何枚もの守りの穴が一列にそろったときだけ最後まで届く
- AIに触らせる前に、その場所を元に戻せるかを試しておく
損の大きさを決めるのは、誰が消したかより戻せるか。左の箱の消えたきっかけをAIエージェントから人の要因に替えても、真ん中のバックアップの壁に穴があるあいだはオレンジの線が右の編集した1シーズン分まで届いて四角は空のまま。穴をふさぐとオレンジの線は壁で止まり、四角が残る模型。模型です。左の箱の2つの見方は、Futurismが伝えた現地紙Aftonbladetの情報源と、TV4の番組責任者の説明です。戻せた場合は報道に無い仮の状態で、四角の数は数値ではありません。
放送前の1シーズン分が消え、一から編集し直す
Futurismによると、スウェーデンの新聞Aftonbladetが、番組『The Challenge Sverige』の放送前の1シーズン分を、AIエージェントが消したとみられると報じました。初回は11月22日の予定でした。
同紙の情報源によると、制作会社のMastiffがAIエージェントをサーバーに入れた後に消えました。同紙は、ファイルを戻せる見込みは無いと伝えられ、制作会社は一からシーズンを編集し直します。
| 誰が | 何と言っているか |
|---|---|
| TV4（放送する局） | 「技術的な故障」のあと、初回を来年に延ばす。AIのせいかは聞いていない |
| TV4の番組責任者 | 独立して動いたAIエージェントではない。大きな問題はバックアップが動かなかったこと |
| Futurism | 人の要因でAIではないという説明は、AIの関与を否定しきってはいない |
Futurismは、1年分の仕事が無駄になり、数百人で作り直すと書いています。番組責任者は、元の素材は残っているので問題は無いものの、時間は失うとも述べています。
消したのがAIでも人でも、なぜ1年分の仕事が戻らないのか
スマホを落として画面が割れても、写真のバックアップを別の場所に取ってあれば、失うのは画面だけです。バックアップが無ければ、写真ごと失います。失うものの大きさは、落とし方より、バックアップがあったかで決まります。
Futurismの見出しは、AIエージェントが1シーズン分を消したと責められた、という書き方です。ところが番組責任者が大きな問題に挙げたのは、バックアップが動かなかったことです。消したのがAIか人かを決めても、なぜ1年分の仕事は戻らないのか。
事故を防ぐ守りを何枚重ねても、穴がそろえば突き抜ける
今回は、ファイルが消えたことに、バックアップが動かなかったことが重なりました。小さな失敗が重なって大きな事故になる流れを説明する考え方に、James Reasonが唱えたスイスチーズモデルがあります。
スイスチーズは、切り口に穴がいくつもあいたチーズです。人の確認、機械の安全装置、決まった手順のような事故を防ぐ守りを、このチーズの薄切りに見立てて、何枚も並べます。
どの守りにも穴があります。1枚の穴だけでは、ふつう悪い結果になりません。いくつもの層の穴が一時的に一列にそろったとき、事故の通り道ができます（Reason、BMJ、2000年）。
Reasonは穴の出どころを2つに分けました。目の前で仕組みを扱う人の誤りと、設計や管理の判断が仕組みに残す弱さです。後の弱さは長く気づかれずに残っていることがあり、事故の前に見つけて直せるとしています。
このニュースに当てはめると、守りは少なくとも2枚あります。1枚目は、サーバーのファイルを消させない守りです。2枚目は、消えても元に戻すためのバックアップです。今回は2枚とも穴があいていたので、消えたファイルが戻りませんでした。
Reasonは、人を責めるほうが、組織を問うより気持ちの上で満足しやすいとも書いています。消したのがAIか人かに話が集まるのも、そのためだと考えます。
ファイルが消えたことと、戻せなかったことは別々の失敗
報道は、AIエージェントがサーバーで何をしたのかも、バックアップがいつから、なぜ動かなかったのかも伝えていません。そのうえで番組責任者の説明に照らすと、損は次の順で大きくなったと考えます。
- サーバーから、1シーズン分のファイルが消える
- 元に戻すためのバックアップも動かない
- 素材は残るが、編集は一からやり直す
- 初回の放送が来年にずれる
AIか人かの議論は、1つ目の、ファイルが消えたきっかけを誰が作ったかの話です。それが決まっても、2つ目の、動かなかったバックアップは直りません。番組責任者の説明に従えば、作り直しを招いたのは、誰が消したかではなく、動かなかったバックアップです。
AIにファイルを触らせる前に、元に戻せるかを試しておく
私の会社では、10月にこのサイトのページ整理をAIに回す仕組みを直したとき、消し方の決まりを見直しました。ページは30日は戻せるゴミ箱へ移し、取り消しのきかない分類用の言葉を消すときだけ、私が管理画面で行います。
AIの受け持ちは、その手前の付け替えと、使われている数が0かの確認までです。AIに任せるか迷う前に、戻せるかどうかを先に確かめます。AIに触らせる場所ごとに、次の順で決めます。
- AIに触らせるフォルダやサイトを書き出す
- 1つずつ、バックアップから昨日の状態に実際に戻してみる
- 戻せて、バックアップがAIの触れられない所にあれば任せる
- どちらかが欠けるなら、写しを渡すか、消す操作を人に残す
読み解きに使った概念・法則
スイスチーズモデル
事故を防ぐ守りを、穴のあいたスイスチーズの薄切りを何枚も重ねたものに見立てる考え方。
この記事で取り上げたニュース
同じ概念・法則で読める記事
慣れた人が補ってきたデータの食い違いは、AIで表に出る
なぜ？仕組みごとの台数の食い違いは前からあり、慣れた担当者が補ってきたのに、なぜAIを入れると、その食い違いがすぐに表に出るのか
この記事からわかることAIに任せる仕事を1つ選んで読むデータの置き場を並べ、慣れた人がどれを信じて何を補っているかを聞き、補っていればAIに渡す前にデータを直すか正とする置き場を決め、AIが見つけた食い違いは直すか残すかを人が決める
AIが当たり続けるほど、人が引き継げるかは見えなくなる
なぜ？AIの案を覆す権限と結果の責任は人に残るのに、AIがうまく動くほど、なぜ人の衰えを確かめる手がかりまで消えていくのか
この記事からわかることAIの案を覆す回数で人の判断力を測らず、AIが外れたら人が決め直す前提の判断だけ、ときどきAIの案を見る前に人が先に決めて突き合わせる
シェアする
Googleで探しやすくする
関連記事
PRODUCT
注目ツール
直近、ニュースや活用事例、techtech.clubの記事などから話題のITツールを厳選しています。
