AIが作った「教育動画」が子どもに交通事故を教える——誰がこの品質を止めるのか

エルサゲートから10年、構造は変わったか

2016年のエルサゲート騒動を覚えているだろうか。エルサやスパイダーマンのコスプレをした人間が不穏な行動をする動画が子どもに推薦され、YouTubeはモデレーション体制を強化した。2019年には子ども視聴者のデータを無断収集していたCOPPA違反で約185億円のFTC和解金を支払い、子ども向けチャンネルの運用ルールも改められた。だが10年経った今、問題の構造は解決されていない。むしろ悪化している。

エルサゲートの時代、問題動画の制作には人間の労力が必要だった。撮影し、編集し、アップロードする。その工程がボトルネックとなり、問題の規模には上限があった。AIがその工程を自動化した今、ボトルネックは消えた。1チャンネルが7ヶ月で10,000本を量産できる世界では、プラットフォーム側の審査能力が追いつかないのは構造的な必然だ。

「リアリスティックでなければラベル不要」という抜け穴

YouTubeのAIコンテンツポリシーには、見落とされがちな設計上の穴がある。AIで作成されたコンテンツに開示ラベルが必要になるのは、そのコンテンツが「リアリスティック」に見える場合に限られる。カラフルなアニメ風の子ども向け動画——まさに今回問題になっているコンテンツの大半——は、この基準を満たさない。

つまり、最もAI生成率が高く、最も判断力のない視聴者に届くコンテンツが、ラベリングの対象外に置かれている。ポリシーの設計意図は「ディープフェイク対策」にあったはずだが、結果として子ども向けコンテンツという最も脆弱な領域が盲点になった。

セサミストリート20年分を7ヶ月で超える意味

テンプル大学教授でブルッキングス研究所シニアフェローのKathy Hirsh-Pasekは「怪物的な問題の始まりにいる」と警告する。この「怪物」の正体は、コンテンツの質ではなく量にある。

セサミストリートの3,900本は、児童発達の専門家、教育者、脚本家が20年かけて積み上げたものだ。一方、AI生成チャンネルの10,000本は、教育的知見を持たない運営者が収益化を目的に量産したものだ。質の違いは明白だが、YouTubeのアルゴリズムは両者を同じ「子ども向け教育コンテンツ」として扱う。昨日配信した記事で「AI slop」の拒絶構造を取り上げたが、ゲーマーには「拒絶する」選択肢があった。3歳児にはない。

品質管理の空白地帯は「設計」されている

The 74の報道を受けてYouTubeが措置を取ったのは7チャンネルだった。うち停止は2つ。この数字が示しているのは、報道がなければ措置は取られなかったということだ。プラットフォームの自浄作用は、外部からの告発に依存している。

以前取り上げたAIおもちゃの調査では、物理的安全基準はあっても「心理的安全性」の基準がないことが問題だった。YouTube上のAI教育動画にも同じ構造がある。「有害コンテンツの除去」という事後対応の仕組みはあるが、「教育コンテンツの品質担保」という事前の仕組みは存在しない。品質管理の不在は事故ではなく、プラットフォームのビジネスモデルが生んだ構造的な帰結だ。