自己改善AI

自己改善するAIエージェントはテスト課題を記憶してしまい、未知の課題では性能向上が消える傾向がある。Google研究者の新手法「RRSI」はこの記憶効果を抑え、スコアを引き上げると報告。AI学習の信頼性を高める研究として注目される。

ヒントン氏らAI研究者20人以上が、自己改善するAIが引き起こす「知能爆発」の危険を警告する論文を発表した。AI研究開発の自動化が進めば、通常何年もかかる進歩が数ヶ月で起きる可能性があり、人類の制御を超える恐れがあると訴え、政策立案者にAI研究自動化の可視性向上を求めている。

Google DeepMindの新手法「Dream-RSI」は、AIエージェントが過去の検索実行記録を再現し、計算コストのかかる再実行なしに新戦略を試すことを可能にする。性能は既存手法と同等以上で、学習コストを大幅に削減。エージェント自己改善の新たな道を示す。

Anthropicは、自社のAI研究開発の26%をAIチャットボットのClaudeが主導していると公表した。これはAI開発の進捗を測る3指標の1つで、「主導」は高レベルの指示からタスクの大部分を完了し、人間が監督する状態を指す。

Anthropicの研究者が「制御不能なAI」への懸念を理由に辞職した。社内では、競争が各社を自己改善型モデルの開発競争へ駆り立て、人間の制御を超えて暴走するリスクへの警戒が広がっているという。AIラボ内部の緊張を報じた記事。

Anthropicの研究者らが発表した論文によると、望ましくない行動を対象にした10のベンチマークで、自動化システムが全体の性能を落とさず全項目を改善できたという。最良の手法は人間の研究者の提案を上回る成果も出しており、再帰的な自己改善に向けた初期の証拠として注目される。