Anthropicは、AIエージェントがアイデアの提案から実験の設計・実行・評価までを自律的に反復する「Weak-to-Strong Supervision（弱から強への監督）」研究を発表し、このエージェントが人間の研究者のパフォーマンスを上回ったと報告しました。AIがAI自身の安全性を研究するという構図が実用段階に入りつつあることを示す成果として、AI安全性コミュニティに衝撃を与えています。
Weak-to-Strong Supervisionとは、能力の低いモデルが能力の高いモデルを監督・評価する際にどれだけ有効に機能するかを研究する分野です。将来的に人間の能力を超えたAIシステムを人間が適切に監督するための理論的基盤となる研究です。Anthropicのエージェントは、仮説の生成・実験プランの立案・コードの実行・結果の解釈・次の仮説への反映というサイクルを人間の介入なしに回し続け、同じ課題に取り組んだ人間の研究チームよりも多くの知見を短期間で導出したとされています。
X（旧Twitter）では「AIが自分自身の安全性を研究し始めた」という構図に対し、AIセーフティコミュニティから驚きと警戒が混在した反応が上がっています。r/MachineLearningでは「この研究が示す意味は加速する自己改善ループへの第一歩か」という議論が熱を帯びており、Hacker Newsでは「人間の研究者より優秀なAIが安全性研究をするというのは希望か皮肉か」というコメントが多数の共感を集めました。AIが自分自身をより安全にする方法を人間より速く発見できるとすれば、それは理想的なシナリオにも見えますが、研究の方向性や判断基準をAI自身が決めることへの懸念も根強くあります。
この研究は、AGI（汎用人工知能）に向けた開発加速が続く中でも、安全性研究にAIを活用することで研究速度が人間だけでは到底追いつけないペースに到達できる可能性を示しています。一方、AI主導の安全性研究がどこまで信頼できるか、研究の目標設定や評価基準の妥当性を誰が担保するかという問題は未解決のまま残っています。人間の監督体制を整備しながらこの能力をいかに活用するかが、今後の焦点になりそうです。