Nature誌が発表した新たな調査報告によると、複雑な科学的タスクにおいて人間研究者がAIエージェントを大幅に上回ることが判明しました。自律的に科学ワークフロー(文献調査・仮説立案・実験計画・データ解析の一連の流れ)を実行できるAIエージェントへの期待が高まる中、実際の性能に関して慎重な見方を強める根拠が示された形です。
Natureによると、今回の調査では複数の最先端AIエージェントと熟練した人間研究者に同一の複雑な科学的課題を与え、成果物の質・新規性・実現可能性を第三者が評価する設計を採用しています。AIエージェントが得意とする単純な情報検索や定型的なデータ処理では差が縮まる一方、仮説の独創性、実験条件の設定における細やかな判断、想定外の結果への対応といった非定型的・創造的な部分で人間が明確に優位に立ったといいます。
X(旧Twitter)では「AGIへの期待を冷静に見直す必要がある」という慎重論と、「これはまだ評価手法の問題だ」という擁護論が真っ向から対立し、科学者・研究者の間で大きな話題となっています。r/MachineLearningでは評価方法の妥当性への議論が深まり、AIエージェントが得意とするタスクと不得意とするタスクを明確化する研究提案も相次ぎました。Hacker Newsでは「人間とAIのハイブリッドアプローチこそ最強」という実務的な結論を導く議論が高評価を獲得し、AIエージェントの適切な使用領域を見極める方法についての実践的な議論が展開されています。
今回の調査結果は、AIを「科学者の代替」として位置づける見方に疑問を投げかけるものです。一方で、AIエージェントが人間研究者の生産性を大きく底上げするコパイロット(共同操縦士)として機能する可能性は引き続き高く、「代替」より「協働」というパラダイムの正しさを支持する知見ともとれます。