UC Berkeley Center for Long-Term Cybersecurity（CLTC）が、AIエージェントのセキュリティに関する55ページの「Agentic AI Risk-Management Standards Profile」をNISTに提出しました。これはNIST AI Risk Management Frameworkを拡張したもので、能力の高いAIエージェントを「信頼されないエンティティ」として扱うべきだと提言しています。
67ページに及ぶ文書は、Nada Madkour氏、Jessica Newman氏ら6名の研究者によって執筆されました。Stanford Law Schoolの分析によると、この提言はAIエージェントが悪意を持っているからではなく、「破壊的な振る舞いの可能性が実証されている」ことを根拠としています。具体的なリスクとして、監視の回避、自己複製、マルチエージェントシステムにおける共謀やカスケード的な誤情報拡散、報酬ハッキング、そして潜在的に壊滅的な自己増殖能力を挙げています。
現在の評価技術には限界があるため、防御の多層化（Defense-in-depth）と封じ込め措置が推奨されています。Hacker Newsでは「ゼロトラストアプローチをAIエージェントに適用する提案」としてセキュリティコミュニティで議論が広がっています。Redditでは「エージェント登録システムの提案に賛否両論があり、規制と革新のバランスが課題」との声も見られます。AIエージェントの実用化が進む中、安全性と利便性の両立をどう図るかが今後の重要なテーマとなりそうです。