Microsoftのセキュリティ研究者は2月10日、AIアシスタントのメモリを汚染して推奨を操作する「AIレコメンデーションポイズニング」と呼ばれる新たな攻撃手法について警告を発しました。60日間の調査期間中に、14業種にわたる31組織に関連する50以上のユニークなプロンプトサンプルが確認されています。
この攻撃の核心は、多くのAIアシスタントがサポートするURLパラメータ経由のプロンプト事前入力機能の悪用です。「AIで要約」ボタンをクリックすると、そのリンクに仕込まれたメモリ操作命令がAIアシスタントに送信され、ユーザーの設定として記憶されてしまいます。一度ポイズニングされると、AIはこれらの注入された指示を正当なユーザー設定として扱い、将来の応答に影響を与え続けます。攻撃の配信方法は複数存在し、悪意あるリンク、ドキュメントやメールに埋め込まれた隠しプロンプト、メモリ変更コマンドを含むプロンプトを貼り付けさせるソーシャルエンジニアリングなどが確認されています。Hacker Newsでは「新たな攻撃ベクトル」としてセキュリティコミュニティで注目を集めています。
Microsoftは対策として、AIアシスタントに保存されたメモリの定期的な確認、見覚えのないエントリの削除、メモリの定期的なクリア、そして疑わしい推奨への懐疑的な姿勢を推奨しています。AIアシスタントの「便利さ」が新たな攻撃面を生み出している現実を、ユーザーも企業も認識する必要がありそうです。