脆弱性
Decepticon が Web クロールなどで収集した外部データを LLM コンテキストに組み込む際、ChatML 等の特殊トークンを適切に無害化していない脆弱性が存在する。攻撃者が管理する Web ページに特定のトークン(<|im_start|>system 等)を配置しておくことで、モデルに対して「システムからの正当な命令」であると誤認させることが可能となる。これにより、エージェントのガードレールを完全に回避し、バックエンドの推論エンジンを介してサンドボックス環境内で任意のコマンドを実行される恐れがある。特に vLLM や Ollama 等の特殊トークンをフィルタリングしない推論エンジンを使用している場合に影響を受ける。
対象ソフト
レッドチーム(攻撃側)活動を自動化する自律型エージェントフレームワーク。LLMを用いてWeb偵察や脆弱性攻撃を遂行するソフトウェア。
影響
攻撃者によりエージェントの動作を制御され、エージェントが動作する Kali Linux サンドボックス環境内で任意のシェルコマンドを実行される。
対応策
1.1.17 以降にアップグレードすること。