Агенты ИИ становятся умнее… но вместе с этим растут и риски.Исследователи из UC Berkeley, Seoul National University и UC Santa Barbara опубликовали масштабный обзор безопасности агентных AI-систем (SoK: Attack and Defense Landscape of Agentic AI Systems).
Авторы выделяют 7 ключевых аспектов, от которых зависит безопасность AI-агента:
• доверие к входным данным;
• доступ к конфиденциальной информации;
• динамические рабочие процессы;
• возможность выполнять действия;
• долговременная память;
• использование инструментов (MCP, API и др.);
• пользовательский интерфейс.
Исследование также описывает основные угрозы:
Prompt Injection (прямой и косвенный); отравление памяти (Memory Poisoning); вредоносные инструменты (Tool Poisoning); утечки конфиденциальных данных; выполнение несанкционированных действий; атаки через галлюцинации LLM; DoS и чрезмерное потребление ресурсов. Для защиты авторы рекомендуют применять многоуровневую архитектуру безопасности:
Input/Output Guardrails; контроль потоков данных (Information Flow Control); мониторинг поведения агентов; Human-in-the-Loop для опасных операций; разделение привилегий; управление доступом и учетными данными; усиление защиты моделей и инструментов. Если вы разрабатываете AI-агентов или интегрируете MCP, внешние API и RAG, эта работа - один из самых полных обзоров современных угроз и методов защиты.