Что произошло
Исследователи из AI Now Institute представили новую уязвимость, получившую название Friendly Fire. Эта атака позволяет AI-агентам, которые обычно используются для аудита безопасности кода, вместо этого запускать вредоносные программы. Основная проблема заключается в том, что такие агенты могут выполнять команды без подтверждения со стороны пользователя, что делает их уязвимыми для манипуляций.
Почему это важно
Уязвимость затрагивает автономные режимы работы инструментов, таких как Claude Code и OpenAI Codex, когда они проводят аудит стороннего кода. Злоумышленники могут создать репозиторий с безобидным на первый взгляд README.md, который содержит инструкции для запуска вредоносного скрипта. Это создает серьезную угрозу для разработчиков, поскольку они могут неосознанно позволить AI-агенту выполнять опасные команды на своих системах.
Контекст
Проектирование AI-агентов часто предполагает, что они будут работать в автономном режиме, что позволяет им быстро и эффективно анализировать код. Однако, как показали исследования, этот подход имеет свои недостатки. Уязвимость не ограничивается конкретными версиями программ, а затрагивает архитектурные аспекты, связанные с тем, как AI-агенты обрабатывают недоверенные данные. Исследователи указали, что простое обновление не исправит ситуацию, поскольку необходимо пересмотреть общие принципы работы таких систем.
Что это значит
Для защиты от этой уязвимости разработчики и компании должны рассмотреть возможность ограничения автономии AI-агентов и изоляции среды выполнения. Более строгий контроль над источниками инструкций также может помочь предотвратить злоупотребления. Важно помнить, что не все режимы работы этих инструментов подвержены атаке; обычные режимы с ручным подтверждением действий остаются безопасными. Тем не менее, переход на более безопасные практики станет необходимым шагом для защиты от потенциальных угроз в будущем.
