В прошлый вторник Microsoft выпустила патч для серьезной уязвимости в своей AI-платформе M365 Copilot, которую она классифицировала как критически опасную. Эта уязвимость, обнаруженная исследователями до выхода патча, позволяла потенциальным злоумышленникам получать доступ к кодам двухфакторной аутентификации (2FA) и другой конфиденциальной информации из электронных писем, к которым имел доступ Copilot.
Основная проблема заключается в неспособности AI эффективно различать подлинные инструкции от пользователей и вредоносные запросы, скрытые в контенте третьих сторон. Этот недостаток представляет собой серьезную задачу для Microsoft и других поставщиков больших языковых моделей (LLM), так как они пытаются создать защитные меры против таких типов вредоносных атак. Без эффективного способа обеспечить критическую границу между пользовательским вводом и внешним контентом компании вынуждены внедрять сложные и часто временные меры защиты для снижения рисков, связанных с этой уязвимостью.
Среди различных мер безопасности, Copilot и многие другие LLM имеют ограничения, которые не позволяют им выполнять веб-формы или отправлять электронные письма — действия, которые могут быть использованы для извлечения данных пользователей. Однако хакеры нашли способы обойти эти ограничения, используя язык разметки, который позволяет добавлять элементы форматирования к тексту без необходимости в традиционных HTML-тегах. Другой тактикой является встраивание конфиденциальной информации в HTML-теги, такие как <img> или <form>. В результате, когда веб-запрос с этими данными отправляется, он направляется на сервер злоумышленника, где информация может быть зафиксирована и захвачена. Эта продолжающаяся проблема подчеркивает сложности обеспечения безопасности AI-систем от эксплуатации, акцентируя внимание на необходимости надежных защитных мер в технологиях AI.
