В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов

Эксперты Сбера на конференции OFFZONE 2026 представили результаты собственного исследования безопасности саморазвивающихся агентов. Исследование базируется на обновленной версии Модели угроз кибербезопасности AI Сбера.

Исследование показало, что безопасность используемой AI-модели не всегда означает безопасность самих AI-агентов. Существуют угрозы, которые необходимо устранять на уровне агентных систем. Те государственные и частные организации, которые не будут уделять должное внимание этому вопросу, в ближайшем будущем рискуют столкнуться с проблемами в сфере кибербезопасности.

По словам представителя Сбера, самоэволюция или саморазвитие подразумевает способность агента самостоятельно обновлять память, навыки и код, используя собственные инструменты для выполнения поставленной цели. Главное — отделить полезное изменение от неконтролируемого и потенциально вредного. Таким образом, агенты становятся более функциональными, а за людьми остаются контроль и ответственность. Именно поэтому ключевое внимание необходимо уделять вопросам кибербезопасности.

Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:

- строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя;

- разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности;

- независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента;

- корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей;

- использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.

Исследование базируется на обновленной версии Модели угроз кибербезопасности AI Сбера, которая систематизирует 37 угроз и 51 способ их реализации, включая риски, связанные с GenAI, AI-агентами и мультиагентными системами. Модель опубликована на портале «Кибрарий» и свободно доступна всем российским государственным и частным организациям. Предоставление публичного доступа к ней – вклад Сбера в кибербезопасность всей страны.