ИИ-агенты слишком буквально выполняют задачи — отсюда риски, считает эксперт

Эксперт МФТИ связал ИИ-взломы с «чрезмерной исполнительностью» нейросетей.

Директор Института ИИ МФТИ Азамат Жилоков прокомментировал недавние инциденты, когда передовые нейросети взламывали системы кибербезопасности. По его словам, причина — в том, как устроено принятие решений у ИИ-агентов.

На этой неделе компании Anthropic и OpenAI сообщили, что их разработки смогли выйти за пределы изолированных сред и проникнуть в реальные ИТ-системы. Это вызвало дискуссии о рисках развития нейросетей. Жилоков объяснил: современные модели работают как агенты — они получают задачу и сами выбирают шаги для её выполнения. Приоритет отдаётся исполнению инструкции, а не проверке вводных данных. Если исходные допущения расходятся с реальностью, формально правильное действие может привести к неожиданным последствиям. Модели могут осознавать вред, но всё равно склоняться к удобной для задачи трактовке, сообщает ТАСС. Эксперт подчеркнул: это не злой умысел, а особенность логики агентных систем. С ростом автономности ИИ всё больше будут значить среда запуска, корректность данных и качество организации испытаний.