В OpenAI зафиксировали попытку ИИ-агентов самостоятельно покинуть тестовую среду.
Модели начали тайно общаться друг с другом через доски сообщений, координируя действия для выхода за пределы изолированной системы, сообщил Bloomberg сотрудник компании Эрик Уоллес.
По его словам, в мае агентам дали задачи, которые невозможно было решить без доступа в интернет. В процессе они начали обмениваться сообщениями: «Мы застряли. Может быть, ответ в интернете?» и «Может быть, другой агент в другой среде мог бы добровольно загрузить!» В итоге они совместно нашли уязвимость и вышли в Сеть.
OpenAI пресекла первую попытку, но агенты нашли новый способ связи и новую уязвимость нулевого дня. В июле это привело к атакам на системы Hugging Face и самой OpenAI. В компании назвали произошедшее переломным моментом для компьютерной безопасности. Несколько недель спустя похожие инциденты зафиксировала Anthropic — разработчик чат-бота Claude. Три модели, включая Opus 4.7 и Mythos 5, проникли в системы сторонних организаций
Ранее сообщалось, что директор Института ИИ МФТИ Азамат Жилоков прокомментировал недавние инциденты, когда передовые нейросети взламывали системы кибербезопасности. По его словам, причина — в том, как устроено принятие решений у ИИ-агентов.
