Эксперты: Google выдаёт миллион ошибочных ответов в минуту

Каждый раз, когда пользователь вбивает запрос в Google, система всё чаще выдаёт не список сайтов, а готовый ответ — сформулированный искусственным интеллектом блок текста вверху страницы.

Google называет это AI Overviews. Звучит удобно, но проблема в огромном количестве ошибок, сообщает The New York Times.

Стартап Oumi по заказу NYT протестировал точность этих ответов с помощью отраслевого теста SimpleQA, который включал 4326 реальных запросов в два раунда. Осенью 2024 года система ошибалась в 15 процентах случаев. После обновления до модели Gemini 3 ошибок стало меньше — 9 процентов. Но Google обрабатывает свыше пяти триллионов запросов в год. Девять процентов от этого числа — это миллион ошибок каждую минуту.

Исследователи отдельно посчитали «неподкреплённые» ответы — те, где ИИ ссылается на источник, который на самом деле не содержит нужной информации. У Gemini 2 таких было 37 процентов от верных ответов, а у Gemini 3 — 56 процентов. То есть даже когда Google прав, проверить это по его же ссылкам зачастую невозможно.

Вот несколько примеров. На запрос о том, когда дом Боба Марли превратили в музей, Google ответил: в 1987 году. Реальная дата открытия — 11 мая 1986 года. Один из источников — Википедия, которая сама себе противоречила и называла оба года, а ИИ выбрал неверный вариант. На вопрос о реке у западной границы города Голдсборо ИИ назвал реку Нус. Технически она есть в том районе, но западную границу города образует другая река — Литтл-Ривер, приток Нус. Google нашёл верный источник и сделал из него неверный вывод.

Бывает, что ИИ находит правильный сайт, читает его — и всё равно отвечает неверно. На запрос о включении виолончелиста Йо-Йо Ма в Зал славы классической музыки система открыла страницу организации, где он числится среди 165 лауреатов, и написала, что никакого Зала славы не существует. Любой автор блога может написать пост, где объявит себя мировым экспертом в чём угодно. Google проиндексирует текст и воспримет его как факт. Журналист BBC проверил это на практике: опубликовал выдуманные итоги несуществующего чемпионата по поеданию хот-догов, и уже на следующий день Google выдавал его как победителя реального соревнования.

Google признаёт, что ошибки случаются, и под каждым блоком AI Overview мелким шрифтом указано: «ИИ может ошибаться — проверяйте ответы». Компания также оспаривает методологию Oumi, указывая на изъяны в самом тесте SimpleQA.