Инсайдеры: алгоритмы соцсетей намеренно продвигают токсичный контент ради прибыли

Десятки бывших сотрудников Meta* и TikTok передали журналистам внутренние документы и скриншоты корпоративных систем, которые рисуют картину, кардинально расходящуюся с публичными заявлениями компаний о безопасности своих платформ.

Как сообщает Mint, рекомендательные алгоритмы социальных сетей устроены таким образом, что намеренно продвигают контент, вызывающий злость, возмущение и тревогу, поскольку именно такие эмоции удерживают внимание пользователей лучше всего.

Согласно внутренним материалам, технически рекомендательный алгоритм не анализирует тексты и не просматривает видео — для него каждая публикация представляет собой просто числовой идентификатор. Система отслеживает лишь одно: как долго пользователь остается на конкретной публикации и реагирует ли он на пост. Поскольку негативные эмоции удерживают внимание эффективнее, чем нейтральный контент, алгоритм делает вывод, что пользователю «нравится» именно такой тип материалов. Один из внутренних документов Facebook* описывает эту логику как «путь, который максимизирует прибыль за счет благополучия аудитории», сообщает Hi-Tech Mail.

Особенно показательной оказалась история запуска формата Reels в Instagram, который был создан в 2020 году в ответ на взрывной рост TikTok. По словам бывшего старшего исследователя компании, продукт вышел без необходимого уровня защиты. Данные внутренних проверок показали, что комментарии в Reels содержали травлю и харассмент на 75 процентов чаще, чем в обычной ленте Instagram, ненависть по признаку группы — на 19 процентов чаще, а призывы к насилию — на 7 процентов чаще. Пока команда безопасности просила выделить хотя бы несколько специалистов по защите детей, на развитие Reels компания наняла 700 человек. Бывший инженер рассказал, что решение убрать ограничения на спорный контент, который юридически оставался легальным, но был вредоносным, принял один из топ-менеджеров, напрямую подчиняющийся Марку Цукербергу. Причина, по его словам, была простой: акции падали, и компании нужно было срочно отыграть 2–3 процента выручки у конкурента.

TikTok, в свою очередь, оказался под отдельным ударом критики из-за системы приоритизации жалоб. Бывший сотрудник команды модерации показал журналистам внутреннюю систему, в которой политические кейсы получают более высокий приоритет, чем реальные угрозы в адрес обычных пользователей. В одном из случаев политик, которого в ролике сравнили с курицей, получил более срочный статус обработки, чем две реальные жертвы: 17-летняя девушка из Франции, которую преследовали и выдавали себя за нее, и 16-летняя из Ирака, чьи фото для взрослых распространялись по платформе. По словам инсайдера, такая логика объясняется просто: компания боится регуляторных угроз и дорожит отношениями с властью больше, чем безопасностью пользователей.

Оба случая описывают одну и ту же модель поведения социальных сетей. Алгоритмы заточены под вовлеченность, которая лучше всего работает на негативе, а негативный контент оказывается наиболее выгодным финансово. Инструменты, которые платформы предлагают для фильтрации нежелательного контента, подростки называют нерабочими. Британские аналитики фиксируют рост «нормализации» антисемитских, расистских и насильственных материалов в лентах соцсетей, при этом пользователи все меньше реагируют на жесткий контент как на что-то из ряда вон выходящее.

На этом фоне бывший сотрудник TikTok по модерации контента советует родителям удалить приложение с телефона ребенка прямо сейчас, не дожидаясь каких-либо официальных решений со стороны платформы или регуляторов.

*Деятельность компании Meta и ее продуктов (Facebook, Instagram) признана в России экстремистской и запрещена.