Исследование: чат-боты дают проблематичные медицинские советы в половине случаев

Международная группа учёных оценила работу пяти популярных чат-ботов — ChatGPT, Grok, Gemini, DeepSeek и Meta AI (принадлежит компании Meta*, признанной в России экстремистской).

Как сообщается в статье, опубликованной в журнале BMJ Open, почти половина ответов оказались сомнительного качества.

Каждому из чат-ботов задали по 10 открытых вопросов на пять медицинских тем. Затем два эксперта распределили ответы по трём категориям: «не вызывающий вопросов», «сомнительный» и «крайне проблематичный». В общей сложности было задано 250 вопросов, и лишь на два из них учёные не получили ответа — оба раза отказался отвечать чат-бот Meta AI. Доля отказов составила всего 0,8 процента.

Почти половина ответов (49,6 процента) были признаны проблематичными: 30 процентов — сомнительными до некоторой степени, а 19,6 процента — крайне проблематичными. При этом качество ответов среди чат-ботов существенно не различалось, однако Grok генерировал значительно больше проблематичных ответов, чем можно было бы ожидать при случайном распределении. Авторы исследования также отметили, что чат-боты выдавали свои ответы уверенно и без сомнений, сообщает ТАСС.

Учёные пришли к выводу, что проверенные чат-боты показали слабые результаты при ответах на вопросы о здоровье и медицине — областях, особенно уязвимых для распространения ложных сведений. Продолжение использования чат-ботов без просветительских кампаний и контроля рискует привести к более широкому распространению недостоверной информации.