В России разработали методику, которая избавляет нейросети от «галлюцинаций» — выдуманных фактов

Команда учёных из Университета Решетнева создала методику, позволяющую бороться с недостоверными или полностью выдуманными фактами в ответах нейросетей — так называемыми «галлюцинациями».

Разработка может применяться в образовании, на портале «Госуслуги», в медицине и юриспруденции, сообщили РИА Новости в вузе.

Проблема в том, что нейросети могут с высокой уверенностью выдавать ложную информацию. Для её решения обычно используют RAG-системы (генерация с дополненной выборкой), где нейросеть сначала ищет информацию в базе знаний, а затем формирует ответ. Однако ошибки всё равно случаются из-за опечаток, противоречий в запросе или неполноты базы данных.

Чтобы решить эту задачу, команда под руководством доцента Анастасии Поляковой проанализировала типичные сценарии «галлюцинаций» и создала их классификатор. Затем разработали автоматизированную систему стресс-тестирования: она генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик.

Главным достижением стал прототип модуля мониторинга, работающий в реальном времени. Он логирует все запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности. В случае ошибки или низкой уверенности модуль сигнализирует оператору.

Важное преимущество методики — универсальность. Она не привязана к конкретной нейросети и может использоваться в самых разных сферах: от чат-ботов для абитуриентов до сервисов на «Госуслугах», медицинских и юридических помощников.