В России создали ИИ, который проверяет другие нейросети на галлюцинации

Специалисты факультета «Информационные технологии» Московского государственного психолого-педагогического университета разработали систему на основе искусственного интеллекта, способную оценивать достоверность ответов, сгенерированных нейросетями.

Разработка призвана бороться с так называемыми галлюцинациями — ситуациями, когда ИИ выдает правдоподобные, но ложные сведения. Подробности сообщили «Газете.Ru» в вузе.

Несмотря на стремительный рост числа пользователей искусственного интеллекта, проблема выдуманных фактов остается актуальной. Созданная программа подходит к ее решению через оригинальный алгоритм маятника.

Сначала система берет за исходную точку содержательный тезис — он может быть как верным, так и ошибочным. Затем интеллектуальный ассистент последовательно генерирует цепочку высказываний, в которой каждое новое утверждение строго опровергает предыдущее, сохраняя при этом предметную область и ключевые понятия. В итоге формируются два массива текстов: один поддерживает исходный тезис, другой — его отрицание. На завершающем этапе проводится анализ смысловой согласованности внутри каждого множества.

Авторы разработки исходят из предположения, что более согласованным окажется тот массив формулировок, который соответствует содержательно корректной позиции. Особую ценность система представляет для гуманитарных дисциплин, где многие понятия размыты и зависят от контекста. В таких областях прямое доказательство истинности затруднено, и структурный анализ согласованных и противоречивых утверждений становится эффективным инструментом проверки достоверности.