В МГППУ нашли способ отличить правду от вымысла в ответах ИИ

В России создали алгоритмы для выявления «галлюцинаций» у нейросетей.

Специалисты Московского государственного психолого-педагогического университета разработали алгоритмы и программное обеспечение, которые помогают обнаруживать у больших языковых моделей так называемые галлюцинации — правдоподобные, но на самом деле ложные ответы. Об этом сообщили в пресс-службе вуза.

Авторы предложили использовать два алгоритма. Первый занимается подбором запроса, второй — оценивает, насколько утверждение, сгенерированное нейросетью, можно считать правдоподобным.

В основе нового метода лежит представление запросов и ответов в виде элементов специальных метрических пространств. В них расстояние между текстами определяется через семантическое сходство — то есть насколько близки смыслы высказываний. Количественная оценка этой близости позволяет формализовать анализ и применять к текстам методы статистики.

Как пояснили в МГППУ, разработка автоматизирует часть работы промпт-инженеров и позволяет проверять корректность ответов интеллектуальных ассистентов без ручного перебора вариантов, сообщает ТАСС.

Полученные результаты могут быть полезны программистам и математикам, которые работают с большими языковыми моделями и стремятся повысить достоверность их ответов.