Исследователи из России разработали подход, который позволяет переносить глубокие семантические знания из больших языковых моделей в компактные рекомендательные системы.
Как сообщила ТАСС пресс-служба Сбербанка, это позволило повысить точность рекомендаций на 5,6 процента, сохранив при этом высокую скорость работы.
Существующие рекомендательные системы хорошо улавливают временные цепочки действий пользователя, но хуже понимают его истинные предпочтения, особенно когда данных о человеке мало. С этой задачей отлично справляются большие языковые модели, однако они требуют огромного количества времени и вычислительных ресурсов.
Директор Центра практического искусственного интеллекта Сбербанка Николай Тиден пояснил, что использовать большие языковые модели напрямую в рекомендательных сервисах — всё равно что приглашать профессора лингвистики для ответа на каждый вопрос в чате. Разработанный подход берёт у «профессора» самое ценное — понимание глубинных мотивов пользователя — и передаёт это быстрому и лёгкому «ассистенту».
Российские учёные объединили плюсы легковесных рекомендательных систем и больших языковых моделей с помощью разработанного ими варианта дистилляции знаний. На этапе обучения по истории взаимодействий и текстовым метаданным формируется профиль пользователя, который затем превращается в вектор. С ним выравниваются внутренние представления самой рекомендательной модели, и когда система выдаёт рекомендации реальному человеку, ресурсоёмкая большая языковая модель уже не требуется.
Проверки показали, что точность рекомендаций повысилась примерно на 5,6 процента, а новый алгоритм реагирует на запросы примерно в 190 раз быстрее, чем система на базе больших языковых моделей. Учёные подытожили, что новый метод переноса знаний поможет компаниям повышать качество рекомендаций без необходимости поддерживать работу тяжёлой большой языковой модели.
