Специалисты Института искусственного интеллекта AIRI, «Иннополиса», МТУСИ, НИУ ВШЭ и МГУ разработали систему искусственного интеллекта, которая способна качественно переводить устную речь математиков в текстовые математические формулы.
Как сообщила пресс-служба AIRI, на выходе система выдаёт структурированный текст в формате LaTeX — стандарте, широко используемом в научных статьях, учебных материалах и цифровых редакторах.
Модель обучена на созданном в России открытом наборе данных, подготовленном при участии математиков-добровольцев. Он содержит более 66 тысяч человеческих аудиозаписей и 571 тысячу синтетических, а также около 12 тысяч уникальных математических предложений и 10,7 тысячи отдельных уравнений на русском и английском языках, сообщает ТАСС.
Научный сотрудник AIRI Дмитрий Корж пояснил, что этот набор данных может быть полезен не только для перевода формул в формат LaTeX. Благодаря составу и качеству разметки он применим в самых разных задачах: автоматическое распознавание речи, определение языка, голосовая биометрия, защита от подделки голоса и другие направления, где важен анализ аудиосигнала и речевых особенностей.
Ключевой проблемой в этой области долгое время было отсутствие качественных открытых данных для обучения ИИ-моделей. Для сбора данных использовалась платформа разметки: людей просили озвучивать формулы, а синтетические аудиозаписи помогли значительно расширить выборку. Сочетание живой и сгенерированной речи сделало модели более устойчивыми к разным голосам, акцентам и особенностям произношения.
Разработка российских учёных превзошла существующие системы в качестве перевода устных формул в текст более чем на 36 процентов. Это открывает перспективы для создания специализированных помощников для математиков, которые упростят оформление исследований и публикаций.
