Учёные создали инструмент для оценки минимальной точности ИИ-моделей

Учёные Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» создали метрику для определения минимально допустимой точности нейросетевых моделей.

Об этом сообщили ТАСС в пресс-службе вуза. Разработка уже находится в открытом доступе, и любой разработчик может проверить минимальную эффективность своего продукта. Подход актуален для всех сфер применения ИИ — от медицины, маркетинга и логистики до банковского дела и промышленности.

Проблема в том, что нейросети зачастую работают непредсказуемо. Например, модель для анализа КТ-снимков после двух обучений на одном и том же массиве данных может в первом случае показать точность 90%, а во втором — на десятки процентов ниже. Как пояснил доцент кафедры математического обеспечения ЭВМ Антон Филатов, стандартные подходы математической статистики не способны достоверно описать минимальную точность нейросетей: результаты многократного обучения дают непредсказуемые результаты.

Исследователи решили эту проблему эмпирически. Они обучили три активно применяемые нейросети около 30 раз на одном объёме данных и проанализировали закономерности. В итоге была разработана метрика, которая позволяет с высокой точностью определить минимальный порог точности обработки информации. Это поможет разработчикам избежать ситуаций, когда нейросеть выдаёт неприемлемо низкие результаты после переобучения, и повысит доверие к ИИ в критически важных областях.