Исследователи из Университета Иннополис, МФТИ и ИСП РАН предложили новый метод децентрализованной оптимизации, который позволяет обучать нейросети в условиях, когда соединения между серверами могут прерываться.
Как сообщили ТАСС в пресс-службе Университета Иннополис, разработка особенно актуальна для координации беспилотных автомобилей, обменивающихся информацией на ходу, а также для обучения общей ИИ-модели на данных из разных организаций при нестабильном интернет-соединении.
Учёные сосредоточились на задачах стохастической негладкой оптимизации. Суть метода в том, что математическая задача разделяется на две части: гладкую (отвечает за коммуникации между компьютерами) и негладкую (отвечает за обучение самой модели). Вместо глобального усреднения по всей сети, требующего идеальной связи, эксперты предложили использовать локальный обмен только с теми серверами, которые доступны в данный момент. Это делает обучение устойчивым к разрывам и перебоям.
Как отметил специалист Центра научных исследований Университета Иннополис Максим Дивильковский, ранее существовавшие подходы работали либо для стабильных гладких задач, либо для статичных сетей. Новая работа охватывает более общий и сложный случай — негладкие функции, часто встречающиеся в машинном обучении, и динамические сети с меняющейся топологией. Учёные доказали, что их алгоритм достигает теоретически оптимальной скорости сходимости, то есть улучшить его с математической точки зрения уже невозможно.
Статья опубликована в сборнике материалов престижной конференции по искусственному интеллекту AAAI. Исследование выполнено при поддержке Минэкономразвития России.
