Сотрудник Nvidia Джейкоб Фридман в недавнем интервью пояснил, по какому принципу работает технология масштабирования с использованием искусственного интеллекта DLSS 5.
Как оказалось, в качестве исходных данных система принимает лишь двухмерный отрисованный кадр и векторы движения, что существенно отличается от более сложной архитектуры, которую могли предполагать многие наблюдатели.
Nvidia DLSS 5 вообще не учитывает созданную разработчиками трехмерную геометрию, глубину сцены или данные о материалах. Помимо 2D-изображения и векторов движения, лежащая в основе технологии ИИ-модель понимает семантику сцены: она идентифицирует волосы, ткань, кожу и условия освещения, и для анализа этих данных ей достаточно всего одного кадра. При этом система не считывает металличность, шероховатость, карты нормалей и другие ключевые свойства материалов, хотя из предыдущих описаний Nvidia могло сложиться впечатление, что DLSS 5 анализирует сцену гораздо глубже, сообщает 3Dnews.
Это объясняет, почему некоторые примеры работы технологии выглядят непредсказуемо. В одной из демонстраций у персонажа появились волосы там, где в оригинале их не было, а в другом случае у него вообще изменились черты лица. Nvidia, в свою очередь, настаивает, что «базовая геометрия не изменилась», а на демонстрации использовалась «очень ранняя предварительная версия технологии».
Есть основания полагать, что у разработчиков игр довольно ограниченные средства управления DLSS 5. Они могут регулировать интенсивность ее работы, цветокоррекцию, смешивание, контраст, насыщенность и гамму, а также применять маски для исключения указанных объектов из алгоритмов улучшения. Однако конкретных способов изменить коррекцию черт лица или исключить эффект «макияжа» у разработчиков нет — они могут лишь уменьшить интенсивность эффекта, наложить маску на определенную область или отключить алгоритм полностью. Лица же как таковые в любом случае будут по-прежнему генерироваться искусственным интеллектом.
