Специалисты Донского государственного технического университета совместно с коллегами из МГТУ «Станкин» создали отечественное программное обеспечение, позволяющее управлять роботом с помощью жестов.
Как сообщили ТАСС в пресс-службе Минобрнауки РФ, разработка выполнена в рамках гранта Российского научного фонда. Теперь отечественные промышленные манипуляторы смогут распознавать команды оператора так же, как зарубежные аналоги, но без использования импортных решений.
Разработка объединяет данные обычной камеры и датчика глубины. Камера фиксирует картинку, а датчик измеряет расстояние до объектов. Вместе они компенсируют недостатки друг друга — например, при плохом освещении или потере глубины, что обеспечивает более точное и надёжное распознавание действий. На основе полученных данных учёные разработали дескриптор — вектор признаков, который полно описывает движение оператора.
Система работает на основе алгоритмов компьютерного зрения и нейросетевых технологий. Она распознаёт жесты человека и управляет роботизированной техникой через бесконтактный интерфейс. Программа получает данные с камер и сенсора глубины, распознаёт жестовые команды (всего обучена на 10 жестах), после чего данные поступают на контроллер робота, где заранее прописано, какому жесту соответствует определённое действие манипулятора.
Система позволяет автоматизировать погрузку, сборочные операции, окраску, лазерную обработку, маркировку и другие совместные операции человека и робота.
