Nvidia представила универсальный контроллер на базе ИИ для обучения гуманоидных роботов широкому кругу задач

Обучение гуманоидных роботов стабильному выполнению различных действий сопряжено с трудностями и занимает много времени. Исследователи из Nvidia разработали универсальный контроллер SONIC на базе ИИ, способный обучаться на обширном и разнообразном массиве данных о движениях человека. Контроллер преобразует команды из виртуальной реальности, заранее записанного видео или из текстовых подсказок в плавные, скоординированные движения робота.

«Гуманоидные роботы должны двигаться с той же координацией и адаптивностью, что и люди, но современные системы обучаются с использованием отдельных контроллеров для разных навыков, что затрудняет их масштабирование, — отметил ведущий научный сотрудник Nvidia Юке Чжу (Yuke Zhu). — Мы хотели выяснить, может ли единый обученный контроллер послужить основой для множества вариантов движений, задействующих все тело».

Чжу и его коллеги поставили перед собой задачу создать универсальный контроллер для управления движениями робота, способный обучаться на обширном и разнообразном массиве данных о движениях человека. Кроме того, они стремились к тому, чтобы контроллер мог обобщать полученные в ходе обучения знания и применять их для выполнения новых действий и движений. По мнению Чжу, «такой подход может приблизить гуманоидную робототехнику к созданию универсального двигательного интеллекта, пригодного для широкого спектра задач, что избавит инженеров от необходимости разрабатывать отдельный контроллер для каждой конкретной операции» .

Разработанный командой контроллер SONIC представляет собой базовую модель управления движениями гуманоидного робота. Он выполняет функцию «двигательной системы» робота, преобразуя высокоуровневые команды в плавные, скоординированные движения всего тела. Модель прошла обучение на более чем 100 миллионах кадров с записью движений человека, что позволило ей усвоить широкий спектр двигательных паттернов, а не просто отдельные задачи.

Разработчики протестировали SONIC в физическом симуляторе, используя разнообразные сценарии передвижения и манипулирования объектами, включая действия, отсутствовавшие в обучающей выборке. Один и тот же контроллер может работать с различными типами входных данных, будь то телеуправление в виртуальной реальности, движения на основе видео или команды от мультимодальных моделей без необходимости переобучения.

Исследователи испытали контроллер на гуманоидном роботе, оценив точность воспроизведения как уже изученных, так и новых, ранее не встречавшихся эталонных движений. Выяснилось, что система SONIC обеспечивает широкий спектр естественных и устойчивых движений всего тела, опираясь на единую модель, а не на отдельные стратегии управления для каждого конкретного действия. В сочетании с дополнительными компонентами контроллер даёт возможность дистанционного управления роботом и преобразования текстовых инструкций в конкретные действия.

«В будущем такой подход может ускорить разработку человекоподобных роботов для производственных, складских и логистических задач, а также для других сфер, где требуется выполнение разнообразных физических действий. В более широком смысле SONIC служит универсальной базой для управления моторикой, способной взаимодействовать с моделями ИИ более высокого уровня и преобразовывать результаты логических рассуждений в надёжные физические действия» , — заключил Чжу.

В настоящее время Чжу и его коллеги планируют продолжить развитие и совершенствование своей модели. В частности, они хотят улучшить способность системы воспринимать окружающую обстановку, чтобы снизить риск столкновений и аварий, а также повысить качество навигации роботов в динамичной среде или на пересечённой местности. В дальнейшем планируется интегрировать SONIC с платформой Nvidia Isaac GR00T, что позволит человекоподобным роботам сочетать высокоуровневое логическое мышление с универсальным управлением движениями всего тела.