AnchorDream: Масштабирование обучения роботов с помощью распространения видео с учетом особенност... скачать в хорошем качестве

AnchorDream: Масштабирование обучения роботов с помощью распространения видео с учетом особенност...

#Робототехника #ИИ #МашинноеОбучение #AnchorDream #КомпьютерноеЗрение #Научно-исследовательскийИнститутToyota В этом видео мы рассмотрим **AnchorDream**, революционную «модель мира, учитывающую воплощение», которая решает одну из самых значительных проблем современной робототехники: высокую стоимость и сложность сбора больших объемов разнообразных обучающих данных. Хотя обучение на основе имитации позволяет роботам осваивать сложные модели поведения, оно обычно требует огромного количества демонстраций, проводимых людьми, сбор которых в реальном мире обходится дорого. Традиционные симуляторы предлагают более дешевую альтернативу, но часто страдают от «разрыва между симулятором и реальностью» и ограниченного визуального разнообразия. *Решение AnchorDream* Разработанный исследователями из *Научно-исследовательского института Toyota* и **Лаборатории физического суперинтеллекта (PSI) Университета Южной Калифорнии**, AnchorDream использует предварительно обученные модели распространения видео для синтеза высококачественных данных о роботах. Обусловливая процесс генерации движением робота, система создает кинематически обоснованные демонстрации, которые сразу же подходят для обучения. *Как это работает: Разделение траектории и окружающей среды* В отличие от предыдущих методов генерации, которые часто «галлюцинируют» физически невозможные движения роботов, AnchorDream использует **парадигму разделенного синтеза**: *Расширение траектории:* Она начинается с небольшого набора демонстраций дистанционного управления человеком и эвристически расширяет их до новых, осуществимых траекторий. *Рендеринг только робота:* Для каждой новой траектории система отображает только 3D-геометрию манипулятора робота — без фона, объектов или текстур. *Видеосинтез:* Эти траектории движения действуют как «якорь». Затем модель распространения видео (например, NVIDIA Cosmos-Predict2) генерирует фотореалистичное окружение вокруг робота, обеспечивая идеальное соответствие объектов и компоновки предполагаемому движению робота. *Ключевые инновации* *Глобальная корректировка траектории:* Чтобы предотвратить смещение компоновки сцены во время длительных задач, AnchorDream использует всю будущую траекторию в качестве сигнала корректировки, обеспечивая согласованность на большом горизонте. *Не требуется моделирование сцены:* Это исключает необходимость в дорогостоящих 3D-моделях или сложных настройках физических симуляторов, генерируя окружение непосредственно в визуальной области. *Впечатляющие результаты* Эффективность AnchorDream подтверждена обширными испытаниями: *Относительное улучшение на 36,4%* в тестах симулятора, таких как RoboCasa. *Почти вдвое улучшена производительность* в реальных условиях, средний процент успешных действий увеличен с 28% до 63% в шести повседневных задачах, таких как уборка кофейных зерен и открывание ящиков. *Узнайте больше:* *Веб-сайт проекта:* https://jay-ye.github.io/AnchorDream *Статья:* "AnchorDream: Перепрофилирование распространения видео для синтеза данных роботов с учетом их воплощения" #AIResearch #NVIDIA #RobotLearning #GenerativeAI #DataAugmentation --- *Теги видео (максимум 500 символов)* AnchorDream, Робототехника, Искусственный интеллект, Распространение видео, Машинное обучение, Имитационное обучение, Исследовательский институт Toyota, Синтез данных, NVIDIA Cosmos, Данные роботов, Учет воплощения, Лаборатория USC PSI, RoboCasa, Компьютерное зрение, Обучение роботов, Генеративный ИИ, Расширение траектории, Кинематическая согласованность, Модели мира, Манипулирование роботами, От моделирования к реальности, Исследования в области ИИ