Предварительное обучение скрытым действиям на основе видеороликов скачать в хорошем качестве

Предварительное обучение скрытым действиям на основе видеороликов

В данной статье представлен метод предварительного обучения скрытым действиям (LAPA), первая неконтролируемая структура для предварительного обучения моделей Vision-Language-Action (VLA) без эталонных меток действий робота. Вместо использования дорогостоящих наборов данных для телеуправляемых роботов, LAPA обучается дискретным скрытым действиям непосредственно на основе различий в наблюдениях в видео с использованием модели квантования на основе VQ-VAE, а затем предварительно обучает модель VLM для прогнозирования этих скрытых действий перед тонкой настройкой на небольшом наборе реальных траекторий движения робота. Эксперименты на симуляционных и реальных тестовых наборах данных показывают, что LAPA значительно превосходит предыдущие базовые модели без учета действий и, в условиях многомерного воплощения, даже превосходит современные модели VLA, обученные с использованием эталонных меток действий. Примечательно, что предварительное обучение исключительно на видео с манипуляциями человека также демонстрирует сильный положительный перенос, подчеркивая потенциал использования видеоданных веб-масштаба для масштабируемых базовых моделей робототехники. Докладчик: Хоын Ли Доклад: Йе и др., «Предварительное обучение скрытым действиям на основе видео», ICLR, 2025.