Как обучить более умных роботов: изоляция знаний в моделях VLA. скачать в хорошем качестве

Как обучить более умных роботов: изоляция знаний в моделях VLA.

#Робототехника #VLA #ИскусственныйИнтеллект #МашинноеОбучение #КомпьютерноеЗрение #ОбучениеРоботов #ИзоляцияЗнаний** Как наделить роботов «здравым смыслом» ИИ веб-масштаба, не нарушая их способность к точному перемещению? В этом видео мы рассмотрим прорывной подход к обучению *моделей «Зрение-Язык-Действие» (VLA)**, который решает важную проблему в робототехнике: **Скорость обучения против семантических знаний.* *Проблема: конфликт «прививки»* Модели «Зрение-Язык» (VLM), такие как PaliGemma, содержат обширные семантические знания из интернета, но роботам необходимы непрерывные высокочастотные сигналы управления для работы в реальном мире. Когда исследователи добавляют к этим моделям новых «экспертов по действиям» (например, модули диффузии или сопоставления потоков), обучение их с нуля часто *ухудшает исходные знания VLM**, что приводит к тому, что роботы забывают, как следовать простым языковым инструкциям. **Решение: Изоляция знаний* Исследователи предлагают новый метод обучения, называемый **Изоляция знаний**. Основная идея заключается в следующем: *Совместное обучение:* Использование дискретных токенов действий (с помощью токенизатора FAST) для обучения базовой модели VLM «что» делать посредством прогнозирования следующего токена. *Одновременная адаптация:* Обучение эксперта по непрерывным действиям точному «как» это делать. *Остановка градиентов:* Что особенно важно, они *блокируют градиенты* от неинициализированного эксперта по действиям, не позволяя им возвращаться в базовую модель VLM. *Ключевые результаты:* *Быстрое обучение:* Модель сходится гораздо быстрее, чем стандартные VLA на основе диффузии. *Быстрая работа:* Поддерживает высокочастотное управление в реальном времени (до 10 Гц). *Лучше обобщает:* Отлично понимает язык и адаптируется к совершенно **незнакомой обстановке и предметам**, например, убирает со столов, складывает рубашки и наводит порядок в постели. *Посмотрите, чтобы узнать, как эта архитектура позволяет роботам «быстро обучаться, быстро бегать и лучше обобщать!»* --- *Теги видео* Модели зрения-языка-действия, VLA, Искусственный интеллект в робототехнике, Исследования в области машинного обучения, Изоляция знаний, Обучение роботов, Политика распространения, Сопоставление потоков, PaliGemma, Токенизатор FAST, Физический интеллект, Автономные роботы, Сквозное обучение, Базовые модели для робототехники, Передача семантических знаний, Двуручное манипулирование, Частота управления роботом, Вывод робота в реальном времени *Аналогия для понимания:* Представьте себе основу VLM как *шеф-повара мирового класса**, который знает каждый рецепт (семантические знания), но никогда не использовал конкретную высокотехнологичную индукционную плиту (корпус робота). **Изоляция знаний* — это как дать шеф-повару цифровой симулятор для отработки настроек плиты, не позволяя ни одному подгоревшему блюду испортить его память об оригинальных рецептах. Таким образом, шеф-повар в совершенстве осваивает новое оборудование, сохраняя при этом все свои кулинарные навыки.