OmegaUse: Создание универсального агента с графическим интерфейсом пользователя для автономного в... скачать в хорошем качестве

OmegaUse: Создание универсального агента с графическим интерфейсом пользователя для автономного в...

OmegaUse представляет собой значительный шаг вперед в разработке автономных агентов с графическим пользовательским интерфейсом (GUI), разработанных как универсальная модель, способная выполнять сложные задачи как на мобильных, так и на настольных платформах, таких как Android и Ubuntu. Для преодоления ограничений в качестве существующих данных и эффективности обучения система использует архитектуру «смешанных экспертов» (Mixture-of-Experts, MoE), поддерживаемую сложным конвейером построения данных, который объединяет автономное исследование «снизу вверх» с генерацией, основанной на таксономии «сверху вниз», для создания высокоточных синтетических данных. Модель использует двухэтапную стратегию обучения с разделением на этапы: контролируемая тонкая настройка (Supervised Fine-Tuning, SFT) устанавливает базовую логику взаимодействия, а групповая относительная оптимизация политики (Group Relative Policy Optimization, GRPO) уточняет пространственную точность и последовательное планирование с использованием специализированных вознаграждений. В дополнение к модели исследователи представили OS-Nav, новый набор офлайн-тестов, включающий ChiM-Nav и Ubu-Nav, для решения проблемы отсутствия комплексных инструментов оценки для различных цифровых сред. Обширные испытания подтверждают эффективность этого подхода: OmegaUse демонстрирует передовые результаты, такие как точность 96,3% на ScreenSpot-V2 и показатель успешности шагов 79,1% на AndroidControl, что свидетельствует о превосходной обобщающей способности по сравнению с существующими плотными моделями. https://arxiv.org/pdf/2601.20380