QMIX / Graph Attention Networks with Positional Embeddings скачать в хорошем качестве

QMIX / Graph Attention Networks with Positional Embeddings

00:00:00 QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning 00:22:58 Graph Attention Networks with Positional Embeddings QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning Во многих областях обучения с подкреплением возникает необходимость обучить сразу несколько агентов действовать в общей среде. В таких задачах важно понять, как оценивать вклады каждого из агентов в достижение общей цели. Авторы статьи “QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning” предложили новый алгоритм QMIX, который способен решать более широкий класс задач по сравнению со своими предшественниками. Новый подход был протестирован на игре StarCraft, в которой хорошо согласованные действия игроков необходимы для победы. На семинаре мы обсудим следующие темы: Почему сложно заставить несколько агентов кооперироваться, не мешая друг другу Какие основные подходы существуют в мультиагентном обучении Как обучают алгоритмы VDN и QMIX играть в StarCraft, и какие результаты они показывают Graph Attention Networks with Positional Embeddings Одни из самых популярных в этой области архитектур - это GAT (Graph ATtention networks), модели которые используют механизмы attention при построении векторных представлений вершин графа. Такой подход предполагает схожесть соседних вершин по признакам и лейблам. Однако что делать в том случае если это предположение не выполняется и наличие связи между вершинами означает всего лишь их взаимодействие? Авторы работы “Graph Attention Networks with Positional Embeddings” предлагают улучшить модели GAT добавив в них позиционные эмбеддинги, позволяющие модели учитывать помимо контента вершины еще и ее структурную информацию. На семинаре мы внимательно разберем предложенное авторами статьи решение, обсудим то как авторы обучали и валидировали свои модели и посмотрим на сколько процентов у них получилось обогнать предложенные бейзлайны в задаче классификации вершин. Виктория Локтева / Даниил Масальский