Обзор статьи Deep Neural Networks for YouTube Recommendations (RecSys Reading Group) скачать в хорошем качестве

Обзор статьи Deep Neural Networks for YouTube Recommendations (RecSys Reading Group)

Доклад Илоны Ковалевой в рамках RecSys reading group. 📝 Название Статьи: Deep Neural Networks for YouTube Recommendations 👨‍💻 Авторы: Paul Covington, Jay Adams, Emre Sargin (Google) 🔗 Ссылка на статью: https://static.googleusercontent.com/... Группа в telegram: https://t.me/ods_recommender_systems Слайды: https://asash.github.io/pdf/reading_g... Саммари статьи от докладчика: Авторы рекомендательной системы для YouTube выделили три проблемы: Масштаб: существующие алгоритмы хорошо работают на небольших объемах данных но плохо масштабируются Новизна: ежесекундно на сайт загружаются большое количество видеоконтента, что людям нравится смотреть свежий контент. Система рекомендаций должна быть достаточно реактивной, чтобы моделировать только что загруженный контент, а также учитывать последние действия, предпринятые пользователем. Зашумленность: Данные о пользователях сильно разреженны, трудно получить истинные данные об удовлетворенности пользователей и вместо этого моделирутся шумные неявные сигналы обратной связи. Метаданные, связанные с контентом, плохо структурированы без четко определенной онтологии. В качестве решения они предложили систему, состоящую из двух нейросетей — одну для генерации кандидатов и вторую для ранжирования. Сеть для генерации кандидатов состоит из 4-х полносвязных слоев (2048 ReLU → 1024 ReLU → 512 ReLU → 256 ReLU ) и обучалась на векторах признаков видеоконтента, истории поиска, географического региона, типа устройства, демографических признаках пользователей, «давности» видеоконтента. В системе для генерации кандидатов использовались негативное сэмплирование для обучения, генерация новых признаков (возведение в квадрат и квадратный корень нормированных числовых признаков). На этапе генерации предсказаний на инференсе использовался метод приближенного поиска соседей с использованием произведения векторов пользователей и фильмов. Сеть для ранжирования состоит из 3-х полносвязных слоев (1024 ReLU → 512 ReLU → 256 ReLU) и также обучалась на признаках пользователей, эмбеддингах видеоконтента и др.— всего использовались около сотни признаков, но в статье они подробно не описаны. Для оценки модели на онлайн-тесте авторы разработали взвешенную по пользователю функцию потерь (weighted per user loss). Авторы экспериментировали с количеством слоев и разными наборами сгенерированных признаков, предложенная структура обеспечила нужные показатели скорости предсказаний и обучения и превзошла по точности использованные ранее подходы матричной факторизации. 📄 Abstract: YouTube represents one of the largest scale and most sophisticated industrial recommendation systems in existence. In this paper, we describe the system at a high level and focus on the dramatic performance improvements brought by deep learning. The paper is split according to the classic two-stage information retrieval dichotomy: first, we detail a deep candidate generation model and then describe a separate deep ranking model. We also provide practical lessons and insights derived from designing, iterating and maintaining a massive recommendation system with enormous userfacing impact 📆 Ссылка на календарь мероприятия группы https://calendar.google.com/calendar/...