Оптимизация прямых предпочтений (DPO) | Объяснение статьи скачать в хорошем качестве

Оптимизация прямых предпочтений (DPO) | Объяснение статьи

В этот раз мы рассмотрим метод прямой оптимизации предпочтений (DPO), который используется для настройки предпочтений в больших языковых моделях. В отличие от таких методов, как PPO и GRPO, этот метод не требует функции вознаграждения, а только данных о предпочтениях. Это делает обучение намного эффективнее, и вам не нужно беспокоиться об обучении функции вознаграждения. В этом видео показан весь математический вывод DPO, от первоначальной идеи до конечной цели. Приятного просмотра! 00:00 Введение 01:02 Постановка проблемы 03:08 Вывод 16:21 Заключение Дополнительная литература: 1. Статья DPO: https://arxiv.org/abs/2305.18290 2. Статья PPO: https://arxiv.org/abs/1707.06347 3. Статья GRPO: https://arxiv.org/abs/2402.03300 #dpo #ppo #grpo #llm #languagemodels #reinforcementlearning #gpt мяу