Согласование LLM с прямой оптимизацией предпочтений скачать в хорошем качестве

Согласование LLM с прямой оптимизацией предпочтений

На этом семинаре Льюис Танстолл и Эдвард Бичинг из Hugging Face обсудят мощный метод выравнивания под названием «Прямая оптимизация предпочтений» (DPO), который использовался для обучения Zephyr (https://arxiv.org/abs/2310.16944) и стремительно становится де-факто методом повышения производительности моделей открытого чата. К концу семинара участники: Поймут этапы тонкой настройки LLM для приложений чата. Изучат теорию, лежащую в основе прямой оптимизации предпочтений, и как применять её на практике с помощью библиотеки TRL Hugging Face. Будут знать, какие метрики следует учитывать при оценке моделей чата. Зарегистрируйтесь на форуме нашего сообщества: https://bit.ly/48UIIve Зарегистрируйтесь на наши короткие курсы здесь: https://bit.ly/420iXHx Тетради семинара: Тетради #1: https://colab.research.google.com/dri... Блокнот №2: https://colab.research.google.com/dri... sjLtax9y5mYCzRg-opvXZhsYGEH Слайды: https://docs.google.com/presentation/... О DeepLearning.AI DeepLearning.AI — это компания, занимающаяся образовательными технологиями, которая помогает сотрудникам по всему миру строить будущее на основе искусственного интеллекта посредством образования мирового уровня, практического обучения и создания сообщества единомышленников. Выведите свои навыки генеративного ИИ на новый уровень с помощью коротких курсов, которые помогут вам эффективно освоить новые навыки, инструменты и концепции. О Hugging Face Hugging Face — компания, специализирующаяся на обработке естественного языка (NLP) и машинном обучении. Она известна своими разработками с открытым исходным кодом и коллективным подходом к исследованиям и разработкам в области ИИ. Компания известна разработкой библиотеки Transformers, которая предлагает широкий спектр предварительно обученных моделей и инструментов для различных задач обработки естественного языка, упрощая исследователям и разработчикам внедрение передовых решений в области ИИ. Hugging Face также поддерживает активное сообщество энтузиастов и профессионалов в области ИИ, предоставляя платформу для обмена моделями, наборами данных и результатами исследований, что вносит значительный вклад в развитие технологий ИИ. Спикеры: Льюис Танстолл, инженер по машинному обучению, Hugging Face   / lewis-tunstall   Эдвард Бичинг, научный сотрудник, Hugging Face   / ed-beeching-3553b468