Учебное пособие по наборам данных Hugging Face: создание и публикация собственного набора данных скачать в хорошем качестве

Учебное пособие по наборам данных Hugging Face: создание и публикация собственного набора данных

В этом видео мы покажем, как создать собственный набор данных для настройки инструкций и опубликовать его на Hugging Face Hub, что упростит его обмен и повторное использование в проектах тонкой настройки LLM. Вы научитесь: Создавать наборы данных из словарей Python с использованием формата Alpaca Разделять наборы данных на обучающую и валидационную выборки Аутентифицировать и загружать наборы данных в Hugging Face Hub Работать с форматом JSONL для наборов данных инструкций Настраивать видимость набора данных (публичный или приватный) Загружать опубликованные наборы данных для тонкой настройки Добавлять документацию README к вашим наборам данных Временные метки: 0:01 - Введение в загрузку наборов данных в Hugging Face 0:17 - Аутентификация в Hugging Face Hub 0:45 - Создание набора данных из словаря (формат Alpaca) 1:48 - Создание разделения на обучающую и тестовую выборки 2:13 - Загрузка наборов данных в Hugging Face Hub 3:12 - Просмотр опубликованного набора данных в Hugging Face 3:50 - Работа с форматом JSONL для наборов данных 4:34 - Загрузка и загрузка JSONL Наборы данных 5:15 - Настройка видимости набора данных (публичный или частный) 5:44 - Добавление документации README 6:05 - Загрузка набора данных для тонкой настройки Посмотрите это видео, если вы готовите пользовательские обучающие данные для тонкой настройки LLM, создаете наборы данных для конкретных областей или изучаете управление наборами данных в Hugging Face Hub. Рассматриваемые форматы: Формат Alpaca (инструкция, вход, выход) Формат JSONL (JSON Lines) Это видео является частью программы сертификации LLM Engineering and Deployment от Ready Tensor. ✅ Присоединиться к программе: https://www.readytensor.ai/programs/l... О Ready Tensor: Ready Tensor помогает специалистам в области ИИ/машинного обучения создавать и оценивать интеллектуальные, целеориентированные системы и демонстрировать их посредством сертификации, конкурсов и публикаций реальных проектов. 🌐 Узнайте больше: https://www.readytensor.ai/ 👍 Понравилось видео? Подпишитесь и сообщите нам, какие еще методы оценки вы хотели бы, чтобы мы рассмотрели!