Как создать степень магистра права с нуля | Обзор скачать в хорошем качестве

Как создать степень магистра права с нуля | Обзор

💡 Получите 30 (бесплатных) идей для проектов ИИ: https://30aiprojects.com/ Это шестое видео из серии, посвящённой практическому применению больших языковых моделей (LLM). Здесь я рассматриваю ключевые аспекты разработки базовой LLM на основе разработки таких моделей, как GPT-3, Llama, Falcon и других. Дополнительные ресурсы: ▶️ Плейлист серии: https://www.youtube.com/playlist?list... Подробнее: https://medium.com/towards-data-scien... [1] BloombergGPT: https://arxiv.org/pdf/2303.17564.pdf [2] Llama 2: https://ai.meta.com/research/publicat... [3] Стоимость энергии для LLM: https://www.statista.com/statistics/1... [4] arXiv:2005.14165 [cs.CL] [5] Блог Falcon 180b: https://huggingface.co/blog/falcon-180b [6] arXiv:2101.00027 [cs.CL] [7] Репозиторий Alpaca: https://github.com/gururise/AlpacaDat... [8] arXiv:2303.18223 [cs.CL] [9] arXiv:2112.11446 [cs.CL] [10] arXiv:1508.07909 [cs.CL] [11] SentencePience: https://github.com/google/sentencepie... [12] Документация по токенизаторам: https://huggingface.co/docs/tokenizer... [13] arXiv:1706.03762 [cs.CL] [14] Лекция Андрея Карпати:    • Let's build GPT: from scratch, in code, sp...   [15] Курс НЛП «Обнимашки»: https://huggingface.co/learn/nlp-cour... [16] arXiv:1810.04805 [cs.CL] [17] arXiv:1910.13461 [cs.CL] [18] arXiv:1603.05027 [cs.CV] [19] arXiv:1607.06450 [stat.ML] [20] arXiv:1803.02155 [cs.CL] [21] arXiv:2203.15556 [cs.CL] [22] Обучение с использованием смешанной точности Nvidia: https://docs.nvidia.com/deeplearning/... [23] Документация DeepSpeed: https://www.deepspeed.ai/training/ [24] https://paperswithcode.com/method/wei... [25] https://towardsdatascience.com/what-i... [26] arXiv:2001.08361 [cs.LG] [27] arXiv:1803.05457 [cs.AI] [28] arXiv:1905.07830 [cs.CL] [29] arXiv:2009.03300 [cs.CY] [30] arXiv:2109.07958 [cs.CL] [31] https://huggingface.co/blog/evaluatin... [32] https://www.cs.toronto.edu/~hinton/ab... -- Домашняя страница: https://shawhintalebi.com/ Записаться на звонок: https://calendly.com/shawhintalebi Вступление - 0:00 Сколько стоит? - 1:30 4 ключевых шага - 3:55 Шаг 1: Отбор данных - 4:19 1.1: Источники данных - 5:31 1.2: Разнообразие данных - 7:45 1.3: Подготовка данных - 9:06 Шаг 2: Архитектура модели (трансформеры) - 13:17 2.1: 3 типа трансформеров - 15:13 2.2: Другие варианты проектирования - 18:27 2.3: Насколько большим я могу сделать это? - 22:45 Шаг 3: Обучение в масштабе - 24:20 3.1: Стабильность обучения - 26:52 3.2: Гиперпараметры - 28:06 Шаг 4: Оценка - 29:14 4.1: Задания с множественным выбором - 30:22 4.2: Задания с открытым ответом - 32:59 Что дальше? - 34:31