Лекция. GPT-3 и Sparse Attention скачать в хорошем качестве

Лекция. GPT-3 и Sparse Attention

Занятие ведёт Игорь Котенков. На этом занятии мы поговорим про характеристики GPT - 3 и про то, как же это связано с соревнованием по размерам GPU-кластера. Еще мы затронем нюансы по сбору датасетов и про то, как же можно уменьшить потребляемую память. Телеграм-канал автора: https://t.me/seeallochnaya --- Deep Learning School при ФПМИ МФТИ Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале. Поддержать канал можно по ссылке https://dls.samcs.ru/support За нашими новостями можно следить здесь: Наш канал в TG: https://t.me/deep_learning_school_news Официальный сайт: https://dls.samcs.ru/ Официальная группа ВК: https://vk.com/dlschool_mipt ФПМИ МФТИ Официальный сайт: https://mipt.ru/education/schools/fpmi https://vk.com/miptfpmi — сообщество ФПМИ https://t.me/fpmi_mipt — канал ФПМИ в ТГ https://vk.com/abitu — сообщество абитуриентов https://t.me/fpmi_abitu — ТГ-чат абитуриентов https://t.me/fpmi_abitu_master — все о магистерских программах ФПМИ Магистратура: https://mipt.ru/education/departments... Онлайн-магистратура "Современная комбинаторика": http://omscmipt.ru/ Онлайн-магистратура "Цифровая экономика": http://digec.online/ Лаборатории ФПМИ: https://mipt.ru/education/departments...