Языковые модели — это классификаторы: как языковые модели предсказывают следующий токен скачать в хорошем качестве

Языковые модели — это классификаторы: как языковые модели предсказывают следующий токен

В этом видео мы разберем одну из важнейших идей, лежащих в основе больших языковых моделей: в генерации текста нет никакой магии — это задача классификации. Вы увидите, как большие языковые модели принимают подсказку в качестве входных данных и присваивают вероятности каждому возможному следующему токену в своем словаре, а затем выбирают наиболее вероятный. Используя простые наглядные примеры, мы покажем, как изменение всего одного слова в подсказке может полностью изменить распределение вероятностей модели и ее конечный результат. Вы узнаете, как: Рассматривать генерацию текста с использованием LLM как многоклассовую классификацию Понимать, что на самом деле означает «прогнозирование следующего токена» Интерпретировать вероятности токенов и почему большинство токенов имеют почти нулевую вероятность Увидеть, как контекст меняет поведение модели при простых изменениях подсказок Изучить интерактивный инструмент для самостоятельной проверки вероятностей токенов Временные метки: 0:00 - Почему генерация текста с использованием LLM кажется волшебством 0:18 - LLM как задачи классификации 0:40 - Токены как классы и распределения вероятностей 2:19 - Визуализация токенов с высокой и низкой вероятностью 4:25 - Размер словаря и количество классов 4:42 - Как изменение одного слова меняет вероятности 6:04 - Интерактивный инструмент для изучения прогнозов токенов 6:25 - Примеры из реальной жизни и эксперименты Посмотрите это видео, если хотите получить четкое представление о том, как LLM на самом деле работают, прежде чем углубляться в обучение, тонкую настройку и т.д. или развертывания. Это видео является частью программы сертификации LLM по проектированию и развертыванию от Ready Tensor. Записаться сейчас: https://www.readytensor.ai/programs/l... О Ready Tensor: Ready Tensor помогает специалистам в области ИИ и машинного обучения создавать, оценивать и развертывать реальные интеллектуальные системы с помощью практических сертификаций, проектов и обучения, соответствующего отраслевым стандартам. Понравилось видео? Подпишитесь и сообщите нам, какие еще основы LLM вы хотели бы, чтобы мы разобрали в следующий раз.