#291 скачать в хорошем качестве

#291

Для масштабного сравнения авторегрессионных языковых моделей можно вычислить векторы логарифмического правдоподобия на основе предопределенного набора текстов в качестве признаков модели. Этот подход имеет прочную теоретическую основу: при использовании их в качестве координат модели квадрат евклидова расстояния аппроксимирует дивергенцию Кульбака-Лейблера вероятностей генерации текста. Этот метод обладает высокой масштабируемостью, вычислительные затраты линейно растут как с количеством моделей, так и с количеством образцов текста, и прост в реализации, поскольку необходимые признаки определяются путем кросс-энтропийной потери. Применив этот метод к более чем 1000 языковых моделей, авторы построили «карту моделей», открывающую новый взгляд на анализ крупномасштабных моделей. В этом видео я расскажу о следующем: Что является хорошим представлением признаков для языковой модели? Можно ли использовать эти вложения моделей для прогнозирования производительности? Как эти вложения моделей работают с моделями с интерполяцией весов? Подробнее см. по ссылке https://arxiv.org/pdf/2502.16173 Ояма, Момосэ, Хироаки Ямагива, Юсукэ Такасэ и Хидэтоси Симодаира. «Картирование более 1000 языковых моделей с помощью логарифмического вектора правдоподобия». Препринт arXiv, arXiv:2502.16173 (2025). Спасибо за просмотр! LinkedIn: http://aka.ms/manishgupta Домашняя страница: https://sites.google.com/view/manishg/