Активация скрытого рассуждения в базовых LLM скачать в хорошем качестве

Активация скрытого рассуждения в базовых LLM

   • Base LLM can Reason: Activation Switch found   Новый источник с YouTube-канала "Discover AI" представляет собой обсуждение революционного исследования, которое утверждает, что основные способности к рассуждению в больших языковых моделях (LLM) закладываются во время предварительного обучения, а не приобретаются в процессе пост-обучения с подкреплением (RL). Исследование предполагает, что эти навыки остаются скрытыми в базовой модели и могут быть активированы с помощью "векторов управления" (steering vectors), которые действуют как каузальные переключатели для различных когнитивных функций. Авторы демонстрируют гибридный подход, использующий разреженный автокодировщик (sparse autoencoder), который анализирует процесс мышления более крупной "мыслящей" модели ("syncing model") для выявления и активации соответствующих скрытых механизмов рассуждения в базовой модели. Удивительно, но было обнаружено, что этот метод позволяет базовым моделям достигать производительности, близкой к "мыслящим" моделям, при этом управляя процессом генерации токенов лишь в 12% случаев. Это означает, что RL в основном обучает модели когда применять уже существующие навыки, а не развивает принципиально новые способности к рассуждению.