Нейронные заросли скачать в хорошем качестве

Нейронные заросли

https://arxiv.org/pdf/2603.12228 Нейронные заросли: постобучение LLM с помощью случайного угадывания весов В этом исследовании представлена ​​концепция нейронных зарослей, показывающая, что большие, хорошо предварительно обученные модели окружены высокой плотностью экспертов, специализирующихся на конкретных задачах, в своем локальном пространстве весов. В то время как для небольших моделей требуется структурированная оптимизация, такая как градиентный спуск, для поиска решений, более крупные модели масштабируются до режима, где случайная выборка близлежащих возмущений весов может эффективно обнаруживать высокоэффективных специалистов. Авторы предлагают RandOpt, параллельный метод постобучения, который выбирает случайные возмущения, отбирает лучших специалистов и объединяет их прогнозы для достижения результатов, сопоставимых с традиционным обучением с подкреплением. Их результаты показывают, что эти выбранные решения часто являются разнообразными специалистами, а не универсалами, преуспевающими в конкретных задачах, таких как математика или программирование, и потенциально регрессирующими в других. Этот закон масштабирования предполагает, что предварительное обучение преобразует ландшафт функции потерь в «заросли» доступных решений, что значительно упрощает последующую адаптацию. В конечном итоге, исследование показывает, что крупномасштабное предварительное обучение по своей сути подготавливает модели к быстрой адаптации без использования производных за счет простого отбора и агрегирования. #ai #research