Вычисления времени сна ИИ скачать в хорошем качестве

Вычисления времени сна ИИ

Вычисления во время сна: прогнозирование запросов для оптимизации масштабирования во время тестирования https://arxiv.org/pdf/2504.13171 В данной исследовательской работе представлен подход к вычислениям во время сна, позволяющий большим языковым моделям обрабатывать фоновую информацию в периоды простоя до того, как пользователь задаст вопрос. Предварительно вычисляя вероятные выводы и реорганизуя сложные контексты в «спящем» состоянии, модели могут значительно сократить время и затраты, необходимые для генерации точных ответов во время тестирования. Эксперименты на математических задачах и задачах программной инженерии показывают, что этот метод может сократить использование токенов во время тестирования до пяти раз, сохраняя или повышая точность. Исследование также демонстрирует, что вычисления во время сна особенно эффективны, когда запросы пользователей предсказуемы или когда один и тот же контекст используется для нескольких связанных вопросов. Кроме того, масштабирование времени «размышления» в автономном режиме постоянно расширяет границы производительности за пределы традиционных ограничений обработки в реальном времени. В конечном итоге, авторы предполагают, что использование циклов простоя для предварительной обработки данных с сохранением состояния создает более эффективную и мощную систему рассуждений для реальных приложений. #ai #research #largelanguagemodels #sleeptime #compute #reinforcementlearning