Устойчивые ограничения на размер шага для функции потерь кросс-энтропии скачать в хорошем качестве

Устойчивые ограничения на размер шага для функции потерь кросс-энтропии

В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью: «Призраки Softmax: сложные сингулярности, ограничивающие безопасные размеры шагов в кросс-энтропии». В этом исследовании выявлены «призраки Softmax» — комплексные нули в функции распределения, — которые создают сингулярности в функции потерь кросс-энтропии и ограничивают сходимость моделей Тейлора. Авторы демонстрируют, что эти сингулярности ограничивают безопасный радиус шагов оптимизации, обеспечивая ограничение, принципиально отличное от традиционной L-гладкости. Выведя аналитические выражения для этого радиуса, исследование показывает, как конкретные примеры вблизи границ принятия решений могут сделать шаги обучения нестабильными. Тестирование на нескольких архитектурах подтверждает, что превышение этого рассчитанного радиуса приводит к коллапсу модели, в то время как пребывание в его пределах обеспечивает стабильность. Эта работа предоставляет практический инструмент для определения надежных размеров шагов во время оптимизации нейронной сети. URL статьи: https://arxiv.org/pdf/2603.13552 #AI #MachineLearning #DeepLearning #Softmax #Optimization #CrossEntropy #NeuralNetworks