NND44| c8 | Понимание градиента, кривизны и собственных векторов в оптимизации скачать в хорошем качестве

NND44| c8 | Понимание градиента, кривизны и собственных векторов в оптимизации

В этом видео я делюсь своим полным интуитивным представлением об оптимизации. Мы представляем функцию 𝐹(𝑥) как поверхность с холмами и долинами, подобно поверхности ошибок в нейронных сетях. Начиная с точки на этой поверхности, мы задаём простой вопрос: если я сделаю очень маленький шаг в каком-либо направлении, как изменится моя высота? Мы начинаем с основных понятий, таких как наклон и градиент, а затем объясняем, почему одного градиента недостаточно на поверхностях более высокой размерности. Это мотивирует нас рассмотреть кривизну, смоделированную локально с помощью квадратичной аппроксимации. Далее мы рассмотрим: матрицу Гессе как объект кривизны почему недиагональные члены затрудняют интерпретацию как собственные векторы определяют новые координатные направления как выражение направления как 𝑝=𝐵𝑐 означает работу в координатах собственных векторов почему собственные значения представляют силу кривизны и почему направление максимальной кривизны соответствует наибольшему собственному значению Это видео фокусируется на геометрической интуиции, а не на деталях реализации, и предназначено для того, чтобы помочь студентам понять, что говорит математика при изучении оптимизации, нейронных сетей или машинного обучения. 👉 Официальные ресурсы: На основе работы «Проектирование нейронных сетей» (Хаган и др.) https://hagan.okstate.edu/nnd.html ⚠️ Отказ от ответственности: Эти видео содержат мои собственные объяснения и интерпретации в образовательных целях.