Глубокое обучение в ECE-UofT - Лекция 14: Стохастический градиентный спуск и кривые обучения скачать в хорошем качестве

Глубокое обучение в ECE-UofT - Лекция 14: Стохастический градиентный спуск и кривые обучения

Мы видим, что обучение с использованием полных пакетов данных, как правило, вычислительно сложно. Мы предлагаем простое решение этой проблемы, которое называется обучением на уровне выборки. Однако это может привести к повторяющемуся поведению. Поэтому мы добавляем стохастическое перемешивание к этому алгоритму. Это приводит к так называемому стохастическому градиентному спуску. Мы видим, что обучение с использованием полных пакетов данных и базовый SGD описывают две крайние точки спектра. Мы можем сбалансировать их, используя идею обучения с использованием мини-пакетов данных. Это приводит к компромиссу между сложностью и дисперсией. Далее мы обсуждаем оценку нашей обученной модели и ее обобщение на новые данные. Мы изучаем эту процедуру и знакомимся с типичными кривыми обучения.