RoBERTa: надежно оптимизированный подход к предварительной подготовке BERT скачать в хорошем качестве

RoBERTa: надежно оптимизированный подход к предварительной подготовке BERT

В данной статье показано, что исходная модель BERT при правильном обучении может превзойти все предложенные в последнее время усовершенствования, что ставит под сомнение их необходимость и обоснованность. Аннотация: Предобучение на основе языковых моделей привело к значительному повышению производительности, однако тщательное сравнение различных подходов представляет собой сложную задачу. Обучение требует больших вычислительных затрат, часто проводится на закрытых наборах данных разного размера, и, как мы покажем, выбор гиперпараметров оказывает значительное влияние на конечные результаты. Мы представляем исследование репликации предобучения BERT (Devlin et al., 2019), в котором тщательно измеряется влияние многих ключевых гиперпараметров и размера обучающих данных. Мы обнаружили, что BERT был значительно недообучен и может сравниться или превзойти по производительности все опубликованные после него модели. Наша лучшая модель демонстрирует передовые результаты на GLUE, RACE и SQuAD. Эти результаты подчеркивают важность ранее не учтенных проектных решений и поднимают вопросы об источниках недавно опубликованных улучшений. Мы публикуем наши модели и код. Авторы: Лю Иньхан, Майл Отт, Наман Гоял, Цзинфэй Ду, Мандар Джоши, Даньци Чен, Омер Леви, Майк Льюис, Люк Зеттлмойер, Веселин Стоянов https://arxiv.org/abs/1907.11692 Ютуб:    / yannickilcher   Твиттер:   / ykilcher   Умы: https://www.minds.com/ykilcher BitChute: https://www.bitchute.com/channel/10a5...