ORPO: НОВЫЙ метод выравнивания DPO и SFT для LLM скачать в хорошем качестве

ORPO: НОВЫЙ метод выравнивания DPO и SFT для LLM

Вместо классического выравнивания SFT и DPO для обучения наших LLM доступен новый метод. Инновационный монолитный алгоритм оптимизации отношения шансов ORPO, не требующий референтной модели, устраняет необходимость в дополнительной фазе выравнивания предпочтений. Новый метод SFT с выравниванием предпочтений. Мы рассматриваем эту идею с точки зрения теоретической физики и отмечаем сходство с методологиями регуляризационных членов. Мы также исследуем концептуальное сходство между множителем Лагранжа и новыми поправочными членами в дополнение к классическому функционалу потерь SFT. Показатели производительности ORPO приведены в сравнении с моделями LLama 2 и Mistral 7B. ORPO: Монолитная оптимизация предпочтений без референтной модели https://arxiv.org/pdf/2403.07691v2.pdf