Обучение экзотическим языкам программирования больших языковых моделей (автор: Алессандро Джаньорио) скачать в хорошем качестве

Обучение экзотическим языкам программирования больших языковых моделей (автор: Алессандро Джаньорио)

Представьте, что вы просите компьютер создать целое приложение с нуля, и он делает это мгновенно, просто понимая ваши слова. Это уже не научная фантастика. Большие языковые модели (LLM) меняют подход к написанию программного обеспечения, помогая разработчикам и даже неразработчикам создавать код с беспрецедентной легкостью. Но есть один нюанс. Эти модели свободно владеют самыми популярными в мире языками программирования, такими как Python или Java, и испытывают трудности при работе с диалектами индустрии: внутренними языками программирования, которые компании создают для решения своих уникальных задач. LLM часто не имеют достаточных знаний этих языков, что затрудняет их помощь в этих специализированных областях. По этой причине внутренние языки программирования воспринимаются LLM как экзотические. В этом докладе я поделюсь своим опытом обучения LLM новым и экзотическим языкам программирования. Я покажу проблемы, с которыми мы столкнулись в процессе, и как современные методы, такие как генерация с дополненным поиском, обучение с малым количеством примеров и тонкая настройка моделей с открытыми весами, показали себя в этом контексте. В заключение я поделюсь «секретным рецептом», который мы использовали для успешного обучения этим языкам магистров права, что позволило им помогать в задачах программирования, которые ранее были им недоступны.