Константин Доблер — Дистилляция токенов и будущее инициализации встраивания для передачи токениза... скачать в хорошем качестве

Константин Доблер — Дистилляция токенов и будущее инициализации встраивания для передачи токениза...

В этом докладе я расскажу о недостатках существующих методов инициализации эмбеддингов, представлю нашу недавнюю статью «Дистилляция токенов» о том, как решить некоторые из этих проблем, и поделюсь своими мыслями о будущем исследований в области инициализации эмбеддингов. Я аспирант в подразделении ELLIS в Потсдаме и Институте Хассо Платтнера, мои научные руководители — Жерар де Мело и Десмонд Эллиотт (Копенгагенский университет). Мои исследования сосредоточены на многоязычных LLM и эмбеддингах, в частности, на инициализации эмбеддингов для переноса токенизатора. Этот доклад организован сообществом Cohere Labs Open Science Community — пространством, где исследователи машинного обучения, инженеры, лингвисты, социологи и люди, стремящиеся к непрерывному обучению, общаются и сотрудничают друг с другом. Мы хотели бы выразить особую благодарность Харше Нелатуру и Андрею Йовановичу, руководителям нашей группы систем и теории машинного обучения, за их самоотверженную работу по организации этого мероприятия. Если вы заинтересованы в том, чтобы поделиться своей работой, мы будем рады видеть вас в нашей команде! Просто заполните форму по ссылке https://forms.gle/ALND9i6KouEEpCnz6, чтобы выразить своё желание выступить в качестве докладчика. Присоединяйтесь к сообществу Cohere Labs Open Science, чтобы увидеть полный список предстоящих мероприятий (https://tinyurl.com/CohereLabsCommuni....