[Классика] Word2Vec: Распределенные представления слов и фраз и их композиционность скачать в хорошем качестве

[Классика] Word2Vec: Распределенные представления слов и фраз и их композиционность

#ai #research #word2vec Векторы слов — один из самых влиятельных методов современной обработки естественного языка на сегодняшний день. В данной статье описывается Word2Vec, самый популярный метод получения векторов слов. В статье рассматривается метод негативной выборки как приближение к оценке контрастности шума и показывается, что он позволяет обучить векторы слов из огромных корпусов на одной машине за очень короткое время. ПЛАН: 0:00 — Введение и план 1:50 — Распределённые представления слов 5:40 — Модель Skip-Gram 12:00 — Иерархический Softmax 14:55 — Отрицательная выборка 22:30 — Загадочная мощность 3/4 25:50 — Подвыборка часто встречающихся слов 28:15 — Эмпирические результаты 29:45 — Заключение и комментарии Документ: https://arxiv.org/abs/1310.4546 Код: https://code.google.com/archive/p/wor... Аннотация: Недавно представленная непрерывная модель Skip-Gram — это эффективный метод обучения высококачественных распределённых векторных представлений, которые охватывают большое количество точных синтаксических и семантических связей между словами. В данной статье мы представляем несколько расширений, которые улучшают как качество векторов, так и скорость обучения. Благодаря подвыборке часто встречающихся слов мы достигаем значительного ускорения и также усваиваем больше регулярных представлений слов. Мы также описываем простую альтернативу иерархическому softmax, называемую негативной выборкой. Неотъемлемым ограничением представлений слов является их безразличие к порядку слов и неспособность представлять идиоматические фразы. Например, значения слов «Canada» и «Air» нельзя легко объединить для получения «Air Canada». На этом примере мы представляем простой метод поиска фраз в тексте и показываем, что обучение хорошим векторным представлениям для миллионов фраз возможно. Авторы: Томаш Миколов, Илья Суцкевер, Кай Чен, Грег Коррадо, Джеффри Дин Ссылки: YouTube:    / yannickilcher   Twitter:   / ykilcher   Discord:   / discord   BitChute: https://www.bitchute.com/channel/yann... Minds: https://www.minds.com/ykilcher Parler: https://parler.com/profile/YannicKilcher LinkedIn:   / yannic-kilcher-488534136   Если хотите поддержать меня, лучше всего поделиться контентом :) Если хотите поддержать меня финансово (это совершенно необязательно и добровольно, но многие просили об этом) (это): SubscribeStar: https://www.subscribestar.com/yannick... Patreon:   / yannickilcher   Биткойн (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq Эфириум (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2 Лайткойн (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m Монеро (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n