Как закодировать векторы слов и предложений BERT (встраивание) с помощью Transformers? Theory + C... скачать в хорошем качестве

Как закодировать векторы слов и предложений BERT (встраивание) с помощью Transformers? Theory + C...

До SBERT существовал BERT. Стековый кодер трансформера, двунаправленный. Я покажу вам в теории (2 минуты) и на примере кода (Colab), как строить вложения слов (векторы слов), формируя скрытые состояния каждого из 12 кодеров BERT, и как построить вектор предложения (вложение предложения) из стека кодера в многомерном векторном пространстве. Часть 2 этого видео называется: Код на Python для вложения вектора абзаца BERT с помощью трансформеров (PyTorch, Colab) и ссылка на неё здесь:    • Python Code for BERT Paragraph Vector Embe...   Затем мы можем применить UMAP для уменьшения размерности, сохраняя всю необходимую информацию в многомерном векторном пространстве. Сегодня SBERT быстрее и производительнее, чем векторы предложений BERT. Но BERT обладает некоторыми исключительными скрытыми состояниями для контекстуализированных вложений, которые превосходят статические вложения слов, такие как Word2Vec. Если вы знаете, какие скрытые состояния BERT выбрать для вашего векторного представления. Отличные инструкции онлайн: https://mccormickml.com/2019/05/14/BE... https://peltarion.com/knowledge-cente... Разница между скрытым состоянием CLS (вложение) и пулингом в BERT: https://github.com/huggingface/transf... #datascience #ai #sbert