Как разбить русский текст на токены | Обработка естественного языка скачать в хорошем качестве

Как разбить русский текст на токены | Обработка естественного языка

Библиотеки для токенизации текста на Python 00:00 - Токенизация теста 01:56 - Токенизация с NLTK 03:03 - Токенизация с TensorFlow 05:44 - Токенизация со spaCy Ссылка на нойтбук из видео – https://colab.research.google.com/dri... Библиотеки для токенизации текста: Natural Language Toolkit (NLTK) – https://www.nltk.org/ TensorFlow Text – https://www.tensorflow.org/text/guide... spaCy – https://spacy.io SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing – https://aclanthology.org/D18-2012/ Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина" вКонтакте - https://vk.com/avsozykin telegram - https://t.me/a_sozykin Мой сайт - https://www.asozykin.ru Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках -    / andreysozykincs