Простые глубокие нейронные сети для классификации текста скачать в хорошем качестве

Простые глубокие нейронные сети для классификации текста

Привет. В этом видео мы применим нейронные сети к тексту. Давайте сначала вспомним, что такое текст? Вы можете представить его как последовательность символов, слов или чего-то ещё. В этом видео мы продолжим рассматривать текст как последовательность слов или токенов. Давайте вспомним, как работает мешок слов. У вас есть каждое слово, каждое из которых уникально, в вашем наборе данных, есть столбец признаков. И вы фактически векторизуете каждое слово с помощью вектора, закодированного методом прямого кодирования, который представляет собой огромный вектор нулей, содержащий только одно ненулевое значение, которое находится в столбце, соответствующем этому конкретному слову. Итак, в этом примере у нас есть слова «очень, хорошо» и «фильм», и все они векторизованы независимо. И в этой ситуации, для реальных задач, у вас есть сотни тысяч столбцов. И как нам получить представление мешка слов? Вы видите, что мы можем суммировать все эти значения, все эти векторы, и получаем векторизацию мешка слов, которая теперь соответствует слову «очень, хорошо, фильм». Итак, было бы неплохо представить себе представление мешка слов как сумму разреженных векторов, кодированных методом прямого кодирования, соответствующих каждому конкретному слову. Хорошо, давайте перейдем к нейронной сети. И в отличие от разреженного способа, который мы видели в мешке слов, в нейронных сетях мы обычно предпочитаем плотное представление. Это означает, что мы можем заменить каждое слово плотным вектором, который гораздо короче. Он может иметь 300 значений, и теперь в этих векторах есть все действительно значимые элементы. Примером таких векторов являются вложения word2vec, которые являются предобученными вложениями, выполняемыми без учителя. И мы на самом деле углубимся в подробности word2vec в течение следующих двух недель. Но все, что нам нужно знать прямо сейчас, это то, что векторы word2vec обладают одним полезным свойством. Слова, имеющие схожий контекст с точки зрения соседних слов, как правило, имеют коллинеарные векторы, которые фактически указывают примерно в одном направлении. И это очень полезное свойство, которое мы будем использовать в дальнейшем. Итак, теперь мы можем заменить каждое слово плотным вектором из 300 действительных значений. Что нам делать дальше? Как нам получить дескриптор признаков для всего текста? Фактически, мы можем использовать тот же метод, что и для «мешка слов». Мы можем просто вычислить сумму этих векторов, и у нас получится представление, основанное на векторных представлениях word2vec для всего текста, как в очень хорошем фильме. И это лишь некоторые примеры того, как векторы word2vec действительно работают на практике. Они могут дать вам отличный базовый дескриптор, базовые признаки для вашего классификатора, и это действительно может работать довольно хорошо. Другой подход — создание нейронной сети на основе этих векторных представлений.