Тестирование моделей встраивания №5 — встраивание фрагментов текста и вопросов скачать в хорошем качестве

Тестирование моделей встраивания №5 — встраивание фрагментов текста и вопросов

Привет всем! В этом видео мы продолжим серию видео, посвящённых сравнительному анализу моделей встраивания. Мы возьмём текстовые фрагменты и пары «вопрос-ответ», сгенерированные на предыдущих этапах, и с помощью нескольких различных моделей встраивания преобразуем их в числовые представления (плотные векторы). Сначала я кратко расскажу о том, что такое встраивание текста и почему оно так важно для таких задач, как семантический поиск и генерация дополненной информации (RAG). Мы рассмотрим, как они работают, преобразуя текст в «плотные векторы», что позволяет компьютеру понимать семантическое значение. Мы также обсудим, как размер этих векторов влияет на производительность, вычислительные затраты и требования к объёму памяти. После изучения теории мы перейдём сразу к коду. Я покажу вам, как генерировать встраивание, используя популярные проприетарные модели (с закрытым исходным кодом). Мы напишем код Python в блокноте Jupyter для вызова API Google Gemini (с использованием gemini-embedding-001) и API OpenAI (с использованием text-embedding-3-small и text-embedding-3-large). Я также покажу вам, как управлять ограничением скорости API и даже рассчитать общую стоимость вложений OpenAI. Далее мы рассмотрим альтернативы с открытым исходным кодом, которые можно запустить локально. Вы узнаете, как использовать популярную библиотеку sentence-transformers для генерации вложений из таких моделей, как all-MiniLM-L6-v2, и модели Qwen-3 разных размеров (маленькая, средняя и большая). Мы даже рассмотрим, как запускать квантованные модели GGUF с помощью llama.cpp, что позволяет получать высококачественные вложения из мощной модели, работающей полностью на локальном графическом процессоре. На протяжении всего видео мы обработаем все текстовые фрагменты и вопросы, сохраняя все полученные векторы встраивания в один объединённый JSON-файл. Этот файл станет основой для следующего видео, где мы наконец сравним все эти модели друг с другом! Вот ссылка на репозиторий GitHub: https://github.com/ImadSaddik/Benchma... ⭐️ Временные метки (00:00) Вступление (00:16) Что такое встраивание текста? (00:38) Цель встраивания (визуализация t-SNE) (02:30) Имеет ли значение размер встраивания? (04:21) Модели встраивания и выходные параметры (05:32) Проприетарные и модели с открытым исходным кодом (06:14) Таблица лидеров MTEB (06:23) Обновлённая схема конвейера (07:26) Кодирование: генерация встраиваемых моделей с помощью Google Gemini (17:30) Кодирование: генерация встраиваемых моделей с помощью OpenAI (text-embedding-3-small) (24:43) Кодирование: генерация встраиваемых моделей с помощью OpenAI (text-embedding-3-large) (25:21) Кодирование: генерация встраиваемых моделей с помощью all-MiniLM-L6-v2 (27:26) Кодирование: генерация встраиваемых моделей с помощью Qwen3-Embedding-0.6B (29:24) Кодирование: запуск Qwen3-Embedding-4B с помощью llama-server (33:37) Кодирование: запуск Qwen3-Embedding-8B с llama-server (36:28) Конец