Как создать RAG-конвейер с помощью Apache Airflow (пошаговая инструкция) скачать в хорошем качестве

Как создать RAG-конвейер с помощью Apache Airflow (пошаговая инструкция)

Вы пытаетесь перенести свои приложения для генерации данных с дополненной реальностью (RAG) из Jupyter Notebook в продакшн? В этом видео я покажу вам, как создать масштабируемый автоматизированный конвейер RAG с использованием Apache Airflow. 🚀 Поддержите канал и получите исходный код: https://patreon.com/TheDataGuy?utm_me... ⚡ Выйдите на новый уровень в своей карьере: https://apps.apple.com/us/app/careerc... Хотя создать базовое приложение RAG легко, поддерживать конвейер обработки данных, который его питает, сложно. Мы рассмотрим, как организовать весь рабочий процесс: от загрузки необработанных данных и генерации векторных вложений до обновления вашей векторной базы данных, чтобы поддерживать актуальность контекста вашего LLM. Если вы инженер по данным, стремящийся начать карьеру в GenAI, или специалист по ИИ, которому необходима более эффективная оркестрация, этот проект для вас. В этом видео вы узнаете: ✅ Архитектуру: как Airflow вписывается в стек GenAI/LLM. ✅ Ввод данных: автоматическое извлечение текста из PDF-файлов/документов. ✅ Векторные встраивания: автоматизация процесса разбиения на фрагменты и встраивания (с использованием OpenAI/LangChain). ✅ Обновление/вставка: эффективное обновление вашей векторной базы данных (Pinecone/Weaviate/pgvector). ✅ Оркестрацию: планирование конвейера для обеспечения постоянного наличия у вашего ИИ самых актуальных данных.