Тестирование для дата-инженеров. Гайд от А до Я: PyTest, Airflow, ETL, Python, Coverage, SQL скачать в хорошем качестве

Тестирование для дата-инженеров. Гайд от А до Я: PyTest, Airflow, ETL, Python, Coverage, SQL

🔥 Хочешь научиться тестировать код и пайплайны как настоящий дата-инженер (data engineer)? Этот ролик — полный гайд "от А до Я" по тестированию в Data Engineering: PyTest, Airflow, покрытие, юнит- и интеграционные тесты, SQL, мок, patch и лучшие практики. Ссылки: Менторство/консультации по Data Engineering — https://korsak0v.notion.site/Data-Eng... TG-канал — https://t.me/DataLikeQWERTY Instagram —   / i__korsakov   Habr — https://habr.com/ru/users/k0rsakov/pu... 🔍 Что в видео: 🛠️ Как устроено тестирование кода в data engineering проектах ⚡ Разбор PyTest, mock, patch и fixtures для проверки ETL/ELT логики 📈 Как тестировать Python-функции, Airflow DAG и задачи 📊 Покрытие тестами (coverage): почему 100% — не всегда 100%? 🎯 Тестирование работы с базами данных и SQL ("настоящий" интеграционный тест!) 🔥 Лучшие практики: структура тестов, деление на unit/integration, naming и документация ⚡ Разбор типовых ошибок и антипаттернов (и как их избегать) 💡 Практические советы для индивидуальной работы и командной разработки 💬 Ответы на вопросы и советы по процессу тестирования в команде 🗂️GitHub репозиторий с кодом: https://github.com/k0rsakov/pet_proje... ✉️ Вопросы, обучение, консультации — пиши в личку: https://korsak0v.notion.site/Data-Eng... 💡 В конце — рекомендации, как строить процесс тестирования так, чтобы находить баги ДО продакшена, экономить время на ручной проверке и делать свою работу в удовольствие! Таймкоды: 00:00 – Начало 00:23 – О тестировании (Теория) 04:29 – Запуск первого простого теста 05:50 – Запуск второго простого теста 06:55 – Запуск и разбор третьего теста с пояснением 09:31 – Запуск тестов через терминал/командную строку/CLI 11:01 – Разбор плохого написания DAG для тестирования 14:13 – Разбор хорошего написания DAG для тестирования 18:31 – Организация тестов в проекте. Два подхода. 19:20 – Разбор тестов функций для DAG. Ручки. Интерфейсы. 21:57 – Теги для тестов 25:50 – Тестирование API 29:29 – Разбор интеграционного теста 33:25 – Разбор логирования в тестах при тестировании 35:05 – Разбор тестирования самого DAG и его объектов 42:24 – Тестирование базы мета-данных Airflow (тестирование метастора, тестирование хранилища мета-данных) 49:16 – Запуск всех тестов 49:41 – Разбор покрытия тестами (coverage) 52:13 – Рекомендации #pytest #dataengineering #python #airflow #etl #testing #unittest #integrationtest #coverage #sql #dataengineer #tutorial #bestpractice