15. Пропуск операции копирования при отсутствии данных в АПД | Инкрементальная загрузка с использ... скачать в хорошем качестве

15. Пропуск операции копирования при отсутствии данных в АПД | Инкрементальная загрузка с использ...

Добро пожаловать на 15-й урок начального курса по Azure Data Factory 🚀 -------------------------------------------------- 📺 Плейлист начального курса по Azure Data Factory: Azure Data Factory – для начинающих (с нуля) -------------------------------------------------- В этом уроке вы узнаете, как ПРОПУСТИТЬ операцию копирования в Azure Data Factory (ADF), если в источнике отсутствуют новые или инкрементальные данные. Это критически важный шаблон проектирования для работы в режиме реального времени и на предприятиях, который позволяет избежать ненужных выполнений конвейеров, снизить затраты Azure и обеспечить чистоту и предсказуемость конвейеров. -------------------------------------------------- 🔹 Постановка проблемы: -------------------------------------------------- По умолчанию операция копирования выполняется каждый раз: ❌ Даже если доступно НОЛЬ записей ❌ Среда выполнения интеграции все равно запускается ❌ Подключения к источнику и целевому объекту все еще открыты ❌ Генерируются журналы и метрики ❌ Расходы Azure все еще не понесены 🚫 Нулевое количество записей ≠ Нулевые расходы CREATE TABLE Source_Orders ( OrderID INT, CustomerName VARCHAR(100), OrderAmount DECIMAL(10,2), LastModifiedDate DATETIME ); INSERT INTO Source_Orders VALUES (1, 'Ravi', 1000, '2026-01-01 10:00:00'), (2, 'Anita', 1500, '2026-01-02 11:00:00'), (3, 'John', 2000, '2026-01-03 09:30:00'); CREATE TABLE Target_Orders ( OrderID INT, CustomerName VARCHAR(100), OrderAmount DECIMAL(10,2), LastModifiedDate DATETIME ); Шаг 1: SELECT ISNULL(MAX(LastModifiedDate), '1900-01-01 00:00:00') AS MaxLastModifiedDate FROM Target_Orders; Шаг 2: SELECT COUNT(1) AS IncrementalCount FROM Source_Orders WHERE LastModifiedDate '@{activity('Lookup1').output.firstRow.MaxLastModifiedDate}' Шаг 3: @greater( activity('Lookup2').output.firstRow.IncrementalCount, 0 ) Шаг 4: SELECT COUNT(1) AS IncrementalCount FROM Source_Orders WHERE LastModifiedDate '@{activity('Lookup1').output.firstRow.MaxLastModifiedDate}' Перед выполнением 3: INSERT INTO Source_Orders VALUES (4, 'Mallaiah', 3000, '2026-01-04 08:15:00'); ОБНОВИТЬ Source_Orders УСТАНОВИТЬ OrderAmount = 1800, LastModifiedDate = '2026-01-04 09:00:00' ГДЕ OrderID = 2; -------------------------------------------------- 🔹 Решение, рассмотренное в этом видео: -------------------------------------------------- Мы реализуем шаблон обязательной проверки с использованием: 1️⃣ Lookup1 – Получение значения последнего обработанного водяного знака 2️⃣ Lookup2 – Проверка количества записей с приращением 3️⃣ Условие IF – Контрольная точка принятия решения 4️⃣ Действие копирования – Выполняется ТОЛЬКО при наличии данных 👉 В этой схеме не используется таблица метаданных. -------------------------------------------------- 🔹 Темы, рассмотренные в этом видео: -------------------------------------------------- Почему операция копирования НЕ должна выполняться для нулевых записей Скрытая стоимость операции копирования нулевых строк Почему Lookup2 + условие IF является обязательным Анализ корпоративных сценариев в реальном времени (сценарии 90% против 10%) Объяснение инкрементальной загрузки по дням (День 1, День 2, День 3) Обзор архитектуры Практическая демонстрация с использованием Azure SQL DB Веское сравнение с неправильными проектами конвейеров Когда (и когда НЕ) следует пропускать этот шаблон Преимущества этого подхода Лучшие практики для производственных конвейеров -------------------------------------------------- Почему этот шаблон важен: -------------------------------------------------- Экономия затрат Azure 💰 Более быстрое выполнение конвейера ⚡ Чистые журналы и мониторинг 📊 Предсказуемое поведение конвейера Проектирование корпоративного уровня 🏭 -------------------------------------------------- Что вы узнаете дальше (сессия) 16): -------------------------------------------------- Инкрементальная загрузка с использованием файлового водяного знака (JSON-файл вместо таблицы базы данных) -------------------------------------------------- 🎓 Учебный институт Cloudpandith – Azure Data Engineering -------------------------------------------------- Изучите Azure Data Engineering у опытных отраслевых экспертов, с упором на практическую реализацию и сценарии реальных проектов. 🌐 Подробная информация о курсе и программа: https://www.cloudpandith.com 🧪 Демонстрация Azure Data Engineer: Каждую субботу | 10:00 утра по индийскому стандартному времени 📲 WhatsApp для получения подробной информации о курсе: https://wa.me/918904424822 📅 Запишитесь на индивидуальную консультацию с тренером: https://meetpro.club/mallaiahsomula 📍 Информация о тренере: https://goo.gl/maps/9jGub6NfLH2jmVeGA 📞 Контакт: 8904424822 ------------------------------------ 📚 Бесплатные материалы для практики (по желанию) ------------------------------------ Видео с вопросами с множественным выбором. Если вы хотите получить тесты с множественным выбором в формате документа (БЕСПЛАТНО), вы можете по желанию...