bulgakov

Инженерия данных: надёжный поток вместо разового SQL

После урока

вы спроектируете загрузку, которая корректно переживает дубли, обновления и повторный запуск.

От запроса к системе

Разовый анализ отвечает на вопрос по известному снимку данных. Конвейер должен регулярно получать новые данные, обрабатывать изменения и давать объяснимый результат после сбоя. ИИ может быстро написать SQL, но надёжность зависит от контрактов источников и состояния обработки.

Опишите источник, ключ события, версию, время события, время поступления, правила удаления и ожидания свежести. Отличайте event_time от ingested_at: событие могло произойти вчера, а прийти сегодня. Если фильтровать только по дате поступления или только по максимальной дате события, можно потерять поздние изменения.

Слои и контракты

Сырой слой хранит исходное представление с происхождением. Нормализованный слой приводит типы и ключи. Витрина реализует бизнес-определение. Это не обязательные названия для всех проектов, а полезное разделение ответственности. Ошибку преобразования проще найти, когда исходные данные можно восстановить.

Для каждой таблицы укажите гранулярность: одна строка на событие, заказ, позицию, пользователя в день. Добавьте проверки уникальности, непустых ключей и допустимых связей. Документируйте поля, которые можно обновлять, и различайте физическое удаление, логическое удаление и отмену бизнес-операции.

Дубли и версии

В учебном наборе один заказ приходит несколько раз, а позже его статус меняется с paid на refunded. Простое INSERT размножит записи. Простое «оставить первую» пропустит обновление. Нужен устойчивый ключ и правило выбора актуальной версии.

В labs/etl_lab.py ключом является order_id, версия — целое version. Новая запись заменяет старую только при большей версии. Повтор той же версии с тем же содержимым ничего не меняет; с другим содержимым считается конфликтом входных данных. Устаревшая версия не откатывает актуальное состояние. Это учебный контракт; реальный источник может использовать другую семантику.

После загрузки учебных событий остаются три заказа, а оплаченная выручка составляет 30 000 копеек. Повтор всей загрузки должен оставить тот же результат. Добавление старой версии после новой тоже не должно вернуть отменённый платёж в выручку. Эти свойства проверяются автоматически.

Инкрементальная загрузка и backfill

Инкрементальная загрузка обрабатывает изменившуюся часть данных. Backfill пересчитывает прошлый диапазон. Для обоих процессов определите границы окна и атомарность публикации результата. Если витрина сначала удалена, а потом сборка упала, пользователи увидят пустоту. Лучше готовить новый результат отдельно и переключать после проверки, если платформа это поддерживает.

dbt предоставляет механизм инкрементальных моделей; правильность зависит от вашего фильтра, unique_key, выбранной стратегии и особенностей адаптера. Настройка incremental сама по себе не решает поздние данные и конфликты ключей. S52

Типичный подход к поздним данным — перекрывающееся окно пересчёта плюс дедупликация или merge. Но фиксированные «последние три дня» не универсальны: если источник может прислать исправление за месяц, окно должно учитывать это либо нужен отдельный механизм изменений. Измерьте реальную задержку и договоритесь об исключениях.

Временные зоны и схемы

Храните временные метки с понятной зоной или согласованным UTC, а бизнес-день вычисляйте явно. Переход на летнее время означает, что локальные сутки не всегда равны 24 часам. Строка 2026-10-18 10:00 без зоны может быть неоднозначной. Дата выставления счёта и точный момент платежа — разные сущности.

Изменение схемы должно быть контролируемым. Новое необязательное поле обычно легче пережить, чем внезапную смену типа идентификатора. Не поручайте агенту молча приводить всё к строкам ради прохождения загрузки: это может спрятать потерю смысла. Неизвестное значение статуса следует заметить и обработать по правилу, а не случайно отнести к paid.

Качество и наблюдаемость

Полезные сигналы: свежесть последнего события, число строк, доля отбракованных записей, дубли ключей, распределение статусов и расхождение с источником. Порог тревоги выбирайте по обычной вариативности и последствиям. Утреннее отсутствие продаж может быть нормальным для выходного, но ненормальным для круглосуточного сервиса.

Сохраняйте идентификатор запуска, диапазон входа, версию преобразования, число обработанных и отклонённых строк. Лог «ETL completed» мало помогает расследованию. Если агент изменил SQL, должен быть понятен способ сравнить старую и новую витрину на одном снимке.

Доступ к базе

Начинайте исследование с read-only учётной записи и ограниченного набора таблиц. Ограничение должно действовать на сервере, а не только в текстовой просьбе. Для больших таблиц задайте лимит времени и объёма. SELECT может быть дорогим, а в некоторых окружениях функции внутри запроса имеют побочные эффекты; разрешённый набор операций важнее поверхностной проверки первого слова.

Перед миграцией нужны оценка блокировок, совместимость старого и нового приложения, резервный путь и проверка на копии. Не выдавайте агенту production-права только потому, что он правильно написал демонстрационный запрос. Небольшой пилот должен показать поведение на реальных объёмах и ограничениях вашей инфраструктуры.

Практикум

Запустите python3 labs/etl_lab.py. Повторите загрузку, затем поменяйте порядок событий. При одинаковом наборе версий итог должен совпасть. Добавьте конфликт той же версии с другой суммой и проверьте, что он явно обнаруживается. Опишите, как адаптировали бы процесс для источника без номеров версий.

Критерий: вы можете безопасно повторить запуск и объяснить судьбу каждого типа события: нового, дублирующегося, устаревшего, исправляющего и конфликтующего. SQL, который работает только один раз в удачном порядке, не считается законченным конвейером.

Разобранный пример позднего изменения

Заказ оплачен 1 октября, витрина за этот день построена 2 октября. Возврат произошёл 10 октября, а событие пришло 12 октября. Если процесс читает только заказы с датой создания после последнего запуска, возврат потеряется. Если он читает изменения по времени поступления, но пересчитывает только текущий день, прежняя дневная витрина может остаться неправильной.

Сначала решите бизнес-семантику: возврат уменьшает метрику дня возврата или пересчитывает исходную продажу? Затем настройте затрагиваемые разделы витрины и проверку итогов. Оба подхода возможны для разных показателей, но смешивать их незаметно нельзя. Запишите это решение в контракт метрики и проверьте на двух событиях до работы с миллионами строк.


Скачать практикумы и рабочие шаблоны.