bulgakov

Аналитика, BI и эксперименты

После урока

вы рассчитаете метрики воспроизводимо и научитесь замечать, где ИИ подменяет корректный вывод убедительным объяснением.

Начните с определения метрики

«Выручка» может означать сумму созданных заказов, оплаченных заказов, признанных услуг или платежей за вычетом возвратов. «Активный пользователь» зависит от события и периода. «Средний чек» требует определения заказа, статусов, валюты и знаменателя. До SQL запишите формулу словами и на маленьком примере.

Контракт метрики содержит сущность, единицу строки, окно времени, фильтры, валюту, правила возвратов, часовой пояс, дедупликацию и источник истины. ИИ можно поручить найти неоднозначности, но бизнес-определение подтверждает владелец метрики. Не позволяйте красивому графику закрепить случайную трактовку.

JOIN меняет вес строк

В учебной базе три оплаченных заказа на 10 000, 20 000 и 10 000 копеек. Выручка 40 000, число заказов 3, средний чек 13 333,33 копейки. У заказов разное число позиций: два, одна и три. После соединения с позициями получится шесть строк. Сумма повторяющегося order_total станет 70 000.

Как JOIN размножает сумму

Учебные данные: три оплаченных заказа, суммы в копейках.

  1. До соединенияЗаказ 1: 10 000 × 2 позиции. Заказ 2: 20 000 × 1 позиция. Заказ 4: 10 000 × 3 позиции.
  2. После JOINШесть строк: 10 000, 10 000, 20 000, 10 000, 10 000, 10 000. Сумма ошибочно выросла до 70 000.
  3. Правильный расчётСчитать по заказам: 40 000 / 3 = 13 333,33 коп. среднего чека.
SUM(DISTINCT total) тоже ошибочен: одинаковые суммы разных заказов схлопнутся до 30 000.

COUNT(DISTINCT order_id) исправляет только знаменатель. Если числитель остался размноженным, ответ всё равно неверен. SUM(DISTINCT order_total) тоже не спасает: два разных заказа могут иметь одинаковую сумму. В нашем примере получится 30 000 вместо 40 000.

Решение — считать на правильном уровне: агрегировать заказы до JOIN, агрегировать позиции до одной строки на заказ или вообще не соединять таблицу, если она не нужна. Для каждого соединения задавайте вопрос: сколько строк слева соответствует одной строке справа? Уникальность ключа должна подтверждаться ограничением или проверкой данных.

В labs/sql_lab.py приведены неверный и правильный расчёты. Запустите python3 labs/sql_lab.py и объясните разницу до чтения решения. Это детерминированная учебная база, поэтому результат можно проверить вручную.

Проверка качества данных

До графиков изучите диапазоны, пропуски, дубли, уникальность ключей, допустимые статусы и временные границы. Сверьте итоги на независимом разрезе. Например, сумма по дням должна совпадать с суммой за весь период при одинаковых фильтрах. Несовпадение — повод расследовать гранулярность, зону времени или удалённые записи.

Показывайте долю исключённых строк и причины. Если агент молча удалил все пропуски, выборка могла стать смещённой. Пропуск возраста и пропуск суммы платежа имеют разные последствия. Не подставляйте ноль вместо неизвестной суммы без смыслового основания: «неизвестно» и «реально ноль» различаются.

Корреляция и причинность

После акции продажи выросли на 20%. Это наблюдение не доказывает, что акция вызвала рост. Могли измениться сезон, цены, рекламный канал, состав клиентов или доступность товара. ИИ легко придумает причинное объяснение, если попросить «объяснить рост» без альтернативных гипотез.

Лучший запрос: «Перечисли конкурирующие объяснения. Для каждого укажи наблюдение, которое его поддержит или ослабит. Раздели описательные факты, гипотезы и причинные выводы». Если нужен причинный эффект, проектируйте эксперимент или подходящий квазиэксперимент с предметными предпосылками.

A/B-тест по шагам

Сначала определите единицу рандомизации: пользователь, организация или сессия. Затем основную метрику, минимально полезный эффект, размер выборки и срок наблюдения. Проверьте, не влияет ли один участник на другого, нет ли перетекания между группами и соответствует ли фактическое распределение плану.

Предположим, из 1 000 пользователей контроля покупку сделали 50, из 1 000 теста — 65. Конверсии 5% и 6,5%; абсолютная разница 1,5 процентного пункта, относительный рост 30%. При простой нормальной аппроксимации независимых долей приблизительный 95%-интервал разницы — от −0,54 до 3,54 процентного пункта. Интервал включает ноль: данных недостаточно для уверенного положительного вывода этим методом. Это не доказывает отсутствие эффекта.

Для редких событий, сложной рандомизации и последовательного наблюдения нужны подходящие методы. Ежедневно смотреть обычный p-value и завершать при первом «успехе» меняет вероятность ложного вывода. Для отношения сумм, например выручки к числу пользователей, единица анализа и способ оценки неопределённости особенно важны. Bootstrap может быть полезен, но ресемплировать нужно независимые единицы, а не произвольные строки событий. S56

CUPED использует предэкспериментальную информацию для снижения дисперсии при подходящих предпосылках. Это не кнопка, автоматически исправляющая плохую рандомизацию, смещение или утечку данных из будущего. Если вы не можете объяснить, какие наблюдения входят в ковариату, не передавайте расчёт модели без проверки специалистом.

Retention и неполное наблюдение

Для удержания определите старт когорты, событие возврата и временные окна. Пользователь, пришедший вчера, ещё не имел возможности вернуться на седьмой день. Включить его в знаменатель D7 как невозвратившегося — значит искусственно занизить метрику. Это правое цензурирование: исход ещё не успел наблюдаться.

Сравнивайте когорты с одинаковой зрелостью и не смешивайте календарные недели с окнами от момента регистрации. Уточните, считается ли возврат в любой момент после дня семь или именно в интервале дня семь. Обе метрики возможны, но отвечают на разные вопросы.

График и рассказ

График должен помогать сравнить данные: читаемые подписи, единицы, интервалы, понятный масштаб и видимые пропуски. Не начинайте ось столбчатой диаграммы с произвольного значения ради драматического эффекта. Не используйте цвет как единственный носитель категории. Для сравнения небольшого числа точных значений таблица часто лучше декоративной инфографики.

Просите агента отдельно написать наблюдения и интерпретации. «В сегменте A конверсия выше» — наблюдение при корректном расчёте. «Клиенты A более лояльны» — гипотеза, которую эти данные могут не подтверждать. Вывод должен соответствовать силе доказательства.

Практикум

Рассчитайте показатели из labs/sql_lab.py, подготовьте записку на пять предложений и укажите три ограничения учебной выборки. Затем измените число позиций одного заказа, сохранив его сумму. Правильная метрика уровня заказа не должна измениться. Составьте план A/B-теста для нового интерфейса поддержки без выдуманного готового результата.

Критерий: ваш расчёт воспроизводится, единицы и знаменатели явны, а причинные утверждения не выходят за пределы дизайна исследования.


Скачать практикумы и рабочие шаблоны.