bulgakov

QA: проверять требования, а не уверенность модели

После урока

вы построите набор проверок, который ловит существенные дефекты, и сможете отличить полезный тест от формального зелёного отчёта.

Откуда берётся правильный ответ

Тесту нужен oracle — основание, определяющее правильность. Это может быть согласованное бизнес-правило, математическое свойство, эталонный набор данных или результат независимого расчёта. Если реализацию и ожидаемые значения сочинила одна модель из одного расплывчатого запроса, они могут согласованно ошибаться.

Для скидки oracle — таблица порогов и правило округления. Для прав доступа — матрица ролей и владения. Для отчёта — независимый расчёт на маленьких данных. Для ответа по документам — поддерживающий фрагмент актуального источника. Подходящий oracle выбирается до массовой генерации тестов.

Классы эквивалентности и границы

Не нужно проверять тысячу случайных положительных сумм, если ошибка живёт в одной границе. Разделите входы: допустимые ниже порога, точный порог, выше порога, ноль, отрицательные, неправильные типы, экстремальные значения. Затем выберите представителей каждого класса и соседние точки границ.

Для текстового поля добавьте пустую строку, пробелы, длинное значение, Unicode и невалидный формат. Для даты — переход суток, временную зону и недоступную дату. Для разрешений — отсутствие доступа и доступ к объекту другого пользователя. Для повторов — одинаковый ключ с одинаковыми и разными аргументами.

ИИ хорошо помогает перечислять классы, но список следует соотнести с риском. Проверка экзотического Unicode не должна вытеснять проверку двойного списания. Сначала обнаружьте дефекты с большим ущербом, затем расширяйте покрытие по наблюдаемым проблемам.

Свойства и метаморфные проверки

Иногда точный ответ неизвестен, но известны отношения. Цена после скидки не должна быть отрицательной. Повтор одного события не должен увеличивать число уникальных заказов. Перестановка независимых строк не должна менять итоговую выручку. Добавление закрытого документа не должно влиять на ответ пользователя без доступа.

Такие проверки называются проверками свойств или метаморфными отношениями. Они сильны тем, что охватывают много входов без ручного эталона для каждого. Однако свойство должно действительно следовать из контракта. Например, итоговая цена не обязательно монотонна прямо на пороге новой скидки: сумма 9 999 может дать итог больше, чем сумма 10 000. Не вводите красивое, но неверное свойство.

Мутации

Проверка чувствительности тестов отвечает на вопрос: заметим ли мы конкретный дефект? Временно замените >= на >, удалите фильтр доступа, измените COUNT(DISTINCT order_id) на COUNT(*). Если всё остаётся зелёным, либо дефект несущественен для контракта, либо тесты его не покрывают.

В учебных файлах уже есть тесты границ и негативных случаев. Для упражнения меняйте копию, чтобы не потерять рабочий эталон. Не оценивайте качество только процентом покрытия строк. Выполненная строка может не иметь содержательной проверки результата; 100% coverage совместимы с серьёзным дефектом.

Уровни проверок

Unit-тесты быстры и локальны. Интеграционные подтверждают взаимодействие с базой или библиотекой. Контрактные проверяют соглашение между сервисами. End-to-end проходят пользовательский маршрут. Нагрузочные измеряют поведение при заданной конкуренции и объёмах. Проверки безопасности оценивают доступы и нежелательные действия.

Выбирайте минимальный набор, который закрывает риск изменения. Для чистой функции достаточно нескольких сильных unit-тестов. Для отправки сообщения нужны проверки очереди, повторов и интеграции. Для изменения UI добавляются реальные состояния браузера или устройства. Не создавайте сложную тестовую инфраструктуру ради одной обратимой косметической правки.

Тестирование LLM-ответов

Ответы модели вариативны. Точное сравнение всей строки часто слишком хрупко. Разделите оценку: структура; обязательные поля; проверяемые факты; соответствие источнику; полнота; отказ при нехватке данных; отсутствие запрещённого действия. Для некоторых задач нужен человек с предметным знанием.

LLM-as-judge удобен как масштабируемый помощник оценки, но может предпочитать длинный стиль, угадывать бренд или повторять ошибку оцениваемой модели. Дайте ему рубрику и независимые основания, скрывайте названия кандидатов, проверяйте согласие с человеком на части примеров. Не используйте единственную модельную оценку как доказательство отсутствия утечек или корректности денег.

LangSmith поддерживает offline-оценку на наборах и online-оценку реальных взаимодействий. Promptfoo позволяет сравнивать варианты промптов и моделей на заданных кейсах. Инструмент организует процесс, но хороший набор случаев и критерии нужно создать вам. S33, S34

Данные для тестов

Синтетические данные помогают не использовать реальные персональные сведения. Однако ИИ может сгенерировать невалидный идентификатор, невозможную дату или неверную контрольную сумму. Если поле должно соответствовать формату, проверяйте его детерминированным валидатором. Для платёжных интеграций используйте официальные тестовые реквизиты песочницы, а не случайно придуманные номера.

Сохраняйте происхождение fixtures и фиксируйте seed генератора, когда он применим. Реалистичность внешнего вида не означает реалистичное распределение: равномерно сгенерированные продажи не отражают сезонность, корреляции и пропуски. Выводы по учебным данным остаются учебными.

Практикум

В templates/test_matrix.md составьте 12 сценариев для помощника поддержки: четыре обычных, четыре граничных, два с отсутствующим основанием и два с нарушением доступа. Для каждого укажите риск, oracle, вход и ожидаемое поведение. Затем найдите три сценария, которые нельзя проверить сравнением текста.

Критерий: каждый тест связан с возможным дефектом, а его ожидаемый результат имеет независимое основание. В отчёте нет обещания «ошибок больше не бывает»; есть описание проверенного пространства и оставшихся рисков.

Почему длинная цепочка требует отдельных проверок

В условной системе каждый из 100 независимых шагов проходит правильно с вероятностью 99%. Вероятность, что все шаги правильны, равна 0,99 в степени 100, то есть примерно 36,6%. Вероятность хотя бы одной ошибки — около 63,4%. Это иллюстративная модель независимых одинаковых шагов, а не измерение реального агента: в практике ошибки могут быть зависимыми, исправляться или накапливаться иначе.

Вывод для проектирования: проверяйте промежуточные результаты и сокращайте ненужные действия. Если ошибка поиска обнаружена до отправки сообщения, её можно исправить без внешнего ущерба. Если вся проверка отложена до конца длинной цепочки, восстановление становится дороже. У каждого контрольного пункта должен быть конкретный сигнал остановки, а не общее пожелание «проверить внимательнее».


Скачать практикумы и рабочие шаблоны.