Разборы заданий и ожидаемые результаты
Здесь приведены опорные ответы, а не единственно допустимые формулировки. Сначала выполните упражнение, затем сравните логику. Хорошее решение может отличаться от образца, если оно соблюдает контракт и имеет доказательства.
Уроки 01–04: цель, основы, выбор и контекст
Проверяемая цель содержит действие, условия, артефакт и критерий. «Научиться ИИ» слишком широко. «Подготовить исследовательскую записку по двум инструментам с пятью проверенными утверждениями и собственным сравнением на 20 задачах» можно принять или вернуть на доработку.
Большой контекст ограничивает объём доступного входа, но не гарантирует одинаковую точность извлечения. Калькулятор исполняет явную операцию, тогда как текстовое вычисление может быть правдоподобной генерацией. Локальный клиент описывает место запуска интерфейса; локальная модель — место вычисления весов. Память приложения обычно реализуется хранением и повторной подачей данных.
Выбор модели должен опираться на одинаковые задания, заранее заданную рубрику и полную стоимость. Если кандидат A даёт 18 принятых ответов из 20, а B — 17, это небольшая разница на малой выборке; одного такого запуска мало для категоричного вывода. Если A раскрывает закрытый документ, он не проходит обязательное условие независимо от среднего балла.
Контракт «проанализируй продажи» должен уточнить оплаченные или созданные заказы, валюту, период, возвраты, часовой пояс и уровень строки. Для «улучши текст» важны аудитория, цель и допустимость изменения фактов. Для «почини баг» нужны шаги, наблюдаемое и ожидаемое поведение, версия и ограничение области изменения.
Урок 05: исследование
Хорошая записка различает свойства продукта из документации, результаты собственного опыта и вывод автора. Пример ограничения: «Пять тестовых вопросов не покрывают длинные документы и конфликт прав». Пример неизвестного: «Не проверена доступность нужной модели для нашего корпоративного аккаунта». Пример следующего эксперимента: «Добавить 10 вопросов с двумя источниками и измерить полноту основания».
Если два источника расходятся по цене, сначала сравните дату, регион, режим, кэширование и единицу. Если они расходятся по результату benchmark, проверьте состав задач и методику. Среднее несопоставимых чисел не является разрешением противоречия.
Уроки 06–07: код и backend
Правильный отчёт по изменению содержит цель, существенный diff, выполненные проверки и остаточную неопределённость. Фраза «готово, всё работает» недостаточна, если интеграция не запускалась. Для небольшой функции не требуется длинный архитектурный отчёт; нужны точные условия и доказательства.
Ожидаемые значения цены: 9 999 → 9 999; 10 000 → 9 000; 10 001 → 9 001; 10 005 → 9 004. Отрицательная сумма, строка и True отклоняются. При ставке 0 итог равен исходной сумме; при 10 000 bps и выполненном пороге итог ноль. Ставка за пределами 0–10 000 недопустима.
Повтор создания заказа с одинаковыми пользователем, ключом и суммой возвращает тот же результат. Тот же ключ с другой суммой вызывает конфликт. Два разных пользователя могут использовать одинаковую строку ключа, потому что область уникальности в учебном контракте включает пользователя. Уникальное ограничение и транзакция защищают от конкурентного дубля; проверка if not exists сама по себе этого не обеспечивает.
Уроки 08–10: интерфейсы и QA
Матрица UI должна различать пустую базу и пустой результат фильтра, ошибку и загрузку, сохранённый локально черновик и подтверждённую сервером отправку. После сетевого сбоя текст не теряется, повтор не создаёт дубль, а пользователь понимает состояние.
В mobile-кейсе нужно хранить черновик вне временной памяти экрана и определить конфликт версий. Повтор после неизвестного результата отправки сначала сверяет состояние операции. Тест на эмуляторе не подтверждает все свойства реального устройства.
Тест, не падающий после намеренной замены >= на >, вероятно не проверяет точный порог. Полезное свойство ETL — повтор загрузки не меняет состояние. Неправильное свойство цены — обязательная монотонность через порог скидки: контракт может допускать снижение итога. Для проверки доступа нужен анализ полученных документов и действий, а не только сходство финального текста с эталоном.
Уроки 11–12: SQL и загрузка
В учебной базе оплачены заказы 1, 2 и 4. Их суммы — 10 000, 20 000 и 10 000 копеек. Правильная выручка 40 000, число заказов 3, средний чек 13 333,33 копейки. JOIN с позициями создаёт шесть строк и неверную сумму 70 000. Деление этой суммы на три не исправляет числитель. SUM(DISTINCT total) даёт 30 000, потому что одинаковые суммы разных заказов схлопываются.
Изменение числа позиций при неизменной сумме заказа не должно менять метрику уровня заказов. Это удобная метаморфная проверка. По такому маленькому искусственному набору нельзя делать выводы о сезонности, поведении клиентов и эффекте акции.
В ETL актуальное состояние содержит три заказа. Первый возвращён, второй и третий оплачены; выручка 30 000 копеек. Повтор, перестановка событий и позднее поступление старой версии не меняют результат. Конфликт одинаковой версии с разным содержимым должен быть заметен, а не разрешаться случайным порядком строк. В реальном источнике без версий потребуется иной согласованный способ определения актуальности; одна дата загрузки может быть недостаточна.
В A/B-примере рост 1,5 процентного пункта равен относительным 30%, но интервал неопределённости включает ноль. Нельзя утверждать гарантированный рост. Нельзя также утверждать, что эффект строго равен нулю. Для D7 retention исключаются пользователи, для которых ещё не завершилось окно наблюдения.
Уроки 13–14: RAG и действия
Публичный вопрос о возврате должен находить returns_public, действующий с 01.10.2026. returns_old завершил действие 30.09.2026. vip_private доступен только соответствующей группе. Наличие точных слов в закрытом документе не даёт права передать его модели.
Лексический поиск из комплекта не понимает все смысловые перефразирования. Словарь нескольких синонимов не превращает его в embedding-модель. Его задача — показать фильтры, происхождение и оценку. После подключения LLM нужна отдельная проверка, что текст ответа действительно следует из фрагмента.
Одобрение отправки связывается с конкретными аргументами. Изменённый текст или получатель требуют нового одобрения. Поиск и создание черновика не подразумевают право отправки. Внешнее действие с неизвестным результатом сначала сверяется по идентификатору, затем при необходимости повторяется идемпотентно.
Уроки 15–17: локальные модели и повседневные задачи
Для 27B при 4 битах нижняя оценка весов — 13,5 GB; фактическая память выше. Число активных параметров MoE не заменяет объём всех весов. Перед сравнением проверьте шаблон чата, формат и поддерживаемый режим. В плане дообучения должны быть baseline, независимая проверка, разрешённые данные и критерий улучшения.
Для иллюстрации приемлема творческая вариативность; для OCR счёта цифры должны совпадать с исходником. «Улучшенная» фотография может содержать сгенерированные детали. В аудиоконспекте предложение не должно превращаться в принятое решение. В письме нельзя незаметно добавить обещание или срок.
Хорошая персональная автоматизация имеет понятный вход, проверку полноты, черновик, условие отправки и способ отмены. Если источник недоступен, она сообщает об этом. Три повторных запуска на разных входах дают больше информации, чем одна идеальная демонстрация.
Уроки 18–19: оценка и итоговый проект
Демонстрационный CSV оценки содержит восемь вымышленных записей. Шесть имеют оценку 2, одна — 1 и одна — 0 с критическим нарушением. При принятии только оценки 2 без критического нарушения доля принятых — 6/8 = 75%. Эти числа служат проверке программы и не относятся к реальной модели. Наличие одного критического нарушения означает, что соответствующее обязательное условие не выполнено.
При защите проекта покажите не только обычный вопрос, но и закрытый документ, устаревшее правило, отсутствующий ответ и повтор действия. Если подключили только поиск, честно назовите результат поисковым ядром. Если подключили модель вручную, отделите ручную процедуру от автоматизированной. Если внешняя отправка имитируется журналом, не называйте это проверенной интеграцией с почтой.
Как запускать локальную практику
Из корня распакованного комплекта выполните:
python3 -m unittest discover -s labs -p 'test_*.py'
python3 labs/sql_lab.py
python3 labs/etl_lab.py
python3 labs/retrieval_lab.py
python3 labs/eval_lab.py
Используется стандартная библиотека Python; внешние пакеты для практикумов не требуются. Рекомендуется Python 3.10 или новее. Тесты создают временные учебные базы и не подключаются к вашим системам. Инструкции сборки PDF находятся отдельно и требуют дополнительных библиотек; прохождению курса это не мешает.
