Итоговый проект и план дальнейшей работы
После урока
вы объедините навыки в один проект с проверяемым результатом, а затем сможете обновлять его вместе с развитием инструментов.
Проект: помощник службы поддержки
Помощник принимает вопрос, находит подходящее правило, готовит ответ с указанием основания и предлагает следующий шаг. Он учитывает права и дату документа, умеет сообщать о нехватке информации и не выполняет внешние действия без соответствующего разрешения. Учебные правила возвратов, доставки и гарантии в комплекте вымышлены и не являются юридической консультацией.
В проекте есть три уровня. Первый — детерминированное ядро: документы, фильтр доступа, поиск, валидация и политика инструментов. Второй — модель: классификация и черновик по найденным фрагментам. Третий — интерфейс и эксплуатация: просмотр результата, одобрение, журнал, лимиты и восстановление. Можно завершить первый уровень без облака, но не следует называть его работающим генеративным помощником.
Этап 1. Контракт
Определите пользователей, разрешённые документы и виды вопросов. Зафиксируйте, какие ответы считаются принятыми. Пример учебных обязательных условий: использовать только действующие доступные документы; не выдумывать условия возврата; при нехватке сведений задавать вопрос; показывать идентификатор основания; создавать только черновик.
Составьте 30 контрольных случаев: 12 обычных, 6 перефразированных, 4 с нехваткой информации, 4 с конфликтом версий и 4 с попыткой нарушить доступ или навязать действие. Разделение предлагается для учебного проекта; реальный набор следует распределению задач и рисков.
Этап 2. Данные и поиск
Используйте labs/data/policies.json как старт. Добавьте пять собственных вымышленных документов с датами и группами доступа. Для каждого вопроса вручную укажите правильный документ или отсутствие ответа. Запустите лексический поиск, изучите провалы и только затем решайте, нужны ли embeddings или reranker.
Проверьте одинаковый вопрос от двух пользователей с разными правами. Затем смените дату и убедитесь, что старое правило не используется после окончания срока. Добавьте закрытый документ с идеальным совпадением слов: он всё равно не должен раскрыться публичному пользователю.
Этап 3. Модельный черновик
Выберите доступную модель по небольшому сравнению. Передавайте только найденные фрагменты, вопрос и контракт ответа. Используйте структуру: краткий ответ, основания, недостающие сведения, рекомендуемое действие. Записывайте модель, промпт, стоимость и длительность.
При пустой выдаче не просите модель «всё равно помочь уверенно». Допустимые варианты — уточнение, объяснение отсутствия основания или передача человеку. Если вопрос требует нескольких правил, проверьте, что все необходимые фрагменты получены и согласованы. Ссылка на один документ не подтверждает произвольное дополнение из памяти.
Этап 4. Инструменты и интерфейс
Подключите только чтение учебного статуса заказа и создание черновика. Отправку моделируйте в учебном журнале либо подключайте к настоящему сервису только с явно определённым разрешением и тестовым получателем. В этом комплекте нет реальной отправки сообщений или денежных операций.
В интерфейсе покажите текст, основание, получателя и состояние. Пользователь должен понимать, что ещё не отправлено. После редактирования черновика старое одобрение не применяется к изменённому содержимому. При сбое сохраняйте черновик и идентификатор попытки.
Этап 5. Оценка
Оцените все 30 случаев по рубрике и отдельно отметьте критические нарушения. Для десяти нестабильных случаев выполните несколько повторов. Не настраивайте промпт по итоговому тесту бесконечно: выделите новые случаи после настройки, чтобы проверить обобщение.
Учебные пороги можно задать так: ни одной утечки и неразрешённого действия в контрольном наборе; не менее 27 корректных поисковых результатов из 30 там, где эталон однозначен; не менее 24 принятых ответов из 30; время и стоимость в выбранном вами бюджете. Эти пороги показывают структуру приёмки и не доказывают безопасность вне набора. Для высокорискового сервиса потребуется более строгая оценка.
Ориентиры готового проекта
| Область | Что показать | Признак незавершённости |
|---|---|---|
| Постановка | Контракт и критерии | Цель описана только как «умный чат» |
| Данные | Версии, права, происхождение | Документы без владельца и дат |
| Поиск | Эталон и разбор провалов | Только один удачный вопрос |
| Ответ | Основания и обработка неизвестного | Уверенные дополнения без источника |
| Действия | Политика, одобрение, повторы | Модель сама решает свои полномочия |
| Проверка | Результаты, версии, ограничения | Зелёный статус без доказательств |
| Эксплуатация | Лимиты, журнал, остановка | Нет способа прекратить цикл |
Можно подготовить короткую демонстрацию трёх успешных и трёх неудобных случаев, затем разбор одного провала. Умение объяснить ограничение ценнее попытки скрыть его. В итоговом README напишите, что реально запущено, что смоделировано и что остаётся проектным решением.
Учебный план на шесть недель
| Неделя | Работа | Артефакт |
|---|---|---|
| 1 | Основы, инструменты, контракты | Три проверяемых задания и мини-бенчмарк |
| 2 | Исследование и кодовый агент | Записка с источниками и небольшой diff |
| 3 | Backend, UI, mobile, QA | Матрица тестов и разбор границ |
| 4 | Аналитика и инженерия данных | Проверенный SQL и повторяемая загрузка |
| 5 | API, RAG, агенты, локальные модели | Поисковое ядро и политика инструментов |
| 6 | Мультимодальность, эксплуатация, проект | Итоговый отчёт, оценка и план обновления |
Если времени мало, не убирайте проверку ради количества тем. Уменьшите проект: один тип обращения, один корпус, один инструмент. Завершённый маленький процесс с доказательствами полезнее широкого набора демонстраций, которые нельзя повторить.
Как обновлять курс и свой проект
Раз в месяц проверяйте каталоги используемых моделей, тарифы, предупреждения об отключении и журналы изменений клиентов. Перед крупным обновлением сохраните текущую конфигурацию и контрольные результаты. Сначала прогоните новую версию на отложенном наборе, затем небольшой пилот. Изменение имени модели в одной строке не является завершённой миграцией.
Ведите CHANGELOG: дата, изменение, источник, влияние, проверка, решение. Для тарифов пересчитывайте свой профиль нагрузки, для модели — качество и инструменты, для интерфейса — реальные пользовательские сценарии. Не нужно отслеживать каждую новость: достаточно регулярно проверять зависимости, от которых зависит ваша работа.
