bulgakov

Итоговый проект и план дальнейшей работы

После урока

вы объедините навыки в один проект с проверяемым результатом, а затем сможете обновлять его вместе с развитием инструментов.

Проект: помощник службы поддержки

Помощник принимает вопрос, находит подходящее правило, готовит ответ с указанием основания и предлагает следующий шаг. Он учитывает права и дату документа, умеет сообщать о нехватке информации и не выполняет внешние действия без соответствующего разрешения. Учебные правила возвратов, доставки и гарантии в комплекте вымышлены и не являются юридической консультацией.

В проекте есть три уровня. Первый — детерминированное ядро: документы, фильтр доступа, поиск, валидация и политика инструментов. Второй — модель: классификация и черновик по найденным фрагментам. Третий — интерфейс и эксплуатация: просмотр результата, одобрение, журнал, лимиты и восстановление. Можно завершить первый уровень без облака, но не следует называть его работающим генеративным помощником.

Этап 1. Контракт

Определите пользователей, разрешённые документы и виды вопросов. Зафиксируйте, какие ответы считаются принятыми. Пример учебных обязательных условий: использовать только действующие доступные документы; не выдумывать условия возврата; при нехватке сведений задавать вопрос; показывать идентификатор основания; создавать только черновик.

Составьте 30 контрольных случаев: 12 обычных, 6 перефразированных, 4 с нехваткой информации, 4 с конфликтом версий и 4 с попыткой нарушить доступ или навязать действие. Разделение предлагается для учебного проекта; реальный набор следует распределению задач и рисков.

Этап 2. Данные и поиск

Используйте labs/data/policies.json как старт. Добавьте пять собственных вымышленных документов с датами и группами доступа. Для каждого вопроса вручную укажите правильный документ или отсутствие ответа. Запустите лексический поиск, изучите провалы и только затем решайте, нужны ли embeddings или reranker.

Проверьте одинаковый вопрос от двух пользователей с разными правами. Затем смените дату и убедитесь, что старое правило не используется после окончания срока. Добавьте закрытый документ с идеальным совпадением слов: он всё равно не должен раскрыться публичному пользователю.

Этап 3. Модельный черновик

Выберите доступную модель по небольшому сравнению. Передавайте только найденные фрагменты, вопрос и контракт ответа. Используйте структуру: краткий ответ, основания, недостающие сведения, рекомендуемое действие. Записывайте модель, промпт, стоимость и длительность.

При пустой выдаче не просите модель «всё равно помочь уверенно». Допустимые варианты — уточнение, объяснение отсутствия основания или передача человеку. Если вопрос требует нескольких правил, проверьте, что все необходимые фрагменты получены и согласованы. Ссылка на один документ не подтверждает произвольное дополнение из памяти.

Этап 4. Инструменты и интерфейс

Подключите только чтение учебного статуса заказа и создание черновика. Отправку моделируйте в учебном журнале либо подключайте к настоящему сервису только с явно определённым разрешением и тестовым получателем. В этом комплекте нет реальной отправки сообщений или денежных операций.

В интерфейсе покажите текст, основание, получателя и состояние. Пользователь должен понимать, что ещё не отправлено. После редактирования черновика старое одобрение не применяется к изменённому содержимому. При сбое сохраняйте черновик и идентификатор попытки.

Этап 5. Оценка

Оцените все 30 случаев по рубрике и отдельно отметьте критические нарушения. Для десяти нестабильных случаев выполните несколько повторов. Не настраивайте промпт по итоговому тесту бесконечно: выделите новые случаи после настройки, чтобы проверить обобщение.

Учебные пороги можно задать так: ни одной утечки и неразрешённого действия в контрольном наборе; не менее 27 корректных поисковых результатов из 30 там, где эталон однозначен; не менее 24 принятых ответов из 30; время и стоимость в выбранном вами бюджете. Эти пороги показывают структуру приёмки и не доказывают безопасность вне набора. Для высокорискового сервиса потребуется более строгая оценка.

Ориентиры готового проекта

Область Что показать Признак незавершённости
Постановка Контракт и критерии Цель описана только как «умный чат»
Данные Версии, права, происхождение Документы без владельца и дат
Поиск Эталон и разбор провалов Только один удачный вопрос
Ответ Основания и обработка неизвестного Уверенные дополнения без источника
Действия Политика, одобрение, повторы Модель сама решает свои полномочия
Проверка Результаты, версии, ограничения Зелёный статус без доказательств
Эксплуатация Лимиты, журнал, остановка Нет способа прекратить цикл

Можно подготовить короткую демонстрацию трёх успешных и трёх неудобных случаев, затем разбор одного провала. Умение объяснить ограничение ценнее попытки скрыть его. В итоговом README напишите, что реально запущено, что смоделировано и что остаётся проектным решением.

Учебный план на шесть недель

Неделя Работа Артефакт
1 Основы, инструменты, контракты Три проверяемых задания и мини-бенчмарк
2 Исследование и кодовый агент Записка с источниками и небольшой diff
3 Backend, UI, mobile, QA Матрица тестов и разбор границ
4 Аналитика и инженерия данных Проверенный SQL и повторяемая загрузка
5 API, RAG, агенты, локальные модели Поисковое ядро и политика инструментов
6 Мультимодальность, эксплуатация, проект Итоговый отчёт, оценка и план обновления

Если времени мало, не убирайте проверку ради количества тем. Уменьшите проект: один тип обращения, один корпус, один инструмент. Завершённый маленький процесс с доказательствами полезнее широкого набора демонстраций, которые нельзя повторить.

Как обновлять курс и свой проект

Раз в месяц проверяйте каталоги используемых моделей, тарифы, предупреждения об отключении и журналы изменений клиентов. Перед крупным обновлением сохраните текущую конфигурацию и контрольные результаты. Сначала прогоните новую версию на отложенном наборе, затем небольшой пилот. Изменение имени модели в одной строке не является завершённой миграцией.

Ведите CHANGELOG: дата, изменение, источник, влияние, проверка, решение. Для тарифов пересчитывайте свой профиль нагрузки, для модели — качество и инструменты, для интерфейса — реальные пользовательские сценарии. Не нужно отслеживать каждую новость: достаточно регулярно проверять зависимости, от которых зависит ваша работа.


Скачать практикумы и рабочие шаблоны.