bulgakov

Исследование, обучение и проверка фактов

После урока

вы подготовите исследовательскую записку, в которой каждый существенный вывод связан с проверяемым основанием.

Сначала определите вопрос

«Расскажи всё про ИИ» не задаёт ни границы, ни способ завершения. «Выбрать способ обработки 5 000 обращений в месяц на русском языке, с задержкой до 10 секунд и хранением документов в нашей инфраструктуре» уже задаёт решение. Исследование должно заканчиваться не коллекцией ссылок, а ответом на конкретный вопрос с условиями применимости.

Разложите задачу на утверждения: какие варианты существуют; какие данные им нужны; где они исполняются; как измерить качество; сколько стоит нагрузка; какие ограничения мешают. Для каждого утверждения определите источник. Возможность API подтверждается документацией, результат вашего теста — журналом эксперимента, правовая обязанность — применимым нормативным источником. Обзорный блог полезен для поиска идей, но не заменяет все эти типы доказательств.

Три даты, которые легко перепутать

Дата публикации страницы, дата описываемого события и дата вашей проверки — разные вещи. Страница могла быть опубликована год назад, но обновить тариф сегодня. Новость могла сегодня пересказать старый эксперимент. Поисковая выдача могла сохранить старый фрагмент уже изменившейся документации. Поэтому при конфликте открывайте первоисточник и смотрите конкретную модель, версию и период действия.

В реестре исследования храните название, URL, владельца, дату проверки, подтверждаемое утверждение и ограничение. Поле «ограничение» заставляет замечать, что benchmark поставщика не доказывает преимущество на ваших данных, а максимальный контекст API не гарантирует тот же лимит интерфейса.

Поиск и синтез — разные этапы

На первом проходе собирайте кандидатов, не делая окончательных выводов. На втором — проверяйте первичные страницы. На третьем — сопоставляйте условия и формулируйте вывод. ИИ может ускорить все три этапа, но ссылки в ответе требуют проверки. Откройте хотя бы источники, от которых зависит решение, и найдите конкретный подтверждающий фрагмент.

Ссылка может быть настоящей и всё равно не подтверждать предложение рядом с ней. Например, статья о поддержке изображений на входе не доказывает генерацию изображений на выходе. Статья о лабораторном ускорении не доказывает ускорение вашей команды. Проверяйте соответствие «утверждение → выдержка → область действия», а не только существование URL.

Поисковые продукты, включая Perplexity Research, помогают собирать и сводить источники, но не обеспечивают автоматическую истинность каждого вывода. Gemini Notebook, известный ранее как NotebookLM, строит работу вокруг добавленных материалов; его текущая справка прямо описывает ответы на основе источников и возможность ошибок. S47, S48

Пример: действительно ли ИИ ускоряет разработчиков

Плохой ответ: «ИИ ускоряет всех в десять раз». Другой плохой ответ: «Исследование доказало, что ИИ всегда замедляет». Оба стирают условия измерения.

В исследовании METR ранних инструментов 2025 года опытные разработчики открытых проектов выполняли задачи в своих репозиториях; доступ к ИИ в этом эксперименте увеличил время примерно на 19%. Это конкретная выборка и конкретное поколение инструментов. В обновлении февраля 2026 года METR обсуждает изменение дизайна исследования и эффекты отбора участников; авторы допускают больший положительный эффект новых инструментов, но подчёркивают проблемы измерения. Переносить исходную цифру на весь рынок октября 2026 года нельзя. S38, S39

DORA рассматривает ИИ в более широком контексте процессов разработки и организационных возможностей. Опросная связь между практиками и результатами не равна случайному эксперименту. Практический вывод для нас скромнее: измерять весь путь до принятого изменения и учитывать качество процесса. S40

Собственный вывод курса: проверяйте ускорение на своих задачах, включая время проверки и исправлений. Это рекомендация по дизайну работы, а не новая численная оценка эффективности рынка.

Работа с противоречиями

Создайте таблицу с двумя утверждениями и условиями. Часто конфликт исчезает после уточнения: разные версии, регионы, тарифы, режимы, интервалы нагрузки или единицы измерения. Если конфликт остаётся, не усредняйте несопоставимые числа. Отметьте неопределённость и выберите безопасное допущение либо запросите разъяснение у владельца системы.

Например, в каталоге написано «от $0,10», а в расчёте нагрузки использованы $0,10 для любого режима. Слово «от» существенно: необходимо проверить, какая именно конфигурация соответствует минимальной цене. Или одна страница говорит о 1 млн токенов контекста, а другая о 64 тысячах ответа. Это разные ограничения, и они могут быть одновременно верны.

Используйте ИИ как преподавателя

Для обучения полезен цикл: объяснение → короткая задача → самостоятельный ответ → обратная связь → новая задача с изменёнными условиями. Просите модель сначала задавать вопрос и ждать ваш ответ, а не сразу выдавать решение. Если тема новая, попросите связать её с знакомым примером, затем указать, где аналогия перестаёт работать.

Фраза «я понял» не проверяет понимание. Попробуйте восстановить решение без текста, найти ошибку в чужом примере или объяснить, что изменится при другом ограничении. Попросите модель оценивать по заранее заданной рубрике. Иначе она может слишком снисходительно соглашаться с вашим ответом.

Для подготовки карточек требуйте ссылку на исходный раздел. Ошибочная карточка закрепляет ошибку многократным повторением. Аудиообзор удобен для первого знакомства, но сложные определения, формулы и исключения лучше проверять по тексту. Сжатие источника всегда что-то выбрасывает; определите, какие детали нельзя потерять.

Практикум: записка на одну страницу

Выберите вопрос «Какой инструмент подойдёт для анализа внутренней базы знаний?» и ограничьте его двумя кандидатами. Соберите минимум четыре первичных источника, сформулируйте пять проверяемых утверждений, укажите дату и три неизвестных. Затем добавьте маленький собственный тест на пяти вопросах. Не подменяйте независимую проверку пересказом маркетинга.

Структура результата: решение; условия, при которых оно верно; доказательства; ограничения; следующий эксперимент. В templates/research_brief.md есть заготовка. Для каждого числа укажите единицу, знаменатель и происхождение.

Критерий: читатель может восстановить, почему сделан вывод, и увидеть, какое новое свидетельство заставит его изменить. Если вывод не может измениться ни при каких результатах, вы написали позицию, а не исследование.

Образец решения исследовательской задачи

Предположим, команда выбирает между загрузкой небольшого справочника целиком и отдельным поиском. У неё 40 страниц правил, документы меняются раз в неделю, а часть разделов закрыта. Пока нет измерений, нельзя заявить, что векторный поиск обязателен. Первый вопрос — можно ли передавать каждому пользователю весь справочник. Если нет, архитектура должна ограничивать материалы ещё до вызова модели.

В записке решение может выглядеть так: «Для пилота используем поиск по разрешённым разделам с датами действия. На пяти вопросах проверяем наличие основания; затем расширяем набор до перефразирований и исключений. Переходим к embeddings, если лексический поиск систематически пропускает нужные документы». Это проверяемый вывод с условием пересмотра.

Отдельно укажите неизвестные: качество OCR, частота противоречий и распределение прав. Следующий эксперимент должен уменьшить одну из этих неопределённостей. Так исследование превращается в последовательность решений, а не в каталог интересных сервисов.


Скачать практикумы и рабочие шаблоны.