bulgakov

Словарь

Термин Практический смысл
LLM Языковая модель, работающая с последовательностями токенов.
Foundation model Базовая модель широкого назначения, которую адаптируют под разные задачи.
Inference Выполнение модели на входных данных после обучения.
Token Единица представления текста; не обязательно слово.
Context window Максимальный объём контекста согласно правилам конкретной модели или API.
Output limit Отдельное ограничение объёма генерируемого ответа.
Reasoning budget Выделяемое вычисление на решение; формат настройки зависит от модели.
Multimodal Работа с несколькими типами данных, например текстом и изображениями.
Prompt Входное задание и связанные инструкции.
Few-shot Несколько примеров в контексте, показывающих желаемое поведение.
Structured output Ответ по заданной схеме; структура не гарантирует истинность полей.
Tool calling Предложение моделью вызова инструмента, которое обрабатывает приложение.
Agent Система с моделью, выбирающая и выполняющая шаги через инструменты.
Harness Среда управления агентом: цикл, инструменты, состояние и ограничения.
Workflow Описанный процесс шагов и условий.
MCP Протокол подключения инструментов и ресурсов к приложениям с моделями.
A2A Протокол взаимодействия самостоятельных агентов.
Skill Пакет инструкций и ресурсов для определённого типа работы.
RAG Поиск внешних материалов перед формированием ответа.
Embedding Числовое представление для поиска и других операций сходства.
Chunk Фрагмент документа, который индексируется и передаётся в контекст.
Reranker Компонент, уточняющий порядок уже найденных кандидатов.
Grounding Связь ответа с доступными основаниями и данными.
Hallucination Правдоподобное, но неподтверждённое или неверное содержание.
Prompt injection Навязывание инструкции через недоверенное содержимое.
ACL Список или механизм определения прав доступа.
Sandbox Ограниченная среда исполнения; реальные гарантии зависят от реализации.
Idempotency Повтор логической операции не создаёт дополнительного эффекта.
Checkpoint Сохранённое состояние, с которого можно продолжить процесс.
Handoff Передача задачи вместе с текущим состоянием и основаниями решений.
Eval Проверка качества на определённом наборе и по заданным критериям.
Oracle Независимое основание ожидаемого результата теста.
Mutation testing Проверка, обнаруживают ли тесты намеренно внесённые дефекты.
LLM-as-judge Использование модели как помощника оценивания по рубрике.
p95 Значение, не превышаемое примерно 95% наблюдений при принятом способе расчёта.
Data leakage Попадание информации из проверки или будущего в обучение либо настройку.
Fine-tuning Изменение параметров модели или адаптеров на специализированных примерах.
LoRA Обучение небольших низкоранговых добавок к весам.
Quantization Представление чисел с меньшей точностью для экономии ресурсов.
MoE Архитектура с экспертами, часть которых активируется для конкретного вычисления.
KV-cache Кэш промежуточных представлений внимания при генерации; потребляет память.
Open-weight Доступные веса на условиях конкретной лицензии.
Grain Уровень, которому соответствует одна строка данных.
Backfill Перерасчёт или дозагрузка исторического диапазона.
SLO Целевой уровень сервиса, например доля запросов в пределах задержки.

Где здесь классическое машинное обучение

ИИ шире генеративных моделей. Для предсказания оттока, спроса, риска дефекта или класса события часто подходят обычные модели машинного обучения. В supervised learning есть примеры с целевым ответом; в unsupervised learning ищут структуру без такой разметки. Регрессия предсказывает число, классификация — категорию, кластеризация группирует похожие объекты.

Не отправляйте всю таблицу в чат, если задача решается воспроизводимой моделью и понятными признаками. Начните с простого baseline: константа, частотный класс, линейная модель или дерево. Сравните на отложенных данных и проверьте утечку. Сложная архитектура имеет смысл, когда улучшает нужную метрику и оправдывает стоимость поддержки.

Accuracy может обманывать при редком положительном классе. Если дефект встречается у 1% объектов, ответ «дефекта нет» всегда даёт 99% accuracy и нулевую способность находить дефекты. Precision показывает долю правильных положительных сигналов, recall — долю найденных положительных случаев. Порог выбирается с учётом цены пропуска и ложной тревоги, а не только красивого среднего F1.

Для прогноза чисел рассматривайте MAE, RMSE и бизнес-потери; одна метрика может сильнее штрафовать крупные ошибки. Временной прогноз проверяйте на будущем относительно обучения, а не случайно перемешанной истории. Признак «итоговый статус заказа», известный только после события, не должен попадать в модель прогноза до события. Правила разделения и подготовки данных обсуждаются в руководстве scikit-learn. S55

LLM может помогать писать код такого эксперимента, объяснять признаки и составлять отчёт, но сам эксперимент должен быть воспроизводимым. В этом курсе основной фокус — прикладные генеративные системы; обучение классических моделей и математическая теория требуют отдельного углублённого маршрута.