Словарь
| Термин | Практический смысл |
|---|---|
| LLM | Языковая модель, работающая с последовательностями токенов. |
| Foundation model | Базовая модель широкого назначения, которую адаптируют под разные задачи. |
| Inference | Выполнение модели на входных данных после обучения. |
| Token | Единица представления текста; не обязательно слово. |
| Context window | Максимальный объём контекста согласно правилам конкретной модели или API. |
| Output limit | Отдельное ограничение объёма генерируемого ответа. |
| Reasoning budget | Выделяемое вычисление на решение; формат настройки зависит от модели. |
| Multimodal | Работа с несколькими типами данных, например текстом и изображениями. |
| Prompt | Входное задание и связанные инструкции. |
| Few-shot | Несколько примеров в контексте, показывающих желаемое поведение. |
| Structured output | Ответ по заданной схеме; структура не гарантирует истинность полей. |
| Tool calling | Предложение моделью вызова инструмента, которое обрабатывает приложение. |
| Agent | Система с моделью, выбирающая и выполняющая шаги через инструменты. |
| Harness | Среда управления агентом: цикл, инструменты, состояние и ограничения. |
| Workflow | Описанный процесс шагов и условий. |
| MCP | Протокол подключения инструментов и ресурсов к приложениям с моделями. |
| A2A | Протокол взаимодействия самостоятельных агентов. |
| Skill | Пакет инструкций и ресурсов для определённого типа работы. |
| RAG | Поиск внешних материалов перед формированием ответа. |
| Embedding | Числовое представление для поиска и других операций сходства. |
| Chunk | Фрагмент документа, который индексируется и передаётся в контекст. |
| Reranker | Компонент, уточняющий порядок уже найденных кандидатов. |
| Grounding | Связь ответа с доступными основаниями и данными. |
| Hallucination | Правдоподобное, но неподтверждённое или неверное содержание. |
| Prompt injection | Навязывание инструкции через недоверенное содержимое. |
| ACL | Список или механизм определения прав доступа. |
| Sandbox | Ограниченная среда исполнения; реальные гарантии зависят от реализации. |
| Idempotency | Повтор логической операции не создаёт дополнительного эффекта. |
| Checkpoint | Сохранённое состояние, с которого можно продолжить процесс. |
| Handoff | Передача задачи вместе с текущим состоянием и основаниями решений. |
| Eval | Проверка качества на определённом наборе и по заданным критериям. |
| Oracle | Независимое основание ожидаемого результата теста. |
| Mutation testing | Проверка, обнаруживают ли тесты намеренно внесённые дефекты. |
| LLM-as-judge | Использование модели как помощника оценивания по рубрике. |
| p95 | Значение, не превышаемое примерно 95% наблюдений при принятом способе расчёта. |
| Data leakage | Попадание информации из проверки или будущего в обучение либо настройку. |
| Fine-tuning | Изменение параметров модели или адаптеров на специализированных примерах. |
| LoRA | Обучение небольших низкоранговых добавок к весам. |
| Quantization | Представление чисел с меньшей точностью для экономии ресурсов. |
| MoE | Архитектура с экспертами, часть которых активируется для конкретного вычисления. |
| KV-cache | Кэш промежуточных представлений внимания при генерации; потребляет память. |
| Open-weight | Доступные веса на условиях конкретной лицензии. |
| Grain | Уровень, которому соответствует одна строка данных. |
| Backfill | Перерасчёт или дозагрузка исторического диапазона. |
| SLO | Целевой уровень сервиса, например доля запросов в пределах задержки. |
Где здесь классическое машинное обучение
ИИ шире генеративных моделей. Для предсказания оттока, спроса, риска дефекта или класса события часто подходят обычные модели машинного обучения. В supervised learning есть примеры с целевым ответом; в unsupervised learning ищут структуру без такой разметки. Регрессия предсказывает число, классификация — категорию, кластеризация группирует похожие объекты.
Не отправляйте всю таблицу в чат, если задача решается воспроизводимой моделью и понятными признаками. Начните с простого baseline: константа, частотный класс, линейная модель или дерево. Сравните на отложенных данных и проверьте утечку. Сложная архитектура имеет смысл, когда улучшает нужную метрику и оправдывает стоимость поддержки.
Accuracy может обманывать при редком положительном классе. Если дефект встречается у 1% объектов, ответ «дефекта нет» всегда даёт 99% accuracy и нулевую способность находить дефекты. Precision показывает долю правильных положительных сигналов, recall — долю найденных положительных случаев. Порог выбирается с учётом цены пропуска и ложной тревоги, а не только красивого среднего F1.
Для прогноза чисел рассматривайте MAE, RMSE и бизнес-потери; одна метрика может сильнее штрафовать крупные ошибки. Временной прогноз проверяйте на будущем относительно обучения, а не случайно перемешанной истории. Признак «итоговый статус заказа», известный только после события, не должен попадать в модель прогноза до события. Правила разделения и подготовки данных обсуждаются в руководстве scikit-learn. S55
LLM может помогать писать код такого эксперимента, объяснять признаки и составлять отчёт, но сам эксперимент должен быть воспроизводимым. В этом курсе основной фокус — прикладные генеративные системы; обучение классических моделей и математическая теория требуют отдельного углублённого маршрута.
