bulgakov

Локальные модели, квантизация и дообучение

После урока

вы сможете оценить целесообразность локального запуска и отличить нехватку контекста от задачи, для которой действительно нужно дообучение.

Что значит «локально»

Локальная модель исполняется на вашем оборудовании. Локальное приложение может обращаться к облачному API. Самостоятельно размещённый интерфейс может сохранять данные у вас, но отправлять запросы стороннему провайдеру. Проверяйте весь путь: клиент, модель, embeddings, OCR, поиск, телеметрию и внешние инструменты.

Ollama поддерживает локальную работу и облачные возможности; в документации есть отдельный режим отключения облачных функций. По умолчанию сервис привязывается к loopback-адресу. Не публикуйте endpoint в интернет без продуманной аутентификации и сетевых ограничений. S32

Другие варианты исполнения включают серверы для высокой пропускной способности, библиотеки Transformers и реализации для квантизированных моделей. Выбор зависит от архитектуры модели, поддерживаемого оборудования, формата весов и требуемой нагрузки. Не следует считать, что любой файл модели автоматически совместим с любым раннером.

Открытые веса и лицензии

Open-weight означает доступность весов на определённых условиях. Это не всегда полная открытость обучающих данных, кода и процесса. Лицензия может различаться у моделей одного семейства и у их производных. Проверяйте карточку конкретной версии, права на коммерческое использование и ограничения распространения.

Например, карточка Qwen3.8-27B указывает Apache 2.0 и мультимодальные возможности; каталог Mistral содержит модели с разными обозначениями лицензий. Нельзя перенести лицензию одной небольшой модели на всё семейство. S08, S11

Память: простая оценка и её пределы

Нижняя оценка памяти только под веса: число параметров × битность / 8. Для 27 млрд параметров при 4 битах это примерно 13,5 GB в десятичной системе. Это не обещание запуска на видеокарте с 14 GB: дополнительно нужны метаданные квантизации, KV-cache, активации, буферы и накладные расходы среды.

Контекст и число одновременных запросов могут значительно увеличить память. Выгрузка части весов в RAM позволяет запустить более крупную модель, но меняет задержку. Скорость первого токена, скорость генерации и общая задержка — разные показатели; измеряйте их отдельно на своей длине входа.

У MoE за один шаг активируется часть параметров, но для обычного размещения нужны веса всех экспертов. Название Qwen3.8-2.4T-A95B не означает, что достаточно памяти только для 95 млрд параметров. Теоретические 4-битные веса 2,4 трлн параметров занимают около 1,2 TB до накладных расходов. Это совсем другой класс оборудования. S09

Квантизация

Квантизация уменьшает точность представления весов и иногда других данных, снижая требования к памяти. Она может влиять на качество, скорость и совместимость. Обозначения 4-bit у разных методов не гарантируют одинаковые свойства. Для чувствительной задачи сравните исходный и квантизированный варианты на одних данных.

Не судите обо всех локальных моделях по одному неудачному запуску маленькой модели с неподходящим шаблоном чата. Проверьте корректность tokenizer/chat template, режим reasoning, лимит ответа, формат весов и версию раннера. Но не оправдывайте каждый слабый результат бесконечной настройкой: сравнивайте полную стоимость достижения нужного качества.

Когда помогает RAG, а когда fine-tuning

Проблема Первый кандидат на решение Почему
Модель не знает свежую политику Поиск и RAG Знания можно обновлять и цитировать
Непонятный формат результата Схема и примеры Дешевле менять интерфейс вывода
Стабильная специализированная классификация Сначала prompt baseline, затем fine-tuning Можно измерить повторяемое поведение
Ошибка доступа к документам Авторизация в системе Обучение не заменяет контроль прав
Плохая арифметика Детерминированный расчёт Не нужно обучать модель на каждом числе
Нужен особый стиль или устойчивая операция Проверка примеров и возможное дообучение Поведение может закрепляться в параметрах

Дообучение не является удобной базой ежедневно меняющихся фактов и не гарантирует точного воспроизведения каждого загруженного документа. Кроме того, нельзя надёжно отозвать доступ отдельного пользователя к факту, просто надеясь на модельную инструкцию.

LoRA и QLoRA

LoRA обучает небольшие низкоранговые добавки к выбранным матрицам базовой модели, уменьшая число обучаемых параметров. В PEFT задаются ранг, целевые модули и другие параметры. QLoRA сочетает обучение адаптеров с квантизированной базой. Это уменьшает ресурсы по сравнению с полным обучением, но не отменяет потребности в данных, GPU-памяти и проверке качества. S31

Практический порядок: выбрать задачу; собрать разрешённые примеры; очистить и дедуплицировать; разделить train/validation/test; зафиксировать baseline; обучить небольшой эксперимент; оценить на отложенных данных; проверить деградации; сравнить стоимость эксплуатации. Если примеры одного клиента или шаблона попали одновременно в обучение и тест, оценка может быть завышена.

Утечка данных возникает и при подготовке признаков: нормализацию, словари и отбор признаков нельзя обучать на всём наборе до разделения, если это передаёт информацию из теста. Руководство scikit-learn подробно разбирает такие ошибки. Для временных задач часто нужен временной split, для связанных объектов — групповой. S55

Практикум без покупки железа

Составьте карточку возможного локального запуска: модель, лицензия, формат весов, предполагаемая битность, нижняя оценка памяти, доступная RAM/VRAM, длины входа, число параллельных пользователей, критерии качества и способ исключить облачный трафик. Найдите, какие величины пока неизвестны.

Для дообучения подготовьте 30 разрешённых примеров классификации обращений и отдельно 10 новых проверочных. Не обучайте модель на этой игрушечной выборке ради красивого слова «fine-tuning»; сначала проверьте, решают ли проблему схема и несколько примеров в контексте. Затем опишите, каких данных не хватает для убедительного эксперимента.

Критерий: вы можете объяснить экономическую и техническую причину локального запуска. В решении учитываются качество, задержка, инфраструктура, данные и обслуживание, а не только отсутствие счёта за токены.

Учебная экономика размещения

Предположим, локальная инфраструктура и её обслуживание стоят условные $300 в месяц, а переменные расходы — $0,002 на задачу. Облачный вариант обходится в $0,02 на задачу. Если качество и трудозатраты одинаковы, точка равенства: 300 / (0,02 − 0,002), то есть примерно 16 667 задач в месяц. Эти цены вымышлены и служат только объяснению формулы.

Если локальное качество ниже и на каждую десятую задачу требуется минута ручной работы, эту стоимость нужно добавить. Если сервер простаивает или нужен резерв, постоянные расходы растут. Если облачный вариант не проходит обязательное условие обращения с данными, чистое сравнение цены уже недостаточно. Не смешивайте экономическую оптимизацию и обязательное требование: сначала допустимость, затем стоимость принятого результата.