Тонкая настройка (Fine-Tuning)

Дообучение готовой модели на небольшом наборе своих примеров, чтобы она лучше выполняла конкретную задачу или следовала нужному стилю.

Тонкая настройка (fine-tuning) — дообучение уже обученной модели на собственных примерах. Большая модель, например языковая, уже умеет многое: понимает язык, знает общие факты. Тонкая настройка на сотнях или тысячах примеров учит ее делать конкретную работу так, как нужно компании: отвечать в принятом стиле, заполнять документы в нужном формате, относить обращения к внутренним категориям.

Когда она нужна

Прежде чем дообучать, пробуют более простые способы:

  1. Промпт-инжиниринг — подробная инструкция и примеры в запросе. Часто этого достаточно.
  2. RAG — если модели не хватает знаний о ваших документах и продуктах.
  3. Тонкая настройка — если нужно стабильно менять поведение модели: формат, стиль, специфичный навык, который сложно объяснить инструкцией, или если нужна небольшая быстрая модель вместо большой и дорогой.

Важное правило: тонкая настройка плохо подходит для «загрузки фактов». Модель может запомнить их неточно, а при изменении фактов дообучение придется повторять. Знания надежнее подавать через RAG, а тонкой настройкой учить навыкам.

Как это делается

  1. Набор примеров. Пары «запрос — образцовый ответ»: сотни качественных примеров ценнее десятков тысяч случайных. Именно подготовка данных занимает больше всего времени.
  2. Обучение. Чаще всего не весь объем модели, а небольшие дополнительные слои — методы вроде LoRA (2021). Это в разы дешевле, требует меньше памяти графических процессоров, и одну базовую модель можно дополнить разными «насадками» под разные задачи.
  3. Проверка. Результат сравнивают с исходной моделью на отложенных примерах, которые не участвовали в обучении.

Риски

  • Переобучение — на маленьком наборе модель запоминает примеры и хуже справляется с непохожими запросами.
  • Забывание — модель становится лучше в узкой задаче, но теряет часть общих умений.
  • Качество данных — ошибки и неудачные ответы в примерах модель воспроизведет старательно.
  • Обновление базовой модели — с выходом новой версии дообучение приходится повторять.

Тонкая настройка в своем контуре

Для компаний с чувствительными данными важный плюс: открытую модель можно дообучить и запускать на собственных серверах, не передавая данные внешним сервисам. Это частый выбор банков и государственных организаций, которым нельзя отправлять персональные данные и коммерческую тайну за пределы своей инфраструктуры.