Часть 1. Концептуальные вопросы
- Что такое fine-tuning и чем он отличается от pretraining?
- Назовите три сценария, где fine-tuning может быть полезен.
- Почему RAG чаще лучше для внутренних документов и часто меняющихся знаний?
- Что означает Garbage in, garbage out применительно к обучению моделей?
- Зачем нужен отдельный test split?
- Какие риски возникают при использовании персональных данных в датасете?
- Что нужно мониторить после запуска AI-приложения?
Часть 2. Выбор задачи
Возьмите один вариант или придумайте свой:
- Классификация отзывов на товары определённой категории.
- Генерация ответов в стиле конкретного бренда.
- Ответы поддержки в фиксированном формате.
- Извлечение полей из коротких пользовательских сообщений.
Для выбранной задачи заполните:
# task_plan.md
Задача:
Почему prompt недостаточен:
Почему RAG недостаточен или не главный:
Какой baseline сравниваем:
Какие данные нужны:
Какие метрики качества:
Какие privacy/safety риски:Часть 3. Подготовка датасета
- Соберите 20-50 учебных примеров.
- Удалите дубликаты и явно нерелевантные строки.
- Приведите все примеры к одному формату: instruction, input, output.
- Разделите данные на train и test.
- Проверьте, что в test нет точных дублей из train.
Часть 4. План обучения
Не обязательно запускать тяжёлое обучение на слабом компьютере. Важно уметь описать воспроизводимый пайплайн:
- модель и почему она выбрана;
- какой tokenizer используется;
- какие LoRA-параметры выбраны;
- сколько шагов/эпох;
- как сохраняется адаптер;
- как сравнивается результат с baseline.
Часть 5. Production review
Для своей задачи ответьте:
- Есть ли персональные данные? Как их удалить или обезличить?
- Какие ошибки модели могут навредить пользователю?
- Нужен ли human-in-the-loop?
- Какие логи можно хранить, а какие нельзя?
- Как вы поймёте, что модель устарела?
Часть 6. ДЗ из LMS
- Выберите или создайте небольшой датасет для fine-tuning.
- Очистите текст от шума: дубликаты, ошибки, нерелевантные строки.
- Разбейте данные на обучающую и тестовую выборки.
- Проведите обучение или подготовьте воспроизводимый план обучения, если локально не хватает ресурсов.
- Оцените качество на тестовых данных.