📝 Задания

Часть 1. Концептуальные вопросы

1. Что такое fine-tuning и чем он отличается от pretraining?
2. Назовите три сценария, где fine-tuning может быть полезен.
3. Почему RAG чаще лучше для внутренних документов и часто меняющихся знаний?
4. Что означает Garbage in, garbage out применительно к обучению моделей?
5. Зачем нужен отдельный test split?
6. Какие риски возникают при использовании персональных данных в датасете?
7. Что нужно мониторить после запуска AI-приложения?

Часть 2. Выбор задачи

Возьмите один вариант или придумайте свой:

• Классификация отзывов на товары определённой категории.
• Генерация ответов в стиле конкретного бренда.
• Ответы поддержки в фиксированном формате.
• Извлечение полей из коротких пользовательских сообщений.

Для выбранной задачи заполните:

# task_plan.md
Задача:
Почему prompt недостаточен:
Почему RAG недостаточен или не главный:
Какой baseline сравниваем:
Какие данные нужны:
Какие метрики качества:
Какие privacy/safety риски:

Часть 3. Подготовка датасета

1. Соберите 20-50 учебных примеров.
2. Удалите дубликаты и явно нерелевантные строки.
3. Приведите все примеры к одному формату: instruction, input, output.
4. Разделите данные на train и test.
5. Проверьте, что в test нет точных дублей из train.

Часть 4. План обучения

Не обязательно запускать тяжёлое обучение на слабом компьютере. Важно уметь описать воспроизводимый пайплайн:

• модель и почему она выбрана;
• какой tokenizer используется;
• какие LoRA-параметры выбраны;
• сколько шагов/эпох;
• как сохраняется адаптер;
• как сравнивается результат с baseline.

Часть 5. Production review

Для своей задачи ответьте:

1. Есть ли персональные данные? Как их удалить или обезличить?
2. Какие ошибки модели могут навредить пользователю?
3. Нужен ли human-in-the-loop?
4. Какие логи можно хранить, а какие нельзя?
5. Как вы поймёте, что модель устарела?

Часть 6. ДЗ из LMS

1. Выберите или создайте небольшой датасет для fine-tuning.
2. Очистите текст от шума: дубликаты, ошибки, нерелевантные строки.
3. Разбейте данные на обучающую и тестовую выборки.
4. Проведите обучение или подготовьте воспроизводимый план обучения, если локально не хватает ресурсов.
5. Оцените качество на тестовых данных.