RAG ищет релевантные фрагменты во внешней базе и передаёт их LLM как контекст. Эталонная проверка смотрит не только на ответ, но и на найденные источники.
Чанк — небольшой фрагмент документа. chunk_overlap сохраняет часть соседнего текста, чтобы смысл не ломался на границе.
Источники нужны для проверки ответа, отладки retrieval и доверия пользователя.
RAG лучше для внешних и обновляемых знаний. Fine-tuning лучше для поведения, формата, стиля и специализированной классификации.
Часть 2. Эталонный код мини-RAG
Базовый рабочий вариант находится на странице Примеры. Для сдачи достаточно адаптировать его под свои документы и добавить таблицу проверки.
# expected_output.txt (пример)
ВОПРОС: Что такое трансформеры?
ИСТОЧНИКИ: ['transformers']
ОТВЕТ: Трансформеры используют механизм внимания...
ВОПРОС: Что такое автоэнкодеры?
ИСТОЧНИКИ: ['gan', 'transformers', 'resnet']
ОТВЕТ: В контексте нет информации.
Часть 3. Таблица экспериментов
Вопрос
Ожидаемый источник
k
Найдено
Оценка
Что такое GAN?
gan
1
gan
Хорошо
Где используется attention?
transformers
1
transformers
Хорошо
Что такое автоэнкодеры?
нет
3
нерелевантные AI-фрагменты
Ответ должен быть fallback.
Как ResNet помогает обучению?
resnet
3
resnet + шум
Ответ верный, но контекст длиннее.
Часть 4. Примеры задач для ДЗ
Задача
Проблема
Как помогает RAG
Ассистент поддержки SaaS
FAQ и тарифы часто меняются.
Ищет актуальные статьи базы знаний и отвечает со ссылками.
Поиск по учебным вебинарам
Студент не знает, где в записи нужная тема.
Индексирует транскрипты и возвращает ответ с таймкодом.
Юридический помощник по внутренним политикам
Документы объёмные и специфичные.
Находит релевантные пункты регламентов и цитирует источник.
Часть 5. Что считать хорошей сдачей
Есть описание источников данных и почему они подходят для RAG.
Есть схема pipeline: ingestion/indexing отдельно, retrieval/generation отдельно.
Есть минимум 5 тестовых вопросов и таблица retrieval-результатов.
Есть fallback для вопросов вне базы.
Есть ссылки или названия реальных продуктов/инструментов, которые используют retrieval/vector search.