Урок 01. Введение в NLP и трансформеры
⚡ Кратко: NLP и трансформеры
NLP (Natural Language Processing) — область ИИ о взаимодействии компьютеров и людей на естественном языке. Прошла путь: правила (ELIZA, 1966) → статистика (n-граммы, 1990-е) → глубокое обучение (RNN/CNN, 2010-е) → трансформеры (2017, «Attention Is All You Need»).
- Механизм внимания (attention): модель фокусируется на важных словах, учитывая контекст на любом расстоянии.
- Позиционные эмбеддинги: трансформеры обрабатывают текст параллельно, поэтому порядок слов задаётся отдельными метками.
- RNN — последовательны, теряют дальний контекст; CNN — локальны; трансформеры — видят весь текст сразу, быстры, работают с длинными текстами.
- BERT — анализ текста; GPT — генерация текста, код, диалог.
📖 О чём этот урок
Это вводный урок курса «Python for AI». Прежде чем писать код с LLM, важно понять, откуда они взялись и почему устроены именно так. Урок прослеживает эволюцию обработки естественного языка и объясняет архитектуру трансформеров — фундамент всех современных языковых моделей (GPT, BERT, Gemini).
Что изучим
- Что такое NLP и как оно развивалось: правила → статистика → глубокое обучение
- RNN и CNN: как работают и в чём их ограничения для текста
- Архитектура трансформеров: механизм внимания и позиционные эмбеддинги
- Сравнение RNN / CNN / Transformers
- Ключевые модели: BERT и GPT; тест Тьюринга
📚 Что повторить перед изучением
- Базовый Python: функции, списки, словари, виртуальное окружение
- Школьная математика: проценты, вероятности (для n-грамм — на уровне идеи)
- Желательно — общее представление о машинном обучении (не обязательно)
🎯 Что изучать дальше
- → Урок 02: Большие языковые модели (LLM) и промпт-инжиниринг
- Статья «Attention Is All You Need» (первоисточник трансформеров)