Глоссарий урока
| Термин | Значение |
|---|---|
| NLP | Natural Language Processing — взаимодействие компьютера и человека на естественном языке |
| ELIZA | Одна из первых диалоговых программ (1966), отвечала по шаблонам без понимания смысла |
| n-грамма | Последовательность из n слов; основа статистических языковых моделей |
| RNN | Рекуррентная нейросеть — обрабатывает последовательность по шагам, передавая «память» |
| Затухание градиентов | Проблема RNN: на длинных текстах теряется влияние ранних слов |
| CNN | Свёрточная нейросеть — выделяет локальные шаблоны (фразы) |
| Трансформер | Архитектура (2017) с параллельной обработкой и вниманием — основа LLM |
| Attention | Механизм внимания: фокус на важных словах, контекст на любом расстоянии |
| Позиционный эмбеддинг | Метка позиции слова (трансформер обрабатывает слова параллельно) |
| Эмбеддинг | Числовой вектор, кодирующий смысл слова/токена |
| BERT | Трансформер для понимания/анализа текста |
| GPT | Трансформер для генерации текста/кода/диалога |
| Тест Тьюринга | Если испытатель не отличает машину от человека в переписке — машина «прошла» тест |
⚠️ В этом уроке кода ещё нет — устанавливать окружение и работать с API LLM начнём с урока 03. Термины здесь — фундамент для всего курса.