📖 Теория: LLM и промпт-инжиниринг

← К оглавлению урока

⚡ Суть

  • LLM = трансформер, обученный на огромных текстах предсказывать слова по контексту.
  • GPT — генерация (авторегрессия), BERT — понимание (двунаправленный анализ).
  • Хороший промпт = роль/контекст + цель + формат + примеры + ограничения.

Что такое LLM

Большие языковые модели (Large Language Models) — нейросети, обученные работать с текстом: генерация, анализ тональности, перевод, программирование. В основе — архитектура трансформеров (урок 01): модель понимает смысл, анализируя текст целиком.

Как работают

  • Обучение на больших данных: модель анализирует тексты из интернета, книг, статей, учась предсказывать слова по контексту.
  • Трансформеры: позволяют понимать смысл, анализируя текст целиком, а не по частям.
  • Генерация: после обучения модель создаёт текст, который выглядит написанным человеком.

Характеристики

  • Контекст: понимают связь слов во всём тексте, а не только в предложении.
  • Масштаб: от сотен миллионов до триллионов параметров.
  • Применение: перевод, чат-боты и ассистенты, анализ и автоматизация работы с текстом, создание контента и кода.

GPT vs BERT

Два семейства трансформеров с разным назначением.

ХарактеристикаGPTBERT
ПринципГенерирует текст, предсказывая следующее слово (авторегрессия)Анализирует текст, предсказывая пропущенные слова и связи (двунаправленность)
КонтекстУчитывает предыдущие слова, не видит будущиеАнализирует текст с обеих сторон
ПрименениеГенерация, ответы на вопросы, кодПоиск, тональность, классификация
ПримерChatGPTGoogle Search
Наглядно. GPT: «Напиши продолжение истории…» → сгенерирует текст. BERT: «Какое слово пропущено в 'Я пошёл в [MASK] за хлебом'?» → подставит «магазин». BERT обучается на маскировании слов и предсказании следующего предложения.

Промпт-инжиниринг

Промпт-инжиниринг — процесс создания запросов (промптов), которые помогают эффективно взаимодействовать с LLM. Это навык: его развивают, экспериментируя с формулировками.

Зачем

  • Повышает точность ответов и снижает вероятность ошибок/неполноты.
  • Адаптирует модель под задачу: письмо, программирование, анализ данных.

Формула хорошего промпта

Промпт должен быть чётким, структурированным и с контекстом. Ключевые компоненты:

  1. Роль / контекст — кто отвечает и какие детали важны («Ты — преподаватель информатики…»).
  2. Цель — чётко сформулируйте, чего хотите достичь.
  3. Формат ответа — список, таблица, краткое/развёрнутое описание.
  4. Примеры — если нужен определённый стиль, дайте образец.
  5. Ограничения и параметры — длина, тон, что нельзя.
❌ Плохой промпт
«Объясни, как работает компьютер.»
✅ Хороший промпт
«Ты — преподаватель информатики. Объясни, как работает компьютер, простыми словами для ученика 7-го класса. Ответ в виде списка из 3 пунктов.»

Практические советы

  • Избегайте неоднозначности.
  • Экспериментируйте с формулировками.
  • Дробите сложные задачи на простые запросы.
⚠️ Современные приёмы вне лекции: system/role-промпт, few-shot (примеры в промпте), chain-of-thought («рассуждай пошагово»), запрос структурированного вывода (JSON). См. гайд OpenAI / Anthropic.