Урок 03. Токенизация и работа с API LLM

📁 Блок: Основы AI/LLM ⏱️ Время изучения: ~65 мин 🎯 Сложность: Средняя
#llm-api #tokenization #gemini #api

⚡ Кратко: токены и API LLM

Токенизация — разбиение текста на токены (слова, части слов, символы) перед обработкой моделью. У моделей есть лимит контекста в токенах (вход + выход).

  • Методы: по словам · по символам · по подсловам (subword/BPE — используют GPT, Gemini). ~1 токен ≈ ¾ слова в английском; кириллица «дороже».
  • API LLM — вызов модели по сети, без локального запуска. Аналогия: вы → официант(API) → кухня(сервер).
  • Gemini API (новый SDK google-genai):
# main.py
from google import genai
client = genai.Client(api_key=API_KEY)
r = client.models.generate_content(model="gemini-2.0-flash",
                                   contents=["How does AI work?"])
print(r.text)

Ключи — только через .env/переменные окружения, никогда не хардкодить и не коммитить.

📖 О чём этот урок

Это первый «кодовый» урок курса. Чтобы программно работать с LLM, нужно понимать две вещи: как модель «видит» текст (токены и их лимиты) и как обратиться к модели из кода (API). На примере Google Gemini API напишем первый запрос и научимся безопасно хранить ключи.

Что изучим

  • Токенизация: что это, зачем, методы (слова / символы / подслова)
  • Лимиты токенов у популярных моделей и как экономить токены
  • Как работает API LLM (концепция «клиент → API → сервер»)
  • Первый запрос к Gemini API на Python (SDK google-genai)
  • Безопасное хранение API-ключей: .env, переменные окружения, .gitignore
  • Best practices (вне лекции): подсчёт токенов tiktoken, streaming, обработка ошибок

📚 Что повторить перед изучением

🎯 Что изучать дальше