✅ Решения

Часть 1. Ответы

1. Тест Тьюринга: участвуют испытатель, машина и человек; испытатель общается текстом, не зная, кто есть кто. Если он не может отличить машину от человека — машина прошла тест. Важен как ранний критерий «интеллектуальности» машины.
2. Прорыв трансформеров: механизм внимания учитывает контекст на любом расстоянии, а параллельная обработка делает их быстрыми и эффективными на длинных текстах — то, с чем плохо справлялись RNN и CNN.
3. Затухание градиентов: при обучении на длинных последовательностях влияние ранних слов экспоненциально убывает, и RNN «забывает» начало текста.
4. Позиционные эмбеддинги: трансформер обрабатывает слова параллельно и не видит их порядок напрямую — позиционные метки кодируют, на каком месте стоит слово.
5. RNN: анализ последовательностей, языковое моделирование, речь, генерация. CNN: классификация текста, анализ тональности (локальные шаблоны).
6. Трансформеры — быстрее всех за счёт полной параллельной обработки текста.

Часть 2. NLP в жизни — примеры

• Чат-боты и голосовые ассистенты (Siri, Alexa, поддержка на сайтах).
• Машинный перевод (Google Translate, DeepL).
• Поиск, автодополнение и автозамена в смартфоне; фильтрация спама.

Часть 3. Внимание вне NLP

• Компьютерное зрение: Vision Transformer (ViT) применяет внимание к участкам изображения; механизмы внимания подсвечивают важные области (детекция объектов).
• Видео и аудио: внимание выделяет ключевые кадры/фрагменты.