Арефьев Н.В.

Четверг, 19:00,
ауд. https://discord.gg/X3JQmgU

Полугодовой спецкурс, с продолжением весной. С 24.09.2020. Рекомендуется желающим изучить основы теории и практики нейронных сетей, а также распределиться на кафедру АЯ спецсеминар Компьютерная Лингвистика

Осень 19-20
Neural Networks for Natural Language Processing
Нейронные сети в задачах автоматической обработки текстов

Аннотация
Спецкурс ориентирован на студентов бакалавриата и магистратуры, знакомых с основами математического анализа, теории вероятности и математической статистики, линейной алгебры (в объеме первых двух курсов ВМК МГУ). Спецкурс знакомит студентов с базовыми понятиями машинного обучения и теории искусственных нейронных сетей, методами их использования для решения задач автоматической обработки текстов.
Рассматриваются различные типы слоев нейронных сетей: полносвязные слои, сверточные слои, рекуррентные слои и механизм внимания. На примерах задач анализа тональности и тематики текстов, статистического языкового моделирования и машинного перевода рассматриваются подходы к комбинированию данных типов слоев в единую модель, способы обучения и применения модели, походы к оценке ее качества.

План курса
1. Основные понятия теории машинного обучения. Задачи автоматической обработки текстов на естественном языке.
2. Задача классификации текстов. Модель “Мешок слов”. Методы машинного обучения для классификации: наивный байес, логистическая регрессия.
3. Стохастический градиентный спуск. Полносвязные нейронные сети, метод обратного распространения ошибки.
4. Подбор гиперпараметров и тестирование моделей машинного обучения. Проблема переобучения и подходы к ее решению.
5. Векторные представления слов естественного языка.
6. Рекуррентные нейронные сети и их применение к задаче статистического языкового моделирования.
7. Модель sequence2sequence. Нейронный машинный перевод.
8. Механизм внимания. Использования механизма внимания в машинном переводе.
9. Модели классификации текстов с помощью рекуррентных нейронных сетей.
10. Сверточные сети и их использование в задаче генерации текстовой аннотации для изображений.
11. Модели классификации текстов с помощью сверточных нейронных сетей.

Страница курса: http://vmk.somee.com/Details/6197