[Stepik] Добрый, добрый ИИ. Часть 2. Нейронные сети на PyTorch (Сергей Балакирев)

​

Практической основой курса выбран фреймворк PyTorch, с помощью которого выполняется построение и обучение нейронных сетей. Почему именно PyTorch? В действительности, единственный конкурент ему другой аналогичный фреймворк Keras/Tensorflow. Однако PyTorch имеет более удобный функционал проектирования сетей самой разной архитектуры. В то время как Keras/Tensorflow больше зарекомендовал себя в коммерческих приложениях (в продакшене) благодаря несколько более высокой скорости обучения НС. Но различия по скорости работы между этими двумя фреймворками не так существенны, а иногда и вовсе незаметны, чтобы отказываться от удобства PyTorch в пользу Keras/Tensorflow. К тому же, изучив PyTorch, вы легко сможете перейти на Keras/Tensorflow, если в этом возникнет необходимость.

Программа курса
Введение в нейросети. Тензоры PyTorch

1. Начало
2. Структура и принцип работы полносвязных нейронных сетей
3. Установка PyTorch совместно с CUDA
4. Создание тензоров. Конвертирование в NumPy
5. Тензоры. Автозаполнение, изменение формы
6. Тензоры. Индексирование и срезы
7. Тензоры. Базовые математические операции
8. Тензоры. Тригонометрические и статистические функции
9. Тензоры. Векторно-матричные операции
10. Использование CPU и GPU на примере простой НС
11. Персептрон - возможности классификации образов

Создание и обучение моделей полносвязных нейронных сетей

1. Идея обучения НС градиентным алгоритмом
2. Алгоритм back propagation
3. Функции активации и потерь в PyTorch
4. Автоматическое дифференцирование
5. Оптимизаторы. Реализация SGD на PyTorch
6. Классы nn.Linear и nn.Module
7. Форматы выборок. Сбалансированность и репрезентативность
8. Классы Dataset и Dataloader
9. Применение классов Dataset и Dataloader
10. Классификация изображений цифр БД MNIST
11. Трансформации transform. Класс ImageFolder
12. Сохранение и загрузка моделей нейронных сетей
13. Переобучение (overfitting). Критерии останова обучения
14. L2-регуляризатор и Dropout
15. Алгоритм Batch Normalization
16. Классы Sequential, ModuleList и ModuleDict

Сверточные нейронные сети

1. Введение в сверточные нейронные сети (CNN)
2. Классы Conv2d и MaxPool2d
3. Пример реализации сверточной нейронной сети
4. Сверточные нейронные сети VGG-16 и VGG-19
5. Теория стилизации изображений (Neural Style Transfer)
6. Делаем стилизацию изображений на PyTorch
7. Остаточные нейронные сети (residual networks - ResNet)
8. Архитектуры ResNet-18 и ResNet-50
9. Использование ResNet моделей. Их связь с Dropout и бустингом
10. Transfer Learning (трансферное обучение)
11. Архитектура сети U-Net. Семантическая сегментация изображений
12. Реализация U-Net для семантической сегментации изображений

Рекуррентные нейронные сети

1. Введение в рекуррентные нейронные сети
2. Класс nn.RNN рекуррентного слоя
3. Рекуррентная сеть для прогноза символов
4. Понятие эмбеддинга. Embedding слов
5. Прогноз слов рекуррентной нейронной сетью
6. Функции активации в RNN. Двунаправленные RNN
7. Двунаправленные RNN в PyTorch. Сентимент-анализ фраз
8. LSTM - долгая краткосрочная память
9. Рекуррентный блок GRU

Автоэнкодеры. Генеративные сети

1. Введение в автоэнкодеры
2. Вариационные автоэнкодеры (VAE)
3. Реализация вариационного автоэнкодера (VAE)
4. Генеративно-состязательные сети (GAN)
5. Реализация GAN на PyTorch