Чару Аггарвал - Нейронные сети и глубокое обучение: учебный курс

учителем

Глубокие машины Больцмана и глубокие сети доверия

6.8. Резюме
6.9. Библиографическая
6.10. Упражнения
Глава

7.1.

7.

423

Выразительная способность рекуррентных нейронных сетей

Архитектура рекуррентных нейронных сетей

7.2.1.
7.2.2.
7.2.3.
7.2.4.
7.3.

Рекуррентные нейронные сети

Введение

7.1.1.
7.2.

справка

Пример языкового моделирования с помощью

RNN

Обратное распространение ошибки во времени
Двунаправленные рекуррентные сети
Многослойные рекуррентные сети

Трудности обучения рекуррентных сетей

7.3.1.

Послойная нормализация

7.4. Эхо-сети
7.5. Долгая краткосрочная память (LSTM)
7.6. Управляемые рекуррентные блоки
7. 7. Применение рекуррентных нейронных сетей
7. 7.1. Автоматическое аннотирование изображений
7.7.2. Обучение "последовательность в последовательность"
и машинный перевод

7.7.3.
7.7.4.

Классификация на уровне предложений

7.8.
7. 9.

423
427
428
432
435
439
442
444
448
450
453
458
460
461
463
469

Классификация на уровне токенов с использованием
лингвистических признаков

7.7.5.
7.7.6.
7.7.7.
7.7.8.
7.7.9.

417
417
418
419
421

Прогнозирование и предсказание временных рядов
Временные рекомендательные системы

Предсказание вторичной структуры белка
Сквозное распознавание речи
Распознавание рукописного текста

Резюме

Библиографическая справка

7.9.1. Программные ресурсы
7.10. Упражнения

470
472
474
478
479
479
480
481
482
483

СОДЕРЖАНИЕ

Глава

8.

Сверточные нейронные сети

8.1. Введение
8.1.1. Исторический обзор и биологические предпосылки
8.1.2. Общие замечания относительно сверточных нейронных сетей
8.2. Базовая структура сверточной сети
8.2.1. Дополнение
8.2.2. Шаговая свертка
8.2.3. Типичные параметры
8.2.4. Слой ReLU
8.2.5. Пулинг
8.2.6. Полносвязные слои
8.2.7. Чередование слоев
8.2.8. Нормализация локального отклика
8.2.9. Иерархическое конструирование признаков
8.3. Тренировка сверточной сети
8.3.1. Обратное распространение ошибки через свертки
8.3.2. Обратное распространение ошибки как свертка
с инвертированным/транспонированным фильтром

8.3.3.

8.4.

8.5.

CeтьAlexNet
Сеть

ZFNet
VGG
Сеть GoogLeNet
Сеть ResNet
Сеть

Эффекты глубины
Предварительно обученные модели

Визуализация и обучение без учителя

8.5.1.
8.5.2.
8.6.

Аугментация данных

Примеры типичных сверточных архитектур

8.4.1.
8.4.2.
8.4.3.
8.4.4.
8.4.5.
8.4.6.
8.4.7.

Визуализация признаков обученной сети
Сверточные автокодировщики

Применение сверточных сетей

8.6.1. Извлечение изображений на основе содержимого
8.6.2. Локализация объектов
8.6.3. Обнаружение объектов
8.6.4. Распознавание естественного языка и обучение
последовательностей

8.6.5.

485
485
486
488
489
495
498
499
500
501
503
504
508
508
510
511
512

Свертка и обратное распространение ошибки как матричное
умножение

8.3.4.

13

Классификация видео

514
517
518
519
523
524
528
531
536
537
539
540
548
555
555
555
558
559
560

14

8.7.
8.8.

СОДЕРЖАНИЕ

Резюме

Библиографическая справка
Программные ресурсы и наборы данных

8.8.1.
8.9.

561
562
565
566

Упражнения

Глава

9.

Глубокое обучение с подкреплением

9.1. Введение
9.2. Алгоритмы без запоминания состояний: многорукие бандиты
9.2.1. Наивный алгоритм
9.2.2. Жадный алгоритм
9.2.3. Методы верхней границы
9.3. Базовая постановка задачи обучения с подкреплением
9.3.1. Трудности обучения с подкреплением
9.3.2. Простой алгоритм обучения с подкреплением для игры
крестики-нолики

9.3.3.
9.4.

Бутстрэппинг для обучения функции оценки

9.4.1.
9.4.2.
9.4.3.
9.4.4.
9.5.

Роль глубокого обучения и алгоритм "соломенного пугала"

Модели глубокого обучения как аппроксиматоры функций
Пример: нейронная сеть для игр на платформе

Atari

Методы, привязанные и не привязанные к стратегии:
Моделирование состояний, а не пар "состояние

-

SARSA

действие"

Градиентный спуск по стратегиям

9.5.1.
9.5.2.
9.5.3.

Метод конечных разностей

Методы относительного правдоподобия

9.6.
9. 7.

Методы "актор-критик"
Непрерывное пространство действий

Преимущества и недостатки градиентного спуска по стратегиям

Поиск по дереву методом --">