Адреа Лонца - Алгоритмы обучения с подкреплением на Python

помощью TensorFlow ................................................42
Тензоры .............................................................................................................43
Создание графа .................................................................................................45
Простой пример линейной регрессии ............................................................46

Содержание  7

Введение в TensorBoard ........................................................................................49
Типы окружающих сред ОП .................................................................................51
Зачем нужны различные среды? .....................................................................51
Окружающие среды с открытым исходным кодом ........................................52
Резюме ...................................................................................................................54
Вопросы .................................................................................................................55
Для дальнейшего чтения......................................................................................55

Глава 3. Решение задач методом динамического
программирования........................................................................................56
МППР .....................................................................................................................56
Стратегия ..........................................................................................................58
Доход .................................................................................................................58
Функции ценности ...........................................................................................59
Уравнение Беллмана ........................................................................................60
Классификация алгоритмов ОП ..........................................................................61
Безмодельные алгоритмы................................................................................62
Алгоритмы ОП, основанные на модели ..........................................................63
Разнообразие алгоритмов................................................................................64
Динамическое программирование .....................................................................64
Оценивание и улучшение стратегии...............................................................65
Итерация по стратегиям ..................................................................................66
Итерация по ценности .....................................................................................70
Резюме ...................................................................................................................72
Вопросы .................................................................................................................73
Для дальнейшего чтения......................................................................................73

Часть II. БЕЗМОДЕЛЬНЫЕ АЛГОРИТМЫ ОП .................................74
Глава 4. Применение Q-обучения и алгоритма SARSA ...................75
Обучение без модели............................................................................................76
Порядок действий.............................................................................................76
Оценивание стратегии .....................................................................................77
Проблема исследования ...................................................................................77
TD-обучение..........................................................................................................78
TD-обновление .................................................................................................79
Улучшение стратегии .......................................................................................79
Сравнение методов Монте-Карло и TD-методов ...........................................79
SARSA.....................................................................................................................80
Алгоритм ...........................................................................................................80
Применение SARSA к игре Taxi-v2 ......................................................................81
Q-обучение ............................................................................................................86
Теория................................................................................................................86
Алгоритм ...........................................................................................................87
Применение Q-обучения к игре Taxi-v2 .............................................................87
Сравнение SARSA и Q-обучения......................................................................89

8  Содержание
Резюме ...................................................................................................................91
Вопросы .................................................................................................................92

Глава 5. Глубокая Q-сеть ..............................................................................93
Глубокие нейронные сети и Q-обучение ............................................................93
Аппроксимация функций ................................................................................94
Q-обучение с нейронными сетями .................................................................95
Неустойчивость глубокого Q-обучения ..........................................................96
DQN ........................................................................................................................97
Решение .............................................................................................................97
Алгоритм DQN ..................................................................................................98
Архитектура модели .......................................................................................101
Применение DQN к игре Pong ...........................................................................102
Игры Atari ........................................................................................................102
Предварительная обработка ..........................................................................103
Реализация DQN --">