Адреа Лонца - Алгоритмы обучения с подкреплением на Python

Андреа Лонца

Алгоритмы обучения
с подкреплением на Python

Reinforcement Learning
Algorithms with Python
Learn, understand, and develop smart
algorithms for addressing AI challenges

Andrea Lonza

BIRMINGHAM - MUMBAI

Алгоритмы обучения
с подкреплением на Python
Описание и разработка алгоритмов
искусственного интеллекта

Андреа Лонца

Москва, 2020

УДК 004.85
ББК 32.971.3
Л76

Л76

Лонца А.
Алгоритмы обучения с подкреплением на Python / пер. с англ. А. А. Слинкина. – М.: ДМК Пресс, 2020. – 286 с.: ил.
ISBN 978-5-97060-855-5
Эта книга поможет читателю овладеть алгоритмами обучения с подкреплением (ОП) и научиться реализовывать их при создании самообучающихся агентов.
В первой части рассматриваются различные элементы ОП, сфера его применения, инструменты, необходимые для работы в среде ОП. Вторая и третья части
посвящены непосредственно алгоритмам. В числе прочего автор показывает, как
сочетать Q-обучение с нейронными сетями для решения сложных задач, описывает
методы градиента стратегии, TRPO и PPO, позволяющие повысить производительность и устойчивость, а также детерминированные алгоритмы DDPG и TD3.
Читатель узнает о том, как работает техника подражательного обучения, познакомится с алгоритмами исследования на базе верхней доверительной границы
(UCB и UCB1) и метаалгоритмом ESBAS.
Издание предназначено для тех, кто интересуется исследованиями в области
искусственного интеллекта, применяет в работе глубокое обучение или хочет
освоить обучение с подкреплением с нуля. Обязательное условие – владение
языком Python на рабочем уровне.

УДК 004.85
ББК 32.971.3

First published in the English language under the title ‘Reinforcement Learning Algorithms
with Python. Russian language edition copyright © 2020 by DMK Press. All rights reserved.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.

ISBN 978-1-78913-111-6 (англ.)
ISBN 978-5-97060-855-5 (рус.)

Copyright © Packt Publishing 2019
© Оформление, издание, перевод,
ДМК Пресс, 2020

Спасибо, папа и мама, что открыли мне свет,
именуемый жизнью, и всегда были рядом.
Фред, ты крутой чувак.
Ты всегда понуждаешь меня сделать больше.
Спасибо, брат!

Содержание

Об авторе ...........................................................................................................12
Предисловие ....................................................................................................13
Часть I. АЛГОРИТМЫ И ОКРУЖАЮЩИЕ СРЕДЫ .......................18
Глава 1. Ландшафт обучения с подкреплением ................................19
Введение в ОП .......................................................................................................20
Сравнение ОП и обучения с учителем ............................................................22
История ОП .......................................................................................................23
Глубокое обучение ............................................................................................25
Элементы ОП ........................................................................................................26
Стратегия ..........................................................................................................26
Функция ценности............................................................................................28
Вознаграждение................................................................................................29
Модель ...............................................................................................................30
Применение ОП ....................................................................................................30
Игры...................................................................................................................30
Робототехника и индустрия 4.0 .......................................................................31
Машинное обучение .........................................................................................32
Экономика и финансы .....................................................................................32
Здравоохранение ..............................................................................................32
Интеллектуальные транспортные системы....................................................33
Оптимизация энергопотребления и умные сети электроснабжения ...........33
Резюме ...................................................................................................................33
Вопросы .................................................................................................................33
Для дальнейшего чтения......................................................................................34

Глава 2. Реализация цикла ОП и OpenAI Gym.....................................35
Настройка окружающей среды ............................................................................36
Установка OpenAI Gym .....................................................................................36
Установка Roboschool .......................................................................................37
OpenAI Gym и цикл ОП .........................................................................................37
Разработка цикла ОП........................................................................................38
Привыкаем к пространствам ...........................................................................41
Разработка моделей МО с --">