Адреа Лонца - Алгоритмы обучения с подкреплением на Python

.................................................................................................................257
Вопросы ...............................................................................................................258
Для дальнейшего чтения....................................................................................258

Глава 13. Практические подходы к решению проблем ОП ........259
Рекомендуемые практики глубокого ОП ..........................................................259
Выбор подходящего алгоритма .....................................................................260
От простого к сложному .................................................................................261
Проблемы глубокого ОП.....................................................................................263
Устойчивость и воспроизводимость результатов ........................................263
Эффективность ...............................................................................................264
Обобщаемость.................................................................................................265
Передовые методы .............................................................................................266
ОП без учителя ................................................................................................266
Перенос обучения ...........................................................................................268
ОП в реальном мире ...........................................................................................270
Лицом к лицу с реальным миром ..................................................................270
Преодоление разрыва между имитационной моделью и реальным
миром ..............................................................................................................271
Создание собственной окружающей среды..................................................272
Будущее ОП и его влияние на общество ...........................................................272
Резюме .................................................................................................................273
Вопросы ...............................................................................................................274
Для дальнейшего чтения....................................................................................274

Ответы на вопросы......................................................................................275
Предметный указатель ..............................................................................281

Об авторе
Андреа Лонца занимается глубоким обучением, одержим искусственным
интеллектом и страстью создавать машины, действующие «разумно». Знания в области обучения с подкреплением, обработки естественного языка
и компьютерного зрения приобрел в ходе работы над проектами по машинному обучению в университете и в промышленности. Также участвовал в нескольких конкурсах Kaggle и достигал высоких результатов. Всегда ищет интересные задачи и любит доказывать, на что способен.

О рецензенте
Грег Уолтерс занимается компьютерами и программированием с 1972 года.
Отлично владеет языками Visual Basic, Visual Basic .NET, Python и SQL (диалектами MySQL, SQLite, Microsoft SQL Server, Oracle), C++, Delphi, Modula-2, Pascal, C, ассемблером 80x86, COBOL и Fortran. Обучает программированию, через его руки прошло множество людей, которых он учил таким продуктам, как
MySQL, Open Database Connectivity, Quattro Pro, Corel Draw!, Paradox, Microsoft
Word, Excel, DOS, Windows 3.11, Windows for Workgroups, Windows 95, Windows
NT, Windows 2000, Windows XP и Linux. Сейчас на пенсии и в свободное время
музицирует и обожает готовить, но всегда готов поработать фрилансером над
разными проектами.

Предисловие
Обучение с подкреплением (ОП) – популярное и многообещающее направление искусственного интеллекта, в рамках которого изучается построение
моделей и агентов, способных находить идеальное поведение в условиях изменяющихся требований. Эта книга поможет вам овладеть алгоритмами ОП
и научиться реализовывать их при создании самообучающихся агентов.
Книга начинается с введения в инструменты, библиотеки и процедуру установки, необходимые для работы в среде ОП, затем рассматриваются различные элементы ОП и применение методов, основанных на понятии ценности,
в частности алгоритмов Q-обучения и SARSA. Вы научитесь сочетать Q-обучение с нейронными сетями для решения сложных задач. Рассматриваются также методы градиента стратегии, TRPO и PPO, позволяющие повысить производительность и устойчивость, а затем детерминированные алгоритмы DDPG
и TD3. Объясняется, как работает техника подражательного обучения и как алгоритм Dagger позволяет обучить агента летать. Вы узнаете об эволюционных
стратегиях и оптимизации методом черного ящика. И напоследок познакомитесь с алгоритмами исследования на базе верхней доверительной границы
(UCB и UCB1) и метаалгоритмом ESBAS.
Прочитав книгу до конца, вы научитесь применять основные алгоритмы ОП
для решения реальных задач и станете членом сообщества ОП.

ПредПОлагаемая аудитОрия
Если вы занимаетесь исследованиями в области ИИ, применяете в работе глубокое обучение или просто хотите изучить ОП с нуля, то эта книга для вас. Она
будет полезна и тем, кто хочет --">