Чару Аггарвал - Нейронные сети и глубокое обучение: учебный курс

Нейронные
сети и глубокое
обучение
Учебный курс

Charu С. Aggarwal

Neural Networks
and
Deep Learning
А Textbook

~ Springer

Чару Аггарвал

Нейронные

сети и глубокое
обучение
Учебный курс

Москва

2020

· Санкт-Петербург

ББК

32.973.26-018.2.75
А23

УДК

681.3.07
Компьютерное издательство "Диалектика"
Перевод с английского канд. хим. наук А.Г Гузикевича
Под редакцией В.Р. Гинзбурга
По общим вопросам обращайтесь в издательство "Диалектика" по адресу:

info@dialektika.com,http://www.dialektika.com
Аггарвал, Чару

А23

Нейронные сети и глубокое обучение: учебный курс.

ООО "Диалектика",

2020. -

752

ISBN 978-5-907203-01-3

(рус.)

с.

-

: Пер.

с англ.

ББК
Все

названия

программных

продуктов

-

СПб.

:

Парал. тит. англ.

являются

32.973.26-018.2. 75

зарегистрированными торговыми

марками

соответствующих фирм.
Никакая часть настоящего издания ни в каких целях не может быть воспроизведена в какой бы то ни бьшо

форме и какими бы то ни бьшо средствами, бу.цъ то электронные или механические, включая фотокопирование
и запись на магнитный носитель, если на это нет письменного разрешения издательства

Springer.
Authorized Russian translation ofthe English edition of Neural Networks and Deep Learning: А Textbook (ISBN
978-3-319-94462-3) © Springer lntemational PuЬ\ishing AG, part of Springer Nature 2018
This translation is puЬ\ished and sold Ьу perrnission of Springer, which owns or controls а\\ rights to sell the
same.
All rights reserved. No part of this book may Ье reproduced or transmitted in any forrn or Ьу any means, electronic or mechanical, including photocopying, recording, or Ьу any inforrnation storage or retrieval system, without
the prior written permission of the copyright owner and the PuЬ\isher.

Научно-популярное издание
Чару Аrтарвал

Нейронные сети и глубокое обучение:
учебный курс

ООО "Диалектика",

ISBN 978-5-907203-01-3
ISBN 978-3-319-94462-3

195027,

Санкт-Петербург, Магнитогорская ул., д.

30, лит.

А, пом.

848

(рус.)

© 2020

(англ.)

© Springer lnternational PuЬ\ishing AG,
part of Springer Nature 2018

ООО "Диалектика"

Оглавление

Предисловие

17

Глава

1.

Введение в нейронные сети

23

Глава

2.

Машинное обучение

Глава

3.

Глава

4.

с помощью мелких нейронных сетей

101

Обучение глубоких нейронных сетей

179

Обучение глубоких сетей способности
к обобщению

271

Глава

5.

Сети радиально-базисных функций

345

Глава

6.

Ограниченные машины Больцмана

369

Глава

7.

Рекуррентные нейронные сети

423

Глава

8.

Сверточные нейронные сети

485

Глава

9.

Глубокое обучение с подкреплением

569

Глава

10. Дополнительные

вопросы глубокого обучения

637

Библиография

695

Предметный указатель

737

Содержание

Предисловие

17

Об авторе
Ждем ваших отзывов!

20
21

Глава

23

1.1.

1.

Введение в нейронные сети

Введение

1.1.1. Человек и

1.2.

1.4.

компьютер: расширение пределов возможностей

искусственного интеллекта

26

Базовая архитектура нейронных сетей

29
29
46
51

1.2.1.
1.2.2.
1.2.3.
1.3.

23

Одиночный вычислительный слой: перцептрон
Многослойные нейронные сети
Многослойная нейронная сеть как вычислительный граф

Тренировка нейронной сети с помощью алгоритма обратного
распространения ошибки

52

Практические аспекты тренировки нейронных сетей

57
58
63
64
64
65

1.4.1. Проблема переобучения
1.4.2. Проблемы затухающих и взрывных градиентов
1.4.3. Трудности со сходимостью
1.4.4. Локальные и ложные оптимумы
1.4.5. Вычислительные трудности
1.5. Преимущества композиции функций
1.5.1. Важность нелинейной активации
1.5.2. Снижение требований к параметрам с помощью
1.5.3. Нестандартные архитектуры нейронных сетей
1.6.

глубины

Распространенные архитектуры нейронных сетей

1.6.1.

66
69
71
73
76

Имитация базового машинного обучения с помощью
мелких моделей

1.6.2. Сети радиально-базисных функций
1.6.3. Ограниченные машины Больцмана
1.6.4. Рекуррентные нейронные сети
1.6.5. Сверточные нейронные сети
1.6.6. Иерархическое конструирование признаков
и предварительное обучение моделей

76
77
78
79
82
84

СОДЕРЖАНИЕ

1. 7.

7

Дополнительные темы

1. 7 .1. Обучение с подкреплением
1.7.2. Отделение хранения данных от вычислений
1. 7 .3. Генеративно-состязательные сети
1.8. Два --">