С. Николенко , А. Кадурин , Е. Архангельская - Глубокое обучение

ББК 32.973.236
УДК 004.8
Н63

Николенко С., Кадурин А., Архангельская Е.
Н63

Глубокое обучение. — СПб.: Питер, 2018. — 480 с.: ил. — (Серия «Библиотека
программиста»).
ISBN 978-5-496-02536-2
Перед вами — первая книга о глубоком обучении, написанная на русском языке. Глубокие модели
оказались ключом, который подходит ко всем замкам сразу: новые архитектуры и алгоритмы обучения,
а также увеличившиеся вычислительные мощности и появившиеся огромные наборы данных привели
к революционным прорывам в компьютерном зрении, распознавании речи, обработке естественного
языка и многих других типично «человеческих» задачах машинного обучения. Эти захватывающие
идеи, вся история и основные компоненты революции глубокого обучения, а также самые современные
достижения этой области доступно и интересно изложены в книге. Максимум объяснений, минимум
кода, серьезный материал о машинном обучении и увлекательное изложение — в этой уникальной
работе замечательных российских ученых и интеллектуалов.

16+ (В соответствии с Федеральным законом от 29 декабря 2010 г. № 436-ФЗ.)
ББК 32.973.236
УДК 004.8

Все права защищены. Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме
без письменного разрешения владельцев авторских прав.
Информация, содержащаяся в данной книге, получена из источников, рассматриваемых издательством как надежные. Тем не менее, имея в виду возможные человеческие или технические ошибки, издательство не может
гарантировать абсолютную точность и полноту приводимых сведений и не несет ответственности за возможные
ошибки, связанные с использованием книги.

ISBN 978-5-496-02536-2

© ООО Издательство «Питер», 2018
© Серия «Библиотека программиста», 2018

Оглавление

Часть I.

Как обучать нейронные сети

Глава 1. От биологии к информатике, или We need to go deeper
1.1. Революция обучения глубоких сетей . . . . . . . . . . . . . .
1.2. Искусственный интеллект и машинное обучение . . . . .
1.3. Немного о словах: каким бывает машинное обучение . .
1.4. Особенности человеческого мозга. . . . . . . . . . . . . . . . .
1.5. Пределы нейробиологии: что мы на самом деле знаем? .
1.6. Блеск и нищета современных нейронных сетей . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

6
7
11
17
21
26
30

Глава 2. Предварительные сведения, или Курс молодого бойца . . .
2.1. Теорема Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2. Функции ошибки и регуляризация . . . . . . . . . . . . . . . . . . .
2.3. Расстояние Кульбака — Лейблера и перекрестная энтропия.
2.4. Градиентный спуск: основы . . . . . . . . . . . . . . . . . . . . . . . .
2.5. Граф вычислений и дифференцирование на нем . . . . . . . . .
2.6. И о практике: введение в TensorFlow и Keras. . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

38
39
53
63
69
75
81

Глава 3. Перцептрон, или Эмбрион мудрого компьютера . . . . . .
3.1. Когда появились искусственные нейронные сети . . . . . .
3.2. Как работает перцептрон . . . . . . . . . . . . . . . . . . . . . . . .
3.3. Современные перцептроны: функции активации. . . . . . .
3.4. Как же обучаются настоящие нейроны . . . . . . . . . . . . . .
3.5. Глубокие сети: в чем прелесть и в чем сложность? . . . . . .
3.6. Пример: распознавание рукописных цифр на TensorFlow

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

. 93
. 94
. 97
.105
.113
.117
.123

Глава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах
4.1. Регуляризация в нейронных сетях . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Как инициализировать веса . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3. Нормализация по мини-батчам. . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4. Метод моментов: Ньютон, Нестеров и Гессе . . . . . . . . . . . . . . . . .
4.5. Адаптивные варианты градиентного спуска . . . . . . . . . . . . . . . . .

.137
.138
.142
.153
.164
.169

Глава 5. Сверточные нейронные сети и автокодировщики,
или Не верь глазам своим . . . . . . . . . . . . . . . . . . .
5.1. Зрительная кора головного мозга . . . . . . . . . . . . . .
5.2. Свертки и сверточные сети . . . . . . . . . . . . . . . . . . .
5.3. Свертки для распознавания цифр . . . . . . . . . . . . . .
5.4. Современные сверточные архитектуры . . . . . . . . . .
5.5. Автокодировщики . . . . . . . . . . . . . . . . . . . . . . . . .
5.6. Пример: кодируем рукописные цифры --">