Эндрю Траск - Грокаем глубокое обучение.

пример....................................................................................... 92
Что действительно необходимо знать......................................................................... 94
Что знать необязательно............................................................................................. 94
Как использовать производные для обучения............................................................ 95
Выглядит знакомо? ...................................................................................................... 97
Ломаем градиентный спуск ......................................................................................... 98
Визуальное представление избыточной коррекции................................................... 99
Расхождение ................................................................................................................100
Знакомьтесь: альфа-коэффициент............................................................................ 101
Альфа-коэффициент в коде....................................................................................... 102
Запоминание................................................................................................................103
5

Корректировка сразу нескольких весов: обобщение
градиентного спуска....................................................................................104

Обучение методом градиентного спуска с несколькими входами........................... 105
Градиентный спуск с несколькими входами, описание ........................................... 107
Рассмотрим несколько шагов обучения ................................................................... 113
Замораживание одного веса: для чего? ................................................................... 115
Обучение методом градиентного спуска с несколькими выходами......................... 117
Обучение методом градиентного спуска с несколькими входами и выходами . . 120
Чему обучаются эти веса? ......................................................................................... 121
Визуализация значений весов ................................................................................... 124
Визуализация скалярных произведений (сумм весов)............................................. 125
Итоги............................................................................................................................. 126
6 Создание первой глубокой нейронной сети: введение в обратное
распространение......................................................................................... 127

Задача о светофоре.................................................................................................... 128
Подготовка данных .................................................................................................... 130
Матрицы и матричные отношения ............................................................................ 131
Создание матриц в Python ......................................................................................... 134
Создание нейронной сети............................................................................................135
Обучение на полном наборе данных.......................................................................... 137
Полный, пакетный и стохастический градиентный спуск........................................ 138
Нейронные сети изучают корреляцию ..................................................................... 139
Повышающее и понижающее давление ................................................................... 140
Пограничный случай: переобучение.......................................................................... 142
Пограничный случай: конфликт давлений ............................................................... 143
Определение косвенной корреляции ........................................................................145
Создание корреляции.................................................................................................. 146
Объединение нейронных сетей в стек: обзор.......................................................... 147

Обратное распространение: определение причин ошибок на расстоянии...........148
Обратное распространение: как это работает?.................................................................. 150

Линейность и нелинейность........................................................................................................151

Почему составная нейронная сеть не работает.................................................................. 152
Тайна эпизодической корреляции

.......................................................................................... 153

Короткий перерыв.......................................................................................................................... 154
Ваша первая глубокая нейронная сеть.................................................................................. 155
Обратное распространение в коде.......................................................................................... 156

Одна итерация обратного распространения........................................................................ 159
Объединяем все вместе............................................................................................................... 161
Почему глубокие сети важны для нас?.................................................................................. 162

7

Как изобразить нейронную сеть: в голове и на бумаге ........................... 164
Время упрощать............................................................................................................................... 165

Обобщение корреляции............................................................................................................... 166

Прежняя усложненная визуализация

..................................................................................... 167

Упрощенная --">