Эндрю Траск - Грокаем глубокое обучение.

визуализация.......................................................................................................... 169

Еще более упрощенная визуализация..................................................................................... 170
Посмотрим, как эта сеть получает прогноз.......................................................................... 171

Визуализация с использованием букв вместо картинок................................................... 173
Связывание переменных

............................................................................................................. 174

Сравнение разных способов визуализации.......................................................................... 175
Важность инструментов визуализации

.................................................................................. 175

8 Усиление сигнала и игнорирование шума: введение
в регуляризацию и группировку................................................................ 177
Трехслойная сеть для классификации набора данных MNIST

Это было просто

..................................... 178

............................................................................................................................. 180

Запоминание и обобщение.......................................................................................................... 181
Переобучение нейронных сетей................................................................................................ 182

Причины переобучения

............................................................................................................

184

Простейшая регуляризация: ранняя остановка...................................................................185

Стандартный способ регуляризации: прореживание (дропаут)................................... 186
Как работает прореживание: в работе участвуют ансамбли

........................................ 187

Прореживание в коде..................................................................................................................... 188
Влияние прореживания на модель MNIST............................................................................. 191
Пакетный градиентный спуск..................................................................................................... 192
Итоги.....................................................................................................................................................194

9

Моделирование случайности и нелинейности: функции активации ... 195
Что такое функция активации?.................................................................................................. 196
Стандартные функции активации для скрытых слоев..................................................... 200

Стандартные функции активации для выходного слоя

................................................... 201

Главная проблема: входные данные могут быть схожи между собой........................ 204

Вычисление softmax........................................................................................................................205

Инструкции по внедрению функций активации...................................................................207
Умножение разности на производную

.................................................................................. 209

Преобразование выхода в наклон (производную)............................................................. 211

Усовершенствование сети MNIST............................................................................................. 212

10 Края и углы нейронного обучения: введение в сверточные
нейронные сети........................................................................................... 215
Повторное использование весов в нескольких местах..................................................... 216
Сверточный слой............................................................................................................................. 217

Простая реализация в NumPy..................................................................................................... 220
Итоги.....................................................................................................................................................224

11 Нейронные сети, понимающие человеческий язык:
король - мужчина + женщина ==?.......................................................... 226
Что значит понимать человеческий язык?

Обработка естественного языка (NLP)

...........................................................................227

...................................................................................228

Обработка естественного языка с учителем........................................................................ 229
Набор данных IMDB с обзорами фильмов............................................................................. 230

Выявление корреляции слов во входных данных

............................................................. 231

Прогнозирование обзоров фильмов........................................................................................ 232

Введение в слой с векторным представлением...................................................................234

Интерпретация результата.......................................................................................................... 236

Нейронная архитектура................................................................................................................ 237
Сравнение векторных представлений слов...........................................................................240

В чем заключается смысл нейрона?........................................................................................ 241

Подстановка пропущенных слов................................................................................................ 242
Смысл определяется --">