Эндрю Траск - Грокаем глубокое обучение.

потерями.................................................................................................. 244

Король - мужчина + женщина ~= королева........................................................................ 248
Словесные аналогии

..................................................................................................................... 249

Итоги.................................................................................................................................................... 251

12 Нейронные сети, которые пишут как Шекспир: рекуррентные слои
для данных переменной длины ................................................................ 252
Проблема произвольной длины

................................................................................................ 253

Действительно ли сравнение имеет значение?...................................................................254
Удивительная мощь усредненных векторов слов

............................................................. 255

Как векторные представления хранят информацию?

..................................................... 257

Как нейронная сеть использует векторные представления?

Ограничение векторов в модели «мешок слов»

...............

258

................................................................ 259

Объединение векторных представлений слов с использованием
единичной матрицы ............................................................................................. 261
Матрицы, которые ничего не меняют....................................................................... 262
Определение переходных матриц.............................................................................. 264
Обучение созданию векторов предложений............................................................ 265
Прямое распространение на Python ......................................................................... 266
Как добавить сюда обратное распространение? ..................................................... 267
Обучим ее!....................................................................................................................268
Подготовка ................................................................................................................. 269
Прямое распространение с данными произвольной длины ....................................271
Обратное распространение с данными произвольной длины................................. 272
Корректировка весов с данными произвольной длины .......................................... 273
Запуск и анализ результатов .................................................................................... 274
Итоги.............................................................................................................................277
13

Введение в автоматическую оптимизацию: создание фреймворка
глубокого обучения..................................................................................... 278

Что такое фреймворк глубокого обучения?.............................................................. 279
Введение в тензоры.................................................................................................... 280
Введение в автоматическое вычисление градиента (autograd) ............................. 281
Контрольная точка...................................................................................................... 283
Тензоры, используемые многократно....................................................................... 284
Добавление поддержки тензоров многократного использования
в реализацию autograd......................................................................................... 286
Как работает сложение в обратном распространении?.......................................... 288
Добавление поддержки отрицания............................................................................289
Добавление поддержки других операций................................................................ 290
Использование autograd в обучении нейронной сети ............................................ 295
Добавление автоматической оптимизации .............................................................. 297
Добавление поддержки слоев разных типов............................................................ 298
Слои, содержащие другие слои ................................................................................ 299
Слои с функцией потерь ........................................................................................... 300
Как научиться пользоваться фреймворком.............................................................. 301
Нелинейные слои........................................................................................................ 302
Слой с векторным представлением ............................................................................304
Добавление индексирования в autograd................................................................... 305
Слой с векторным представлением (повтор)............................................................ 306
Слой с перекрестной энтропией................................................................................ 307
Рекуррентный слой .................................................................................................... 309
Итоги.............................................................................................................................313

14 Обучаем сеть писать как Шекспир: долгая краткосрочная память .... 314

Моделирование языка символов................................................................................ 315
Необходимо усеченное обратное распространение................................................. 316
Усеченное обратное распространение ..................................................................... 317
Образец вывода........................................................................................................... --">