Эндрю Траск - Грокаем глубокое обучение.

321
Затухающие и взрывные градиенты..........................................................................322
Упрощенный пример обратного распространения в RNN........................................ 323
Ячейки долгой краткосрочной памяти (LSTM).......................................................... 324
Аналогия, помогающая понять идею вентилей LSTM............................................... 325
Слой долгой краткосрочной памяти ..........................................................................326
Усовершенствование модели языка символов.......................................................... 328
Обучение LSTM-модели языка символов................................................................... 329
Настройка LSTM-модели языка символов ................................................................. 330
Итоги............................................................................................................................ 331
15 Глубокое обучение на конфиденциальных данных: введение
в федеративное обучение ..........................................................................332

Проблема конфиденциальности в глубоком обучении............................................. 333
Федеративное обучение..............................................................................................334
Обучаем выявлять спам..............................................................................................335
Сделаем модель федеративной ................................................................................ 337
Взламываем федеративную модель ..........................................................................338
Безопасное агрегирование......................................................................................... 340
Гомоморфное шифрование......................................................................................... 341
Федеративное обучение с гомоморфным шифрованием ........................................ 342
Итоги.............................................................................................................................343
16 Куда пойти дальше: краткий путеводитель.............................................. 345

Поздравляю! ............................................................................................................... 346
Шаг 1: начните изучать PyTorch................................................................................ 346
Шаг 2: начните изучать следующий курс по глубокому обучению.........................347
Шаг 3: купите учебник по математике глубокого обучения.................................... 347
Шаг 4: заведите блог и рассказывайте в нем о глубоком обучении...................... 348
Шаг 5: Twitter............................................................................................................... 349
Шаг 6: напишите руководство на основе академической статьи ........................... 350
Шаг 7: получите доступ к GPU .................................................................................. 350
Шаг 8: найдите оплачиваемую работу, связанную с глубоким обучением......... 351
Шаг 9: присоединитесь к открытому проекту.......................................................... 351
Шаг 10: ищите единомышленников ......................................................................... 352

Предисловие

«Грокаем глубокое обучение» — это результат трехлетнего напряженного
труда. Чтобы создать книгу, которую вы держите в руках, мне пришлось на­
писать вдвое больше страниц, чем вы видите. Полдесятка глав три или четыре
раза были переписаны заново, и только после этого я решил, что они готовы
к публикации. Кроме этого, попутно были добавлены новые важные главы,
отсутствовавшие в изначальном плане.
Что еще более важно, я в самом начале принял два решения, делающие мою
книгу особенно ценной: эта книга не требует от читателя специальной мате­
матической подготовки, кроме знания основ арифметики, и не опирается на
высокоуровневые библиотеки, которые могут скрывать происходящее в коде.
Иначе говоря, любой сможет прочитать эту книгу и понять, как в действи­
тельности работает глубокое обучение. Для этого мне пришлось придумать
новые способы описания и разъяснения основных идей и приемов, не прибегая
к сложному математическому аппарату или замысловатому программному
коду, написанному кем-то другим.
Работая над «Грокаем глубокое обучение», я преследовал цель максимально
уменьшить порог входа в практику глубокого обучения. Вы не просто прочи­
таете теорию — вы откроете ее заново. А чтобы помочь вам в этом, я написал
много кода и постарался выстроить объяснения в правильном порядке, чтобы
фрагменты кода, необходимые для демонстрации, не были лишены смысла.

Предисловие

13

Эти знания, в сочетании с теорией, кодом и примерами, которые вы будете изу­
чать в книге, помогут вам намного быстрее выполнять все наши эксперименты.
Вы быстро добьетесь успеха и расширите свои практические навыки, а кроме
того, вам проще будет освоить более сложные понятия глубокого обучения.

В последние три года я не только писал эту книгу, но еще и поступил в аспи­
рантуру Оксфордского университета, присоединился к команде Google и стал
одним из --">