Джон Д. Келлехер - Глубокое обучение. Самый краткий и понятный курс

рекуррентные
нейронные сети............................................................................................ 103
Глава 6. Функции обучения............................................................................... 118
Глава 7. Будущее глубокого обучения............................................................. 143
Глоссарий...................................................................................................... 155

ВСТУПЛЕНИЕ

Глубокое обучение открывает дорогу инновациям и изменениям во всех сфе­
рах современной жизни. Большинство прорывов в области искусственного
интеллекта, о которых вы узнаете из новостей, основаны на глубоком обуче­
нии. Очевидно, что понимание этого предмета необходимо и предпринима­
телю, заинтересованному в повышении эффективности своей организации,
и политику, обеспокоенному этикой и приватностью в мире больших дан­
ных, и исследователю, работающему со сложной информацией, и просто лю­
бопытному обывателю, который хочет иметь представление о потенциале ис­
кусственного интеллекта и его влиянии на жизнь обычных людей.
Цель этой книги—дать широкому кругучитателей возможность разобраться
в том, что такое глубокое обучение, откуда оно взялось, как работает, на что спо­
собно (а на что нет) и какова вероятная траектория его развития в ближайшие
десять лет. Глубокое обучение представляет собой набор алгоритмов и моделей,
а это значит, что для его понимания необходимо ориентироваться в том, как эти
алгоритмы и модели обрабатывают данные. Поэтому данная книга не носит чи­
сто описательный характер, в ней, помимо прочего, объясняется работа алгорит­
мов. Я попытался представить этот технический материал в доступной форме.
Как показывает мой опыт преподавания, технические темы лучше всего усваива­
ются путем пошагового объяснения основополагающих концепций. Я старался
как можно меньше обращаться к математике, но там, где без математических
уравнений было не обойтись, стремился преподнести их настолько ясно и про­
сто, насколько мог. Свои объяснения я дополнил примерами и иллюстрациями.
Замечательное свойство глубокого обучения состоит не в сложности его
математических концепций, а в том, как с помощью таких простых вычис­
лений ему удается выполнять настолько разнообразный спектр захватываю­
щих и впечатляющих задач. Не стоит удивляться этой простоте. На самом
деле модель глубокого обучения — это всего лишь большое (очень большое)
количество умножений и сложений с добавлением нелинейных отношений
(которые я тоже объясню). Несмотря на это, такие модели способны, к при­
меру, побеждать чемпионов мира по игре в го, держать пальму первенства
в компьютерном зрении и машинном переводе, водить автомобили и т. д. Эта
книга служит только введением в глубокое обучение, но я надеюсь, что она
достаточно глубокая и для того, чтобы позже, лучше овладев данным мате­
риалом, вы могли еще не раз к ней вернуться.

в

ВСТУПЛЕНИЕ

БЛАГОДАРНОСТИ

Появление этой книги стало возможным благодаря жертвам, на которые по­
шли моя жена Афра и другие члены моей семьи, включая моих родителей,
Джона и Бетти Келлехер. Я также получил огромную поддержку от своих дру­
зей, особенно от Алана МакДоннела, Ионелы Лунгу, Саймона Добника, Лор­
рейн Бирн, Ноела Фитцпатрика и Джозефа ван Генабита.
Я бы также хотел упомянуть о помощи, оказанной работниками издатель­
ства MIT Press и целым рядом людей, которые прочитали отдельные разделы
этой книги и поделились своими впечатлениями. MIT Press пригласило трех
анонимных рецензентов, которые прочитали и прокомментировали мой чер­
новик; я благодарен им за потраченное время и их полезные отзывы. С черно­
выми вариантами отдельных глав ознакомилось немало людей, и я хотел бы
воспользоваться этой возможностью, чтобы публично отметить их вклад; по­
этому выражаю признательность Майку Диллинджеру, Магдалене Кацмайор,
Элизабет Келлехер, Джону Бернарду Келлехеру, Афре Керр, Филипу Клубичке
и Абхиджиту Махалункару. Содержание этой книги опирается на множество
бесед о глубоком обучении, которые я имел со своими коллегами и студен­
тами, особенно с Робертом Россом и Джанкарло Салтоном.
Я посвящаю эту книгу моей сестре Элизабет (Лиз) Келлехер в знак при­
знания ее любви и поддержки, а также за ее терпение по отношению к брату,
который без конца что-то объясняет.

ГЛАВА 1

ВВЕДЕНИЕ В ГЛУБОКОЕ ОБУЧЕНИЕ

Глубокое обучение — это подраздел искусственного --">