Сет Вейдман - Глубокое обучение: легкая разработка проектов на Python

протекают
многомерные массивы.
yy Нейронная сеть состоит из слоев, каждый из которых может рассматриваться как ряд «нейронов».
yy Нейронная сеть — это универсальный аппроксиматор функций, который теоретически может представить решение любой контролируемой
проблемы обучения.
Не сомневаюсь, что читатели уже слышали одно или несколько из этих
понятий раньше и в целом понимают, для чего нужны нейронные сети.
Однако для полного понимания нужно осознать их все и показать, как

Структура книги   11

они связаны. Как тот факт, что нейронная сеть может быть представлена
в виде вычислительного графа, сопоставить, например, с понятием слоя?
Для более точного понимания мы реализуем все эти концепции с нуля
в Python и соединим их, создавая рабочие нейронные сети, которые вы
можете обучать на своем компьютере дома. Несмотря на то что мы уделим
немало времени деталям реализации, целью реализации этих моделей
в Python будет укрепление и уточнение нашего понимания концепций.
Здесь спешка не нужна.
Я хотел бы, чтобы после прочтения этой книги у вас было такое глубокое
понимание всех этих мысленных моделей и результатов их работы, чтобы
понимать, каким образом нейронные сети должны быть реализованы.
После этого все концепции, связанные с обучением в будущих проектах,
станут для вас проще.

Структура книги
Первые три главы наиболее важные и сами по себе достойны отдельных
книг.
1. В главе 1 я покажу, как представлять математические функции в виде
последовательности операций, связанных вместе, чтобы сформировать вычислительный граф. Также я покажу, как это представление
позволяет нам вычислять производные выходов этих функций по
отношению к их входам, используя правило цепи. В конце главы
расскажу об очень важной операции — умножении матрицы — и покажу, как она может вписаться в математическую функцию и в то же
время позволит нам вычислить производные, которые понадобятся
для глубокого обучения.
2. В главе 2 мы будем использовать строительные блоки, которые
сделали в главе 1 с целью создания и обучения модели для решения
реальных проблем: в частности, мы будем использовать их для построения моделей линейной регрессии и нейронных сетей для прогнозирования цен на жилье на основе реальных данных. Я покажу,
что нейронная сеть работает лучше, чем линейная регрессия, и попытаюсь объяснить почему. Подход к построению моделей «сначала
суть» в этой главе должен дать вам очень хорошее представление
о том, как работают нейронные сети, а также покажет ограниченные

12  

Предисловие

возможности пошагового подхода для определения моделей глубокого обучения. И тут на сцену выходит глава 3.
3. В главе 3 мы возьмем строительные блоки из подхода «сначала суть»
из первых двух глав и используем их для построения компонентов
более высокого уровня, которые составляют все модели глубокого
обучения: слои, модели, оптимизаторы и т. д. Мы закончим эту главу
обучением модели глубокого обучения, заданной с нуля, на наборе
данных из главы 2 и покажем, что она работает лучше, чем простая
нейронная сеть.
4. Как выясняется, существует несколько теоретических предпосылок
того, что нейронная сеть с заданной архитектурой действительно
найдет хорошее решение для данного набора данных при обучении
с использованием стандартных методов обучения, которые мы будем
использовать в этой книге. В главе 4 мы поговорим о хитростях, применяемых в процессе обучения, которые обычно увеличивают вероятность того, что нейронная сеть найдет хорошее решение, и по возможности дадим математическое описание, почему они работают.
5. В главе 5 мы обсудим фундаментальные идеи, лежащие в основе
сверточных нейронных сетей (CNN), разновидности архитектуры
нейронных сетей, специализирующихся на распознавании изображений. Существует множество объяснений принципов работы CNN,
поэтому я сосредоточусь на самых основных понятиях о CNN и их
отличиях от обычных нейронных сетей: в частности, как CNN делают
так, что каждый слой нейронов превращается в «карты признаков»,
и как два из этих слоев (каждый из которых состоит из нескольких
карт объектов) связываются друг с другом посредством сверточных
фильтров. Кроме того, что мы будем писать обычные слои в нейронной сети с нуля, а также сверточные слои с нуля, чтобы укрепить
понимание того, как они --">