Грант Бейлевельд , Джон Крон , Аглаэ Бассенс - Глубокое обучение в картинках. Визуальный гид по искусственному интеллекту

(теории)................................................. 106
Подготовка......................................................................................................................................106
Установка.........................................................................................................................................107
Неглубокая сеть в Keras..............................................................................................................108
Коллекция изображений рукописных цифр MNIST................................................108
Схема сети.................................................................................................................................109
Загрузка данных.....................................................................................................................111
Переформатирование данных............................................................................................113
Проектирование архитектуры нейронной сети...........................................................115
Обучение модели глубокого обучения...........................................................................115
Итоги.................................................................................................................................................116
Глава 6. Искусственные нейроны, определяющие хот-доги................................ 117
Введение в биологическую нейроанатомию........................................................................117
Перцептрон.....................................................................................................................................118
Детектор хот-догов................................................................................................................119
Самое важное уравнение в этой книге............................................................................122
Современные нейроны и функции активации...................................................................124
Нейроны sigmoid....................................................................................................................125
Нейрон типа tanh...................................................................................................................127
ReLU: Rectified Linear Unit................................................................................................128
Выбор типа нейронов..................................................................................................................129
Итоги.................................................................................................................................................130

8  

ОГЛАВЛЕНИЕ

Глава 7. Искусственные нейронные сети........................................................... 132
Входной слой..................................................................................................................................132
Полносвязанный слой.................................................................................................................133
Полносвязанная сеть, определяющая хот-доги..................................................................134
Прямое распространение через первый скрытый слой............................................135
Прямое распространение через последующие слои..................................................137
Слой softmax для сети классификации фастфуда.............................................................139
Повторный обзор неглубокой сети.........................................................................................142
Итоги.................................................................................................................................................144
Глава 8. Обучение глубоких сетей.................................................................... 145
Функции стоимости.....................................................................................................................145
Квадратичная функция стоимости..................................................................................146
Насыщенные нейроны..........................................................................................................147
Перекрестная энтропия.......................................................................................................148
Оптимизация: обучение методом минимизации стоимости..........................................150
Градиентный спуск................................................................................................................150
Скорость обучения ...............................................................................................................152
Размер пакета и стохастический градиентный спуск................................................154
Как избежать ловушки локального минимума............................................................158
Обратное распространение........................................................................................................160
Настройка числа скрытых слоев и нейронов......................................................................161
Сеть промежуточной глубины на основе Keras..................................................................163
Итоги.................................................................................................................................................166
Глава 9. Совершенствование глубоких сетей..................................................... 168
Инициализация весов..................................................................................................................168
Распределения Ксавье Глоро.............................................................................................172
Нестабильность градиентов......................................................................................................175
Исчезающие градиенты.......................................................................................................175
Взрывные градиенты............................................................................................................176
Пакетная нормализация......................................................................................................176
Обобщающая способность модели (предотвращение --">