Франсуа Шолле - Глубокое обучение на Python

. . . . . . . . . . . . . . . . . . . . . . . . . . 21
О примерах кода . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Об авторе . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Иллюстрация на обложке . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
От издательства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Глава 1. Что такое глубокое обучение . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.1. Искусственный интеллект, машинное и глубокое обучение . . . . . . . 27
1.1.1. Искусственный интеллект . . . . . . . . . . . . . . . . . . . . . . . . 27
1.1.2. Машинное обучение . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.1.3. Изучение правил и представлений данных . . . . . . . . . . . . . 30
1.1.4. «Глубина» глубокого обучения . . . . . . . . . . . . . . . . . . . . . 33
1.1.5. Принцип действия глубокого обучения в трех картинках . . . . 35
1.1.6. Какой ступени развития достигло глубокое обучение . . . . . . 37
1.1.7. Не верьте рекламе . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.1.8. Перспективы ИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.2. Что было до глубокого обучения: краткая история
машинного обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.2.1. Вероятностное моделирование . . . . . . . . . . . . . . . . . . . . . 40
1.2.2. Первые нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . . 41

Оглавление    
7
1.2.3. Ядерные методы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.2.4. Деревья решений, случайные леса .
и градиентный бустинг . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
1.2.5. Назад к нейронным сетям . . . . . . . . . . . . . . . . . . . . . . . . 44
1.2.6. Отличительные черты глубокого обучения . . . . . . . . . . . . . 45
1.2.7. Современный ландшафт машинного обучения . . . . . . . . . . . 46
1.3. Почему глубокое обучение? Почему сейчас? . . . . . . . . . . . . . . . . 49
1.3.1. Оборудование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.3.2. Данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.3.3. Алгоритмы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.3.4. Новая волна инвестиций . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.3.5. Демократизация глубокого обучения . . . . . . . . . . . . . . . . . 54
1.3.6. Ждать ли продолжения этой тенденции? . . . . . . . . . . . . . . 54
Глава 2. Математические основы нейронных сетей . . . . . . . . . . . . . . . . 56
2.1. Первое знакомство с нейронной сетью . . . . . . . . . . . . . . . . . . . . 57
2.2. Представление данных для нейронных сетей . . . . . . . . . . . . . . . . 61
2.2.1. Скаляры (тензоры нулевого ранга) . . . . . . . . . . . . . . . . . . 61
2.2.2. Векторы (тензоры первого ранга) . . . . . . . . . . . . . . . . . . . 62
2.2.3. Матрицы (тензоры второго ранга) . . . . . . . . . . . . . . . . . . . 62
2.2.4. Тензоры третьего и более высоких рангов . . . . . . . . . . . . . . 62
2.2.5. Ключевые атрибуты . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.2.6. Манипулирование тензорами с помощью NumPy . . . . . . . . . 64
2.2.7. Пакеты данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.2.8. Практические примеры тензоров с данными . . . . . . . . . . . . 66
2.2.9. Векторные данные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.2.10. Временные ряды или последовательности . . . . . . . . . . . . . 67
2.2.11. Изображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.2.12. Видео . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.3. Шестеренки нейронных сетей: операции с тензорами . . . . . . . . . . 69
2.3.1. Поэлементные операции . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.3.2. Расширение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.3.3. Скалярное произведение тензоров . . . . . . . . . . . . . . . . . . 73
2.3.4. Изменение формы тензора . . . . . . . . . . . . . . . . . . . . . . . 75
2.3.5. Геометрическая интерпретация операций с тензорами . . . . . . 76
2.3.6. Геометрическая интерпретация глубокого обучения . . . . . . . 80

8  Оглавление
2.4. Механизм нейронных сетей: оптимизация на основе градиента . . . . 81
2.4.1. Что такое производная . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.4.2. Производная операций с тензорами: градиент . . . . . . . . . . . 84
2.4.3. Стохастический градиентный спуск . . . . . . . . . . . . . . . . . . 86
2.4.4. Объединение производных: алгоритм обратного
распространения ошибки . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.5. Оглядываясь на первый пример . . . . . . . . . . . . . . . . . . . . . . . . 95
2.5.1. --">