Ханнес Хапке , Кэтрин Нельсон - Разработка конвейеров машинного обучения. Автоматизация жизненных циклов модели с помощью TensorFlow

Extended.............................................38
Что такое TFX?...................................................................................................39
Установка TFX....................................................................................................40
Обзор компонентов TFX...................................................................................41
Что такое метаданные ML Metadata?...............................................................42
Альтернативы TFX.............................................................................................45
Знакомство с Apache Beam................................................................................46
Установка.......................................................................................................46
Базовый конвейер.........................................................................................47
Запуск элементарного конвейера................................................................50
Резюме................................................................................................................50

Глава 3. Загрузка данных.............................................................................51
Концепции загрузки данных............................................................................51
Загрузка локальных файлов данных............................................................53
Загрузка удаленных файлов данных............................................................57
Загрузка данных напрямую из баз данных.................................................58
Подготовка данных...........................................................................................60
Разбиение наборов данных..........................................................................60
Связующие наборы данных..........................................................................62
Управление версиями наборов данных.......................................................63
Стратегии загрузки данных..............................................................................64
Структурированные данные.........................................................................64
Текстовые данные для задач обработки естественного языка..................64
Графические данные для задач компьютерного зрения............................64
Резюме................................................................................................................65

Глава 4. Проверка данных...........................................................................66
Для чего нужна проверка данных?...................................................................67
TFDV....................................................................................................................68
Установка.......................................................................................................69
Генерация статистических показателей для набора данных.....................69
Генерация схемы на основе данных.............................................................71
Распознавание ошибок в данных.....................................................................72
Сравнение наборов данных..........................................................................73
Обновление схемы........................................................................................75
Отклонения и дрейф данных .......................................................................76
Наборы данных с систематической ошибкой выборки..............................77
Получение среза данных в TFDV..................................................................78
Обработка больших наборов данных с помощью Google Cloud Platform......80
Интеграция TFDV в конвейер машинного обучения......................................83
Резюме................................................................................................................84

Оглавление 

7

Глава 5. Предварительная обработка данных....................................85
Для чего нужна предварительная обработка данных.....................................86
Предварительная обработка данных в контексте всего набора данных......86
Масштабирование шагов предварительной обработки.............................86
Как избежать отклонения при обучении и работе модели........................86
Развертывание шагов предварительной обработки
и модели машинного обучения как единого артефакта.............................88
Проверка результатов предварительной обработки в конвейере.............88
Предварительная обработка данных с помощью TFT....................................89
Установка.......................................................................................................90
Стратегии предварительной обработки......................................................90
Лучшие практики..........................................................................................92
Функции TFT..................................................................................................93
Автономная работа TFT................................................................................95
Интеграция TFT в конвейер машинного обучения.....................................97
Резюме..............................................................................................................101

Глава 6. Обучение модели.........................................................................102
Определение модели для нашего демонстрационного проекта..................103
Компонент TFX Trainer....................................................................................106
Функция run_fn()..........................................................................................106
Запуск компонента Trainer.............................................. 110
Другие соображения относительно компонента Trainer................ 112
Использование TensorBoard в интерактивном конвейере...........................113
Стратегии --">