Ханнес Хапке , Кэтрин Нельсон - Разработка конвейеров машинного обучения. Автоматизация жизненных циклов модели с помощью TensorFlow

Serving..................................................................180
BentoML........................................................................................................180
Seldon...........................................................................................................180
GraphPipe......................................................................................................181
Simple TensorFlow Serving...........................................................................181
MLflow...........................................................................................................181
Ray Serve.......................................................................................................181
Развертывание моделей с использованием услуг поставщиков
облачных решений..........................................................................................182
Сценарии использования...........................................................................182
Пример развертывания с помощью облачных
платформ Google.........................................................................................182
Развертывание модели с помощью конвейеров TFX....................................188
Резюме..............................................................................................................189

Глава 9. Расширенные концепции развертывания моделей
с помощью TensorFlow Serving................................................................190
Разделение зон ответственности в процессе развертывания......................190
Обзор рабочего процесса............................................................................191
Оптимизация загрузки удаленной модели...................................................193
Оптимизация модели для развертываний....................................................194
Квантование.................................................................................................194
Сокращение.................................................................................................195
Дистилляция................................................................................................196
Использование TensorRT совместно с TensorFlow Serving............................196
TFLite................................................................................................................197
Шаги по оптимизации моделей машинного обучения
с помощью TFLite........................................................................................197
Развертывание моделей TFLite
с помощью TensorFlow Serving...................................................................199
Мониторинг экземпляров TensorFlow Serving..............................................200
Установка Prometheus.................................................................................200
Конфигурация TensorFlow Serving..............................................................202
Простое масштабирование с помощью TensorFlow Serving и Kubernetes......204
Дополнительная литература о Kubernetes и Kubeflow..............................205
Резюме..............................................................................................................206

Глава 10. Расширенные концепции TensorFlow Extended. ..........207
Расширенные концепции конвейеров машинного обучения......................207
Одновременное обучение нескольких моделей........................................208

10



Оглавление

Экспорт моделей TFLite..............................................................................209
Ограничения TFLite.....................................................................................210
Обучение модели с «теплым» запуском....................................................212
Участие человека в конвейере машинного обучения...................................212
Настройка компонента Slack......................................................................214
Как использовать компонент Slack............................................................214
Пользовательские компоненты TFX..........................................................215
Сценарии использования пользовательских компонентов.....................216
Создание пользовательского компонента с нуля.....................................216
Повторное использование существующих компонентов........................225
Резюме..............................................................................................................228

Глава 11. Конвейеры, часть 1: Apache Beam и Apache Airflow..... 230
Какой инструмент оркестрации выбрать?.....................................................231
Apache Beam.................................................................................................231
Apache Airflow..............................................................................................231
Kubeflow Pipelines........................................................................................231
Kubeflow Pipelines на платформе AI...........................................................232
Преобразование вашего интерактивного конвейера TFX
в производственный конвейер.......................................................................232
Преобразование элементарного интерактивного конвейера для Beam
и Airflow............................................................................................................234
Введение в Apache Beam.................................................................................235
Оркестрация конвейеров TFX с помощью Apache Beam..............................235
Введение в Apache Airflow...............................................................................237
Установка и начальная настройка..............................................................237
Элементарный пример использования Airflow.........................................239
Оркестрация конвейеров TFX с помощью Apache Airflow............................242
Настройка конвейера..................................................................................242
Запуск --">