Хуттер Ф. - Введение в автоматизированное машинное обучение (AutoML)

Франк Хуттер
Ларс Коттхофф
Хоакин Ваншорен

Введение
в автоматизированное
машинное обучение
(AutoML)

Frank Hutter • Lars Kotthoff • Joaquin Vanschoren

Automated
Machine Learning

Франк Хуттер • Ларс Коттхофф • Хоакин Ваншорен

Введение
в автоматизированное
машинное обучение
(AutoML)

Москва, 2023

УДК 004.4
ББК 32.972
Х98

Х98

Хуттер Ф., Коттхофф Л., Ваншорен Х.
Введение в автоматизированное машинное обучение (AutoML) / пер. с англ.
В. С. Яценкова. – М.: ДМК Пресс, 2023. – 256 с.: ил.
ISBN 978-5-93700-196-2
Ошеломляющий успех коммерческих приложений машинного обучения
(machine learning – ML) и быстрый рост этой отрасли создали высокий спрос на
готовые методы ML, которые можно легко использовать без специальных знаний.
Однако и сегодня успех практического применения в решающей степени зависит
от экспертов – людей, которые вручную выбирают подходящие архитектуры и их
гиперпараметры. Методы AutoML нацелены на устранение этого узкого места
путем построения систем ML, способных к автоматической оптимизации и самонастройке независимо от типа входных данных. В этой книге впервые представлен всеобъемлющий обзор базовых методов автоматизированного машинного
обучения (AutoML).
Издание послужит отправной точкой для изучения этой быстро развивающейся
области; тем, кто уже использует AutoML в своей работе, книга пригодится в качестве справочника.

УДК 004.4
ББК 32.972
This book is licensed under the terms of the Creative Commons Attribution 4.0 International
License (http://creativecommons.org/licenses/by/4.0/), which permits any noncommercial use,
sharing, adaptation, distribution and reproduction in any medium or format, as long as you
give appropriate credit to the original author(s) and the source, provide a link to the Creative
Commons licence and indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения
владельцев авторских прав.

ISBN 978-1-80181-497-3 (англ.)
ISBN 978-5-93700-196-2 (рус.)

© Hutter F., Kotthoff L., Vanschoren J., 2019.
This book is an open access publication
© Перевод, оформление, издание,
ДМК Пресс, 2023

Содержание
От издательства. ...................................................................................................10
Предисловие...........................................................................................................11
Введение. .................................................................................................................13
ЧАСТЬ I. МЕТОДЫ AutoML­...........................................................................17
Глава 1. Оптимизация гиперпараметров. ................................................18
1.1. Введение................................................................................................................18
1.2. Постановка задачи...............................................................................................20
1.2.1. Альтернативы оптимизации: ансамблирование
и маргинализация..................................................................................................21
1.2.2. Оптимизация по нескольким целям.........................................................22
1.3. Оптимизация гиперпараметров методом черного ящика............................22
1.3.1. Оптимизация методом черного ящика без моделей..............................22
1.3.2. Байесовская оптимизация. .........................................................................24
1.3.2.1. Краткое введение в байесовскую оптимизацию..............................25
1.3.2.2. Суррогатные модели.............................................................................26
1.3.2.3. Описание пространства конфигурации. ...........................................28
1.3.2.4. Ограниченная байесовская оптимизация.........................................29
1.4. Методы оптимизации с переменной точностью............................................30
1.4.1. Прогнозирование на основе кривой обучения для ранней
остановки.................................................................................................................31
1.4.2. Методы выбора алгоритма на основе приближений..............................32
1.4.3. Адаптивный выбор точности. ....................................................................35
1.5. Применение оптимизации гиперпараметров в AutoML...............................36
1.6. Проблемы и перспективные направления исследований.............................38
1.6.1. Бенчмарки и сопоставимость результатов...............................................38
1.6.2. Оптимизация на основе градиента...........................................................40
1.6.3. Масштабируемость.......................................................................................40
1.6.4. Переобуче­ние и обобщение........................................................................41
1.6.5. Построение конвейера произвольного размера......................................42
1.7. Литература. ...........................................................................................................43

6  Содержание

Глава 2. Метаобучение. .....................................................................................54
2.1. Введение................................................................................................................54
2.2. Обуче­ние на основе оценок моделей. --">