П. Браздил - Ме­та­обуче­ние Применение­ в ­AutoML­­ и­ науке­ о­ данных

(глава 14).....................................................42
Автоматизация проектирования сложных систем (глава 15). ....................43
1.4. Хранилища результатов экспериментов (часть III)........................................44
1.4.1. Хранилища метаданных (глава 16)............................................................44
1.4.2. Обучение на метаданных в репозиториях (глава 17). ............................45
1.4.3. Заключительные замечания (глава 18). ....................................................45
1.5. Литература............................................................................................................46

Глава 2. Применение метаобучения к выбору алгоритма
(рейтинг)...................................................................................................................47
2.1. Введение................................................................................................................47
2.1.2. Структура этой главы...................................................................................48
2.2. Различные типы рекомендаций........................................................................48
2.2.1. Лучший алгоритм в наборе.........................................................................50
2.2.2. Подмножество лучших алгоритмов...........................................................50
Определение алгоритмов с сопоставимой производительностью............50
Объединение подмножеств..............................................................................51
2.2.3. Линейное ранжирование.............................................................................52
2.2.4. Квазилинейное (слабое) ранжирование. ..................................................52
2.2.5. Неполный рейтинг.......................................................................................52
2.2.6. Поиск лучшего алгоритма в рамках заданного бюджета.......................53
2.3. Ранжирование моделей для выбора алгоритма..............................................53
2.3.1. Создание метамодели в виде ранжированного списка..........................54
Получение оценок производительности........................................................54
Объединение результатов производительности в единый рейтинг..........56
Пример: нахождение среднего рейтинга.......................................................57
2.3.2. Использование метамодели ранжирования для прогнозов
(стратегия top-n).....................................................................................................57
Пример.................................................................................................................59
2.3.3. Оценка рекомендуемых рейтингов...........................................................60
2.4. Использование комбинированного показателя точности и времени
выполнения. ................................................................................................................60
2.5. Расширения и другие подходы..........................................................................62
2.5.1. Использование метода ранжирования по среднему
для рекомендации конвейеров............................................................................62
2.5.2. Ранжирование может занизить рейтинг алгоритмов.............................63
2.5.3. Подходы, основанные на многокритериальном анализе с DEA...........64
2.5.4. Использование схожести наборов данных для определения
соответствующих частей метаданных................................................................64
2.5.5. Работа с неполным ранжированием. ........................................................65
Агрегирование неполных рейтингов..............................................................65
2.6. Литература............................................................................................................66

8  Содержание

Глава 3. Оценка рекомендаций систем метаобучения ­
и AutoML...................................................................................................................69
3.1. Введение................................................................................................................69
3.2. Методика оценки алгоритмов базового уровня. ............................................70
3.2.1. Ошибка обобщения......................................................................................70
3.2.2. Стратегии оценки.........................................................................................71
3.2.3. Потеря и функция потери. ..........................................................................72
3.3. Нормализация производительности для алгоритмов базового уровня. ....72
Подстановка значений производительности по рангам. ............................73
Масштабирование к интервалу 0–1. ...............................................................73
Преобразование значений в нормальное распределение...........................73
Преобразование в квантильные значения.....................................................74
Нормализация с учетом погрешности............................................................74
3.4. Методика оценки метаобучения и систем AutoML........................................74
3.4.1. Однопроходная оценка с откладыванием................................................74
Цель систем метаобучения/AutoML................................................................75
Выполнение внутренней оценки системами метаобучения/AutoML........75
Избегайте предвзятой оценки. ........................................................................76
3.4.2. Оценка на метауровне с перекрестной проверкой.................................76
Оценка на метауровне с поиском в таблице..................................................77
3.5. Оценка рекомендаций путем измерения --">